Bots
Bitte wählen:   Start     Login     Wallpapers     Praktisch     Tools     Umfragen     Infos     Blog     Job     Impressum     X  
Statusinfo ⇒   Neuling    TTLsec:5395     Samstag, 23.09.2017     Letzte Änderung: 22.11.2015          
 

Bitte auswählen:
   Bots   
   FAQ   
   Links   
   Big Brother   
   Loganalyse   
   Suchmaschinen   
   Rechtschreibung   

RoBoTom sagt: Hallo Gast, ich bin dein virtueller Begleiter und begrüße dich herzlich beim DiamantNetz.
RoBoTom sagt: Bitte erst LOGIN.

Gast sagt zu  ?
 
 
 
Bots

Nachstehend sind die aufgrund der Logeinträge identifizierten Suchmaschinen (SuMa) aufgelistet, die meine Website besucht haben. Außerdem ist vermerkt, welche SuMa die Datei robots.txt aufgerufen und ggf. beachtet hat.



Suchmaschine Meine Beurteilung Ruft robots.txt auf
Gutes Zeichen bei Beachtung
Beachtet robots.txt
Ordentliche SuMa
360Spider Chinesische Suchmaschine (auch: 360Spider-Image, 360Spider-Video)    
80legs Nahe am Spam (user-agent: 008); Amerikanische SuMa: allows its users to design and run custom web crawls    
Ahrefs Nahe am Spam; SEO Ranking Suchmaschine    
Baidu Chinesische Suchmaschine ja ja
BecomeBot Amerikanische Shop-Suchmaschine ja ja
Bing Amerikanische Suchmaschine (von MSN) ja ja
blekko Erloschene amerikanische Suchmaschine (jetzt zu IBM Watson); ex www.scoutjet.com; "blekko's mission: provide a differentiated editorial voice in search"    
BLEXBot Amerikanische Suchmaschine: It assists internet marketers to get information on the link structure of sites and their interlinking on the web, to avoid any technical and possible legal issues and improve overall online experience ja  
BotOnParade Spam nein nein
buttons-for-website Spam nein nein
Career-X Erloschene deutsche Job-Suchmaschine    
Combine Lund University "Focused crawler". Das liebe ich ;-) wer auf deren Website einen Hinweis auf die robots.txt - außer dass sie laut Werbung beachtet würde ... NUR WIE??? - findet, möge es mir bitte mitteilen    
DeuSu (ex Acoon) Deutsche Suchmaschine(?) Beta; kein Hinweis auf robots.txt nein nein
Discovery Erloschener Experimental web crawler ja ja
DotBot Amerikanische SEO-Suchmaschine ja  
EC2LinkFinder Spam: sh. Link - "Amazon EC2 / Amazon AWS is a haven for bad agents"    
EmailCollector Spam: Amerikanische Software that allows you to collect email addresses on the web    
Exabot Französische Suchmaschine (Exalead Dassault Systèmes)    
ExtraBot Spam (jetzt comcept.com); gibt sich als Produkt-Suchmaschine aus, aber was sich bei Zugriff auf die robots.txt nicht gleich zu erkennen gibt und dafür keine Exklusion mittels "disallow" anbietet, hat keine andere Klassifizierung verdient    
Ezooms Spam; unbekannte Herkunft    
FlightDeckReports Identify and/or aggregate data about the use of technology    
Gigabot Englische Suchmaschine    
GoogleBot Amerikanische Suchmaschine ja ja
HaosouSpider Chinesische Suchmaschine    
ia_archiver / Alexa Nahe am Spam; Business-Suchmaschine    
ichiro goo Japanische Suchmaschine: Der Inhalt der verlinkten Seite ist schon der Hammer; in lateinischen Buchstaben auf den User-Agent der robots.txt verweisen und dann diesen Agent japanisch schreiben - und auch der Quelltext der Seite hilft da nicht weiter. Ist es wirklich zuviel verlangt, dass eine internationale SuMa z.B. noch die Zeichenkette "goo", in einer robots.txt interpretiert und das dann auch so geschrieben wird?    
LTX71 Amerikanische Suchmaschine: continuously scan the internet for security research purposes nein nein
Mail.Ru Russische Suchmaschine    
Majestic-12 Search engine based on concepts of distributing workload    
NerdByNature Webmap der deutschen Webserver    
Nutch Bot Meist Spam; diverse Eigenbauten von Bots    
Pixray-Seeker Nahe am Spam; Deutscher Auftragsbot Bildercheck    
Plukkie Holländischer Suchmaschinenbot    
SeznamBot Tschechische Suchmaschine    
ShopWiki Nahe am Spam; Produktsuchmaschine    
sistrix Spam; Deutsche SEO-Suchmaschine    
Sitebot Spam    
SpeedySpider Englische Suchmaschine    
TurnitinBot Englische Plagiat-Suchmaschine: Helping educational institutions prevent plagiarism    
Yahoo Amerikanische Suchmaschine ja ja
Yandex Russische Suchmaschine ja ja