Bots

Nachstehend sind die aufgrund der Logeinträge identifizierten Suchmaschinen (SuMa) aufgelistet, die meine Website besucht haben. Außerdem ist vermerkt, welche SuMa die Datei robots.txt aufgerufen und ggf. beachtet hat.

Suchmaschine	Meine Beurteilung	Ruft robots.txt auf Gutes Zeichen bei Beachtung	Beachtet robots.txt Ordentliche SuMa
360Spider	Chinesische Suchmaschine (auch: 360Spider-Image, 360Spider-Video)
80legs	Nahe am Spam (user-agent: 008); Amerikanische SuMa: allows its users to design and run custom web crawls
Ahrefs	Nahe am Spam; SEO Ranking Suchmaschine
Baidu	Chinesische Suchmaschine	ja	ja
BecomeBot	Amerikanische Shop-Suchmaschine	ja	ja
Bing	Amerikanische Suchmaschine (von MSN)	ja	ja
blekko	Erloschene amerikanische Suchmaschine (jetzt zu IBM Watson); ex www.scoutjet.com; "blekko's mission: provide a differentiated editorial voice in search"
BLEXBot	Amerikanische Suchmaschine: It assists internet marketers to get information on the link structure of sites and their interlinking on the web, to avoid any technical and possible legal issues and improve overall online experience	ja
BotOnParade	Spam	nein	nein
buttons-for-website	Spam	nein	nein
Career-X	Erloschene deutsche Job-Suchmaschine
Combine	Lund University "Focused crawler". Das liebe ich ;-) wer auf deren Website einen Hinweis auf die robots.txt - außer dass sie laut Werbung beachtet würde ... NUR WIE??? - findet, möge es mir bitte mitteilen
DeuSu (ex Acoon)	Deutsche Suchmaschine(?) Beta; kein Hinweis auf robots.txt	nein	nein
Discovery	Erloschener Experimental web crawler	ja	ja
DotBot	Amerikanische SEO-Suchmaschine	ja
EC2LinkFinder	Spam: sh. Link - "Amazon EC2 / Amazon AWS is a haven for bad agents"
EmailCollector	Spam: Amerikanische Software that allows you to collect email addresses on the web
Exabot	Französische Suchmaschine (Exalead Dassault Systèmes)
ExtraBot	Spam (jetzt comcept.com); gibt sich als Produkt-Suchmaschine aus, aber was sich bei Zugriff auf die robots.txt nicht gleich zu erkennen gibt und dafür keine Exklusion mittels "disallow" anbietet, hat keine andere Klassifizierung verdient
Ezooms	Spam; unbekannte Herkunft
FlightDeckReports	Identify and/or aggregate data about the use of technology
Gigabot	Englische Suchmaschine
GoogleBot	Amerikanische Suchmaschine	ja	ja
HaosouSpider	Chinesische Suchmaschine
ia_archiver / Alexa	Nahe am Spam; Business-Suchmaschine
ichiro goo	Japanische Suchmaschine: Der Inhalt der verlinkten Seite ist schon der Hammer; in lateinischen Buchstaben auf den User-Agent der robots.txt verweisen und dann diesen Agent japanisch schreiben - und auch der Quelltext der Seite hilft da nicht weiter. Ist es wirklich zuviel verlangt, dass eine internationale SuMa z.B. noch die Zeichenkette "goo", in einer robots.txt interpretiert und das dann auch so geschrieben wird?
LTX71	Amerikanische Suchmaschine: continuously scan the internet for security research purposes	nein	nein
Mail.Ru	Russische Suchmaschine
Majestic-12	Search engine based on concepts of distributing workload
NerdByNature	Webmap der deutschen Webserver
Nutch Bot	Meist Spam; diverse Eigenbauten von Bots
Pixray-Seeker	Nahe am Spam; Deutscher Auftragsbot Bildercheck
Plukkie	Holländischer Suchmaschinenbot
SeznamBot	Tschechische Suchmaschine
ShopWiki	Nahe am Spam; Produktsuchmaschine
sistrix	Spam; Deutsche SEO-Suchmaschine
Sitebot	Spam
SpeedySpider	Englische Suchmaschine
TurnitinBot	Englische Plagiat-Suchmaschine: Helping educational institutions prevent plagiarism
Yahoo	Amerikanische Suchmaschine	ja	ja
Yandex	Russische Suchmaschine	ja	ja