DiamantNetz 2.0 Bots |
Start Login Wallpapers Praktisch Tools Umfragen Infos Blog Impressum X |
Statusinfo ⇒
Neuling TTLsec:5395 Dienstag, 11.02.2025 Letzte Änderung: 28.07.2024 ![]() |
Nachstehend sind die aufgrund der Logeinträge identifizierten Suchmaschinen (SuMa) aufgelistet, die meine Website besucht haben. Außerdem ist vermerkt, welche SuMa die Datei robots.txt aufgerufen und ggf. beachtet hat.
Suchmaschine | Meine Beurteilung | Ruft robots.txt auf Gutes Zeichen bei Beachtung |
Beachtet robots.txt Ordentliche SuMa |
360Spider | Chinesische Suchmaschine (auch: 360Spider-Image, 360Spider-Video) |
80legs | Nahe am Spam (user-agent: 008); Amerikanische SuMa: allows its users to design and run custom web crawls | ||
Ahrefs | Nahe am Spam; SEO Ranking Suchmaschine | ||
Baidu | Chinesische Suchmaschine | ja | ja |
BecomeBot | Amerikanische Shop-Suchmaschine | ja | ja |
Bing | Amerikanische Suchmaschine (von MSN) | ja | ja |
blekko | Erloschene amerikanische Suchmaschine (jetzt zu IBM Watson); ex www.scoutjet.com; "blekko's mission: provide a differentiated editorial voice in search" | ||
BLEXBot | Amerikanische Suchmaschine: It assists internet marketers to get information on the link structure of sites and their interlinking on the web, to avoid any technical and possible legal issues and improve overall online experience | ja | |
BotOnParade | Spam | nein | nein |
buttons-for-website | Spam | nein | nein |
Career-X | Erloschene deutsche Job-Suchmaschine | ||
Combine | Lund University "Focused crawler". Das liebe ich ;-) wer auf deren Website einen Hinweis auf die robots.txt - außer dass sie laut Werbung beachtet würde ... NUR WIE??? - findet, möge es mir bitte mitteilen | ||
DeuSu (ex Acoon) | Deutsche Suchmaschine(?) Beta; kein Hinweis auf robots.txt | nein | nein |
Discovery | Erloschener Experimental web crawler | ja | ja |
DotBot | Amerikanische SEO-Suchmaschine | ja | |
EC2LinkFinder | Spam: sh. Link - "Amazon EC2 / Amazon AWS is a haven for bad agents" | ||
EmailCollector | Spam: Amerikanische Software that allows you to collect email addresses on the web | ||
Exabot | Französische Suchmaschine (Exalead Dassault Systèmes) | ||
ExtraBot | Spam (jetzt comcept.com); gibt sich als Produkt-Suchmaschine aus, aber was sich bei Zugriff auf die robots.txt nicht gleich zu erkennen gibt und dafür keine Exklusion mittels "disallow" anbietet, hat keine andere Klassifizierung verdient | ||
Ezooms | Spam; unbekannte Herkunft | ||
FlightDeckReports | Identify and/or aggregate data about the use of technology | ||
Gigabot | Englische Suchmaschine | ||
GoogleBot | Amerikanische Suchmaschine | ja | ja |
HaosouSpider | Chinesische Suchmaschine | ||
ia_archiver / Alexa | Nahe am Spam; Business-Suchmaschine | ||
ichiro goo | Japanische Suchmaschine: Der Inhalt der verlinkten Seite ist schon der Hammer; in lateinischen Buchstaben auf den User-Agent der robots.txt verweisen und dann diesen Agent japanisch schreiben - und auch der Quelltext der Seite hilft da nicht weiter. Ist es wirklich zuviel verlangt, dass eine internationale SuMa z.B. noch die Zeichenkette "goo", in einer robots.txt interpretiert und das dann auch so geschrieben wird? | ||
LTX71 | Amerikanische Suchmaschine: continuously scan the internet for security research purposes | nein | nein |
Mail.Ru | Russische Suchmaschine | ||
Majestic-12 | Search engine based on concepts of distributing workload | ||
NerdByNature | Webmap der deutschen Webserver | ||
Nutch Bot | Meist Spam; diverse Eigenbauten von Bots | ||
Pixray-Seeker | Nahe am Spam; Deutscher Auftragsbot Bildercheck | ||
Plukkie | Holländischer Suchmaschinenbot | ||
SeznamBot | Tschechische Suchmaschine | ||
ShopWiki | Nahe am Spam; Produktsuchmaschine | ||
sistrix | Spam; Deutsche SEO-Suchmaschine | ||
Sitebot | Spam | ||
SpeedySpider | Englische Suchmaschine | ||
TurnitinBot | Englische Plagiat-Suchmaschine: Helping educational institutions prevent plagiarism | ||
Yahoo | Amerikanische Suchmaschine | ja | ja |
Yandex | Russische Suchmaschine | ja | ja |