|
Alternative Bezeichnung für Spider oder Robot,
d.h. spezialisierte Programme der Suchmaschinen, die ununterbrochen
von den Suchmaschinen bereits indizierte Seiten verifizieren und
neu angemeldet Sites "spidern" und damit die Seiten solcher
Sites für die Indizierung durch die Suchmaschinen abrufen.
Die Qualität der Suchmaschinen lässt
sich auch durch die Arbeitsweise ihrer Crawler beurteilen. Selbst
Suchmaschinen setzen oft fehlerhafte Crawler ein, die HTTP-Protokolle
nicht richtig beherrschen oder die URLs nicht korrekt bearbeiten
können, wenn relative statt absolute Pfad- und Dateinamen in
einer Präsenz eingesetzt werden.
Andere Crawler geraten schonmal in Endlos-Schleifen.
So berichtete Fireball vor ein paar Jahren, dass der Lycos-Spider
die Live-Suche von Fireball entdeckt hatte und daher alle 30 Sekunden
die darin aufgeführten Seiten - deren Links als Fireball-Suchanfrage
formuliert waren - bei Fireball suchte.
|
