Yahoo Slurp nennt sich der Webcrawler, den Yahoo einsetzt
Über einen sogenannten Webcrawler, ein kleines Programm, das Webseiten durchforstet, werden Internetseiten besucht und deren Inhalt gelesen. Der Webcrawler den Yahoo einsetzt nennt sich Yahoo Slurp. Wer Zugriff auf die Logs seines Server hat, der wird diesen Namen schon häufig gelesen haben.
Die Häufigkeit der Besuche hängt von verschiedenen Faktoren ab. Dazu gehört auch die Frequenz, mit der die Webseite mit neuen Inhalten gefüllt wird. Je häufiger sich die Webseite verändert, desto häufiger bekommt man auch Besuch vom Yahoo Slurp und anderen Webcrawlern.
Über eine Textdatei namens robots.txt kann der Yahoo Slurp in seiner Arbeitsweise beeinflusst werden. Leider wird die Datei nicht von jedem Webcrawler beachtet, was hin und wieder ein komplettes Aussperren bestimmter Crawler erforderlich macht.