Yahoo hat in seinem Searchblog nun offiziell den Start seines neuen Crawlers bekanntgegeben.

Version 3 des Yahoo!-Crawlers wird ‘Yahoo! Slurp/3.0’ als User-Agent angeben. Alte robots.txt-Anweisungen für ‘Slurp’ bzw ‘Yahoo! Slurp’ werden auch weiterhin funktionieren. Die Echtheit des Crawlers kann mit einem Reverse-DNS-Check überprüft werden, der ‘crawler.yahoo.net’ als Ergebnis liefern sollte.

Hoffen wir mal das der neue Slurp ein wenig bandbreiten-freundlicher an die Arbeit geht.

0 Kommentare

Dein Kommentar

An Diskussion beteiligen?
Hinterlasse uns Deinen Kommentar!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.