Yahoo hat in seinem Searchblog nun offiziell den Start seines neuen Crawlers bekanntgegeben.
Version 3 des Yahoo!-Crawlers wird ‘Yahoo! Slurp/3.0’ als User-Agent angeben. Alte robots.txt-Anweisungen für ‘Slurp’ bzw ‘Yahoo! Slurp’ werden auch weiterhin funktionieren. Die Echtheit des Crawlers kann mit einem Reverse-DNS-Check überprüft werden, der ‘crawler.yahoo.net’ als Ergebnis liefern sollte.
Hoffen wir mal das der neue Slurp ein wenig bandbreiten-freundlicher an die Arbeit geht.
Dein Kommentar
An Diskussion beteiligen?Hinterlasse uns Deinen Kommentar!