Yahoo hat in seinem Searchblog nun offiziell den Start seines neuen Crawlers bekanntgegeben.
Version 3 des Yahoo!-Crawlers wird ‚Yahoo! Slurp/3.0‘ als User-Agent angeben. Alte robots.txt-Anweisungen für ‚Slurp‘ bzw ‚Yahoo! Slurp‘ werden auch weiterhin funktionieren. Die Echtheit des Crawlers kann mit einem Reverse-DNS-Check überprüft werden, der ‚crawler.yahoo.net‘ als Ergebnis liefern sollte.
Hoffen wir mal das der neue Slurp ein wenig bandbreiten-freundlicher an die Arbeit geht.
