Yahoo

Yahoo! startet mit neuem Slurp durch

Yahoo hat in seinem Searchblog nun offiziell den Start seines neuen Crawlers bekanntgegeben. Version 3 des Yahoo!-Crawlers wird ‘Yahoo! Slurp/3.0′ als User-Agent angeben. Alte robots.txt-Anweisungen für ‘Slurp’ bzw ‘Yahoo! Slurp’ werden auch weiterhin funktionieren. Die Echtheit des Crawlers kann mit einem Reverse-DNS-Check überprüft werden, der ‘crawler.yahoo.net’ als Ergebnis liefern sollte. Hoffen wir mal das der [...]