Роботы Yahoo! (Яху!) (Неактуально)

Неактуальность данного раздела

Американский интернет-поисковик Yahoo! отказывается от собственной поисковой машины SearchMonkey в пользу поисковика Bing компаниии Microsoft .

Источники:

  • http://news.bbc.co.uk/2/hi/business/8174763.stm
  • http://www.gazeta.ru/business/2010/08/18/3408764.shtml

Краткая информация по Yahoo! (www.yahoo.com)

Информация на самом Yahoo!
Поддержка всяких «нестандартностей»
Yahoo! расширяет возможности файла robots.txt [обсуждение на SearchEngines]

Добавлена поддержка * и $.
* означает любой набор символов
$ используется как знак конца URL

Пример 1

User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid

1) Разрешает индексацию всех каталогов, начинающихся с ‘public’, например, ‘/public_html/’ или ‘/public_graphs/’.
2) Запрещает индексацию всех файлов и каталогов, содержащих html-документы и строку ‘_print’ в URL, например, ‘/card_print.html’ или ‘/store_print/product.html’.
3) Запрещает индексацию URL, содержащих ‘?sessionid’

Пример 2

User-Agent: Yahoo! Slurp
Disallow: /*.gif$

Запрещает индексацию всех файлов, URL которых заканчивается на .gif