Неактуальность данного раздела
Американский интернет-поисковик Yahoo! отказывается от собственной поисковой машины SearchMonkey в пользу поисковика Bing компаниии Microsoft .
Источники:
- http://news.bbc.co.uk/2/hi/business/8174763.stm
- http://www.gazeta.ru/business/2010/08/18/3408764.shtml
Краткая информация по Yahoo! (www.yahoo.com)
Информация на самом Yahoo!
Поддержка всяких «нестандартностей»
Yahoo! расширяет возможности файла robots.txt [обсуждение на SearchEngines]
Добавлена поддержка * и $.
* означает любой набор символов
$ используется как знак конца URL
Пример 1
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid
1) Разрешает индексацию всех каталогов, начинающихся с ‘public’, например, ‘/public_html/’ или ‘/public_graphs/’.
2) Запрещает индексацию всех файлов и каталогов, содержащих html-документы и строку ‘_print’ в URL, например, ‘/card_print.html’ или ‘/store_print/product.html’.
3) Запрещает индексацию URL, содержащих ‘?sessionid’
Пример 2
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Запрещает индексацию всех файлов, URL которых заканчивается на .gif