Американский интернет-поисковик Yahoo! отказывается от собственной поисковой машины SearchMonkey в пользу поисковика Bing компаниии Microsoft .

Источники:

Информация на самом Yahoo! ^[2]
Поддержка всяких «нестандартностей» ^[3]
Yahoo! расширяет возможности файла robots.txt [обсуждение на SearchEngines] ^[4]

Добавлена поддержка * и $.
* означает любой набор символов
$ используется как знак конца URL

Пример 1

User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid

1) Разрешает индексацию всех каталогов, начинающихся с ‘public’, например, ‘/public_html/’ или ‘/public_graphs/’.
2) Запрещает индексацию всех файлов и каталогов, содержащих html-документы и строку ‘_print’ в URL, например, ‘/card_print.html’ или ‘/store_print/product.html’.
3) Запрещает индексацию URL, содержащих ‘?sessionid’

Пример 2

User-Agent: Yahoo! Slurp
Disallow: /*.gif$

Запрещает индексацию всех файлов, URL которых заканчивается на .gif