информация на самом Yahoo!,
поддержка всяких «нестандартностей»
Yahoo! расширяет возможности файла robots.txt [обсуждение на SearchEngines]
Добавлена поддержка * и $.
* означает любой набор символов
$ используется как знак конца URL
Пример 1
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid
1) Разрешает индексацию всех каталогов, начинающихся с 'public', например, '/public_html/' или '/public_graphs/'.
2) Запрещает индексацию всех файлов и каталогов, содержащих html-документы и строку '_print' в URL, например, '/card_print.html' или '/store_print/product.html'.
3) Запрещает индексацию URL, содержащих '?sessionid'
Пример 2
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Запрещает индексацию всех файлов, URL которых заканчивается на .gif
