Неактуальность данного раздела
С 23.06.11 «Рамблер» отказывается от поддержки собственной поисковой системы и начинает использовать на своих сервисах поисковые технологии «Яндекса» — http://news.rambler.ru/10250482/
Формат файла robots.txt. Инструкции Рамблера (www.rambler.ru)
Пример
Следующий простой файл robots.txt запрещает индексацию всех страниц сайта всем роботам, кроме робота Рамблера, которому, наоборот, разрешена индексация всех страниц сайта.
# Инструкции для всех роботов
User-agent: *
Disallow: /
# Инструкции для робота Рамблера
User-agent: StackRambler
Disallow:
Группы инструкций для отдельных роботов: User-agent
Любой файл robots.txt состоит из групп инструкций. Каждая из них начинается со строки User-agent, указывающей, к каким роботам относятся следующие за ней инструкции Disallow.
Для каждого робота пишется своя группа инструкций. Это означает, что робот может быть упомянут только в одной строке User-agent, и в каждой строке User-agent может быть упомянут только один робот.
Исключение составляет строка User-agent: *. Она означает, что следующие за ней Disallow относятся ко всем роботам, кроме тех, для которых есть свои строки User-agent.
Инструкции: Disallow
В каждой группе, вводимой строкой User-agent, должна быть хотя бы одна инструкция Disallow. Количество инструкций Disallow не ограничено.
Строка «Disallow: /dir» запрещает посещение всех страниц сервера, полное имя которых (от корня сервера) начинается с «/dir». Например: «/dir.html», «/dir/index.html», «/directory.html».
Чтобы запрещать посещение именно каталога «/dir», инструкция должна иметь вид: «Disallow: /dir/».
Для того, чтобы инструкция что-либо запрещала, указанный в ней путь должен начинаться с «/». Соответственно, инструкция «Disallow:» не запрещает ничего, то есть все разрешает.
Внимание: точно так же и инструкции «Disallow: *», «Disallow: *.doc», «Disallow: /dir/*.doc» не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.
К сожалению, инструкций Allow в файлах robots.txt не бывает. Поэтому даже если закрытых для индексирования документов очень много, Вам все равно придется перечислять именно их, а не немногочисленные «открытые» документы. Продумайте структуру сайта, чтобы закрытые для индексирования документы были собраны по возможности в одном месте.
Пустые строки и комментарии
Пустые строки допускаются между группами инструкций, вводимыми User-agent.
Инструкция Disallow учитывается, только если она подчинена какой-либо строке User-agent – то есть если выше нее есть строка User-agent.
Любой текст от знака решетки «#» до конца строки считается комментарием и игнорируется.
Ссылки по теме
Раздел на сайте Рамблера
Обработка Рамблером robots.txt
Недокументированные особенности Рамблера