Ссылки о роботах

Русскоязычные сайты

Энциклопедия поисковых систем — самый информативный и посещаемый русскоязычный ресурс посвященный поисковым системам
Файл robots.txt на Mastertalk — краткое и доходчивое описание robots.txt на mastertalk.ru
Приоритеты обработки записей в robots.txt — чем руководствуются роботы при парсинге файла robots.txt
Работа над файлом robots.txt — простая и понятная статья о работе над файлом robots.txt
Управление индексацией сайта (файл Robots.txt) — неплохая статья на одном из блогов
Большие значения Crawl-delay в robots.txt – эксперимент по изучению поведения роботов
Предлагаемое расширение стандарта robots.txt — переписка Александра Мелькова и Мартина Костера от 2003 года

Продвижение сайта — услуги по продвижению сайта от агентства

Англоязычные сайты

Описание файла robots.txt — в приложении к стандарту HTML 4.01 на w3c
Search Engine Watch — очень большой и информативный ресурс о поисковых системах
RoboGen — программа для визуальной генерации файла robots.txt
Проверка robots.txt — онлайн-сервис, который позволяет проверить robots.txt на отсутствие ошибок
Search Engine Spider Identification — форум о роботах поисковых систем на Webmaster World
An Extended Standard for Robot Exclusion — драфт дополнения к стандарту по robots.txt
All about robots — дополнения для Гуглбота со ссылками на все материалы.
Meta Robots Tag 101: Blocking Spiders, Cached Pages & More — подробнейшая инструкция Дэнни Салливана по мета-тегу ROBOTS, варианты его использования и дополнительные параметры, которые понимают разные поисковые системы.