Энциклопедия поисковых систем ^[1] — самый информативный и посещаемый русскоязычный ресурс посвященный поисковым системам
Раздел о поисковых роботах ^[2] — раздел о роботах на
Файл robots.txt на Mastertalk ^[3] — краткое и доходчивое описание robots.txt на
Приоритеты обработки записей в robots.txt ^[4] — чем руководствуются роботы при парсинге файла robots.txt
Работа над файлом robots.txt ^[5] — простая и понятная статья о работе над файлом robots.txt
Управление индексацией сайта (файл Robots.txt) ^[6] — неплохая статья на одном из блогов
^[7] – плагин для Firefox, показывающий, есть ли на сайте robots.txt и закрыта ли текущая страница от индексирования
Предлагаемое расширение стандарта robots.txt ^[8] — переписка Александра Мелькова и Мартина Костера от 2003 года
IP база поисковиков ^[9] — сервис по бесплатному предоставлению постоянно обновляемой ip базы крупнейших англоязычных поисковиков (Google, Yahoo, MSN, Ask, etc).

The Web Robots Pages ^[10] — оригинальный сайт о robots.txt, автор Martijn Koster
Описание файла robots.txt ^[11] — в приложении к стандарту HTML 4.01 на w3c
Search Engine Watch ^[12] — очень большой и информативный ресурс о поисковых системах
RoboGen ^[13] — программа для визуальной генерации файла robots.txt
Проверка robots.txt ^[14] — онлайн-сервис, который позволяет проверить robots.txt на отсутствие ошибок
Search Engine Spider Identification ^[15] — форум о роботах поисковых систем на Webmaster World
An Extended Standard for Robot Exclusion ^[16] — драфт дополнения к стандарту по robots.txt
All about robots ^[17] — дополнения для Гуглбота со ссылками на все материалы.
Meta Robots Tag 101: Blocking Spiders, Cached Pages & More ^[18] — подробнейшая инструкция Дэнни Салливана по мета-тегу ROBOTS, варианты его использования и дополнительные параметры, которые понимают разные поисковые системы.