Robots.txt по-русски —

Этот сайт содержит информацию о стандарте на robots.txt и другие статьи о написании корректно себя ведущих веб-роботов.

• Как работать с robots.txt — узнайте, что вы можете сделать, чтобы управлять Роботами, которые посещают ваш веб-сайт
• Роботы Рунета — разделы по роботам, наиболее часто встречающимся на просторах Рунета
• Частые ошибки в robots.txt — список наиболее частых ошибок, допускаемых при написании файла robots.txt
• ЧаВо по веб-роботам — часто задаваемые вопросы о веб-роботах от пользователей, авторов и разработчиков.
• Ссылки по теме — аналог оригинального раздела “WWW Robots Related Sites”, но дополненый и расширенный. В основном, по русскоязычной тематике.