Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Чтобы создать файл robots.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt.

Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса ^[1], так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву Host ^[2], которую соблюдает этот поисковик.

Включите 720p на весь экран.

Чтобы правильно написать robots.txt, предлагаем вам изучить разделы этого сайта. Здесь собрана самая полезная информация о синтаксисе robots.txt, о формате robots.txt, примеры использования, а также описание основных поисковых роботов Рунета.

• Как работать с robots.txt ^[3] — узнайте, что вы можете сделать, чтобы управлять роботами, которые посещают ваш веб-сайт.
• Роботы Рунета ^[4] — разделы по роботам поисковых систем, популярных на просторах Рунета.
• Частые ошибки в robots.txt ^[5] — список наиболее частых ошибок, допускаемых при написании файла robots.txt.
• ЧаВо по веб-роботам ^[6] — часто задаваемые вопросы о роботах от пользователей, авторов и разработчиков.
• Ссылки по теме ^[7] — аналог оригинального раздела «WWW Robots Related Sites», но дополненый и расширенный, в основном по русскоязычной тематике.

Этот сайт — некоммерческий проект. Значительная часть материалов — это переводы ^[8], другая часть — оригинальные статьи. Мы не хотим ограничиваться только robots.txt, поэтому в некоторых статьях описаны альтернативные методы «ограничения» роботов.