ВСЕ О ФАЙЛЕ «ROBOTS.TXT» ПО-РУССКИ —
КАК СОСТАВИТЬ ROBOTS.TXT
Все поисковые роботы при заходе на сайт
в первую очередь ищут файл robots.txt.
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Чтобы создать файл robots.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt.
Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву Host, которую соблюдает этот поисковик.
Чтобы правильно написать robots.txt, предлагаем вам изучить разделы этого сайта. Здесь собрана самая полезная информация о синтаксисе robots.txt, о формате robots.txt, примеры использования, а также описание основных поисковых роботов Рунета.
-
Как работать с robots.txt — узнайте, что вы можете сделать, чтобы управлять
роботами, которые посещают ваш веб-сайт. -
Роботы Рунета — разделы по роботам поисковых систем, популярных на
просторах Рунета. -
Частые ошибки в robots.txt — список наиболее частых ошибок, допускаемых при
написании файла robots.txt. -
ЧаВо по веб-роботам — часто задаваемые вопросы о роботах от
пользователей, авторов и разработчиков. -
Ссылки по теме — аналог оригинального раздела «WWW Robots Related Sites»,
но дополненый и расширенный, в основном по русскоязычной тематике.
Используйте файл robots.txt для ограничения поисковых роботов от индексации отдельных частей вашего сайта.
Этот сайт — некоммерческий проект. Значительная часть материалов — это переводы www.robotstxt.org, другая часть — оригинальные статьи. Мы не хотим ограничиваться только robots.txt, поэтому в некоторых статьях описаны альтернативные методы «ограничения» роботов.