Директивы файла robots.txt

Директивы robots.txt – это набор команд для поисковых роботов. В таком случае поисковые системы индексируют страницы согласно прописанным правилам в файле robots.txt. С помощью данных правил SEO-специалист принимает решение о том, какие страницы отдавать боту для индексации, а какие наоборот, закрывать от сканирования.

Примечательно, что инструкции файла носят рекомендательный, а не обязательный характер. Поэтому у него существует вероятность быть проигнорированным поисковиками.

Различают такие установки файла:

  • Allow. Именно он служит разрешением индексации целого сайта или его составляющих – страниц, разделов, категорий или даже отдельно взятых файлов. По умолчанию для работы поисковиков открыт целиком весь сайт.
  • Disallow. Располагается после предыдущей директивы и не разрешает такую функцию в определенных участках сайта. Инструмент необходим, чтобы не перегружать поиск работой со страницами-дубликатами. К ним относится сортировка товаров или страницы печати.
  • User-agent. Определяет круг роботов, для работы которых прописаны директивы. Чтобы не перечислять все поисковики, которых известно более трехсот, можно поставить символ «*». Он не ограничивает данный круг.
  • Sitemap. Содержит полный путь к карте сайта в XML-формате. Важно проверить, чтобы адрес был указан верно. Робот произведет переработку данных и запомнит необходимый путь. После этого при каждом проходе он будет анализировать изменения, которые были внесены, и быстрее обновлять информацию в поисковых базах данных.
  • Host. Уже неактуальная директива, поисковые системы ее не учитывают.
  • Clean-param. Применяется только для Yandex. Выполняет своеобразную очистку адресов ссылок от динамических параметров при условии, что они не влияют на содержимое страниц. Такими могут быть идентификаторы пользователей или данные о рефералах.
  • Crawl-delay. Используется исключительно для снижения нагрузки на сайт со слабым сервером. При этом между работой с разными страницами роботам предлагаются временные перерывы, указанные в секундах. Google такие ограничения не признает.
  • /. Символ указывает, какую именно часть предлагается закрыть от системы. Одинарный слеш указывает на весь сайт, двойной – для отдельной директории, например, /catalog/.
  • *. По умолчанию говорит об отсутствии ограничений.
  • $. Символ отменяет действия, прописанные по умолчанию.
  • #. После этого знака в файле прописываются примечания. Они не будут учитываться до новой группы директив, расположенной после знака пустого перевода строки.
Поделиться с друзьями
Robots.Txt по-русски