Неактуальность данного раздела
На текущий момент поисковая система Turtle не функционирует. Данный поисковик существовал в эпоху динозавров.
Как отличить роботов системы Turtle? (www.turtle.ru)
Роботы поисковой системы Tutle при посещении сайтов выставляют заголовок:
User-Agent: TurtleScanner/version_number
Кроме того, роботы устанавливают поле “From:», в которое помещают адрес электронной почты контактного лица. В случае необходимости, можно всегда обратиться по этому адресу с вашей проблемой, связанной с деятельностью роботов Turtle.
Ограничение работы роботов системы Turtle
Принципы работы роботов системы Turtle направлены на то, чтобы равномерно сканировать все доступные сайты и «не терзать» какой-либо сайт в отдельности. Однако если роботы Turtle сильно досаждают серверу или вы хотите исключить свой сайт, или его какую-либо часть, из числа сканируемых, вы можете осуществить это с помощью стандартного механизма исключения роботов, используя файл robots.txt.
Роботы поисковика Turtle распознают директивы для себя с идентификатором “Turtle”, написанном в любом регистре. Например, чтобы запретить индексирование всего сайта, следует составить файл robots.txt следующего содержания:
User-Agent: turtle
Disallow: /
Как ограничить индексирование части документа?
Запрет индексирования части документа роботами поисковой системы Turtle можно осуществить с помощью HTML-инструкций:.
Запрет индексирования всего документа можно осуществить с помощью HTML-инструкции:
<META NAME=“ROBOTS” CONTENT=“NOINDEX”>
Кроме того, можно запретить использование линков с данной страницы с помощью директивы:
<META NAME=“ROBOTS” CONTENT=“NOFOLLOW”>
Однако данный механизм не гарантирует того, что линки с данной страницы не попадут в поисковую систему, т.к. такие линки могут быть найдены и на других страницах, на которых подобного META тэга не будет обнаружено.
Частичная индексация сайта
Существуют формально описанные фильтры, ограничивающие поле сканирования роботов поисковой системы Turtle разумными пределами. Фильтры стараются исключить рекламные блоки, счетчики, рейтинги и пр. Возможно, что некоторые страницы вашего сайта содержат в имени такие части, которые фильтруются.
Ссылки по теме
Поисковая система Turtle — часто задаваемые вопросы