На текущий момент поисковая система Turtle не функционирует. Данный поисковик существовал в эпоху динозавров.

Роботы поисковой системы Tutle при посещении сайтов выставляют заголовок:

User-Agent: TurtleScanner/version_number

Кроме того, роботы устанавливают поле “From:», в которое помещают адрес электронной почты контактного лица. В случае необходимости, можно всегда обратиться по этому адресу с вашей проблемой, связанной с деятельностью роботов Turtle.

Принципы работы роботов системы Turtle направлены на то, чтобы равномерно сканировать все доступные сайты и «не терзать» какой-либо сайт в отдельности. Однако если роботы Turtle сильно досаждают серверу или вы хотите исключить свой сайт, или его какую-либо часть, из числа сканируемых, вы можете осуществить это с помощью стандартного механизма исключения роботов, используя файл robots.txt.

Роботы поисковика Turtle распознают директивы для себя с идентификатором “Turtle”, написанном в любом регистре. Например, чтобы запретить индексирование всего сайта, следует составить файл robots.txt следующего содержания:

User-Agent: turtle
Disallow: /

Запрет индексирования части документа роботами поисковой системы Turtle можно осуществить с помощью HTML-инструкций:.

Запрет индексирования всего документа можно осуществить с помощью HTML-инструкции:

<META NAME=“ROBOTS” CONTENT=“NOINDEX”>

Кроме того, можно запретить использование линков с данной страницы с помощью директивы:

<META NAME=“ROBOTS” CONTENT=“NOFOLLOW”>

Однако данный механизм не гарантирует того, что линки с данной страницы не попадут в поисковую систему, т.к. такие линки могут быть найдены и на других страницах, на которых подобного META тэга не будет обнаружено.

Существуют формально описанные фильтры, ограничивающие поле сканирования роботов поисковой системы Turtle разумными пределами. Фильтры стараются исключить рекламные блоки, счетчики, рейтинги и пр. Возможно, что некоторые страницы вашего сайта содержат в имени такие части, которые фильтруются.

Поисковая система Turtle ^[2] — часто задаваемые вопросы