www.turtle.ru
Роботы поисковой системы Tutle при посещении сайтов выставляют заголовок:
User-Agent: TurtleScanner/version_number
Кроме того, роботы устанавливают поле “From:", в которое помещают адрес электронной почты контактного лица. В случае необходимости, можно всегда обратиться по этому адресу с вашей проблемой, связанной с деятельностью роботов Turtle.
Принципы работы роботов системы Turtle направлены на то, чтобы равномерно сканировать все доступные сайты и «не терзать» какой-либо сайт в отдельности. Однако если роботы Turtle сильно досаждают серверу или вы хотите исключить свой сайт, или его какую-либо часть, из числа сканируемых, вы можете осуществить это с помощью стандартного механизма исключения роботов, используя файл robots.txt.
Роботы поисковика Turtle распознают директивы для себя с идентификатором “Turtle”, написанном в любом регистре. Например, чтобы запретить индексирование всего сайта, следует составить файл robots.txt следующего содержания:
User-Agent: turtle
Disallow: /
Запрет индексирования части документа роботами поисковой системы Turtle можно осуществить с помощью HTML-инструкций: <noindex> </noindex>.
Запрет индексирования всего документа можно осуществить с помощью HTML-инструкции:
<META NAME="ROBOTS" CONTENT="NOINDEX">
Кроме того, можно запретить использование линков с данной страницы с помощью директивы:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
Однако данный механизм не гарантирует того, что линки с данной страницы не попадут в поисковую систему, т.к. такие линки могут быть найдены и на других страницах, на которых подобного META тэга не будет обнаружено.
Существуют формально описанные фильтры, ограничивающие поле сканирования роботов поисковой системы Turtle разумными пределами. Фильтры стараются исключить рекламные блоки, счетчики, рейтинги и пр. Возможно, что некоторые страницы вашего сайта содержат в имени такие части, которые фильтруются.
Поисковая система Turtle — часто задаваемые вопросы