http://robotstxt.org.ru/rurobots/Turtle History/revisions of Robots.Txt по-русски/rurobots/Turtle en-us http://robotstxt.org.ru/rurobots/Turtle/show?time=2006-10-20+01%3A27%3A23 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".rurobots.turtle" href="http://robotstxt.org.ru/rurobots/Turtle" class="">/rurobots&nbsp;/&nbsp;Turtle</a> за <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-20+01%3A27%3A23">2006-10-20 01:27:23</a> и <a href="http://robotstxt.org.ru/rurobots/Turtle">2006-12-01 00:43:18</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h104-1"></a><h2>Ссылки по&nbsp;теме</h2></div></div> http://robotstxt.org.ru/rurobots/Turtle/show?time=2006-10-20+01%3A27%3A05 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/Turtle" class="">/rurobots&nbsp;/&nbsp;Turtle</a> за <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-20+01%3A27%3A05">2006-10-20 01:27:05</a> и <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-20+01%3A27%3A23">2006-10-20 01:27:23</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h104-1"></a><h1>Роботы Черепахи — <a href="http://www.turtle.ru" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.turtle.ru</a></h1></div><br /> <b>Удалено:</b><br /> <div class="deletions">==Роботы Черепахи — <a href="http://www.turtle.ru" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.turtle.ru</a></div></div> http://robotstxt.org.ru/rurobots/Turtle/show?time=2006-10-18+14%3A25%3A56 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/Turtle" class="">/rurobots&nbsp;/&nbsp;Turtle</a> за <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-18+14%3A25%3A56">2006-10-18 14:25:56</a> и <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-20+01%3A27%3A05">2006-10-20 01:27:05</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">==Роботы Черепахи — <a href="http://www.turtle.ru" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.turtle.ru</a></div></div> http://robotstxt.org.ru/rurobots/Turtle/show?time=2006-10-18+00%3A10%3A34 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/Turtle" class="">/rurobots&nbsp;/&nbsp;Turtle</a> за <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-18+00%3A10%3A34">2006-10-18 00:10:34</a> и <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-18+14%3A25%3A56">2006-10-18 14:25:56</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Существуют формально описанные фильтры, ограничивающие поле сканирования роботов поисковой системы Turtle разумными пределами. Фильтры стараются исключить рекламные блоки, счетчики, рейтинги и&nbsp;пр. Возможно, что&nbsp;некоторые страницы вашего сайта содержат в&nbsp;имени такие части, которые фильтруются.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Существуют формально описанные фильтры, ограничивающие поле сканирования наших роботов разумными пределами. Фильтры стараются исключить рекламные блоки, счетчики, рейтинги и&nbsp;пр. Возможно, что&nbsp;некоторые страницы вашего сайта содержат в&nbsp;имени такие части, которые фильтруются.</div></div> http://robotstxt.org.ru/rurobots/Turtle/show?time=2006-10-18+00%3A10%3A09 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/Turtle" class="">/rurobots&nbsp;/&nbsp;Turtle</a> за <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-18+00%3A10%3A09">2006-10-18 00:10:09</a> и <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-18+00%3A10%3A34">2006-10-18 00:10:34</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><!--notypo--><fieldset><legend><strong> Оглавление документа </strong></legend><div class="toc1"><a href="#h104-2">Как отличить роботов системы Turtle?</a></div><div class="toc1"><a href="#h104-3">Ограничение работы роботов системы Turtle</a></div><div class="toc1"><a href="#h104-4">Как ограничить индексирование части документа?</a></div><div class="toc1"><a href="#h104-5">Частичная индексация сайта</a></div><div class="toc1"><a href="#h104-6">Ссылки по&nbsp;теме</a></div></fieldset><!--/notypo--></div></div> http://robotstxt.org.ru/rurobots/Turtle/show?time=2006-10-18+00%3A05%3A56 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/Turtle" class="">/rurobots&nbsp;/&nbsp;Turtle</a> за <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-18+00%3A05%3A56">2006-10-18 00:05:56</a> и <a href="http://robotstxt.org.ru/rurobots/Turtle?time=2006-10-18+00%3A10%3A09">2006-10-18 00:10:09</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Роботы поисковой системы Tutle при&nbsp;посещении сайтов выставляют заголовок:<a name="h104-1"></a><h2>Ограничение работы роботов системы Turtle</h2> Принципы работы роботов системы Turtle направлены на&nbsp;то, чтобы равномерно сканировать все&nbsp;доступные сайты и&nbsp;&laquo;не терзать&raquo; какой-либо сайт в&nbsp;отдельности. Однако если роботы Turtle сильно досаждают серверу или&nbsp;вы&nbsp;хотите исключить свой сайт, или&nbsp;его какую-либо часть, из&nbsp;числа сканируемых, вы&nbsp;можете осуществить это&nbsp;с&nbsp;помощью стандартного механизма исключения роботов, используя файл robots.txt.<br /> Роботы поисковика Turtle распознают директивы для&nbsp;себя с&nbsp;идентификатором &#147;Turtle&#148;, написанном в&nbsp;любом регистре. Например, чтобы запретить индексирование всего сайта, следует составить файл robots.txt следующего содержания:<br /> Запрет индексирования части документа роботами поисковой системы Turtle можно осуществить с&nbsp;помощью HTML-инструкций: &lt;noindex&gt; &lt;/noindex&gt;.<br /> Запрет индексирования всего документа можно осуществить с&nbsp;помощью HTML-инструкции:<a name="h104-2"></a><h2>Частичная индексация сайта</h2></div><br /> <b>Удалено:</b><br /> <div class="deletions">Наши роботы при&nbsp;посещении сайтов выставляют заголовок:<a name="h104-1"></a><h2>Как ограничить работу роботов системы Turtle на&nbsp;моем сайте?</h2> Принципы работы наших роботов направлены на&nbsp;то, чтобы равномерно сканировать все&nbsp;доступные сайты и&nbsp;&laquo;не терзать&raquo; какой-либо сайт в&nbsp;отдельности. Однако если наши роботы сильно досаждают вашему серверу или&nbsp;вы&nbsp;хотите исключить свой сайт, или&nbsp;его какую-либо часть, из&nbsp;числа сканируемых, вы&nbsp;можете осуществить это&nbsp;с&nbsp;помощью стандартного механизма исключения роботов, используя файл robots.txt. Русский перевод стандарта и&nbsp;правил оформления файлов robots.txt расположен на&nbsp;<a href="http://robotstxt.org.ru/RobotsExclusion" target="_blank" title="" class="outerlink">http://robotstxt.org.ru/RobotsExclusion</a><br /> Наши роботы распознают директивы для&nbsp;себя с&nbsp;идентификатором &#147;Turtle&#148;, написанном в&nbsp;любом регистре. Например, чтобы запретить индексирование всего сайта, следует составить файл robots.txt следующего содержания:<br /> Запрет индексирования части документа нашими роботами можно осуществить с&nbsp;помощью HTML-инструкций: &lt;noindex&gt; &lt;/noindex&gt;. Запрет индексирования всего документа можно осуществить с&nbsp;помощью HTML-инструкции:<a name="h104-2"></a><h2>Некоторые страницы моего сайта успешно проиндексированы, а&nbsp;некоторые отсутствуют в&nbsp;поисковой системе. Почему?</h2></div></div>