http://robotstxt.org.ru/ЧаВо History/revisions of Robots.Txt по-русски/ЧаВо en-us http://robotstxt.org.ru/ChaVo/show?time=2006-10-01+00%3A08%3A38 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".chavo" href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-10-01+00%3A08%3A38">2006-10-01 00:08:38</a> и <a href="http://robotstxt.org.ru/ChaVo">2006-10-20 01:10:22</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h68-1"></a><h2>Стандарт исключения роботов</h2> Это&nbsp;запросы от&nbsp;роботов, которые пробоуют получить инструкции для&nbsp;обработки сайта в&nbsp;соответствии со&nbsp;<a name=".robotsexclusion.spec" href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">стандартом исключения роботов</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h68-1"></a><h2>Стандарт исключений для&nbsp;роботов</h2> Это&nbsp;запросы от&nbsp;роботов, которые пробоуют получить инструкции для&nbsp;обработки вайта в&nbsp;соответствии со&nbsp;<a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">стандартом исключений для&nbsp;роботов</a>.</div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-10-01+00%3A07%3A54 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-10-01+00%3A07%3A54">2006-10-01 00:07:54</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-10-01+00%3A08%3A38">2006-10-01 00:08:38</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h68-1"></a><h3>Что такое Роботы, Пауки, Черви?</h3></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h68-1"></a><h3>Что такое Роботы, Пауки, Черви, Муравьи?</h3></div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-10-01+00%3A07%3A36 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-10-01+00%3A07%3A36">2006-10-01 00:07:36</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-10-01+00%3A07%3A54">2006-10-01 00:07:54</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h68-1"></a><h2>Общая информация о&nbsp;поисковых роботах</h2></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h68-1"></a><h2>Общая информация</h2><a name="h68-2"></a><h3>О поисковых роботах</h3></div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-09-30+23%3A46%3A46 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-09-30+23%3A46%3A46">2006-09-30 23:46:46</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-10-01+00%3A07%3A36">2006-10-01 00:07:36</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h68-1"></a><h2>Общая информация</h2> Да. Для&nbsp;справки: если вы&nbsp;купите книгу по&nbsp;нижепреведенной ссылке, интернет-магазин заплатит автору robotstxt.org немного денег, которые пойдут на&nbsp;поддержание сайта. Книги преведены в&nbsp;алфавитном порядке.<br /> Сейчас архивы USENET доступны на&nbsp;<a href="http://groups.google.com/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://groups.google.com/</a>.<br /> Это&nbsp;зависит от&nbsp;поисковой системы. Многие системы размещают ссылку на&nbsp;добавление сайта на&nbsp;странице поиска или&nbsp;в&nbsp;одном из&nbsp;разделов сайта. Например:<br /> Вы&nbsp;можете просмотреть <a href="http://www.robotstxt.org/wc/active.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />список действующих роботов</a> &ndash; я&nbsp;начинаю потихоньку добавлять информацию о&nbsp;том, доступны ли&nbsp;они для&nbsp;скачивания и&nbsp;использования.<br /> Также много проектов с&nbsp;открытым кодом можно найти на&nbsp;<a href="http://sourceforge.net/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />SourceForge</a>.<br /> И&nbsp;не забудте поискать на&nbsp;<a href="http://sourceforge.net/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />SourceForge</a>.<br /> О, на&nbsp;многое. Для&nbsp;начала, прочитайте все&nbsp;материалы этого сайта, потом &ndash; отчеты с&nbsp;прошедших WWW-конференций, и&nbsp;спецификации HTML и&nbsp;HTTP..</div><br /> <b>Удалено:</b><br /> <div class="deletions"><!--notypo--><fieldset><legend><strong> Оглавление документа </strong></legend><div class="toc1"><a href="#h68-2">Общая информация о&nbsp;поисковых роботах</a></div><div class="toc2"><a href="#h68-3">Что такое агент?</a></div><div class="toc2"><a href="#h68-4">Что такое поисковая система?</a></div><div class="toc2"><a href="#h68-5">Какие другие виды роботов существуют?</a></div><div class="toc2"><a href="#h68-6">Что такое Роботы, Пауки, Черви?</a></div><div class="toc2"><a href="#h68-7">Не вредят ли&nbsp;поисковые роботы интернету?</a></div><div class="toc2"><a href="#h68-8">Существуют ли&nbsp;книги о&nbsp;поисковых роботах?</a></div><div class="toc2"><a href="#h68-9">Где я&nbsp;могу найти дополнительную информацию о&nbsp;поисковых роботах?</a></div><div class="toc1"><a href="#h68-10">Индексирующие роботы</a></div><div class="toc2"><a href="#h68-11">Каким образом роботы выбирают, какую страницу индексировать?</a></div><div class="toc2"><a href="#h68-12">Как робот решает, что&nbsp;ему индексировать?</a></div><div class="toc2"><a href="#h68-13">Как мне&nbsp;добавить мой&nbsp;сайт для&nbsp;индексирования?</a></div><div class="toc1"><a href="#h68-14">Для администраторов</a></div><div class="toc2"><a href="#h68-15">Как мне&nbsp;узнать, что&nbsp;на&nbsp;мой сайт заходил робот?</a></div><div class="toc2"><a href="#h68-16">Ко мне&nbsp;на&nbsp;сайт заходил робот! Что&nbsp;мне делать?</a></div><div class="toc2"><a href="#h68-17">Робот чересчур быстро забирает весь мой&nbsp;сайт!</a></div><div class="toc2"><a href="#h68-18">Как мне&nbsp;заставить роботов держаться подальше от&nbsp;моего сайта?</a></div><div class="toc1"><a href="#h68-19">Стандарт исключения роботов</a></div><div class="toc2"><a href="#h68-20">Почему у&nbsp;меня в&nbsp;логах появляются запросы файла robots.txt?</a></div><div class="toc2"><a href="#h68-21">Как запретить роботам индексировать мой&nbsp;сайт?</a></div><div class="toc2"><a href="#h68-22">Где мне&nbsp;узнать как&nbsp;работает файл /robots.txt?</a></div><div class="toc2"><a href="#h68-23">Будет ли&nbsp;стандарт на&nbsp;robots.txt развиваться дальше?</a></div><div class="toc2"><a href="#h68-24">Что если у&nbsp;меня нет&nbsp;возможности создать файл robots.txt?</a></div><div class="toc2"><a href="#h68-25">Не является ли&nbsp;перечисление файлов и&nbsp;директорий в&nbsp;файле robots.txt опасным?</a></div><div class="toc1"><a href="#h68-26">Доступность</a></div><div class="toc2"><a href="#h68-27">Как я&nbsp;могу воспользоваться услугами роботов?</a></div><div class="toc2"><a href="#h68-28">Где я&nbsp;могу достать робота для&nbsp;себя?</a></div><div class="toc2"><a href="#h68-29">Где я&nbsp;могу достать исходный код&nbsp;робота?</a></div><div class="toc2"><a href="#h68-30">Я пишу робота, на&nbsp;что мне&nbsp;стоит обратить особое внимание?</a></div><div class="toc2"><a href="#h68-31">Я написал робота, как&nbsp;мне включить его&nbsp;в&nbsp;список?</a></div></fieldset><!--/notypo--><a name="h68-1"></a><h2>О Поисковых Роботах</h2> Да. Для&nbsp;справки: если вы&nbsp;купите книгу по&nbsp;нижепреведенной ссылке, интернет-магазин заплатит автору немного денег, которые пойдут на&nbsp;поддержание данного сайта. Книги преведены в&nbsp;алфавитном порядке.<br /> <blockquote>Я оставил ссылки с&nbsp;оригинального robotstxt.org, так&nbsp;что деньги от&nbsp;Амазона получим не&nbsp;мы, а&nbsp;Martijn Koster ;) <a name=".mikhaelkorneev" href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a></blockquote><br /> <blockquote>В наше время большинству будет понятнее <a href="http://groups.google.com/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://groups.google.com/</a> &ndash; там&nbsp;и&nbsp;usenet-овские архивы доступны <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a></blockquote><br /> Вы&nbsp;не поверите, но&nbsp;это зависит от&nbsp;поисковой системы :-). Многие системы размещают ссылку на&nbsp;добавление сайта на&nbsp;странице поиска или&nbsp;в&nbsp;одном из&nbsp;разделов сайта. Например:<br /> Вы&nbsp;можете просмотреть список действующих роботов &ndash; я&nbsp;начинаю потихоньку добавлять информацию о&nbsp;том, доступны ли&nbsp;они для&nbsp;скачивания и&nbsp;использования.<br /> На&nbsp;данный момент, я&nbsp;знаю два&nbsp;доступных индексирующих робота &ndash; Harvest и&nbsp;Verity's.<br /> <blockquote> Есть еще&nbsp;один вариант &ndash; поиск на&nbsp;<a href="http://sourceforge.net/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />SourceForge</a>. <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a></blockquote><br /> <blockquote>Ну, и&nbsp;не забываем любимый <a href="http://sourceforge.net/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />SourceForge</a> ;-). <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a></blockquote><br /> О, на&nbsp;многое. Для&nbsp;начала, прочитайте все&nbsp;материалы этого сайта, потом &ndash; отчеты с&nbsp;прошедших WWW-конференций, и&nbsp;спецификации HTML и&nbsp;HTTP. Да, масса работы :-).</div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-08-24+01%3A48%3A38 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A48%3A38">2006-08-24 01:48:38</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-09-30+23%3A46%3A46">2006-09-30 23:46:46</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h68-1"></a><h1>Часто задаваемые вопросы о&nbsp;поисковых роботах</h1> В&nbsp;наше время поисковики работают не&nbsp;только с&nbsp;HTML-страницами, но&nbsp;и разные другие интересными вещами, например <a href="http://images.yandex.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />картинками</a> или&nbsp;<a href="http://video.google.com/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />видео</a></div><br /> <b>Удалено:</b><br /> <div class="deletions"><blockquote>В наше время поисковики ищут не&nbsp;только HTML-документы, но&nbsp;и разные другие интересности, например <a href="http://images.yandex.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />картинки</a> или&nbsp;<a href="http://video.google.com/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />видео</a> <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a> </blockquote></div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-08-24+01%3A43%3A03 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A43%3A03">2006-08-24 01:43:03</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A48%3A38">2006-08-24 01:48:38</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Из&nbsp;этих источников робот выбирает URL-ы, которые потом индексирует, из&nbsp;них же&nbsp;он получает списки новых URL-ов. Особенности поведения наиболее распространенных в&nbsp;Рунете роботов можно посмотреть <a name=".rurobots" href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">в соответствующем разделе</a>.<br /> Вы&nbsp;не поверите, но&nbsp;это зависит от&nbsp;поисковой системы :-). Многие системы размещают ссылку на&nbsp;добавление сайта на&nbsp;странице поиска или&nbsp;в&nbsp;одном из&nbsp;разделов сайта. Например:<br /> * У&nbsp;Яндекса есть страница <a href="http://webmaster.yandex.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Добавить URL</a><br /> * у&nbsp;Google есть раздел <a href="http://www.google.com/support/webmasters/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Information for&nbsp;Webmasters</a><br /> * у&nbsp;Рамблера есть <a href="http://www.rambler.ru/doc/add_site_form.shtml" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Форма регистрации сайта</a></div><br /> <b>Удалено:</b><br /> <div class="deletions">Из&nbsp;этих источников робот выбирает URL-ы, которые потом индексирует, из&nbsp;них же&nbsp;он получает списки новых URL-ов. <span class="cite">может стоит здесь добавить про&nbsp;всякие ограничения, применяемые нашими поисковиками? например то&nbsp;что Яндекс не&nbsp;будет индексировать .com домен по&nbsp;ссылке? <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a> /01.05.2006 00:46/</span><br /> Вы&nbsp;не поверите, но&nbsp;это зависит от&nbsp;поисковой системы :-). Многие системы размещают ссылку на&nbsp;добавление сайта на&nbsp;странице поиска или&nbsp;в&nbsp;одном из&nbsp;разделов сайта. Например, у&nbsp;Google есть раздел <a href="http://www.google.com/support/webmasters/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Information for&nbsp;Webmasters</a>.<br /> <span class="cite">ИМХО было-бы полезно добавить сюда ссылки на&nbsp;формы добавления сайта в&nbsp;наиболее используемые у&nbsp;нас поисковики. <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a> /01.05.2006 00:46/</span></div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-08-24+01%3A36%3A19 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A36%3A19">2006-08-24 01:36:19</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A43%3A03">2006-08-24 01:43:03</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Это&nbsp;запросы от&nbsp;роботов, которые пробоуют получить инструкции для&nbsp;обработки вайта в&nbsp;соответствии со&nbsp;<a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">стандартом исключений для&nbsp;роботов</a>.<br /> Вы&nbsp;можете почитать <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">стандарт</a>, но&nbsp;суть robots.txt очень проста. Вы&nbsp;можете указать роботам, что&nbsp;какие-то разделы сайта нельзя индексировать либо всем, либо каким-то конкретным роботам. Проще всего объяснить на&nbsp;примере:<br /> %%(php)# /robots.txt для&nbsp;сайта www.example.com<br /> User-agent: Yandex<br /> User-agent: <span class="missingpage">Bad&nbsp;Robot</span><a href="http://robotstxt.org.ru/BadRobot/edit?add=1" title="Создать эту страницу">?</a><br /> Первый блок указывает, что&nbsp;робот с&nbsp;имененм 'Yandex' может индексировать все&nbsp;разделы сайта.<br /> Второй блок указывает, что&nbsp;робот с&nbsp;имененм 'BadRobot' не&nbsp;должен индексировать все&nbsp;URL, начинающиеся с&nbsp;'/'. Так&nbsp;как с&nbsp;'/' начинаются все&nbsp;URL, это&nbsp;попросту значит, что&nbsp;для него весь сайт закрыт от&nbsp;индексирования.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Это&nbsp;запросы от&nbsp;роботов, которые пробоуют получить инструкции для&nbsp;обработки вайта в&nbsp;соответствии со&nbsp;<a href="http://www.robotstxt.org/wc/norobots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />стандартом исключений для&nbsp;роботов</a>.<br /> Вы&nbsp;можете почитать <a href="http://www.robotstxt.org/wc/norobots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />сам стандарт</a>, но&nbsp;сама суть очень проста. Вы&nbsp;можете указать роботам, что&nbsp;какие-то разделы сайта нельзя индексировать либо всем, либо каким-то конкретным роботам. Проще всего объяснить на&nbsp;примере:<br /> %%(php)# /robots.txt для&nbsp;робота <a href="http://webcrawler.com/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://webcrawler.com/</a><br /> # mail webmaster@webcrawler.com for&nbsp;constructive criticism<br /> User-agent: webcrawler<br /> User-agent: lycra<br /> Первый блок указывает, что&nbsp;робот с&nbsp;имененм 'webcrawler' может индексировать все&nbsp;разделы сайта.<br /> Второй блок указывает, что&nbsp;робот с&nbsp;имененм 'lycra' не&nbsp;должен индексировать все&nbsp;URL, начинающиеся с&nbsp;'/'. Так&nbsp;как с&nbsp;'/' начинаются все&nbsp;URL, это&nbsp;попросту значит, что&nbsp;для него весь сайт закрыт от&nbsp;индексирования.<br /> The&nbsp;basic idea is&nbsp;that if&nbsp;you include a&nbsp;tag like:</div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-08-24+01%3A33%3A10 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A33%3A10">2006-08-24 01:33:10</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A36%3A19">2006-08-24 01:36:19</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">На&nbsp;Web robots home page по&nbsp;адресу <a href="http://www.robotstxt.org/wc/robots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.robotstxt.org/wc/robots.html</a>. Последняя версия этого <a name="chavo" href="http://robotstxt.org.ru/ChaVo" class="">Ча&nbsp;Во</a> находится именно там.<br /> Кроме того много информации о&nbsp;роботах вы&nbsp;можете нати на&nbsp;этом сайте. Например начните с&nbsp;просмотра разделов <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a> и&nbsp;<a name=".links" href="http://robotstxt.org.ru/Links" class="" title="Links">ссылки</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions">На&nbsp;Web robots home page по&nbsp;адресу <a href="http://www.robotstxt.org/wc/robots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.robotstxt.org/wc/robots.html</a><br /> Само собой, последняя версия этого <a href="http://robotstxt.org.ru/ChaVo" class="">Ча&nbsp;Во</a> находится там.<br /> Вы&nbsp;также можете поискать информацию в&nbsp;архивах списка рассылки по&nbsp;роботам, так&nbsp;как технические дискуссии ведутся именно там.<br /> <span class="cite">Здесь надо поставить ссылку на&nbsp;страницу со&nbsp;ссылками на&nbsp;сайты/статьи о&nbsp;robots.txt и&nbsp;роботах <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a> /30.04.2006 23:42/</span></div></div> http://robotstxt.org.ru/ChaVo/show?time=2006-08-22+20%3A08%3A20 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/ChaVo" class="">/Ча&nbsp;Во</a> за <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-22+20%3A08%3A20">2006-08-22 20:08:20</a> и <a href="http://robotstxt.org.ru/ChaVo?time=2006-08-24+01%3A33%3A10">2006-08-24 01:33:10</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">В&nbsp;списке <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">основных роботов Рунета</a> вы&nbsp;можете найти информацию какой робот для&nbsp;чего нужен.</div><br /> <b>Удалено:</b><br /> <div class="deletions"><ul><li> <span class="cite">сейчас есть еще&nbsp;много разных типов роботов, может стоит перечислить <span class="missingpage">Яндексовые&nbsp;/&nbsp;Гугловские</span><a href="http://robotstxt.org.ru/Яндексовые/Гугловские/edit?add=1" title="Создать эту страницу">?</a>? ((<a href="http://robotstxt.org.ru/MikhaelKorneev" class="">/Mikhael&nbsp;Korneev</a> <a name="mikhaelkorneev" href="http://robotstxt.org.ru/MikhaelKorneev" class="">Mikhael&nbsp;Korneev</a>)</span></li></ul> В&nbsp;списке действующих роботов вы&nbsp;можете найти информацию какой робот для&nbsp;чего нужен. <span class="cite">Ссылку на&nbsp;список роботов пока не&nbsp;ставлю &ndash; он&nbsp;во-первых судя по&nbsp;всему давно не&nbsp;обновлялся, а&nbsp;во вторых нет&nbsp;наших родных рассейских, надо решить что&nbsp;с&nbsp;ним делать <a href="http://robotstxt.org.ru/MikhaelKorneev" class="" title="Mikhael&nbsp;Korneev">MikhaelKorneev</a></span></div></div>