http://robotstxt.org.ru/RobotsExclusion/spec History/revisions of Robots.Txt по-русски/RobotsExclusion/spec en-us http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-10-09+23%3A03%3A19 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".robotsexclusion.spec" href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-10-09+23%3A03%3A19">2006-10-09 23:03:19</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec">2006-10-19 13:27:14</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Роботы (их также иногда называют пауками или&nbsp;поисковиками) &ndash; это&nbsp;программы которые автоматически путешествуют по&nbsp;веб-страницам, собирая на&nbsp;каждой из&nbsp;них ссылки и&nbsp;проходя по&nbsp;ним дальше. Подробнее о&nbsp;роботах вы&nbsp;можете узнать в&nbsp;<a name=".chavo" href="http://robotstxt.org.ru/ChaVo" class="" title="Cha&nbsp;Vo">ЧаВо</a> или&nbsp;разделе <a name=".rurobots" href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Роботы (их также иногда называют пауками или&nbsp;поисковиками) &ndash; это&nbsp;программы которые автоматически путешествуют по&nbsp;веб-страницам, собирая на&nbsp;каждой из&nbsp;них ссылки и&nbsp;проходя по&nbsp;ним дальше. Подробнее о&nbsp;роботах вы&nbsp;можете узнать в&nbsp;<a href="http://robotstxt.org.ru/ChaVo" class="" title="Cha&nbsp;Vo">~ЧаВо</a> или&nbsp;разделе <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a>.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-10-09+22%3A55%3A52 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-10-09+22%3A55%3A52">2006-10-09 22:55:52</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-10-09+23%3A03%3A19">2006-10-09 23:03:19</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Роботы (их также иногда называют пауками или&nbsp;поисковиками) &ndash; это&nbsp;программы которые автоматически путешествуют по&nbsp;веб-страницам, собирая на&nbsp;каждой из&nbsp;них ссылки и&nbsp;проходя по&nbsp;ним дальше. Подробнее о&nbsp;роботах вы&nbsp;можете узнать в&nbsp;<a href="http://robotstxt.org.ru/ChaVo" class="" title="Cha&nbsp;Vo">~ЧаВо</a> или&nbsp;разделе <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a>.<a name="h87-1"></a><h2>Формат</h2> Формат и&nbsp;семантика файла /robots.txt следующие:<br /> Файл должен содержать одну или&nbsp;несколько записей (records), разделенных одной или&nbsp;несколькими пустыми строками (оканчивающимися CR, CR/NL или&nbsp;NL). Каждая запись должна содержать строки (lines) в&nbsp;форме:<br /> &#147;&lt;field&gt;:&lt;optional_space&gt;&lt;value&gt;&lt;optional_space&gt;".<br /> Поле &lt;field&gt; является регистронезависимым. <br /> Комментарии могут быть включены в&nbsp;файл в&nbsp;обычной для&nbsp;UNIX форме: символ # означает начало комментария, конец строки &ndash; конец комментария.<br /> Запись должна начинаться с&nbsp;одной или&nbsp;нескольких строк User-Agent, следом должна быть одна или&nbsp;несколько строк Disallow, формат которых приведен ниже. Нераспознанные строки игнорируются.<a name="h87-2"></a><h3>User-Agent</h3> * значением &lt;value&gt; этого поля должно являться имя&nbsp;поискового робота, которому в&nbsp;этой записи устанавливаются права доступа.<br /> * если в&nbsp;записи указано более одного имени робота, то&nbsp;права доступа распространяются для&nbsp;всех указанных имен.<br /> * заглавные или&nbsp;строчные символы роли не&nbsp;играют<br /> * если в&nbsp;качестве значения этого поля указан символ "*", то&nbsp;заданные в&nbsp;этой записи права доступа распространяются на&nbsp;любых поисковых роботов, запросивших файл /robots.txt<a name="h87-3"></a><h3>Disallow</h3> * значением &lt;value&gt; этого поля должен являться частичный URL, который не&nbsp;должен индексироваться. Это&nbsp;может быть полный путь или&nbsp;частичный; любой URL, начинающийся с&nbsp;такого пути не&nbsp;должен индексироваться. Например, Disallow: /help закрывает и&nbsp;/help.html, и&nbsp;/help/index.html, тогда как&nbsp;Disallow: /help/- только /help/index.html.<br /> * если значение Disallow не&nbsp;указано, то&nbsp;это означает, что&nbsp;индексируется все&nbsp;дерево каталогов сервера<br /> Любая запись (record) должна состоять хотя бы&nbsp;из одной строки (line) User-Agent и&nbsp;одной &ndash; Disallow<br /> Если файл /robots.txt пуст, или&nbsp;не&nbsp;отвечает заданному формату и&nbsp;семантике, или&nbsp;его не&nbsp;существует, любой поисковый робот будет работать по&nbsp;своему алгоритму.<a name="h87-4"></a><h2>Примеры</h2> Пример 1: <br /> <!--notypo--><div class="code"><code><font color="#000000"> #&nbsp;robots.txt&nbsp;for&nbsp;http://www.site.com<br />User-Agent:&nbsp;*<br />Disallow:&nbsp;/cyberworld/map/&nbsp;#&nbsp;this&nbsp;is&nbsp;an&nbsp;infinite&nbsp;virtual&nbsp;URL&nbsp;space<br />Disallow:&nbsp;/tmp/&nbsp;#&nbsp;these&nbsp;will&nbsp;soon&nbsp;disappear</font> </code></div><!--/notypo--><br /> В&nbsp;примере 1 закрывается от&nbsp;индексации содержимое директорий /cyberworld/map/ и&nbsp;/tmp/.<br /> Пример 2: <br /> <!--notypo--><div class="code"><code><font color="#000000"> #&nbsp;robots.txt&nbsp;for&nbsp;http://www.site.com<br />User-Agent:&nbsp;*<br />Disallow:&nbsp;/cyberworld/map/&nbsp;#&nbsp;this&nbsp;is&nbsp;an&nbsp;infinite&nbsp;virtual&nbsp;URL&nbsp;space<br />#&nbsp;Cybermapper&nbsp;knows&nbsp;where&nbsp;to&nbsp;go<br />User-Agent:&nbsp;cybermapper<br />Disallow:</font> </code></div><!--/notypo--><br /> В&nbsp;примере 2 закрывается от&nbsp;индексации содержимое директории /cyberworld/map/, однако поисковому роботу cybermapper все&nbsp;разрешено.<br /> Пример 3:<br /> <!--notypo--><div class="code"><code><font color="#000000"> #&nbsp;robots.txt&nbsp;for&nbsp;http://www.site.com<br />User-Agent:&nbsp;*<br />Disallow:&nbsp;/</font> </code></div><!--/notypo--><br /> В&nbsp;примере 3 любому поисковому роботу запрещается индексировать сервер.<a name="h87-5"></a><h2>Примечания переводчика</h2> В&nbsp;настоящее время стандарт несколько изменился, например, можно записывать в&nbsp;строке User-Agent несколько имен роботов, разделенных пробелами или&nbsp;табуляторами.<a name="h87-6"></a><h2>Адреса авторов</h2> Martijn Koster, m.koster@webcrawler.com<br /> Перевод: Андрей Аликберов, info@citmgu.ru (перевод опубликован с&nbsp;разрешения www.citforum.ru)</div><br /> <b>Удалено:</b><br /> <div class="deletions">Роботы (их также иногда называют пауками или&nbsp;поисковиками) &ndash; это&nbsp;программы которые автоматически путешествуют по&nbsp;веб-страницам, собирая на&nbsp;каждой из&nbsp;них ссылки и&nbsp;проходя по&nbsp;ним дальше. Подробнее о&nbsp;роботах вы&nbsp;можете узнать в&nbsp;(<a href="http://robotstxt.org.ru/ChaVo" class="">/Cha&nbsp;Vo</a> ЧаВо) или&nbsp;разделе <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a>.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-08-18+20%3A30%3A15 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A30%3A15">2006-08-18 20:30:15</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-10-09+22%3A55%3A52">2006-10-09 22:55:52</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h87-1"></a><h1>Стандарт исключений для&nbsp;роботов</h1><a name="h87-2"></a><h2>Статус этого документа</h2> Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cl-blue"> Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 между большинством производителей поисковых роботов и&nbsp;другими заинтересованными людьми. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Этот документ не&nbsp;является официальным или&nbsp;чьим-либо корпоративным стандартом (<span class="cl-blue"> в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). и&nbsp;не гарантирует того, что&nbsp;все нынешние и&nbsp;будущие поисковые роботы будут использовать его. В&nbsp;соответствии с&nbsp;ним большинство производителей роботов предлагает возможность защитить Веб-серверы от&nbsp;нежелательного посещения их&nbsp;поисковыми роботами.<a name="h87-3"></a><h2>Введение</h2> В&nbsp;1993 и&nbsp;1994 годах выяснилось, что&nbsp;индексирование роботами серверов порой происходит против желания владельцев этих серверов. В&nbsp;частности, иногда работа роботов затрудняет работу с&nbsp;сервером обычных пользователей, иногда одни и&nbsp;те же&nbsp;файлы индексируются несколько раз. В&nbsp;других случаях роботы индексируют не&nbsp;то, что&nbsp;надо, например, очень &laquo;глубокие&raquo; виртуальные директории, временную информацию или&nbsp;CGI-скрипты. Этот стандарт призван решить подобные проблемы.<a name="h87-4"></a><h2>Назначение</h2> Для&nbsp;того, чтобы исключить посещение сервера или&nbsp;его частей роботом необходимо создать на&nbsp;сервере файл, содержащий информацию для&nbsp;управления поведением поискового робота. Этот файл должен быть доступен по&nbsp;протоколу HTTP по&nbsp;локальному URL&nbsp;/robots.txt. Содержание этого файла см.&nbsp;ниже.<br /> Такое решение было принято для&nbsp;того, чтобы поисковый робот мог&nbsp;найти правила, описывающие требуемые от&nbsp;него действия, всего лишь простым запросом одного файла. Кроме того файл /robots.txt легко создать на&nbsp;любом из&nbsp;существующих Веб-серверов.<br /> Выбор именно такого URL&nbsp;мотивирован несколькими критериями:<br /> * Имя&nbsp;файла должно было быть одинаковым для&nbsp;любой операционной системы<br /> * Расширение для&nbsp;этого файля не&nbsp;должно было требовать какой-либо переконфигурации сервера<br /> * Имя&nbsp;файла должно было быть легко запоминающимся и&nbsp;отражать его&nbsp;назначение<br /> * Вероятность совпадения с&nbsp;существующими файлами должна была быть минимальной</div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h87-1"></a><h2>Стандарт исключений для&nbsp;роботов</h2><a name="h87-2"></a><h3>Статус документа</h3> Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cl-blue"> Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 основными авторами роботов и&nbsp;людьми, ими&nbsp;интересующимися. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Это&nbsp;не&nbsp;официальный или&nbsp;корпоративный стандарт (<span class="cl-blue"> в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). Так&nbsp;как стандарт не&nbsp;навязываетс никому насильно, нет&nbsp;никаких гарантий что&nbsp;все существующие роботы или&nbsp;роботы, которым еще&nbsp;предстоит быть создаными будут ему&nbsp;следовать. Считайте это&nbsp;основным средством, при&nbsp;помощи которого вы&nbsp;можете управлять индексированием сайта для&nbsp;большенства роботов.<a name="h87-3"></a><h3>Введение</h3> В&nbsp;1993 и&nbsp;1994 годах были случаи, когда роботы индексировли сайты, владельцы которых по&nbsp;разным причинам этого не&nbsp;хотели. <br /> In&nbsp;1993 and&nbsp;1994 there have been occasions where robots have visited WWW&nbsp;servers where they weren't welcome for&nbsp;various reasons. Sometimes these reasons were robot specific, e.g. certain robots swamped servers with rapid-fire requests, or&nbsp;retrieved the&nbsp;same files repeatedly. In&nbsp;other situations robots traversed parts of&nbsp;WWW servers that weren't suitable, e.g. very deep virtual trees, duplicated information, temporary information, or&nbsp;cgi-scripts with side-effects (such as&nbsp;voting).<br /> These incidents indicated the&nbsp;need for&nbsp;established mechanisms for&nbsp;WWW servers to&nbsp;indicate to&nbsp;robots which parts of&nbsp;their server should not&nbsp;be&nbsp;accessed. This standard addresses this need with an&nbsp;operational solution.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-08-18+20%3A21%3A26 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A21%3A26">2006-08-18 20:21:26</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A30%3A15">2006-08-18 20:30:15</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">В&nbsp;1993 и&nbsp;1994 годах были случаи, когда роботы индексировли сайты, владельцы которых по&nbsp;разным причинам этого не&nbsp;хотели.</div><br /> <b>Удалено:</b><br /> <div class="deletions">В&nbsp;1993 и&nbsp;1994 годах были случаи, когда роботы индексировли сайты, владельцы которых по&nbsp;разным причинам этого не&nbsp;хотели.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-08-18+20%3A06%3A26 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A06%3A26">2006-08-18 20:06:26</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A21%3A26">2006-08-18 20:21:26</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Роботы (их также иногда называют пауками или&nbsp;поисковиками) &ndash; это&nbsp;программы которые автоматически путешествуют по&nbsp;веб-страницам, собирая на&nbsp;каждой из&nbsp;них ссылки и&nbsp;проходя по&nbsp;ним дальше. Подробнее о&nbsp;роботах вы&nbsp;можете узнать в&nbsp;(<a href="http://robotstxt.org.ru/ChaVo" class="">/Cha&nbsp;Vo</a> ЧаВо) или&nbsp;разделе <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a>.<br /> В&nbsp;1993 и&nbsp;1994 годах были случаи, когда роботы индексировли сайты, владельцы которых по&nbsp;разным причинам этого не&nbsp;хотели.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Роботы (их также иногда называют пауками или&nbsp;поисковиками) &ndash; это&nbsp;программы которые автоматически путешествуют по&nbsp;веб-страницам, собирая на&nbsp;каждой из&nbsp;них ссылки и&nbsp;проходя по&nbsp;ним дальше. Подробнее о&nbsp;роботах вы&nbsp;можете узнать в&nbsp;(<a href="http://robotstxt.org.ru/ChaVo" class="">/Cha&nbsp;Vo</a> <a name="chavo" href="http://robotstxt.org.ru/ChaVo" class="">Ча&nbsp;Во</a>) или&nbsp;разделе <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a>.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-08-18+20%3A06%3A14 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A06%3A14">2006-08-18 20:06:14</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A06%3A26">2006-08-18 20:06:26</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cl-blue"> Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 основными авторами роботов и&nbsp;людьми, ими&nbsp;интересующимися. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Это&nbsp;не&nbsp;официальный или&nbsp;корпоративный стандарт (<span class="cl-blue"> в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). Так&nbsp;как стандарт не&nbsp;навязываетс никому насильно, нет&nbsp;никаких гарантий что&nbsp;все существующие роботы или&nbsp;роботы, которым еще&nbsp;предстоит быть создаными будут ему&nbsp;следовать. Считайте это&nbsp;основным средством, при&nbsp;помощи которого вы&nbsp;можете управлять индексированием сайта для&nbsp;большенства роботов.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cite">(gray) Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 основными авторами роботов и&nbsp;людьми, ими&nbsp;интересующимися. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Это&nbsp;не&nbsp;официальный или&nbsp;корпоративный стандарт (<span class="cite">(gray) в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). Так&nbsp;как стандарт не&nbsp;навязываетс никому насильно, нет&nbsp;никаких гарантий что&nbsp;все существующие роботы или&nbsp;роботы, которым еще&nbsp;предстоит быть создаными будут ему&nbsp;следовать. Считайте это&nbsp;основным средством, при&nbsp;помощи которого вы&nbsp;можете управлять индексированием сайта для&nbsp;большенства роботов.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-08-18+20%3A05%3A49 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A05%3A49">2006-08-18 20:05:49</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A06%3A14">2006-08-18 20:06:14</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cite">(gray) Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 основными авторами роботов и&nbsp;людьми, ими&nbsp;интересующимися. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Это&nbsp;не&nbsp;официальный или&nbsp;корпоративный стандарт (<span class="cite">(gray) в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). Так&nbsp;как стандарт не&nbsp;навязываетс никому насильно, нет&nbsp;никаких гарантий что&nbsp;все существующие роботы или&nbsp;роботы, которым еще&nbsp;предстоит быть создаными будут ему&nbsp;следовать. Считайте это&nbsp;основным средством, при&nbsp;помощи которого вы&nbsp;можете управлять индексированием сайта для&nbsp;большенства роботов.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cl-blue"> Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 основными авторами роботов и&nbsp;людьми, ими&nbsp;интересующимися. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Это&nbsp;не&nbsp;официальный или&nbsp;корпоративный стандарт (<span class="cl-blue"> в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). Так&nbsp;как стандарт не&nbsp;навязываетс никому насильно, нет&nbsp;никаких гарантий что&nbsp;все существующие роботы или&nbsp;роботы, которым еще&nbsp;предстоит быть создаными будут ему&nbsp;следовать. Считайте это&nbsp;основным средством, при&nbsp;помощи которого вы&nbsp;можете управлять индексированием сайта для&nbsp;большенства роботов.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-08-18+19%3A52%3A42 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+19%3A52%3A42">2006-08-18 19:52:42</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+20%3A05%3A49">2006-08-18 20:05:49</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h87-1"></a><h3>Введение</h3> Роботы (их также иногда называют пауками или&nbsp;поисковиками) &ndash; это&nbsp;программы которые автоматически путешествуют по&nbsp;веб-страницам, собирая на&nbsp;каждой из&nbsp;них ссылки и&nbsp;проходя по&nbsp;ним дальше. Подробнее о&nbsp;роботах вы&nbsp;можете узнать в&nbsp;(<a href="http://robotstxt.org.ru/ChaVo" class="">/Cha&nbsp;Vo</a> <a href="http://robotstxt.org.ru/ChaVo" class="">Ча&nbsp;Во</a>) или&nbsp;разделе <a href="http://robotstxt.org.ru/rurobots" class="" title="rurobots">Роботы Рунета</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Introduction<br /> WWW&nbsp;Robots (also called wanderers or&nbsp;spiders) are&nbsp;programs that traverse many pages in&nbsp;the World Wide Web&nbsp;by&nbsp;recursively retrieving linked pages. For&nbsp;more information see&nbsp;the robots page.</div></div> http://robotstxt.org.ru/RobotsExclusion/spec/show?time=2006-08-18+19%3A21%3A42 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="">/Robots&nbsp;Exclusion&nbsp;/&nbsp;spec</a> за <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+19%3A21%3A42">2006-08-18 19:21:42</a> и <a href="http://robotstxt.org.ru/RobotsExclusion/spec?time=2006-08-18+19%3A52%3A42">2006-08-18 19:52:42</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cl-blue"> Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 основными авторами роботов и&nbsp;людьми, ими&nbsp;интересующимися. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Это&nbsp;не&nbsp;официальный или&nbsp;корпоративный стандарт (<span class="cl-blue"> в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). Так&nbsp;как стандарт не&nbsp;навязываетс никому насильно, нет&nbsp;никаких гарантий что&nbsp;все существующие роботы или&nbsp;роботы, которым еще&nbsp;предстоит быть создаными будут ему&nbsp;следовать. Считайте это&nbsp;основным средством, при&nbsp;помощи которого вы&nbsp;можете управлять индексированием сайта для&nbsp;большенства роботов.<br /> Последняя версия этого документа расположена по&nbsp;адресу <a href="http://www.robotstxt.org/wc/robots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.robotstxt.org/wc/robots.html</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Этот докумен представляет собой результат соглашения, достигнутого в&nbsp;листе рассылки посвященном поисковым роботам (robots-request@nexor.co.uk &ndash; <span class="cite">blue Это&nbsp;список рассылки больше не&nbsp;существует, доступен его&nbsp;<a href="http://www.robotstxt.org/wc/mailing-list/info.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />архив за&nbsp;19<span class=&quot;nobr&quot;>94&ndash;199</span>7 годы</a>.</span>) 30 июня 1994 основными авторами роботов и&nbsp;людьми, ими&nbsp;интересующимися. Он&nbsp;также обсуждался в&nbsp;списке рассылке Technical World Wide Web&nbsp;(www-talk@info.cern.ch). Стандарт основан на&nbsp;рабочей весии документа, публиковавшейся под&nbsp;тем же&nbsp;названием.<br /> Это&nbsp;не&nbsp;официальный или&nbsp;корпоративный стандарт (<span class="cite">blue в&nbsp;сокращенном варианте он&nbsp;<a href="http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />опубликован в&nbsp;приложении к&nbsp;стандарту HTML 4 на&nbsp;w3c</a></span>). Так&nbsp;как стандарт не&nbsp;&laquo;внедряется&raquo; официальными способами, то&nbsp;нет никаких гарантий что&nbsp;<br /> It&nbsp;is not&nbsp;an&nbsp;official standard backed by&nbsp;a standards body, or&nbsp;owned by&nbsp;any commercial organisation. It&nbsp;is not&nbsp;enforced by&nbsp;anybody, and&nbsp;there no&nbsp;guarantee that all&nbsp;current and&nbsp;future robots will use&nbsp;it. Consider it&nbsp;a common facility the&nbsp;majority of&nbsp;robot authors offer the&nbsp;WWW community to&nbsp;protect WWW&nbsp;server against unwanted accesses by&nbsp;their robots.<br /> The&nbsp;latest version of&nbsp;this document can&nbsp;be&nbsp;found on&nbsp;<a href="http://www.robotstxt.org/wc/robots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.robotstxt.org/wc/robots.html</a>.</div></div>