http://robotstxt.org.ru/rurobots/rambler History/revisions of Robots.Txt по-русски/rurobots/rambler en-us http://robotstxt.org.ru/rurobots/rambler/show?time=2006-10-26+17%3A11%3A16 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".rurobots.rambler" href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-26+17%3A11%3A16">2006-10-26 17:11:16</a> и <a href="http://robotstxt.org.ru/rurobots/rambler">2006-12-01 00:23:51</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h81-1"></a><h2>Ссылки по&nbsp;теме</h2></div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-10-20+01%3A23%3A49 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-20+01%3A23%3A49">2006-10-20 01:23:49</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-26+17%3A11%3A16">2006-10-26 17:11:16</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a href="http://groups.rambler.ru/groups/rambler.rambler.search/977672.1.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Недокументированные особенности Рамблера</a></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a href="http://groups.rambler.ru/groups/rambler.rambler.search/977672.1.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Особенности Рамблера</a></div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-10-09+15%3A30%3A22 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A30%3A22">2006-10-09 15:30:22</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-20+01%3A23%3A49">2006-10-20 01:23:49</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h81-1"></a><h1>Роботы Рамблера — <a href="http://www.rambler.ru" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.rambler.ru</a></h1></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h81-1"></a><h1>Роботы Рамблера</h1></div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-10-09+15%3A10%3A18 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A10%3A18">2006-10-09 15:10:18</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A30%3A22">2006-10-09 15:30:22</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><!--notypo--><fieldset><legend><strong> Оглавление документа </strong></legend><div class="toc1"><a href="#h81-2">Формат файла robots.txt</a></div><div class="toc3"><a href="#h81-3">Группы инструкций для&nbsp;отдельных роботов: User-agent</a></div><div class="toc3"><a href="#h81-4">Инструкции: Disallow</a></div><div class="toc3"><a href="#h81-5">Пустые строки и&nbsp;комментарии</a></div><div class="toc1"><a href="#h81-6">Ссылки по&nbsp;теме</a></div></fieldset><!--/notypo--></div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-10-09+15%3A06%3A33 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A06%3A33">2006-10-09 15:06:33</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A10%3A18">2006-10-09 15:10:18</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Для&nbsp;того, чтобы инструкция что-либо запрещала, указанный в&nbsp;ней путь должен начинаться с&nbsp;&laquo;/&raquo;. Соответственно, инструкция «Disallow:» не&nbsp;запрещает ничего, то&nbsp;есть все&nbsp;разрешает.<br /> Внимание: точно так&nbsp;же&nbsp;и инструкции «Disallow: *», &laquo;Disallow: *.doc&raquo;, &laquo;Disallow: /dir/*.doc&raquo; не&nbsp;запрещают ничего, поскольку файлов, имя&nbsp;которых начинается со&nbsp;звездочки или&nbsp;содержит ее, не&nbsp;существует! Использование регулярных выражений в&nbsp;строках Disallow, равно как&nbsp;и&nbsp;в файле robots.txt вообще, не&nbsp;предусмотрено.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Для&nbsp;того, чтобы инструкция что-либо запрещала, указанный в&nbsp;ней путь должен начинаться с&nbsp;&laquo;/&raquo;. Соответственно, инструкция &#147;Disallow:&raquo; не&nbsp;запрещает ничего, то&nbsp;есть все&nbsp;разрешает.<br /> Внимание: точно так&nbsp;же&nbsp;и инструкции &laquo;Disallow: *", &laquo;Disallow: *.doc&raquo;, &laquo;Disallow: /dir/*.doc&raquo; не&nbsp;запрещают ничего, поскольку файлов, имя&nbsp;которых начинается со&nbsp;звездочки или&nbsp;содержит ее, не&nbsp;существует! Использование регулярных выражений в&nbsp;строках Disallow, равно как&nbsp;и&nbsp;в файле robots.txt вообще, не&nbsp;предусмотрено.</div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-10-09+15%3A05%3A33 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A05%3A33">2006-10-09 15:05:33</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A06%3A33">2006-10-09 15:06:33</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h81-1"></a><h2>Формат файла robots.txt</h2></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h81-1"></a><h3>Формат файла robots.txt</h3></div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-10-01+00%3A26%3A51 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-01+00%3A26%3A51">2006-10-01 00:26:51</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-09+15%3A05%3A33">2006-10-09 15:05:33</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h81-1"></a><h3>Формат файла robots.txt</h3> Пример<br /> Следующий простой файл robots.txt запрещает индексацию всех страниц сайта всем роботам, кроме робота Рамблера, которому, наоборот, разрешена индексация всех страниц сайта.<br /> <!--notypo--><div class="code"><code><font color="#000000"> #&nbsp;Инструкции&nbsp;для&nbsp;всех&nbsp;роботов<br />User-agent:&nbsp;&nbsp;&nbsp;*<br />Disallow:&nbsp;/</font> </code></div><!--/notypo--><br /> <!--notypo--><div class="code"><code><font color="#000000"> #&nbsp;Инструкции&nbsp;для&nbsp;робота&nbsp;Рамблера<br />User-agent:&nbsp;StackRambler<br />Disallow:</font> </code></div><!--/notypo--><a name="h81-2"></a><h4>Группы инструкций для&nbsp;отдельных роботов: User-agent</h4> Любой файл robots.txt состоит из&nbsp;групп инструкций. Каждая из&nbsp;них начинается со&nbsp;строки User-agent, указывающей, к&nbsp;каким роботам относятся следующие за&nbsp;ней инструкции Disallow.<br /> Для&nbsp;каждого робота пишется своя группа инструкций. Это&nbsp;означает, что&nbsp;робот может быть упомянут только в&nbsp;одной строке User-agent, и&nbsp;в каждой строке User-agent может быть упомянут только один робот.<br /> Исключение составляет строка User-agent: *. Она&nbsp;означает, что&nbsp;следующие за&nbsp;ней Disallow относятся ко&nbsp;всем роботам, кроме тех, для&nbsp;которых есть свои строки User-agent.<a name="h81-3"></a><h4>Инструкции: Disallow</h4> В&nbsp;каждой группе, вводимой строкой User-agent, должна быть хотя бы&nbsp;одна инструкция Disallow. Количество инструкций Disallow не&nbsp;ограничено.<br /> Строка &laquo;Disallow: /dir&raquo; запрещает посещение всех страниц сервера, полное имя&nbsp;которых (от корня сервера) начинается с&nbsp;&laquo;/dir&raquo;. Например: &laquo;/dir.html&raquo;, &laquo;/dir/index.html&raquo;, &laquo;/directory.html&raquo;.<br /> Чтобы запрещать посещение именно каталога &laquo;/dir&raquo;, инструкция должна иметь вид: &laquo;Disallow: /dir/&raquo;.<br /> Для&nbsp;того, чтобы инструкция что-либо запрещала, указанный в&nbsp;ней путь должен начинаться с&nbsp;&laquo;/&raquo;. Соответственно, инструкция &#147;Disallow:&raquo; не&nbsp;запрещает ничего, то&nbsp;есть все&nbsp;разрешает.<br /> Внимание: точно так&nbsp;же&nbsp;и инструкции &laquo;Disallow: *", &laquo;Disallow: *.doc&raquo;, &laquo;Disallow: /dir/*.doc&raquo; не&nbsp;запрещают ничего, поскольку файлов, имя&nbsp;которых начинается со&nbsp;звездочки или&nbsp;содержит ее, не&nbsp;существует! Использование регулярных выражений в&nbsp;строках Disallow, равно как&nbsp;и&nbsp;в файле robots.txt вообще, не&nbsp;предусмотрено.<br /> К&nbsp;сожалению, инструкций Allow в&nbsp;файлах robots.txt не&nbsp;бывает. Поэтому даже если закрытых для&nbsp;индексирования документов очень много, Вам&nbsp;все равно придется перечислять именно их, а&nbsp;не немногочисленные &laquo;открытые&raquo; документы. Продумайте структуру сайта, чтобы закрытые для&nbsp;индексирования документы были собраны по&nbsp;возможности в&nbsp;одном месте.<a name="h81-4"></a><h4>Пустые строки и&nbsp;комментарии</h4> Пустые строки допускаются между группами инструкций, вводимыми User-agent.<br /> Инструкция Disallow учитывается, только если она&nbsp;подчинена какой-либо строке User-agent &ndash; то&nbsp;есть если выше нее&nbsp;есть строка User-agent.<br /> Любой текст от&nbsp;знака решетки "#" до&nbsp;конца строки считается комментарием и&nbsp;игнорируется.</div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-08-16+17%3A36%3A56 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-08-16+17%3A36%3A56">2006-08-16 17:36:56</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-10-01+00%3A26%3A51">2006-10-01 00:26:51</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h81-1"></a><h1>Роботы Рамблера</h1></div></div> http://robotstxt.org.ru/rurobots/rambler/show?time=2006-05-18+23%3A31%3A53 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/rambler" class="">/rurobots&nbsp;/&nbsp;rambler</a> за <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-05-18+23%3A31%3A53">2006-05-18 23:31:53</a> и <a href="http://robotstxt.org.ru/rurobots/rambler?time=2006-08-16+17%3A36%3A56">2006-08-16 17:36:56</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a href="http://groups.rambler.ru/groups/rambler.rambler.search/977672.1.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Особенности Рамблера</a></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a href="http://groups.rambler.ru/groups/rambler.rambler.search/977672.1.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Особенности рамблера</a></div></div>