http://robotstxt.org.ru/rurobots/webalta History/revisions of Robots.Txt по-русски/rurobots/webalta en-us http://robotstxt.org.ru/rurobots/webalta/show?time=2006-12-01+00%3A28%3A11 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".rurobots.webalta" href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-12-01+00%3A28%3A11">2006-12-01 00:28:11</a> и <a href="http://robotstxt.org.ru/rurobots/webalta">2008-05-16 17:53:24</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h84-1"></a><h1>Роботы Вебальты — <a href="http://www.webalta.ru" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.webalta.ru</a> — Прекратила существование</h1></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h84-1"></a><h1>Роботы Вебальты — <a href="http://www.webalta.ru" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.webalta.ru</a></h1></div></div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-20+01%3A25%3A43 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-20+01%3A25%3A43">2006-10-20 01:25:43</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-12-01+00%3A28%3A11">2006-12-01 00:28:11</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><!--notypo--><fieldset><legend><strong> Оглавление документа </strong></legend><div class="toc1"><a href="#h84-2">Индексирование</a></div><div class="toc1"><a href="#h84-3">Ссылки по&nbsp;теме</a></div></fieldset><!--/notypo--><a name="h84-1"></a><h2>Ссылки по&nbsp;теме</h2></div></div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-03+00%3A59%3A04 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A59%3A04">2006-10-03 00:59:04</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-20+01%3A25%3A43">2006-10-20 01:25:43</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h84-1"></a><h1>Роботы Вебальты — <a href="http://www.webalta.ru" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.webalta.ru</a></h1></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h84-1"></a><h1>Роботы Вебальты</h1></div></div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-03+00%3A58%3A26 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A58%3A26">2006-10-03 00:58:26</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A59%3A04">2006-10-03 00:59:04</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Webalta Crawler соблюдает стандарт на&nbsp;ограничение индексирования сайта и&nbsp;его отдельных страниц, специфицированные в&nbsp;<a href="http://robotstxt.1web.ru/RobotsExclusion" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://robotstxt.1web.ru/RobotsExclusion</a></div><br /> <b>Удалено:</b><br /> <div class="deletions">Webalta Crawler соблюдает стандарт на&nbsp;ограничение индексирования сайта и&nbsp;его отдельных страниц, специфицированные в&nbsp;<a href="http://www.robotstxt.org/wc/norobots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.robotstxt.org/wc/norobots.html</a></div></div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-03+00%3A58%3A08 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A58%3A08">2006-10-03 00:58:08</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A58%3A26">2006-10-03 00:58:26</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">запрещают индексировать страницу, но&nbsp;позволяют переходить по&nbsp;внешним ссылкам всем роботам, или&nbsp;только Webalta Crawler, соответственно.</div><br /> <b>Удалено:</b><br /> <div class="deletions">запрещают индексировать страницу, но&nbsp;позволяют переходить по&nbsp;внешним ссылкам всем роботам, или&nbsp;только Webalta Crawler, соответственно.</div></div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-03+00%3A57%3A47 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A57%3A47">2006-10-03 00:57:47</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A58%3A08">2006-10-03 00:58:08</a></b><br /> <br /> No differences.</div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-03+00%3A57%3A15 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A57%3A15">2006-10-03 00:57:15</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A57%3A47">2006-10-03 00:57:47</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><!--notypo--><div class="code"><code><font color="#000000"> &lt;META&nbsp;NAME="ROBOTS"&nbsp;CONTENT="NOINDEX,&nbsp;NOFOLLOW"&gt;</font> </code></div><!--/notypo--><br /> <!--notypo--><div class="code"><code><font color="#000000"> &lt;META&nbsp;NAME="WEBALTA"&nbsp;CONTENT="NOINDEX,&nbsp;NOFOLLOW"&gt;</font> </code></div><!--/notypo--><br /> <!--notypo--><div class="code"><code><font color="#000000"> &lt;META&nbsp;NAME="ROBOTS"&nbsp;CONTENT="NOFOLLOW"&gt;</font> </code></div><!--/notypo--><br /> <!--notypo--><div class="code"><code><font color="#000000"> &lt;META&nbsp;NAME="WEBALTA"&nbsp;CONTENT="NOFOLLOW"&gt;</font> </code></div><!--/notypo--><br /> <!--notypo--><div class="code"><code><font color="#000000"> &lt;META&nbsp;NAME="ROBOTS"&nbsp;CONTENT="NOINDEX"&gt;</font> </code></div><!--/notypo--><br /> <!--notypo--><div class="code"><code><font color="#000000"> &lt;META&nbsp;NAME="WEBALTA"&nbsp;CONTENT="NOINDEX"&gt;</font> </code></div><!--/notypo--></div><br /> <b>Удалено:</b><br /> <div class="deletions">&lt;META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"&gt;<br /> &lt;META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW"&gt;<br /> &lt;META NAME="ROBOTS" CONTENT="NOFOLLOW"&gt;<br /> &lt;META NAME="WEBALTA" CONTENT="NOFOLLOW"&gt;<br /> &lt;META NAME="ROBOTS" CONTENT="NOINDEX"&gt;<br /> &lt;META NAME="WEBALTA" CONTENT="NOINDEX"&gt;</div></div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-03+00%3A54%3A52 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A54%3A52">2006-10-03 00:54:52</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A57%3A15">2006-10-03 00:57:15</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><!--notypo--><div class="code"><code><font color="#000000"> User-agent:&nbsp;Webalta<br />Disallow:&nbsp;/cgi-bin</font> </code></div><!--/notypo--></div><br /> <b>Удалено:</b><br /> <div class="deletions">Семантика директив в&nbsp;файле robots.txt:<br /> <div class="indent"> User-agent: *<br /> Disallow: / # Удаляет из&nbsp;индексирования весь сервер целиком<br /> <br /> User-agent: *<br /> Disallow: /cgi-bin/ # Удаляет из&nbsp;индексирования директорию<br /> Disallow: /info/fakeinfo.html # Удаляет из&nbsp;индексирования файл<br /> </div> Строка User-agent: указывает, что&nbsp;последующие директивы Disallow: относятся к&nbsp;указанному роботу. Символ * означает, что&nbsp;директивы предназначаются всем роботам. Если робот специфицирован непосредственно, то&nbsp;он рассматривает только предназначающиеся ему&nbsp;директивы, и&nbsp;не учитывает директивы, перечисленные в&nbsp;разделе User-agent: *. <br /> User-agent: Webalta <br /> Файл robots.txt может содержать несколько наборов директив, например, для&nbsp;всех роботов (*) и&nbsp;для некоторох роботов непосредственно, предваряемые соответствующими строками User-agent: *, User-agent:Webalta, User-agent: Googlebot, и&nbsp;т.д. <br /> Количество последующих директив Disallow: не&nbsp;ограничено, и&nbsp;каждая последующая должна размещаться в&nbsp;новой строке. Каждая директива должна содержать только один путь или&nbsp;имя файла. Перечисления, например, &laquo;Disallow: /cgi-bin/ /mydir/&raquo; или&nbsp;&laquo;Disallow: /cgi-bin/;/mydir/&raquo; не&nbsp;поддерживаются. <br /> Символ # указывает на&nbsp;начало комментария, и&nbsp;часть строки после этого символа роботом не&nbsp;рассматривается.</div></div> http://robotstxt.org.ru/rurobots/webalta/show?time=2006-10-01+00%3A37%3A23 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/webalta" class="">/rurobots&nbsp;/&nbsp;webalta</a> за <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-01+00%3A37%3A23">2006-10-01 00:37:23</a> и <a href="http://robotstxt.org.ru/rurobots/webalta?time=2006-10-03+00%3A54%3A52">2006-10-03 00:54:52</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h84-1"></a><h2>Индексирование</h2> Поисковая система Webalta самостоятельно находит и&nbsp;индексирует сайты.<br /> Ускорить появление сайта в&nbsp;выдаче можно, добавив его&nbsp;в&nbsp;открытый каталог <span class="missingpage">Open.Webalta</span><a href="http://robotstxt.org.ru/Open/Webalta/edit?add=1" title="Создать эту страницу">?</a>.ru.<br /> Размещение информации о&nbsp;сайте в&nbsp;каталоге <a href="http://open.webalta.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Open.Webalta.ru</a> упрощает доступ пользователей к&nbsp;Вашим ресурсам, а&nbsp;также помогает нам&nbsp;улучшить выдачу и&nbsp;организовать более точный региональный поиск.<br /> Подробная информация о&nbsp;процедуре добавления сайта в&nbsp;каталог размещена в&nbsp;справочном разделе проекта.<br /> Webalta Crawler соблюдает стандарт на&nbsp;ограничение индексирования сайта и&nbsp;его отдельных страниц, специфицированные в&nbsp;<a href="http://www.robotstxt.org/wc/norobots.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.robotstxt.org/wc/norobots.html</a><br /> Возможны два&nbsp;вида ограничений:<br /> 1) Файл robots.txt в&nbsp;корневом каталоге сервера позволяет удалить из&nbsp;индекса сервер целиком, отдельные директории сервера и, непосредственно перечисленные отдельные файлы.<br /> Семантика директив в&nbsp;файле robots.txt:<br /> <div class="indent"> User-agent: *<br /> Disallow: / # Удаляет из&nbsp;индексирования весь сервер целиком<br /> </div> или<br /> <div class="indent"> User-agent: *<br /> Disallow: /cgi-bin/ # Удаляет из&nbsp;индексирования директорию<br /> Disallow: /info/fakeinfo.html # Удаляет из&nbsp;индексирования файл<br /> </div> Строка User-agent: указывает, что&nbsp;последующие директивы Disallow: относятся к&nbsp;указанному роботу. Символ * означает, что&nbsp;директивы предназначаются всем роботам. Если робот специфицирован непосредственно, то&nbsp;он рассматривает только предназначающиеся ему&nbsp;директивы, и&nbsp;не учитывает директивы, перечисленные в&nbsp;разделе User-agent: *. <br /> Для&nbsp;указания директив непосредственно Webalta Crawler, необходимо задать имя&nbsp;робота Webalta:<br /> User-agent: Webalta <br /> Файл robots.txt может содержать несколько наборов директив, например, для&nbsp;всех роботов (*) и&nbsp;для некоторох роботов непосредственно, предваряемые соответствующими строками User-agent: *, User-agent:Webalta, User-agent: Googlebot, и&nbsp;т.д. <br /> Количество последующих директив Disallow: не&nbsp;ограничено, и&nbsp;каждая последующая должна размещаться в&nbsp;новой строке. Каждая директива должна содержать только один путь или&nbsp;имя файла. Перечисления, например, &laquo;Disallow: /cgi-bin/ /mydir/&raquo; или&nbsp;&laquo;Disallow: /cgi-bin/;/mydir/&raquo; не&nbsp;поддерживаются. <br /> Символ # указывает на&nbsp;начало комментария, и&nbsp;часть строки после этого символа роботом не&nbsp;рассматривается. <br /> 2) Мета-Теги, внутри HTML страницы позволяют ограничивать индексирование данной страницы сайта.<br /> Мета-Тег добавляется в&nbsp;раздел &lt;HEAD&gt; страницы, и&nbsp;также как&nbsp;и&nbsp;в случае с&nbsp;файлом robots.txt, ограничение может относиться либо ко&nbsp;всем роботам, либо непосредственно к&nbsp;указанному.<br /> Теги:<br /> &lt;META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"&gt;<br /> или<br /> &lt;META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW"&gt;<br /> запрещают индексировать страницу всем роботам, или&nbsp;только Webalta Crawler, соответственно. <br /> Теги:<br /> &lt;META NAME="ROBOTS" CONTENT="NOFOLLOW"&gt;<br /> или<br /> &lt;META NAME="WEBALTA" CONTENT="NOFOLLOW"&gt;<br /> Разрешают индексировать страницу, но&nbsp;запрещают переходить по&nbsp;внешним ссылкам всем роботам, или&nbsp;только Webalta Crawler, соответственно. <br /> Теги:<br /> &lt;META NAME="ROBOTS" CONTENT="NOINDEX"&gt;<br /> или<br /> &lt;META NAME="WEBALTA" CONTENT="NOINDEX"&gt;<br /> запрещают индексировать страницу, но&nbsp;позволяют переходить по&nbsp;внешним ссылкам всем роботам, или&nbsp;только Webalta Crawler, соответственно. <br /> Также, возможно одновременное размещения нескольких Мета-Тегов, ограничивающих индексирование, как&nbsp;для всех роботов, так&nbsp;и&nbsp;для непосредственно указанных. В&nbsp;этом случае, непосредственно указанный робот Webalta Crawler принимает ограничения, как&nbsp;сумму из&nbsp;указанных ему&nbsp;и&nbsp;указанных для&nbsp;всех роботов.</div></div>