http://robotstxt.org.ru/RobotsExclusion History/revisions of Robots.Txt по-русски/RobotsExclusion en-us http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-21+00%3A06%3A07 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".robotsexclusion" href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-21+00%3A06%3A07">2006-11-21 00:06:07</a> и <a href="http://robotstxt.org.ru/RobotsExclusion">2007-03-23 20:14:21</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><ul><li> Использовать нестандартные приемы, работающие для&nbsp;конкретных роботов. Например запретить роботу следовать по&nbsp;ссылке при&nbsp;помощи <a href="http://blog.searchenginewatch.com/blog/050118-204728" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />rel=&quot;nofollow&quot;</a>(Google, MSN, Yahoo) или&nbsp;запретить индексацию части страницы <a href="http://www.seochase.com/viewtopp.3509-0-asc-0.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />при помощи тега &lt;noindex&gt;</a> (Yandex, Rambler).</li></ul></div><br /> <b>Удалено:</b><br /> <div class="deletions"><ul><li> Использовать нестандартные приемы, работающие для&nbsp;конкретных роботов. Например запретить роботу следовать по&nbsp;ссылке при&nbsp;помощи <a href="http://blog.searchenginewatch.com/blog/050118-204728" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />ref=&quot;nofollow&quot;</a>(Google, MSN, Yahoo) или&nbsp;запретить индексацию части страницы <a href="http://www.seochase.com/viewtopp.3509-0-asc-0.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />при помощи тега &lt;noindex&gt;</a> (Yandex, Rambler).</li></ul></div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-10+08%3A46%3A30 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-10+08%3A46%3A30">2006-11-10 08:46:30</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-21+00%3A06%3A07">2006-11-21 00:06:07</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name=".robotsexclusion.noindex" href="http://robotstxt.org.ru/RobotsExclusion/noindex" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;noindex">Не предусмотреные стендартом</a> средства ограничения доступа к&nbsp;содержимому сайта. В&nbsp;первую очередь тег&nbsp;&lt;noindex&gt; и&nbsp;аттрибут rel="nofollow".</div><br /> <b>Удалено:</b><br /> <div class="deletions"><a href="http://robotstxt.org.ru/RobotsExclusion/noindex" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;noindex">Не предусмотреные стендартом</a> средства ограничения доступа к&nbsp;содержимому сайта. В&nbsp;первую очередь тег&nbsp;&lt;noindex&gt; и&nbsp;аттрибут ref="nofollow".</div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-05+19%3A28%3A17 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-05+19%3A28%3A17">2006-11-05 19:28:17</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-10+08%3A46%3A30">2006-11-10 08:46:30</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h71-1"></a><h2>Нестандартные методы ограничения доступа</h2> <a href="http://robotstxt.org.ru/RobotsExclusion/noindex" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;noindex">Не предусмотреные стендартом</a> средства ограничения доступа к&nbsp;содержимому сайта. В&nbsp;первую очередь тег&nbsp;&lt;noindex&gt; и&nbsp;аттрибут ref="nofollow".</div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-05+19%3A27%3A52 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-05+19%3A27%3A52">2006-11-05 19:27:52</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-05+19%3A28%3A17">2006-11-05 19:28:17</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h71-1"></a><h2>Стандарт исключений для&nbsp;Роботов</h2></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h71-1"></a><h2>Стандарт Исключений для&nbsp;Роботов</h2></div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-03+09%3A04%3A01 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+09%3A04%3A01">2006-11-03 09:04:01</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-05+19%3A27%3A52">2006-11-05 19:27:52</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h71-1"></a><h2>Стандарт Исключений для&nbsp;Роботов</h2> <a name=".robotsexclusion.spec" href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">Стандарт исключений для&nbsp;роботов</a> был&nbsp;принят в&nbsp;1994 году и&nbsp;с тех&nbsp;пор не&nbsp;менялся. Стандарт описывает общие принципы написания robots.txt. Вкратце &ndash; при&nbsp;заходе на&nbsp;сайт робот запрашивает файл robots.txt, чтобы посмотреть, какие разделы и&nbsp;документы на&nbsp;сайте запрещены для&nbsp;него.</div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h71-1"></a><h2>Стандарт Исключения для&nbsp;Роботов</h2> <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">Стандарт исключения роботов</a> был&nbsp;принят в&nbsp;1994 году и&nbsp;с тех&nbsp;пор не&nbsp;менялся. Стандарт описывает общие принципы написания robots.txt. Вкратце &ndash; при&nbsp;заходе на&nbsp;сайт робот запрашивает файл robots.txt, чтобы посмотреть, какие разделы и&nbsp;документы на&nbsp;сайте запрещены для&nbsp;него.</div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-03+08%3A45%3A22 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+08%3A45%3A22">2006-11-03 08:45:22</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+09%3A04%3A01">2006-11-03 09:04:01</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">Стандарт исключения роботов</a> был&nbsp;принят в&nbsp;1994 году и&nbsp;с тех&nbsp;пор не&nbsp;менялся. Стандарт описывает общие принципы написания robots.txt. Вкратце &ndash; при&nbsp;заходе на&nbsp;сайт робот запрашивает файл robots.txt, чтобы посмотреть, какие разделы и&nbsp;документы на&nbsp;сайте запрещены для&nbsp;него.</div><br /> <b>Удалено:</b><br /> <div class="deletions"><a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">Стандарт исключения роботов</a> был&nbsp;принят в&nbsp;1994 году и&nbsp;с тех&nbsp;пор не&nbsp;менялся. Стандарт описывает общие принципы написания robots.txt. Вкратце &ndash; при&nbsp;заходе на&nbsp;сайт робот запрашивает файл robotx.txt, чтобы посмотреть, какие разделы и&nbsp;документы на&nbsp;сайте запрещены для&nbsp;него.<br /> <!--notypo--><a name="meta" href="#meta" title=""></a> <!--/notypo--></div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-03+08%3A39%3A41 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+08%3A39%3A41">2006-11-03 08:39:41</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+08%3A45%3A22">2006-11-03 08:45:22</a></b><br /> <br /> <b>Удалено:</b><br /> <div class="deletions"><a href="http://notes.webartsolutions.com/archives/000218.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Как разные поисковики обрабатывают noindex</a><br /> <a href="http://notes.webartsolutions.com/archives/000197.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Запрет использования в&nbsp;выдаче описания из&nbsp;ODP</a></div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-11-03+08%3A36%3A16 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+08%3A36%3A16">2006-11-03 08:36:16</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+08%3A39%3A41">2006-11-03 08:39:41</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name=".robotsexclusion.meta" href="http://robotstxt.org.ru/RobotsExclusion/meta" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;meta">МЕТА-тег &#147;Robots&#148;</a> позволяет создателям страниц указывать Роботам, можно ли&nbsp;индексировать данную страницу и&nbsp;можно ли&nbsp;использовать ссылки, приведенные на&nbsp;странице. Этот тег&nbsp;указывается на&nbsp;каждой конкретной странице, доступ к&nbsp;которой требуется ограничить.</div><br /> <b>Удалено:</b><br /> <div class="deletions">МЕТА-тег &#147;Robots&#148; позволяет создателям страниц указывать Роботам, можно документ проиндексировать или&nbsp;его можно использовать только для&nbsp;сбора ссылок. В&nbsp;данном случае действий администратора сервера не&nbsp;требуется.<br /> Следует отметить, что&nbsp;не&nbsp;все Роботы выполняют данные указания.<br /> В&nbsp;этом простом примере:<br /> <!--notypo--><div class="code"><pre>&lt;META <span style="color: #800000;font-weight:bold;">NAME=</span><span style="color: blue;">&quot;ROBOTS&quot;</span> <span style="color: #800000;font-weight:bold;">CONTENT=</span><span style="color: blue;">&quot;NOINDEX, NOFOLLOW&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span></pre></div><!--/notypo--><br /> робот не&nbsp;должен ни&nbsp;индексировать документ, ни&nbsp;анализировать стоящие на&nbsp;нем ссылки.<br /> МЕТА-тег &#147;Robots&#148; &ndash; это&nbsp;простой инструмент для&nbsp;указания роботам, может ли&nbsp;страница быть проиндексирована и&nbsp;можно ли&nbsp;следовать по&nbsp;ссылкам со&nbsp;страницы.<br /> Он&nbsp;отличается от&nbsp;Стандарта исключения для&nbsp;роботов тем, что&nbsp;вам не&nbsp;нужно тратить много усилий или&nbsp;получать доступ у&nbsp;Администратора cервера.<br /> <span class="cite">Замечание: Не&nbsp;все роботы поддерживают данный тег</span><a name="h71-1"></a><h4>Куда писать META-тег &#147;Robots&#148;</h4> Как&nbsp;и&nbsp;любой META-тег он&nbsp;должен быть помещен в&nbsp;область HEAD HTML страницы:<br /> <!--notypo--><div class="code"><pre><span style="color: #000080;font-weight:bold;">&lt;html&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;head&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;meta </span><span style="color: #800000;font-weight:bold;">name=</span><span style="color: blue;">&quot;robots&quot;</span> <span style="color: #800000;font-weight:bold;">content=</span><span style="color: blue;">&quot;noindex,nofollow&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;meta </span><span style="color: #800000;font-weight:bold;">name=</span><span style="color: blue;">&quot;description&quot;</span> <span style="color: #800000;font-weight:bold;">content=</span><span style="color: blue;">&quot;Эта страница ....&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;title&gt;</span>...<span style="color: #000080;font-weight:bold;">&lt;/title&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;/head&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;body&gt;</span> ...</pre></div><!--/notypo--><a name="h71-2"></a><h4>Что писать в&nbsp;META-теге &#147;Robots&#148;</h4> META-тег &#147;Robots&#148; содержит указания, разделенные запятыми. В&nbsp;настоящее время определены существующие указания [NO]INDEX и&nbsp;[NO]FOLLOW. Директивы INDEX указывают, может ли&nbsp;робот индексировать страницу. Директива FOLLOW указывает роботу, может ли&nbsp;он следовать по&nbsp;ссылкам со&nbsp;страницы. Значения по&nbsp;умолчанию &ndash; INDEX и&nbsp;FOLLOW. Значения ALL&nbsp;и&nbsp;NONE обозначают активность всех директив и, соответственно, наоборот: ALL=INDEX,FOLLOW и&nbsp;NONE=NOINDEX,NOFOLLOW.<br /> Несколько примеров:<br /> <!--notypo--><div class="code"><pre><span style="color: #000080;font-weight:bold;">&lt;meta </span><span style="color: #800000;font-weight:bold;">name=</span><span style="color: blue;">&quot;robots&quot;</span> <span style="color: #800000;font-weight:bold;">content=</span><span style="color: blue;">&quot;index,follow&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;meta </span><span style="color: #800000;font-weight:bold;">name=</span><span style="color: blue;">&quot;robots&quot;</span> <span style="color: #800000;font-weight:bold;">content=</span><span style="color: blue;">&quot;noindex,follow&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;meta </span><span style="color: #800000;font-weight:bold;">name=</span><span style="color: blue;">&quot;robots&quot;</span> <span style="color: #800000;font-weight:bold;">content=</span><span style="color: blue;">&quot;index,nofollow&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span> <span style="color: #000080;font-weight:bold;">&lt;meta </span><span style="color: #800000;font-weight:bold;">name=</span><span style="color: blue;">&quot;robots&quot;</span> <span style="color: #800000;font-weight:bold;">content=</span><span style="color: blue;">&quot;noindex,nofollow&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span></pre></div><!--/notypo--><br /> Следует учесть, что&nbsp;параметр content тега &#147;robots&#148; нечувствителен к&nbsp;регистру.<br /> Вы&nbsp;не должны включать конфликтующие и&nbsp;повторяющиеся директивы, как&nbsp;например:<br /> <!--notypo--><div class="code"><pre><span style="color: #000080;font-weight:bold;">&lt;meta </span><span style="color: #800000;font-weight:bold;">name=</span><span style="color: blue;">&quot;robots&quot;</span> <span style="color: #800000;font-weight:bold;">content=</span><span style="color: blue;">&quot;INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW&quot;</span><span style="color: #000080;font-weight:bold;">&gt;</span></pre></div><!--/notypo--><br /> Правильный синтаксис атрибутов META-тега &#147;Robots&#148;:<br /> <!--notypo--><div class="code"><code><font color="#000000"> content&nbsp;&nbsp;&nbsp;&nbsp;= all | none | directives<br />all&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;= "ALL"<br />none&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;= "NONE"<br />directives = directive ["," directives]<br />directive&nbsp;&nbsp;= index | follow<br />index&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;= "INDEX" | "NOINDEX"<br />follow&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;= "FOLLOW" | "NOFOLLOW"</font> </code></div><!--/notypo--></div></div> http://robotstxt.org.ru/RobotsExclusion/show?time=2006-10-19+11%3A44%3A31 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotsExclusion" class="">/Robots&nbsp;Exclusion</a> за <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-10-19+11%3A44%3A31">2006-10-19 11:44:31</a> и <a href="http://robotstxt.org.ru/RobotsExclusion?time=2006-11-03+08%3A36%3A16">2006-11-03 08:36:16</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h71-1"></a><h1>Теория и&nbsp;практика работы с&nbsp;robots.txt</h1> Иногда веб-мастеру может потребоваться закрыть от&nbsp;индексации часть сайта. Эта&nbsp;задача легко решаема, так&nbsp;как большинство Web&nbsp;Роботов позволяют администраторам сайтов ограничить свое поведение на&nbsp;сайте. Это&nbsp;можно сделать несколькими способами:<br /> <ul><li> Можно указать, какие части сайта не&nbsp;должны посещаться роботами, разместив специально отформатированный файл в&nbsp;корне сайта &ndash; http://www.site-name.ru/robots.txt </li><li> Использовать нестандартные приемы, работающие для&nbsp;конкретных роботов. Например запретить роботу следовать по&nbsp;ссылке при&nbsp;помощи <a href="http://blog.searchenginewatch.com/blog/050118-204728" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />ref=&quot;nofollow&quot;</a>(Google, MSN, Yahoo) или&nbsp;запретить индексацию части страницы <a href="http://www.seochase.com/viewtopp.3509-0-asc-0.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />при помощи тега &lt;noindex&gt;</a> (Yandex, Rambler).</li></ul> Следует отметить, что&nbsp;все эти&nbsp;методы не&nbsp;дают стопроцентной гарантии. Некоторые роботы могут попросту не&nbsp;обращать на&nbsp;них внимание.<a name="h71-2"></a><h2>Стандарт Исключения для&nbsp;Роботов</h2> <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">Стандарт исключения роботов</a> был&nbsp;принят в&nbsp;1994 году и&nbsp;с тех&nbsp;пор не&nbsp;менялся. Стандарт описывает общие принципы написания robots.txt. Вкратце &ndash; при&nbsp;заходе на&nbsp;сайт робот запрашивает файл robotx.txt, чтобы посмотреть, какие разделы и&nbsp;документы на&nbsp;сайте запрещены для&nbsp;него.<br /> Важно помнить, что&nbsp;стандарт является необязательным, и&nbsp;его придерживаются только &laquo;вежливые и&nbsp;культурные&raquo; роботы. Врядли вы&nbsp;сможете при&nbsp;помощи него сможете запретить, например, доступ для&nbsp;роботов ворующих у&nbsp;вас контент.<a name="h71-3"></a><h2>Руководство по&nbsp;использованию robots.txt</h2> Подробнее о&nbsp;написании robots.txt и&nbsp;о том, что&nbsp;означают различные правила, можно узнать из&nbsp;<a name=".robotsexclusion.guide" href="http://robotstxt.org.ru/RobotsExclusion/guide" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;guide">руководства по&nbsp;использованию robots.txt</a>.<a name="h71-4"></a><h2>МЕТА-тег &#147;Robots&#148; </h2> <a href="http://notes.webartsolutions.com/archives/000218.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Как разные поисковики обрабатывают noindex</a><br /> <a href="http://notes.webartsolutions.com/archives/000197.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Запрет использования в&nbsp;выдаче описания из&nbsp;ODP</a></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h71-1"></a><h2>Исключение роботов</h2> Иногда люди узнают, что&nbsp;их&nbsp;сайт был&nbsp;проиндексирован поисковым роботом или&nbsp;что индексирующий робот посетил ту&nbsp;часть сайта, которая по&nbsp;некоторым причинам не&nbsp;должна была быть доступна.<br /> Однако данная проблема легко решаема, так&nbsp;как большинство Web&nbsp;Роботов позволяют администраторам сайтов ограничить свое поведение на&nbsp;сайте. Это&nbsp;можно сделать двумя способами:<br /> <ul><li> Администратор веб-сайта может указать, какие части сайта не&nbsp;должны быть посещены роботом, разместив специально отформатированный файл в&nbsp;корне сайта &ndash; http://www.site-name.ru/robots.txt</li></ul> Ниже описаны все&nbsp;варианты использования данных возможностей.<br /> Следует отметить, что&nbsp;эти методы работают только во&nbsp;взаимодействии с&nbsp;Роботом и&nbsp;ни в&nbsp;коем случае не&nbsp;гарантируют, что&nbsp;они будут работать для&nbsp;каждого Робота в&nbsp;отдельности.<a name="h71-2"></a><h3>Стандарт Исключения для&nbsp;Роботов</h3> Стандарт Исключения для&nbsp;Роботов позволяет Администраторам указывать, какие части их&nbsp;сайта не&nbsp;должны быть посещены роботом.<br /> В&nbsp;двух словах, когда Робот посещает сайт, скажем, <a href="http://www.yandex.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.yandex.ru/</a>, он&nbsp;сначала проверяет <a href="http://www.yandex.ru/robots.txt" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.yandex.ru/robots.txt</a>. Если он&nbsp;находит этот документ, то&nbsp;он проанализирует его&nbsp;содержимое на&nbsp;такие записи как:<br /> <!--notypo--><div class="code"><code><font color="#000000"> User-agent: *<br />Disallow: /</font> </code></div><!--/notypo--><br /> чтобы выяснить, разрешено ли&nbsp;ему запрашивать документ. Точные детали того, как&nbsp;данные правила написать и&nbsp;что они&nbsp;означают, можно найти здесь:<br /> <div class="indent"><a href="http://robotstxt.org.ru/RobotsExclusion/guide" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;guide">Руководство по&nbsp;использованию robots.txt</a><br /> <a href="http://robotstxt.org.ru/RobotsExclusion/spec" class="" title="Robots&nbsp;Exclusion&nbsp;/&nbsp;spec">Cтандарт исключений для&nbsp;роботов</a> &ndash; который используется в&nbsp;настоящий момент, редакция 1994 года.</div><a name="h71-3"></a><h3>МЕТА-тег &#147;Robots&#148; </h3></div></div>