http://robotstxt.org.ru/rurobots/yandex History/revisions of Robots.Txt по-русски/rurobots/yandex en-us http://robotstxt.org.ru/rurobots/yandex/show?time=2006-12-01+00%3A22%3A11 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".rurobots.yandex" href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A22%3A11">2006-12-01 00:22:11</a> и <a href="http://robotstxt.org.ru/rurobots/yandex">2006-12-05 23:13:12</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Интересная информация об&nbsp;обработке директивы Host из&nbsp;<a href="http://forum.searchengines.ru/showpost.php?p=1622259&amp;postcount=4" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />ответов А. Садовского на&nbsp;вопросы оптимизаторов</a>:<br /> <blockquote> <strong>Вопрос:</strong> Когда планируется своевременное соблюдение директивы Host: в&nbsp;robots.txt? Если сайт индексируется как&nbsp;www.site.ru, когда указано Host: site.ru уже&nbsp;после того, как&nbsp;robots.txt был&nbsp;размещен <span class="nobr">1&ndash;2</span> недели, то&nbsp;при этом сайт с&nbsp;www и&nbsp;без www&nbsp;не&nbsp;склеивается более <span class="nobr">1&ndash;2</span> месяца и&nbsp;в Яндексе существуют одновременно 2 копии частично пересекающихся сайтов (один 550 страниц, другой 150 страниц, при&nbsp;этом 50 страниц одинаковых). Прокомментируйте, пожалуйста, проблемы с&nbsp;работой «зеркальщика».<br /> <strong>Ответ:</strong> Расширение стандарта robots.txt, введенное Яндексом, директива Host — это&nbsp;не&nbsp;команда считать зеркалами два&nbsp;любых сайта, это&nbsp;указание, какой сайт из&nbsp;группы, определенных автоматически как&nbsp;зеркала, считать главным. Следовательно, когда сайты будут идентифицированы как&nbsp;зеркала, директива Host сработает. </blockquote></div></div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-12-01+00%3A21%3A37 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A21%3A37">2006-12-01 00:21:37</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A22%3A11">2006-12-01 00:22:11</a></b><br /> <br /> No differences.</div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-12-01+00%3A21%3A24 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A21%3A24">2006-12-01 00:21:24</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A21%3A37">2006-12-01 00:21:37</a></b><br /> <br /> No differences.</div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-12-01+00%3A19%3A16 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A19%3A16">2006-12-01 00:19:16</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A21%3A24">2006-12-01 00:21:24</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h79-1"></a><h2>Ссылки по&nbsp;теме</h2></div></div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-12-01+00%3A18%3A32 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A18%3A32">2006-12-01 00:18:32</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A19%3A16">2006-12-01 00:19:16</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">в&nbsp;зависимости от&nbsp;того что&nbsp;для вас&nbsp;оптимальнее.<br /> Вот&nbsp;цитата из&nbsp;<a href="http://webmaster.yandex.ru/faq.xml?id=508490#wrongname" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />ЧаВо</a> Яндекса:</div><br /> <b>Удалено:</b><br /> <div class="deletions">в&nbsp;зависимости от&nbsp;того что&nbsp;для вас&nbsp;оптимальнее. Вот&nbsp;цитата из&nbsp;<a href="http://webmaster.yandex.ru/faq.xml?id=508490#wrongname" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />ЧаВо</a> Яндекса:</div></div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-12-01+00%3A17%3A35 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A17%3A35">2006-12-01 00:17:35</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A18%3A32">2006-12-01 00:18:32</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Во&nbsp;избежания возникновения проблем с&nbsp;<a href="http://ru.wikipedia.org/wiki/%D0%97%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE_%28%D0%B2_%D1%81%D0%B5%D1%82%D0%B8%29" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />зеркалом/ами сайта</a> рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на&nbsp;главное зеркало данного сайта. С&nbsp;директивой «Disallow» никак не&nbsp;связана.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Во&nbsp;избежания возникновения проблем с&nbsp;<a href="http://ru.wikipedia.org/wiki/%D0%97%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE_%28%D0%B2_%D1%81%D0%B5%D1%82%D0%B8%29" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />зеркалом/ами сайта</a> рекомендуется использовать директиву Host:<br /> Директива «Host» указывает роботу Яндекса на&nbsp;главное зеркало данного сайта. С&nbsp;директивой «Disallow» никак не&nbsp;связана.</div></div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-11-07+15%3A56%3A09 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-11-07+15%3A56%3A09">2006-11-07 15:56:09</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-12-01+00%3A17%3A35">2006-12-01 00:17:35</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Директива «Host» указывает роботу Яндекса на&nbsp;главное зеркало данного сайта. С&nbsp;директивой «Disallow» никак не&nbsp;связана.</div></div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-11-07+15%3A55%3A29 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-11-07+15%3A55%3A29">2006-11-07 15:55:29</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-11-07+15%3A56%3A09">2006-11-07 15:56:09</a></b><br /> <br /> No differences.</div> http://robotstxt.org.ru/rurobots/yandex/show?time=2006-11-07+15%3A54%3A40 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/yandex" class="">/rurobots&nbsp;/&nbsp;yandex</a> за <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-11-07+15%3A54%3A40">2006-11-07 15:54:40</a> и <a href="http://robotstxt.org.ru/rurobots/yandex?time=2006-11-07+15%3A55%3A29">2006-11-07 15:55:29</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a href="http://webmaster.yandex.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Форма для&nbsp;добавления URL&nbsp;сайта в&nbsp;индекс</a><br /> <a href="http://webmaster.yandex.ru/delurl.xml" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Форма для&nbsp;удаления URL&nbsp;сайта из&nbsp;индекса</a></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a href="http://webmaster.yandex.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Форма добавления URL&nbsp;сайта</a></div></div>