http://robotstxt.org.ru/RobotstxtErrors History/revisions of Robots.Txt по-русски/RobotstxtErrors en-us http://robotstxt.org.ru/RobotstxtErrors/show?time=2007-05-26+15%3A07%3A08 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".robotstxterrors" href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2007-05-26+15%3A07%3A08">2007-05-26 15:07:08</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors">2007-05-26 15:26:56</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">%%(php)User-agent: /</div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2007-02-14+10%3A48%3A43 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2007-02-14+10%3A48%3A43">2007-02-14 10:48:43</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2007-05-26+15%3A07%3A08">2007-05-26 15:07:08</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Disallow: /</div><br /> <b>Удалено:</b><br /> <div class="deletions">Disallow: *</div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2006-10-21+02%3A15%3A46 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-21+02%3A15%3A46">2006-10-21 02:15:46</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2007-02-14+10%3A48%3A43">2007-02-14 10:48:43</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Host: <a href="http://www.site.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.site.ru/</a><br /> Директива host Является корректной только для&nbsp;робота <a href="http://robotstxt.org.ru/rurobots/yandex#h79-4" target="_blank" title="" class="outerlink">Яндекса</a><br /> Некоторые роботы <a href="http://notes.webartsolutions.com/archives/000084.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />могут неправильно отреагировать</a> на&nbsp;использование дополнительных директив. Это&nbsp;значит, что&nbsp;не&nbsp;стоит использовать дополнительные директивы в&nbsp;секции «*».<br /> То&nbsp;есть рекомендуется создавать специальные секции для&nbsp;нестандартных директив, таких как&nbsp;<a href="http://robotstxt.org.ru/rurobots/yandex#h79-4" target="_blank" title="" class="outerlink">«Host»</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions">%%(php)User-agent: <a href="http://www.google.com" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.google.com</a><br /> Некоторые роботы <a href="http://notes.webartsolutions.com/archives/000084.html" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />могут неправильно отреагировать</a> на&nbsp;использование дополнительных директив. Это&nbsp;значит, что&nbsp;не&nbsp;стоит использовать дополнительные директивы в&nbsp;секции *</div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2006-10-20+19%3A08%3A53 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-20+19%3A08%3A53">2006-10-20 19:08:53</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-21+02%3A15%3A46">2006-10-21 02:15:46</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Сервер должен возвращать в&nbsp;HTTP-заголовке для&nbsp;robots.txt &laquo;Content-Type: text/plain&raquo; а, например, не&nbsp;&laquo;Content-Type: text/html&raquo;. Неправильный заголовок может привести к&nbsp;тому, что&nbsp;некоторые роботы не&nbsp;обработают файл.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Сервер должен возвращать в&nbsp;HTTP-заголовке для&nbsp;robots.txt &laquo;Content-Type: text/plain&raquo; а, например, не&nbsp;&laquo;Content-Type: text/html&raquo;. Неправильный заголовок может привести к&nbsp;тому что&nbsp;некоторые роботы не&nbsp;обработают файл.</div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2006-10-19+13%3A27%3A41 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-19+13%3A27%3A41">2006-10-19 13:27:41</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-20+19%3A08%3A53">2006-10-20 19:08:53</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Сервер должен возвращать в&nbsp;HTTP-заголовке для&nbsp;robots.txt &laquo;Content-Type: text/plain&raquo; а, например, не&nbsp;&laquo;Content-Type: text/html&raquo;. Неправильный заголовок может привести к&nbsp;тому что&nbsp;некоторые роботы не&nbsp;обработают файл.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Сервер должен возвращать в&nbsp;HTTP-заголовке для&nbsp;robots.txt &laquo;Content-Type: text/plain&raquo; а, например, не&nbsp;&laquo;Content-Type: text/html&raquo;.</div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2006-10-18+00%3A55%3A28 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-18+00%3A55%3A28">2006-10-18 00:55:28</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-19+13%3A27%3A41">2006-10-19 13:27:41</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h83-1"></a><h3>Указание нескольких каталогов в&nbsp;одной инструкции Disallow</h3></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h83-1"></a><h3>Указание нескольких каталогов в&nbsp;одной инструкции Disallow:</h3></div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2006-10-18+00%3A10%3A57 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-18+00%3A10%3A57">2006-10-18 00:10:57</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-18+00%3A55%3A28">2006-10-18 00:55:28</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Неправильно:<br /> %%(php)User-agent: <a href="http://www.google.com" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.google.com</a><br /> Правильно:<br /> для&nbsp;указания все&nbsp;файлов file1.html, file2.html, file3.html и&nbsp;т.д. Но&nbsp;нельзя, к&nbsp;сожалению (некоторые роботы <a href="http://www.google.ru/support/webmasters/bin/answer.py?answer=40367&amp;topic=8846" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />поддерживают символы подстановки</a>).<a name="h83-1"></a><h3>Неправильный http-заголовок</h3> Сервер должен возвращать в&nbsp;HTTP-заголовке для&nbsp;robots.txt &laquo;Content-Type: text/plain&raquo; а, например, не&nbsp;&laquo;Content-Type: text/html&raquo;.</div><br /> <b>Удалено:</b><br /> <div class="deletions">для&nbsp;указания все&nbsp;файлов file1.html, file2.html, file3.html и&nbsp;т.д. Но&nbsp;нельзя, к&nbsp;сожалению.</div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2006-10-18+00%3A10%3A32 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-18+00%3A10%3A32">2006-10-18 00:10:32</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-18+00%3A10%3A57">2006-10-18 00:10:57</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Еще&nbsp;раз &ndash; файл должен называться robot<u>s</u>.txt.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Еще&nbsp;раз &ndash; файл должен называться robot<strong>s</strong>.txt.</div></div> http://robotstxt.org.ru/RobotstxtErrors/show?time=2006-10-18+00%3A10%3A00 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/RobotstxtErrors" class="">/Robotstxt&nbsp;Errors</a> за <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-18+00%3A10%3A00">2006-10-18 00:10:00</a> и <a href="http://robotstxt.org.ru/RobotstxtErrors?time=2006-10-18+00%3A10%3A32">2006-10-18 00:10:32</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Еще&nbsp;раз &ndash; файл должен называться robot<strong>s</strong>.txt.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Еще&nbsp;раз &ndash; файл должен называться robot<strong></strong>s<strong></strong>.txt.</div></div>