http://robotstxt.org.ru/rurobots/msn History/revisions of Robots.Txt по-русски/rurobots/msn en-us http://robotstxt.org.ru/rurobots/msn/show?time=2007-01-15+18%3A18%3A40 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".rurobots.msn" href="http://robotstxt.org.ru/rurobots/msn" class="">/rurobots&nbsp;/&nbsp;msn</a> за <a href="http://robotstxt.org.ru/rurobots/msn?time=2007-01-15+18%3A18%3A40">2007-01-15 18:18:40</a> и <a href="http://robotstxt.org.ru/rurobots/msn">2007-01-15 18:22:55</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Программы-обходчики <span class="missingpage">Live.com</span><a href="http://robotstxt.org.ru/Live/com/edit?add=1" title="Создать эту страницу">?</a> ищут файл robots.txt в&nbsp;соответствии со&nbsp;стандартом исключения роботов.<br /> Во&nbsp;время выполнения обхода содержимого веб-узла программы-обходчики проверяют наличие файла robots.txt в&nbsp;корневом каталоге веб-сервера. Если файл существует, программы-обходчики проверяют, являются ли&nbsp;они допустимыми пользовательскими агентами и&nbsp;установлены ли&nbsp;ограничения на&nbsp;поиск или&nbsp;индексацию.</div></div> http://robotstxt.org.ru/rurobots/msn/show?time=2006-12-01+18%3A17%3A07 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/msn" class="">/rurobots&nbsp;/&nbsp;msn</a> за <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-12-01+18%3A17%3A07">2006-12-01 18:17:07</a> и <a href="http://robotstxt.org.ru/rurobots/msn?time=2007-01-15+18%3A18%3A40">2007-01-15 18:18:40</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h82-1"></a><h2>MSN</h2><a name="h82-2"></a><h2>Live Search</h2> <a href="http://help.live.com/help.aspx?project=wl_searchv1&amp;market=ru-ru#faq12" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Как управлять индексацией страниц веб-узла</a> управление индексацией страниц веб-узла</div></div> http://robotstxt.org.ru/rurobots/msn/show?time=2006-12-01+18%3A15%3A54 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/msn" class="">/rurobots&nbsp;/&nbsp;msn</a> за <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-12-01+18%3A15%3A54">2006-12-01 18:15:54</a> и <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-12-01+18%3A17%3A07">2006-12-01 18:17:07</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Советы, <a href="http://blogs.msdn.com/livesearch/archive/2006/11/29/search-robots-in-disguise.aspx" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />как отличить настоящих MSNBot-ов</a> от&nbsp;ботов, просто прикидывающихся MSN-овским на&nbsp;Live Search's WebLog.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Советы, <a href="http://blogs.msdn.com/livesearch/archive/2006/11/29/search-robots-in-disguise.aspx" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />как отличить настоящих MSNBot-ов</a> на&nbsp;Live Search's <span class="missingpage">Web&nbsp;Log</span><a href="http://robotstxt.org.ru/WebLog/edit?add=1" title="Создать эту страницу">?</a>.</div></div> http://robotstxt.org.ru/rurobots/msn/show?time=2006-10-20+01%3A24%3A43 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/msn" class="">/rurobots&nbsp;/&nbsp;msn</a> за <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-10-20+01%3A24%3A43">2006-10-20 01:24:43</a> и <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-12-01+18%3A15%3A54">2006-12-01 18:15:54</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Советы, <a href="http://blogs.msdn.com/livesearch/archive/2006/11/29/search-robots-in-disguise.aspx" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />как отличить настоящих MSNBot-ов</a> на&nbsp;Live Search's <span class="missingpage">Web&nbsp;Log</span><a href="http://robotstxt.org.ru/WebLog/edit?add=1" title="Создать эту страницу">?</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions">(31 июля 2006 <a href="http://www.webmasterworld.com/search_engine_spiders/3029007.htm" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />http://www.webmasterworld.com/search_engine_spiders/3029007.htm</a>)</div></div> http://robotstxt.org.ru/rurobots/msn/show?time=2006-10-01+00%3A36%3A50 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/msn" class="">/rurobots&nbsp;/&nbsp;msn</a> за <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-10-01+00%3A36%3A50">2006-10-01 00:36:50</a> и <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-10-20+01%3A24%3A43">2006-10-20 01:24:43</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h82-1"></a><h1>Роботы MSN&nbsp;— <a href="http://www.msn.com" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.msn.com</a> & <a href="http://www.live.com" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />www.live.com</a></h1></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h82-1"></a><h1>Роботы MSN</h1></div></div> http://robotstxt.org.ru/rurobots/msn/show?time=2006-08-16+17%3A52%3A20 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/msn" class="">/rurobots&nbsp;/&nbsp;msn</a> за <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-08-16+17%3A52%3A20">2006-08-16 17:52:20</a> и <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-10-01+00%3A36%3A50">2006-10-01 00:36:50</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h82-1"></a><h1>Роботы MSN</h1> <a href="http://search.msn.com:80/docs/siteowner.aspx" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />Рорбты MSN&nbsp;Search и&nbsp;инексация сайтов</a><br /> До&nbsp;недавнего времени все&nbsp;роботы MSN&nbsp;назывались msnbot, что&nbsp;вносило некоторую путаницу. Поэтому к&nbsp;их имена были дополнены, чтобы веб-мастерам было проще их&nbsp;различать. Вот&nbsp;некоторые из&nbsp;них:<br /> Робот <a href="http://shopping.msn.com/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />The MSN&nbsp;Shopping</a> называется msnbot-products.<br /> Робот <a href="http://search.msn.com/news/results.aspx?q=&amp;FORM=BNIR" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />The MSN&nbsp;News</a> называется msnbot-news.<br /> Робот <a href="http://search.msn.com/images/results.aspx?q=&amp;FORM=BINR" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />The MSN&nbsp;Image Search</a> называется msnbot-MM.<br /> Робот <span class="missingpage">http://search.msn.com/ MSN&nbsp;Search</span><a href="http://robotstxt.org.ru/The/edit?add=1" title="Создать эту страницу">?</a> называется просто msnbot.</div><br /> <b>Удалено:</b><br /> <div class="deletions"><a href="http://search.msn.com:80/docs/siteowner.aspx" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />MSN Search Web&nbsp;Crawler and&nbsp;Site Indexing</a><br /> These are&nbsp;all Microsoft bots that have been around for&nbsp;a&nbsp;while. Up&nbsp;until recently they were all&nbsp;called &#147;msnbot,&#148; but&nbsp;that was&nbsp;getting confusing, so&nbsp;we asked the&nbsp;other groups to&nbsp;append something to&nbsp;the name so&nbsp;people could tell them apart. Here's a&nbsp;few:<br /> The&nbsp;MSN Shopping bot&nbsp;is&nbsp;msnbot-products.<br /> The&nbsp;MSN News bot&nbsp;is&nbsp;msnbot-news.<br /> The&nbsp;MSN Image Search bot&nbsp;is&nbsp;msnbot-MM.<br /> The&nbsp;MSN Search bot&nbsp;is&nbsp;still just plain msnbot.<br /> By&nbsp;the way, this change was&nbsp;partly precipitated by&nbsp;people here at&nbsp;Webmaster World complaining that we&nbsp;were crawling them a&nbsp;lot but&nbsp;never indexing them; it&nbsp;always turned out&nbsp;that it&nbsp;wasn't MSN&nbsp;Search doing the&nbsp;crawling &mdash; it&nbsp;was some other team at&nbsp;MSN. Now&nbsp;it&nbsp;should be&nbsp;much easier for&nbsp;people to&nbsp;see what's really going on&nbsp;&mdash; and&nbsp;to&nbsp;block or&nbsp;restrict other bots (without blocking MSN&nbsp;Search) if&nbsp;they have to.</div></div> http://robotstxt.org.ru/rurobots/msn/show?time=2006-08-02+12%3A00%3A26 <div class="pageBefore"><img src="http://robotstxt.org.ru/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://robotstxt.org.ru/rurobots/msn" class="">/rurobots&nbsp;/&nbsp;msn</a> за <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-08-02+12%3A00%3A26">2006-08-02 12:00:26</a> и <a href="http://robotstxt.org.ru/rurobots/msn?time=2006-08-16+17%3A52%3A20">2006-08-16 17:52:20</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a href="http://search.msn.com:80/docs/siteowner.aspx" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://robotstxt.org.ru/themes/default/icons/web.gif" alt="" border="0" />MSN Search Web&nbsp;Crawler and&nbsp;Site Indexing</a><br /> These are&nbsp;all Microsoft bots that have been around for&nbsp;a&nbsp;while. Up&nbsp;until recently they were all&nbsp;called &#147;msnbot,&#148; but&nbsp;that was&nbsp;getting confusing, so&nbsp;we asked the&nbsp;other groups to&nbsp;append something to&nbsp;the name so&nbsp;people could tell them apart. Here's a&nbsp;few:</div><br /> <b>Удалено:</b><br /> <div class="deletions">These are&nbsp;all Microsoft bots that have been around for&nbsp;a&nbsp;while. Up&nbsp;until recently they were all&nbsp;called &#147;msnbot,&#148; but&nbsp;that was&nbsp;getting confusing, so&nbsp;we asked the&nbsp;other groups to&nbsp;append something to&nbsp;the name so&nbsp;people could tell them apart. Here's a&nbsp;few:</div></div>