/rurobots/quintura History/revisions of Robots.Txt по-русски/rurobots/quintura en-us /rurobots/quintura/show?time=2009-04-28+17%3A56%3A03 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".rurobots.quintura" href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A56%3A03">2009-04-28 17:56:03</a> и <a href="/rurobots/quintura">2009-05-18 10:27:47</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Sitemap это&nbsp;способ указать краулеру, какие страницы на&nbsp;сайте следует индексировать, при&nbsp;этом робот не&nbsp;будет сканировать весь сайт, а&nbsp;обратится только к&nbsp;тем страницам, которые указаны в&nbsp;сайтмэпе.<br /> В&nbsp;данном случае краулер Quintura проигнорирует вышеуказанные правила и&nbsp;будет индексировать сайт по&nbsp;правилам, которые описаны в&nbsp;файлах /products.xml и&nbsp;/services.txt. Более подробной информации о&nbsp;том как&nbsp;создавать файлы sitemap находится по&nbsp;ссылке <a href="http://www.sitemaps.org.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="/themes/default/icons/web.gif" alt="" border="0" />http://www.sitemaps.org.ru/</a>.<br /> Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования, учитывая указанные правила.<br /> Другой стандарт предусматривает использование на&nbsp;странице формата HTML мета-тега &lt;META&gt;, запрещающего роботам индексировать страницу. Этот стандарт описан на&nbsp;странице <a href="/RobotsExclusion#h71-3" target="_blank" title="" class="outerlink">/RobotsExclusion#h71-3</a>.<br /> Чтобы разрешить роботам брать со&nbsp;страницы ссылки на&nbsp;другие страницы сайта, но&nbsp;не индексировать саму страницу, используйте следующий тег:<br /> <!--notypo--><div class="code"><code><font color="#000000"> &lt;META&nbsp;NAME="ROBOTS"&nbsp;CONTENT="NOINDEX,&nbsp;FOLLOW"&gt;</font> </code></div><!--/notypo--></div><br /> <b>Удалено:</b><br /> <div class="deletions">Sitemap это&nbsp;способ указать краулеру какие страницы на&nbsp;сайте следует индексировать, при&nbsp;этом робот не&nbsp;будет сканировать весь сайт, а&nbsp;обращаться только к&nbsp;тем страницам которые указаны в&nbsp;сайтмэпе.<br /> В&nbsp;данном случае краулер Quintura проигнорирует выше указанные правила и&nbsp;будет индексировать сайт по&nbsp;правилам которые описаны в&nbsp;файлах /products.xml и&nbsp;/services.txt. Более подробной информации о&nbsp;том как&nbsp;создавать файлы sitemap находится по&nbsp;ссылке <a href="http://www.sitemaps.org.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="/themes/default/icons/web.gif" alt="" border="0" />http://www.sitemaps.org.ru/</a>.<br /> Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.<br /> Другой стандарт, более удобный для&nbsp;работы со&nbsp;страницами, предусматривает использование на&nbsp;странице формата HTML мета-тега &lt;META&gt;, запрещающего роботам индексировать страницу. Этот стандарт описан на&nbsp;странице <a href="/RobotsExclusion#h71-3" target="_blank" title="" class="outerlink">/RobotsExclusion#h71-3</a>.</div></div> /rurobots/quintura/show?time=2009-04-28+17%3A55%3A45 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A55%3A45">2009-04-28 17:55:45</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A56%3A03">2009-04-28 17:56:03</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">В&nbsp;данном случае краулер Quintura проигнорирует выше указанные правила и&nbsp;будет индексировать сайт по&nbsp;правилам которые описаны в&nbsp;файлах /products.xml и&nbsp;/services.txt. Более подробной информации о&nbsp;том как&nbsp;создавать файлы sitemap находится по&nbsp;ссылке <a href="http://www.sitemaps.org.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="/themes/default/icons/web.gif" alt="" border="0" />http://www.sitemaps.org.ru/</a>.</div><br /> <b>Удалено:</b><br /> <div class="deletions">В&nbsp;данном случае краулер Quintura проигнорирует выше указанные правила и&nbsp;будет индексировать сайт по&nbsp;правилам которые описаны в&nbsp;файлах /products.xml и&nbsp;/services.xml. Более подробной информации о&nbsp;том как&nbsp;создавать файлы sitemap находится по&nbsp;ссылке <a href="http://www.sitemaps.org.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="/themes/default/icons/web.gif" alt="" border="0" />http://www.sitemaps.org.ru/</a>.</div></div> /rurobots/quintura/show?time=2009-04-28+17%3A55%3A26 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A55%3A26">2009-04-28 17:55:26</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A55%3A45">2009-04-28 17:55:45</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Sitemap: /services.txt</div><br /> <b>Удалено:</b><br /> <div class="deletions">Sitemap: /services.xml</div></div> /rurobots/quintura/show?time=2009-04-28+17%3A54%3A57 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A54%3A57">2009-04-28 17:54:57</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A55%3A26">2009-04-28 17:55:26</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><strong>Примечание:</strong><br /> Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.</div><br /> <b>Удалено:</b><br /> <div class="deletions">Примечание:<br /> <strong>Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.</strong></div></div> /rurobots/quintura/show?time=2009-04-28+17%3A54%3A01 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A54%3A01">2009-04-28 17:54:01</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A54%3A57">2009-04-28 17:54:57</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><strong>Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.</strong></div><br /> <b>Удалено:</b><br /> <div class="deletions"><strong></strong>Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.<strong></strong></div></div> /rurobots/quintura/show?time=2009-04-28+17%3A51%3A26 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A51%3A26">2009-04-28 17:51:26</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A54%3A01">2009-04-28 17:54:01</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><strong></strong>Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.<strong></strong></div><br /> <b>Удалено:</b><br /> <div class="deletions">*Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.</div></div> /rurobots/quintura/show?time=2009-04-28+17%3A50%3A20 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A50%3A20">2009-04-28 17:50:20</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A51%3A26">2009-04-28 17:51:26</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">*Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.</div><br /> <b>Удалено:</b><br /> <div class="deletions">1) Если файл сайтмэпа не&nbsp;доступен или&nbsp;не&nbsp;соответствует стандарту, краулер Quintura будет индексировать сайт в&nbsp;режиме сканирования.</div></div> /rurobots/quintura/show?time=2009-04-28+17%3A49%3A31 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A49%3A31">2009-04-28 17:49:31</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A50%3A20">2009-04-28 17:50:20</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h396335-1"></a><h2>Файл <span class="missingpage">Robots.txt</span><a href="/Robots/txt/edit?add=1" title="Создать эту страницу">?</a></h2></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h396335-1"></a><h2>Файл <span class="missingpage">Robots.txt</span><a href="/Robots/txt/edit?add=1" title="Создать эту страницу">?</a> </h2></div></div> /rurobots/quintura/show?time=2009-04-28+17%3A49%3A19 <div class="pageBefore"><img src="/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="/rurobots/quintura" class="">/rurobots&nbsp;/&nbsp;quintura</a> за <a href="/rurobots/quintura?time=2009-04-28+17%3A49%3A19">2009-04-28 17:49:19</a> и <a href="/rurobots/quintura?time=2009-04-28+17%3A49%3A31">2009-04-28 17:49:31</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name="h396335-1"></a><h2>Файл <span class="missingpage">Robots.txt</span><a href="/Robots/txt/edit?add=1" title="Создать эту страницу">?</a> </h2></div><br /> <b>Удалено:</b><br /> <div class="deletions"><a name="h396335-1"></a><h2>Файл <span class="missingpage">Robots.txt</span><a href="/Robots/txt/edit?add=1" title="Создать эту страницу">?</a></h2></div></div>