Роботы Вебальты — 
www.webalta.ru — Прекратила существование
Индексирование
Поисковая система Webalta самостоятельно находит и индексирует сайты.
Ускорить появление сайта в выдаче можно, добавив его в открытый каталог Open.Webalta?.ru.
Размещение информации о сайте в каталоге Open.Webalta.ru упрощает доступ пользователей к Вашим ресурсам, а также помогает нам улучшить выдачу и организовать более точный региональный поиск.
Подробная информация о процедуре добавления сайта в каталог размещена в справочном разделе проекта.
Webalta Crawler соблюдает стандарт на ограничение индексирования сайта и его отдельных страниц, специфицированные в http://robotstxt.1web.ru/RobotsExclusion
Возможны два вида ограничений:
1) Файл robots.txt в корневом каталоге сервера позволяет удалить из индекса сервер целиком, отдельные директории сервера и, непосредственно перечисленные отдельные файлы.
Для указания директив непосредственно Webalta Crawler, необходимо задать имя робота Webalta:
User-agent: Webalta
Disallow: /cgi-bin
2) Мета-Теги, внутри HTML страницы позволяют ограничивать индексирование данной страницы сайта.
Мета-Тег добавляется в раздел <HEAD> страницы, и также как и в случае с файлом robots.txt, ограничение может относиться либо ко всем роботам, либо непосредственно к указанному.
Теги:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
или
<META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW">
запрещают индексировать страницу всем роботам, или только Webalta Crawler, соответственно.
Теги:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
или
<META NAME="WEBALTA" CONTENT="NOFOLLOW">
Разрешают индексировать страницу, но запрещают переходить по внешним ссылкам всем роботам, или только Webalta Crawler, соответственно.
Теги:
<META NAME="ROBOTS" CONTENT="NOINDEX">
или
<META NAME="WEBALTA" CONTENT="NOINDEX">
запрещают индексировать страницу, но позволяют переходить по внешним ссылкам всем роботам, или только Webalta Crawler, соответственно.
Также, возможно одновременное размещения нескольких Мета-Тегов, ограничивающих индексирование, как для всех роботов, так и для непосредственно указанных. В этом случае, непосредственно указанный робот Webalta Crawler принимает ограничения, как сумму из указанных ему и указанных для всех роботов.
Ссылки по теме
Индексирование
Статья на Вебпланете о прожорливости бота
На правах рекламы
Партнерские программы: ЦОП Яндекс-Директ и свои PPC Партнерская сеть MixMarket.BIZ приглашает партнеров. Мы работаем над вашими сайтами вместе с вами!
