Роботы Вебальты (Неактуально)

 

Неактуальность данного раздела

R.I.P.

Индексирование Вебальтой (www.webalta.ru)

Поисковая система Webalta самостоятельно находит и индексирует сайты.

Ускорить появление сайта в выдаче можно, добавив его в открытый каталог Open.Webalta.ru.

Размещение информации о сайте в каталоге Open.Webalta.ru упрощает доступ пользователей к Вашим ресурсам, а также помогает нам улучшить выдачу и организовать более точный региональный поиск.

Подробная информация о процедуре добавления сайта в каталог размещена в справочном разделе проекта.

Webalta Crawler соблюдает стандарт на ограничение индексирования сайта и его отдельных страниц, специфицированные в http://robotstxt.org.ru/RobotsExclusion

Возможны два вида ограничений:

1) Файл robots.txt в корневом каталоге сервера позволяет удалить из индекса сервер целиком, отдельные директории сервера и, непосредственно перечисленные отдельные файлы.

Для указания директив непосредственно Webalta Crawler, необходимо задать имя робота Webalta:

User-agent: Webalta
Disallow: /cgi-bin

2) Мета-Теги, внутри HTML страницы позволяют ограничивать индексирование данной страницы сайта.

Мета-Тег добавляется в раздел <HEAD> страницы, и также как и в случае с файлом robots.txt, ограничение может относиться либо ко всем роботам, либо непосредственно к указанному.

Теги:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

или

<META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW">

запрещают индексировать страницу всем роботам, или только Webalta Crawler, соответственно.

Теги:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

или

<META NAME="WEBALTA" CONTENT="NOFOLLOW">

Разрешают индексировать страницу, но запрещают переходить по внешним ссылкам всем роботам, или только Webalta Crawler, соответственно.

Теги:

<META NAME="ROBOTS" CONTENT="NOINDEX">

или

<META NAME="WEBALTA" CONTENT="NOINDEX">

запрещают индексировать страницу, но позволяют переходить по внешним ссылкам всем роботам, или только Webalta Crawler, соответственно.

Также, возможно одновременное размещения нескольких Мета-Тегов, ограничивающих индексирование, как для всех роботов, так и для непосредственно указанных. В этом случае, непосредственно указанный робот Webalta Crawler принимает ограничения, как сумму из указанных ему и указанных для всех роботов.

Ссылки по теме

Индексирование
Статья на Вебпланете о прожорливости бота