Роботы Nigma

Несмотря на то, что Nigma — это метапоисковая система, на некоторых сервисах типа музыки у Нигмы есть свои роботы.

Информация для вебмастера

Как проверить, что запрос пришел от робота Нигмы?

Для этого проделайте следующие шаги:

  1. Найдите информацию о запросе в логах Вашего веб-сервера
  2. Проверьте, что в заголовке  «User-agent» указано Mozilla/5.0 (compatible; Nigma.ru/3.0; crawler@nigma.ru)
  3. Сделайте обратный DNS запрос по IP-адресу, с которого пришел запрос.
  4. Проверьте, что имя хоста заканчивается на .nigma.ru

Служба поддержки: crawler@nigma.ru

Поделиться с друзьями
Robots.Txt по-русски
Добавить комментарий