Роботы MSN — www.msn.com & www.live.com

MSN

Рорбты MSN Search и инексация сайтов

До недавнего времени все роботы MSN назывались msnbot, что вносило некоторую путаницу. Поэтому к их имена были дополнены, чтобы веб-мастерам было проще их различать. Вот некоторые из них:

Робот The MSN Shopping называется msnbot-products.
Робот The MSN News называется msnbot-news.
Робот The MSN Image Search называется msnbot-MM.
Робот http://search.msn.com/ MSN Search? называется просто msnbot.

Советы, как отличить настоящих MSNBot-ов от ботов, просто прикидывающихся MSN-овским на Live Search's WebLog.

Live Search

Как управлять индексацией страниц веб-узла управление индексацией страниц веб-узла

Программы-обходчики Live.com? ищут файл robots.txt в соответствии со стандартом исключения роботов.

Во время выполнения обхода содержимого веб-узла программы-обходчики проверяют наличие файла robots.txt в корневом каталоге веб-сервера. Если файл существует, программы-обходчики проверяют, являются ли они допустимыми пользовательскими агентами и установлены ли ограничения на поиск или индексацию.