MSN
Рорбты MSN Search и инексация сайтов
До недавнего времени все роботы MSN назывались msnbot, что вносило некоторую путаницу. Поэтому к их имена были дополнены, чтобы веб-мастерам было проще их различать. Вот некоторые из них:
Робот
The MSN Shopping называется msnbot-products.
Робот
The MSN News называется msnbot-news.
Робот
The MSN Image Search называется msnbot-MM.
Робот
http://search.msn.com/ MSN Search называется просто msnbot.
Советы,
как отличить настоящих MSNBot-ов от ботов, просто прикидывающихся MSN-овским на Live Search's WebLog.
Live Search
Как управлять индексацией страниц веб-узла управление индексацией страниц веб-узла
Программы-обходчики
Live.com ищут файл robots.txt в соответствии со стандартом исключения роботов.
Во время выполнения обхода содержимого веб-узла программы-обходчики проверяют наличие файла robots.txt в корневом каталоге веб-сервера. Если файл существует, программы-обходчики проверяют, являются ли они допустимыми пользовательскими агентами и установлены ли ограничения на поиск или индексацию.
