&
MSN
Рорбты MSN Search и инексация сайтов
До недавнего времени все роботы MSN назывались msnbot, что вносило некоторую путаницу. Поэтому к их имена были дополнены, чтобы веб-мастерам было проще их различать. Вот некоторые из них:
Робот The MSN Shopping называется msnbot-products.
Робот The MSN News называется msnbot-news.
Робот The MSN Image Search называется msnbot-MM.
Робот MSN Search? называется просто msnbot.
Советы, как отличить настоящих MSNBot-ов от ботов, просто прикидывающихся MSN-овским на Live Search's WebLog.
Live Search
Как управлять индексацией страниц веб-узла управление индексацией страниц веб-узла
Программы-обходчики ? ищут файл robots.txt в соответствии со стандартом исключения роботов.
Во время выполнения обхода содержимого веб-узла программы-обходчики проверяют наличие файла robots.txt в корневом каталоге веб-сервера. Если файл существует, программы-обходчики проверяют, являются ли они допустимыми пользовательскими агентами и установлены ли ограничения на поиск или индексацию.
