AdsBot-Google

     AdsBot-Google – это поисковый робот Google, целью работы которого является сканирование и оценка качества страниц с подключенной рекламой Google AdWords. Основная задача данного робота – определение качества и релевантности целевой страницы контекстному объявлению. От результатов его оценки зависит рейтинг объявлений, цена за клик, а также позиция на аукционе. Кроме того, AdsBot-Google в определенных случаях может помогать поисковой системе получить представление о сайте, если он закрыт от индексации в системном файле robots.txt.

Способы контроля доступа бота к ресурсу

     Существует несколько вариантов, с помощью которых можно запретить данному боту доступ ко всему сайту или к определенной его странице.

Способ 1 – с помощью файла robots.txt, находящегося в корневом каталоге. При сканировании сайта все поисковые роботы просматривают данный файл, который является рекомендацией для поисковых систем, какие страницы должны посетить боты, а какие – нет. Для закрытия ресурса от сканирования необходимо прописать в файле такие строки:

User-agent: AdsBot-Google

Disallow: /

Способ 2 – используется специальный метатег, который добавляется в <head> документа. Данный способ позволяет заблокировать для робота не весь ресурс, а определенные страницы, на которых размещено правило.

Для закрытия необходимо добавить в блок <head> такое правило:

<meta name="AdsBot-Google" content="noindex">