Мета-тег Robots — Robots.Txt по-русски

Мета-тег Robots

Posted By GlebMarkov On 06.06.2010 @ 7:35 пп In | No Comments

Куда писать META-тег “Robots” ^[1]
Что писать в META-теге “Robots” ^[2]
Дополнительно ^[3]

МЕТА-тег “Robots” позволяет указывать Роботам, можно ли индексировать данную страницу и можно ли использовать ссылки, приведенные на странице. Этот тег указывается на каждой конкретной странице, доступ к которой требуется ограничить.

В этом простом примере:

META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"

робот не должен ни индексировать документ, ни анализировать стоящие на нем ссылки.

МЕТА-тег “Robots” – это простой инструмент для указания роботам, может ли страница быть проиндексирована и можно ли следовать по ссылкам со страницы.

Он отличается от Стандарта исключения для роботов тем, что вам не нужно тратить много усилий или получать доступ у Администратора cервера.

Куда писать META-тег “Robots”

Как и любой META-тег он должен быть помещен в область HEAD HTML страницы:

<html>
<head>
<meta name=“robots” content=“noindex,nofollow”>
<meta name=“description” content=“Эта страница ….”>
<title>…</title>
</head>
<body>
…

Что писать в META-теге “Robots”

META-тег “Robots” содержит указания, разделенные запятыми. В настоящее время определены существующие указания [NO]INDEX и [NO]FOLLOW. Директивы INDEX указывают, может ли робот индексировать страницу. Директива FOLLOW указывает роботу, может ли он следовать по ссылкам со страницы. Значения по умолчанию – INDEX и FOLLOW. Значения ALL и NONE обозначают активность всех директив и, соответственно, наоборот: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.

Несколько примеров:

<meta name=“robots” content=“index,follow”>
<meta name=“robots” content=“noindex,follow”>
<meta name=“robots” content=“index,nofollow”>
<meta name=“robots” content=“noindex,nofollow”>

Следует учесть, что параметр content тега “robots” нечувствителен к регистру.

Вы не должны включать конфликтующие и повторяющиеся директивы, как например:

<meta name=“robots” content=“INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW”>

Правильный синтаксис атрибутов META-тега “Robots”:

это программы, помогающие пользователям – например в выборе продукта, заполнении форм или даже в поиске. Такие программы имеют очень небольшое отношение к сетевому взаимодействию.

Дополнительно

Несколько ссылок по теме – постепенно надо будет добавить информацию из них на эту страницу.

Мета-тег Robots в стандарте HTML 4 на W3C ^[4]
Как разные поисковики обрабатывают noindex ^[5]
Запрет использования в выдаче описания из ODP ^[6]

Article printed from Robots.Txt по-русски:

URL to article: /robotsexclusion/meta

URLs in this post:

[1] Куда писать META-тег “Robots”: #META-_Robots

[2] Что писать в META-теге “Robots”: #META-_Robots_1

[3] Дополнительно: #

[4] Мета-тег Robots в стандарте HTML 4 на W3C:

[5] Как разные поисковики обрабатывают noindex:

[6] Запрет использования в выдаче описания из ODP:

Click here to print.