Стандарт на robots.txt и мета-тег “robots” разрабатывался довольно давно, когда деревья были большими, а сайты – маленькими. И сейчас встречаются ситуации, когда с помощью них нельзя сделать того, что нужно. На этой странице описаны несколько «нестандартных» способов запрета части содержимого от индексации.

Тег <noindex>

Этот тег понимают только Яндекс ^[4] и Рамблер ^[5]. Он позволяет закрыть часть страницы от редактирования. Выглядит это следующим образом:

Подобный исследовательский подход к проблемам художественной типологии можно обнаружить у К.Фосслера.

<noindex>Социально-психологический фактор варьирует резкий прибор, делая этот типологический таксон районирования носителем важнейших инженерно-геологических характеристик природных условий.<noindex>

Добавлю, что механизм эвокации вызывает комплекс априорной бисексуальности, таким образом, сходные законы контрастирующего развития характерны и для процессов в психике.

В этом случае первый и третий абзац будут проиндексированы, а второй – нет. На практике, <noindex> применяется, например, чтобы закрыть от индексации счетчики. На самом деле большой практической пользы от этого тега не замечено. Рекомендуется также прочитать обсуждение noindex на SeoChase ^[6].

Кроме того нужно помнить, что тег <noindex> не описан в существующих стандартах и при его использовании код сайта перестанет проходить валидацию ^[7].

При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

<!––noindex––>текст, индексирование которого нужно запретить<!––/noindex––>

Запрет следования по ссылке

Этот аттрибут первым начал использовать Google ^[8]. Довольно быстро его поддержали MSN ^[9] и Yahoo ^[10]. Задача атрибута rel=“nofollow” — показать, что владелец сайта не одобрил данную ссылку. Прежде всего он рассчитан на сервисы, позволяющие пользователям самостоятельно размещать ссылки. Например – каомментарии в блогах или форумах.

Вот, к примеру, как выглядит оригинальная ссылка:

<a href=“ домашняя страничка</a>

Вот как эта же ссылка будет выглядеть после добавления rel=»nofolow”:

<a href=“ rel=“nofollow”>Моя домашняя страничка</a>

Позиция атрибута не играет никакой роли, например, такой вариант тоже сработает:

<a rel=“nofollow” href=“ домашняя страничка</a>

Найдя такой атрибут в ссылке поисковая машина воспримет ее как сообщение владельца сайта – «эту ссылку разместил не я, а кто-то другой».

Если вы используете атрибут rel ^[11] для каких-то других целей помните, что вы можете помещать в него несколько значений через пробел. Вот примеры использования многих значений атрибута rel, которые приводит Google ^[12]:

<a href=“ rel=“sweetheart date met”>Jane</a>

Если вы хотите добавить к имеющимся значениям nofollow – просто впишите его через пробел. Например так:

<a href=“ rel=“sweetheart date met nofollow”>Jane</a>

Google позволяет писать этот атрибут как в верхнем, так и в нижнем регистре. Кроме того, добавление нового значение аттрибута не противоречит рекомендациям W3C.

C точки зрения поисковой системы, добавление rel=“nofollow” к ссылке означает следующее:

• Поисковая система не проследует по ссылке на сайт, на который она указывает.
• Поисковая система не будет использовать данную ссылку при расчете ссылочного «веса» сайта, на который она указывает.
• Поисковая система не будет использовать слова, приведенные в ссылке для определения релевантности сайта поисковым запросам.

Подробности на английском ^[13].

Ограничения с помощью mod_rewrite, Javascript и .htaccess

Иногда, вместо того чтобы «запрещать» индексацию проще сделать так, чтобы робот просто не смог до нее добраться. Зачастую эта задача легко решается программным способом.