Не предусмотренные стандартом средства ограничения доступа
Стандарт на robots.txt и мета-тег “robots” разрабатывался довольно давно, когда деревья были большими, а сайты – маленькими. И сейчас встречаются ситуации, когда с помощью них нельзя сделать того, что нужно. На этой странице описаны несколько «нестандартных» способов запрета части содержимого от индексации.
Тег <noindex>
Этот тег понимают только Яндекс и Рамблер. Он позволяет закрыть часть страницы от редактирования. Выглядит это следующим образом:
Подобный исследовательский подход к проблемам художественной типологии можно обнаружить у К.Фосслера.
<noindex>Социально-психологический фактор варьирует резкий прибор, делая этот типологический таксон районирования носителем важнейших инженерно-геологических характеристик природных условий.</noindex>
Добавлю, что механизм эвокации вызывает комплекс априорной бисексуальности, таким образом, сходные законы контрастирующего развития характерны и для процессов в психике.
В этом случае первый и третий абзац будут проиндексированы, а второй – нет. На практике, <noindex> применяется, например, чтобы закрыть от индексации счетчики. На самом деле большой практической пользы от этого тега не замечено. Рекомендуется также прочитать 
обсуждение noindex на SeoChase.
Кроме того нужно помнить, что тег <noindex> не описан в существующих стандартах и при его использовании код сайта перестанет проходить валидацию.
Запрет следования по ссылке
Этот аттрибут первым начал использовать Google. Довольно быстро его поддержали MSN и Yahoo. Задача атрибута rel="nofollow" — показать, что владелец сайта не одобрил данную ссылку. Пржде всего он рассчитан на сервисы, позволяющие пользователям самостоятельно размещать ссылки. Например – каомментарии в блогах или форумах.
Вот, к примеру, как выглядит оригинальная ссылка:
<a href="http://www.example.com/">Моя домашняя страничка</a>
Вот как эта же ссылка будет выглядеть после добавления rel="nofolow":
<a href="http://www.example.com/" rel="nofollow">Моя домашняя страничка</a>
Позиция атрибута не играет никакой роли, например, такой вариант тоже сработает:
<a rel="nofollow" href="http://www.example.com/page.html" >Моя домашняя страничка</a>
Найдя такой атрибут в ссылке поисковая машина воспримет ее как сообщение владельца сайта – «эту ссылку разместил не я, а кто-то другой».
Если вы используете атрибут rel для каких-то других целей помните, что вы можете помещать в него несколько значений через пробел. Вот примеры использования многих значений атрибута rel, которые приводит Google:
<a href="http://jane-blog.example.org/" rel="sweetheart date met">Jane</a>
Если вы хотите добавить к имеющимся значениям nofollow – просто впишите его через пробел. Например так:
<a href="http://jane-blog.example.org/" rel="sweetheart date met nofollow">Jane</a>
Google позволяет писать этот атрибут как в верхнем, так и в нижнем регистре. Кроме того, добавление нового значение аттрибута не противоречит рекомендациям W3C.
C точки зрения поисковой системы, добавление rel="nofollow" к ссылке означает следующее:
* Поисковая система не проследует по ссылке на сайт, на который она указывает.
* Поисковая система не будет использовать данную ссылку при расчете ссылочного «веса» сайта, на который она указывает.
* Поисковая система не будет использовать слова, приведенные в ссылке для определения релевантности сайта поисковым запросам.
Ограничения с помощью mod_rewrite, Javascript и .htaccess
Иногда, вместо того чтобы «запрещать» индексацию проще сделать так, чтобы робот просто не смог до нее добраться. Зачастую эта задача легко решается программным способом.
На правах рекламы
Партнерские программы: ЦОП Яндекс-Директ и свои PPC Партнерская сеть MixMarket.BIZ приглашает партнеров. Мы работаем над вашими сайтами вместе с вами!
