Robots.txt — создать, заполнить, запретить

Совсем забыл про видеоролик от Яндекса. На данный момент это самый доходчивый рассказ про этот файл. А более подробно можно прочитать в руководстве.

Роботс тээкстэ — предохраняйтесь! ©