Настройка файла robots.txt для лендинга

Многие задаются вопросом: «Нужен ли robots.txt для одностраничного сайта?». Да, нужен, если вам необходимо ограничить сканирование роботом определенных разделов, например, /wp-admin/ и т.д., или наоборот принудительно открыть для индексации стили, изображения, директивой Allow.

Особо robots.txt не повлияет на позиции лендинга, но он еще требует проверки, потому что некоторые веб-разработчики могут оставить после себя такую картину:

User-agent: *
Disallow: /

Поделиться с друзьями
Robots.Txt по-русски