Robots.txt для HostCMS

Пример robots.txt для HostCMS

User-agent: *
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: download_file.php

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Поделиться с друзьями
Robots.Txt по-русски
Добавить комментарий