Пример robots.txt для HostCMS
User-agent: *
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: download_file.phpHost: site.ru
Sitemap: http://site.ru/sitemap.xml
User-agent: *
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: download_file.phpHost: site.ru
Sitemap: http://site.ru/sitemap.xml