Роботы Апорта —

Как сделать, чтобы Апорт качественно проиндексировал сайт
Вопросы по индексации

Апорт и robots.txt

При просмотре содержимого сервера для индексирования Апорт проверяет файл ROBOTS.TXT. Так что вы можете использовать его, чтобы ограничить «деятельность» Апорта на своем сервере. При желании установить селективные ограничения только для Апорта следует использовать в качестве имени робота слово Aport. Также поддерживаются мета таги Robots, позволяющие, в частности, установить правила поведения робота на вашем сайте, даже в случае, если вы не имеете возможности изменять файл robots.txt на сервере.