Вот такой необычный и креативный файл robots.txt на сайте . Комментарии излишни, смотрите сами 
Полный файл по ссылке выше. На всякий пожарный он доступен тут — /txt/explicitly.me.robots.txt
файл robots.txt
Дорогой Гугл!
Robots.txt — создать, заполнить, запретить
Совсем забыл про видеоролик от Яндекса. На данный момент это самый доходчивый рассказ про этот файл. А более подробно можно прочитать в руководстве.
Роботс тээкстэ — предохраняйтесь! ©
Как загрузить robots.txt на сервер. Выбор FTP-клиента.
После того как мы составили файл robots.txt, нам нужно его загрузить на сервер в корневую директорию сайта. Для этого используются различные FTP-клиенты — программы для передачи файлов с компьютера на удаленный сервер и обратно.
FTP (англ. File Transfer Protocol — протокол передачи файлов) — стандартный протокол, предназначенный для передачи файлов по TCP-сетям (например, Интернет). FTP часто используется для загрузки сетевых страниц и других документов с частного устройства разработки на открытые сервера хостинга.
FTP-клиентов великое множество — FAR Manager, WinSCP, CuteFTP, SmartFTP, Directory Opus, Cyberduck, FireFTP (дополнение к Firefox), Transmit (под Mac), cURL (только командная строка), Total Commander (платный), FlashFXP (платный), net2ftp (только web-интерфейс).
Есть из чего выбирать как видите. В Википедии есть подробное сравнение различных FTP-клиентов, а также клиентов, использующих другие протоколы для передачи файлов — .
В этой статье я предлагаю вам ознакомиться с FTP-клиентом FileZilla. Он бесплатен, универсален и подойдет для основных задач нетребовательных пользователей.
Редактор. Простой текстовый редактор.
Файл robots.txt – это текстовый файл. Поэтому для того, чтобы его создать или отредактировать, подойдет любой текстовый редактор. Даже обычный Блокнот, который есть в каждой операционной системе Windows. По-английски он называется Notepad. Находится в папке C:\Windows\System32 и имеет следующую иконку и имя файла: 
notepad.exe
Блокнот (англ. Notepad) — простой текстовый редактор, являющийся частью операционных систем Microsoft Windows, начиная с вышедшей в 1985 году Windows 1.0, и Windows NT. Также «Блокнот» присутствует в операционной системе Windows 8.
Если вы начинающий вебмастер, я рекомендую подобрать более продвинутый редактор. Те, кто давно работает в IT-сфере, уже нашли что-то себе по душе: всякие адские программисты, матерые сеошники или крутые админы 80-го левела используют какой-нибудь EditPlus или jEdit, ну, или как и я — Notepad++, которому и посвящается этот пост
Среди текстовых редакторов есть что выбирать, можете сами просмотреть список
