Как загрузить robots.txt на сервер. Выбор FTP-клиента.
После того как мы составили файл robots.txt, нам нужно его загрузить на сервер в корневую директорию сайта. Для этого используются различные FTP-клиенты — программы для передачи файлов с компьютера на удаленный сервер и обратно.
FTP (англ. File Transfer Protocol — протокол передачи файлов) — стандартный протокол, предназначенный для передачи файлов по TCP-сетям (например, Интернет). FTP часто используется для загрузки сетевых страниц и других документов с частного устройства разработки на открытые сервера хостинга.
FTP-клиентов великое множество — FAR Manager, WinSCP, CuteFTP, SmartFTP, Directory Opus, Cyberduck, FireFTP (дополнение к Firefox), Transmit (под Mac), cURL (только командная строка), Total Commander (платный), FlashFXP (платный), net2ftp (только web-интерфейс).
Есть из чего выбирать как видите. В Википедии есть подробное сравнение различных FTP-клиентов, а также клиентов, использующих другие протоколы для передачи файлов — .
В этой статье я предлагаю вам ознакомиться с FTP-клиентом FileZilla. Он бесплатен, универсален и подойдет для основных задач нетребовательных пользователей.

Небольшое отступление. Сам клиент не может редактировать текстовые и графические файлы, файлы css-стилей, php-файлы и так далее. FileZilla использует для этого программы, для которых установлены соответствующие ассоциации. Поэтому, перед тем как начать полноценно пользоваться этим FTP-клиентом, рекомендую задать редактор по умолчанию для различных типов файлов. Заходим в меню:
Редактирование — Настройки… — Правка файлов — Ассоциации файлов

Поскольку мы уже установили Notepad++, копируем в поле Произвольные ассоциации файлов следующие строки:
php «C:\Program Files\Notepad++\notepad++.exe»
css «C:\Program Files\Notepad++\notepad++.exe»
htm «C:\Program Files\Notepad++\notepad++.exe»
html «C:\Program Files\Notepad++\notepad++.exe»
HTML «C:\Program Files\Notepad++\notepad++.exe»
js «C:\Program Files\Notepad++\notepad++.exe»
Если у вас Windows 64, то
php «C:\Program Files (x86)\Notepad++\notepad++.exe»
css «C:\Program Files (x86)\Notepad++\notepad++.exe»
htm «C:\Program Files (x86)\Notepad++\notepad++.exe»
html «C:\Program Files (x86)\Notepad++\notepad++.exe»
HTML «C:\Program Files (x86)\Notepad++\notepad++.exe»
js «C:\Program Files (x86)\Notepad++\notepad++.exe»
После этого, при попытке редактирования файла будет открываться Notepad++. Конечно, для редактирования самого robots.txt этого не нужно, так как Notepad++ должен уже быть установлен как текстовый редактор по умолчанию.
Если хотите, можно добавить аналогичную строку для расширения *.txt в это же поле. А также ассоциации для любых других типов файлов. Если вы используете другой текстовый редактор, то вместо Notepad++ указываете соответствующий путь до нужной программы.
Далее мы подключаемся к серверу, где размещен ваш сайт (вводим логин, пароль и хост в поля в верхней части окна программы). Эту часть объяснять я не буду. Будем считать, что вы подключились. У нас должно получиться что-то похожее на содержимое первого скриншота.
Обычно сайты размещаются в папках вида htdocs/site (или аналогичной — docs/site), где htdocs — это папка сервера, а site, соответственно, — это папка сайта. Сам же файл robots.txt необходимо положить в корень вашего сайта (не сервера).
Итак, в левой части интерфейса программы — локальные файлы на компьютере. В правой — файлы на сервере. Чтобы закачать файл robots.txt на сервер можно просто перетащить его курсором мыши из левой части в правую, либо кликнуть правой кнопкой мыши по файлу и выбрать из контекстного меню нужный пункт (Закачать на сервер).

Для редактирования файла на сервере — нажать правой кнопкой мыши и выбрать пункт Просмотр/Правка. Можно сначала Скачать файл на компьютер, отредактировать, сохранить изменения, а потом обратно Закачать на сервер.

Собственно, все. Интерфейс FileZilla довольно простой и разобраться в нем не составит труда. Загружайте, редактируйте, запрещайте! 
