После того как мы составили ^[1] файл robots.txt, нам нужно его загрузить на сервер в корневую директорию сайта. Для этого используются различные FTP-клиенты — программы для передачи файлов с компьютера на удаленный сервер и обратно.

FTP ^[2] (англ. File Transfer Protocol — протокол передачи файлов) — стандартный протокол, предназначенный для передачи файлов по TCP-сетям (например, Интернет). FTP часто используется для загрузки сетевых страниц и других документов с частного устройства разработки на открытые сервера хостинга.

FTP-клиентов великое множество — FAR Manager ^[3], WinSCP ^[4], CuteFTP ^[5], SmartFTP ^[6], Directory Opus ^[7], Cyberduck ^[8], FireFTP ^[9] (дополнение к Firefox), Transmit ^[10] (под Mac), cURL ^[11] (только командная строка), Total Commander ^[12] (платный), FlashFXP ^[13] (платный), net2ftp ^[14] (только web-интерфейс).

Есть из чего выбирать как видите. В Википедии есть подробное сравнение различных FTP-клиентов, а также клиентов, использующих другие протоколы для передачи файлов —  ^[15].

В этой статье я предлагаю вам ознакомиться с FTP-клиентом FileZilla ^[16]. Он бесплатен, универсален и подойдет для основных задач нетребовательных пользователей.

Небольшое отступление. Сам клиент не может редактировать текстовые и графические файлы, файлы css-стилей, php-файлы и так далее. FileZilla использует для этого программы, для которых установлены соответствующие ассоциации.  Поэтому, перед тем как начать полноценно пользоваться этим FTP-клиентом, рекомендую задать редактор по умолчанию для различных типов файлов. Заходим в меню:

Редактирование — Настройки… — Правка файлов — Ассоциации файлов

Поскольку мы уже установили Notepad++ ^[1], копируем в поле Произвольные ассоциации файлов следующие строки:

php «C:\Program Files\Notepad++\notepad++.exe»
css «C:\Program Files\Notepad++\notepad++.exe»
htm «C:\Program Files\Notepad++\notepad++.exe»
html «C:\Program Files\Notepad++\notepad++.exe»
HTML «C:\Program Files\Notepad++\notepad++.exe»
js «C:\Program Files\Notepad++\notepad++.exe»

Если у вас Windows 64, то

php «C:\Program Files (x86)\Notepad++\notepad++.exe»
css «C:\Program Files (x86)\Notepad++\notepad++.exe»
htm «C:\Program Files (x86)\Notepad++\notepad++.exe»
html «C:\Program Files (x86)\Notepad++\notepad++.exe»
HTML «C:\Program Files (x86)\Notepad++\notepad++.exe»
js «C:\Program Files (x86)\Notepad++\notepad++.exe»

После этого, при попытке редактирования файла будет открываться Notepad++. Конечно, для редактирования самого robots.txt этого не нужно, так как Notepad++ должен уже быть установлен как текстовый редактор по умолчанию.

Если хотите, можно добавить аналогичную строку для расширения *.txt в это же поле. А также ассоциации для любых других типов файлов. Если вы используете другой текстовый редактор, то вместо Notepad++ указываете соответствующий путь до нужной программы.

Далее мы подключаемся к серверу, где размещен ваш сайт (вводим логин, пароль и хост в поля в верхней части окна программы). Эту часть объяснять я не буду. Будем считать, что вы подключились. У нас должно получиться что-то похожее на содержимое первого скриншота.

Обычно сайты размещаются в папках вида htdocs/site (или аналогичной — docs/site), где htdocs — это папка сервера, а site, соответственно, — это папка сайта.  Сам же файл robots.txt необходимо положить в корень вашего сайта (не сервера).

Итак, в левой части интерфейса программы — локальные файлы на компьютере. В правой — файлы на сервере. Чтобы закачать файл robots.txt на сервер можно просто перетащить его курсором мыши из левой части в правую, либо кликнуть правой кнопкой мыши по файлу и выбрать из контекстного меню нужный пункт (Закачать на сервер).

Для редактирования файла на сервере — нажать правой кнопкой мыши и выбрать пункт Просмотр/Правка. Можно сначала Скачать файл на компьютер, отредактировать, сохранить изменения, а потом обратно Закачать на сервер.

Собственно, все. Интерфейс FileZilla довольно простой и разобраться в нем не составит труда. Загружайте, редактируйте, запрещайте!