Немного о файле robots.txt

Рубрика: SEO
Опубликовано: 6.07.12

Для того, чтобы поисковик «понимал» куда ему следует перемещаться во время индексации нового веб-сайта, для него создается так называемый «путеводитель» для поисковых роботов.
Таким путеводителем называется файл robots.txt.

robots.txt

Во время индексации именно этот файл ищут поисковые роботы, так как из него они смогут получить основные инструкции.
Поэтому для того, чтобы правильно научиться использовать данный инструмент, каждый веб-мастер должен знать основные команды, которые можно применять в данном файле.
Файл robots.txt должен размещаться в «корне» сайта, так как именно там его будут искать поисковые системы. Кстати, чтобы у поисковых роботов всегда был бесперебойный доступ к вашему сайту, используйте только качественный хостинг сайтов, способный выдержать необходимую нагрузку.
Используя файл robots.txt, можно избежать так называемое «зазеркаливание», другими словами можно отключить те директории и страницы, которые вы хотите скрыть от поисковых роботов.
Исходя из расширения файла, вы, наверное, уже поняли, что это текстовый документ и может быть создан с помощью любого текстового редактора.
Основными параметрами файла robots.txt являются User-agent: и Disallow:. Первый параметр используется для того, чтобы указывать, для каких поисковиков задаются те или иные действия, второй же параметр применяется для скрытия директории или файла от индексации. К примеру, если написать такую строку: User-Agent:*, это будет означать, что указанные далее действия будут применяться для всех поисковых роботов.
Если рассматривать параметр Disallow, то для скрытия от индексации, в нем необходимо указывать: для директорий: Disallow:/название директории/, а для страниц: Disallow:/название страницы.тип.
Во избежание лишних «зеркальных» неприятностей с поисковой системой Яндекс, в файле robots.txt лучше прописать следующий отдельный параметр host:. Данный параметр используется тогда, когда вам хочется чтобы все ваши страницы сайта были с адресом, который начинается с www или без него. Для регулирования данного процесса нужно в robots.txt следующую строку:
User-Agent: Yandex
Host: название сайта.ru или www.название сайта.ru
Стоит помнить, что данный параметр работает только для поисковой системы Яндекс.

Комментарии