Рано или поздно перед каждым блоггером встает вопрос – «Что писать в robots.txt и нужен ли он вообще?». На днях и я задался этим вопросом. По-поводу нужен или нет тут у меня не возникало ни каких сомнений. Нужен в обязательном порядке, особенно если это касается блогов и в частности движка WordPress. Этому есть три очень веских основания. Но перед тем как я их изложу давайте пройдемся по теории (это для тех кто не совсем в теме).

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому (тоже очень актуальная тема, но об этом мы поговорим в следующий раз).

Для того чтобы создать файл robots.txt: берете обычный текстовый редактор, прописываете там набор специальных кодов (о них мы поговорим чуть позже в этой статье) и заливаете его в корневой каталог вашего сайта. Если вы не собираетесь создавать запреты к индексации, можно просто сделать пустой файл robots.txt.

Теории, думаю, достаточно, вернемся к нашим баранам. Вот те три основания, о которых мы говорили ранее:

1. Запрещая индексировать определенные страницы и разделы сайта мы уходим от проблемы дублирования контента (например: комментарии, архивы, фиды)
2. Исключив часть сайта из индексации мы очень облегчаем работу поисковикам. Теперь им понадобится меньше времени на изучение оставшихся страниц и папок. У меня сложилось впечатление, что поисковики индексируют сайт наскоками, каждый раз охватывая новые разделы. В этом плане robots.txt позволит им сделать свою работу за меньшее количество заходов.
3. Будучи в Рунете желательно выделить специальный раздел в robots.txt для Яндекса. Так как сейчас Яндекс – самая популярная поисковая система, важно уметь правильно использовать директиву host, которую соблюдает этот поисковик.

А теперь перейдем ко второй части вопроса – «Что именно нужно писать в robots.txt?». Тут, к сожалению (а может и к счастью), сколько роботов столько и мнений. Поэтому я просто опишу и прокомментирую свой. Я не претендую на его идеальность, наоборот, буду рад услышать вашу критику.

Вот мой robots.txt для WordPress (можете его проверить, набрав blogpressa.ru/robots.txt).

User-agent: Yandex

Disallow: /cgi-bin

# запрещаем индексацию системных папок

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

# запрещаем индексацию страницы входа и регистрации

Disallow: /wp-login.php

Disallow: /wp-register.php

# запрещаем индексацию трекбеков, rss-ленты, комментариев

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /xmlrpc.php

# запрещаем индексацию результатов поиска и другого «мусора»

Disallow: /*?*

Disallow: /*?

# прописываем директиву Host

Host: blogpressa.ru

User-agent: *

# запрещаем индексацию системных папок

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

# запрещаем индексацию страницы входа и регистрации

Disallow: /wp-login.php

Disallow: /wp-register.php

# запрещаем индексацию трекбеков, rss-ленты, комментариев

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /xmlrpc.php

# запрещаем индексацию результатов поиска и другого «мусора»

Disallow: /*?*

Disallow: /*?

# указываем на карту сайта

Sitemap: http://blogpressa.ru/sitemap.xml

После того как вы составили и загрузили файл не забудьте его проверить, а вдруг вы допустили какую-нибудь ошибку. Для этого вам нужно зарегистрироваться в таких сервисах как: Яндекс.Вебмастер и Google.Вебмастер. Там в разделе инструменты можно проверить текущий robots.txt на наличие ошибок при этом желательно указать  несколько страниц сайта чтобы посмотреть будет он их индексировать или нет.

Думаю на сегодня достаточно. Спасибо за внимание и жду ваших комментариев.

А теперь, отвлекаемся от работы и слушаем радио онлайн. Очень большой выбор радиостанций на любой вкус.

Если публикация вам понравилась, то вы можете подписаться на материалы BlogPressa.ru через RSS.
Читайте так же:
Создание блога. Шаг первый.
Основы поисковой оптимизации
Проблема безопасности WordPress: как сменить логин “admin”

Время «релакса». Вы это заслужили!