Правильно составляем robots.txt для сайтов на WordPress

Индексация – важнейший элемент в SEO. Благодаря обходам поисковых роботов нету проблем с индексацией (попаданием в индекс) записей. Управлять их действиями можно через файл robots.txt, который мы научимся сегодня составлять для WordPress.

Смысл robots.txt для сайта на WordPress

Нередко от вебмастеров я слышу, что роботс для сайтов на CMS бесполезен. Но я рассматриваю его как один из основных инструментов оптимизации.

На любом ресурсе найдутся дубли, страницы пагинации, копии для печати – это то, что не должен видеть обходящий робот. Закрывать от индексации такие страницы помогает этот файл.

Где лежит robots.txt

Вопроса где он находится не возникнет. Он всегда располагается в корне (корневой папке) сайта. Получить к ней доступ можно через ftp или панель управления сервером.

Не могу найти – причины

Если вы не можете найти этот конфиг и он не отображается по адресу https://site.ru/robots.txt, то вам предстоит его создать. Зайдите в FTP или ПУ сервера и создайте его.

Также возможно, что он виртуален и редактируется через CMS ресурса.

Изменяем robots.txt

После того, как создан файл, отредактируем его.

Используемые в файле команды

Осталось 4 актуальные команды, которым следуют боты:

1. User-agent – уточняет какому роботу отдано распоряжение
2. Disallow – сигнал, запрещающий обход
3. Allow – разрешение к индексации
4. Sitemap – указывает путь к xml карте сайта
5. Crawl-delay – ограничивает кол-во страниц для робота при одном обходе (с целью снижения нагрузки на сервер)
6. Host – указывает основной адрес ресурса (обычно указывают с https)
7. Символ “#” – позволяет делать комментарии
8. Знак “*” – означает любые символы до какого-либо элемента

Директивы crawl-delay и host для яндекса больше роли не играют, но google продолжает учитывать их.

Идеальный пример конфигурации

User-agent: *
Disallow: /wp-*
Disallow: /tag/
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /template.html
Disallow: /readme.html
Disallow: /*?replytocom
Allow: */uploads
Allow: /*.js
Allow: /*.css
Allow: /*.png
Allow: /*.gif
Allow: /*.jpg
Sitemap: https://yoursite.ru/sitemap.xml

Далее мы будем использовать этот же код повсеместно.

Как создать через ftp или ПУ сервера

В случае с фтп скачиваем, а если у вас что-то по типу ispmanager`а, то просто открываем. Далее вставляем наш конфиг.

Через расширения

Удобнее всего проводить манипуляции при помощи расширений (не прибегая к непосредственной работе с сервером).

Используя Yoast SEO

Для начала заходим в раздел плагина в левом меню админки WordPress. После в “Редактор файлов”.

Если не создан – создаем robots.txt, дальше – вставляем код (на изображении не поместилась последняя строчка с сайтмапом).

Модулем в плагине All in One SEO Pack for WP

Как установить модуль онлайн?

По умолчанию в дополнении отсутствует настройка robots.txt. Для этого из пункта “Модули” необходимо установить соответствующий модуль.

Изменения в условиях WordPress

Теперь необходимо добавлять правила вручную по одной штуке. Получается добавить только через текстовые поля в систему.

В первое поле “Пользовательский агент” необходимо поставить “*” для выбора всех роботов. Во втором Allow/Disallow. В самом последнем – каталог, который мы используем.

Установить

Через Clearfy PRO

Известный плагин для общей оптимизации сайта. Позволяет автоматически сформировать лучший robots.txt для вордпресс-сайта. Параметр находится в подразделе “СЕО”.

Тонкости настройки для WooCommerce

Популярный плагин электронной коммерции (eCommerce) для создания интернет-магазинов на WordPress. Если он установлен (стандартная версия) – потребуются дополнительные строчки в .htaccess.

Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/

Как добавить мы уже разобрали (кроме добавления через функции php).

Скачать

Итог

Не путайте Meta name robots и robots.txt. Мы рассмотрели все способы настройки правильного конфига. Теперь вы сможете сделать свой блог на WordPress лучшим, оптимизировав его.