Правильно составляем robots.txt для сайтов на WordPress

Настройка WordPress

Индексация — важнейший элемент в SEO. Благодаря обходам поисковых роботов нету проблем с индексацией (попаданием в индекс) записей. Управлять их действиями можно через файл robots.txt, который мы научимся сегодня составлять для WordPress.

Смысл robots.txt для сайта на WordPress

Нередко от вебмастеров я слышу, что роботс для сайтов на CMS бесполезен. Но я рассматриваю его как один из основных инструментов оптимизации.

На любом ресурсе найдутся дубли, страницы пагинации, копии для печати — это то, что не должен видеть обходящий робот. Закрывать от индексации такие страницы помогает этот файл.

Где лежит robots.txt

Вопроса где он находится не возникнет. Он всегда располагается в корне (корневой папке) сайта. Получить к ней доступ можно через ftp или панель управления сервером.

Не могу найти — причины

Если вы не можете найти этот конфиг и он не отображается по адресу https://site.ru/robots.txt, то вам предстоит его создать. Зайдите в FTP или ПУ сервера и создайте его.

Также возможно, что он виртуален и редактируется через CMS ресурса.

Изменяем robots.txt

После того, как создан файл, отредактируем его.

Используемые в файле команды

Осталось 4 актуальные команды, которым следуют боты:

  1. User-agent – уточняет какому роботу отдано распоряжение
  2. Disallow – сигнал, запрещающий обход
  3. Allow – разрешение к индексации
  4. Sitemap – указывает путь к xml карте сайта
  5. Crawl-delay – ограничивает кол-во страниц для робота при одном обходе (с целью снижения нагрузки на сервер)
  6. Host — указывает основной адрес ресурса (обычно указывают с https)
  7. Символ «#» — позволяет делать комментарии
  8. Знак «*» — означает любые символы до какого-либо элемента

Директивы crawl-delay и host для яндекса больше роли не играют, но google продолжает учитывать их.

Идеальный пример конфигурации

User-agent: *
Disallow: /wp-*
Disallow: /tag/
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /template.html
Disallow: /readme.html
Disallow: /*?replytocom
Allow: */uploads
Allow: /*.js
Allow: /*.css
Allow: /*.png
Allow: /*.gif
Allow: /*.jpg
Sitemap: https://yoursite.ru/sitemap.xml

Далее мы будем использовать этот же код повсеместно.

Как создать через ftp или ПУ сервера

В случае с фтп скачиваем, а если у вас что-то по типу ispmanager`а, то просто открываем. Далее вставляем наш конфиг.

Через расширения

Удобнее всего проводить манипуляции при помощи расширений (не прибегая к непосредственной работе с сервером).

Используя Yoast SEO

Для начала заходим в раздел плагина в левом меню админки WordPress. После в «Редактор файлов».

Список средств оптимизации в расширении
Как изменить через админку

Если не создан — создаем robots.txt, дальше — вставляем код (на изображении не поместилась последняя строчка с сайтмапом).

Инструменты в йоаст сео

Модулем в плагине All in One SEO Pack for WP

Как установить модуль онлайн?

По умолчанию в дополнении отсутствует настройка robots.txt. Для этого из пункта «Модули» необходимо установить соответствующий модуль.

Модульное оснащение
Изменения в условиях WordPress

Теперь необходимо добавлять правила вручную по одной штуке. Получается добавить только через текстовые поля в систему.

Правила для создания robots txt для wordpress через плагин All in One Pack

В первое поле «Пользовательский агент» необходимо поставить «*» для выбора всех роботов. Во втором Allow/Disallow. В самом последнем – каталог, который мы используем.

Установить

Через Clearfy PRO

Известный плагин для общей оптимизации сайта. Позволяет автоматически сформировать лучший robots.txt для вордпресс-сайта. Параметр находится в подразделе «СЕО».

Автоматическое формирование с помощью Clearfy

Тонкости настройки для WooCommerce

Популярный плагин электронной коммерции (eCommerce) для создания интернет-магазинов на WordPress. Если он установлен (стандартная версия) — потребуются дополнительные строчки в .htaccess.

Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/

Как добавить мы уже разобрали (кроме добавления через функции php).

Скачать

Итог

Не путайте Meta name robots и robots.txt. Мы рассмотрели все способы настройки правильного конфига. Теперь вы сможете сделать свой блог на WordPress лучшим, оптимизировав его.

Иван

WordPress-разработчик, активный участник сообщества, пишу о вордпресс просто и понятно.

Оцените автора
WPTutorials
Добавить комментарий