Как создать и настроить robots.txt для WordPress

Что такое robots.txt

Robots.txt — это текстовый файл, который добавляется на сайт и используется для разрешения или запрета индексации страниц веб-ресурса роботами поисковых систем. Robots.txt содержит инструкции, которые говорят поисковым роботам, какие страницы или разделы сайта показывать в результатах поиска, а какие нет.

Для чего нужен robots.txt

Robots.txt нужен для настройки индексации страниц и разделов веб-ресурсов. С его помощью можно улучшить SEO-оптимизацию сайта и улучшить распределение трафика. Важно отметить, что файл robots.txt не является инструментом безопасности и не может полностью скрыть конфиденциальные данные, размещенные на сайте.

Файл robots.txt выполняет следующие задачи: 

1. Говорит поисковым роботам, какие страницы сайта должны быть проиндексированы, а какие нет: так robots.txt регулирует восприятие сайта поисковыми системами. 
2. Скрывает конфиденциальную информацию, расположенную на сайте, из поисковых индексов. Например, данные платежных карт или личная информация могут быть скрыты с помощью правильной настройки robots.txt.
3. Защищает сервер и ресурсы сайта от ботов, которые могут сканировать его в поисках уязвимостей в защите.
4. Увеличивает скорость загрузки сайта. Если некоторые страницы вашего сайта не нуждаются в индексации, заблокируйте их с помощью robots.txt – это уменьшит размер сайта и количество запросов к серверу, что, в свою очередь, ускорит загрузку страниц.
5. Улучшает SEO-оптимизацию сайта. С помощью настройки robots.txt  вы можете указать наиболее важные страницы для индексации и отображения в результатах поиска. 

Где расположен robots.txt на сайте с CMS WordPress

На сайте с CMS WordPress файл robots.txt находится в корневой директории сайта. Если адрес вашего сайта https://example.ru, то файл robots.txt будет находится по адресу https://example.ru/robots.txt. 

При наличии файла robots.txt на сайте вы увидите набор правил индексации:

Чтобы создать или изменить содержание файла robots.txt используйте любой текстовый редактор (например, Emacs, Блокнот, TextEdit) или плагин, разработанный для управления robots.txt (например, WordPress Robots.txt File, All in One SEO Pack или Yoast SEO). Если вы работаете со стандартной конфигурацией WordPress, файл robots.txt будет автоматически создан при установке CMS. Если вы использовали специальную настройку для блокировки поисковых роботов, то файл мог быть изменен или удален.

Как создать файл robots.txt

Создание robots.txt вручную

Если у вас нет готового файла robots.txt и вы хотите его создать вручную, используйте любой текстовый редактор, например, Блокнот. 

1. Откройте текстовый редактор.
2. Напишите название вашего сайта и описание его содержимого.
3. Затем добавьте инструкции для поисковых роботов. Вы можете использовать следующий код, чтобы запретить индексацию раздела новостей за 2022 год роботами Яндекса:

User-agent: Yandex

Disallow: /news/news2022

4. Сохраните файл с именем robots.txt.
5. Загрузите файл robots.txt на сервер. Вы можете загрузить его через FTP-клиент или при помощи консоли управления хостингом.

Создание robots.txt с помощью плагина

Вы можете использовать различные плагины для создания robots.txt, например, плагин Yoast SEO или Better Robots.txt. Так как Yoast SEO является популярным плагином у веб-разработчиков покажем на его примере как создавать файл robots.txt.

С помощью плагина Yoast SEO создавать и управлять файлом robots.txt можно прямо из интерфейса WordPress. Плагин является одним из наиболее востребованным – его установили более 5 миллионов раз. Для создания robots.txt с помощью Yoast SEO  следуйте инструкции:

1. Установите и активируйте плагин Yoast SEO на WordPress.
2. В боковой панели CMS выберите раздел SEO и перейдите на страницу Файлы и выберите вкладку robots.txt.
3. Если у вас еще нет файла robots.txt, кликните на кнопку Создать файл robots.txt.
4. Укажите инструкции для поисковых роботов, которые будут обозначать, какие страницы нужно индексировать, а какие нет. Сделать это можно автоматически с помощью плагина или вручную, добавив готовые инструкции.
5. Нажмите Сохранить, чтобы применить внесенные в файл изменения.

После создания файла robots.txt через плагин Yoast SEO он будет автоматически сохранен на вашем сервере и использоваться для управления поведением поисковых роботов.

Пример robots.txt

Приведем некоторые примеры, которые помогут вам настроить файл robots.txt:

1. Запретить индексацию всего сайта:

User-agent: *

Disallow: /

2. Запретить индексацию конкретных страниц:

User-agent: *

Disallow: /page1.html

Disallow: /page2.html

3. Запретить индексацию конкретного каталога:

User-agent: *

Disallow: /catalog/

4. Запретить индексацию любых файлов с расширением PDF:

User-agent: *

Disallow: /*.pdf$

5. Разрешить индексацию всего сайта, кроме конкретной папки:

User-agent: *

Disallow: /unwanted-directory/

6. Запретить индексацию страниц, содержащих конфиденциальную информацию:

User-agent: *

Disallow: /secure-page/

Disallow: /login/

Disallow: /account/

Рекомендации по настройки robots.txt в WordPress 

При настройке файла robots.txt на сайте WordPress соблюдайте рекомендации ниже, чтобы оказать положительное влияние на SEO-оптимизацию вашего сайта. 

1. Определите, какие страницы вашего сайта не требуют индексации поисковыми роботами. Например, это может быть страница авторизации, корзина или любые другие страницы, которые не являются информативными или по другим причинам не должны быть доступны для поисковой индексации.
2. Не разрешайте доступ к важным каталогам или файлам, которые можно скрыть от поисковых роботов.
3. Проверьте правильность настройки файла robots.txt с помощью специальных инструментов (о них будет рассказано ниже). 
4. Обновляйте файл robots.txt, если вы добавили или удалили страницы или каталоги на сайте.
5. Не блокируйте доступ к картам сайта (sitemap.xml), так как это может привести к ухудшению SEO-рейтинга вашего сайта.

Правильная настройка robots.txt может увеличить скорость загрузки сайта за счет блокирования малозначительных страниц. Если вы не уверены в правильности своих настроек, лучше обратиться к профессионалам и получить консультацию по настройке файла robots.txt для вашего сайта. В RU-CENTER вы можете воспользоваться услугой Администрирование по запросу.

Инструмент проверки файла robots.txt

Предлагается несколько инструментов для проверки корректности файла robots.txt. Они помогают выявить ошибки, которые могут стать причиной неправильной работы поисковых роботов на сайте. Такие сервисы также предоставляют рекомендации по исправлению выявленных проблем, что позволяет улучшить индексацию сайта. Рассмотрим самые популярные из них: Яндекс.Вебмастер и Google Console.  

• Анализ robots.txt в Яндекс Вебмастер 

Проверка robots.txt в Яндекс Вебмастере – бесплатный инструмент, который помогает владельцам сайтов проводить анализ в поисковой системе Яндекс.

Чтобы проанализировать работу файла robots.txt с помощью сервиса от Яндекс, зарегистрируйте свой сайт в Яндекс Вебмастер и выполните следующие действия:

1. Откройте раздел Инструменты и выберите меню Анализ robots.txt
2. В поле Проверить URL введите адрес своего сайта и нажмите Проверить.
3. После завершения проверки вы получите данные в виде таблицы, где будет отображен список разделов файла robots.txt и их настройки. Там же вы найдете сколько страниц было заблокировано с помощью инструкций Disallow.

В Яндекс Вебмастер предусмотрены возможности фильтрации списка разделов и настройки сортировки результатов. При обнаружении ошибок в настройках файла robots.txt, сервис предложит рекомендации по их устранению.

• Анализ robots.txt в Google Console

С помощью Google Console вы можете бесплатно провести анализ и выполнить настройки своего сайта в поисковой системе Google.

Если у вас еще нет аккаунта в Google Console, зарегистрируйтесь. Далее выполните несложные шаги:

1. Перейдите в раздел Crawling и выберите пункт robots.txt Tester.
2. В поле Test a robots.txt file введите адрес своего сайта и нажмите Test.
3. Дождитесь завершения проверки.

Итоги анализа файла robots.txt будут представлены в виде таблицы, где вы увидите разделы файла robots.txt и их настройки. Здесь же будет размещена информация о том, сколько страниц было заблокировано с помощью инструкций Disallow. Вы можете выполнить фильтрацию или сортировку полученных данных.

Кроме указанных выше инструментов вы можете использовать другие сервисы по проверке файла robots.txt:

• SEO SiteCheckup – платный сервис с множеством встроенных инструментов для работы с SEO-оптимизацией. SEO SiteCheckup предоставляет удобную проверку файла robots.txt на ошибки и предлагает рекомендации по его настройке.
• Robotto – бесплатный инструмент, который предоставляет детализированный отчет по файлу robots.txt. Он находит ошибки и предлагает рекомендации по их устранению.
• Ryte – еще один платный инструмент, который позволяет проверить файл robots.txt и узнать, сколько страниц было заблокировано с использованием инструкций Disallow.

Заключение

Перед созданием файла robots.txt составьте список страниц сайта, которые требуют индексации и список из страниц, которые не должны быть просканированы поисковыми роботами. Следите за корректностью синтаксиса и структуры файла, чтобы избежать ошибок в его работе.

С помощью специальных инструментов, таких как Google Console и Яндекс Вебмастер, проверяйте и оптимизируйте настройки файла robots.txt, чтобы обеспечить более эффективную индексацию сайта поисковыми системами.