Если robots.txt для WordPress настроен наугад, легко закрыть от обхода нужные страницы или, наоборот, оставить поисковикам лишние технические URL. На практике для большинства сайтов нужен не «умный» файл с десятком правил, а аккуратный шаблон, который не мешает индексации и убирает только то, что действительно не должно тратиться на обход.
Ниже — рабочий подход: что обычно должно быть в robots.txt для WordPress, как его правильно разместить и как проверить, что вы не сломали доступ к важным страницам.
Что robots.txt делает в WordPress и чего от него не ждать
Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы можно обходить, а какие лучше не трогать. Для WordPress это полезно в первую очередь для технических и служебных URL: страниц админки, внутренних системных путей, служебных параметров.
Но robots.txt не является способом «спрятать» страницу от индексации. Если URL уже известен поисковику и на него ведут ссылки, запрет в robots.txt не гарантирует исчезновение из выдачи. Для реального запрета на индексацию используют мета-тег noindex или заголовок X-Robots-Tag. Это важно не путать: robots.txt управляет обходом, а не самой индексацией.
Ещё одна практическая деталь: в WordPress файл robots.txt может быть виртуальным. Если физического файла в корне нет, WordPress способен отдавать его содержимое через серверную логику. Но на большинстве нормальных хостингов удобнее и понятнее создать обычный файл robots.txt в корне сайта.
Базовый шаблон robots.txt для WordPress
Для типичного сайта WordPress достаточно такого шаблона:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xmlЗдесь три важных момента.
User-agent: *— правило для всех поисковых роботов.Disallow: /wp-admin/— закрывает служебную админ-папку от обхода.Allow: /wp-admin/admin-ajax.php— оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам на фронтенде.Sitemap— помогает роботам быстрее найти карту сайта, если она у вас есть.
Это не «универсально правильный» файл для любого проекта, но для обычного WordPress-сайта он безопасен и не мешает индексации публичных страниц.
Что обычно не стоит закрывать в robots.txt
Главная ошибка — пытаться через robots.txt закрыть то, что просто не нравится в адресе. Например, страницы с параметрами, архивы, теги, пагинацию, поиск по сайту или отдельные типы записей. Иногда это делают по советам из старых статей, но в реальном проекте такие запреты легко дают побочный эффект: робот перестаёт обходить полезные страницы, а часть дублей всё равно остаётся в индексе.
Для WordPress особенно осторожно нужно относиться к следующим путям:
/wp-content/— здесь лежат темы, плагины и медиафайлы; закрывать весь каталог обычно не нужно;/wp-includes/— системные файлы WordPress, но их полное закрытие редко даёт пользу и иногда мешает роботам корректно понимать ресурсы;/wp-json/— REST API; закрывать его без причины не стоит, если сайт использует современные темы, блоки или интеграции;- страницы с параметрами вроде
?replytocom=или?s=— такие вещи лучше решать на уровне настройки сайта, шаблонов и мета-тегов, а не грубым запретом всего подряд.
Если у вас есть конкретная техническая проблема, сначала проверьте, нельзя ли решить её без robots.txt. Этот файл хорош для точечных ограничений, а не для «санитарной обработки» всего сайта.
Как создать или изменить robots.txt
Самый простой способ — открыть корень сайта по FTP, через файловый менеджер хостинга или SSH и создать там файл robots.txt. Если файл уже есть, отредактируйте его, а не создавайте второй. В корне должен быть только один актуальный robots.txt.
Дальше вставьте нужные директивы, сохраните файл и проверьте, что он доступен по адресу https://ваш-домен/robots.txt. Если вместо текста вы видите ошибку, редирект или пустую страницу, значит файл не лежит там, где должен, либо его перехватывает настройка сервера или плагин.
Если вы используете SEO-плагин, он может предлагать собственный редактор robots.txt. Это удобно, но принцип тот же: после сохранения обязательно откройте файл в браузере и убедитесь, что содержимое действительно изменилось. На некоторых хостингах и при нестандартной конфигурации виртуальный robots.txt может конфликтовать с физическим файлом, поэтому проверка по URL обязательна.
Как понять, что файл настроен правильно
После правки robots.txt проверьте не только сам файл, но и поведение сайта.
- Откройте
/robots.txtв браузере и убедитесь, что там именно ваш текст. - Проверьте, что публичные страницы сайта открываются как обычно.
- Убедитесь, что
/wp-admin/действительно закрыт для обхода, но вход в админку работает для авторизованных пользователей. - Если у вас есть карта сайта, проверьте, что ссылка на неё указана корректно и ведёт на существующий файл.
Если сайт уже был в индексе, не ждите мгновенного эффекта. Поисковые системы обновляют данные не сразу. Для robots.txt это нормально: файл начинает работать сразу, но переобход страниц зависит от частоты обхода и состояния сайта.
Типичные ошибки при настройке robots.txt
На практике чаще всего ломают не сам robots.txt, а логику его использования.
1. Закрывают весь сайт одной строкой. Например, ставят Disallow: / и потом удивляются, почему страницы пропали из обхода. Такой вариант допустим только для временно закрытого сайта, а не для рабочего проекта.
2. Закрывают важные каталоги без понимания последствий. Если запретить слишком много, поисковик может перестать видеть ресурсы, которые нужны для корректного рендеринга страницы.
3. Путают обход и индексацию. Robots.txt не убирает URL из поиска сам по себе. Если задача именно в этом, нужен другой механизм.
4. Оставляют старый файл после переноса сайта. После миграции домена или смены структуры URL robots.txt часто забывают обновить, и в нём остаются правила, актуальные только для старого проекта.
5. Не проверяют итоговый файл в браузере. Это самая простая и самая дорогая ошибка: правило написано, но по факту файл не отдается или отдается не тот, который вы редактировали.
Практический вариант для большинства WordPress-сайтов
Если вам нужен безопасный старт без лишних экспериментов, используйте минимальный шаблон и добавляйте только то, что действительно нужно вашему проекту. Для обычного сайта WordPress этого обычно достаточно:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xmlДальше уже отталкивайтесь от структуры сайта и конкретных задач. Если у вас есть нестандартные разделы, закрывать их лучше осознанно: сначала понять, нужен ли запрет именно в robots.txt, а потом проверять результат по факту, а не по предположению.
Такой подход обычно безопаснее, чем набор случайных правил из чужого примера. Для WordPress это особенно важно: файл маленький, но ошибка в нём легко создаёт проблемы, которые потом приходится разбирать уже не в robots.txt, а в индексации и обходе сайта целиком.