На больших сайтах пагинированные страницы рубрик и архивов часто начинают жить своей SEO-жизнью: в индекс попадают страницы 2, 3, 10 и дальше, а в поиске они дают мало пользы и иногда создают дубли или шум. Если задача именно в том, чтобы убрать такие страницы из индекса, делать это нужно аккуратно: не ломая навигацию, не закрывая лишнее и не надеясь на один универсальный рецепт для всех сайтов.
Самый безопасный подход обычно такой: сначала понять, какие именно архивы вы хотите закрыть, затем выбрать способ на уровне мета-тега robots или заголовка HTTP, и только после этого проверить, как поисковик видит страницы пагинации. Для WordPress это можно сделать без тяжелых правок ядра и без вмешательства в шаблоны, если тема и плагины не мешают.
Что именно нужно закрывать от индексации
Речь идет не обо всех архивах подряд, а о страницах пагинации архивов: рубрик, меток, авторов, дат и иногда пользовательских таксономий. Обычно это URL вида /category/news/page/2/ или /category/news/page/3/. Главная страница рубрики при этом остается открытой, а вот страницы с номером пагинации вы хотите исключить из индекса.
Это важно различать, потому что закрытие всей рубрики может навредить структуре сайта. Если в рубрике есть полезная посадочная страница, ее обычно оставляют доступной для индексации, а закрывают только страницы 2+.
Какой способ выбрать: meta robots или X-Robots-Tag
Для WordPress чаще всего используют два рабочих варианта: мета-тег noindex в HTML-странице или HTTP-заголовок X-Robots-Tag. Оба варианта реальны и поддерживаются поисковыми системами, но применяются по-разному.
| Способ | Когда подходит | Плюсы | Ограничения |
|---|---|---|---|
meta robots noindex | Если нужно закрыть HTML-страницы пагинации | Просто внедрить в теме или через SEO-плагин | Нужно, чтобы страница отдавала корректный HTML |
X-Robots-Tag: noindex | Если удобнее управлять индексацией на уровне сервера | Работает независимо от HTML-разметки | Нужен доступ к конфигурации сервера или настройкам хостинга |
Если у вас обычный WordPress-сайт без особых ограничений, проще и надежнее начать с meta robots. Если же вы управляете сервером и хотите централизованно закрыть определенные URL-шаблоны, можно использовать заголовок X-Robots-Tag. Для большинства владельцев сайтов первый вариант практичнее.
Как закрыть пагинацию рубрик и архивов через WordPress
Самый удобный путь — использовать SEO-плагин, который умеет управлять мета-тегами для архивов. В таком случае вы не трогаете код темы и не рискуете сломать шаблон. Но важно понимать: не каждый плагин дает тонкую настройку именно для страниц пагинации архивов, поэтому иногда приходится добавлять небольшую правку в тему или использовать фильтр.
Если плагин позволяет задать noindex для архивов рубрик, меток и авторов, это обычно закрывает и их пагинированные страницы. Но на практике многие плагины ставят правило на весь архив, а не только на страницы 2+. Это не всегда то, что нужно. Поэтому перед включением проверьте, как именно плагин формирует robots-мета на страницах с пагинацией.
Если вам нужен точечный контроль, надежнее добавить условие в functions.php дочерней темы или в собственный мини-плагин. Ниже пример, который ставит noindex,follow только для пагинированных архивов рубрик, меток, авторов и дат. Он не трогает первую страницу архива.
add_filter( 'wp_robots', function( array $robots ) : array {
if ( is_paged() && ( is_category() || is_tag() || is_author() || is_date() ) ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант работает в современных версиях WordPress, где используется фильтр wp_robots. Если у вас очень старая версия WordPress, где тема или плагин управляют robots иначе, поведение может отличаться. В таком случае сначала обновите WordPress, а уже потом настраивайте индексацию.
Обратите внимание на условие is_paged(): оно срабатывает только на страницах пагинации. Это и есть нужная часть логики. Без него вы рискуете закрыть от индексации первую страницу рубрики, а это уже совсем другая задача.
Если нужен серверный вариант: X-Robots-Tag
Этот способ имеет смысл, когда вы хотите закрывать страницы на уровне веб-сервера, а не через HTML. Он полезен, если сайт отдает архивы нестандартно, если вы не хотите зависеть от темы, или если на проекте несколько источников генерации страниц.
Но здесь есть важное ограничение: универсального готового правила для всех хостингов нет. Для Apache можно использовать .htaccess, для Nginx — конфигурацию сервера. На shared-хостинге доступ к этим файлам может быть ограничен, и тогда лучше использовать WordPress-способ.
Пример логики для Nginx обычно строится на проверке URL пагинации и добавлении заголовка X-Robots-Tag. Однако конкретный конфиг зависит от схемы сайта и правил хостинга, поэтому без доступа к серверной конфигурации лучше не экспериментировать. Ошибка в правилах может затронуть не только архивы, но и другие страницы.
Если вы не уверены, что умеете безопасно править конфиг веб-сервера, не начинайте с этого способа. Для большинства сайтов WordPress-решение через wp_robots проще и безопаснее.
Что еще нужно учесть, чтобы не получить лишние дубли
Закрыть страницы от индексации — это только часть задачи. Поисковик может продолжать обходить их, а ссылки на них останутся в шаблоне, в хлебных крошках и в блоках навигации. Это нормально: noindex не удаляет URL из сайта, он только говорит поисковику не держать страницу в индексе.
Есть несколько моментов, которые стоит проверить:
- первая страница рубрики не получила
noindexпо ошибке; - страницы пагинации действительно отдают мета-тег или заголовок с
noindex; - канонический URL не указывает на несуществующую или неподходящую страницу;
- в sitemap не попадают страницы, которые вы хотите исключить;
- внутренние ссылки на пагинацию не ведут на битые URL.
Отдельно стоит сказать про rel="next/prev": поисковые системы давно не используют его как основной сигнал для индексации пагинации, поэтому рассчитывать на него как на способ закрытия страниц не стоит. Нужен именно noindex или серверный заголовок.
Как проверить, что закрытие сработало
После настройки откройте несколько страниц пагинации вручную, например вторую и третью страницу рубрики. В исходном коде страницы должен быть виден мета-тег robots с noindex, если вы использовали HTML-способ. Если применяли серверный заголовок, проверьте ответ страницы через инструменты разработчика браузера или через команду curl.
Для быстрой проверки заголовков можно использовать такую команду:
curl -I https://example.com/category/news/page/2/В ответе ищите строку с X-Robots-Tag, если вы настраивали именно его. Если используете meta robots, проверьте HTML-код страницы и убедитесь, что правило появляется только на пагинированных URL.
После этого не ждите мгновенного исчезновения из поиска. Поисковику нужно время, чтобы переобойти страницы и учесть новый сигнал. Если URL уже в индексе, он не пропадет в ту же минуту, даже если настройка сделана правильно.
Когда лучше не закрывать пагинацию
Иногда закрытие пагинации не дает пользы, а только мешает. Это бывает на небольших сайтах, где архивы короткие и каждая страница рубрики содержит действительно уникальный набор материалов. В таком случае пагинация может быть полезной для обхода и внутренней перелинковки.
Также не стоит закрывать пагинацию, если вы используете архивы как полноценные посадочные страницы и они приносят трафик. Тогда сначала смотрят на качество контента, заголовков и сниппетов, а не режут индексацию вслепую.
Если же сайт большой, архивов много, а страницы 2+ почти не несут самостоятельной ценности, закрытие пагинации обычно оправдано. Это как раз тот случай, когда вы убираете SEO-шум, не трогая полезные страницы первого уровня.
Если вам нужен более удобный способ управлять такими настройками без ручного кода, можно посмотреть Clearfy Pro: у него есть инструменты для работы с SEO-настройками и удалением дублей, что может упростить администрирование на больших сайтах. Но даже с плагином все равно стоит проверять, что именно закрывается и не затронуты ли нужные страницы.
Если коротко: для WordPress самый безопасный и практичный путь — закрывать от индексации только пагинированные страницы архивов, а не весь архив целиком. Начните с wp_robots или возможностей SEO-плагина, проверьте результат на реальных URL и только потом переносите правило на весь сайт.