noindex или robots.txt: что выбрать и когда

Используйте noindex, когда страницу нужно сканировать, но не показывать в выдаче. Используйте Disallow в robots.txt, когда Google не должен загружать адреса вовсе, обычно чтобы не тратить время робота на малоценные разделы. Не сочетайте их на одной странице: если robots.txt запрещает сканирование, Google не увидит noindex, и адрес всё равно может появиться в выдаче без описания.

Что делает каждый

Когда использовать noindex

• Страницы «спасибо за заказ», внутренний поиск, тонкие архивы тегов.
• Страницы, нужные пользователям, но не тем, кто ищет: личный кабинет, шаги оформления заказа.
• Дублирующие варианты, которые не получается объединить через canonical.
• Удаление из Google страницы, которая уже в индексе.

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

Когда использовать robots.txt

• Бесконечные пространства адресов: фасетные фильтры, сортировки, идентификаторы сессий, календари.
• Админка, корзина и адреса API, которым незачем сканироваться.
• Большие разделы почти одинаковых адресов, которые съедают время робота.

User-agent: *
Disallow: /search
Disallow: /*?sort=

Почему их сочетание вредит

Частая ошибка: поставить на страницу noindex и для верности закрыть её в robots.txt. Google соблюдает robots.txt и не загружает страницу, а значит, noindex так и не видит. Если на этот адрес ссылаются другие сайты, Google всё равно может показать его в выдаче без сниппета.

Чтобы убрать страницу из Google, оставьте её доступной для сканирования и добавьте noindex. Когда она выпадет из индекса, можно закрыть её в robots.txt, если хотите остановить и сканирование.

Ошибки, которые закрывают хорошие страницы

Как проверить адрес

Посмотрите мета-тег robots в исходном коде, заголовок ответа X-Robots-Tag и правила robots.txt, которые совпадают с путём. Наш бесплатный чекер делает все три проверки для 10 адресов, а в гайде о проверке индексируемости есть команды для ручной проверки.

Обратные ссылки на чужих сайтах

Владельцы сайтов используют оба механизма для профилей, форумов и пользовательского контента. Обратная ссылка на странице с noindex или под запретом robots.txt засчитаться не может, сколько запросов на сканирование ни отправляй. Поэтому @IndexForgeBot проверяет и то, и другое перед отправкой ссылки и не берёт денег за непрошедшие.

А что с nofollow?

Nofollow работает как третий, отдельный сигнал, и он относится к ссылкам, а не к страницам. rel="nofollow" на ссылке просит Google не передавать через неё вес; сканировать и индексировать целевую страницу он не мешает. Значение nofollow внутри мета-тега robots относится ко всем ссылкам на странице. Ни то, ни другое не убирает страницу из индекса. Для этого работает только noindex.

Напоминание по синтаксису robots.txt

• Правила действуют по группам User-agent. Google следует самой конкретной группе, подходящей Googlebot.
• Disallow и Allow работают по префиксу адреса.
• Если подходят оба, побеждает более длинное, то есть более конкретное правило.
• * означает любые символы, $ конец адреса.
• robots.txt должен лежать в корне хоста, а пути в нём чувствительны к регистру.

Другие директивы meta robots

X-Robots-Tag для файлов

У PDF, картинок и других файлов не бывает мета-тегов. Вместо них используйте HTTP-заголовок X-Robots-Tag, заданный в настройках сервера для этих типов файлов. Это же самый чистый способ закрыть noindex целый тестовый хост.

Как безопасно убрать раздел из Google

1. Поставьте noindex на каждую страницу раздела и оставьте его доступным для сканирования.
2. Уберите раздел из sitemap.
3. Дождитесь, пока страницы выпадут из индекса (проверяйте в Search Console).
4. Только после этого, если хотите остановить и сканирование, добавьте правило в robots.txt.

Фасетная навигация: частый случай

Интернет-магазины порождают тысячи комбинаций фильтров. Распространённый подход: разрешить индексацию нескольких ценных страниц фильтров, остальные закрыть noindex, а шаблоны параметров, которые дают бесконечные комбинации, запретить в robots.txt. Точное сочетание зависит от того, какие фильтры люди реально ищут.

Как увидеть то, что видит Google

«Проверка URL» показывает, закрыта ли страница в robots.txt, разрешено ли индексирование и как выглядит отрисованный HTML. Проверка на сайте отражает текущее состояние, и это важно сразу после изменения правила. Страницы на чужих сайтах загрузите с user agent Googlebot и прочитайте заголовки и robots.txt напрямую.

Как проверить правила robots.txt до публикации

• Составьте список адресов, которые должны быть закрыты, и тех, что должны остаться открытыми.
• Сверьте каждый с правилами, помня про совпадение по префиксу и правило самого длинного совпадения.
• Особенно внимательно смотрите на правила без слэша на конце.
• После выкладки проверьте отчёт о robots.txt в Search Console.

Случай: тестовый сайт попал в Google

Незащищённая тестовая копия сканируется, индексируется и конкурирует с рабочим сайтом. Решение: добавить X-Robots-Tag: noindex ко всем ответам тестового хоста и держать его открытым для сканирования, пока страницы не выпадут. Затем закрыть паролем. Если сначала закрыть в robots.txt, адреса останутся в выдаче.

Случай: чистка архива блога

Блог с тысячами тонких страниц тегов хочет их убрать. Закройте архивы тегов noindex, уберите их из sitemap, сохраните внутренние ссылки на полезные. Когда они выпадут из индекса, решите, закрывать ли и сканирование. Большинство сайтов могут оставить их открытыми: Google просто будет заходить реже.

Быстрая таблица для решения

Почему noindex не убирает страницу мгновенно

Чтобы увидеть новый тег, Google должен пересканировать страницу. Редко сканируемые страницы могут неделями оставаться в выдаче после добавления noindex. В срочных случаях инструмент «Удаления» скрывает адрес примерно на полгода, пока noindex не начнёт действовать.

Как они взаимодействуют с canonical и редиректами

Canonical и редиректы работают, только если Google может сканировать страницу. Тег canonical на адресе, закрытом в robots.txt, не прочитают никогда. Редирект на закрытом адресе никто не пройдёт. Это ещё одна причина держать дубли и старые адреса открытыми для сканирования, пока Google не обработал сигнал: закрывайте сканирование, только когда из адреса больше нечего узнать.

Что вредит сильнее, если ошибиться

Неверное правило robots.txt может мгновенно закрыть целые разделы, не меняя ни одной страницы, и его легко пропустить, потому что в браузере всё выглядит нормально. Неверный noindex обычно сидит в шаблоне и расползается по всем страницам на нём. Оба стоит проверять после каждой выкладки. Короткий список самых важных адресов, прогнанный через проверку индексируемости после каждого релиза, ловит обе ошибки раньше, чем на них отреагирует Google.

robots.txt чужих сайтов и ваши обратные ссылки

Когда донор закрывает раздел в robots.txt, все ссылки внутри него невидимы для Google, даже если страница нормально открывается в браузере. Часто закрывают профили, каталоги пользователей и пути редиректов вроде «go». Прежде чем платить за размещение или просить сканирование, проверьте путь вашей ссылки по robots.txt донора.

Как проверить, закрыта ли страница

Отчёт о robots.txt в Search Console показывает файл, который Google последним загрузил для ваших ресурсов. Для чужих сайтов откройте /robots.txt донора, найдите группу для Googlebot или * и сравните правила с путём адреса, помня, что побеждает самое длинное подходящее правило.

Частые вопросы

Поддерживает ли Google noindex в robots.txt?

Нет. Google перестал поддерживать правила noindex внутри robots.txt в 2019 году. Используйте мета-тег или заголовок.

Через сколько noindex убирает страницу?

Когда Google пересканирует страницу. Для срочного удаления важных страниц дополнительно используйте инструмент «Удаления» в Search Console.

Закрывать ли пагинацию noindex?

Обычно нет. Страницы пагинации помогают Google находить глубокие материалы. Пусть они сканируются и индексируются или просто не ранжируются.

Вредит ли SEO закрытая в robots.txt страница?

Сама по себе нет. Проблема только тогда, когда вы закрыли то, что на самом деле хотите видеть в индексе.

Как закрыть страницу от индексации в Google?

Мета-тегом robots со значением noindex или заголовком X-Robots-Tag: noindex. Страница при этом должна оставаться доступной для сканирования, иначе Google не увидит тег.

Почему страница закрыта в robots.txt, но есть в выдаче?

robots.txt запрещает сканирование, а не индексацию. Если на адрес ссылаются, Google может показать его без описания. Чтобы убрать страницу, откройте сканирование и поставьте noindex.

Как проверить, закрыта ли страница от индексации?

Посмотрите meta robots в коде, заголовок X-Robots-Tag и правила robots.txt для пути. Бесплатная проверка на нашем сайте делает всё это для 10 адресов сразу.

Как проверить robots.txt на ошибки?

Откройте файл, найдите группу для Googlebot или *, выпишите правила и сверьте с важными адресами, помня про совпадение по префиксу. Для своих сайтов смотрите отчёт о robots.txt в Search Console, для любых адресов подойдёт наша бесплатная проверка.

Можно ли закрыть от индексации только часть страницы?

Нет, noindex действует на страницу целиком. Чтобы фрагмент не показывался в сниппете, есть атрибут data-nosnippet, но в индексе страница при этом остаётся.

Что делать, если важная страница случайно закрыта noindex?

Уберите тег или заголовок, проверьте адрес в «Проверке URL» на сайте и запросите индексирование. Если таких страниц много, отправьте их пачкой после проверки.

Сколько ждать, пока страница с noindex выпадет из индекса?

До следующего сканирования. Популярные страницы пересканируются за дни, глубокие могут ждать неделями.