Почему страница не индексируется в Google: чек-лист

Страница не в индексе по одной из четырёх причин: Google не может её открыть, страница сама просит её не индексировать, Google её ещё не нашёл или не просканировал, либо просканировал и решил, что хранить её незачем. Начните с проверки URL в Search Console: она покажет, какой из случаев ваш. Потом пройдите соответствующий раздел чек-листа ниже.

Шаг ноль: что говорит Search Console?

Вставьте адрес в проверку URL. Если там написано «URL есть в Google», страница в индексе, и ваша проблема в ранжировании, а не в индексации. Иначе в блоке «Индексирование страницы» будет причина. Вот что значат частые статусы и куда смотреть.

1. Может ли Google открыть страницу?

• Адрес отдаёт 200. Не 404, 410, 403, 401 и не 5xx. Смотрите реальный ответ сервера, а не то, что браузер показал после редиректов.
• robots.txt разрешает сканирование. Нет правила Disallow, которое подходит к пути для Googlebot. Правила работают по префиксу: Disallow: /blog закроет и /blog-news/.
• Нет авторизации и ограничений по IP. Защита тестового стенда, гео-блокировка и пейвол без разметки останавливают и Googlebot.
• Файрвол или CDN пропускает Googlebot. Проверки на бота, JavaScript-челленджи и лимиты запросов могут отдавать Googlebot страницу ошибки, пока люди видят нормальную.
• Сервер стабилен. Периодические 5xx легко не заметить в браузере и очень хорошо видно краулеру.

2. Разрешает ли страница индексацию?

• Нет noindex в HTML. Ищите <meta name="robots" content="noindex"> и вариант специально для googlebot.
• Нет noindex в HTTP-заголовках. X-Robots-Tag: noindex ставит сервер или плагин, в исходном коде страницы его не видно.
• Canonical указывает на саму страницу. Canonical на другой адрес говорит Google индексировать тот адрес. Классическая ошибка: шаблон, который у всех страниц ставит canonical на главную.
• Адрес не перенаправляет. Google индексирует конечный адрес. Если проверяете старый URL, проверьте и то, куда он ведёт.
• Нет JavaScript, который после загрузки добавляет noindex или меняет canonical. Google может действовать по исходному HTML и не дойти до отрисовки.

Всё это проверяется за пару минут несколькими командами. Как именно, разобрано в гайде как проверить, можно ли проиндексировать страницу.

3. Нашёл ли Google страницу и просканировал ли?

• На неё ведут ссылки с других страниц сайта, лучше со страниц в индексе, у которых есть трафик. Сироты находятся поздно или никогда.
• Она есть в XML-карте сайта, а карта добавлена в Search Console.
• Внутренние ссылки ведут на канонический адрес, а не на версию с редиректом или параметрами.
• Сайт не утопает в мусорных адресах, которые съедают время сканирования. Подробнее в гайде «Обнаружена, не проиндексирована».
• Прошло достаточно времени. Страницу, опубликованную утром на новом домене, Google мог просто ещё не посетить.

4. Стоит ли страница индексации?

Если Google страницу просканировал и всё равно не взял, вопрос в том, добавляет ли она что-то, чего в индексе ещё нет.

• Она не тонкая. Раскрывает тему как следует и отвечает на очевидные следующие вопросы.
• Она не дубль. Ни одна другая страница вашего сайта, или ваших сайтов, не говорит того же. Проверьте варианты с параметрами и без, со слэшем и без, с www и без.
• Она не «ложная 404». Пустые категории, «товары не найдены» и заглушки выглядят для Google как ошибки, даже если отдают 200.
• Основной контент есть в HTML. Если он появляется только после скриптов, посмотрите отрисованную версию в проверке URL.
• Она отвечает на то, что ищут. У страницы, которая отвечает на вопрос, который никто не задаёт, мало причин попасть в индекс.

Глубже о том, как это исправлять, в гайде «Страница просканирована, но пока не проиндексирована».

5. Нет ли проблемы у всего сайта?

• Нет мер, принятых вручную. Проверьте раздел «Проблемы безопасности и меры, принятые вручную» в Search Console. Ручная мера может убрать страницы или весь сайт.
• Нет проблем безопасности. Взломанные страницы, внедрённый спам и предупреждения о вредоносном ПО бьют по индексации всего сайта.
• Домен не совсем новый и без ссылок. Новые сайты сканируются осторожно. Это вопрос терпения, а не санкция.
• Большая часть сайта хорошая. Если значительная доля страниц тонкие или сгенерированы автоматически, Google медленнее индексирует и хорошие.

Что исправлять в первую очередь?

Когда не хватает многих страниц, всё сразу не исправить. Расставьте работу по отдаче:

1. Запреты на уровне сайта. Случайный noindex в шаблоне, слишком широкое правило в robots.txt или файрвол, блокирующий Googlebot, могут держать вне индекса сотни страниц. Одна правка, большой результат.
2. Самые ценные страницы. Денежные страницы, основные категории и главные статьи. Проверьте каждую в инструменте проверки URL.
3. Проблемы шаблонов. Если у одного типа страниц (товары, теги, города) повторяется одна и та же проблема, чините шаблон, а не каждую страницу.
4. Качество контента. Доработка и объединение тонких страниц занимает больше всего времени, поэтому беритесь за неё, когда техника уже чистая.

Нужные инструменты в основном бесплатные: Search Console для статусов и проверки URL, терминал или инструменты разработчика в браузере для заголовков и краулер для сайтов больше пары десятков страниц.

И ещё один совет: записывайте, что и когда вы поменяли. Отчёты Search Console обновляются с задержкой, и без журнала правок через две недели трудно понять, какое изменение дало результат.

Когда всё в порядке

Если страница прошла всё перечисленное, её нужно пересканировать, чтобы Google увидел исправленную версию. Для одного-двух адресов используйте «Запросить индексирование» в проверке URL. Для пачки отправьте их через сервис индексации.

@IndexForgeBot делает техническую часть этого чек-листа автоматически, разделы 1 и 2, для каждой присланной ссылки. Страницы с ошибками, редиректами, noindex, запретом в robots.txt или canonical на другой адрес отсеиваются бесплатно, остальные уходят по $0.01. Разделы 3–5 остаются на вас, и именно там рождается большая часть долгосрочных побед.

Ведите журнал изменений

Отчёты Search Console обновляются с задержкой, часто в несколько дней. Если за неделю вы поправили пять вещей, а страница вернулась через две недели, без записей не понять, что сработало. Простой журнал с датой, адресами и сутью правки сильно ускоряет разбор следующей проблемы.

Он же помогает ловить откаты. Многие «загадочные» просадки сводятся к выкладке, которая поменяла шаблон, обновлению плагина, включившему noindex, или новому правилу файрвола. С журналом дату просадки легко сопоставить с датой изменения.

Частые вопросы

Страница была в индексе и пропала. Почему?

Страницы выпадают, когда на них что-то изменилось (появился noindex, canonical, редирект, ошибка) или когда Google переоценил страницу и решил её не хранить. Начните с технической стороны: её быстрее исключить.

Нужны ли странице обратные ссылки, чтобы попасть в индекс?

Нет. Масса страниц в индексе без единой внешней ссылки. Для обнаружения хватает внутренних ссылок и sitemap. Внешние ссылки помогают с приоритетом сканирования и доверием, особенно на новых сайтах.

Можно ли проверять индексацию поиском site:?

Нет. Он даёт примерную картину и часто не показывает страницы, которые в индексе есть. Точный ответ по конкретному адресу даёт проверка URL.

Сколько ждать после исправления?

Технические исправления (noindex, robots.txt, canonical) обычно видны после ближайшего пересканирования, то есть через дни. Исправления качества дольше: Google переоценивает страницу и сайт постепенно. Ускорить первое можно запросом на сканирование, второе только временем и последовательной работой.

В Search Console всё зелёное, а страницы в поиске нет. Как так?

Если проверка URL пишет «URL есть в Google», страница в индексе. Её просто не видно по вашему запросу, потому что она ранжируется ниже. Это уже вопрос ранжирования: соответствия запросу, качества и ссылок, а не индексации.