«Страница просканирована, но пока не проиндексирована»: что это и как исправить

Статус «Страница просканирована, но пока не проиндексирована» (в английском интерфейсе Crawled – currently not indexed) значит, что Googlebot загрузил страницу, но Google решил не добавлять её в индекс. Это не ошибка и не санкция. Обычно Google считает, что страница добавляет слишком мало к тому, что у него уже есть: тонкий текст, почти дубли, слабая перелинковка или сайт, которому он пока мало доверяет. Лечится это тем, что страница становится явно достойной индекса, после чего Google просят посмотреть снова.

Что на самом деле означает этот статус?

Search Console раскладывает непроиндексированные страницы по причинам. Эта лежит в разделе «Почему эти страницы не индексируются» и говорит две вещи: Google может открыть страницу, и техническую часть она прошла. Нет noindex, нет запрета, нет ошибки. Решение не индексировать касалось самой страницы или сайта в целом.

Важно слово «пока». Google может проиндексировать страницу позже без всякого вашего участия, а некоторые страницы сами то попадают в этот статус, то выходят из него. Но если нужная страница висит здесь неделями, ожидание редко помогает.

Из-за чего это происходит?

Почти всегда дело в одной из этих причин. В таблице видно, как распознать каждую.

Проблема у страницы или у всего сайта?

Откройте отчёт и оцените масштаб. Несколько адресов из тысяч это норма: Google никогда не индексирует всё подряд. Большая доля важных страниц уже сигнал о сайте.

• Несколько страниц: разберите каждую. Обычно она тонкая, дублирует другую или плохо перелинкована.
• Целый раздел: смотрите на шаблон. Возможно, у всех карточек товаров две строки текста и таблица характеристик от производителя.
• Почти весь новый сайт: Google ещё не доверяет домену. Делайте меньше страниц, но сильнее, наберите немного ссылок и только потом публикуйте массово.

Как исправить, по шагам

1. Исключите технику. В проверке URL нажмите «Проверить страницу на сайте». Убедитесь, что в отрисованном HTML весь контент, а индексирование разрешено. Сверьте канонический адрес, выбранный Google, со своим.
2. Сравните с тем, что в выдаче. Вбейте основной запрос и откройте первые результаты. Если ваша страница говорит меньше или то же самое, но длиннее, ответ найден.
3. Сделайте страницу достойной индекса. Добавьте конкретику: свои цифры, скриншоты, разобранный пример, таблицу, которая экономит читателю время. Уберите воду. Ответ поставьте в начало.
4. Склейте дубли. Если три страницы борются за одну тему, оставьте лучшую, перенесите в неё полезное из остальных и поставьте редиректы.
5. Усильте перелинковку. Поставьте на страницу ссылки с тематических страниц в индексе с понятным анкором. Добавьте её в хаб, если он есть.
6. Уберите балласт. Закройте noindex или удалите страницы, которым в индексе не место: пустые теги, тонкие архивы, автоматически сгенерированные страницы. Меньше слабых страниц, и сильные выглядят лучше.
7. Попросите Google пересканировать. «Запросить индексирование» для ключевых адресов или «Проверить исправление» в отчёте после правки пачки страниц. Для большого числа адресов используйте массовую отправку.

Поможет ли повторная отправка?

Только после изменений. Google уже просканировал страницу и принял решение. Отправить её же снова значит попросить посмотреть на то же самое, и ответ обычно будет тем же.

А вот после доработки пересканирование именно то, что нужно, и чем раньше, тем лучше. В этот момент и стоит запросить индексирование или отправить адрес через сервис индексации. Наш бот @IndexForgeBot проверяет каждую ссылку перед отправкой, так что если правка случайно что-то сломала (редирект, canonical, оставленный в шаблоне noindex), вы увидите это до оплаты.

Пример: сорок городских страниц, в индексе три

Вот типичная картина в общих чертах. Сайт услуг делает по странице на город: «Сантехник в Казани», «Сантехник в Самаре» и так далее. На каждой те же три абзаца с подставленным названием города, та же фотография и тот же прайс. Google сканирует все сорок, несколько индексирует, а остальные оставляет в статусе «просканирована, но пока не проиндексирована».

С точки зрения Google это разумно. Тридцать семь страниц не говорят ничего, чего не сказали первые три. Повторная отправка ничего не изменит, ведь страницы остались прежними.

Что обычно помогает:

1. Оставьте страницы только для тех мест, где есть что сказать конкретно: местные цены, районы выезда, сроки, фото реальных работ, местные правила.
2. Остальные объедините в одну сильную региональную страницу с таблицей обслуживаемых городов, а тонкие городские страницы перенаправьте на неё.
3. Поставьте ссылки на оставшиеся городские страницы с региональной и из тематических статей, чтобы они не держались на одной только карте сайта.
4. И только потом запросите пересканирование оставленных и переписанных страниц.

Меньше страниц, у каждой из которых есть причина существовать, лучше, чем много страниц, между которыми Google вынужден выбирать.

Когда этот статус можно игнорировать?

Не каждый адрес должен быть в индексе. Вот что часто попадает в этот отчёт и обычно может там остаться:

• Страницы пагинации вроде /page/2/, если первая страница в индексе
• Адреса фидов, версии для печати, страницы вложений
• Варианты категории с фильтрами и сортировкой
• Страницы результатов внутреннего поиска
• Старые тонкие записи, которые вы не планируете обновлять

Если на этот адрес вы не хотели бы приводить человека из поиска, его отсутствие в индексе не проблема. Тратьте силы на страницы, которые должны ранжироваться.

Сколько ждать индексации после исправления?

Зависит от того, как часто Google сканирует ваш сайт и насколько сильно вы всё поменяли. После пересканирования доработанная страница может попасть в индекс за несколько дней. Проблема качества на уровне сайта решается дольше: Google переоценивает сайт постепенно, по мере того как пересканирует всё больше страниц.

Следите через проверку URL, а не обновляя отчёт каждый день. Отчёт отстаёт от реального состояния, иногда на неделю и больше.

Чек-лист

• Проверка на сайте показывает весь контент и разрешённое индексирование
• Канонический адрес по версии Google совпадает с заявленным
• Страница отвечает на запрос лучше, чем то, что уже в выдаче
• Нет почти одинаковых страниц, которые борются за ту же тему
• На страницу ведут ссылки минимум с двух тематических страниц в индексе
• Малоценные страницы закрыты noindex или удалены
• Пересканирование запрошено после изменений, а не до

Частые вопросы

Это санкция или фильтр?

Нет. Санкции видны в разделе «Меры, принятые вручную», а этот статус обычное решение алгоритма не тратить место на страницу. Оно меняется, когда меняется страница или отношение Google к сайту.

Помогут ли внешние ссылки на страницу?

Могут помочь, потому что показывают Google, что страница кому-то нужна. Но ссылка не исправит тонкий текст или дубль. Сначала доработайте страницу, потом приводите на неё ссылки.

Стоит ли удалить страницу, если её так и не взяли?

Если она не нужна ни людям, ни поиску, да: удалите и отдайте 410 или перенаправьте на близкую по смыслу страницу. Если нужна людям, но не поиску, оставьте и закройте noindex.

Сколько ждать, прежде чем что-то менять?

Если страница новая, дайте ей пару недель: Google иногда возвращается к ней сам. Если за это время ничего не изменилось, а страница важна для вас, пора дорабатывать, а не ждать дальше.