«Обнаружена, не проиндексирована»: причины и что делать

Статус «Обнаружена, не проиндексирована» (Discovered – currently not indexed) значит, что Google знает о существовании адреса, обычно из sitemap или по ссылке, но ещё не сканировал его. Сам Google объясняет это тем, что сканирование отложили, часто из опасения перегрузить сайт. На практике частые причины такие: медленный или сбоящий сервер, слишком много малоценных адресов, которые отнимают время сканирования, слабая перелинковка и новый сайт, куда Google пока заходит редко.

Что означает этот статус?

Адрес известен, но не посещён. В проверке URL у таких страниц стоит «Последнее сканирование: Н/Д», это подтверждает, что Googlebot их не загружал. Раз Google не видел содержимого, о качестве этот статус ничего не говорит. Это проблема сканирования, а не контента.

В этом ключевое отличие от статуса «Страница просканирована, но пока не проиндексирована», где Google страницу загрузил и решил её не брать.

Почему Google откладывает сканирование?

Googlebot решает, сколько сканировать на каждом сайте, исходя из двух вещей: сколько выдержит ваш сервер без замедления и насколько Google хочет сканировать ваш контент. Если низко хоть одно, адреса ждут.

Сервер выглядит так, будто не справляется

Если ответы замедляются или идут ошибки 5xx и таймауты, Googlebot снижает частоту обращений, чтобы не навредить сайту. Меньше запросов в день значит дольше очередь для новых адресов. Обычные подозреваемые: дешёвый виртуальный хостинг, тяжёлые страницы и агрессивная защита от ботов, которая проверяет Googlebot.

Слишком много адресов борются за сканирование

Фасетная навигация, параметры сортировки, идентификаторы сессий, страницы тегов и бесконечные календари создают куда больше адресов, чем у вас реальных страниц. Google их находит, ставит в очередь и тратит время на дубли, пока новая статья ждёт.

Страница не выглядит важной

Адрес, который есть только в sitemap или на который одна ссылка на пятом уровне вложенности, получает низкий приоритет. Внутренние ссылки и есть ваш способ сказать Google, что на сайте важно.

Сайт новый или его редко сканируют

У свежего домена с малым числом ссылок по умолчанию небольшой краулинговый бюджет. Если в первый же день опубликовать тысячи страниц, большая часть надолго застрянет в очереди.

Отношение Google к сайту в целом

Если многое из уже просканированного оказалось тонким или дублированным, у Google меньше причин спешить за новым. Здесь два статуса и связаны: много «просканировано, не проиндексировано» может обернуться большим «обнаружено, не проиндексировано».

Как исправить, по шагам

1. Проверьте здоровье сервера. Откройте «Настройки» → «Статистика сканирования» в Search Console. Посмотрите среднее время ответа, долю ответов 5xx и нет ли проблем в «Статусе хоста». Сначала медленные ответы и ошибки, потом всё остальное.
2. Убедитесь, что Googlebot не блокируют файрвол, правило CDN или лимит запросов. Проверка на бота, которую настоящий Googlebot не проходит, выглядит для Google как падение сайта.
3. Уберите размножение адресов. Найдите адреса с параметрами и фильтрами в статистике сканирования и в самом списке «Обнаружена». Закройте бесполезные шаблоны в robots.txt, уберите на них ссылки и не включайте их в sitemap.
4. Почистите карту сайта. Оставьте только канонические индексируемые адреса с ответом 200. Удалите редиректы, 404 и страницы с noindex. Ставьте честные даты lastmod.
5. Поставьте ссылки на ждущие страницы. С главной, хабов категорий и связанных статей. Отдельно найдите сирот, которые есть только в sitemap.
6. Публикуйте в темпе, который сайт выдерживает. На новом домене ровный поток хороших страниц сканируется надёжнее, чем разовый вброс тысяч.
7. Запросите сканирование важных адресов. Через проверку URL для нескольких ключевых страниц и массовой отправкой для остальных.

Поможет ли отправка адресов?

Именно при этом статусе запрос на сканирование имеет больше всего смысла. Google страницу не видел, значит, нет прежнего решения, которое надо переубедить. Продвинуть адрес в очереди как раз то, чего не хватает.

Две оговорки. Первая: причину это не устранит. Если сервер еле справляется или сайт забит мусорными адресами, новые страницы продолжат копиться. Вторая: отправляйте только страницы, которые вообще можно проиндексировать. @IndexForgeBot сначала проверяет каждую ссылку и отсеивает 404, редиректы, страницы с noindex, закрытые в robots.txt и адреса с canonical на другую страницу, чтобы вы не платили за постановку в очередь того, что всё равно отклонят.

Как увидеть, на что уходит сканирование

Отчёт «Статистика сканирования» («Настройки» → «Статистика сканирования») самый полезный экран при этом статусе, и открывают его немногие. Важны четыре разбивки:

Откройте каждую группу и посмотрите примеры адресов. Шаблоны видны быстро: тысячи вариантов с ?sort=, старый раздел, который отдаёт 404, календарь, который создаёт страницу на каждый день до 2099 года. Каждый закрытый шаблон освобождает время сканирования для страниц, которые вам действительно нужны в индексе.

Если есть доступ к логам сервера, отфильтруйте их по user agent Googlebot (и проверьте IP-адреса). Так ещё точнее видно, какие адреса робот посещает, а какие не трогает вовсе.

Сколько «обнаруженных» адресов это нормально?

Какие-то будут всегда. Google редко сканирует всё, что находит, а у больших сайтов всегда есть хвост. Важны динамика и состав списка.

• Если в списке в основном адреса с параметрами и мусор, решение в чистке, а ваши настоящие страницы, возможно, в порядке.
• Если там ваши новые статьи или товары, проблема в приоритете сканирования.
• Если число растёт каждую неделю, а проиндексированных страниц не прибавляется, Google находит адреса быстрее, чем готов их сканировать.

Когда страницы сдвинутся?

Когда проблемы с сервером решены, а мусора стало меньше, активность сканирования может вырасти за срок от нескольких дней до пары недель. Сначала это видно в «Статистике сканирования» как рост запросов в день, потом в проверке URL как появившаяся дата последнего сканирования у ждущих страниц, и в последнюю очередь в отчёте об индексировании, который отстаёт от обоих.

Чек-лист

• Среднее время ответа в статистике сканирования низкое и ровное
• Ошибок 5xx и таймаутов мало или нет совсем
• Файрвол и CDN не блокируют и не проверяют Googlebot
• Адреса с параметрами и фильтрами не попадают в сканирование
• В sitemap только канонические индексируемые адреса с ответом 200
• На каждую ждущую страницу ведут ссылки со страниц в индексе
• Для самых важных страниц запрошено сканирование

Частые вопросы

Убрать «обнаруженные» адреса из карты сайта?

Только те, что вам не нужны в индексе. Если адрес канонический, индексируемый и полезный, оставьте его в sitemap и работайте над приоритетом сканирования. Удаление хороших адресов из карты просто прячет проблему.

Может ли это вызвать CDN или режим защиты от атак?

Да. Если защита проверяет или замедляет Googlebot, Google видит ненадёжный хост и сканирует меньше. Разрешите проверенных поисковых роботов и после любой правки следите за статистикой сканирования.

Сколько адресов отправлять за раз?

Столько, сколько у вас реально готовых страниц. Отправить сразу сотни хороших страниц нормально. Отправлять тысячи сырых, в надежде что хоть что-то зацепится, плохая идея: это тот самый мусор, который замедляет сканирование всего остального.

Помогает ли перенос сайта на более быстрый хостинг?

Если сейчас сервер отвечает медленно или сбоит, да, и часто заметно. Googlebot поднимает частоту сканирования, когда видит, что сайт стабильно выдерживает нагрузку. Но если сервер и так быстрый, а проблема в мусорных адресах или слабой перелинковке, переезд ничего не даст. Сначала посмотрите время ответа в статистике сканирования, потом решайте.

Новый сайт: сколько страниц публиковать на старте?

Единого числа нет. Разумно начать с ядра: главная, основные разделы и самые сильные страницы, на которые есть ссылки. Остальное добавлять постепенно, следя за тем, как быстро Google доходит до новых адресов.