Как ускорить индексацию страниц в Google

Чтобы страница попала в индекс быстрее, её должно быть легко найти и не жалко взять: поставьте на неё ссылки со страниц, которые уже в индексе, добавьте в sitemap с честным lastmod, убедитесь, что она отдаёт 200 без noindex и чужого canonical, и попросите Google её просканировать через Search Console или сервис индексации. Скорость даёт обнаружение. Удержание в индексе даёт качество.

Как Google решает, когда индексировать новую страницу?

Индексация идёт в три этапа, и задержка на любом тормозит всё остальное.

1. Обнаружение. Google узнаёт, что адрес существует. Обычно из ссылки на другой странице или из карты сайта.
2. Сканирование. Googlebot загружает страницу. Когда это случится, зависит от того, насколько важным выглядит адрес, как быстро отвечает сервер и сколько ещё страниц сайта стоит в очереди.
3. Индексация. Google отрисовывает страницу, понимает, о чём она, сравнивает с похожими и решает, хранить ли её. Просканирована не значит проиндексирована.

Когда говорят «страница не в индексе», на новом сайте проблема обычно на первых двух этапах, а на старом на третьем. Search Console подскажет, где именно: «Обнаружена, не проиндексирована» означает задержку сканирования, «Страница просканирована, но пока не проиндексирована» означает решение по самой странице.

Что на самом деле ускоряет индексацию?

Не каждый популярный совет стоит времени. Вот как сравниваются привычные способы.

Порядок действий для каждой новой страницы

Проходите его при каждой публикации. Это занимает несколько минут и снимает большинство причин, по которым страница застревает.

1. Проверьте, что страницу можно проиндексировать. Она отдаёт 200, в HTML и в заголовке X-Robots-Tag нет noindex, robots.txt её не закрывает, canonical указывает на неё саму. Как проверить каждый пункт за минуту, написано в гайде как проверить, можно ли проиндексировать страницу.
2. Поставьте на неё ссылки с двух-трёх тематических страниц, которые уже в индексе и получают трафик. Ссылка с главной или из категории весит больше, чем из старой статьи на пятом уровне.
3. Добавьте её в sitemap с настоящим lastmod. Не обновляйте дату на страницах, которые не менялись: Google перестаёт доверять картам, где каждый день «всё новое».
4. Убедитесь, что карта сайта добавлена в Search Console и указана в robots.txt строкой Sitemap:.
5. Попросите о сканировании. Для одного-двух важных адресов: «Проверка URL» → «Запросить индексирование». Для большего числа используйте сервис индексации.
6. Через несколько дней проверьте в инструменте проверки URL, а не поиском site:. Оператор site: показывает приблизительную картину и часто не видит страниц, которые в индексе есть.
7. Если через пару недель страницы всё нет, посмотрите статус в Search Console и устраните причину, прежде чем отправлять снова.

Стоит ли пользоваться «Запросить индексирование»?

Да, но не стройте на этой кнопке весь процесс. Она отлично подходит для нескольких самых важных страниц недели: новой денежной страницы, переписанной статьи, починенной страницы, которая выпала. У кнопки небольшая суточная квота на ресурс, а повторные нажатия на один и тот же адрес ничего не ускоряют.

Для десятков и тысяч адресов кнопка не масштабируется. Тут работают карта сайта, перелинковка и массовая отправка.

Как ускорить сканирование большого сайта?

На сайтах с десятками тысяч адресов ограничение часто не в том, знает ли Google о страницах, а в том, сколько он готов сканировать. Сам Google говорит, что краулинговый бюджет важен прежде всего крупным или часто обновляемым сайтам, но эти привычки полезны и небольшим.

• Держите сервер быстрым и стабильным. Когда ответы замедляются или идут ошибки 5xx, Googlebot сбавляет темп. Отчёт «Статистика сканирования» в Search Console показывает время ответа и ошибки.
• Уберите размножение адресов. Фильтры, сортировки, идентификаторы сессий и календари плодят миллионы почти одинаковых URL, которые съедают время сканирования. Закройте бесполезные в robots.txt или перестаньте на них ссылаться.
• Сократите или объедините тонкие страницы. Сотни почти пустых страниц тегов говорят Google, что на сайте много малоценного, и это тормозит всё.
• Разделите карты сайта по типам (статьи, товары, категории), чтобы в Search Console было видно, в какой группе проблема.
• Уберите цепочки редиректов и поправьте внутренние ссылки, чтобы они вели сразу на конечные адреса.

Чего не делать, когда горят сроки

Когда запуск опаздывает, хочется попробовать всё сразу. Кое-что из этого бьёт по вам же.

• Не публикуйте тысячи тонких страниц, чтобы «прогреть» индекс. Google судит о сайте по тому, что сканирует. Волна почти пустых страниц замедлит индексацию хороших, которые придут следом.
• Не имитируйте свежесть. Если менять дату на нетронутой странице или каждый день обновлять все lastmod, Google усвоит, что ваши даты ничего не значат.
• Не жмите «Запросить индексирование» по кругу. Одного запроса на адрес достаточно. Повторы не двигают его в очереди.
• Не покупайте случайные ссылки, чтобы «привлечь робота». Мусорные ссылки мало помогают обнаружению и могут создать отдельные проблемы.
• Не отправляйте непроверенные страницы. Адрес с забытым noindex просканируют и проигнорируют, как быстро его ни отправляй.

Самый быстрый путь по-прежнему скучный: чистая индексируемая страница, ссылки на неё со страниц, которым Google уже доверяет, честная карта сайта и запрос на сканирование сверху.

Что замедляет индексацию?

Самые частые причины, по которым новая страница задерживается вне индекса дольше, чем следовало бы.

• noindex, оставшийся со стенда разработки, часто в HTTP-заголовке, куда никто не смотрит.
• Canonical, скопированный из шаблона, который у всех страниц указывает на главную.
• Внутренние ссылки на http:// или версию без слэша в конце, из-за чего каждый переход идёт через редирект.
• Страницы-сироты: есть в sitemap, но на них не ведёт ни одна ссылка с сайта.
• Страницы, которые показывают контент только после JavaScript, а при первом проходе отдают Googlebot пустой каркас.
• Карты сайта, набитые адресами с редиректами, 404 и noindex. Каждая плохая запись снижает доверие ко всему файлу.

Сколько занимает индексация в Google?

От нескольких часов до нескольких недель. Страницы на устоявшихся сайтах с хорошей перелинковкой часто попадают в индекс за день-два. Совсем новый домен без ссылок может ждать гораздо дольше: у Google пока нет причин заходить туда часто.

Заставить Google проиндексировать страницу нельзя, и ни один честный сервис этого не обещает. Можно убрать все технические препятствия, дать сильные сигналы, что страница важна, и сделать её достаточно хорошей, чтобы после сканирования её было за что оставить.

Где тут сервис индексации?

Сервис индексации это запрос на сканирование в больших объёмах. Он помогает, когда в очереди стоит много хороших страниц: после запуска, переезда или большого обновления контента. Странице, которую Google уже просканировал и отверг из-за качества, он не поможет: её нужно дорабатывать, а не отправлять снова.

Поэтому @IndexForgeBot проверяет каждую ссылку перед отправкой. Если адрес отдаёт 404, уводит редиректом, содержит noindex, закрыт в robots.txt или указывает canonical на другую страницу, бот его отсеет, и вы за него не заплатите. Остальное уходит в Google, обычно индексируется за 1–3 дня, по $0.01 за ссылку.

Короткий чек-лист

• Страница отдаёт 200, noindex нет ни в meta, ни в заголовках
• Canonical указывает на саму страницу
• robots.txt её не закрывает
• На неё ведут ссылки минимум с двух страниц в индексе
• Она есть в sitemap с точным lastmod
• Карта сайта добавлена в Search Console
• Для ключевых страниц запрошено сканирование
• Через несколько дней статус проверен в инструменте проверки URL