Массовая индексация страниц: 10 000 URL в Google за одну отправку
Массовая индексация нужна, когда сотни и тысячи новых или обновлённых страниц должны попасть в Google одновременно. Пришлите @IndexForgeBot список, .txt-файл, sitemap или домен. Каждый адрес проверяется как Googlebot, а отправляются только те, что можно проиндексировать, по $0.01 за штуку.
Когда нужна массовая отправка на индексацию
Кнопка «Запросить индексирование» в Search Console подходит для нескольких адресов в день. Вот ситуации, где руками уже не успеть.
Новый сайт или раздел
В один день выходят сотни страниц, а у Google нет по ним никакой истории.
Переезд или новая структура
Новые URL заменяют старые, и их нужно просканировать, пока позиции не устоялись.
Обновление контента
Вы переписали или объединили много страниц и хотите, чтобы Google увидел новые версии.
Много сайтов сразу
Подтверждать каждый ресурс в Search Console долго и неудобно.
Пришлите sitemap: бот проверит каждую страницу
Бот проходит sitemap-index до последней страницы, проверяет каждый URL и показывает цену до того, как что-то уйдёт в Google.
Четыре способа отправить много URL
Выбирайте то, что удобнее в вашей работе. В одной отправке можно смешивать адреса разных сайтов.
- Список в чатеВставьте адреса по одному в строке. Удобно для нескольких сотен.
- Файл .txtВыгрузите список из краулера или CMS и бросьте файл в чат.
- Sitemap или доменБот возьмёт все страницы, включая вложенные sitemap. Подробнее про индексацию по sitemap.
- HTTP API
POST /v1/submit, до 10 000 адресов в одном запросе. Смотрите справочник API.
Почему на больших объёмах важна предпроверка
На крупном сайте всегда есть доля битых адресов: старые редиректы, снятые товары, страницы фильтров с noindex, canonical на другую страницу. Отправлять их на индексацию значит платить впустую.
Бот запрашивает каждый URL как Googlebot и отсеивает такие адреса бесплатно. Вы получаете список отсеянного с причинами, а это заодно быстрый технический аудит.
Лимиты и сроки массовой индексации
Одинаковые для бота и для API.
Списки больше 10 000 адресов отправляйте несколькими пачками. Скорость индексации зависит прежде всего от самих страниц: полезные страницы с хорошей внутренней перелинковкой попадают в индекс быстрее тонких и дублированных. Если после отправки много страниц висит в статусе «Страница просканирована, но пока не проиндексирована», чинить нужно сами страницы. Что именно менять, разобрано в гайде по этому статусу.
Практичный порядок для большого сайта: сначала разделы, которые приносят деньги или трафик, затем новые страницы, затем всё остальное. Так первые результаты видны раньше, а бюджет уходит туда, где отдача выше.
Как проходит массовая отправка, по шагам
Те же пять шагов для 50 адресов и для 10 000. Ничего не списывается, пока вы не нажали кнопку с ценой.
- Пришлите URL. Списком, .txt-файлом, sitemap или доменом.
- Дождитесь проверки. Каждый адрес загружается как Googlebot.
- Прочитайте сводку. Сколько адресов прошло, сколько отсеяно и сколько стоят прошедшие.
- Откройте «что отсеяно», если нужен список отброшенных адресов по причинам.
- Нажмите «Отправить · N кр». Прошедшие адреса уходят на сканирование. За непринятые кредит вернётся.
Что отправлять под разные задачи
Массовая индексация работает лучше всего, когда в пачке только те страницы, которые вы действительно хотите видеть в Google.
| Задача | Что отправлять | Совет |
|---|---|---|
| Запуск нового сайта | Sitemap или домен | Проверьте список отсеянного: там часто находится забытый noindex с тестового сервера |
| Переезд | Только новые URL | Старые адреса покажутся как редиректы и не спишутся |
| Обновление контента | .txt с обновлёнными страницами | Отправляйте только то, что реально изменилось |
| Пачка обратных ссылок | Страницы, которые ссылаются на вас | Подробнее про индексацию обратных ссылок |
| Регулярные публикации | Новые URL через API | Отправляйте сразу после публикации |
Search Console, Indexing API или сервис: что подходит для массовой отправки
Три способа отправить много адресов в Google и где у каждого предел.
| Способ | Сколько адресов | Ограничения |
|---|---|---|
| «Запросить индексирование» в Search Console | По одному | Небольшая дневная квота, только подтверждённые сайты |
| Google Indexing API | Пакетами по квоте проекта | Официально только вакансии и трансляции, нужна настройка Cloud и прав |
| Index Forge | До 10 000 за одну отправку | Платно, $0.01 за прошедший адрес; решение об индексе за Google |
Для нескольких важных страниц хватит кнопки в Search Console. Для сотен и тысяч адресов, страниц на разных сайтах и обратных ссылок, которых нет в вашей Search Console, удобнее массовая отправка с предпроверкой: адреса, которые Google всё равно не проиндексирует, отсеиваются до оплаты.
Массовая отправка не заменяет sitemap и перелинковку. Она ускоряет сканирование конкретной пачки, а карта сайта и внутренние ссылки нужны, чтобы Google и дальше регулярно возвращался к этим страницам.
Вопросы о массовой индексации
Не нашли ответ? Напишите в поддержку прямо в боте.
Сколько URL можно отправить за раз?
Платить ли за адреса, которые не прошли проверку?
Можно ли смешивать адреса разных сайтов?
Что делать со страницами, которые отсеялись?
Это то же самое, что Google Indexing API?
Сколько индексируется большая пачка?
Можно ли автоматизировать массовую индексацию?
Как отправить на индексацию сразу 10 000 страниц?
Сколько стоит массовая индексация?
Следующие 10 ссылок
за наш счёт
Откройте бота, вставьте ссылки и посмотрите, что пройдёт проверку. Без карты и форм регистрации.