Google Indexing API или сервисы индексации: честное сравнение

Google Indexing API официально предназначен только для страниц с разметкой JobPosting или BroadcastEvent внутри VideoObject, то есть для вакансий и прямых трансляций. Google прямо пишет, что другие страницы не поддерживаются, а отправки проверяются на спам. Для обычных страниц остаются sitemap, внутренние ссылки, «Запросить индексирование» в Search Console и сервисы индексации. Заставить Google проиндексировать страницу не может ни один из этих способов, включая API.

Что такое Google Indexing API?

Это интерфейс, через который владелец сайта сообщает Google, что адрес добавлен, обновлён или удалён. Google сделал его для контента, который быстро устаревает: вакансия закрывается через неделю, трансляция актуальна, только пока идёт. Если ждать обычного сканирования, к моменту индексации такая страница уже неактуальна.

Настройка требует работы:

1. Создать проект в Google Cloud и включить Indexing API.
2. Создать сервисный аккаунт и скачать его JSON-ключ.
3. Добавить сервисный аккаунт владельцем ресурса в Search Console.
4. Отправлять из своего кода уведомления URL_UPDATED или URL_DELETED, подписанные ключом.

У каждого проекта есть суточная квота на публикации по умолчанию, увеличить её можно по запросу. Запросы на увеличение Google рассматривает и ожидает, что сценарий использования соответствует документации.

Можно ли использовать Indexing API для обычных страниц?

Технически API примет запрос на любой адрес ресурса, которым вы владеете. Поэтому он и стал популярным обходным путём для статей, карточек товаров и всего остального.

Но документация Google однозначна: API только для страниц вакансий и трансляций. Кроме того, Google добавил предупреждения о том, что отправки проходят проверку на спам, а злоупотребление может закончиться отзывом доступа. И даже при целевом использовании уведомление это просьба просканировать, а не гарантия индексации.

Какие варианты есть для обычных страниц?

Для большинства сайтов основную работу должны делать первые два пункта. Остальное способы ускорить сканирование конкретных адресов.

Как выглядит запрос к Indexing API

Для поддерживаемых страниц уведомление это небольшой авторизованный POST-запрос. В теле указаны адрес и тип изменения:

POST https://indexing.googleapis.com/v3/urlNotifications:publish
Content-Type: application/json
Authorization: Bearer ACCESS_TOKEN

{ "url": "https://site.com/jobs/senior-editor", "type": "URL_UPDATED" }

Токен доступа получается из ключа сервисного аккаунта через OAuth. Можно отправить до 100 уведомлений одним пакетным запросом, а статус конкретного адреса узнать через urlNotifications/metadata.

Для большинства главный барьер это стоимость настройки: проект в Cloud, сервисный аккаунт, права владельца в Search Console на каждый ресурс, работа с токенами в коде и контроль квоты. Для сайта вакансий это оправдано. Для блога с парой статей в неделю это много обвязки ради сценария, который Google не поддерживает.

Есть и организационный риск. Если вы ведёте много сайтов и подключаете каждый к одному проекту в Cloud, все они оказываются связаны одним аккаунтом. Подумайте заранее, устраивает ли вас такая связь.

Как работают сервисы индексации?

Сервис индексации берёт список адресов и доводит их до Google, чтобы их просканировали раньше, чем это случилось бы само. Как именно каждый сервис это делает, его внутреннее дело, и большинство подробностей не раскрывает. С вашей стороны важно то, что можно наблюдать: сканируются ли страницы, попадают ли в индекс, за какой срок и сколько это стоит.

Раз механизм обычно закрыт, оценивайте сервис по тому, что можно проверить:

• Проверяет ли он адреса до списания? Платить за отправку 404 или страницы с noindex значит выбрасывать деньги.
• Что с адресами, которые не прошли? Ищите возврат или кредиты обратно, а не «оплачено значит оплачено».
• Понятна ли цена? Оплату за адрес без подписки легко посчитать. Тарифы со сгорающими кредитами часто нет.
• Обещает ли он 100% индексации? Если да, будьте осторожны. Что индексировать, решает Google, и кто утверждает обратное, преувеличивает.
• Нужно ли отдавать доступ к аккаунтам? Сервис, которому нужны только адреса, рискует вашим меньше, чем тот, что просит доступ к Search Console.

Когда сервис индексации оправдан?

• После запуска или переезда, когда нужно разом просканировать сотни или тысячи хороших страниц.
• Когда страницы висят в «Обнаружена, не проиндексирована», а скорость сервера и мусорные адреса вы уже исправили.
• Для многих сайтов сразу, когда подтверждать каждый ресурс и нажимать «Запросить индексирование» по адресу нереально.
• Для страниц, которых нет в вашем Search Console, например ваших статей на чужих площадках.

И когда не оправдан: если страницу просканировали и отвергли из-за качества, повторная отправка ничего не изменит. Сначала исправьте страницу. Как, написано в гайде «Страница просканирована, но пока не проиндексирована».

Где здесь Index Forge

Мы построили @IndexForgeBot вокруг чек-листа выше. Вы присылаете ссылки, .txt-файл, sitemap или домен. Каждый адрес проверяется так, как его увидит Googlebot: код ответа, редиректы, noindex в meta и заголовках, robots.txt и canonical. Ссылки, которые нельзя проиндексировать, отсеиваются до оплаты. Остальные уходят по $0.01 за штуку, а если ссылку не приняли, кредит возвращается. Индексация обычно занимает 1–3 дня. Доступ к Search Console не нужен, а для автоматизации есть HTTP API.

Мы не обещаем, что в индекс попадёт каждая страница. Честно этого не может никто. Обещать мы можем другое: вы не заплатите за ссылки, у которых шансов не было с самого начала.

Как выбрать без долгих раздумий

• Вакансии или трансляции? Indexing API, он для этого и сделан.
• Несколько важных страниц на этой неделе? «Запросить индексирование» в Search Console.
• Все страницы на длинной дистанции? Перелинковка и честная карта сайта.
• Ждут сотни или тысячи хороших страниц, или сайтов много? Сервис индексации, после проверки, что адреса вообще индексируемые.
• Страницы просканированы и отвергнуты? Ничего из перечисленного. Сначала доработайте страницы.

Большинство сайтов в итоге пользуется несколькими способами одновременно, и это нормально. Они друг другу не мешают: карта сайта, хорошая перелинковка и точечные запросы на сканирование работают вместе.

Отдельно о доверии к сервисам. Начинайте с малого объёма на своих страницах, смотрите результат в проверке URL и только потом отправляйте крупные партии. Сервис, который даёт попробовать бесплатно и возвращает деньги за непринятые ссылки, позволяет сделать это без риска.

Частые вопросы

Сервисы индексации нарушают правила Google?

Просить Google просканировать свои страницы не спам. Правила Google против спама касаются самого контента: массовых малоценных страниц, дорвеев, взломанного контента и тому подобного. Если плохую страницу быстрее просканируют, её просто быстрее оценят.

Indexing API быстрее, чем sitemap?

Для поддерживаемых типов страниц обычно да, в этом его смысл. Для остальных страниц Google такое использование не поддерживает, так что надёжно сравнивать не с чем.

Нужна ли карта сайта, если пользуюсь сервисом?

Да. По карте сайта Google следит за вашим сайтом постоянно. Сервис помогает просканировать конкретные адреса раньше. Это разные задачи.

Можно ли совмещать сервис индексации и Search Console?

Да, и так даже удобнее. Отправляйте адреса через сервис, а результат смотрите в проверке URL и в отчёте об индексировании. Search Console остаётся главным источником правды о том, что Google думает о ваших страницах.

Что делать, если сервис отправил ссылки, а в индексе их нет?

Проверьте статус этих адресов в Search Console. Если там «просканирована, но пока не проиндексирована», Google страницы видел и не взял, и дело в их содержании. Если «обнаружена», сканирования ещё не было, и стоит посмотреть на скорость сервера и перелинковку.

Как понять, работает ли сервис на моих сайтах?

Смотрите на результат, который можно проверить самостоятельно: сколько отправленных страниц Google просканировал и проиндексировал и сколько это стоило. Всё это видно в Search Console, без чьих-либо обещаний. Начните с небольшой партии хороших страниц и сравните даты отправки с датами сканирования в проверке URL.