Индексация по sitemap: отправить в Google все страницы карты сайта
Sitemap в Search Console сообщает Google, какие адреса есть на сайте, но не заставляет сканировать их быстрее. Пришлите ту же карту сайта в @IndexForgeBot: бот откроет каждую страницу, отсеет то, что не может попасть в индекс, и отправит остальное в Google. Обычно индексация занимает 1–3 дня.
Sitemap в Search Console и sitemap в боте: в чём разница
Первое продолжайте делать: так Google следит за сайтом постоянно. Второе нужно, когда пачку страниц надо просканировать сейчас, а не когда дойдёт очередь.
Карта сайта в Search Console работает как список адресов для обхода по собственному расписанию Google. Бот отправляет каждую годную страницу на сканирование сразу и заранее показывает, какие отправлять бессмысленно.
| Параметр | Search Console | Index Forge |
|---|---|---|
| Что делает | Даёт Google список URL для обхода в его темпе | Отправляет каждый годный URL на сканирование сейчас |
| Проверка страниц | Сообщает о проблемах после сканирования | Отсеивает 404, редиректы, noindex, robots.txt, canonical до отправки |
| Подтверждение сайта | Обязательно | Не нужно |
| Стоимость | Бесплатно | $0.01 за прошедший проверку URL |
Sitemap-index проходим до последней страницы
Пришлите sitemap_index.xml, и бот прочитает каждую вложенную карту. Можно прислать и несколько адресов sitemap одним сообщением.
Или просто пришлите домен
Напишите в чат yoursite.com. Бот отправит главную, а одной кнопкой заберёт все страницы из карты сайта. Если sitemap на сайте нет, бот так и скажет и попросит прислать список адресов.
Это самый быстрый вариант для нового сайта: один домен в чате, и через минуту вы видите, сколько страниц можно отправить и сколько это стоит.
Чистим карту сайта заодно с индексацией
Sitemap, забитый редиректами и закрытыми страницами, приучает Google не доверять вашим датам и адресам. Отчёт бота показывает, какие записи убрать.
- 404 и 410Удалённые страницы всё ещё в карте. Уберите их из sitemap.
- РедиректыСтарые адреса. Укажите в карте конечный URL.
- noindexСтраница не должна одновременно стоять в sitemap и быть закрытой от индексации.
- Canonical на другой адресВ sitemap место только каноническим URL.
- Запрет в robots.txtGoogle не может их сканировать, так что в карте они бесполезны.
Что происходит после отправки sitemap
Полную картину вы видите до оплаты: сколько страниц в карте, сколько из них можно проиндексировать и сколько это стоит.
- Бот скачивает sitemap. Если это sitemap-index, открывает каждую вложенную карту из списка.
- Собирает все адреса страниц и убирает дубли.
- Проверяет каждую страницу как Googlebot: код ответа, редиректы, noindex в meta и заголовках, robots.txt и canonical.
- Присылает сводку: сколько страниц прошло и цена по $0.01 за каждую.
- Вы подтверждаете, и прошедшие страницы уходят на сканирование. За непринятые кредит возвращается.
Большие карты сайта
В одну отправку входит до 10 000 URL. Крупные сайты отправляют sitemap частями.
Если в sitemap-index больше 10 000 страниц, присылайте вложенные карты по одной: например, сначала статьи, потом товары, потом категории. У такого деления есть второй плюс: отчёт об отсеянном по каждой части сразу показывает, у какого типа страниц проблемы.
При регулярных публикациях не нужно каждый раз отправлять карту целиком. Присылайте только новые и обновлённые адреса, в чат или через API, а sitemap в Search Console оставьте для постоянного обхода.
Когда индексация по sitemap полезнее всего
Google читает карты сайта по своему расписанию. Вот случаи, когда ожидание обходится дорого.
- Новый сайтУ Google нет истории сканирования, первое время робот заходит редко.
- Новый разделНа существующий сайт разом добавили сотни страниц.
- После переездаНовые адреса нужно просканировать раньше, чем выпадут старые.
- После исправления ошибокСтраницы, которые были закрыты noindex или сломаны, а теперь в порядке.
Если карту сайта не удалось прочитать
Обычно причина одна из трёх, и каждую легко исправить на своей стороне.
- Sitemap не найденАдрес отдаёт 404. Попробуйте
/sitemap_index.xmlили/wp-sitemap.xml. - Не XMLСервер вместо карты отдаёт HTML-страницу, часто из-за плагина кеша или защиты.
- Пустая картаФайл есть, но страниц в нём нет. Проверьте настройки CMS или плагина.
Где взять адрес sitemap на популярных платформах
Если не знаете, где лежит карта вашего сайта, начните с этих адресов или просто пришлите домен.
| Платформа | Обычный адрес |
|---|---|
| WordPress без плагинов | /wp-sitemap.xml |
| WordPress с SEO-плагином | /sitemap_index.xml |
| Shopify | /sitemap.xml |
| Самописный сайт | Чаще всего /sitemap.xml; адрес также указывают в robots.txt строкой Sitemap: |
Быстрее всего заглянуть в /robots.txt сайта: там обычно указан точный адрес карты. Бот, получив домен, ищет карту сам, а если не находит, просит прислать список адресов файлом.
Вопросы об индексации по sitemap
Не нашли ответ? Напишите в поддержку прямо в боте.
Отправка sitemap сама по себе индексирует страницы?
Можно прислать sitemap-index?
Что если в карте больше 10 000 адресов?
Подходит ли sitemap от WordPress, Tilda или Shopify?
Нужно ли по-прежнему добавлять sitemap в Search Console?
Спишутся ли деньги за битые страницы из карты?
Бот меняет мою карту сайта?
Как проиндексировать все страницы из sitemap?
Нужно ли подтверждать сайт, чтобы отправить его sitemap боту?
Сколько стоит индексация сайта по sitemap?
Следующие 10 ссылок
за наш счёт
Откройте бота, вставьте ссылки и посмотрите, что пройдёт проверку. Без карты и форм регистрации.