Проверка индексации страницы: почему URL не попадает в Google
Вставьте до 10 адресов: свои страницы или страницы с вашими обратными ссылками. Каждый запрашивается как Googlebot, и вы видите причину, по которой его можно или нельзя проиндексировать: код ответа, редирект, noindex, robots.txt или canonical. Бесплатно, без регистрации.
Что проверяет инструмент
Те же проверки, которые бот делает до списания за ссылку. Если URL не проходит хотя бы одну, Google его не проиндексирует, каким бы хорошим ни был текст.
- Код ответа
200проходит. 404 и 410 значат, что страницы нет, другие 4xx что доступ закрыт, 5xx что сервер упал. - РедиректыАдрес с редиректом не индексируется под своим URL. Проверяйте конечный.
- noindexВ meta robots, meta googlebot или в заголовке
X-Robots-Tag. - robots.txtЗакрыт ли путь для Googlebot.
- CanonicalНе указывает ли страница основной версией другой адрес.
«Можно проиндексировать» и «в индексе» означают разное
Зелёный результат значит, что технически Google ничего не мешает. Попадёт ли страница в индекс, зависит от того, просканирует ли её Google и сочтёт ли достойной.
Чтобы узнать, есть ли страница в индексе уже сейчас, на своих сайтах используйте «Проверку URL» в Search Console. Для обратных ссылок на чужих сайтах надёжные способы собраны в гайде о том, как проверить индексацию ссылки.
Чтобы годные страницы просканировали быстрее, отправьте их в @IndexForgeBot. Он делает те же проверки для 10 000 ссылок за раз и списывает $0.01 только за прошедшие.
Как читать результат
У каждого URL один статус. Вот что он значит и что делать дальше.
| Статус | Что значит | Что делать |
|---|---|---|
ok | Технических препятствий нет | Убедитесь, что на страницу ведут ссылки и она полезна, затем отправьте на сканирование |
404 | Страницы не существует | Исправьте адрес или восстановите страницу |
4xx | Доступ закрыт или другая ошибка клиента | Проверьте файрвол, авторизацию и защиту от ботов |
5xx | Ошибка сервера | Повторите позже; если повторяется, проблема у хостинга |
redirect | Адрес перенаправляет в другое место | Используйте конечный URL |
noindex | Страница просит не индексировать её | Уберите noindex из meta robots или X-Robots-Tag |
robots | robots.txt закрывает путь для Googlebot | Поправьте правило Disallow, которое совпадает с путём |
canonical | Основной версией указан другой URL | Поставьте canonical на саму страницу или индексируйте другой адрес |
error | Адрес не удалось загрузить | Проверьте URL, DNS и SSL-сертификат |
Проверьте донора до покупки ссылки
Прежде чем платить за гостевую статью или размещение в каталоге, вставьте сюда несколько уже опубликованных страниц из того же раздела сайта.
Если они возвращают noindex или robots, ваша ссылка там тоже не попадёт в индекс, что бы ни обещал продавец. Если ok, у размещения хотя бы есть шанс. Остальные причины, вроде тонких страниц и отсутствия внутренних ссылок, разобраны в гайде о том, почему не индексируются обратные ссылки.
Когда размещение вышло, проверьте точный адрес ещё раз. Бывает, что владелец публикует в другом разделе, чем договаривались, или ставит canonical на другую страницу.
От проверки к индексации
Чекер показывает, можно ли проиндексировать страницу. Бот отправляет годные страницы на сканирование.
- До 10 URL здесьБесплатно, без регистрации, до 10 проверок в минуту.
- До 10 000 в ботеТе же проверки, затем отправка по $0.01 за прошедший URL.
- Через APIДля скриптов и автоматизации. Смотрите справочник API.
Почему страница выглядит нормально, но не индексируется
Браузер скрывает большую часть того, что читает Google.
Заголовок X-Robots-Tag не виден в исходном коде страницы. Правило в robots.txt никак не меняет её внешний вид. Canonical на другой адрес занимает одну строку в head. Файрволы иногда нормально показывают страницу людям и блокируют ботов. Чекер запрашивает каждый URL как Googlebot и читает заголовки, HTML и robots.txt, поэтому видит то, что браузер не покажет.
Как проверить индексацию страницы в Google: инструменты рядом
Наш чекер отвечает на вопрос «можно ли». Вот чем дополнить его, чтобы узнать «есть ли уже».
| Инструмент | Что показывает | Когда использовать |
|---|---|---|
| Этот чекер | Причину, по которой адрес можно или нельзя проиндексировать | До отправки и до покупки ссылки |
| «Проверка URL» в Search Console | Есть ли страница в индексе и почему нет | Свои подтверждённые сайты |
| Поиск точного адреса в Google | Грубый ответ «нашлось / не нашлось» | Чужие страницы, быстрый взгляд |
| Отчёт «Индексирование страниц» | Статусы по всему сайту | Поиск массовых проблем |
Порядок простой: сначала убедитесь, что страницу вообще можно проиндексировать, потом отправьте её на сканирование, через несколько дней посмотрите результат в Search Console или поиском. Если страница всё ещё не в индексе, а технически всё в порядке, причина в самой странице, и разбирать её стоит по чек-листу «страница не индексируется».
Вопросы о проверке
Нужно больше 10 адресов? Используйте бота.
Проверка бесплатная?
Инструмент показывает, есть ли страница в индексе?
Можно проверять обратные ссылки на чужих сайтах?
Почему проверка идёт до 40 секунд?
Проверяет ли инструмент индексацию сайта целиком?
Почему у страницы статус canonical, хотя она основная?
Чем проверка индексируемости отличается от проверки индексации сайта онлайн?
Можно ли проверить больше 10 адресов бесплатно?
Следующие 10 ссылок
за наш счёт
Откройте бота, вставьте ссылки и посмотрите, что пройдёт проверку. Без карты и форм регистрации.