Страницы есть, а в Яндексе их нет: 5 способов проверить индексацию сайта

Проверить индексацию сайта можно самостоятельно: сравните число страниц в Яндекс Вебмастере и Google Search Console с числом страниц в карте сайта, затем проверьте отдельные адреса. Если расхождение заметное, причина чаще всего в robots.txt, теге noindex, дублях или ошибках сервера. Их находят и исправляют настройками. Страница вне индекса не приносит заявок, как бы хорошо она написана.

Как проверить индексацию сайта: пять способов 🔍

Начните с двух официальных кабинетов: только они называют причину, по которой страницы нет в поиске. Остальные способы дополняют картину и выручают, когда доступа к кабинетам нет. Сайт на пару сотен страниц ориентировочно разбирается за рабочий день.

Яндекс Вебмастер

Добавьте сайт и подтвердите права. В разделе «Индексирование» откройте «Страницы в поиске»: там видно, сколько адресов робот загрузил, сколько попало в поиск и какие исключены. У исключённых страниц указана причина: дубль, низкое качество, запрет в robots.txt, ошибка сервера. Сравните число страниц в поиске с числом адресов в sitemap.xml. Если в карте несколько сотен адресов, а в поиске несколько десятков, проблема уже видна. Заодно проверьте регион сайта: для московской компании в Вебмастере должна стоять Москва.

Google Search Console

Отчёт «Индексирование», раздел «Страницы», делит адреса на проиндексированные и нет и объясняет причину по каждой группе. Два статуса требуют внимания в первую очередь. «Просканировано, но не проиндексировано»: робот страницу увидел и не взял, чаще из-за слабого или повторяющегося содержания. «Обнаружено, но не проиндексировано»: Google знает адрес, но до обхода очередь не дошла.

Оператор site:

Введите в Яндексе или Google запрос site:вашдомен.ru. Выдача покажет примерное число страниц в индексе. Цифра неточная, зато проверка занимает секунды: пустая выдача у работающего сайта означает серьёзную проблему. Чтобы проверить отдельный раздел, добавьте его путь: site:вашдомен.ru/catalog/.

Проверка одного адреса

Вставьте полный адрес страницы в «Проверку URL» в Search Console: инструмент покажет, есть ли страница в индексе, разрешена ли индексация и какой адрес Google считает основным. В Вебмастере есть «Проверка ответа сервера»: она показывает код ответа и заголовки, которые получает робот. Так находятся ошибки, которых не видно в браузере: страница выглядит нормально, а сервер отвечает ей кодом 404 или 503.

Логи сервера

Способ для тех, у кого есть доступ к серверу. В логах видно, заходили ли роботы Яндекса и Google на конкретные страницы и что получили в ответ. Если робот приходит раз в неделю и каждый раз получает 503, кабинеты покажут последствия с опозданием, а логи показывают причину сразу.

Почему возникают проблемы с индексацией: сайт открывается, а в поиске пусто 🤔

Типичная история. Компания запускает новый сайт после редизайна. Месяц разработчик собирал его на тестовом домене, где в robots.txt стоял запрет индексации: недоделанные страницы не должны попасть в поиск. В день запуска сайт переезжает на боевой домен, и файл едет вместе со всем остальным. Через две недели менеджер вводит название компании в Яндекс и видит старый сайт или ничего. Робот приходил, но находил запрет, поэтому уходил ни с чем.

Запрет в файле лишь одна из причин. Остальные удобно разделить на три группы.

Роботу закрыли вход

Правило Disallow: / в robots.txt, мета-тег noindex в шаблоне, заголовок X-Robots-Tag на уровне сервера, раздел за паролем. В WordPress есть галочка «Попросить поисковые системы не индексировать сайт»: её включают на время разработки и забывают выключить. Правки вносят разные люди, поэтому выяснить, кто и когда закрыл сайт, удаётся не сразу.

Робот пришёл, но страницу не взял

Адрес с www и без, со слэшем и без, страницы фильтров с параметрами в ссылке: для поисковика это разные адреса с одним содержанием. Он выбирает один вариант, остальные исключает. Та же участь у карточек, где один абзац описания скопирован у производителя. Если у страницы неверно указан canonical, робот может исключить именно ту, которую вы продвигаете.

Сервер отвечает не то, что нужно

В вашем браузере сайт открывается, но в часы нагрузки, например во время рассылки, роботу он отдаёт ошибку 5xx. Защита от ботов на хостинге иногда принимает поисковых роботов за атаку и блокирует их по IP. Страницы из sitemap.xml ведут на 404 или через цепочку из трёх редиректов. На такой сайт робот тратит меньше времени и приходит реже.

Что вы теряете, пока страницы вне индекса

Ставка простая. Страница вне индекса не получает из поиска ни одного клика и ни одной заявки. На новом сайте это выглядит так: вы заплатили за разработку, а клиентов приводит только контекстная реклама, и каждый клик в ней стоит денег, хотя часть спроса должна была закрывать органика. На старом сайте тише: позиции уходят без сигнала, заявок становится меньше через пару недель, когда связать падение со вчерашним релизом уже трудно.

Как исправить ошибки индексации: от симптома к действию ✅

Не правьте всё подряд. Найдите свой симптом в отчёте Вебмастера или Search Console и идите по строке таблицы.

Порядок действий после правки

1. ✓Исправьте причину и убедитесь, что правка применилась на боевом домене, а не на тестовом.
2. ✓Откройте исправленный адрес в «Проверке URL» или «Проверке ответа сервера» и посмотрите, что видит робот.
3. ✓Отправьте страницы на переобход: в Вебмастере есть раздел «Переобход страниц», в Search Console кнопка «Запросить индексирование».
4. ✓Проверьте sitemap.xml: в ней должны остаться только адреса с кодом 200, без редиректов и дублей.
5. ✓Вернитесь к отчётам через неделю-две.

Срок возврата страниц зависит от размера сайта и частоты обхода: обычно это от нескольких дней до пары недель. Если через две недели ничего не изменилось, причина исправлена не полностью или найдена не вся.

Что делать, если ошибка повторяется 🔁

Вы поправили robots.txt, страницы вернулись, а через месяц пропали снова. Значит, причина сидит не в файле, а в процессе. Разработчик выкатывает обновление с тестового сайта, и запрещающий robots.txt едет на боевой вместе с кодом. SEO-плагин после автообновления сбрасывает настройки canonical. Сервер падает во время акции, и робот записывает сайт в нестабильные.

Чтобы найти повторяющуюся причину, сопоставьте дату, когда страницы пропали из индекса, с датами изменений:

• ✓релизы и правки шаблонов;
• ✓обновления CMS и плагинов;
• ✓смена хостинга или настроек защиты от ботов;
• ✓пики нагрузки в логах сервера.

Если даты совпадают с релизом, проблема в процессе выкладки. Если с пиками посещаемости, в мощности сервера. Если совпадений нет, а подрядчики по сайту и по серверу перекладывают вину друг на друга, нужен взгляд со стороны. Аудит сайта проверяет индексацию вместе с сервером и кодом, поэтому показывает, где именно рвётся цепочка.

Как предотвратить выпадение страниц из индекса 🛡

Страницы обычно пропадают после чьей-то правки на сайте или сервере. Профилактика строится вокруг этих правок.

1. ✓Закрывайте тестовую версию сайта паролем, а не запретом в robots.txt. Пароль задаётся на сервере и не переедет вместе с кодом, а файл переедет.
2. ✓Добавьте в чек-лист каждого релиза проверку robots.txt, мета-тега robots на главной и на странице каждого типа, а также кода ответа 200 у ключевых адресов.
3. ✓Раз в неделю заглядывайте в список исключённых страниц в Вебмастере и Search Console. Включите уведомления: оба кабинета пишут о серьёзных проблемах.
4. ✓Держите sitemap.xml в порядке: без 404, редиректов и дублей, только страницы, которые вы хотите видеть в поиске.
5. ✓Отключите автообновление SEO-плагинов на боевом сайте. Обновляйте сначала копию и сравнивайте настройки.
6. ✓Раз в квартал сравнивайте число страниц в индексе с числом адресов в карте сайта. Расхождение лучше заметить самому, а не по падению заявок.

Как мы проверяем индексацию в аудите сайта и сколько это стоит

Бесплатные кабинеты показывают симптомы. Какая из десятка настроек их вызвала, приходится выяснять вручную, и на это уходит время, которого у владельца бизнеса нет. В аудите мы идём от симптома к причине:

• ✓сверяем sitemap.xml, Вебмастер и Search Console и получаем список адресов, которые должны быть в поиске и не попали;
• ✓проверяем robots.txt, мета-теги, canonical и редиректы на каждом типе страниц: главная, категория, карточка, статья;
• ✓замеряем ответы сервера и разбираем логи, если есть доступ.

На выходе вы получаете список страниц с причиной по каждой группе и порядок исправления: что поправит ваш разработчик в шаблоне, а что требует изменений на сервере. Автоматический отчёт останавливается на фразе «закрыто от индексации». Мы находим, кто и как закрыл, и проверяем, что правка применилась на боевом домене.

Что входит в работу и сколько она стоит, смотрите на странице аудита сайта по 9 направлениям и в разделе цены и тарифы. Если сомневаетесь, начните с первых двух проверок из этой статьи: по их итогам станет понятно, хватит ли правки в шаблоне или нужен разбор целиком.

❓ Частые вопросы

Как быстро проверить, проиндексирован ли сайт?

Введите в Яндексе или Google запрос site:вашдомен.ru: выдача покажет примерное число страниц в индексе. Точные данные есть в Яндекс Вебмастере, раздел «Страницы в поиске», и в Google Search Console, отчёт «Индексирование». Сравните эти цифры с числом адресов в sitemap.xml: расхождение указывает на проблему.

Сколько страниц сайта должно быть в индексе?

Все, которые должны приносить трафик: главная, разделы, карточки товаров и услуг, статьи. Служебные страницы, корзина, результаты внутреннего поиска и дубли фильтров в индексе не нужны. Ориентир один: число страниц в поиске должно совпадать с числом адресов в sitemap.xml, где остались только полезные страницы.

Сколько ждать индексации новой страницы или исправления?

Срок зависит от размера сайта и частоты обхода и обычно занимает от нескольких дней до пары недель. Ускорить процесс можно: добавьте адрес в sitemap.xml, поставьте на него внутренние ссылки и отправьте на переобход в Вебмастере или запросите индексирование в Search Console. Если через две недели изменений нет, причина осталась.

Почему Google проиндексировал страницы, а Яндекс нет?

У поисковиков разные алгоритмы и требования к качеству, поэтому страница может пройти в один индекс и не пройти в другой. Проверьте причину исключения в Вебмастере. Часто виноваты отдельные правила для робота Яндекса в robots.txt, дубли или тонкое содержание. Исправьте причину и отправьте страницы на переобход.

Что входит в проверку индексации в аудите сайта ukved.ru?

Мы сверяем sitemap.xml, данные Вебмастера и Search Console, проверяем robots.txt, мета-теги, canonical, редиректы и ответы сервера. На выходе вы получаете список страниц с причиной исключения и порядком исправления. Условия и стоимость указаны на странице аудита сайта и в разделе тарифов на ukved.ru.