Чек-лист индексации сайта: Яндекс Вебмастер и Search Console

Проверка индексации отвечает на простой вопрос: видят ли Яндекс и Google те страницы, ради которых сайт существует. Для этого сравните три списка: какие страницы есть на сайте, какие поисковик держит в поиске и какие он исключил. Если списки расходятся, причина почти всегда находится в отчётах Яндекс Вебмастера и Google Search Console за один вечер.

С индексации начинается любой аудит, потому что остальные проверки теряют смысл, пока страница не в поиске. Общая логика технической части описана в обзоре технического аудита, а здесь — пошаговый чек-лист.

Что подготовить

Нужны подтверждённые права на сайт в Вебмастере и Search Console. Если сайт подключён впервые, данные появятся не сразу: подключите сервисы заранее и вернитесь к проверке через несколько дней. Ещё понадобится эталонный список страниц, то есть то, что должно быть в поиске. Его дают карта сайта, выгрузка из CMS или обход сайта программой-краулером.

Чек-лист по пунктам

1. Сравните три числа. Сколько страниц на сайте, сколько в поиске Яндекса, сколько в поиске Google. Расхождение в пределах нескольких процентов нормально, разрыв в разы — сигнал.
2. Откройте список страниц в поиске в Вебмастере. Пролистайте его: нет ли там служебных адресов, страниц поиска по сайту, фильтров, сортировок, адресов с ?utm_source= и других параметров.
3. Откройте исключённые страницы и сгруппируйте их по причинам: дубль, недостаточно качественная, запрет в robots.txt, noindex, редирект, ошибка ответа сервера.
4. Проверьте важные страницы поштучно. В Вебмастере есть проверка статуса конкретного URL, в Search Console — проверка URL. Возьмите главную, ключевые разделы, 5–10 карточек или статей.
5. Повторите то же в Search Console в отчёте об индексировании страниц: там причины называются иначе, но смысл похожий.
6. Посмотрите динамику. Резкое падение числа страниц в поиске на графике обычно совпадает с выкладкой обновления, сменой шаблона или правкой robots.txt.
7. Проверьте оператором site: в строке поиска — это быстрая грубая оценка без доступа к сервисам. Число результатов приблизительное, но позволяет заметить, что в выдачу попал мусор.

site:example.ru
site:example.ru/catalog/

Таблица проверки

Как читать причины исключения

Дубль. Поисковик нашёл две страницы с одинаковым содержанием и оставил одну. Плохо, если исключена нужная вам версия, например чистый адрес вместо адреса с параметром. Подробный разбор — в чек-листе дублей и canonical.

Недостаточно качественная. Яндекс так помечает страницы, которые, по его оценке, мало полезны в поиске: пустые карточки, страницы тегов, однотипные тексты с заменой названия города. Это проблема содержания, а не техники, и решается она переработкой текста или объединением страниц. Признаки тонких страниц разобраны в обзоре контентного аудита.

Запрещено в robots.txt или noindex. Если исключены нужные страницы, ищите ошибку в правилах или в шаблоне. Частая ситуация: закрытие от индексации осталось с тестовой версии сайта. Как проверить файл, описано в чек-листе robots.txt и sitemap.

Редирект. Нормально для старых адресов после переезда. Плохо, если на редирект уходят адреса из меню и карты сайта: значит, внутренние ссылки ведут на устаревшие URL.

Ошибка ответа сервера. Если на важных страницах встречаются ответы 5xx, проблема в хостинге или в нагрузке, и её нужно решать в первую очередь.

Пример на условном сайте

Интернет-магазин инструмента: на сайте 1 200 карточек и 60 разделов. В Вебмастере в поиске 4 000 страниц. В списке видно, что большая часть — страницы фильтров вида /catalog/drel/?brand=…&sort=price. Вывод для отчёта: фильтры открыты для индексации и размножили каталог. Действие: закрыть параметры сортировки, для полезных фильтров сделать отдельные посадочные страницы с собственными адресами, остальное убрать из поиска.

Как это выглядит в отчёте подрядчика

Хороший раздел про индексацию содержит цифры из обоих поисковиков на дату проверки, разбивку исключённых страниц по причинам, примеры URL для каждой причины и действия с приоритетом. Отписка выглядит так: «индексация в норме» без цифр или скриншот общего графика без разбора. Что ещё должно быть в отчёте, разобрано в статье о хорошем отчёте.

Итог проверки

• Известны три числа: страницы на сайте, в поиске Яндекса и в поиске Google.
• В поиске нет служебных адресов и страниц с параметрами.
• Каждая причина исключения разобрана на примерах URL.
• Ключевые страницы проверены поштучно и находятся в поиске.
• Провалы на графике индексации сопоставлены с изменениями на сайте.

Вопросы и ответы

Сколько ждать, пока новая страница попадёт в поиск?

Срок зависит от сайта и частоты обхода: у сайта, который робот посещает часто, новые страницы появляются быстрее, у нового или редко обновляемого сайта на это уходит больше времени. Ускорить процесс помогают ссылка на страницу из меню или раздела, адрес в карте сайта и отправка на переобход через Вебмастер. Если страница долго не появляется, проверьте её статус в карточке URL.

Почему в Яндексе и Google разное число страниц в индексе?

Поисковики по-разному отбирают страницы, по-разному обходят сайт и по-разному относятся к дублям. Небольшая разница нормальна. Если разрыв большой, сравните причины исключения в обоих сервисах: обычно один из поисковиков проиндексировал адреса с параметрами, а другой их отбросил, или одна система считает часть страниц малополезными.

Можно ли проверить индексацию без доступа к Вебмастеру?

Грубо можно: оператор site: в поиске и запрос с точной цитатой из текста страницы покажут, есть ли она в выдаче. Но причины исключения, статистику обхода и ошибки сервера видно только в Вебмастере и Search Console. Если вы проверяете чужой сайт или подрядчика, попросите гостевой доступ к сервисам.

Что важнее: попасть в индекс всеми страницами или только нужными?

Только нужными. Тысячи страниц фильтров и параметров в поиске не приносят трафика, зато размывают оценку сайта и тратят время робота. Цель проверки — чтобы в поиске были страницы, которые отвечают на запросы людей, а служебное и дублирующее оставалось за его пределами.