Технические ошибки сайта, которые находит аудит, и как их чинить

Технический аудит почти всегда находит одни и те же ошибки: страницы закрыты от робота, в поиск попадают дубли, сервер отвечает не тем кодом, ссылки ведут в никуда. Ниже — десять самых частых, с признаками, способом найти и порядком исправления. Если вы получили отчёт подрядчика, сверьте его с этим списком: хороший аудит описывает ошибку так же — где, сколько страниц и что сделать.

Общая логика разбора — в обзоре технического аудита. Здесь — только ошибки и лечение.

Сводная таблица

1. Нужные страницы закрыты от индексации

Как проявляется. Раздел каталога или новые статьи не появляются в поиске неделями. В Вебмастере они числятся среди исключённых с причиной вроде запрета в robots.txt или метатега noindex.

Как найти. Откройте исключённые страницы в Вебмастере и отчёт об индексировании в Search Console, отфильтруйте по причине. Затем проверьте сам robots.txt и код страницы: ищите <meta name="robots" content="noindex"> и заголовок ответа X-Robots-Tag: noindex.

Как чинить. Уберите запрет, оставив его только для служебных разделов. Подробный порядок проверки — в чек-листе robots.txt и sitemap.

2. Сайт открывается по нескольким адресам

Как проявляется. Одна и та же главная доступна как http://, https://, с www и без, иногда ещё с index.php на конце.

Как найти. Наберите в браузере все четыре варианта адреса. Правильно, когда три из них одним переходом с кодом 301 ведут на четвёртый, главный.

Как чинить. Настройте постоянный редирект 301 на основное зеркало на уровне сервера, укажите в canonical только его, проверьте, что внутренние ссылки ведут на него же.

3. Мягкие 404

Как проявляется. На несуществующий адрес сайт показывает «Страница не найдена», но сервер отвечает кодом 200. Для робота это нормальная страница, и такие страницы копятся в индексе.

Как найти. Откройте заведомо несуществующий адрес, например /proverka-123/, и посмотрите код ответа во вкладке сети DevTools. Search Console отдельно помечает такие страницы.

Как чинить. Настройте отдачу кода 404 (или 410 для навсегда удалённого). Удалённые товары с похожей заменой лучше перенаправить 301 на замену или на категорию.

4. Цепочки и петли редиректов

Как проявляется. Старый адрес ведёт на промежуточный, тот — на третий, и только потом на рабочую страницу. В худшем случае адреса ссылаются друг на друга по кругу, и страница не открывается совсем.

Как найти. Краулер показывает цепочки отдельным списком. Вручную — вкладка сети в DevTools: видно каждый переход и его код.

Как чинить. Перенаправляйте каждый старый адрес сразу на конечный. После переездов перепишите старые правила, а не дописывайте новые поверх.

5. Битые внутренние ссылки

Как проявляется. Ссылки из меню, текста или карточек ведут на страницы с ошибкой 404. Обычно это следы удалённых товаров и переименованных разделов.

Как найти. Краулер выдаёт список ссылок с ошибочным ответом и страницы, на которых они стоят. В Вебмастере есть отчёт о битых внутренних ссылках.

Как чинить. Замените ссылку на актуальную страницу, а не только поставьте редирект: ссылка через редирект — лишний шаг для робота и посетителя.

6. Дубли из-за параметров и фильтров

Как проявляется. В индексе сотни адресов вида ?sort=price, ?utm_source=, ?page=1 с тем же содержимым, что у основной страницы.

Как найти. Сравните число страниц в поиске с реальным, затем посмотрите примеры исключённых как дубли. Оператор site: с частью параметра быстро показывает масштаб.

Как чинить. Для Яндекса пропишите параметры в директиве Clean-param, для всех поисковиков — canonical на основную страницу. Полезные посадочные фильтры, например «перфораторы аккумуляторные», делают отдельными страницами со своим адресом и текстом. Разбор вариантов — в чек-листе дубли и canonical.

7. Неверный canonical

Как проявляется. Все страницы пагинации указывают canonical на первую, товары — на категорию, или canonical ведёт на адрес с редиректом либо ошибкой.

Как найти. Краулер выгружает canonical каждой страницы. Ищите несовпадения: canonical не на себя там, где страница уникальна.

Как чинить. Уникальная страница указывает canonical на саму себя. На другую — только если это действительно дубль. Canonical всегда ведёт на рабочий адрес с ответом 200.

8. Устаревший или «грязный» sitemap.xml

Как проявляется. В карте сайта лежат удалённые страницы, адреса с редиректами, закрытые от индексации разделы, а новых страниц нет.

Как найти. Загрузите sitemap в краулер как список адресов и посмотрите коды ответа. В Вебмастере и Search Console видны ошибки обработки файла.

Как чинить. Карта должна собираться автоматически и содержать только канонические страницы с ответом 200, открытые для индексации.

9. Смешанный контент и ошибки HTTPS

Как проявляется. Сайт на HTTPS, но картинки или скрипты грузятся по http://. Браузер убирает значок защищённого соединения или блокирует часть файлов.

Как найти. Консоль DevTools пишет предупреждения о смешанном содержимом. Проверьте и срок действия сертификата.

Как чинить. Замените адреса ресурсов на https:// или относительные, настройте автопродление сертификата.

10. Медленный ответ сервера

Как проявляется. Страница долго остаётся белой, прежде чем начнёт появляться содержимое. Особенно заметно на страницах каталога с фильтрами.

Как найти. Во вкладке сети DevTools посмотрите время ожидания первого байта у HTML-документа. PageSpeed Insights показывает его же в диагностике.

Как чинить. Кэширование страниц, оптимизация запросов к базе, более мощный тариф хостинга. Остальные причины медленной загрузки — в чек-листе скорости и Core Web Vitals.

В каком порядке исправлять

1. Всё, что выбрасывает нужные страницы из поиска: запреты, мягкие 404 на рабочих страницах, неверный canonical.
2. Дубли и зеркала: они размывают сигналы и раздувают индекс.
3. Редиректы и битые ссылки: тратят обход и раздражают посетителей.
4. Карту сайта, HTTPS и скорость сервера.

Ведите таблицу: ошибка, адреса, что сделано, дата перепроверки. Ошибки контента и структуры разобраны в материале про ошибки контента и структуры.

Итог проверки

• Каждая ошибка в отчёте привязана к адресам и числу страниц.
• Запреты индексации, зеркала и дубли исправлены в первую очередь.
• Редиректы ведут на конечную страницу одним шагом, внутренние ссылки — без 404.
• Sitemap содержит только канонические страницы с ответом 200.
• Для каждой правки записана дата перепроверки.

Вопросы и ответы

Сколько времени нужно, чтобы исправления отразились в поиске?

Зависит от того, как часто робот обходит сайт. Исправленный robots.txt поисковики перечитывают быстро, а вот выпавшие страницы возвращаются в индекс постепенно, по мере переобхода. Ускорить процесс помогает отправка важных адресов на переобход в Вебмастере и запрос индексирования в Search Console.

Можно ли закрыть дубли только через robots.txt?

Можно, но это худший вариант для страниц, на которые уже есть ссылки: робот не видит закрытую страницу и не узнаёт, какая из копий главная. Надёжнее canonical и Clean-param, а запрет в robots.txt оставляют для служебных разделов вроде корзины и поиска по сайту.

Нужен ли редирект для каждого удалённого товара?

Если у товара есть близкая замена или он приносил трафик, лучше перенаправить адрес 301 на замену или категорию. Если товар случайный и без посещений, достаточно честного ответа 404 или 410. Массовое перенаправление всего подряд на главную поисковики воспринимают как мягкую 404.

Почему краулер показывает ошибки, которых нет в Вебмастере?

Краулер обходит сайт прямо сейчас и по всем ссылкам, а Вебмастер отражает то, что робот Яндекса успел увидеть, с задержкой. Поэтому краулер находит свежие проблемы раньше, а Вебмастер показывает, какие из них уже повлияли на поиск. Смотрите оба источника.