Проверка robots.txt и sitemap.xml: чек-лист с примерами

robots.txt говорит роботу, какие разделы сайта обходить не нужно, а sitemap.xml перечисляет адреса, которые вы хотите видеть в поиске. Проверка обоих файлов занимает полчаса и ловит одни из самых дорогих ошибок аудита: закрытый от робота сайт и карту, набитую редиректами и мусором. Ниже — порядок действий и норма для каждого пункта.

Эти файлы — часть технической проверки, обзор которой есть на странице технического аудита. Результат удобно сверять с чек-листом индексации: если нужные страницы исключены с причиной «запрещено в robots.txt», ошибка здесь.

Часть 1. robots.txt

Откройте в браузере адрес example.ru/robots.txt. Файл должен открываться по этому адресу, отдавать код 200 и выглядеть как обычный текст.

1. Проверьте, что сайт не закрыт целиком. Строка Disallow: / в блоке для всех роботов или для Яндекса закрывает весь сайт. Она часто остаётся после разработки на тестовом домене.
2. Сверьте запреты со структурой. Закрыты должны быть служебные зоны: корзина, личный кабинет, поиск по сайту, страницы сравнения, технические папки. Каталог, услуги, статьи, контакты закрыты быть не должны.
3. Проверьте, не закрыты ли стили и скрипты. Если робот не может загрузить CSS и JavaScript, он видит страницу иначе, чем посетитель, и может неверно оценить мобильную версию.
4. Посмотрите на Clean-param. Эта директива понятна Яндексу и говорит ему, что параметры вроде меток рекламы не меняют содержание страницы.
5. Найдите строку Sitemap с полным адресом карты сайта.
6. Прогоните файл через анализ robots.txt в Вебмастере: инструмент показывает ошибки синтаксиса и позволяет проверить, разрешён ли конкретный URL.

Пример разумного файла для небольшого магазина:

User-agent: *
Disallow: /cart/
Disallow: /account/
Disallow: /search/
Disallow: /*?sort=

User-agent: Yandex
Disallow: /cart/
Disallow: /account/
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign&yclid&gclid

Sitemap: https://example.ru/sitemap.xml

Обратите внимание: если для Яндекса есть отдельный блок User-agent: Yandex, робот Яндекса читает только его, а общие правила из блока * для него не действуют. Поэтому запреты в отдельном блоке повторяют целиком.

Чего robots.txt не делает

Запрет в robots.txt не удаляет страницу из поиска надёжно: если на закрытый адрес много ссылок, Google может показать его в выдаче без описания. Чтобы страница точно не попала в индекс, нужен метатег noindex в коде страницы, и при этом сама страница должна быть открыта для обхода — иначе робот тег не увидит.

Часть 2. sitemap.xml

Откройте карту сайта по адресу из robots.txt. Если сайт большой, это может быть индексный файл со ссылками на несколько карт поменьше.

1. Проверьте, что карта открывается и отдаёт код 200, а не страницу ошибки или пустой файл.
2. Посчитайте адреса и сравните с числом полезных страниц. Если в карте втрое больше адресов, чем товаров и статей, туда попали фильтры, теги или служебные URL.
3. Проверьте выборку адресов на коды ответа. В карте должны быть только страницы с ответом 200. Редиректы, 404 и страницы с noindex из неё убирают.
4. Сверьте адреса с каноническими. Если страница указывает canonical на другой URL, в карте должен стоять именно канонический адрес. Логика описана в чек-листе дублей и canonical.
5. Проверьте протокол и домен. Все адреса с https и в одном варианте написания домена — с www или без, как выбрано на сайте.
6. Посмотрите поле lastmod, если оно есть. Дата должна меняться при реальном изменении страницы, а не ставиться текущей у всех адресов при каждой генерации.
7. Отправьте карту в Вебмастер и Search Console и посмотрите, что сервисы пишут об ошибках обработки.

Таблица проверки

Пример на условном сайте

Сайт стоматологии после смены шаблона. В Вебмастере за неделю число страниц в поиске упало вдвое. В robots.txt нашлась строка Disallow: /uslugi/, которую разработчик добавил, пока раздел переделывался, и забыл снять. Карта сайта при этом продолжала перечислять все услуги, и Вебмастер показывал предупреждение, что адреса из карты запрещены к обходу. Исправление — удалить строку, проверить разрешение в анализе robots.txt, отправить ключевые страницы на переобход. Такие ошибки часто всплывают после редизайна, поэтому проверку стоит включать в план работ, описанный в статье об аудите перед редизайном и переездом.

Итог проверки

• robots.txt открывается, отдаёт 200 и не закрывает сайт или его важные разделы.
• Служебные зоны закрыты, стили и скрипты открыты.
• Для Яндекса прописан Clean-param для меток и служебных параметров.
• В карте сайта только канонические адреса с ответом 200, в одном формате.
• Карта отправлена в Вебмастер и Search Console без ошибок обработки.

Вопросы и ответы

Нужен ли отдельный блок для Яндекса в robots.txt?

Не обязательно. Если правила для всех роботов одинаковые, достаточно общего блока, а Clean-param можно разместить в нём же. Отдельный блок нужен, когда для Яндекса есть свои директивы. Тогда помните, что робот Яндекса будет читать только свой блок, и все общие запреты в нём нужно повторить.

Как часто обновлять карту сайта?

Карта должна обновляться автоматически при добавлении, удалении или изменении страниц. Ручная карта, собранная один раз, быстро устаревает и начинает перечислять удалённые адреса. Проверьте, что ваша CMS или генератор пересобирает файл сам, и раз в квартал выборочно сверяйте его состав.

Можно ли закрыть страницу и в robots.txt, и через noindex?

Так делать не стоит. Если адрес закрыт в robots.txt, робот не загрузит страницу и не увидит метатег noindex. Выберите один способ: для страниц, которые не должны быть в поиске, оставьте обход открытым и поставьте noindex, а robots.txt используйте для служебных зон, обход которых просто не нужен.

Влияет ли размер карты сайта на индексацию?

Сам размер — нет, у формата есть только технические ограничения на число адресов и вес одного файла, после которых карту делят на части. Влияет качество: если в карте много редиректов, ошибок и дублей, она перестаёт быть надёжной подсказкой для робота. Лучше короткая чистая карта, чем полная, но засорённая.