Проверка robots.txt для Google и ботов нейросетей
Проверка robots.txt от Rankmetr читает файл вашего сайта, показывает, какие правила действуют для Googlebot и для роботов ИИ, и проверяет, могут ли они реально открыть страницы. Инструмент в раннем доступе: оставьте сайт, и мы сообщим, когда бесплатная проверка откроется.
Проверка robots txt онлайн
Бесплатная проверка в раннем доступе. Оставьте сайт и рабочую почту, и мы напишем, когда её можно будет запустить.
Зачем нужен robots.txt
robots.txt это текстовый файл в корне сайта, по адресу ваш-сайт.com/robots.txt. В нём правила для поисковых роботов: какие разделы можно обходить, а какие нет. Файл не обязателен, но без него роботы тратят время на служебные страницы: корзину, поиск по сайту, фильтры, личный кабинет.
Важно: robots.txt запрещает обход, а не индексацию. Страница, закрытая в файле, может попасть в поиск, если на неё ссылаются. Чтобы убрать страницу из выдачи, нужен тег noindex, а сама страница при этом должна быть открыта для обхода.
Основные директивы
- User-agent: для какого робота группа правил. Звёздочка означает всех роботов, у которых нет своей группы.
- Disallow: запрет обхода пути. Disallow: / закрывает весь сайт.
- Allow: разрешение внутри закрытого раздела.
- * и $: любые символы и конец адреса, например запрет всех URL с параметром сортировки.
- Sitemap: адрес карты сайта.
Что показывает проверка файла robots txt
- Живой файл: загружаем robots.txt так же, как робот, включая правила, которые добавила CMS или CDN.
- Группы правил: какие директивы действуют для каждого робота и не закрыты ли важные страницы, CSS и JS.
- Боты ИИ: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Google-Extended: открыт, закрыт или закрыт частично.
- Реальный доступ: запрос с User-Agent каждого бота: бывает, что файл разрешает, а защита от ботов на хостинге блокирует.
Как читать результат
Робот выполняет только одну группу, ту, где его имя указано точнее всего. Если в файле есть группа для GPTBot, правила под User-agent: * на него уже не действуют. Это частая ошибка: кажется, что общий запрет закрывает всех, а у отдельного бота свои правила.
Если файл разрешает доступ, а реальный запрос не проходит, причина в настройках хостинга или CDN, а не в robots.txt. Закрытие GPTBot не убирает сайт из поиска ChatGPT: там работает OAI-SearchBot. Google-Extended управляет использованием контента для Gemini, и, по словам Google, на ранжирование в поиске не влияет.
Что делать с результатами
- 01
Решите про ИИ
Хотите быть в ответах нейросетей, не закрывайте их поисковых ботов. Боты для обучения моделей это отдельное решение.
- 02
Поправьте файл
Закрывайте только служебные разделы, не запрещайте CSS и JS.
- 03
Проверьте CDN
Если ботов блокирует защита, добавьте исключения в настройках.
- 04
Проверяйте регулярно
После обновлений сайта повторяйте проверку; технический аудит делает это по расписанию.
Другие способы проверить robots.txt
У Google есть отчёт о файле robots.txt в Search Console, у Яндекса анализ robots.txt в Вебмастере. Они показывают, как файл видит их робот. Наш инструмент добавляет то, чего там нет: правила и реальный доступ для ботов ИИ. Для описания сайта для языковых моделей есть генератор llms.txt, а о работе с видимостью в нейросетях читайте на странице GEO.
Частые вопросы
Как проверить файл robots.txt?
Откройте ваш-сайт.com/robots.txt в браузере, затем проверьте правила в Search Console или в нашем инструменте: он покажет, что действует для Googlebot и ботов ИИ.
Обязателен ли robots.txt?
Нет. Без файла роботы обходят всё. Но он помогает закрыть служебные разделы и указать карту сайта.
Где находится файл и как его создать?
В корне домена. Это обычный текстовый файл: создайте его в редакторе или в настройках CMS и загрузите на сайт.
Как запретить индексацию сайта через robots.txt?
Строка Disallow: / закрывает обход всего сайта, но страницы при этом могут остаться в поиске. Для этого нужен noindex или закрытие паролем.
Что закрывать в robots.txt?
Служебные разделы: корзину, поиск по сайту, личный кабинет, страницы с параметрами. Не стоит закрывать CSS, JS и страницы, которые должны быть в поиске.
Как закрыть сайт от всех, кроме Google?
Сделайте группу для Googlebot с разрешением и общую группу User-agent: * с Disallow: /. Каждый робот выполнит свою группу.
Смотрите также
Ранний доступ к проверке robots.txt
Оставьте сайт и рабочую почту. Мы сообщим, когда бесплатная проверка откроется.