Как проверить, читают ли ваш сайт нейросети: логи ботов, отчёт Яндекса и правда про llms.txt
Резкий рост брендовых запросов в «Яндекс.Метрике» без запуска рекламы и новых публикаций заставил автора заглянуть в access-логи сервера. Там обнаружился целый «зоопарк» ботов языковых моделей, которые регулярно обходят сайт по понятному расписанию. Материал рассказывает, как самостоятельно проверить, читают ли ваши страницы нейросети, какие правки реально повышают шансы попасть в источники генеративных ответов и где заканчивается зона ответственности вебмастера.
Кто из ботов ходит по сайту и зачем
Первое открытие: боты одной компании решают разные задачи, и смешивать их в аналитике бессмысленно.
- GPTBot собирает данные для обучения будущих моделей. Его визиты не влияют на текущие ответы в чате — это работа на долгосрочную перспективу.
- OAI-SearchBot строит поисковый индекс, из которого ChatGPT подтягивает кандидаты при включенном веб-поиске.
- ChatGPT-User приходит по факту живого запроса пользователя. Модель решила перейти по конкретной ссылке и прочитать страницу прямо сейчас. Эти визиты — самый ценный сигнал: за каждым стоит реальный вопрос реального человека.
ClaudeBot и PerplexityBot устроены похоже: у каждого есть отдельный краулер для индексации и user‑агент для чтения по требованию. CCBot (Common Crawl) пополняет открытый архив, откуда потом черпают исследователи и стартапы. Bytespider (ByteDance) отличается особой настойчивостью и высокой частотой обращений.
Для первичного анализа достаточно простой команды в консоли или готовых отчётов в панели CDN (Cloudflare и др.). Закономерность проста: боты уходят туда, где есть чёткая структура, конкретика и цифры, а страницы с общими рассуждениями игнорируют месяцами.
Отчёт «Видимость сайта в Алисе AI» в Яндекс.Вебмастере
Пока автор копался в логах, выяснилось, что для русскоязычного сегмента давно существует готовый инструмент. В разделе «Эффективность» появился пункт «Видимость сайта в Алисе AI» — доступен всем с подтверждёнными правами на сайт, без заявок и листов ожидания.
Что показывает отчёт
- Share of Voice — доля запросов, в ответах на которые ваш сайт попал в источники, от общего числа запросов с генеративным ответом.
- Динамику по месяцам.
- Примеры конкретных запросов, где Алиса сослалась на вас.
- Список сайтов вашей тематики, которые цитируются чаще всего — фактически готовый перечень конкурентов за место в нейроответе.
Данные обновляются раз в неделю. Яндекс оценивает аудиторию быстрых ответов Алисы в 46,5 млн пользователей ежемесячно. Это уже полноценная витрина, а не эксперимент на краю выдачи. Важно, что отчёт показывает именно долю, а не абсолютные цифры: можно расти в упоминаниях и одновременно терять позицию относительно ниши, если конкуренты растут быстрее.
Нет отдельной оптимизации «под нейропоиск»
Главное заблуждение: не существует параллельного SEO для генеративных ответов. Алиса AI собирает ответ из результатов обычного поиска Яндекса. Сначала система подбирает кандидатов по вебу, потом отбирает подходящие фрагменты, а затем YandexGPT сшивает их в связный текст с карточками источников (обычно 3–6). Если страница плохо ранжируется в классической выдаче или поисковик считает её слабой, в генеративный слой она не попадёт тем более.
Нейросеть не пересказывает страницу целиком — она вырезает фрагмент: абзац, определение, таблицу, пункт списка. Единицей оптимизации становится отдельный абзац. Документ в целом вторичен: страница может быть отличной, но ни разу не процитированной, если в ней нет ни одного самодостаточного куска, понятного без контекста.
После этого автор переписал вводные абзацы нескольких материалов по принципу перевёрнутой пирамиды: сначала прямой ответ на вопрос заголовка в одно‑две фразы, потом развёртка и нюансы. Через три недели два из этих материалов появились в примерах запросов в Вебмастере.
История с llms.txt: ожидания и реальность
В прошлом году файл llms.txt позиционировали как обязательный минимум: кладёте в корень markdown‑карту сайта для языковых моделей, и они начинают вас «понимать правильно». Автор положил файл и стал следить за логами — кто его скачивает.
Результат: почти никто. По данным Limy.ai за май 2026 года на llms.txt пришлось 408 обращений из ~515 млн бот‑событий за 90 дней. Джон Мюллер (Google) уже в июне 2025 года заявил, что ни одна ИИ‑система на тот момент файл не использовала, и поставил его в один ряд с мета‑тегом keywords. Ни одна крупная платформа стандарт официально не поддержала до сих пор.
Вывод: файл дешёвый, пишется за полчаса, вреда нет — пусть лежит на случай взлёта стандарта. Но строить на нём стратегию видимости или продавать как «оптимизацию под ИИ» — примерно то же самое, что в 2000‑х набивать keywords и ждать трафика.
Отдельная головная боль: GigaChat
С российскими моделями ситуация иная. GigaChat умеет искать во внешних источниках и опираться на них, но публично документированного краулера с понятным user‑agent у неё нет. Управлять доступом через robots.txt так же прозрачно, как для Googlebot или OAI-SearchBot, не получится.
Для видимости это скорее плюс: никто ничего не закрывает, все страницы потенциально доступны. Проблема возникает у тех, кому нужно спрятать контент — закрытую базу знаний, платный раздел, персональные данные. Рабочие способы остаются стандартными: noindex на страницах, авторизация, ограничения на уровне сервера. Директива в robots.txt для GigaChat просто не работает.
Проверить, знает ли о вас GigaChat, можно только вручную: задавать те же вопросы, что и остальным моделям, и смотреть, всплывает ли название сайта.
Привычка «десять вопросов в неделю»
Самая полезная и примитивная рутина: составить список из десяти живых формулировок, которые реальный человек задаёт в вашей нише (не ключевики из Вордстата, а «что посоветуете», «чем отличается», «какой сервис выбрать для…»). Раз в неделю прогонять их через Алису, ChatGPT с поиском, GigaChat и Perplexity, записывая в таблицу, кого процитировали.
Уходит минут тридцать. Даёт больше, чем любой платный трекер, потому что видна сама формулировка: как модель пересказала мысль, что выдернула, где переврала. Автор 한번 поймал момент, когда нейросеть уверенно приписывала его сайту утверждение из соседнего абзаца, вырванное без отрицания — смысл переворачивался на противоположный. Переписал абзац так, чтобы он не читался в отрыве — история не повторилась.
Что изменили на страницах за месяц
Список правок короткий и без магии:
- Каждый заголовок H2 превратили в вопрос или прямую формулировку темы, а первый абзац под ним — в законченный ответ.
- Добавили цифры с указанием источника и даты: модели охотнее цитируют конкретику, чем рассуждения.
- Проставили даты обновления материалов — свежесть в Яндексе весит много.
- Собрали блоки вопросов и ответов там, где уместны по смыслу, и разметили их через Schema.org.
- Свели воедино данные о проекте на внешних площадках — название, описание и контакты должны совпадать везде, иначе модель не связывает упоминания в одну сущность.
- Вычистили длинные предложения на пять строк с тремя придаточными: извлекать фрагмент из такого текста неудобно даже человеку.
Где заканчивается самодеятельность
Всё описанное делается руками за несколько вечеров и стоит ноль рублей. Дальше начинается то, что в одиночку тянуть тяжело.
Видимость в AI‑ответах сильно зависит от внешнего цифрового следа: упоминаний на профильных площадках, отзывов, карточек компании в каталогах, единых данных о бренде по всему интернету. Модель складывает представление о вас из десятков источников, и собственный сайт среди них лишь один голос. Систематически работать с остальными, отслеживать динамику по десяткам запросов и корректировать стратегию по данным — это уже отдельная работа с бюджетом (на рынке от 90 тысяч рублей в месяц).
Для личного проекта автора хватает логов, вкладки в Вебмастере и таблицы с десятью вопросами. Если бы речь шла о клинике, интернет‑магазине или B2B‑компании, где выбор происходит в момент перечисления нейросетью трёх вариантов — подход был бы иным.
Полгода назад этот разговор выглядел как футурология. Сейчас в браузере автора открыта вкладка с процентом упоминаний его домена в ответах Алисы, и он обновляет её чаще, чем сводку по позициям.