Как вымышленное заболевание выявило уязвимость ИИ‑моделей в медицине
Учёные сфабриковали несуществующее заболевание под названием «биксонимания» и разместили о нём информацию в сети. Целью эксперимента было проверить, способны ли современные крупные языковые модели (LLM) отличать реальную медицинскую информацию от специально созданного шума.
Результаты оказались тревожными: уже через несколько недель отдельные ИИ‑боты начали воспринимать вымышленный диагноз как реальный. При получении запросов они стали описывать симптомы, причины и даже предлагать методы лечения, хотя такой болезни в действительности не существует.
Почему модели поверили в несуществующий диагноз
Большинство популярных LLM обучаются на огромных корпусах текстов, собранных из интернета. Когда ложная информация встречается в достаточном числе источников, модель воспринимает её как достоверную закономерность.
Это отличается от привычных «галлюцинаций», когда ИИ просто не находит подходящего ответа. Здесь система воспроизводит ошибку, потому что она была зафиксирована в обучающих данных. Для пользователя оба случая выглядят одинаково убедительно.
Медицинские запросы — одна из самых рискованных зон
Случай с «биксониманией» показывает, как легко доверчивый пользователь может получить неверные рекомендации. Уверенный тон, медицинская терминология и ссылки на симптомы создают иллюзию достоверности, а проверка такой информации требует специальной подготовки.
Поэтому ведущие разработчики ИИ продолжают предупреждать, что чат‑боты не должны использоваться как единственный источник медицинских советов. Даже самая продвинутая модель может смешивать правдивые и ложные сведения, если таковые присутствуют в её учебных данных.
Новый тип атаки на ИИ
Эксперимент интересен и с точки зрения безопасности. Злоумышленники могут целенаправленно распространять большое количество материалов о вымышленном заболевании, повышая шансы, что модель включит эту информацию в свои ответы.
Пока нет подтверждений, что такой подход может влиять на крупнейшие коммерческие модели в масштабе, однако возможность такой атаки усиливает необходимость проверки источников и дополнительной фильтрации данных при обучении ИИ.
Где проходит граница между поиском и знанием
История с фиктивным диагнозом подчёркивает фундаментальное ограничение современных LLM: они не хранят проверенную базу фактов, а генерируют наиболее вероятный ответ на основе ранее встреченной информации.
Поэтому главный вопрос для рынка сегодня звучит не только «насколько умной стала модель», а «насколько хорошо она умеет сомневаться». Способность распознавать недостоверные данные может стать ключевым критерием качества ИИ следующего поколения.