Галлюцинации ИИ: как ограничить ущерб бизнесу

Коротко. Галлюцинации ИИ — это ответы языковой модели, которые звучат уверенно и правдоподобно, но не опираются ни на факты, ни на данные, которые ей дали: несуществующие пункты договора, придуманные цены, ссылки на нормы и решения, которых нет. Модель не обманывает намеренно — она генерирует наиболее вероятный текст и не имеет встроенного механизма сказать «не знаю». Полностью убрать галлюцинации сегодня нельзя, поэтому ущерб ограничивают процессом: факты берутся из ваших документов через поиск и сопровождаются ссылками, модели разрешено отказаться от ответа, структурированные данные проверяются правилами, а решения с деньгами и обязательствами подтверждает человек. Ниже — где галлюцинации опасны для бизнеса, какие меры работают и как измерить результат.

Для руководителей и владельцев процессов, которые используют или планируют использовать ИИ в поддержке, продажах, документообороте, аналитике и внутренних ассистентах.

Галлюцинации ИИ: что это и откуда они берутся

Определение. Галлюцинация ИИ — сгенерированный моделью фрагмент, который выглядит как достоверный ответ, но не подтверждается ни реальностью, ни предоставленными источниками. В профиле рисков генеративного ИИ NIST AI 600-1 (2024) это явление названо конфабуляцией.

Большая языковая модель обучена продолжать текст наиболее вероятным образом. Когда в её данных или в контексте запроса нет нужного факта, она не останавливается, а достраивает ответ по знакомому шаблону — с той же уверенной интонацией, что и правильный ответ. В работе OpenAI «Why Language Models Hallucinate» (2025) авторы связывают это ещё и с тем, как модели оценивают: распространённые тесты вознаграждают попытку угадать больше, чем честный отказ.

Наглядный пример — фраза «Субтитры сделал DimaTorzok», которую модель распознавания речи Whisper вставляет в расшифровку на месте тишины. Whisper обучали примерно на 680 000 часах аудио с субтитрами (Radford et al., OpenAI, 2022), а в конце многих роликов стояла подпись автора субтитров. Модель усвоила закономерность «тишина в конце — подпись» и воспроизводит её там, где никакой подписи нет. В бизнес-процессе тот же механизм выглядит менее безобидно: пробел в данных модель заполняет правдоподобной выдумкой.

Галлюцинации бывают трёх видов:

• фактические — неверные даты, суммы, названия, несуществующие законы и источники;
• несоответствие источнику — модель получила документ, но пересказала его с искажениями или добавила то, чего в нём нет;
• ошибки рассуждения — исходные данные верные, а вывод или расчёт нет.

Где галлюцинации бьют по бизнесу

Два публичных случая показывают, что отвечать за галлюцинацию приходится компании, а не модели. В деле Mata v. Avianca (США, 2023) юристы подали в суд документ со ссылками на несуществующие решения, сгенерированные ChatGPT, и суд применил к ним санкции. В деле Moffatt v. Air Canada (Канада, 2024) трибунал Британской Колумбии обязал авиакомпанию отвечать за условия возврата, неверно описанные её чат-ботом, и отклонил довод, что бот сам отвечает за свои слова. Для белорусских компаний правовые последствия подобных ситуаций нужно оценивать отдельно.

Почему «модель поновее» не решает проблему

Новые модели реже ошибаются в общих знаниях, но ваш бизнес — это не общие знания. Модель не знает ваших цен, остатков, договоров и регламентов, и чем увереннее она пишет, тем меньше сотрудник склонен перепроверять. Частота галлюцинаций сильно зависит от задачи, языка и формулировки запроса, поэтому цифры из публичных рейтингов нельзя переносить на ваш процесс — её нужно измерять на ваших вопросах.

Практический вывод: галлюцинацию стоит считать штатным режимом отказа, как опечатку оператора или сбой интеграции, и проектировать процесс так, чтобы она обнаруживалась раньше, чем превращается в ущерб.

Как ограничить ущерб: пять уровней защиты

1. Факты — из ваших источников, а не из памяти модели

Ответы о ценах, условиях, остатках и правилах должны формироваться по актуальным документам и данным, которые система находит в момент запроса (RAG — поиск с генерацией ответа). Лаборатория Viviar формулирует принцип так: знание — в поиск, навык — в дообучение, результат — в оптимизацию под метрику (подробнее об адаптации открытых моделей). Дообучать модель на фактах бесполезно: факты меняются, а модель будет уверенно помнить старую версию.

2. Ссылки на источник и проверяемость

Каждый ответ по делу сопровождается ссылкой на документ и фрагмент. Если ссылки нет или она не подтверждает ответ, это сигнал и для системы, и для человека. Автоматическая сверка «ответ подтверждается найденным фрагментом» отсекает часть выдумок ещё до пользователя.

3. Право сказать «не знаю» и проверка правилами

Модели прямо разрешают отказ: если в найденных документах ответа нет, бот говорит об этом и передаёт вопрос сотруднику. Для структурированных задач — реквизиты, суммы, даты — ответ проверяется правилами: формат, контрольные значения, сверка со справочником или учётной системой.

4. Человек в контуре — по уровню риска

Не каждое действие требует проверки. Разделите процессы по последствиям: справочный ответ можно отдавать сразу, а обещания клиенту за пределами типовых условий, платежи, изменение реквизитов и юридически значимые тексты — только после подтверждения человеком. Смена реквизитов по сообщению — классический сценарий мошенничества, и для потерь неважно, кто ошибся, модель или сотрудник (см. подмену реквизитов).

5. Измерение и мониторинг

Соберите набор реальных вопросов вашего процесса с эталонными ответами, включая вопросы, на которые правильный ответ — «в базе этого нет». Прогоняйте его при каждой смене модели, промпта или базы знаний, а в работе выборочно проверяйте диалоги и отслеживайте жалобы. Устойчивость бота к провокациям на выдумку стоит включить и в пентест AI-системы перед запуском. Без измерения «стало лучше» — ощущение, а не факт.

Когда нужна адаптация модели

Если поиск и правила уже настроены, а модель всё равно ошибается в форме ответа — путает структуру заключения, не соблюдает стандарт, неверно применяет внутренние правила, — это задача навыка, и её решает дообучение. Если нужно, чтобы система стабильно улучшала бизнес-метрику, например снижала число ошибочных эскалаций, подключают оптимизацию под результат. Как выбрать между поиском и дообучением, разобрано в статье «Дообучение или RAG»; сама услуга описана на странице адаптации моделей. Если ассистента ещё нет, вариант с одним каналом и одним источником данных — «AI-Ассистент под ключ» от 11 600 BYN.

Чек-лист: ИИ в процессе без неконтролируемых галлюцинаций

• Для каждого процесса с ИИ определено, какой ущерб даёт неверный ответ
• Цены, условия, нормы и реквизиты берутся из актуальных источников, а не из памяти модели
• Ответы по делу содержат ссылку на документ-источник
• Модель может ответить «не знаю» и передать вопрос человеку
• Структурированные данные проверяются правилами и сверкой с учётной системой
• Обязательства перед клиентом, платежи и юридические тексты подтверждает человек
• Есть тестовый набор вопросов с эталонными ответами, включая вопросы без ответа в базе
• Тестовый набор прогоняется при смене модели, промпта или базы знаний
• Диалоги журналируются и выборочно проверяются
• Сотрудники знают, что ответы ИИ нужно сверять с источником, и куда сообщать об ошибках

Частые вопросы

Галлюцинации ИИ — что это простыми словами?

Это уверенный и правдоподобный ответ нейросети, который не соответствует фактам или документам, на которые она должна опираться. Модель не обманывает намеренно: она достраивает наиболее вероятный текст и при нехватке данных заполняет пробел выдумкой. Поэтому ответы ИИ по важным для бизнеса вопросам нужно сверять с источником.

Можно ли полностью избавиться от галлюцинаций?

Нет, сегодня ни одна языковая модель не даёт такой гарантии. Можно заметно снизить их частоту и последствия: брать факты из ваших документов через поиск, требовать ссылки на источник, разрешать модели отказываться от ответа, проверять структурированные данные правилами и оставлять решения с деньгами и обязательствами человеку.

Помогает ли дообучение модели от галлюцинаций?

Для фактов — скорее нет: дообученная модель запоминает данные на момент обучения и потом уверенно выдаёт устаревшие сведения. Факты лучше подавать через поиск по актуальным документам. Дообучение полезно, когда модель ошибается в форме и навыке: не соблюдает формат, стандарт ответа или внутренние правила рассуждения.

Кто отвечает, если чат-бот пообещал клиенту то, чего нет?

Как правило, компания, которая поставила бота общаться с клиентами. В канадском деле Moffatt v. Air Canada 2024 года трибунал обязал авиакомпанию отвечать за неверную информацию её чат-бота. Последствия в Беларуси зависят от конкретной ситуации, поэтому условия, которые бот может сообщать клиентам, стоит заранее согласовать с юристом.

Как измерить, насколько часто ошибается наш ассистент?

Соберите реальные вопросы вашего процесса с эталонными ответами, включая вопросы, ответа на которые в базе нет. Прогоните их через ассистента, посчитайте долю неверных и выдуманных ответов и повторяйте замер при каждой смене модели, промпта или базы знаний. Дополнительно выборочно проверяйте реальные диалоги и разбирайте жалобы.

Вывод

Галлюцинации ИИ — не редкий сбой, а свойство языковых моделей, и в бизнес-процессах их нужно учитывать так же, как любые другие ошибки: оценить возможный ущерб, поставить проверки там, где он велик, и измерять результат. Факты — из ваших источников со ссылками, право на «не знаю», правила для структурированных данных и человек для решений с деньгами и обязательствами. Если хотите понять, где ИИ в ваших процессах может ошибиться дороже всего, — опишите процесс, разберём риски и меры.

Источники: NIST AI 600-1 «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile», 2024 (nist.gov); OWASP Top 10 for LLM Applications 2025, LLM09 Misinformation (genai.owasp.org); Radford A. et al., «Robust Speech Recognition via Large-Scale Weak Supervision», OpenAI, 2022; Kalai A. T. et al., «Why Language Models Hallucinate», OpenAI, 2025; Mata v. Avianca, Inc., U.S. District Court for the Southern District of New York, 2023; Moffatt v. Air Canada, 2024 BCCRT 149; Viviar, «Поиск, дообучение, RL: практическое руководство по адаптации открытых моделей», 2026.