Галлюцинацией ИИ называют ответ нейросети (языковой модели), который звучит уверенно и правдоподобно, но не соответствует действительности: выдуманный факт, несуществующий источник, неверная цифра. Термин условный, у модели нет восприятия, которое могло бы её обмануть. Часть исследователей предпочитает слово «конфабуляция», но в обиходе закрепилась «галлюцинация».
Причина в самом устройстве модели. Она строит ответ как наиболее вероятное продолжение текста и по умолчанию не сверяет его с источником. Когда нужного знания нет, вероятное продолжение всё равно находится, и выглядит оно так же гладко, как верное. Сказать «не знаю» модель может, но делает это реже, чем следовало бы, если её об этом не попросить.
Чаще всего модель придумывает то, что похоже на настоящее: ссылку на статью закона с правдоподобным номером, цитату, название научной работы, функцию в программной библиотеке, пункт договора. Бывает и тоньше. Модель получила настоящий документ, но в пересказе перепутала дату, приписала условие не той стороне или дописала пункт, которого там нет.
Опасна не сама ошибка, люди ошибаются тоже. Опасно то, что ошибочный ответ ничем не отличается по тону от верного, и проверить его можно только сверкой с источником.
В 2023 году в Нью-Йорке адвокаты подали в суд документ со ссылками на судебные решения, которые сгенерировал ChatGPT. Нескольких из этих дел не существовало. Суд оштрафовал адвокатов, а история стала хрестоматийной.
В 2024 году чат-бот на сайте Air Canada сообщил пассажиру условия возврата, которых в правилах авиакомпании не было. Трибунал в Канаде обязал компанию выплатить разницу: компания отвечает за то, что говорит её бот на её сайте. Для бизнеса это главный вывод: ответственность за ответ ИИ несёт тот, кто его выставил клиенту.
С каждым поколением моделей галлюцинаций становится меньше, но полностью они не исчезают: это обратная сторона того, что модель умеет свободно формулировать. Поэтому вопрос ставят иначе: где ошибка допустима, где её поймает проверка и где цена ошибки так высока, что ответ без проверки человеком выпускать нельзя.
Самое действенное средство: дать модели источник и попросить отвечать только по нему. Для документов компании это поиск по ним (RAG) со ссылкой на документ в каждом ответе. Ссылку человек может открыть и проверить.
Помогает прямое разрешение отвечать «в документах этого нет» и описание в промпте или спецификации, что делать при нехватке данных. Там, где ответ должен попасть в систему учёта, его проверяет код: формат, допустимые значения, совпадение с исходными данными. Там, где на кону деньги или обязательства перед клиентом, решение остаётся за человеком в контуре.
В проекте автоматизации каталога интернет-магазина ИИ писал описания и ключевые слова для товаров в нескольких цветах. При проверке версий раз за разом всплывали одни и те же ошибки: в ключевых словах товара появлялись цвета, которых у него нет, встречались запрещённые рекламные обороты, путались языки. Каждый такой текст выглядел аккуратно и по отдельности ошибку было не заметить.
Правки вручную в готовых текстах не держались: в следующем прогоне ошибка возвращалась. Работать стало, когда исправления перенесли в код генерации и добавили автоматические проверки, которые отбраковывают текст до выгрузки. Подробнее о проекте в портфолио.
Где в процессе ответ ИИ уходит дальше без человека и чем обернётся ошибка на этом шаге. Из каких источников модель берёт факты и что отвечает, когда в них ничего нет. Какие проверки выполняет код, а какие человек. И какой набор контрольных вопросов с известными ответами войдёт в критерии приёмки, чтобы частоту ошибок измерили до запуска.
Связанные термины: RAG · Человек в контуре · Критерии приёмки · Промпт
Хотите понять, где ошибка ИИ в вашем процессе обойдётся дороже всего? Аудит ИИ в отделе →