Опубликовано в Профессии

Почему AI отвечает уверенно и ошибается: проверка источников

Робот рассматривает через лупу синюю закладку в открытой книге.

Время чтения: 5 мин.

Уверенный тон AI-ответа ничего не говорит о том, есть ли под выводом надёжное основание. Проверять стоит конкретные утверждения: что модель сообщает, какой источник приводит и действительно ли этот источник подтверждает нужные условия. Удобная проверка начинается с отделения факта из документа от предположения модели.

Представь учебный внутренний каталог оборудования. В инструкции написано: сотрудник может импортировать список устройств из CSV, если заранее создана группа. Помощник отвечает: «Загрузите CSV, группа создастся автоматически». Звучит правдоподобно, но меняет условие процесса. Ни вежливость, ни подробность инструкции не исправляют эту ошибку.

Рука тянет синюю закладку из толстой закрытой книги с несколькими светлыми закладками.

Выдели утверждение, которое собираешься использовать

Не оценивай длинный ответ целиком как «правду» или «неправду». Выпиши проверяемые части. В нашем примере отдельно существуют поддержка CSV, требование готовой группы и автоматическое создание группы. У каждого утверждения своё основание, а последнее может вообще отсутствовать в документах.

Начни с вывода, от которого зависит твоё действие. Если собираешься менять конфигурацию, проверь необходимые параметры и ограничения до запуска. Если готовишь обзор, начни с названий, дат и ссылок, на которых держится главный тезис. Проверка каждой вводной фразы обычно отнимает время без соразмерной пользы.

Пометь утверждения как подтверждённые, опровергнутые или пока не проверенные. Последняя категория нужна: отсутствие найденного подтверждения не доказывает ложность. Оно показывает, что на этот вывод пока нельзя опереться в выбранной задаче.

В документации Anthropic о галлюцинациях отдельно предложены проверка цитат и возможность признать нехватку информации. Это способы уменьшить риск, а не гарантия правильного ответа.

Фигурка переворачивает страницу маленькой книги, лежащей в углублении большой открытой книги.

Открой источник и проверь область действия

Перейди по ссылке сам. Сначала убедись, что документ существует и относится к нужному продукту, версии и ситуации. Дальше найди место, которое подтверждает именно выбранное утверждение. Ссылка на большой раздел документации рядом с ответом ещё не выполняет эту работу.

Для учебного каталога недостаточно увидеть слово CSV. Надо прочитать условия импорта: кто может его запускать, какая группа требуется и что происходит с неизвестными устройствами. Модель могла верно выбрать тему и потерять ограничение, которое меняет действие пользователя.

Проверь соседние абзацы. Цитата может быть точной, но относиться к другому режиму или примеру. Убедись, что ответ не превратил «можно после настройки» в «включено по умолчанию». Такие небольшие сдвиги особенно легко пропустить в гладком объяснении.

Если источник закрыт или удалён, сохрани статус «не проверено». Не заменяй его пересказом другого AI-ассистента. Для рабочего решения попроси доступ к первичной инструкции или найди официальный документ с тем же основанием.

Разбери, что получила модель

Для собственного AI-сервиса посмотри фактический контекст запроса. В нём могла быть старая версия инструкции, вырезанный абзац или документ о другом типе пользователя. Ошибка на этом этапе отличается от ситуации, когда верное условие было передано, но проигнорировано.

Если в контексте отсутствовало требование готовой группы, сначала проверь загрузку и поиск. Повторение просьбы «отвечай точнее» не восстановит пропущенный материал. Сравни исходный документ с тем, что приложение действительно отправило генератору.

Если нужный пункт был во входе, проверь инструкцию ответа и то, как представлены версии документов. При противоречии модель должна обозначить его или запросить уточнение. Не заставляй её каждый раз выдавать одно уверенное действие, если сами материалы не дают однозначного ответа.

Добавь пример с правилом в середине длинной подборки. Исследование Lost in the Middle показало для исследованных задач чувствительность к положению информации. Современную систему это не оценивает автоматически; такой случай полезен для собственного прогона.

Запроси проверяемое объяснение

Вместо просьбы «ты уверен?» попроси показать место в источнике, на котором основан конкретный вывод. Уточни, что при отсутствии такого места нужно это признать. Уверенность, выраженная словами или процентом в ответе, сама по себе не подтверждает факт.

Для нашего примера запрос может быть таким: «Какой пункт инструкции говорит, что группа создаётся при импорте? Укажи документ и точный фрагмент. Если такого пункта нет, отдели предположение от описанного поведения». После ответа открой названный фрагмент и сверь его самостоятельно.

При проверке технического поведения полезен безопасный эксперимент на тестовых данных. Создай небольшую копию входа, повтори документированный сценарий и сравни результат с обещанием. Не запускай неизвестную команду только ради проверки красивого ответа. Сначала прочитай её действие и выбери окружение, где ошибка не повредит рабочим данным.

Прогон с другим ассистентом иногда обнаруживает расхождение, но согласие двух моделей тоже не становится первичным источником. Они могут опираться на одинаково распространённое ошибочное предположение. Документ и наблюдаемое поведение важнее числа согласившихся собеседников.

Исправь вывод и сохрани причину ошибки

После проверки перепиши только то, что подтверждено. Для каталога получится: «Импорт CSV поддерживается. Перед ним нужно создать группу. Автоматическое создание группы в выбранной инструкции не описано». Здесь видно, какое действие можно выполнить и где остаётся неопределённость.

Если ошибку допустило твоё приложение, сохрани случай для повторной проверки. Запиши вопрос, разрешённые документы, переданный контекст, неверное утверждение и ожидаемое поведение. Убирай из такой записи личные и закрытые данные по правилам проекта.

Дальше назначь проверяемое исправление. Например, возвращать вместе с фрагментом заголовок и версию инструкции либо проверять, что упомянутое обязательное условие осталось в ответе. Причина должна следовать из разбора, иначе можно долго менять промпт без влияния на сбой.

Выбери глубину проверки по последствиям

Для идеи названия внутреннего проекта достаточно редакторского выбора. Для действия с данными или доступом нужна проверка основания и поведения. Ответы, от которых зависят здоровье, юридические обязательства или серьёзные финансовые решения, требуют профильного компетентного человека и первичных актуальных материалов.

Остановись, когда для своей задачи можешь назвать источник, условия и оставшиеся неизвестные. Если основания нет, полезным результатом будет уточняющий вопрос или отказ от неподтверждённого шага. Такой ответ помогает продолжить работу без придуманной уверенности.