Опубликовано в Профессии

RAG или длинный контекст: как сравнить на своих документах

Робот задумчиво держит синюю книгу над большой открытой книгой рядом с книжным шкафом.

Время чтения: 5 мин.

RAG и длинный контекст стоит сравнивать на одинаковых вопросах, документах и правилах ответа. В одном варианте модель получает отобранные фрагменты, в другом читает подготовленный набор документов целиком. Для выбора нужны результаты на твоих данных: где найден ответ, что потерялось и сколько ресурсов потребовал успешный запрос.

Разберём учебную базу инструкций для сервиса доставки. В ней есть правила изменения адреса, ограничения по времени и несколько старых версий документов. Задача помощника узкая: объяснить, можно ли перенести доставку, и показать пункт действующей инструкции. Он не меняет заказ самостоятельно.

Определи, что именно сравниваешь

Под RAG здесь понимаем цепочку «поиск подходящих фрагментов → передача их модели → ответ со ссылкой». У длинного контекста этап отбора проще: в запрос помещается весь разрешённый набор документов, который укладывается в ограничения выбранной модели. Оба варианта всё равно требуют подготовки данных и проверки результата.

Идею объединения поиска и генерации описывает исходная работа о RAG. Она не доказывает превосходство любого современного RAG-сервиса над длинным контекстом: конкретную систему придётся проверить отдельно.

Запиши две конфигурации до первого прогона. Например, один и тот же генератор и одна инструкция ответа; различается только материал, который получает модель. Если одновременно поменять модель, промпт, документы и поиск, по результатам будет трудно понять причину разницы. После такого сравнения можно отдельно проверить более дешёвую модель, но это уже следующий эксперимент.

Рука указывает на страницу открытой книги с синей закладкой рядом со стопками книг.

Подготовь вопросы с известным основанием ответа

Для учебного запуска собери небольшой набор разных ситуаций. Число примеров выбирай по доступному времени на ручную проверку; важнее охватить разные причины ошибки. В нашем примере нужны обычный перенос доставки, запрос после предельного времени, исключение для отдельного региона и вопрос, на который документов недостаточно.

У каждого вопроса сохрани ожидаемый вывод и конкретный пункт источника. Если в базе две версии инструкции, отметь, какая действует. Для вопроса без основания правильным результатом будет сообщение о нехватке информации. Красивый совет, придуманный из общих знаний, такой пример не проходит.

Проверь формулировки с человеком, который знает процесс. Вопрос «можно поменять?» без номера заказа, времени и значения слова «поменять» часто допускает несколько ответов. В таком случае помощник должен уточнить условия; проверочный набор не должен тайно ожидать единственный вариант.

Отложи часть вопросов до окончания настройки. Не исправляй систему на каждом примере, который потом включишь в итоговую оценку. Иначе измеришь способность подстроиться под знакомый набор. Практика заранее задавать критерии и проверять их описана в руководстве Anthropic по оценке приложений.

Сделай входные документы сопоставимыми

Заморозь копию базы: состав файлов, версии, дату выгрузки. Убери документы, к которым тестовый пользователь не имеет доступа. Это правило одинаково для обоих вариантов; длинный контекст не даёт права отправлять модели весь корпоративный архив.

В RAG сохрани, как документы разбиваются на фрагменты, какие поля участвуют в поиске и сколько результатов передаётся дальше. В варианте с длинным контекстом запиши порядок документов и способ обозначения их границ. Оставь идентификаторы источников, чтобы потом проверить ссылки в ответе.

Добавь ситуацию, где нужное правило находится между похожими инструкциями. Исследование Lost in the Middle показало зависимость качества от положения информации для исследованных моделей и задач. Его результаты 2023 года не служат оценкой нынешней модели; они дают полезный повод включить такую проверку в свой набор.

Отдельно проверь пределы запроса. Если весь набор не помещается, зафиксируй это как ограничение конфигурации. Нельзя молча обрезать последние документы и продолжать сравнение так, будто оба варианта видели одинаковые данные.

Робот держит синюю книгу над открытой коробкой рядом с книжным шкафом.

Раздели ошибку поиска и ошибку ответа

Для каждого прогона сохраняй вопрос, доступные источники, фактически переданный контекст и окончательный ответ. Тогда неудачу можно разобрать по шагам. Запись исходных документов должна храниться там, где это разрешено правилами проекта; в обычный журнал не требуется копировать закрытый текст.

В нашем примере RAG нашёл общую инструкцию, но пропустил исключение региона. Исправление формулировки ответа не вернёт отсутствующий фрагмент. Сначала нужно проверить поиск, разбиение и поля фильтра. Если нужный пункт уже был в контексте, а модель выбрала старую версию, разбирай обозначение актуальности и способ ответа.

У длинного контекста тоже фиксируй фактический вход. Приложение могло удалить документ при подготовке, отправить старый кеш или превысить лимит. Название архитектуры не объясняет, что дошло до генератора.

Оценивай основание каждого существенного вывода. Ответ «перенос разрешён» должен опираться на действующее правило для нужных условий. Наличие любой ссылки рядом с текстом не делает ответ подтверждённым. Удобно записывать результат как «вывод верен», «источник подходит», «условия не потеряны», «отказ при нехватке данных корректен».

Посчитай затраты на полезный результат

Сравнивай весь путь запроса: подготовку контекста, поиск, вызов генератора, повторы и проверку ответа. Для RAG отдельно учти построение и обновление индекса. Для длинного контекста проверь, сколько материала приходится передавать снова и какие правила кеширования применяются в выбранном сервисе.

Цены и возможности моделей меняются, поэтому в отчёте сохрани дату тарифа и фактические показатели использования. Не превращай пример из статьи в обещание стоимости. Кроме среднего времени посмотри медленные ответы и долю запросов, которые завершились ошибкой или не дали полезного результата.

Например, более быстрый вариант регулярно теряет региональное исключение и требует ручной проверки. Это существенно для выбора, даже если отдельный запрос стоит дешевле. Зафиксируй, какие ошибки блокируют запуск, до просмотра итоговой таблицы результатов.

Запиши решение и условие пересмотра

В конце получится короткая запись: задача, версия базы, две конфигурации, проверочные случаи, найденные ошибки, затраты и выбранный вариант. Приложи несколько показательных разборов вместе с итоговым процентом.

Для маленькой стабильной базы длинный контекст может оказаться удобным первым решением. Для растущего архива с частыми обновлениями поиск может упростить отбор. Эти предположения проверяются экспериментом; сама величина архива не заменяет оценку ответов и прав доступа.

Назови событие, после которого сравнение повторяется: новая модель, другой состав документов, новые ограничения или рост числа запросов. Тогда решение останется объяснимым и через несколько месяцев, когда первоначальные условия изменятся.