Время чтения: 5 мин.
RAG и длинный контекст стоит сравнивать на одинаковых вопросах, документах и правилах ответа. В одном варианте модель получает отобранные фрагменты, в другом читает подготовленный набор документов целиком. Для выбора нужны результаты на твоих данных: где найден ответ, что потерялось и сколько ресурсов потребовал успешный запрос.
Разберём учебную базу инструкций для сервиса доставки. В ней есть правила изменения адреса, ограничения по времени и несколько старых версий документов. Задача помощника узкая: объяснить, можно ли перенести доставку, и показать пункт действующей инструкции. Он не меняет заказ самостоятельно.