Время чтения: 5 мин.
Стоимость AI-сервиса нужно считать на весь пользовательский запрос, включая поиск, вызовы модели, повторы и неудачные ответы. Задержку тоже измеряют по цепочке: когда началась работа, когда появился первый видимый результат и когда получен полный полезный ответ. Тариф одного вызова и время из отдельного теста дают только часть картины.
Для примера возьмём учебного помощника по документации. Он проверяет пользователя, ищет материалы, формирует контекст, вызывает модель и проверяет ссылки. Если источник отсутствует, приложение может повторить поиск. Именно этот путь будем измерять; числа в примере описывают условный эксперимент, а не показатели конкретного продукта.