Опубликовано в Профессии

Как измерять стоимость и задержку AI-сервиса

Робот показывает на песочные часы и весы с синей книгой на столе.

Время чтения: 5 мин.

Стоимость AI-сервиса нужно считать на весь пользовательский запрос, включая поиск, вызовы модели, повторы и неудачные ответы. Задержку тоже измеряют по цепочке: когда началась работа, когда появился первый видимый результат и когда получен полный полезный ответ. Тариф одного вызова и время из отдельного теста дают только часть картины.

Для примера возьмём учебного помощника по документации. Он проверяет пользователя, ищет материалы, формирует контекст, вызывает модель и проверяет ссылки. Если источник отсутствует, приложение может повторить поиск. Именно этот путь будем измерять; числа в примере описывают условный эксперимент, а не показатели конкретного продукта.

Раздели пользовательский запрос на измеряемые этапы

Начни с идентификатора запроса, который проходит через все этапы приложения. Для каждого этапа запиши начало, окончание и исход. Достаточно выделить проверку доступа, поиск, подготовку контекста, обращение к модели и финальную проверку ответа.

Не записывай полный закрытый документ в обычный лог ради измерения времени. Обычно нужны длительность, идентификатор версии, размер контекста и безопасный тип результата. Содержимое для разбора сохраняй отдельно с доступом по правилам проекта.

Замеряй пользовательское время на клиенте или на входе приложения, а внутренние этапы в сервисах. Так будут видны ожидание в очереди, сетевые переходы и подготовка интерфейса. Сумма внутренних таймеров не всегда равна полному ожиданию: некоторые операции идут одновременно, другие остаются за пределами выбранного участка.

Проверь на одном запросе, что события связались правильно. Если разные попытки получили один и тот же номер этапа без признака повтора, последующий отчёт может дважды учесть результат или потерять часть затрат.

Рука добавляет синюю гирю на опущенную чашу весов, другая чаша пуста.

Посчитай вход, выход и дополнительные вызовы

Сохрани фактические данные использования, которые возвращает выбранный API. Различай входные и выходные токены, кешированные данные и платные дополнительные инструменты, если они есть в твоей конфигурации. Не оценивай всё по числу символов пользовательского вопроса: к нему добавляются инструкции и документы.

Тарифная документация Anthropic отдельно описывает вход, выход и особенности кеширования. Конкретные ставки меняются; при расчёте записывай дату тарифа, модель и применённые условия, а цены перепроверяй перед бюджетированием.

Формула одного вызова складывается из оплачиваемых объёмов, умноженных на соответствующие ставки. Затем к пользовательскому запросу добавляются все вызовы этой цепочки, поиск и другие учитываемые сервисы. Если генератор вызван повторно, первая неудачная попытка не исчезает из расходов.

Раздели переменные расходы на запрос и подготовку системы. Индексация новой базы, обновление документов и хранение могут оплачиваться отдельно. Для маленького учебного проекта они могут быть заметнее, чем несколько коротких ответов; в работающем сервисе их распределяют по выбранному периоду.

Посмотри, сколько стоит полезный ответ

В условном прогоне приложение обработало 100 вопросов, а приемлемыми после проверки оказались 80 ответов. Общие расходы этого прогона делим на 100, если считаем стоимость попытки, и на 80, если считаем стоимость принятого результата. Это разные метрики, обе стоит назвать явно.

Не выкидывай из отчёта таймауты, пустые ответы и неверные ссылки. Они потребляют ресурсы и влияют на опыт пользователя. Отдельно покажи долю отказов, которые были правильным поведением: сообщение о нехватке документов может быть полезным результатом, а не ошибкой сервиса.

Заранее задай признаки приемлемости. Например, ответ относится к вопросу, сохраняет условия инструкции и приводит доступный источник. Иначе дешёвой начнут считать конфигурацию, которая просто отвечает коротко на всё подряд.

Сравнивая варианты, сохрани одинаковый набор вопросов. Если один прогон содержит простые ответы, а другой требует чтения длинных документов, разница расходов не показывает преимущество модели. Профиль запросов должен быть частью отчёта вместе с итоговыми числами.

Робот вытягивает прозрачную синюю ленту из рулона в открытой коробке рядом с песочными часами.

Измерь первое появление и окончание ответа

Для потоковой выдачи различай время первого токена и время готового ответа. В руководстве Anthropic по задержке TTFT обозначает время до первого токена. Пользователь может увидеть начало текста быстро, а нужное решение получить позже.

Если перед показом требуется проверить источники, потоковая генерация не отменяет эту проверку. Замерь также момент, когда ответ разрешено использовать. Не помечай результат завершённым по появлению первого символа, если дальше может прийти сообщение об ошибке.

Посмотри распределение длительностей. Медиана помогает описать обычный случай, а медленные хвосты показывают ожидание части пользователей. При маленьком наборе не делай уверенных выводов из высоких процентилей; рядом должно быть число измерений и состав запросов.

Отдельно пометь холодный запуск и повторное обращение. Кеш, открытое соединение и готовый индекс могут заметно менять результат. Ускорение повторного запроса не следует переносить на первый визит пользователя без проверки.

Найди причину лишней работы

Сначала разбери медленные или дорогие случаи по этапам. Длинное ожидание может происходить в поиске, очереди, генерации или повторной проверке. Замена модели не исправит очередь перед базой документов.

Если контекст раздут похожими фрагментами, проверь отбор и удаление дублей. Если вывод слишком длинный, уточни нужный формат и проверь, что сокращение не убрало обязательные условия. Если приложение повторяет запрос после любого отказа, раздели временную ошибку и отсутствие основания для ответа.

Меняй один фактор за раз. Например, сначала ограничь объём найденных фрагментов и повтори проверку качества. Потом отдельно оцени кеширование или другую модель. Такой порядок помогает увидеть, что дало экономию и какой ценой.

Оформи измерения так, чтобы их повторили

В отчёте сохрани версию приложения, конфигурацию, дату тарифов, набор вопросов, число прогонов, критерии полезности и найденные ограничения. Приложи несколько запросов с полным разбором времён и затрат без закрытых данных.

Для первого проекта достаточно небольшого файла результатов и воспроизводимой команды прогона. По нему должно быть понятно, какая часть расходов относится к вызовам, как учтены повторы и почему конкретный ответ признан полезным. Эти сведения помогают принять техническое решение и проверить его после следующего изменения.