Время до первого токена

В клиентском договоре TTFT считают по одному монотонному времени: от начала отправки запроса до наблюдения первого учитываемого сгенерированного токена. Начало после приёма на сервере или конец на первом сетевом байте задают уже другую метрику.

Граница применимости: Явно выбранный договор измерения по принципу SLO и клиентского benchmark; не универсальная спецификация любого счётчика с именем TTFT.

Если отсчёт начинается в клиенте до отправки и заканчивается на первом выходном токене, в него попадают передача запроса, ожидание допуска, обработка входа и путь доставки начала ответа. Серверное время prefill не охватывает весь этот интервал.

Граница применимости: Вывод для указанных клиентских границ; очереди и фазы могут частично перекрываться, поэтому их локальные таймеры нельзя без проверки просто сложить.

HTTP-заголовок, служебное потоковое событие и первый байт соединения не подтверждают появление токена ответа. Если клиент видит только текстовые порции, отчёт должен назвать метрику временем до первой содержательной порции и раскрыть, как она сопоставляется с токенами.

Граница применимости: Вывод для потокового клиента; границы network chunk, события протокола и токена модели не объявляются одинаковыми.

Загрузка модели, прогрев используемого пути и повторное использование уже обработанного префикса задают разные условия первого ответа. Сравнение холодного запуска одной системы с прогретой другой не изолирует скорость обработки нового запроса.

Граница применимости: Вывод для явно описанного состояния runtime и кэша; наличие prefix cache у конкретного движка не предполагается и должно быть подтверждено отдельно.

Средний TTFT не показывает хвост ожидания. Вместе с выбранными перцентилями и окном нужно сообщать число запросов, не давших первого ответа: тихое исключение таймаутов делает успешную часть выборки похожей на весь сервис.

Граница применимости: Вывод для пользовательского SLO; неуспешные запросы учитывают отдельным исходом, а не выдуманным конечным значением задержки.

Когда следующий запрос отправляется лишь после завершения предыдущего, генератор нагрузки сам ограничивает поступление работы. Такой тест не заменяет испытание заданного потока независимых поступлений, при котором очередь и TTFT могут расти.

Граница применимости: Вывод о сравнении замкнутого и независимого поступления запросов; фиксируются закон поступления, интенсивность и предел клиентов, а не только среднее requests/s.

Низкий TTFT говорит только о начале вывода в выбранной точке наблюдения. Он не ограничивает паузы следующих токенов и время завершения всего ответа; эти условия нужно измерять и принимать отдельно.

Граница применимости: Вывод для потокового пользовательского SLO; заданные длины и правила окончания ответа одинаковы у сравниваемых систем.