Throughput описывает объём работы за время, TTFT — ожидание начала одного ответа. Увеличение очереди может позволить плотнее загрузить GPU и одновременно ухудшить ожидание клиента.
Практический смысл
Почему это важно
В рекламе tokens/s легко смешать обработку входа с генерацией ответа, а короткие запросы — с длинными. Приёмка связывает пропускную способность с воспроизводимой нагрузкой, ошибками, качеством и задержками. Иначе рост числа может означать лишь другой тест или более длинную очередь.
Доказательная часть
Что подтверждено
Для output throughput нужно объявить, какие выходные токены и какой интервал учтены. Например, можно делить токены успешно завершённых запросов теста на полную длительность этой серии. Правило для запросов на границах окна должно быть одинаковым у сравниваемых систем.
Граница применимости: Явный договор теста, основанный на клиентском benchmark и SLI; не универсальная формула любого счётчика с названием throughput.
Обработанные входные токены и сгенерированные выходные токены выполняют разные роли: вход обрабатывается в prefill, а авторегрессионный выход развивается последовательными шагами. Их сумма в одном tokens/s скрывает состав работы и не заменяет output tokens/s.
Граница применимости: Вывод для авторегрессионной модели Transformer; ускорения и специальные режимы требуют сохранения раздельных счётчиков входа и выхода.
Одинаковое requests/s не означает одинаковую вычислительную нагрузку. Короткий вопрос с коротким ответом и большой контекст с длинной генерацией требуют разной работы и памяти; сравнение фиксирует распределение обеих длин, а не только средние.
Граница применимости: Вывод для LLM serving и клиентского benchmark; модель, tokenizer и параметры генерации сохраняются одинаковыми.
Скорость поступления запросов и скорость успешного завершения — разные измерения. Рост очереди означает, что кратковременный результат ещё не доказывает устойчивый режим; доля отказов и длительность последующего дренирования должны оставаться видимыми.
Граница применимости: Вывод для конечного нагрузочного прогона и SLO; искусственное снижение входного потока клиентом также раскрывается в методике.
Для приёмки сервиса предлагаем делить объём работы запросов, выполнивших выбранные условия задержки и успешного завершения, на длительность прогона. Правила отбора, единицу работы и окно фиксируют до теста. Этот показатель полезной работы публикуют отдельно от обычного throughput, куда может входить работа просроченных запросов.
Граница применимости: Редакторский эксплуатационный контракт SLI/goodput. SRE задаёт принципы выбора SLO, benchmark — базовые метрики; эти источники не устанавливают именно предложенный показатель и не обещают готовое поле для него. Границы TTFT, ITL и успешности выбирают для своего сервиса.
Больше tokens/s не доказывает сохранение качества после смены весов, квантования или настроек генерации. Условие качества на зафиксированных задачах проверяется отдельно и должно пройти до заявления об успешном ускорении.
Граница применимости: Вывод из оценки квантования AWQ и пользовательского SLO; конкретный набор задач и порог качества выбирает владелец сервиса заранее.
Число токенов зависит от tokenizer, а фактическая длина выхода — ещё и от правил остановки и настроек генерации. Изменение этих условий может изменить tokens/s без сопоставимого изменения полезной работы, поэтому их версии и параметры входят в протокол сравнения.
Граница применимости: Вывод из субсловной токенизации и GenerationConfig Transformers 4.44.2; токен не объявляется постоянным числом символов или одинаковой работой для разных моделей.
Граница терминов
Не путать
Throughput — измеряемая величина, SLO — цель с областью и окном. Приёмка мощности должна назвать, какой поток остаётся успешным в пределах заданных задержек и допустимых ошибок.
Перед спецификацией
Что проверить
- Разведите input tokens/s, output tokens/s и успешно завершённые requests/s.
- Укажите границы измерительного окна и правило учёта незавершённых запросов.
- Закрепите tokenizer, веса, формат квантования и параметры остановки генерации.
- Сохраните распределения входных и выходных длин и закон поступления запросов.
- Проверьте, не растёт ли очередь, и учтите время дренирования теста.
- Покажите throughput рядом с TTFT, ITL, ошибками и долей соблюдения SLO.
- Проведите независимую проверку качества на заранее выбранных задачах.
Открытые основания
Первоисточники
vLLM online serving benchmark: benchmark_serving.py
vLLM Project · репозиторий vLLM, тег v0.5.4, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Клиентские метрики; точные timestamps, chunks и знаменатели проверить в этой версии и её request adapter.
Открыть первоисточникService Level Objectives
Google Site Reliability Engineering · Site Reliability Engineering, Chapter 4
Определяет SLI, SLO и SLA и объясняет user-centric latency, error rate, throughput и percentiles.
Открыть первоисточникAttention Is All You Need
Ashish Vaswani и соавторы · arXiv:1706.03762, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникOrca: A Distributed Serving System for Transformer-Based Generative Models
USENIX · USENIX OSDI 2022, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Iteration-level scheduling и selective batching; результат статьи не переносится на любой движок.
Открыть первоисточникImplementing SLOs
Google Site Reliability Engineering · The Site Reliability Workbook, Chapter 2
Описывает построение SLI/SLO от пользовательской цели, measurement window и error-budget policy.
Открыть первоисточникAWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
Ji Lin и соавторы · arXiv:2306.00978, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникNeural Machine Translation of Rare Words with Subword Units
Rico Sennrich, Barry Haddow, Alexandra Birch · ACL Anthology, ACL 2016, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникTransformers 4.44.2: Generation
Hugging Face · документация Hugging Face Transformers v4.44.2, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточник