Throughput описывает объём работы за время, TTFT — ожидание начала одного ответа. Увеличение очереди может позволить плотнее загрузить GPU и одновременно ухудшить ожидание клиента.
GPU, ускорители и инфраструктура LLM
Производительность потока инференса
Определение
Производительность потока инференса (throughput) — объём учтённой работы за заданный интервал времени: выходные токены, входные токены или завершённые запросы. Единицу работы и правила учёта называют явно: без них, без распределения длин и порога качества число не описывает ёмкость сервиса.
Также ищут: Inference throughput · LLM tokens per second · пропускная способность инференса
Зачем это знать
В рекламе tokens/s легко смешать обработку входа с генерацией ответа, а короткие запросы — с длинными. Приёмка связывает пропускную способность с воспроизводимой нагрузкой, ошибками, качеством и задержками. Иначе рост числа может означать лишь другой тест или более длинную очередь.
Связи из словаря
Карта понятия
Производительность потока инференса
Доказательная часть
Что подтверждено
Для output throughput нужно объявить, какие выходные токены и какой интервал учтены. Например, можно делить токены успешно завершённых запросов теста на полную длительность этой серии. Правило для запросов на границах окна должно быть одинаковым у сравниваемых систем.
Граница применимости: Явный договор теста, основанный на клиентском benchmark и SLI; не универсальная формула любого счётчика с названием throughput.
Обработанные входные токены и сгенерированные выходные токены выполняют разные роли: вход обрабатывается в prefill, а авторегрессионный выход развивается последовательными шагами. Их сумма в одном tokens/s скрывает состав работы и не заменяет output tokens/s.
Граница применимости: Вывод для авторегрессионной модели Transformer; ускорения и специальные режимы требуют сохранения раздельных счётчиков входа и выхода.
Одинаковое requests/s не означает одинаковую вычислительную нагрузку. Короткий вопрос с коротким ответом и большой контекст с длинной генерацией требуют разной работы и памяти; сравнение фиксирует распределение обеих длин, а не только средние.
Граница применимости: Вывод для LLM serving и клиентского benchmark; модель, tokenizer и параметры генерации сохраняются одинаковыми.
Скорость поступления запросов и скорость успешного завершения — разные измерения. Рост очереди означает, что кратковременный результат ещё не доказывает устойчивый режим; доля отказов и длительность последующего дренирования должны оставаться видимыми.
Граница применимости: Вывод для конечного нагрузочного прогона и SLO; искусственное снижение входного потока клиентом также раскрывается в методике.
Для приёмки сервиса предлагаем делить объём работы запросов, выполнивших выбранные условия задержки и успешного завершения, на длительность прогона. Правила отбора, единицу работы и окно фиксируют до теста. Этот показатель полезной работы публикуют отдельно от обычного throughput, куда может входить работа просроченных запросов.
Граница применимости: Редакторский эксплуатационный контракт SLI/goodput. SRE задаёт принципы выбора SLO, benchmark — базовые метрики; эти источники не устанавливают именно предложенный показатель и не обещают готовое поле для него. Границы TTFT, ITL и успешности выбирают для своего сервиса.
Больше tokens/s не доказывает сохранение качества после смены весов, квантования или настроек генерации. Условие качества на зафиксированных задачах проверяется отдельно и должно пройти до заявления об успешном ускорении.
Граница применимости: Вывод из оценки квантования AWQ и пользовательского SLO; конкретный набор задач и порог качества выбирает владелец сервиса заранее.
Число токенов зависит от tokenizer, а фактическая длина выхода — ещё и от правил остановки и настроек генерации. Изменение этих условий может изменить tokens/s без сопоставимого изменения полезной работы, поэтому их версии и параметры входят в протокол сравнения.
Граница применимости: Вывод из субсловной токенизации и GenerationConfig Transformers 4.44.2; токен не объявляется постоянным числом символов или одинаковой работой для разных моделей.
Граница терминов
Не путать
Throughput — измеряемая величина, SLO — цель с областью и окном. Приёмка мощности должна назвать, какой поток остаётся успешным в пределах заданных задержек и допустимых ошибок.
Перед спецификацией
Что проверить
- Разведите input tokens/s, output tokens/s и успешно завершённые requests/s.
- Укажите границы измерительного окна и правило учёта незавершённых запросов.
- Закрепите tokenizer, веса, формат квантования и параметры остановки генерации.
- Сохраните распределения входных и выходных длин и закон поступления запросов.
- Проверьте, не растёт ли очередь, и учтите время дренирования теста.
- Покажите throughput рядом с TTFT, ITL, ошибками и долей соблюдения SLO.
- Проведите независимую проверку качества на заранее выбранных задачах.
Открытые основания
Первоисточники
- Service Level Objectives
Определяет SLI, SLO и SLA и объясняет user-centric latency, error rate, throughput и percentiles.
- Attention Is All You Need
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 02
- Orca: A Distributed Serving System for Transformer-Based Generative Models
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Iteration-level scheduling и selective batching; результат статьи не переносится на любой движок.
Утверждения: 03
- Implementing SLOs
Описывает построение SLI/SLO от пользовательской цели, measurement window и error-budget policy.
Утверждения: 05
- AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration
Полный PDF v6 перечитан 15.10.2026: §2–3 — квантование весов и шкалы; §4 — упаковка и исполнение; §5 — качество и скорость. Результаты отдельных моделей и устройств не обобщаются; формат KV не следует из разрядности весов.
Утверждения: 06
- Neural Machine Translation of Rare Words with Subword Units
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 07
- Transformers 4.44.2: Generation
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 07