Prefill получает уже известные входные токены и подготавливает продолжение, decode каждый раз зависит от выбранного результата предыдущего шага. Один замер не описывает оба этапа автоматически.
Практический смысл
Почему это важно
Малое время одной итерации не гарантирует короткий полный ответ: итераций может быть много, а нагрузка и длина префикса меняются. Для пользовательской плавности отдельно измеряют модельные шаги, расписание запросов и фактическую доставку токенов.
Доказательная часть
Что подтверждено
В обычной авторегрессионной цепочке выбранный токен входит в префикс для следующего шага. Поэтому неизвестные будущие позиции одного ответа нельзя просто обработать как уже известный вход; параллелизм между разными запросами не снимает эту причинную зависимость внутри цепочки.
Граница применимости: Обычное причинное декодирование без спекулятивного и иных специальных алгоритмов выбора нескольких позиций.
KV-кэш избавляет от повторного вычисления сохранённых ключей и значений прежних позиций, но внимание новой позиции всё ещё использует нужные K/V префикса. Поэтому наличие кэша не означает нулевое чтение истории или постоянную стоимость для префиксов любой длины.
Граница применимости: Декодер с полным вниманием и корректным кэшем; оконное и разреженное внимание находятся за пределами этого сценария.
При обычном выборе наиболее вероятного токена или случайной выборке на одном шаге для одной последовательности выбирается один следующий токен. Это определение нельзя переносить без уточнения на спекулятивное декодирование, несколько лучевых гипотез или внутренние пакеты других последовательностей.
Граница применимости: Базовый одношаговый авторегрессионный цикл; ни число токенов сетевого блока, ни количество строк пакета не задают число токенов одного такого шага.
Число выполненных шагов зависит от условий завершения: EOS может закончить последовательность раньше предела длины, а достижение лимита может оборвать её. Поэтому измеренный короткий ответ сравнивают с другим запуском только при известной выходной длине и причине остановки.
Граница применимости: GenerationConfig выбранной модели; ошибки, отмены и внешние таймауты сервиса учитываются отдельно от нормального завершения.
Сервис может объединить несколько уже полученных модельных токенов в один фрагмент доставки или разделить текст по транспортным границам. Один полученный сетевой блок поэтому не доказывает один прямой проход или шаг decode; для анализа нужны отдельные границы модели и выдачи.
Граница применимости: Инженерное различение генерации токенов и потоковой доставки; конкретный API и политика буферизации задаются отдельно.
При полном внимании с растущим KV последующие шаги используют более длинный префикс. Их стоимость также зависит от пакета запросов, размещения кэша, реализации операций и межустройственного обмена; нельзя считать decode всегда ограниченным только памятью или одинаковым по длительности.
Граница применимости: Поведение зависит от профиля нагрузки; случайная выборка токенов и служебное расписание могут добавлять собственную стоимость.
Сравнение decode фиксирует длину входа, число новых токенов, активные последовательности, параметры генерации и режим кэша. Средняя скорость всей выдачи может скрыть паузы отдельных запросов, поэтому скорость и распределение межтокенных интервалов оценивают раздельно на той же нагрузке.
Граница применимости: Приёмка профиля нагрузки сервиса; модельные интервалы и интервалы доставки не смешиваются в одну выборку без указания границ.
Граница терминов
Не путать
Decode — механизм продолжения модели; межтокенная задержка — измеренный интервал между выбранными событиями токенов. Очередь и буферизация выдачи могут изменить наблюдаемый интервал без изменения реализации операции.
Пропускная способность суммирует выполненную работу за время, а decode описывает шаги отдельных последовательностей. Ускорение общей выдачи пакета может сочетаться с более длинным ожиданием конкретного запроса.
Перед спецификацией
Что проверить
- Уточните режим выбора токенов: максимальная вероятность, случайная выборка, лучевой поиск или специальный алгоритм.
- Разделите модельные шаги и сетевые фрагменты в метриках.
- Фиксируйте фактическую длину входа, продолжения и причину завершения.
- Сверьте режим кэша и длину сохраняемого и используемого префикса.
- Покажите распределение межтокенных интервалов наряду со средней скоростью.
- Измерьте тот же профиль при нужном числе последовательностей, реализации операций и топологии.
- Не обещайте постоянное ограничение только памятью или одинаковое время всех шагов.
Открытые основания
Первоисточники
Attention Is All You Need
Ashish Vaswani и соавторы · arXiv:1706.03762, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникTransformers 4.44.2: Generation
Hugging Face · документация Hugging Face Transformers v4.44.2, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникEfficient Memory Management for Large Language Model Serving with PagedAttention
Woosuk Kwon и соавторы · arXiv:2309.06180, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникCUDA C++ Programming Guide
NVIDIA · CUDA C++ Programming Guide, CUDA 12.6, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточник