Кэш префиксов LLM: почему ответ не стал быстрее

Кэширование префиксов — повторное использование вычисленного состояния совпадающего начала запросов. В vLLM APC позволяет пропустить обработку этой части входа — prefill. Готовый текст ответа в таком кэше не хранится; новые токены ответа вычисляются дальше — в фазе decode.

Проверить тезис: Кэширование префиксов LLM 01 02

В описанной блочной схеме vLLM V1 ключ зависит от токенов блока и предшествующего префикса. Если после токенизации отметка времени перед документом различается, одинаковый документ не возвращает прежние ключи следующих блоков. Сверяйте вход после шаблона диалога и токенизации, а также дополнительные данные ключа: например, идентификатор LoRA-адаптера и хеш изображения.

Проверить тезис: Кэширование префиксов LLM 03 04 · Комплект модели для воспроизводимого serving 03

Для попадания нужно и сохранённое состояние. В vLLM V1 выделение блока другому запросу может вытеснить прежнее содержимое кэша. Учебные расчёты полных блоков ниже относятся только к заданной блочной схеме V1: правило нельзя переносить на все модели и режимы vLLM.

Проверить тезис: Кэширование префиксов LLM 06 05

Учебный пример: в обоих ответах по 101 учитываемому токену. До изменения первый токен пришёл через 1,2 с после начала отправки, последний — через 5,0 с; после изменения — через 0,3 с и 4,1 с соответственно. TTFT сократился вчетверо, время до последнего токена — на 18%. Между первым и последним токенами в обоих случаях 3,8 с и 100 интервалов: среднее TPOT равно 38 мс. Эти числа не доказывают причинного эффекта APC.

Проверить тезис: Время до первого токена 01 07 · Интервал между выходными токенами 03 · Приёмочное испытание инференса 01

Среднее TPOT не показывает отдельные паузы: для ровности вывода нужны межтокенные интервалы ITL. Порция текста может содержать несколько токенов и не даёт их индивидуальных отметок. Последний токен и закрытие потока тоже не одно событие: служебное завершение может прийти позже. Поэтому в отчёте отдельно называют измеренные границы.

Проверить тезис: Интервал между выходными токенами 04 02 07

Для сравнения APC с отключённым кэшированием фиксируйте комплект модели, среду исполнения, задачи, длины входов и ответов, параметры генерации и поступление запросов. Загрузку модели, прогрев и состояние кэша описывайте отдельно. Предложение для плана испытания: выделите серии с попаданиями и промахами и сравнивайте их при сопоставимых условиях.

Проверить тезис: Приёмочное испытание инференса 01 04 · Время до первого токена 04

APC сокращает prefill, но само по себе не сокращает время генерации новых токенов. Поэтому при длинном ответе выигрыш может быть мал. Проверяйте TTFT, дальнейший вывод, время завершения, ошибки и заранее выбранное качество. Более ранний первый токен не заменяет эти условия; для проверки ожиданий сравните режимы отдельно на коротких и длинных ответах.

Проверить тезис: Кэширование префиксов LLM 02 · Время до первого токена 07 · Приёмочное испытание инференса 03 02