Кэширование префиксов LLM
Определение
Кэширование префиксов LLM — повторное использование сохранённого вычислительного состояния для совпадающего начала входных запросов. В трансформерных движках это позволяет пропустить повторное вычисление подходящих ключей и значений KV-кэша.
Также ищут: prefix caching · automatic prefix caching · APC · кэш префиксов LLM
Зачем это знать
Один и тот же документ может обрабатываться заново, если перед ним меняется начало запроса. В вымышленном примере перед документом каждый раз ставят новую отметку времени: общий документ ещё не означает общий префикс. Сравнивайте фактический вход и попадания в кэш, прежде чем объяснять задержку нехваткой мощности GPU.
Карта понятия
Что подтверждено
В vLLM автоматическое кэширование префиксов позволяет новому запросу использовать KV-кэш совпадающего начала ранее обработанного запроса и пропустить вычисления этой части.
Граница применимости: Документация vLLM Automatic Prefix Caching, Introduction; прочитана 25.10.2026. Переиспользуется состояние совпадающего префикса, а не готовый текст ответа.
APC в vLLM сокращает обработку входа — prefill; само по себе оно не сокращает время генерации новых токенов — decode. Выигрыш ограничен, если основное время занимает длинный ответ или подходящего префикса в кэше нет.
Граница применимости: Раздел Limits документации vLLM APC; механизм экономии вычислений, а не обещание определённого времени ответа сервиса.
В описанной схеме vLLM V1 хеш блока учитывает его токены и хеш предыдущего блока. Поэтому совпадения токенов внутри отдельного фрагмента недостаточно: важен предшествующий ему префикс.
Граница применимости: Документ устройства APC vLLM V1, раздел о составе хеша блока; прочитан 25.10.2026.
Для различения блоков vLLM также учитывает дополнительные данные, например идентификатор LoRA-адаптера и хеш входного изображения. Одинаковый видимый текст не доказывает совпадение всего входа.
Граница применимости: Состав хеша блока и пример мультимодального входа в документе устройства APC vLLM V1.
В примере vLLM V1 с блоками по четыре токена общий префикс длиной десять токенов даёт попадание для двух полных блоков — восьми токенов.
Граница применимости: Раздел Example документа устройства APC vLLM V1. Иллюстрация блочной схемы; не универсальная гранулярность всех моделей и режимов vLLM.
При выделении блока из очереди свободных блоков vLLM может вытеснить его прежнее содержимое из кэша префиксов. После этого другие запросы уже не могут повторно использовать этот блок по прежнему ключу.
Граница применимости: Разделы Block Allocation и Eviction документа устройства APC vLLM V1. Сохранение префикса между запросами не бессрочно.
Что проверить
- Зафиксируйте движок, версию, модель, адаптер и настройку кэширования префиксов.
- Сравните начало входа после применения шаблона диалога и токенизации; найдите первое различие.
- Проверьте, не стоит ли меняющаяся отметка времени или идентификатор запроса перед большой общей частью.
- Учитывайте границы блоков и вытеснение: прежний запрос ещё не гарантирует нынешнего попадания.
- Измеряйте отдельно запросы с попаданием и без него при одинаковой длине входа и ответа и одинаковом числе одновременно выполняемых запросов.
- Проверяйте время до первого токена вместе со скоростью дальнейшей генерации и расходом памяти.
Первоисточники
- Automatic Prefix Caching — vLLM feature guide
Прочитаны Introduction, Example workloads и Limits. APC экономит обработку совпадающего входа; время сервиса и скорость decode требуют отдельных измерений. Версия установленного движка не закреплена, запуск vLLM не выполнялся.
- Automatic Prefix Caching — vLLM design
Прочитаны состав хеша блока, мультимодальный пример, Block Allocation, Eviction и Example. Пример полных блоков не перенесён на особые режимы гибридных Mamba-моделей из feature guide. Данные примера прочитаны, движок локально не запускался.