KV-кэш языковой модели

Для продолжения причинный трансформер сохраняет необходимые представления ключей и значений прежних позиций по слоям. Они зависят от модели и префикса; кэш не является общим словарём ключей к готовым ответам и не заменяет вычисление новой позиции.

Граница применимости: Обычное внимание декодера с KV-кэшем; рекуррентные модели и модели пространства состояний, состояние кодировщика и нестандартное сжатое представление здесь не описываются.

Для одинаковой геометрии слоёв и равной длины последовательностей плотные данные K+V занимают M=2×L×Hkv×D×T×s×B байт. Здесь L — число слоёв, Hkv — число голов K/V, D — размер головы, T — сохраняемые токены каждой последовательности, s — байты одного значения, B — число последовательностей; множитель 2 учитывает K и V.

Граница применимости: Декодер с полным вниманием, одинаковыми размерами и типами K/V; без общих префиксов, заполнения, выравнивания, квантовочных шкал, метаданных и рабочих буферов. Формула общих логических данных до выгрузки и распределения; не точный расход выделенной памяти.

При 32 слоях, 8 головах K/V, размере головы 128, 4096 сохраняемых токенах, двух байтах на значение и четырёх независимых последовательностях K+V занимает 2 147 483 648 байт, ровно 2 GiB. Для одной такой последовательности это 512 MiB, без весов и служебной памяти.

Граница применимости: 2×32×8×128×4096×2×4; FP16/BF16, полный одинаковый кэш без общих префиксов, заполнения, метаданных, рабочих буферов и распределения по устройствам.

В GQA несколько голов запросов Q используют общие головы ключей и значений K/V, поэтому для размера KV берут Hkv, не число голов Q. При 32 головах Q и 8 головах K/V подстановка 32 вместо 8 завышает этот объём данных в четыре раза при остальных одинаковых параметрах.

Граница применимости: Сравнение геометрии сохраняемого K/V; не обещание неизменного качества, полной VRAM или скорости при преобразовании MHA в GQA.

Для последовательностей разной длины без выравнивания и общих префиксов вклад токенов считают по сумме их сохраняемых длин. Дополнение до общей длины может увеличить физический расход, общие страницы префикса — уменьшить дублирование; нельзя молча заменить эти режимы одним Tmax×B.

Граница применимости: Одинаковая геометрия полного KV; совместное использование и размещение подтверждают для движка. Оконное внимание и сжатое состояние вне этой модели и требуют отдельного контракта хранения.

Тип данных KV и представление квантованных весов — разные настройки. Метка AWQ или «4 бита» на весах не позволяет поставить 0,5 байта в формулу KV: сначала подтверждают фактический формат кэша, а для его квантования отдельно учитывают шкалы и размещение.

Граница применимости: Метод преобразования только весов не меняет автоматически KV; конкретная поддержка квантованного кэша этим тезисом не заявляется.

Переиспользованный KV ускоряет продолжение подходящего префикса, но не возвращает заранее готовый ответ и не гарантирует совпадение новых токенов при других параметрах генерации. Область совпадения для повторного использования кэша проверяют по модели и входному вычислению, а не по похожему тексту запроса.

Граница применимости: Совместное использование точного префикса выбранным движком; произвольное межпользовательское переиспользование и политика изоляции здесь не разрешаются.

Полный логический KV нельзя автоматически разделить на число GPU и получить расход каждой. Слои и головы K/V могут распределяться или реплицироваться по-разному, часть данных — выгружаться; для каждого устройства проверяют реальную схему и служебные затраты выбранного режима параллелизма.

Граница применимости: Модель распределения конкретного движка; формула общей геометрии не доказывает равномерное разбиение при тензорном параллелизме или объединённую VRAM.

В условном примере с 32 слоями, Hq=32, Hkv=8, D=128, 4096 сохранёнными токенами в каждой из четырёх независимых последовательностей и KV в FP16 схема LlamaAttention vLLM v0.31.0 даёт 268 435 456 байт (256 MiB) данных K+V на GPU и при TP=8, и при TP=16. В обоих случаях на GPU приходится одна голова K/V; при TP=16 каждая голова повторяется на двух GPU.

Граница применимости: Hq/Hkv — числа голов Q/KV, D — размер головы, TP — число GPU группы; FP16 — 2 байта на значение. PP=PCP=DCP=1; одинаковое полное внимание всех 32 слоёв. Без общих префиксов, выгрузки, заполнения, выравнивания, метаданных и свободных блоков. Уникальные K+V — 2 GiB; с повторами — 2 GiB при TP=8 и 4 GiB при TP=16. Это расчёт K+V, не весь расход памяти или пик VRAM.