Внимание LLM: головы, KV-кэш и расход памяти

В исходном Transformer кодировщик строит представления входной последовательности. Декодер формирует выход, обращаясь к этим представлениям через отдельный блок внимания. В GPT-1 используется только декодер с маскированным самовниманием. Это сравнение исходной модели 2017 года и GPT-1, а не всех современных моделей.

Проверить тезис: Трансформер 01 02

В каждом слое исходного Transformer есть полносвязная сеть (FFN): она преобразует вектор каждой позиции отдельно. Для всех позиций внутри слоя используется один набор весов; у разных слоёв веса различаются. Поэтому повторное применение FFN к новым позициям добавляет вычисления, а не параметры.

Проверить тезис: Трансформер 03

Чтобы учитывать порядок позиций, исходная модель добавляет к эмбеддингам позиционное кодирование. Авторы выбрали синусы и косинусы, проверив также обучаемый вариант. Этот выбор описывает оригинал; другие модели могут учитывать позиции иначе.

Проверить тезис: Трансформер 05

При самовнимании запросы Q, ключи K и значения V получают проекциями одной последовательности. Сходство Q с K делят на √dₖ, где dₖ — размер ключа; softmax превращает оценки в веса суммы V. При внимании декодера к кодировщику источники Q и K/V различаются.

Проверить тезис: Самовнимание 01

В многоголовом внимании (MHA) у каждой головы свои проекции Q/K/V; результаты голов объединяются перед выходной проекцией.

Проверить тезис: Самовнимание 04

Причинная маска исключает будущие позиции до softmax. Вход декодера сдвинут относительно целей обучения: на текущей позиции находится предшествующий токен, а не тот, который нужно предсказать. Поэтому чтение текущей позиции входа не раскрывает целевой токен.

Проверить тезис: Самовнимание 02

В примере одной плотной матрицы головы FP16 удвоение длины с 4096 до 8192 увеличивает её объём с 32 до 128 MiB. Это не KV-кэш и не полная память GPU.

Проверить тезис: Самовнимание 03

В GQA несколько голов Q делят головы K/V; при 32 Q и 8 равных группах на одну пару K/V приходится четыре Q.

Проверить тезис: Групповое внимание (GQA) 01

При H головах Q многоголовое внимание MHA имеет H голов K и H голов V; многозапросное внимание MQA — по одной. GQA делит головы Q на группы с общими K/V; границы GQA-H и GQA-1 соответствуют MHA и MQA.

Проверить тезис: Групповое внимание (GQA) 02

Для LlamaConfig v4.44.2 сравните num_attention_heads с num_key_value_heads: при None второе поле получает первое, что задаёт MHA в этой конфигурации. Это не подтверждает запуск движка.

Проверить тезис: Групповое внимание (GQA) 05

В исследовании веса K/V MHA усредняли внутри группы и продолжали предобучение; это не переключатель сервера и не гарантия прежнего качества.

Проверить тезис: Групповое внимание (GQA) 03

Эксперименты проводили на T5.1.1 с изменениями внимания декодера, включая внимание к кодировщику; самовнимание кодировщика не меняли.

Проверить тезис: Групповое внимание (GQA) 04

Для одинаковых слоёв и равных длин плотные K+V занимают M=2×L×Hkv×D×T×s×B байт: L — слои, Hkv — головы K/V, D — размер головы, T — сохраняемые токены, s — байты на значение, B — последовательности. Это логические данные без общих префиксов, заполнения, метаданных и рабочих буферов.

Проверить тезис: KV-кэш языковой модели 02

В GQA для KV используют число голов K/V, а не Q. Полный расход памяти включает также веса, промежуточные данные и рабочие буферы; расчёт KV не заменяет измерение этого расхода.

Проверить тезис: KV-кэш языковой модели 04 · Бюджет памяти GPU для LLM 01

В CPU-опыте для одного слоя и одной головы на фиксированных векторах prefill вычисляет внимание с причинной маской и сохраняет K/V входа; decode рассчитывает новую позицию с использованием K/V доступного префикса. Сравните выходы внимания с полным пересчётом, отдельно посчитайте новые векторы K и V, а для каждого decode-запроса — число доступных ключей. Эти учебные счётчики не оценивают FLOP, время или байты.

Проверить тезис: Самовнимание 02 · Обработка входного контекста LLM 02 · Пошаговая генерация LLM 02

FlashAttention вычисляет полное внимание блоками, не сохраняя целиком матрицу N×N в основной памяти GPU (HBM). Математическая точность не гарантирует побитового совпадения результатов.

Проверить тезис: FlashAttention 01

Объём вычислений остаётся O(N²d): N — длина последовательности, d — размер головы. При фиксированном d зависимость квадратичная. В обратном проходе промежуточное внимание пересчитывается; число арифметических операций может увеличиться.

Проверить тезис: FlashAttention 02 03

Разреженное блочное расширение описано отдельно как приближение; сам FlashAttention не меняет число голов K/V и не сжимает сохраняемый KV-кэш.

Проверить тезис: FlashAttention 05 04

До сравнения фиксируют модель, среду исполнения, нагрузку и критерии качества. Затем сопоставляют качество ответов, задержки, пропускную способность и ошибки; высокий темп при растущей очереди не доказывает прежнего уровня сервиса.

Проверить тезис: Приёмочное испытание инференса 01 02 03

Запрос Q и ключ K — векторы, то есть списки чисел. RoPE берёт их координаты попарно и поворачивает каждую пару как стрелку на плоскости. Угол зависит от позиции токена и частоты пары. Из скалярного произведения повёрнутых Q и K получают оценку внимания; значения V в этой операции не поворачиваются.

Проверить тезис: RoPE 01 04

Для одной пары обозначим исходные векторы как q и k, их позиции как m и n, а угол на шаг позиции как θ. Если R(α) — поворот на угол α, то R(mθ)q · R(nθ)k = qᵀR((n−m)θ)k. При неизменных q и k важна разность позиций n−m: общий сдвиг обеих позиций сохраняет скалярное произведение.

Проверить тезис: RoPE 02

Учебный пример: q=k=(1,0), угол на шаг позиции — условные 90°. Запрос в позиции 2 превращается в (−1,0), ключ в позиции 1 — в (0,1). Скалярное произведение — сумма произведений соответствующих координат: (−1)×0+0×1=0. Сдвинем обе позиции на 2: в позиции 4 запрос станет (1,0), а в позиции 3 ключ — (0,−1). Результат снова 0. Условные 90° выбраны для удобного счёта и не описывают частоты конкретной модели.

Проверить тезис: RoPE 03

Position Interpolation сжимает шкалу позиций перед расчётом RoPE: вместо m берут m×L/L′, где L — прежнее окно, а L′ — расширенное. Токены остаются в последовательности, меняются числа, которыми RoPE обозначает их позиции. В описанных экспериментах с LLaMA авторы также дообучали модель на расширенном окне.

Проверить тезис: RoPE 06

Вычислить поворот для новой позиции ещё не значит получить полезный ответ на длинный текст. В исследовании Position Interpolation расширенные модели отдельно проверяли на длинных задачах. Практическое применение: выберите задачи и критерии качества для своей модели до сравнения скорости.

Проверить тезис: RoPE 05 · Приёмочное испытание инференса 02