Самовнимание описывает связи позиций; FlashAttention — способ выполнить вычисление, не сохраняя полную матрицу в HBM.
GPU, ускорители и инфраструктура LLM
Самовнимание
Определение
Самовнимание — механизм, который строит представление каждой позиции последовательности из взвешенных представлений её позиций.
Также ищут: self-attention · самовнимание трансформера
Зачем это знать
Самовнимание объясняет, какие позиции входа учитываются при обработке каждой позиции и как маска ограничивает эти связи. При разборе памяти различайте матрицу внимания, KV-кэш и полный бюджет GPU.
Связи из словаря
Карта понятия
Доказательная часть
Что подтверждено
При самовнимании в Transformer запросы Q, ключи K и значения V получают обучаемыми проекциями одной последовательности. Сходство Q с K после деления на √dₖ и нормировки softmax задаёт веса суммы V; dₖ — размер ключа. При внимании между кодировщиком и декодером источники Q и K/V различаются.
Граница применимости: Vaswani v5, §§3.2.1–3.2.3; описанный Transformer.
Причинная маска исключает будущие позиции до softmax, даже если обучающий пример известен целиком. Текущая позиция разрешена.
Граница применимости: Vaswani v5, §§3.1, 3.2.3; вход декодера сдвинут относительно предсказываемых токенов.
Одна сохранённая плотная матрица 4096×4096 в FP16 занимает 32 MiB; 8192×8192 — 128 MiB. Удвоение длины увеличило этот объём вчетверо.
Граница применимости: Расчёт N²×2 байта для одной головы и последовательности; MiB=2²⁰ байт. Только одна матрица, не KV и не вся VRAM. Явное сохранение — условие примера, не требование алгоритма.
В многоголовом внимании (MHA) каждая голова вычисляет внимание со своими проекциями Q/K/V. Результаты голов объединяются и проходят выходную проекцию.
Граница применимости: Vaswani v5, §3.2.2; исходная схема MHA.
Граница терминов
Не путать
Перед спецификацией
Что проверить
- Нарисуйте разрешённые связи для трёх позиций декодера.
- Укажите размер, тип и число сохраняемых матриц перед расчётом байтов.
Открытые основания
Первоисточники
- Attention Is All You Need
Прочитаны §§2, 3.1–3.2.3 и 4 (15.10.2026); 26.10.2026 дополнительно сверены §§3.3 и 3.5 для position-wise FFN и позиционного кодирования. Формулы и маска сверены с публикационным PDF NeurIPS 2017, с. 3–5.
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Прочитаны §§2–3.3 и 5; Algorithm 1 и Theorem 1 сверены с PDF v2, с. 5. На титуле PDF стоит 24 июня; дата версии arXiv — 23 июня. Более поздние FlashAttention не описываются.
Утверждения: 03