VRAM описывает память устройства, бюджет — её размещение и пиковый расход конкретной нагрузки. Паспортная ёмкость сама по себе не сообщает, сколько памяти останется для KV после загрузки модели.
GPU, ускорители и инфраструктура LLM
Бюджет памяти GPU для LLM
Определение
Бюджет памяти GPU для LLM — расчёт того, сколько памяти на каждом устройстве займут веса модели, KV-кэш и рабочие буферы при заданной нагрузке. Считают его по пиковому расходу и отдельно по каждой карте: сумма VRAM нескольких GPU не говорит о свободном месте на одной из них.
Также ищут: GPU memory budget · бюджет VRAM модели · LLM memory capacity planning
Зачем это знать
Модель, которая загрузилась в пустой GPU, может исчерпать память после нескольких длинных диалогов. И сумма памяти нескольких карт не описывает свободное место на каждой из них. Расчёт даёт исходную границу, а приёмка подтверждает её на разрешённых длинах и конкурентности.
Наглядно
Пример: память одного GPU при инференсе LLM с KV-кэшем
Связи из словаря
Карта понятия
Бюджет памяти GPU для LLM
Доказательная часть
Что подтверждено
Размер размещённых весов покрывает только одну часть расхода памяти. Во время генерации нужны KV-кэш, промежуточные данные и рабочие буферы исполняемого пути; успешная загрузка весов не доказывает возможность принять целевую нагрузку.
Граница применимости: Вывод из размещения данных CUDA и анализа памяти serving в PagedAttention; конкретный состав выделений определяется движком и моделью.
В decoder-only модели с одинаковыми слоями и полным self-attention несжатый KV оценивают как 2 × L × Hkv × D × b × сумму S: массивы K/V, L слоёв, Hkv KV-голов, D элементов в голове, b байт на элемент и S хранимых токенов каждой активной последовательности. Накладные расходы размещения добавляют отдельно.
Граница применимости: Вывод для одного логического экземпляра KV с одинаковыми размерами и dtype K/V, без shared prefix, sliding window, offload и метаданных квантования; физическое распределение по GPU считают отдельно.
В grouped-query attention несколько query-голов используют одну группу key/value-голов. В оценку KV входит число KV-голов, а не автоматически число query-голов; при прочих равных меньшее Hkv уменьшает полезный объём кэша.
Граница применимости: Архитектура GQA из первичной публикации; реальные Hkv, число слоёв и размер головы берутся из конфигурации конкретной модели.
Четырёхбитные веса сами по себе не означают четырёхбитный KV-кэш. Разрядность весов и формат хранимых K/V — отдельные решения; в расчёте нужны реальные dtype кэша и дополнительные данные его представления, если используется квантование.
Граница применимости: Вывод из weight-only подхода AWQ и структуры KV; поддержка конкретного сочетания weight/KV dtype текущим движком не предполагается.
У каждого GPU собственные ограничения размещения и выделения памяти. Сумма VRAM нескольких устройств не превращает их в одно место для любой модели: при выбранном разбиении переполненная карта может остановить запуск, даже если на соседней остаётся запас.
Граница применимости: Вывод для обычного распределённого размещения CUDA/Megatron; Unified Memory, удалённый доступ и offload не объявляются безусловной общей VRAM и требуют отдельного договора.
Расчёт полезных байтов нужно дополнить пиковыми временными выделениями и устройством аллокатора. Фрагментация и рабочие буферы могут ограничить размещение раньше арифметической суммы весов и KV; универсальный процент запаса из этой формулы не следует.
Граница применимости: Вывод из управления GPU-памятью CUDA и мотивации PagedAttention; бюджет резервов определяют измерением выбранного runtime и его нагрузки.
Граница приёма запросов должна выдержать сочетание допустимых входных длин, продолжения генерации и числа активных последовательностей. Тест одной короткой последовательности не подтверждает этот предел; отмена и завершение также должны возвращать занятое состояние в доступный пул.
Граница применимости: Эксплуатационный вывод из допуска Orca и жизненного цикла KV в PagedAttention; проверяется заданный максимум, а не неограниченный рост контекста.
Граница терминов
Не путать
Квантование может уменьшить представление весов, но бюджет охватывает ещё KV и runtime. Нельзя переносить коэффициент сжатия файла весов на весь расход GPU-памяти.
Tensor parallelism меняет распределение вычислений и некоторых тензоров между GPU. Бюджет после такого разбиения считают по устройствам: не все буферы обязаны делиться на число участников одинаково.
Перед спецификацией
Что проверить
- Запишите число параметров, реальное представление весов и служебные данные квантования.
- Возьмите L, Hkv и D из конфигурации модели, не заменяя KV-головы query-головами.
- Оцените KV по хранимым входным и выходным токенам всех активных последовательностей.
- Проверьте dtype KV независимо от разрядности весов.
- Составьте размещение весов, KV и рабочих буферов отдельно для каждого GPU.
- Измерьте пиковые выделения при разрешённых длинах и конкурентности; обоснуйте запас.
- Испытайте завершение, отмену и повторный допуск запросов без накопления потерянного KV.
Открытые основания
Первоисточники
- CUDA C++ Programming Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- Efficient Memory Management for Large Language Model Serving with PagedAttention
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- Attention Is All You Need
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 02
- GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration
Полный PDF v6 перечитан 15.10.2026: §2–3 — квантование весов и шкалы; §4 — упаковка и исполнение; §5 — качество и скорость. Результаты отдельных моделей и устройств не обобщаются; формат KV не следует из разрядности весов.
Утверждения: 04
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Первичная схема tensor parallelism при обучении; поддержка современного serving здесь не подтверждается.
Утверждения: 05
- Orca: A Distributed Serving System for Transformer-Based Generative Models
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Iteration-level scheduling и selective batching; результат статьи не переносится на любой движок.
Утверждения: 07
Связанные понятия
Курсы по теме
В каталоге
- Графические ускорители — Отберите ускорители-кандидаты в каталоге, затем сверьте память и поддержку конфигурации по документации; пиковый расход памяти измерьте на своей нагрузке.
- Серверы — Найдите кандидатов среди серверов; поддержку GPU, число карт, питание и охлаждение проверьте по документации, пик памяти GPU — на нагрузке.