VRAM в этом курсе обозначает память GPU как ресурс размещения данных. HBM описывает одну аппаратную организацию такого ресурса. Поэтому вопрос «сколько памяти доступно?» требует свойства конкретного устройства, а не только названия HBM.
GPU, ускорители и инфраструктура LLM
Память высокой пропускной способности
Определение
Память высокой пропускной способности (HBM) — память из нескольких слоёв DRAM с широким интерфейсом к процессору. В GPU, например в NVIDIA A100, она служит локальной памятью устройства; само название не задаёт ни ёмкости, ни скорости переноса.
Также ищут: HBM · High Bandwidth Memory · многослойная память HBM
Зачем это знать
HBM часто встречается рядом с крупными паспортными числами, но они отвечают на разные вопросы. Для расчёта размещения нужен объём доступной памяти в байтах, для оценки переноса — байты за время, а для приложения — измерение его обращений и вычислений. Технологическое название не заменяет эти проверки.
Связи из словаря
Карта понятия
Память высокой пропускной способности
Доказательная часть
Что подтверждено
HBM использует стеки DRAM и широкий интерфейс памяти. В архитектурном описании NVIDIA A100 память HBM2 является частью подсистемы локальной памяти GPU; это конкретная аппаратная организация, а не название программного кеша.
Граница применимости: HBM на примере NVIDIA A100 Tensor Core GPU Architecture; точные параметры стека, интерфейса и варианты устройств требуют проверки соответствующей аппаратной документации.
Ёмкость HBM и её пропускная способность — отдельные характеристики: байты хранимых данных и байты переноса за время. Из одной величины нельзя вычислить другую без дополнительных параметров подсистемы памяти.
Граница применимости: Редакторское сопоставление аппаратного описания памяти A100 и методики bandwidth CUDA; конкретные значения для модели GPU здесь не утверждаются.
Пропускная способность локальной HBM не задаёт скорость передачи данных между памятью CPU и GPU либо между двумя GPU. Такие передачи проходят по собственным путям и имеют отдельные ограничения интерфейса, топологии и используемой операции.
Граница применимости: Сопоставление локальной памяти A100 и передач CPU↔GPU в CUDA; без вывода о равенстве PCIe, NVLink и HBM bandwidth.
Широкий интерфейс HBM не отменяет влияния рисунка обращений CUDA-потоков. Если запросы требуют лишних транзакций или используют только часть переданных данных, эффективный перенос полезных байтов может быть ниже возможностей подсистемы памяти.
Граница применимости: Редакторское применение CUDA memory-access guidance к устройству с HBM; конкретные размеры транзакций и cache policy зависят от архитектуры.
Наличие HBM в GPU не доказывает скорость прикладной задачи. Даже при достаточной локальной памяти время может определяться вычислениями, зависимостями, доступом к данным или передачами за пределами этой памяти.
Граница применимости: Редакторское сопоставление аппаратной организации A100 и методики профилирования CUDA; не сравнительная рекомендация конкретных GPU.
Граница терминов
Не путать
HBM обслуживает локальную память устройства; interconnect связывает устройства и другие части платформы. Большой локальный bandwidth нельзя подставлять в оценку обмена между GPU: для него нужна фактическая схема соединений и свой замер.
Перед спецификацией
Что проверить
- Найдите точную аппаратную документацию выбранной модели GPU.
- Выпишите отдельно доступную ёмкость памяти и её паспортный bandwidth.
- Не подменяйте HBM программной shared memory блока CUDA.
- Проверьте рисунок обращений и долю полезных байтов в транзакциях памяти.
- Измерьте отдельно локальную память, передачи CPU↔GPU и обмен между GPU.
- Сравнивайте приложения на одинаковом профиле, а не по одному наличию HBM.
Открытые основания
Первоисточники
- NVIDIA A100 Tensor Core GPU Architecture
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- CUDA C++ Best Practices Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- CUDA C++ Programming Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 03
- NVIDIA Ampere GPU Architecture Tuning Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Связанные понятия
Курсы по теме
В каталоге
- Ускорители с памятью HBM — HBM даёт ускорителю широкий интерфейс к памяти — у вычислительных GPU это одна из главных характеристик.