Формат BF16 задаёт сетку чисел; метод квантования дополнительно задаёт отображение тензоров в коды и шкалы. Метка разрядности квантованных весов не раскрывает формат аккумулятора.
GPU, ускорители и инфраструктура LLM
Квантование модели
Определение
Квантование модели — это перевод выбранных тензоров в представление меньшей разрядности: исходные числа заменяют короткими кодами, а рядом хранят шкалы. Веса, активации и K/V могут преобразовываться по-разному, поэтому надписи «4 бита» мало, чтобы понять, что именно уменьшилось.
Также ищут: model quantization · квантизация модели · weight quantization · weight-only quantization · AWQ
Зачем это знать
Меньший файл весов может помочь разместить модель, но не отменяет KV-кэш, служебные буферы и требования к реализации операций. Принимают конкретный квантованный артефакт: с известной областью преобразования, измеренным качеством и проверенным режимом запуска.
Связи из словаря
Карта понятия
Доказательная часть
Что подтверждено
Описание квантования должно перечислять преобразованные тензоры и их представление: веса, активации и K/V могут иметь разные режимы. Метод AWQ относится к квантованию весов; свойства одного такого метода нельзя переносить на все способы уменьшения разрядности модели.
Граница применимости: Квантование только весов методом AWQ и раздельные тензоры среды инференса; без обещания, что все параметры или операции стали INT4.
Квантование только весов не меняет автоматически формат K/V, которые создаются при обработке запроса. Если движок хранит KV в BF16 или FP16, его значения по-прежнему требуют два байта каждое, даже когда выбранные веса упакованы по четыре бита.
Граница применимости: Тип данных KV установлен отдельной конфигурацией работающего движка; пример не утверждает, что этот тип обязателен для всех методов.
При расчёте хранения квантованной модели отдельно учитывают коды весов, параметры квантования и тензоры, оставшиеся в другом типе данных. Номинальные 4 бита описывают только сами коды; наличие шкал, других служебных данных и способ упаковки проверяют по выбранной реализации.
Граница применимости: Редакторское правило учёта: AWQ даёт пример квантования со шкалами, safetensors описывает типы и размещение сохраняемых тензоров. Из этих документов не выводится единая структура всех квантованных файлов или обязательность конкретных служебных полей.
Для ровно 7 000 000 000 значений, каждое из которых плотно закодировано четырьмя битами, объём данных равен 3 500 000 000 байт, примерно 3,26 GiB. Для тех же значений по два байта это 14 000 000 000 байт: уменьшение кодов 4:1 не является уменьшением всей VRAM 4:1.
Граница применимости: Учебная арифметика без шкал, выравнивания, неохваченных тензоров, KV и рабочих буферов; «7B» на названии модели не заменяет точное число значений.
AWQ использует сведения об активациях для выбора масштабирования весов. Калибровочная выборка и проверка готовой модели решают разные задачи: настройка метода не доказывает сохранение качества на реальных заданиях и длинных входах сервиса.
Граница применимости: Метод учитывает сведения об активациях; приёмочную выборку и метрики качества задают отдельно, не перенося опубликованные результаты на свой корпус.
Исполняющая библиотека должна поддерживать не только число бит, но и точную схему квантования: упаковку, группировку, шкалы и набор операций. Совпадение метки INT4 у файла и GPU недостаточно, чтобы доказать загрузку и исполнение этого артефакта без дополнительного преобразования.
Граница применимости: Совместимость конкретного квантованного артефакта с библиотекой и реализациями операций; здесь не даётся список поддержанных устройств.
Уменьшение объёма данных может сократить перенос из памяти, но преобразование кодов, форма матриц, пакет запросов и реализация операций меняют итоговую стоимость. Квантование не имеет универсального коэффициента ускорения: измеряют prefill и decode на том же профиле запросов и при допустимом качестве.
Граница применимости: Сравнение артефактов на одной библиотеке и устройстве; экспериментальный выигрыш AWQ не является паспортом любого четырёхбитного запуска.
В блочном NF4 четырёхбитный код — индекс одного из 16 значений таблицы. Вес делят на максимальный модуль веса в блоке M и выбирают ближайшее значение таблицы. Приближённый вес восстанавливают как «значение из таблицы × M»; M сохраняют отдельно.
Граница применимости: Yoshida, §2; M положителен, упаковка не рассматривается.
Нормальное распределение исходных весов не делает NF4 оптимальным при любом размере блока: после деления на общий максимум модулей распределение зависит от размера блока. Вывод Yoshida не опровергает эксперименты QLoRA.
Граница применимости: Yoshida, §3.1; превосходство другого формата не заявлено.
Граница терминов
Не путать
Квантованные веса используются многими запросами как параметры модели, а KV появляется для конкретных префиксов. Преобразование только весов не уменьшает вторую область автоматически.
Веса — объект представления; квантование — один способ его изменить. Считать экономию нужно по реально преобразованным тензорам вместе с метаданными, а качество проверять для нового артефакта.
Перед спецификацией
Что проверить
- Установите точный формат артефакта, версию метода и долю преобразованных тензоров.
- Запишите отдельно типы данных весов, активаций, KV и накопления.
- Учтите шкалы, прочие служебные данные и оставшиеся тензоры по описанию выбранной реализации.
- Сверьте упаковку и размер групп с библиотекой, а не только надпись INT4 у устройства.
- Отделите калибровочную выборку от приёмочных заданий и порога качества.
- Замерьте prefill, decode и память на тех же длинах и числе одновременных последовательностей.
- Не обещайте четырёхкратную экономию VRAM по отношению 16:4 для кодов весов.
Открытые основания
Первоисточники
- AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration
Полный PDF v6 перечитан 15.10.2026: §2–3 — квантование весов и шкалы; §4 — упаковка и исполнение; §5 — качество и скорость. Результаты отдельных моделей и устройств не обобщаются; формат KV не следует из разрядности весов.
- Efficient Memory Management for Large Language Model Serving with PagedAttention
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- Cloud TPU: bfloat16
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- Safetensors
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Контейнер тензоров и граница безопасной сериализации; доверие загрузчику и runtime отдельно.
Утверждения: 03
- CUDA C++ Programming Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- NF4 Isn’t Information Theoretically Optimal (and that’s Good)
§2: код и масштаб блока; §3.1: зависимость от размера блока; §1: граница вывода об экспериментах QLoRA.
- QLoRA: Efficient Finetuning of Quantized LLMs
Исходная редакция статьи; §3 описывает NF4 и BF16 для конкретной схемы QLoRA, двойное квантование констант и двухуровневые блоки. Не заявлена как последняя редакция.
Утверждения: 09
- Attention Is All You Need
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Связанные понятия
Курсы по теме
В каталоге
- Сравнить графические ускорители — Сравните GPU для выбранной модели; поддержку её формата и операций сверяйте с документацией ускорителя и исполняющей библиотеки.