FP8
Определение
FP8 — семейство 8-битных форматов чисел с плавающей точкой, в которых разное число бит отводится порядку и дробной части. Метка FP8 сама по себе не задаёт способ масштабирования и округления.
Также ищут: 8-битные форматы с плавающей точкой · форматы FP8
Зачем это знать
Вы сможете отличить широкий диапазон от мелкого шага и рассчитать потерю точности в выбранном формате.
Карта понятия
Что подтверждено
В E4M3 и E5M2 из статьи знак, порядок и дробь занимают соответственно 1/4/3 и 1/5/2 бита; конечные положительные максимумы — 448 и 57 344. Из этих кодировок следует, что шаг на [1,2) — 1/8 для E4M3 и 1/4 для E5M2.
Граница применимости: Распределение битов и максимумы — варианты статьи v2; шаг выведен для [1,2). Другие кодировки FP8 не охватываются.
В current scaling Transformer Engine 2.14.0 amax — максимальный модуль значений тензора, F — наибольшее конечное значение формата. При ненулевом amax вход x умножают на m=F/amax и округляют в FP8, получая число q. Для тензора хранят один обратный масштаб s=1/m в FP32; q·s приближает исходное x. RTNE выбирает ближайшее значение, при равном расстоянии — с нулевым младшим битом дробной части.
Граница применимости: Current scaling Transformer Engine 2.14.0 при ненулевом amax. Не относится к MXFP8, блочному или отложенному масштабированию.
Входной формат тензора не задаёт арифметику и формат результата операции. В экспериментах статьи 2022 года тензоры преобразовывали в FP8 и обратно в FP16/BF16; вычисления выполняли в большей разрядности. Это проверка численного поведения, не измерение скорости FP8 на GPU.
Граница применимости: Только граница симуляции, описанная в статье; выводов о скорости или совместимости оборудования нет.
Что проверить
- Уточните, какая именно кодировка FP8 используется: E4M3 или E5M2.
- Запишите множитель масштабирования и обратный масштаб отдельно.
- Проверьте, какая арифметика применяется после преобразования входного тензора.
Первоисточники
- FP8 Formats for Deep Learning
Статья описывает кодировки E4M3/E5M2 и моделирование преобразований.
Связанные понятия
Курсы по теме
В каталоге
- Сравнить графические ускорители — Сравните кандидатов для выбранного запуска; поддержку нужной кодировки FP8 и операций проверьте по документации GPU и вычислительной библиотеки.