Нормализация слоя
Определение
Нормализация слоя (LayerNorm) — преобразование скрытого вектора с вычитанием среднего и делением на стандартное отклонение.
Также ищут: LayerNorm · Layer normalization
Зачем это знать
Помогает прочитать формулу слоя и отличить LayerNorm от RMSNorm.
Карта понятия
Связано
Что подтверждено
Для одного вектора a из n компонент LayerNorm считает среднее μ = (Σ aᵢ)/n и стандартное отклонение σ = √(Σ(aᵢ − μ)²/n); берутся компоненты этого вектора.
Граница применимости: Ba et al., §3 Eq. 3: H скрытых единиц одного примера; не произвольные оси библиотеки.
LayerNorm преобразует вектор a до нелинейности: yᵢ = γᵢ(aᵢ − μ)/σ + βᵢ. Здесь μ и σ — среднее и стандартное отклонение входного вектора; γᵢ и βᵢ — обучаемые масштаб и сдвиг.
Граница применимости: Ba et al., §3.1 Eq. 4 и §5.1 Eq. 5; обозначения g и b.
RMSNorm считает RMS = √(Σ aᵢ²/n), делит каждый компонент на него и применяет обучаемый покомпонентный масштаб; среднее μ не вычитается.
Граница применимости: Zhang–Sennrich, §4 Eq. 4. Формула оператора, не контракт RMSNorm-модуля.
Что проверить
- Сверьте оси нормировки и ε с реализацией модели.
- Различайте делитель дисперсии, масштаб γ и сдвиг β.
- После γ и β среднее и дисперсия могут измениться.
Первоисточники
- Layer Normalization
Формулы статистик вектора, масштаба и сдвига до нелинейности. ε реализации не указан.
- Root Mean Square Layer Normalization
Zhang–Sennrich §4 Eq. 4 и §4.1 Eq. 5: первое — RMSNorm, второе — общая формула слоя со сдвигом и нелинейностью, не контракт модуля. ε не указан.
Утверждения: 03