MoE описывает выбор экспертов для обработки токена, EP — их распределение между процессами. Число выбранных экспертов не задаёт число устройств.
GPU, ускорители и инфраструктура LLM
Экспертный параллелизм (EP)
Определение
Экспертный параллелизм (EP) — способ распределить блоки-эксперты модели между процессами одной группы. Номер процесса называют рангом; его связь с GPU задаётся конфигурацией.
Также ищут: expert parallelism · EP · параллелизм по экспертам
Зачем это знать
EP помогает составить карту экспертных весов и обмена между процессами. Для оценки памяти нужны также копии остальных весов, а для оценки нагрузки — фактическое распределение токенов.
Связи из словаря
Карта понятия
Экспертный параллелизм (EP)
Доказательная часть
Что подтверждено
В DeepSpeed v0.14.5 для одного MoE-слоя при num_experts=8 и ep_size=4 конструктор назначает два локальных эксперта на ранг EP-группы; num_experts должен делиться на ep_size.
Граница применимости: Конструктор MoE DeepSpeed v0.14.5; ep_size — число рангов EP-группы, а не обязательно число физических GPU.
В обычном прямом проходе MOELayer DeepSpeed v0.14.5 активации токенов передаются к экспертам через AllToAll. Результаты возвращаются через второй AllToAll и объединяются. Передаются активации и результаты, а не веса экспертов для каждого токена.
Граница применимости: Обычный путь MOELayer.forward в DeepSpeed v0.14.5; не все реализации, ветви тензорного параллелизма или коллективные операции обучения.
В примере vLLM v0.10.2 для DeepSeek-V3-0324 с TP=1, DP=8 и EP=8 веса внимания скопированы на GPU, а веса экспертов распределены между ними. Это не общее правило размещения всех параметров вне экспертов.
Граница применимости: Только пример DeepSeek-V3-0324 в документации vLLM v0.10.2, строки 32–46; режим EP в документе отмечен как экспериментальный.
Равное число размещённых экспертов не гарантирует равное число направленных к ним токенов или одинаковую вычислительную нагрузку.
Граница применимости: Ограничение маршрутизации экспертов в описаниях Mixtral и vLLM v0.10.2; не прогноз конкретного профиля нагрузки.
В учебной модели с одним MoE-слоем восемь экспертов по 1 млрд параметров распределены поровну между четырьмя GPU, а все 2 млрд параметров вне экспертов скопированы на каждую. При 2 байтах на параметр веса занимают 8 GB на GPU и 32 GB суммарно, хотя один полный набор весов занимает 20 GB.
Граница применимости: Один процесс EP на GPU, по два целых эксперта на процесс; GB=10⁹ байт. DeepSpeed v0.14.5 подтверждает деление экспертов, Mixtral — различие полного и активного числа параметров. Размеры, копирование всех остальных весов и 2 байта на параметр — условия примера. Без TP, дополнительных копий экспертов, квантования, выгрузки, KV-кэша, активаций, буферов и состояний обучения; не размещение реальной модели.
Граница терминов
Не путать
Перед спецификацией
Что проверить
- Запишите число экспертов и процессов в EP-группе; проверьте делимость и соответствие процессов GPU.
- Уточните размещение и копии весов, затем проследите путь активаций к экспертам и результатов обратно.
- Проверьте нагрузку и задержки на нужных запросах: равное число экспертов не гарантирует равную занятость.
Открытые основания
Первоисточники
- DeepSpeed v0.14.5: MoE Layer
Аргументы MoE — строки 20–35; делимость числа экспертов и расчёт локального числа — 59–63; создание группы процессов — 89–103. Только DeepSpeed v0.14.5.
- DeepSpeed v0.14.5: sharded MoE forward
_AllToAll — строки 96–108; MOELayer.forward — 508–599. Рассматриваются отправка активаций, вычисление экспертов, возврат и объединение результатов; не все обмены при обучении.
Утверждения: 02
- Expert Parallel Deployment
Пример DeepSeek-V3-0324 — строки 25–55; возможная неравномерность распределения токенов — 113. EP в этой версии отмечен как экспериментальный; описание не подтверждает запуск на конкретном оборудовании.
- Mixtral of Experts
Архитектура и схема экспертов — §§2–2.1, таблица 1; общий и активный счёт параметров — §3. Анализ маршрутизации ограничен исследованными подмножествами The Pile: §5, рисунки 7–10.