Конвейерный параллелизм модели

GPipe разбивает последовательную модель на группы слоёв и размещает эти группы на разных ускорителях. Выход одной группы становится входом следующей, сохраняя порядок вычислений логической модели.

Граница применимости: Схема стадий GPipe из первичной работы об обучении; не утверждается, что любая модель или serving-реализация поддерживает произвольный разрез.

Между стадиями передаются промежуточные активации. Модель не превращается в набор независимых вычислений: последующая стадия зависит от результата предыдущей и должна получить его по доступному пути передачи.

Граница применимости: Прямой проход стадий GPipe; состав активаций, транспорт и размещение буферов определяются конкретным разбиением.

Конвейер сначала заполняется, а после последней порции работы опустошается; в эти периоды часть стадий простаивает. В GPipe micro-batches позволяют перекрывать работу стадий, но доля простоев зависит от количества порций и расписания.

Граница применимости: Micro-batch pipeline GPipe при обучении; формула его training schedule не переносится автоматически на потоковый inference.

Для обычной авторегрессионной генерации следующий токен зависит от результата предыдущего. Один токен проходит необходимые последовательные стадии модели; увеличение их числа не означает деления задержки одного ответа на это число. Конвейерная загрузка требует перекрываемой работы.

Граница применимости: Вывод из авторегрессионного decoder Transformer и стадий GPipe; speculative decoding и другие специальные алгоритмы не предполагаются.

Разделить модель на одинаковое число слоёв недостаточно для равной нагрузки стадий. Различаются вычисления и размещение данных; каждая стадия должна укладываться в свою память, а медленный участок может задерживать следующий шаг всего пути.

Граница применимости: Вывод из балансировки GPipe и компонентов GPU-памяти serving; веса, KV и рабочие буферы учитываются на фактической стадии.

Несколько стадий PP обслуживают одну логическую копию модели, а независимые реплики могут принимать разные запросы целиком. Увеличение числа стадий решает размещение и расписание одной копии; оно не создаёт автоматически столько же независимых серверов.

Граница применимости: Вывод из группировки слоёв GPipe и обслуживания независимых запросов Orca; внутри каждой реплики допускается лишь реально поддержанная схема.

GPipe описывает обучение с micro-batches и обратным проходом. В inference нет того же цикла градиентов, а запросы имеют разные длины и моменты окончания. Поддержку PP, порядок допуска и поведение при завершении следует проверять у выбранного serving-движка.

Граница применимости: Вывод о границе между training-работой GPipe и авторегрессионной генерацией Transformers; готовая совместимость современного engine не заявляется.