Реплики делят независимые запросы между копиями, TP делит вычисления одной копии между участниками. В первом случае рост расхода весов может покупать больше независимых обработчиков; во втором меняются размещение и обмены одного вычисления.
GPU, ускорители и инфраструктура LLM
Независимые реплики инференса
Определение
Независимые реплики инференса — несколько полных логических копий модели, каждая из которых обслуживает свою очередь запросов. Копии множат число обработчиков, но не складывают память: если модель не помещается в одну реплику, добавление таких же копий её не разместит.
Также ищут: Data parallel inference · DP инференса · реплики LLM serving
Зачем это знать
Если модель уже помещается и задача состоит в обслуживании большего потока, копии дают другую ось масштабирования, чем разбиение слоёв. Но стоимость повторения весов, очереди, KV-состояние и общие узкие места остаются. Понятие data parallel из обучения нельзя переносить вместе с градиентными обменами.
Связи из словаря
Карта понятия
Независимые реплики инференса
Доказательная часть
Что подтверждено
При независимом обслуживании каждая реплика имеет полную логическую копию модели для своего запроса. Её веса могут быть распределены внутри реплики, но повторение реплик обычно означает повторение доступного им набора весов, а не его единое разбиение между всеми копиями.
Граница применимости: Вывод о копировании модели и независимых запросах; общее физическое хранение весов или offload не предполагаются без отдельного механизма.
Балансировщик может направлять разные запросы в разные независимые реплики. Каждая обслуживает свою очередь и активные последовательности; пользовательская задержка зависит от выбора реплики и её состояния, а не только от суммарного числа GPU.
Граница применимости: Эксплуатационный вывод для независимых serving-реплик; конкретный алгоритм балансировки не задан и должен быть описан в поставке.
Если каждая реплика работает на одном GPU, добавление таких же независимых реплик не помогает поместить модель, превышающую память одного устройства. Для одной копии нужен поддержанный способ распределения или переноса данных; общий счётчик VRAM кластера этого не создаёт.
Граница применимости: Вывод для реплик без совместного model sharding и без заранее заданного offload; различие копирования модели и распределённого размещения.
Продолжение уже начатой генерации требует её текущего состояния, включая соответствующий KV. Произвольно перенаправить следующий шаг на пустую реплику недостаточно: нужно сохранить привязку либо явно перенести или восстановить состояние с учётом его цены.
Граница применимости: Вывод из жизненного цикла KV PagedAttention и итерационного обслуживания Orca; запрета миграции нет, но механизм и задержка не считаются бесплатными.
Новые реплики дают прирост полезной ёмкости только при достаточном потоке независимых запросов и отсутствии общего ограничителя. Неравномерное распределение очередей, общий фронтенд или путь данных могут оставить дополнительные GPU недогруженными.
Граница применимости: Вывод для проверки SLO на распределённой нагрузке; линейного коэффициента масштабирования по числу реплик не обещается.
Число независимых копий и способ разделения одной копии — разные оси. Реплика может использовать несколько устройств для TP или PP, если движок поддерживает такую комбинацию; расчёт ресурсов должен показать и число копий, и топологию каждой.
Граница применимости: Архитектурный вывод из различных разбиений Megatron-LM и GPipe; не утверждение о поддержке их произвольного сочетания текущим inference-сервером.
Data parallel training синхронизирует обучение копий модели, включая градиентные данные. Независимый inference фиксированных весов не выполняет этот обратный проход и обновление параметров; автоматически включать training-обмены в его контракт по одному слову DP неправильно.
Граница применимости: Вывод о различии обучения Megatron-LM и генерации с фиксированными параметрами Transformer; online training или согласованное обновление весов не рассматриваются.
Граница терминов
Не путать
Независимая реплика завершает запрос своей логической моделью. Стадия PP владеет лишь частью её слоёв и передаёт результат дальше; четыре стадии не равны четырём полным копиям.
Перед спецификацией
Что проверить
- Покажите число логических копий модели и число GPU внутри каждой.
- Сверьте точные веса, tokenizer и настройки у реплик, участвующих в сравнении.
- Проверьте, что каждая копия помещается со своим KV и рабочими буферами.
- Опишите выбор реплики и поведение при разных длинах её очереди.
- Испытайте привязку активного запроса и стоимость переноса или восстановления состояния.
- Измерьте полезный throughput и задержки при увеличении числа копий и той же смеси запросов.
- Найдите общие ограничения фронтенда и транспорта; не переносите gradient sync из training по названию DP.
Открытые основания
Первоисточники
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Первичная схема tensor parallelism при обучении; поддержка современного serving здесь не подтверждается.
- Orca: A Distributed Serving System for Transformer-Based Generative Models
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Iteration-level scheduling и selective batching; результат статьи не переносится на любой движок.
- Service Level Objectives
Определяет SLI, SLO и SLA и объясняет user-centric latency, error rate, throughput и percentiles.
- CUDA C++ Programming Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 03
- Efficient Memory Management for Large Language Model Serving with PagedAttention
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 04
- vLLM online serving benchmark: benchmark_serving.py
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Клиентские метрики; точные timestamps, chunks и знаменатели проверить в этой версии и её request adapter.
Утверждения: 05
- GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Стадии и micro-batch pipeline для обучения; иной inference schedule требует отдельной проверки.
Утверждения: 06
- Attention Is All You Need
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 07