PCIe — один из интерфейсов системы. GPU interconnect рассматривает фактические конечные устройства, промежуточные пути и разрешённый программный доступ. Надпись PCIe у двух GPU не устанавливает их peer-access support и не описывает все возможные межсоединения.
GPU, ускорители и инфраструктура LLM
Соединение графических ускорителей
Определение
Соединение графических ускорителей — набор физических путей и программных разрешений, по которым GPU обменивается данными с центральным процессором и с соседними ускорителями. Доступный путь к соседней карте не объединяет память двух GPU в один запас, а каждую нужную пару и направление проверяют отдельно.
Также ищут: GPU interconnect · связь между графическими ускорителями · межсоединение GPU
Зачем это знать
Две установленные GPU не обязательно образуют нужный приложению путь обмена. Нужно различать их соединения с CPU и доступ друг к другу, проверить каждую нужную пару и измерить реальный рисунок передач. Разрешённый удалённый доступ также не означает автоматического объединения памяти в одно большое выделение памяти.
Связи из словаря
Карта понятия
Соединение графических ускорителей
Доказательная часть
Что подтверждено
Локальная память GPU, соединение CPU с устройством и путь между двумя GPU — разные части системы. В CUDA peer transfer может опираться на доступный аппаратный путь, включая поддержанные PCIe или NVLink соединения; наличие одного пути не описывает остальные.
Граница применимости: Сопоставление CUDA 12.6 peer communication и архитектуры NVIDIA Ampere; конкретная связность и возможности определяются выбранной платформой.
Для GPU в PCIe-слоте проверяют поколение и фактическую электрическую ширину соединения: размер разъёма сам по себе не доказывает число доступных линий. Параметры PCIe также не подтверждают peer access между выбранными GPU; его проверяют отдельно для нужной пары и направления.
Граница применимости: Редакторское сопоставление: PCI-SIG описывает PCIe, NVIDIA — проверку доступа между GPU. Intel иллюстрирует только общее различие размера слота и электрической ширины, а не топологию GPU. Разводку конкретной платформы эти общие документы не подтверждают.
CUDA предоставляет запрос возможности peer access для заданной пары устройств. Перед использованием такого доступа программа проверяет поддержку и, где требуется, включает его предусмотренным API; общий факт присутствия двух GPU не является положительным результатом этой проверки.
Граница применимости: CUDA 12.6, cudaDeviceCanAccessPeer и cudaDeviceEnablePeerAccess; правила иных API выделения и доступа к памяти проверяют отдельно.
Результат запроса CUDA peer access относится к указанным устройствам и направлению доступа. Поддержка одной пары не доказывает полносвязную топологию всех GPU; нужно проверить каждую пару, которой реально требуется обмен.
Граница применимости: CUDA 12.6, pair-specific peer access query и зависимость доступа от платформы; симметрия всех направлений не предполагается.
Peer access позволяет поддержанному устройству обращаться к памяти другого устройства, но не объединяет физическую память GPU в один локальный запас. Положительный peer test не доказывает, что обычное выделение памяти на одной GPU может занять суммарную ёмкость двух GPU.
Граница применимости: Редакторский вывод из модели выделения памяти устройства и peer access в CUDA и разграничения уровней памяти в Best Practices; отдельно организованное распределение данных не исключается.
Число соединений и сумма их паспортных скоростей не задают скорость конкретного обмена. Данные должны действительно проходить по этим путям; общие участки, направление, размер передачи и одновременная работа могут ограничить достигнутую пропускную способность.
Граница применимости: Редакторское сопоставление аппаратных соединений Ampere и методики измерения передач CUDA; не универсальная формула масштабирования по числу GPU.
Приёмка соединений должна воспроизводить нужный задаче обмен: кто передаёт кому, какой объём и одновременно с какой другой работой. Результат одной большой копии между парой GPU не переносится автоматически на множество пар или короткие частые сообщения.
Граница применимости: Редакторская процедура измерения на основе CUDA transfer guidance и аппаратной топологии Ampere; входные размеры, пары и конкурирующая работа задаются явно.
Граница терминов
Не путать
VRAM задаёт размещение данных на устройстве, interconnect — путь обмена и удалённого доступа. Доступная связь с соседней GPU не превращает два отдельных выделения памяти в одно локальное выделение суммарного размера.
Перед спецификацией
Что проверить
- Нарисуйте нужные пути CPU↔GPU и GPU↔GPU с конкретными конечными устройствами.
- Проверьте реальное поколение, ширину PCIe и общие участки платформы.
- Установите наличие и назначение дополнительных соединений между GPU.
- Проверьте peer access для каждой требуемой пары и направления.
- Отдельно подтвердите способ выделения и распределения памяти приложения.
- Измерьте реальные размеры и направления передач при нужной одновременной нагрузке.
- Не заменяйте измеренный обмен суммой локального HBM bandwidth или паспортных скоростей всех links.
Открытые основания
Первоисточники
- NVIDIA Ampere GPU Architecture Tuning Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- PCI Express Base
Официальное описание архитектуры и программного интерфейса PCI Express.
Утверждения: 02
- Tuning Throughput Performance for Intel Ethernet Adapters
Предупреждает, что физический размер PCIe-слота может превышать его электрическую ширину.
Утверждения: 02
- CUDA C++ Best Practices Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Связанные понятия
Курсы по теме
В каталоге
- Ускорители с быстрым соединением между собой — Обмен между GPU идёт по PCIe или по выделенному соединению — от него зависит работа на нескольких картах.
- Серверы для нескольких ускорителей — Схему соединения GPU между собой и с процессором задаёт сервер — её проверяют в его документации.