Практикум по системной топологии

PCIe и NUMA без сюрпризов: как читать топологию платформы

Короткий курс помогает не путать поколение, линии и размер слота, проверять разбиение PCIe-путей и понимать, почему в многосокетной системе важна локальность памяти.

База → проектирование40 минут4 модуля5 вопросов
После курса

Что вы сможете сделать

  1. Разделять поколение PCIe, ширину канала и физический размер слота.
  2. Проверять разбиение канала, владельца линий и зависимость слота от второго процессора.
  3. Читать NUMA как карту локальности памяти, а не как синоним многосокетности.
Модуль 1 из 4

Слой 1. Gen, xN и слот отвечают на разные вопросы

Поколение описывает версию возможностей канала, xN — число линий, а слот — физическую посадку карты. Начинайте проверку с разделения этих трёх параметров.

  • Поколение PCIe и ширина xN независимы: запись Gen 5 не говорит, сколько линий получит устройство.

  • Ширина xN показывает число линий в канале, но не доказывает размер разъёма или фактическую разводку выбранного слота.

Модуль 2 из 4

Слой 2. Длина слота не равна его электрической ширине

Карта может физически войти в большой разъём и работать, но получить меньше линий. Источник истины — руководство конкретной платы или сервера.

  • Физический слот может быть длиннее своей электрической разводки; Intel приводит x8-разъём, подключённый как x4, x2 или x1.

  • Карту x4 можно установить в совместимый слот x4, x8 или x16, однако её реальная ширина определяется подключёнными линиями.

Модуль 3 из 4

Слой 3. Разделение и бюджет линий проверяются по карте платформы

Широкий порт можно разделить только поддержанным способом. В сервере дополнительно важно, от какого CPU или вышестоящего порта получает линии каждый слот.

  • Разбиение может превратить x16 в x8+x8 или x4+x4+x4+x4, но только если нужную схему поддерживают порт и BIOS конкретной платформы.

  • Слоты могут принадлежать разным CPU или другому вышестоящему порту; на примере S2600WF часть путей недоступна без CPU 2.

Модуль 4 из 4

Слой 4. NUMA добавляет карту локальности памяти

У I/O есть владелец PCIe-пути, а у памяти — близость к CPU. В многосокетной системе эти две карты нужно смотреть вместе, не подменяя одну другой.

  • В NUMA-системе стоимость доступа к памяти зависит от расстояния между CPU и узлом памяти; конкретную разницу измеряют на целевой платформе.

  • Linux по умолчанию старается выделять память рядом с выполняющимся CPU, а политика памяти NUMA может выбирать узлы отдельно от наборов CPU.

Финишная прямая

Проверьте инженерное мышление

Вопросы проверяют не память на аббревиатуры, а умение не делать лишних выводов.

01В характеристиках указан физический слот PCIe x16. Что ещё нельзя считать доказанным?
02Карта и плата относятся к разным поколениям PCIe. Какой вывод безопасен?
03Что нужно для четырёх устройств x4 через один порт x16 без коммутатора PCIe?
04Почему физически свободный серверный слот иногда не работает?
05Что в первую очередь описывает NUMA?
Проверяемая база

Источники курса

Ссылки приведены один раз для всего курса, чтобы не мешать чтению каждого тезиса.

  • Первичная спецификация

    PCI Express Base

    PCI-SIG · Current Approved Specification: PCI Express Base 7.0

    Официальное описание архитектуры и программного интерфейса PCI Express.

    Открыть первоисточник
  • Официальное разъяснение

    PCI Express FAQ

    PCI-SIG · официальный FAQ, проверено 29 августа 2026 года

    Описывает PCIe как serial I/O interconnect и перечисляет агрегируемые ширины link.

    Открыть первоисточник
  • Официальная документация

    Tuning Throughput Performance for Intel Ethernet Adapters

    Intel · support article 000005811, проверено 6 февраля 2025 года

    Предупреждает, что физический размер PCIe-слота может превышать его электрическую ширину.

    Открыть первоисточник
  • Официальная документация

    Intel Server D50DNP Family Technical Product Specification

    Intel · раздел 7.3 PCIe Bifurcation, проверено 29 августа 2026 года

    Перечисляет поддержанные схемы x16/x8/x4 и настройку bifurcation в BIOS конкретной платформы.

    Открыть первоисточник
  • Официальная документация

    PCIe Lane Ownership on Intel Server Board S2600WF

    Intel · support article 000090009, проверено 21 июля 2023 года

    Показывает привязку riser-слотов к CPU 1, CPU 2 и DMI и зависимость части слотов от второго CPU.

    Открыть первоисточник
  • Официальная документация

    Physical Memory

    Linux kernel documentation · актуальная документация ядра, проверено 29 августа 2026 года

    Описывает NUMA nodes, различную стоимость доступа и node-local allocation.

    Открыть первоисточник
  • Официальная документация

    NUMA Memory Policy

    Linux kernel documentation · актуальная документация ядра, проверено 29 августа 2026 года

    Разграничивает NUMA memory policy и cpusets и описывает выбор узлов для выделения памяти.

    Открыть первоисточник
  • Официальная документация

    Is PCIe Backward Compatible?

    Intel · support article 000089069, проверено 23 мая 2022 года

    Подтверждает обратную совместимость поколений и необходимость сверять процессор и BIOS платы.

    Открыть первоисточник
Сообщить об ошибке

Опишите проблему — постараемся исправить как можно скорее.

Спасибо!

Получили ваше сообщение.
Подтвердите действие