RoCE и iWARP переносят операции RDMA разными транспортами. Совпадение интерфейса приложения не делает их сетевые протоколы взаимозаменяемыми.
RoCE
Определение
RoCE (RDMA over Converged Ethernet) — это сетевой транспорт, который переносит операции RDMA через сети Ethernet второго и третьего уровня. Одной поддержки Ethernet для него мало: нужны дополнительные возможности оборудования и программного обеспечения.
Также ищут: RDMA over Converged Ethernet · RoCEv2 · RDMA over Ethernet
Зачем это знать
Обычная передача через Ethernet не подтверждает работу RoCE. Для маршрутизируемого IP-варианта возможности RDMA не устраняют ограничения MTU промежуточного пути.
Карта понятия
Шире
Использует
Сравнить
Что подтверждено
RoCE переносит операции RDMA через сети Ethernet второго и третьего уровня.
Граница применимости: Версии RoCE и совместимые RNIC и сеть; способ инкапсуляции зависит от версии.
Поддержка Ethernet сама по себе не доказывает поддержку RoCE: протокол RDMA и прямое размещение данных требуют дополнительных возможностей оборудования и ПО.
Граница применимости: Проверка обоих конечных узлов и всей сети между ними.
В учебной паре один узел предоставляет только RoCE, другой — только iWARP. Общее слово RDMA не даёт им общего транспорта; для прямого взаимодействия нужен вариант, который действительно поддерживают обе стороны.
Граница применимости: Закрытая модель без шлюза и дополнительного общего протокола. Возможность обновления или поддержки других вариантов не предполагается.
Для выбранного варианта RoCE поверх IP поддержка RDMA на обоих концах не увеличивает MTU промежуточных участков. Размер IP-пакета всё равно согласуют с действующим путём, а не только с возможностями адаптеров.
Граница применимости: Редакторская граница маршрутизируемого IP-варианта RoCE. Это не правило для всех вариантов второго уровня и не полная инструкция по управлению перегрузкой конкретного производителя.
Успешная обычная передача через Ethernet не подтверждает выполнение операций RoCE приложением. Для такого вывода проверяют выбранный RDMA-транспорт и результат именно тех операций, которые нужны рабочей задаче.
Граница применимости: Редакторское различие базовой связности и пути RDMA. Конкретная утилита, размер нагрузки и допустимая задержка назначаются по задаче, а не по общему названию протокола.
Не путать
RoCE — один транспорт для операций RDMA; RDMA не является скоростью порта или доказательством конкретного транспорта.
Что проверить
- Сверьте поддерживаемые варианты обеих сторон.
- Найдите общий действующий транспорт.
- Уточните используемую версию и инкапсуляцию.
- Для IP-варианта проверьте текущий MTU пути.
- Сверьте требования сети с конкретным стеком.
- Проверьте фактическую RDMA-операцию приложения.
- Не подменяйте результат обычной Ethernet-пробой.
Первоисточники
- MLNX_EN — Quality of Service (QoS)
Разделы о строгом приоритете, ETS и mlnx_qos: минимальная гарантированная доля полосы, использование свободной доли другими классами, обслуживание после строгих приоритетов, отдельные настройки PFC и алгоритма передачи. Документация реализации, не текст IEEE 802.1Qaz.
Утверждения: 02
- RFC 5041: Direct Data Placement over Reliable Transports
Определяет Direct Data Placement поверх reliable transports как часть iWARP protocol suite.
Утверждения: 03
- RFC 8201: Path MTU Discovery for IP version 6
Определяет link MTU, path MTU как минимум по пути и механизм Path MTU Discovery.
Утверждения: 04
- Userspace verbs access
Описывает fast path userspace verbs через device-specific hardware без syscall на каждой операции.
Утверждения: 05
- RFC 5040: A Remote Direct Memory Access Protocol Specification
Определяет RDMAP и прямую доставку данных в upper-layer buffers без промежуточного копирования.
Связанные понятия
Курсы по теме
В каталоге
- Коммутаторы для RoCE — RoCE чувствителен к потерям, поэтому коммутатор должен поддерживать PFC и ECN на пути трафика.
- Сетевые карты с поддержкой RoCE — Одной поддержки RoCE в карте мало: путь через сеть тоже должен быть настроен.