Ports E/S et protocoles · leçon 9 sur 16

ROCE

Plan du cours

Pour conclure

  1. Bilan du cours
RoCE a été créé pour apporter les performances du RDMA (historiquement réservé à InfiniBand) sur des réseaux Ethernet standards que toute entreprise maîtrise déjà.
Il existe deux versions, les voici :

01
RoCE v1 

Principe : les paquets RDMA (InfiniBand) sont encapsulés directement dans des trames Ethernet — au niveau Couche 2 (adresses MAC).

Le problème majeur : pas d'adresse IP → non routable. Les serveurs doivent être sur le même sous-réseau, branché au même switch.

Dès qu'on veut traverser un routeur (changer de salle, de bâtiment), RoCE v1 est bloqué. Inutilisable à grande échelle.

02
RoCE v2 

L'évolution : les paquets RDMA sont encapsulés dans de l'UDP/IP (Couche 3). Avec des adresses IP, RoCE v2 devient donc routable.

Les paquets peuvent traverser des routeurs, changer de sous-réseau, parcourir des data centers immenses , tout en conservant la faible latence du RDMA.

Usage : c'est la technologie qui peut être utiliser pour sur des datacenters haute performance.

⚠ Contrainte RoCE v2 : utilise UDP (sans vérification de réception). Un paquet perdu = catastrophe pour le RDMA. Il faut donc un réseau lossless . Pour cela il faut configurer nos commutateurs (switches) avec PFC et ECN. Plus connu sous le nom de Datacenter Bridging (DCB).

03
PFC et ECN : garder le réseau sans perte

 PFC — Priority Flow Control

Le feu rouge intelligent : Si un switch voit son buffer RDMA presque plein, il envoie un "PAUSE" à l'émetteur, uniquement pour le trafic RDMA, sans bloquer les emails ou le web.

C'est comme un frein d'urgence qui est déclenché en dernier recours pour éviter toute perte.

 ECN — Explicit Congestion Notification

Le panneau "Ralentissez": Quand un switch commence à saturer, il marque les paquets. Le destinataire comprend et demande à l'émetteur de ralentir.

C'est la solution préventive qui évite d'avoir à déclencher le PFC.

En production : ECN + PFC toujours activés ensemble. ECN gère le trafic au quotidien. PFC intervient en ultime secours sur les pics imprévus.

04
La pile protocolaire RoCE v2

Application
APIs RDMA
Transport IB
Queue Pairs (QP) : cœur InfiniBand encapsulé
Réseau UDP/IP
Couche 3 : routable IPv4/IPv6 ← différence clé vs v1
Ethernet
Trame Ethernet standard (avec PFC/ECN pour lossless)
À retenir
  • RoCE v1 = RDMA sur Ethernet Couche 2 : non routable, limité au même switch
  • RoCE v2 = RDMA encapsulé UDP/IP : routable, standard actuel pour l'IA et NVMe-oF
  • RoCE v2 exige un réseau lossless configuré avec PFC (arrêt d'urgence) + ECN (prévention)
  • PFC + ECN = toujours activés ensemble dans les data centers modernes

Cours mis à jour en avril 2026.