L'InfiniBand, l''incontournable des clusters HPC · leçon 14 sur 16

Infiniband (Le réseau de calcul)

Le réseau haute performance des supercalculateurs et des clusters d'IA avec un latence microseconde.

Plan du cours

L'InfiniBand, l''incontournable des clusters HPC

  1. Infiniband (Le réseau de calcul)

Je ne voulais pas que vous sortiez de ce cours sans avoir entendu parler d'InfiniBand.

En effet, les puristes me diront (et ils auront raison !) que l'InfiniBand peut utiliser des supports en cuivre aussi bien qu'en fibre optique, et que la vraie différence réside dans le protocole, pas dans le câble.

Mais je tenais à ce que ce cours vous montre toute l'étendue des possibilités offertes par les réseaux modernes. Aujourd'hui, l'InfiniBand est l'incontournable absolu des réseaux HPC (les supercalculateurs... ceux-là mêmes qui font tourner les IA actuelles !).

Avoir à l'esprit que ce type d'architecture existe vous aidera à mieux comprendre et anticiper les contraintes de très haute performance que vous rencontrerez tout au long de votre carrière.

Je referme donc cette parenthèse introductive, et je vous laisse découvrir les bases de l'InfiniBand !

------------------
L' InfiniBand n'est pas un réseau LAN amélioré, c'est un protocole conçu dès la base pour le calcul haute performance, avec des caractéristiques que l'Ethernet ne peut pas égaler même aujourd'hui.

01
Pourquoi InfiniBand existe ?

À l'origine, il a été conçu pour les supercalculateurs (HPC) qui regroupent des milliers de processeurs devant communiquer en permanence. Aujourd'hui, ce réseau est également devenu incontournable pour le stockage haute performance, où l'accès à la donnée doit être quasi instantané. Cela s'explique par trois atouts majeurs :

 Latence submicroseconde
Un réseau Ethernet classique tourne autour de 5 à 10 µs de latence. InfiniBand descend sous la barre des 0,5 µs. C'est 10 à 20 fois plus rapide pour les communications inter-nœuds.
 Haut débit
La génération HDR offre 200 Gbps par lien. Le NDR atteint 400 Gbps, et le XDR (800 Gbps) est actuellement en cours de déploiement.
 RDMA natif

InfiniBand a intégré le RDMA dès sa conception, sans avoir besoin d'adaptations comme RoCE ou iWARP. Le contournement du processeur (CPU Bypass) fait partie de son ADN.

(Petit aparté pour ceux qui l'ignorent : le RDMA est une technologie qui permet de lire et d'écrire directement dans la mémoire vive d'un serveur distant. Il contourne totalement le CPU et le système d'exploitation, en déléguant tout le travail de transfert à la carte réseau matérielle. Aujourd'hui, rares sont les baies de stockage haute performance qui ne disposent pas de cartes RDMA. D'ailleurs, si vous êtes curieux d'en savoir plus sur ces architectures, je vous invite à jeter un œil au cours dédié au stockage SAN qui traite de ces questions en profondeur !)

02
Générations et débits

Sur l'InfiniBand, il existe plusieurs générations. Celles-ci se déclinent sous plusieurs appellations qui correspondent à des débits spécifiques. Le tableau suivant (non exhaustif) en fournit quelques exemples :

GénérationAbréviationDébit par portUsage
Single Data RateSDR10 GbpsHistorique
Enhanced Data RateEDR100 GbpsClusters HPC
High Data RateHDR 200 GbpsIA, supercalculateurs
Next Data RateNDR400 GbpsClusters GPU LLM

03
Connecteurs et câbles

Pour relier physiquement ces équipements, le choix de la connectique et du câblage dépend directement du débit exigé et de la distance à parcourir. Voici les principaux standards matériels utilisés en datacenter ::

QSFP / QSFP28 / QSFP112
Connecteurs standards évoluant selon la génération de vitesse (40G, 100G, 400G). Ils sont compatibles aussi bien avec les câbles en cuivre (courte distance) qu'avec les modules optiques (longue distance).
Cuivre (DAC)
Utilisé pour des distances courtes (jusqu'à 5 à 7 mètres). Idéal pour les connexions au sein d'une même baie (Intra-rack) ou entre baies adjacentes. Solution beaucoup moins coûteuse et consommant moins d'énergie que la fibre.
Fibre optique
Utilisée pour les liaisons allant de plusieurs dizaines de mètres à plusieurs kilomètres (Inter-racks, inter-bâtiments). Le choix se fait selon la distance : fibre Multimode (OM4/OM5) pour le réseau local, ou fibre Monomode (OS2) pour les longues distances.
Info à connaitre : InfiniBand est le réseau dominant dans les clusters d'entraînement de LLM (GPT, LLaMA…). NVIDIA (qui a racheté Mellanox en 2020) fournit la majorité des cartes HCA et switches InfiniBand. Le concurrent direct est le RoCE v2 sur Ethernet 100G/400G. Il est plus universel (car sur ethernet), et moins performant en latence mais suffisant pour la plupart des charges IA.
À retenir
  • InfiniBand = réseau HPC avec RDMA natif, latence < 0,5 µs, 10–20× plus rapide qu'Ethernet
  • Générations : HDR (200G) → NDR (400G) → XDR (800G) en cours
  • Dominant dans les clusters d'IA (entraînement LLM) — NVIDIA/Mellanox leader du marché
  • Concurrence directe avec RoCE v2 100G/400G Ethernet pour les nouvelles installations

Cours mis à jour en avril 2026.