GB300 NVL72
Échelle rack, 72 GPU refroidis par liquide
| Prix indicatif | sur devis : NVIDIA et ses intégrateurs ne publient aucun tarif pour la baie ; les estimations d’analystes rapportées par la presse vont de 3,7 à 6,5 M$ et ne sont pas des prix (guide des prix) |
|---|---|
| GPU | 72 Blackwell Ultra et 36 Grace (2 592 cœurs Arm Neoverse V2) |
| Mémoire | 20,7 To de HBM3e selon Lenovo et Supermicro (72 × 288 Go, soit 20 736 Go, que les pages de dimensionnement arrondissent à 20 700 Go) ; NVIDIA annonce 20 To, Dell « jusqu’à 21 To » ; 37 To de mémoire rapide |
| Calcul | 1,08 ExaFLOPS FP4 dense (1,44 avec sparsité) |
| NVLink | 130 To/s sur un domaine de 72 GPU |
| Consommation | 132 à 142 kW par baie (référence NVIDIA : 142 kW ; HPE et Supermicro : 132 à 140 kW) ; refroidissement liquide, environ 90 % de la chaleur part dans le liquide |
| Format | baie MGX complète (armoire 48U chez Lenovo) |
Ce que la machine exécute
Un seul supercalculateur de 72 puces sert les modèles frontière et un cloud IA privé. Runtime conseillé : vLLM désagrégé avec LiteLLM.
Positionnement
GB300 NVL72 : baie de 72 GPU refroidis par liquide et 20,7 To de HBM3e (20 To selon NVIDIA), assemblée chez quatre constructeurs vérifiés, pour servir un modèle frontière complet sur site.
Constructeurs
Assemblage en baie chez Dell (PowerEdge XE9712 en baies IRSS), HPE, Lenovo et Supermicro, en refroidissement liquide. NVIDIA cite aussi des fabricants à façon (Quanta, Foxconn, Wistron, Wiwynn, Inventec, Pegatron), dont les gammes ne sont pas vérifiées ici.
Stockage GPUDirect
Sur les plateformes équipées de cartes ConnectX, la technologie GPUDirect Storage établit un chemin direct entre le stockage NVMe ou NVMe over Fabric et la mémoire du GPU, sans passer par le tampon du processeur. Les baies compatibles, telles NetApp, VAST, DDN ou WEKA, alimentent l’entraînement et le RAG massif à pleine vitesse.
Support
Pile ouverte, maintenue par ses communautés. Option NVIDIA AI Enterprise (NIM, NeMo, Triton) avec engagement de niveau de service, licence par GPU.
Quels modèles tiennent sur GB300 NVL72 ?
La machine offre 20 700 Go de mémoire HBM3e, baie 72. 7 des 7 modèles ouverts du catalogue y logent, dans le format indiqué.
| Modèle | Milliards de paramètres | Format le plus précis qui loge | Page de dimensionnement |
|---|---|---|---|
| GLM 5.3 | 744 | FP16 | GLM 5.3 sur GB300 NVL72 |
| Kimi K3 | 2 800 | FP16 | Kimi K3 sur GB300 NVL72 |
| Kimi K2.7 Code | 1 000 | FP16 | Kimi K2.7 Code sur GB300 NVL72 |
| DeepSeek V4 | 1 600 | FP16 | DeepSeek V4 sur GB300 NVL72 |
| Nemotron 3 Ultra | 550 | FP16 | Nemotron 3 Ultra sur GB300 NVL72 |
| MiniMax M3 | 428 | FP16 | MiniMax M3 sur GB300 NVL72 |
| Qwen 3.8 27B | 27 | FP16 | Qwen 3.8 27B sur GB300 NVL72 |
Voir la matrice complète.
Questions fréquentes
Combien coûte un gb300 nvl72 configuré pour un LLM ?
Le tarif varie selon la configuration choisie et le fournisseur. Aucun prix public n’est affiché pour cette configuration ; un échange de cadrage aide à comparer les devis des fournisseurs.
Quel modèle LLM fait tenir dans un gb300 nvl72 ?
Selon le format de quantification et le contexte d'entrée. Le tableau de la page indique la taille de modèle maximale recommandée.
Quels runtimes sont compatibles avec le gb300 nvl72 ?
vLLM, llama.cpp, Triton Inference Server selon le framework retenu. Les couples modèle, format et GPU mesurés par QDNA sont publiés dans la section mesures.