Nemotron 3 Ultra
NVIDIA
Nemotron 3 Ultra est le modèle ouvert de NVIDIA à mélange d’experts. Il combine 550 milliards de paramètres, dont 55 milliards actifs, dans une architecture Mamba 2 associée à un transformeur, au format NVFP4, avec un contexte d’un million de tokens. Il s’accorde avec la pile NVIDIA AI Enterprise.
Points clés : Ouvert NVIDIA · Mamba 2 plus transformeur · NVFP4 · Contexte 1M · NVIDIA AI Enterprise.
Architecture
Nemotron 3 Ultra combine 550 milliards de paramètres, dont 55 milliards actifs (512 experts, 22 actifs par token), dans une architecture LatentMoE qui associe Mamba 2, mélange d’experts et attention, avec prédiction multi-tokens. La fiche annonce un contexte jusqu’à un million de tokens, le config.json du dépôt NVFP4 fixe max_position_embeddings à 262 144. Poids NVFP4 : 352 Go publiés ; licence OpenMDW 1.1 (dépôt Hugging Face relu le 2 septembre 2026).
Points forts
Il constitue le modèle ouvert de NVIDIA et s’accorde avec la pile NVIDIA AI Enterprise.
Cas d’usage
Nemotron convient au contexte long et aux déploiements alignés sur l’écosystème NVIDIA, avec support d’entreprise.
Déploiement
Servi par vLLM ou Triton au format NVFP4 sur GPU Blackwell, il tire parti de l’accélération matérielle FP4.
Tous les modèles de la plateforme sont interchangeables via une passerelle unique : changer de modèle revient à changer une ligne de configuration, sans réécrire le code. La priorité reste l’exécution locale.
Sources officielles
- nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, fiche officielle du modèle sur Hugging Face : licence OpenMDW 1.1, paramètres, contexte et format des poids
- Artificial Analysis, indice de comparaison des modèles
Sur quelle machine faire tourner Nemotron 3 Ultra ?
Nemotron 3 Ultra totalise 550 milliards de paramètres, soit environ 316 Go en NVFP4. 7 plateformes du catalogue disposent d’assez de mémoire.
| Plateforme | Mémoire | Format le plus précis qui loge | Page de dimensionnement |
|---|---|---|---|
| Mac Studio Ultra | 512 Go | NVFP4 | Nemotron 3 Ultra sur Mac Studio Ultra |
| DGX Station | 748 Go | FP8 | Nemotron 3 Ultra sur DGX Station |
| Serveur RTX PRO 6000 | 768 Go | FP8 | Nemotron 3 Ultra sur Serveur RTX PRO 6000 |
| Serveur H200 SXM | 1 128 Go | FP8 | Nemotron 3 Ultra sur Serveur H200 SXM |
| B200 SXM | 1 440 Go | FP16 | Nemotron 3 Ultra sur B200 SXM |
| B300 SXM | 2 304 Go | FP16 | Nemotron 3 Ultra sur B300 SXM |
| GB300 NVL72 | 20 700 Go | FP16 | Nemotron 3 Ultra sur GB300 NVL72 |
Voir aussi Nemotron 3 Ultra en NVFP4 et la matrice complète.
Questions fréquentes
Combien de paramètres compte Nemotron 3 Ultra ?
550 milliards au total, dont 55 milliards actifs (512 experts, 22 actifs par token), dans une architecture LatentMoE qui associe Mamba 2, mélange d'experts et attention, avec prédiction multi-tokens.
Quel contexte accepte Nemotron 3 Ultra ?
La fiche annonce jusqu'à un million de tokens ; le config.json du dépôt NVFP4 fixe max_position_embeddings à 262 144, valeur à retenir pour dimensionner le cache clé-valeur.
Sous quelle licence et quel poids Nemotron 3 Ultra est-il publié ?
Les poids NVFP4 font 352 Go publiés sous licence OpenMDW 1.1, dépôt Hugging Face relu le 2 septembre 2026 ; le modèle s'accorde avec la pile NVIDIA AI Enterprise.