Servir Nemotron 3 Ultra avec Triton Inference Server

Nemotron 3 Ultra compte 550 milliards de paramètres. Triton Inference Server vise mise en service industrielle, multi-modèles. Cette page donne la mémoire nécessaire et les plateformes qui conviennent.

Par QDNA · Publié le 27 juillet 2026 · Mis à jour le 15 septembre 2026

Réponse courte. Triton Inference Server sert Nemotron 3 Ultra dès lors que la machine offre au moins 316 Go de mémoire, empreinte des poids en NVFP4. 7 des 8 plateformes du catalogue y parviennent.

Quelle mémoire faut-il au minimum ?

Nemotron 3 Ultra totalise 550 milliards de paramètres. En NVFP4, ses poids occupent environ 316 Go, marge d’exécution comprise : 550 milliards de paramètres × 0,5 octet (NVFP4) = 275,0 Go de poids ; × 1,15 de marge d’exécution = 316,2 Go. En FP8 l’empreinte double, à environ 632 Go (550 milliards de paramètres × 1 octet (FP8) = 550,0 Go de poids ; × 1,15 de marge d’exécution = 632,5 Go.) Le cache d’attention n’est pas calculé sur cette page. Les architectures de ces modèles (attention latente compressée, linéaire ou creuse, couches Mamba) n’ont pas de formule commune par token ; il se mesure sur la machine, avec le contexte et la concurrence visés [À MESURER].

À quoi sert Triton Inference Server ?

Triton Inference Server vise mise en service industrielle, multi-modèles. Voir la fiche Triton Inference Server et la fiche Nemotron 3 Ultra.

Sur quelles plateformes ?

Quelle mémoire pour Nemotron 3 Ultra avec Triton Inference Server ?

Environ 316 Go en NVFP4 pour les poids, hors cache d’attention.

Triton Inference Server convient-il à Nemotron 3 Ultra ?

Triton Inference Server sert Nemotron 3 Ultra dès lors que la machine offre au moins 316 Go de mémoire, empreinte des poids en NVFP4. 7 des 8 plateformes du catalogue y parviennent.

Méthode et sources

Les empreintes mémoire sont calculées, elles ne sont pas mesurées : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Chaque valeur ci-dessous porte sa source et la date de son dernier contrôle.

Nemotron 3 Ultra : 550 milliards de paramètres, 55 milliards actifs, contexte de 262 144 tokens, licence OpenMDW 1.1. Dépôt Hugging Face (config.json, API, carte), vérifié le 2 septembre 2026. 550 milliards annoncés ; le dépôt BF16 compte 560 milliards d’éléments (1 121 Go). La carte annonce un contexte « jusqu’à 1 M », config.json déclare 262 144.
Octets par paramètre : NVFP4 0,5 (4 bits par paramètre, soit 0,5 octet ; les poids publiés en 4 bits pèsent 0,54 à 0,56 octet par paramètre avec leurs échelles (DeepSeek V4 Pro 865 Go pour 1 599 milliards, Kimi K3 1 561 Go pour 2 780 milliards)) ; FP8 1 (8 bits par paramètre (E4M3), soit 1 octet, échelles par bloc non comptées). Source : connaissance/faits.yaml, famille quantifications, vérifiée le 2026-08-31.
Marge d’exécution × 1,15 : hypothèse d’exploitation QDNA, non mesurée : 15 % au-dessus des poids pour les activations, les tampons et la fragmentation.
Seuil « tient » à 75 % de la mémoire : hypothèse QDNA, non mesurée, qui réserve le quart restant au cache d’attention et à la concurrence.