Servir Nemotron 3 Ultra avec Unsloth

Nemotron 3 Ultra compte 550 milliards de paramètres. Unsloth vise affinage et quantification. Cette page donne la mémoire nécessaire et les plateformes qui conviennent.

Réponse courte. Unsloth sert Nemotron 3 Ultra dès lors que la machine offre au moins 316 Go de mémoire, empreinte des poids en NVFP4. 7 des 8 plateformes du catalogue y parviennent.

Quelle mémoire faut-il au minimum ?

Nemotron 3 Ultra totalise 550 milliards de paramètres. En NVFP4, ses poids occupent environ 316 Go, marge d’exécution comprise. En FP8 l’empreinte double, à environ 632 Go. Le cache d’attention s’ajoute et dépend du contexte servi.

À quoi sert Unsloth ?

Unsloth vise affinage et quantification. Voir la fiche Unsloth et la fiche Nemotron 3 Ultra.

Sur quelles plateformes ?

Quelle mémoire pour Nemotron 3 Ultra avec Unsloth ?

Environ 316 Go en NVFP4 pour les poids, hors cache d’attention.

Unsloth convient-il à Nemotron 3 Ultra ?

Unsloth sert Nemotron 3 Ultra dès lors que la machine offre au moins 316 Go de mémoire, empreinte des poids en NVFP4. 7 des 8 plateformes du catalogue y parviennent.

Méthode

Les valeurs proviennent des fiches du site. Les empreintes mémoire sont calculées, elles ne sont pas mesurées : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Les prix sont indicatifs et non contractuels.