Quantification : quelle mémoire par format

Le format des poids décide de la mémoire nécessaire plus sûrement que le modèle lui-même.

Réponse courte. Passer de FP16 à NVFP4 divise l’empreinte des poids par 4. 28 pages détaillent chaque modèle dans chaque format.

Combien de mémoire par format ?

La valeur porte sur les poids, marge d’exécution comprise, hors cache d’attention.

Modèle	Milliards de paramètres	FP16	FP8	NVFP4	Q4
GLM 5.2	744	1 711 Go	856 Go	428 Go	428 Go
Kimi K3	2800	6 440 Go	3 220 Go	1 610 Go	1 610 Go
Kimi K2.7 Code	1000	2 300 Go	1 150 Go	575 Go	575 Go
DeepSeek V4	1600	3 680 Go	1 840 Go	920 Go	920 Go
Nemotron 3 Ultra	550	1 265 Go	632 Go	316 Go	316 Go
MiniMax M3	428	984 Go	492 Go	246 Go	246 Go
Qwen 3.6 27B	27	62,1 Go	31,0 Go	15,5 Go	15,5 Go

Que coûte la quantification ?

FP16 : pleine précision, référence de qualité.
FP8 : perte négligeable sur la plupart des tâches.
NVFP4 : format Blackwell, calcul FP4 natif.
Q4 : quantification par blocs, large support.

Méthode

Les empreintes sont calculées à partir du nombre de paramètres et du format, avec une marge d’exécution. Elles ne sont pas mesurées sur machine. Le cache d’attention s’ajoute et dépend du contexte et de la concurrence. Les prix sont indicatifs et non contractuels.