Servir GLM 5.2 avec Triton Inference Server
GLM 5.2 compte 744 milliards de paramètres. Triton Inference Server vise mise en service industrielle, multi-modèles. Cette page donne la mémoire nécessaire et les plateformes qui conviennent.
Quelle mémoire faut-il au minimum ?
GLM 5.2 totalise 744 milliards de paramètres. En NVFP4, ses poids occupent environ 428 Go, marge d’exécution comprise : 744 milliards de paramètres × 0,5 octet (NVFP4) = 372,0 Go de poids ; × 1,15 de marge d’exécution = 427,8 Go. En FP8 l’empreinte double, à environ 856 Go (744 milliards de paramètres × 1 octet (FP8) = 744,0 Go de poids ; × 1,15 de marge d’exécution = 855,6 Go.) Le cache d’attention n’est pas calculé sur cette page. Les architectures de ces modèles (attention latente compressée, linéaire ou creuse, couches Mamba) n’ont pas de formule commune par token ; il se mesure sur la machine, avec le contexte et la concurrence visés [À MESURER].
À quoi sert Triton Inference Server ?
Triton Inference Server vise mise en service industrielle, multi-modèles. Voir la fiche Triton Inference Server et la fiche GLM 5.2.
Sur quelles plateformes ?
- GLM 5.2 sur Mac Studio Ultra
- GLM 5.2 sur DGX Station
- GLM 5.2 sur Serveur RTX PRO 6000
- GLM 5.2 sur Serveur H200 SXM
- GLM 5.2 sur B200 SXM
- GLM 5.2 sur B300 SXM
Quelle mémoire pour GLM 5.2 avec Triton Inference Server ?
Environ 428 Go en NVFP4 pour les poids, hors cache d’attention.
Triton Inference Server convient-il à GLM 5.2 ?
Triton Inference Server sert GLM 5.2 dès lors que la machine offre au moins 428 Go de mémoire, empreinte des poids en NVFP4. 7 des 8 plateformes du catalogue y parviennent.
Méthode et sources
Les empreintes mémoire sont calculées, elles ne sont pas mesurées : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Chaque valeur ci-dessous porte sa source et la date de son dernier contrôle.
- GLM 5.2 : 744 milliards de paramètres, 40 milliards actifs, contexte de 1 048 576 tokens, licence MIT. Dépôt Hugging Face (config.json, API, carte), vérifié le 2 septembre 2026. 744 milliards annoncés par Z.AI ; le dépôt compte 753 milliards d’éléments de tenseurs en BF16 (1 507 Go).
- Octets par paramètre : NVFP4 0,5 (4 bits par paramètre, soit 0,5 octet ; les poids publiés en 4 bits pèsent 0,54 à 0,56 octet par paramètre avec leurs échelles (DeepSeek V4 Pro 865 Go pour 1 599 milliards, Kimi K3 1 561 Go pour 2 780 milliards)) ; FP8 1 (8 bits par paramètre (E4M3), soit 1 octet, échelles par bloc non comptées). Source : connaissance/faits.yaml, famille quantifications, vérifiée le 2026-08-31.
- Marge d’exécution × 1,15 : hypothèse d’exploitation QDNA, non mesurée : 15 % au-dessus des poids pour les activations, les tampons et la fragmentation.
- Seuil « tient » à 75 % de la mémoire : hypothèse QDNA, non mesurée, qui réserve le quart restant au cache d’attention et à la concurrence.