Servir GLM 5.2 avec Triton Inference Server
GLM 5.2 compte 744 milliards de paramètres. Triton Inference Server vise mise en service industrielle, multi-modèles. Cette page donne la mémoire nécessaire et les plateformes qui conviennent.
Quelle mémoire faut-il au minimum ?
GLM 5.2 totalise 744 milliards de paramètres. En NVFP4, ses poids occupent environ 428 Go, marge d’exécution comprise. En FP8 l’empreinte double, à environ 856 Go. Le cache d’attention s’ajoute et dépend du contexte servi.
À quoi sert Triton Inference Server ?
Triton Inference Server vise mise en service industrielle, multi-modèles. Voir la fiche Triton Inference Server et la fiche GLM 5.2.
Sur quelles plateformes ?
- GLM 5.2 sur Mac Studio Ultra
- GLM 5.2 sur DGX Station
- GLM 5.2 sur Serveur RTX PRO 6000
- GLM 5.2 sur Serveur H200 SXM
- GLM 5.2 sur B200 SXM
- GLM 5.2 sur B300 SXM
Quelle mémoire pour GLM 5.2 avec Triton Inference Server ?
Environ 428 Go en NVFP4 pour les poids, hors cache d’attention.
Triton Inference Server convient-il à GLM 5.2 ?
Triton Inference Server sert GLM 5.2 dès lors que la machine offre au moins 428 Go de mémoire, empreinte des poids en NVFP4. 7 des 8 plateformes du catalogue y parviennent.
Méthode
Les valeurs proviennent des fiches du site. Les empreintes mémoire sont calculées, elles ne sont pas mesurées : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Les prix sont indicatifs et non contractuels.