Faire tourner GLM 5.2 sur B200 SXM
GLM 5.2 compte 744 milliards de paramètres. B200 SXM offre 1 440 Go de mémoire HBM3e, 8 GPU. Cette page confronte les deux.
Quelle mémoire GLM 5.2 demande-t-il ?
Les poids occupent le nombre de paramètres multiplié par la taille du format, plus une marge d’exécution de 15 % pour les activations et les tampons. Le cache d’attention s’ajoute par-dessus : il croît avec la longueur du contexte et avec le nombre de requêtes simultanées, donc il se dimensionne au cas par cas.
| Format | Poids en mémoire | Sur cette machine | Ce que le format coûte |
|---|---|---|---|
| FP16 | 1 711 Go | ne tient pas | pleine précision, référence de qualité |
| FP8 | 856 Go | tient | perte négligeable sur la plupart des tâches |
| NVFP4 | 428 Go | tient | format Blackwell, calcul FP4 natif |
| Q4 | 428 Go | tient | quantification par blocs, large support |
Que reste-t-il pour servir des requêtes ?
GLM 5.2 tient largement sur B200 SXM. En FP8, ses poids occupent environ 856 Go sur les 1 440 Go disponibles, soit 584 Go laissés au cache d’attention et à la concurrence. La marge disponible décide du nombre de requêtes simultanées et de la longueur de contexte tenable. Une marge inférieure au quart de la mémoire contraint à limiter le contexte ou la concurrence.
Où faire tourner GLM 5.2 autrement ?
- GLM 5.2 sur Mac Studio Ultra
- GLM 5.2 sur DGX Station
- GLM 5.2 sur Serveur RTX PRO 6000
- GLM 5.2 sur Serveur H200 SXM
- GLM 5.2 sur B300 SXM
Voir aussi la fiche GLM 5.2 et la fiche B200 SXM.
Quelle mémoire faut-il pour GLM 5.2 ?
En FP8, les poids occupent environ 856 Go, marge d’exécution comprise. Le cache d’attention s’ajoute et dépend du contexte.
GLM 5.2 tient-il sur B200 SXM ?
GLM 5.2 tient largement sur B200 SXM. En FP8, ses poids occupent environ 856 Go sur les 1 440 Go disponibles, soit 584 Go laissés au cache d’attention et à la concurrence.
Methode
Les nombres de paramètres et les mémoires proviennent des fiches du site. L’empreinte est calculée, elle n’est pas mesurée : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Les prix sont indicatifs et non contractuels.