Faire tourner Kimi K2.7 Code sur B200 SXM
Kimi K2.7 Code compte 1000 milliards de paramètres. B200 SXM offre 1 440 Go de mémoire HBM3e, 8 GPU. Cette page confronte les deux.
Quelle mémoire Kimi K2.7 Code demande-t-il ?
Les poids occupent le nombre de paramètres multiplié par la taille du format, plus une marge d’exécution de 15 % pour les activations et les tampons. Le cache d’attention s’ajoute par-dessus : il croît avec la longueur du contexte et avec le nombre de requêtes simultanées, donc il se dimensionne au cas par cas.
| Format | Poids en mémoire | Sur cette machine | Ce que le format coûte |
|---|---|---|---|
| FP16 | 2 300 Go | ne tient pas | pleine précision, référence de qualité |
| FP8 | 1 150 Go | limite | perte négligeable sur la plupart des tâches |
| NVFP4 | 575 Go | tient | format Blackwell, calcul FP4 natif |
| Q4 | 575 Go | tient | quantification par blocs, large support |
Que reste-t-il pour servir des requêtes ?
Kimi K2.7 Code tient largement sur B200 SXM. En FP8, ses poids occupent environ 1 150 Go sur les 1 440 Go disponibles, soit 290 Go laissés au cache d’attention et à la concurrence. La marge disponible décide du nombre de requêtes simultanées et de la longueur de contexte tenable. Une marge inférieure au quart de la mémoire contraint à limiter le contexte ou la concurrence.
Où faire tourner Kimi K2.7 Code autrement ?
- Kimi K2.7 Code sur DGX Station
- Kimi K2.7 Code sur Serveur RTX PRO 6000
- Kimi K2.7 Code sur Serveur H200 SXM
- Kimi K2.7 Code sur B300 SXM
- Kimi K2.7 Code sur GB300 NVL72
Voir aussi la fiche Kimi K2.7 Code et la fiche B200 SXM.
Quelle mémoire faut-il pour Kimi K2.7 Code ?
En FP8, les poids occupent environ 1 150 Go, marge d’exécution comprise. Le cache d’attention s’ajoute et dépend du contexte.
Kimi K2.7 Code tient-il sur B200 SXM ?
Kimi K2.7 Code tient largement sur B200 SXM. En FP8, ses poids occupent environ 1 150 Go sur les 1 440 Go disponibles, soit 290 Go laissés au cache d’attention et à la concurrence.
Methode
Les nombres de paramètres et les mémoires proviennent des fiches du site. L’empreinte est calculée, elle n’est pas mesurée : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Les prix sont indicatifs et non contractuels.