Servir Kimi K3 avec Triton Inference Server
Kimi K3 compte 2800 milliards de paramètres. Triton Inference Server vise mise en service industrielle, multi-modèles. Cette page donne la mémoire nécessaire et les plateformes qui conviennent.
Quelle mémoire faut-il au minimum ?
Kimi K3 totalise 2800 milliards de paramètres. En NVFP4, ses poids occupent environ 1 610 Go, marge d’exécution comprise : 2 800 milliards de paramètres × 0,5 octet (NVFP4) = 1 400,0 Go de poids ; × 1,15 de marge d’exécution = 1 610,0 Go. En FP8 l’empreinte double, à environ 3 220 Go (2 800 milliards de paramètres × 1 octet (FP8) = 2 800,0 Go de poids ; × 1,15 de marge d’exécution = 3 220,0 Go.) Le cache d’attention n’est pas calculé sur cette page. Les architectures de ces modèles (attention latente compressée, linéaire ou creuse, couches Mamba) n’ont pas de formule commune par token ; il se mesure sur la machine, avec le contexte et la concurrence visés [À MESURER].
À quoi sert Triton Inference Server ?
Triton Inference Server vise mise en service industrielle, multi-modèles. Voir la fiche Triton Inference Server et la fiche Kimi K3.
Sur quelles plateformes ?
Quelle mémoire pour Kimi K3 avec Triton Inference Server ?
Environ 1 610 Go en NVFP4 pour les poids, hors cache d’attention.
Triton Inference Server convient-il à Kimi K3 ?
Triton Inference Server sert Kimi K3 dès lors que la machine offre au moins 1 610 Go de mémoire, empreinte des poids en NVFP4. 2 des 8 plateformes du catalogue y parviennent.
Méthode et sources
Les empreintes mémoire sont calculées, elles ne sont pas mesurées : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Chaque valeur ci-dessous porte sa source et la date de son dernier contrôle.
- Kimi K3 : 2 800 milliards de paramètres, 104 milliards actifs, contexte de 1 048 576 tokens, licence Kimi K3. Dépôt Hugging Face (config.json, API, carte), vérifié le 26 septembre 2026. 2,8 billions annoncés, 16 experts activés sur 896 ; le dépôt compte 2 780 milliards d’éléments, publiés en MXFP4 (1 561 Go).
- Octets par paramètre : NVFP4 0,5 (4 bits par paramètre, soit 0,5 octet ; les poids publiés en 4 bits pèsent 0,54 à 0,56 octet par paramètre avec leurs échelles (DeepSeek V4 Pro 865 Go pour 1 599 milliards, Kimi K3 1 561 Go pour 2 780 milliards)) ; FP8 1 (8 bits par paramètre (E4M3), soit 1 octet, échelles par bloc non comptées). Source : connaissance/faits.yaml, famille quantifications, vérifiée le 2026-08-31.
- Marge d’exécution × 1,15 : hypothèse d’exploitation QDNA, non mesurée : 15 % au-dessus des poids pour les activations, les tampons et la fragmentation.
- Seuil « tient » à 75 % de la mémoire : hypothèse QDNA, non mesurée, qui réserve le quart restant au cache d’attention et à la concurrence.