Servir Kimi K3 avec Triton Inference Server

Kimi K3 compte 2800 milliards de paramètres. Triton Inference Server vise mise en service industrielle, multi-modèles. Cette page donne la mémoire nécessaire et les plateformes qui conviennent.

Réponse courte. Triton Inference Server sert Kimi K3 dès lors que la machine offre au moins 1 610 Go de mémoire, empreinte des poids en NVFP4. 2 des 8 plateformes du catalogue y parviennent.

Quelle mémoire faut-il au minimum ?

Kimi K3 totalise 2800 milliards de paramètres. En NVFP4, ses poids occupent environ 1 610 Go, marge d’exécution comprise. En FP8 l’empreinte double, à environ 3 220 Go. Le cache d’attention s’ajoute et dépend du contexte servi.

À quoi sert Triton Inference Server ?

Triton Inference Server vise mise en service industrielle, multi-modèles. Voir la fiche Triton Inference Server et la fiche Kimi K3.

Sur quelles plateformes ?

Quelle mémoire pour Kimi K3 avec Triton Inference Server ?

Environ 1 610 Go en NVFP4 pour les poids, hors cache d’attention.

Triton Inference Server convient-il à Kimi K3 ?

Triton Inference Server sert Kimi K3 dès lors que la machine offre au moins 1 610 Go de mémoire, empreinte des poids en NVFP4. 2 des 8 plateformes du catalogue y parviennent.

Méthode

Les valeurs proviennent des fiches du site. Les empreintes mémoire sont calculées, elles ne sont pas mesurées : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Les prix sont indicatifs et non contractuels.