Servir DeepSeek V4 avec Triton Inference Server

DeepSeek V4 compte 1600 milliards de paramètres. Triton Inference Server vise mise en service industrielle, multi-modèles. Cette page donne la mémoire nécessaire et les plateformes qui conviennent.

Par QDNA · Publié le 27 juillet 2026 · Mis à jour le 15 septembre 2026

Réponse courte. Triton Inference Server sert DeepSeek V4 dès lors que la machine offre au moins 920 Go de mémoire, empreinte des poids en NVFP4. 4 des 8 plateformes du catalogue y parviennent.

Quelle mémoire faut-il au minimum ?

DeepSeek V4 totalise 1600 milliards de paramètres. En NVFP4, ses poids occupent environ 920 Go, marge d’exécution comprise : 1 600 milliards de paramètres × 0,5 octet (NVFP4) = 800,0 Go de poids ; × 1,15 de marge d’exécution = 920,0 Go. En FP8 l’empreinte double, à environ 1 840 Go (1 600 milliards de paramètres × 1 octet (FP8) = 1 600,0 Go de poids ; × 1,15 de marge d’exécution = 1 840,0 Go.) Le cache d’attention n’est pas calculé sur cette page. Les architectures de ces modèles (attention latente compressée, linéaire ou creuse, couches Mamba) n’ont pas de formule commune par token ; il se mesure sur la machine, avec le contexte et la concurrence visés [À MESURER].

À quoi sert Triton Inference Server ?

Triton Inference Server vise mise en service industrielle, multi-modèles. Voir la fiche Triton Inference Server et la fiche DeepSeek V4.

Sur quelles plateformes ?

Quelle mémoire pour DeepSeek V4 avec Triton Inference Server ?

Environ 920 Go en NVFP4 pour les poids, hors cache d’attention.

Triton Inference Server convient-il à DeepSeek V4 ?

Triton Inference Server sert DeepSeek V4 dès lors que la machine offre au moins 920 Go de mémoire, empreinte des poids en NVFP4. 4 des 8 plateformes du catalogue y parviennent.

Méthode et sources

Les empreintes mémoire sont calculées, elles ne sont pas mesurées : un relevé sur machine peut s’en écarter selon le moteur et le format exact des poids. Chaque valeur ci-dessous porte sa source et la date de son dernier contrôle.

DeepSeek V4 : 1 600 milliards de paramètres, 49 milliards actifs, contexte de 1 048 576 tokens, licence MIT. Dépôt Hugging Face (config.json, API, carte), vérifié le 2 septembre 2026. Variante Pro, 1,6 billion annoncé ; le dépôt compte 1 599 milliards d’éléments, publiés en FP4 et FP8 mixtes (865 Go).
Octets par paramètre : NVFP4 0,5 (4 bits par paramètre, soit 0,5 octet ; les poids publiés en 4 bits pèsent 0,54 à 0,56 octet par paramètre avec leurs échelles (DeepSeek V4 Pro 865 Go pour 1 599 milliards, Kimi K3 1 561 Go pour 2 780 milliards)) ; FP8 1 (8 bits par paramètre (E4M3), soit 1 octet, échelles par bloc non comptées). Source : connaissance/faits.yaml, famille quantifications, vérifiée le 2026-08-31.
Marge d’exécution × 1,15 : hypothèse d’exploitation QDNA, non mesurée : 15 % au-dessus des poids pour les activations, les tampons et la fragmentation.
Seuil « tient » à 75 % de la mémoire : hypothèse QDNA, non mesurée, qui réserve le quart restant au cache d’attention et à la concurrence.