Dynamo

Runtime d’inférence

Par QDNA · Publié le 5 juillet 2026 · Mis à jour le 2 octobre 2026

Dynamo distribue l’inférence des modèles de raisonnement sur de grandes flottes de GPU. Il sépare les phases de préfixe et de décodage et route selon l’état du cache clé-valeur, ce qui augmente le débit à l’échelle du rack.

Points clés : Désagrégé · Flotte GPU · Séparation préfixe et décodage · Routage cache · Échelle du rack.

Rôle

Dynamo distribue l’inférence des modèles de raisonnement sur de grandes flottes de GPU, à l’échelle du rack.

Fonctionnement

Il sépare les phases de préfixe et de décodage et route les requêtes selon l’état du cache clé-valeur, ce qui augmente le débit global.

Cas d’usage

Dynamo vise les déploiements à forte charge et les modèles de raisonnement gourmands, où une seule machine ne suffit plus.

Intégration

Il orchestre plusieurs instances vLLM, SGLang ou TensorRT-LLM et s’insère au-dessus de la couche d’inférence pour les plus grands parcs (documentation Dynamo, relue le 2 septembre 2026).

Licence et code source

NVIDIA Dynamo est écrit en Rust, avec Python pour l'extension, et son code est public. Son fichier LICENSE le place sous licence Apache-2.0 (relu le 2 septembre 2026) ; l'API de GitHub ne renvoie pourtant aucun identifiant normalisé, parce que ce fichier s'ouvre sur une notice relative à des données de test sous licence MIT. Lire le fichier de licence du dépôt avant tout déploiement commercial.

Dépôt : ai-dynamo/dynamo. La licence et le langage sont relus à cette source par la base de faits QDNA. Le numéro de version n'est volontairement pas publié ici : il deviendrait faux entre deux sorties amont sans que rien ne le signale.

Quels modèles servir avec Dynamo ?

Voir l’ensemble des combinaisons de moteur et de modèle.