vLLM
Runtime d’inférence
vLLM assure un service à haut débit pour la production. Il repose sur PagedAttention, la parallélisation tensorielle et pipeline, la réutilisation automatique du cache de préfixe et une quantification FP8 ou NVFP4. Son interface reste compatible avec le protocole OpenAI.
Points clés : Production · PagedAttention · Cache de préfixe · Multi-GPU · FP8 et NVFP4 · API OpenAI.
Rôle
vLLM assure un service à haut débit pour la production. Il sert les modèles ouverts derrière une interface compatible avec le protocole OpenAI.
Fonctionnement
Il repose sur PagedAttention, la parallélisation tensorielle et pipeline, la réutilisation automatique du cache de préfixe et une quantification FP8 ou NVFP4 (documentation vLLM, relue le 2 septembre 2026).
Cas d’usage
vLLM sert les charges de production multi-utilisateurs sur serveur GPU, où le débit et le coût par token comptent.
Intégration
Il s’expose à LiteLLM et à la plateforme, et constitue le moteur d’inférence par défaut sur les serveurs RTX PRO 6000 et H200.
Licence et code source
vLLM est publié sous licence Apache-2.0 et écrit en Python. Le code étant public, le moteur peut être audité, corrigé et figé sur un commit connu, plutôt que d'être cru sur parole.
Dépôt : vllm-project/vllm. La licence et le langage sont relus à cette source par la base de faits QDNA. Le numéro de version n'est volontairement pas publié ici : il deviendrait faux entre deux sorties amont sans que rien ne le signale.
Quels modèles servir avec vLLM ?
| Modèle | Milliards de paramètres | Page « servir » |
|---|---|---|
| DeepSeek V4 | 1 600 | DeepSeek V4 avec vLLM |
| GLM 5.3 | 744 | GLM 5.3 avec vLLM |
| Kimi K2.7 Code | 1 000 | Kimi K2.7 Code avec vLLM |
| Kimi K3 | 2 800 | Kimi K3 avec vLLM |
| MiniMax M3 | 428 | MiniMax M3 avec vLLM |
| Nemotron 3 Ultra | 550 | Nemotron 3 Ultra avec vLLM |
| Qwen 3.8 27B | 27 | Qwen 3.8 27B avec vLLM |
Voir l’ensemble des combinaisons de moteur et de modèle.