vLLM

Runtime d’inférence

vLLM assure un service à haut débit pour la production. Il repose sur PagedAttention, la parallélisation tensorielle et pipeline, la réutilisation gratuite du cache de préfixe et une quantification FP8 ou NVFP4. Son interface reste compatible avec le protocole OpenAI.

Points clés : Production · Cache clé-valeur · Multi-GPU.