Triton Inference Server

Runtime d’inférence

Triton sert des modèles issus de plusieurs cadres sur une même infrastructure. Il gère la mise en lot dynamique, les instances concurrentes et le suivi des métriques. Il s’intègre à la pile NVIDIA AI Enterprise.

Points clés : Multi-cadres · Mise en lot · Métriques.