Routeur sémantique
Orchestration multi-agents
Le routeur sémantique classe chaque requête avant LiteLLM. Par similarité d’embeddings, il distingue le contenu confidentiel du contenu public, puis oriente la demande vers un modèle souverain local ou vers un modèle externe. Ce filtrage prévient la fuite de données.
Points clés : Classification par embeddings · Confidentiel ou public · Prévention de fuite · Orientation par tâche · En amont de LiteLLM.
Classification par embeddings
Le routeur calcule la similarité de chaque requête avec des références, puis la catégorise avant tout appel modèle. La décision s’appuie sur le sens du texte, pas sur de simples mots-clés.
Confidentiel ou public
Le routeur distingue le contenu sensible du contenu banal. Le sensible reste sur un modèle souverain local, tandis que le reste peut déborder vers une API externe quand cela accélère ou réduit le coût.
Prévention de fuite
Ce filtrage empêche que des données confidentielles quittent l’infrastructure. La politique de l’organisation s’applique avant l’exécution, et non après coup.
Orientation par tâche
Au-delà de la sensibilité, le routeur oriente selon la nature de la demande, code, raisonnement ou contexte long, vers le modèle le mieux adapté du catalogue.
En amont de LiteLLM
Le routeur se place devant la passerelle. Le filtrage reste transparent pour les applications, qui continuent d’appeler une seule interface.
Le routeur sémantique n'est qu'une pièce : le guide moteur d'orchestration IA détaille comment il s'articule avec les règles déterministes et la passerelle.
Questions fréquentes
Qu'est-ce que le routage intelligent vers le bon LLM ?
Le routeur calcule la similarité de chaque requête avec des références et la catégorise avant tout appel modèle, sur le sens du texte et non sur des mots-clés. Il oriente ensuite vers le modèle du catalogue le mieux adapté à la tâche, code, raisonnement ou contexte long.
Le routage de modèles IA modifie-t-il les applications ?
Non : le routeur se place devant la passerelle LiteLLM et le filtrage reste transparent, les applications continuent d'appeler une seule interface.
Que devient une requête confidentielle ?
Elle reste sur un modèle souverain local. Seul le contenu banal peut déborder vers une API externe quand cela accélère ou réduit le coût, la politique de l'organisation s'appliquant avant l'exécution.