Sur site ou API : à partir de combien d'utilisateurs le LLM local est-il rentable ?

Le paiement au jeton se compare mal à une installation amortie. Voici où se situe le point de bascule et pourquoi le cache clé-valeur change tout.

Par QDNA · Publié le 5 juillet 2026 · 10 min de lecture

Deux structures de coût opposées

Une interface facturée à l'usage n'a presque pas de coût fixe, mais un coût qui croît avec chaque jeton. Une installation sur site a un investissement initial élevé, puis un coût marginal proche de zéro. Les deux courbes se croisent à un point de bascule qui dépend de l'intensité d'usage.

Le point de bascule selon le nombre d'utilisateurs

Ces seuils sont indicatifs. La présence de données sensibles impose le sur site quel que soit l'effectif, pour des raisons de conformité et de souveraineté.

Le cache clé-valeur, l'atout du sur site

Les charges agentiques sont dominées par les jetons d'entrée, dans un rapport qui peut atteindre cent pour un. Un prompt système de dix mille jetons envoyé mille fois par jour coûte cher à distance et presque rien en local.

Le moteur d'inférence vLLM réutilise gratuitement le cache de préfixe. Le délai avant le premier jeton chute fortement lorsqu'un début de conversation se répète, et les boucles répétées deviennent quasi gratuites. Une interface distante, elle, facture le jeton non mis en cache à un tarif nettement supérieur. La combinaison du cache documentaire et du cache de prompt réduit fortement le coût des scénarios agentiques.

L'hébergement souverain en France

Deux voies existent. Le sur site combine l'investissement matériel et l'électricité française, d'origine nucléaire pour une large part, donc stable et bas carbone. La colocation infogérée dans un data center souverain français évite l'achat d'un local et conserve la maîtrise juridique, à la différence d'opérateurs soumis à un droit extraterritorial.

Rationaliser sans exposer la donnée

Un socle matériel mutualisé sert l'ensemble des agents, avec des quotas par équipe. L'innovation sur des données publiques peut déborder vers un service distant, tandis que les données sensibles demeurent en local. Cette organisation rationalise le coût sans exposer l'information. Le cadre général est présenté dans notre définition de la plateforme IA souveraine.

Le faux local et ses coûts cachés

Une équipe croit parfois fonctionner en local tout en réglant chaque mois une facture d'interface distante. Des retours de terrain donnent des ordres de grandeur parlants, ramenés ici en euros. Une équipe qui se pensait passée au local payait près de 2 400 euros par mois d'appels distants, dont 800 euros pour une simple analyse de sentiment enfouie dans un agent conversationnel. Une jeune entreprise de santé supportait environ 300 euros par mois de frais de conformité liés au cloud. Le remplacement du fournisseur distant par un serveur unique, de l'ordre de 2 000 euros, a ramené ces postes à zéro. L'économie annuelle atteint 28 800 euros dans le premier cas et 3 600 euros dans le second. La règle tient en une phrase : un local partiel reste une dépendance facturée.

Les leviers qui réduisent le coût par jeton

Le coût du sur site baisse encore lorsque le moteur d'inférence est réglé. Plusieurs leviers se cumulent, sans matériel supplémentaire.

• Le traitement par lots continu augmente le débit de trente à cent pour cent à latence égale.
• Le cache de préfixe et de clé-valeur transforme les jetons d'entrée répétés en jetons presque gratuits.
• La quantification loge davantage de modèle sur une même carte graphique, ce qui élève les jetons par seconde et par euro.
• Le décodage spéculatif réduit la latence d'un facteur deux à trois sur les charges conversationnelles.
• Un format d'échange compact entre agents réduit d'environ moitié les jetons consommés. Pour cinq cents agents, l'économie atteint des dizaines de milliers de jetons par requête.

La passerelle unifie plus de mille modèles derrière une seule interface. Le passage d'un fournisseur à l'autre tient en une ligne de configuration, et le surcoût par appel se mesure en microsecondes. Les clés virtuelles fixent un budget et des limites par équipe, tandis que la dépense reste stockée dans votre propre base, sur votre infrastructure en Europe. La facture cesse d'être une inconnue.

Références

• Local AI Inference vs Cloud: A TCO Guide
• The True Cost of LLMs: Token Spend, GPU Self-Hosting, Private Models, Gateways, and Total TCO
• The Costly Open-Source LLM Lie, Devansh, Medium
• On-Premise vs Cloud: Generative AI Total Cost of Ownership