llama.cpp

Runtime d’inférence

Par QDNA · Publié le 5 juillet 2026 · Mis à jour le 2 septembre 2026

llama.cpp reste léger. Il exploite le format GGUF, combine processeur et carte graphique, et applique une quantification entière de 1,5 à 8 bits. Il convient au DGX Spark, au Mac Studio, au poste unique et aux usages hors ligne.

Points clés : Périphérie · Format GGUF · Processeur et carte · Quantification de 1,5 à 8 bits · Hors ligne.

Rôle

llama.cpp reste léger. Il sert les modèles en local, y compris sans connexion, sur du matériel modeste.

Fonctionnement

Il exploite le format GGUF, combine processeur et carte graphique, et applique une quantification entière de 1,5 à 8 bits pour tenir en mémoire (README du dépôt, relu le 2 septembre 2026).

Cas d’usage

llama.cpp convient au DGX Spark, au Mac Studio, au poste unique et aux usages hors ligne.

Intégration

Il sert de moteur local pour les postes de travail et s’expose à la plateforme via LiteLLM.

Licence et code source

llama.cpp est publié sous licence MIT et écrit en C++. Le code étant public, le moteur peut être audité, corrigé et figé sur un commit connu, plutôt que d'être cru sur parole.

Dépôt : ggml-org/llama.cpp. La licence et le langage sont relus à cette source par la base de faits QDNA. Le numéro de version n'est volontairement pas publié ici : il deviendrait faux entre deux sorties amont sans que rien ne le signale.

Quels modèles servir avec llama.cpp ?

Voir l’ensemble des combinaisons de moteur et de modèle.