Llama.cpp is een populair opensource software-framework waarmee je grote taalmodellen (Large Language Models, of LLM's, zoals Llama van Meta) lokaal op je eigen computer kunt draaien. Het is ontworpen in C/C++ en blinkt uit in CPU-efficiëntie, waardoor je geen dure grafische kaart (GPU) nodig hebt om AI te gebruiken.
Waarvoor wordt Llama.cpp gebruikt?
Llama.cpp wordt voor twee zaken gebruikt: A) het lokaal hosten van LLM's en B) het wordt door veel populaire AI apps zoals Ollama en LM Studio gebruikt als inference backend. Applicaties als Ollama voegen echter ook performance overhead toe. Hierom is het qua hardwaregebruik dan ook efficiënter om een LLM via Llama.cpp zelf te hosten in plaats van een applicatie zoals Ollama te gebruiken.
Welke LLM's zijn beschikbaar voor Llama.cpp?
Alle self-hosted modellen die via Hugging Face beschikbaar zijn, kunnen via Llama.cpp worden gebruikt. Hiermee zijn niet alleen veel meer modellen beschikbaar dan bijvoorbeeld via Ollama, maar zijn nieuwe LLM's via Llama.cpp ook nog eens sneller beschikbaar.
Kan ik zelf LLama.cpp gebruiken?
Jazeker! Er is enige technische kennis vereist voor het gebruik van command-line en SSH, maar in deze handleiding leggen we je precies uit hoe je Llama.cpp installeert en koppelt aan populaire AI applicaties zoals Codex, Claude Code en OpenWebUI.
Welk LLM kan ik het beste gebruiken met Llama.cpp?
Dit hangt af van jouw use case en de resources die beschikbaar zijn op jouw server. In dit artikel gaan we hier dieper op in en vind je een simpele cheatsheet.