Wat is het?
In plaats van een API aan te roepen, installeer je een (open-weight) model op eigen apparatuur. De software laadt de gewichten in het geheugen en serveert antwoorden via een lokale interface of interne API. Alles blijft binnen je eigen omgeving.
Hoe werkt het technisch?
- Je kiest een model dat op je hardware past; de beperkende factor is vrijwel altijd GPU-geheugen (VRAM) of RAM.
- Inference-servers en runtime-tools (zoals llama.cpp-gebaseerde tools, Ollama of vLLM) laden het model en bieden een API-compatibel eindpunt.
- Kwantisatie verkleint het geheugenverbruik zodat grotere modellen op bescheiden hardware passen.
- Voor meerdere gebruikers draai je een centrale server met batching en caching; voor individueel gebruik volstaat een desktop-app.
- De lokale API spreekt vaak hetzelfde protocol als bekende cloud-API’s, waardoor bestaande software met weinig aanpassing kan overschakelen.
Wat kun je ermee bouwen?
- Interne assistenten voor privacygevoelige data (dossiers, financiële gegevens).
- Offline toepassingen op locaties zonder betrouwbare internetverbinding.
- Ontwikkel- en testomgevingen zonder lopende API-kosten.
Commercieel gebruik
vaste hardwarekosten in plaats van variabele tokenkosten — bij hoog volume vaak voordeliger. Bovendien is het een verkoopargument: “jouw data verlaat het gebouw niet” opent deuren in zorg, recht en overheid. Als dienstverlener kun je lokale AI-opstellingen ontwerpen, installeren en beheren.
Sterke combinaties
met kwantisatie (onontbeerlijk), met RAG voor een volledig eigen kennissysteem, en met hybride routering: lokaal voor de bulk, cloud voor uitzonderingen.
Belangrijkste 20%
- Reken vanuit geheugen: het model (plus werkruimte voor context) moet volledig in VRAM/RAM passen.
- Lokaal betekent beheerverantwoordelijkheid: updates, monitoring en beveiliging zijn van jou.
- Kleine modellen zijn verrassend capabel voor afgebakende taken; je hebt niet altijd het grootste model nodig.
Praktijkvoorbeeld (fictief)
Een accountantskantoor draait een gekwantiseerd open model op een eigen server met één krachtige GPU. Medewerkers gebruiken het voor het samenvatten van jaarrekeningen en het opstellen van brieven. Klantgegevens blijven intern, en de maandelijkse kosten zijn voorspelbaar: stroom en onderhoud, geen API-factuur.