Redactionele actualisering, 23 september 2026. Dit artikel verscheen oorspronkelijk op 25 maart 2026. Een eerdere versie stelde zonder onderbouwing dat lokale AI zich binnen 6–12 maanden terugverdient, dat voor 80% van MKB-taken het kwaliteitsverschil verwaarloosbaar is en dat bepaalde chatkanalen in een eigen opstelling volledig lokaal blijven. Die uitspraken zijn verwijderd. Hieronder staat wat de GTC-ontwikkeling wel laat zien en welke gegevens je zelf nodig hebt voor een keuze.
Een ondernemer wil documenten laten indelen zonder steeds tekst naar een externe dienst te sturen. Kan een AI-model op eigen apparatuur dat werk doen? De vraag is begrijpelijk. Maar “lokaal” zegt alleen iets over waar een deel van de verwerking kan plaatsvinden. Het zegt nog niet of de taak goed wordt afgerond, of de volledige gegevensstroom lokaal is en wat het systeem werkelijk kost.
Wat liet GTC 2026 zien?
Bij GTC sprak NVIDIA veel over inference: het uitvoeren van een getraind model om antwoorden of analyses te maken. NVIDIA presenteerde onder meer Nemotron 3 Super, een model met 120 miljard parameters waarvan per stap 12 miljard actief zijn. Dat technische ontwerp is bedoeld om verwerking efficiënter te maken. De genoemde snelheids- en kwaliteitsresultaten zijn NVIDIA-evaluaties onder specifieke instellingen; ze bewijzen geen gelijk resultaat voor een eigen klantproces.
Efficiëntere modellen vergroten de mogelijkheden voor eigen infrastructuur. Ze betekenen niet dat een bepaald groot model op een willekeurige consumentenkaart past. NVIDIA’s NIM-catalogus voor Nemotron 3 Super noemt voor de getoonde uitvoering zware GPU-vereisten. Een apparaat met bijvoorbeeld een RTX 4070 kan bepaalde kleinere of aangepaste modellen draaien, maar dat is geen onderbouwing dat het de hier genoemde 120B-uitvoering geschikt en snel voor bedrijfswerk draait. Test het gekozen model op de exacte hardware, invoerlengte en gelijktijdige belasting.
Ook “open” verdient precisie. Beschikbaarheid van modelgewichten of software betekent niet dat ieder gebruik gratis of zonder voorwaarden is. Controleer de modellicentie, softwarelicenties en eventuele kosten voor ondersteuning voordat je een product kiest.
Een kleine taak vóór een grote installatie
Neem een voorbeeld: een medewerker leest dagelijks serviceformulieren en haalt daar apparaatnummer, type probleem en gewenste vervolgactie uit. Een lokaal model kan een voorstel maken. Een medewerker vergelijkt de velden met het formulier en keurt ze goed voordat het dossier wordt bijgewerkt. Een onleesbaar nummer moet als onzeker worden gemeld.
Voor deze taak kun je een lokaal model, een cloudmodel en desnoods een vaste regel zonder AI vergelijken. Gebruik dezelfde representatieve voorbeelden, inclusief slechte scans en afwijkende formulieren. Meet het percentage direct bruikbare resultaten, de tijd voor controle en herstel, de doorlooptijd tijdens pieken en de kosten per goedgekeurd document. Een generieke modelranglijst vertelt minder over deze specifieke taak.
Een groter model is hier niet automatisch beter. Een kleiner model kan genoeg zijn voor vaste velden; een sterkere dienst kan nodig zijn voor uitzonderingen met meerdere documenten. Welke optie passend is, blijkt pas uit een proef met vooraf afgesproken eisen.
Kosten: tel meer dan stroom of tokens
Een lokale machine vraagt aankoop of huur, afschrijving, stroom, opslag, back-ups, updates, beveiliging, monitoring en beheeruren. Vervanging en uitval horen ook in de berekening. Bestaande, ongebruikte hardware heeft een andere extra kostprijs dan een nieuwe aankoop. Een cloudroute vraagt modelverbruik, hulpmiddelen, koppelingen en beheer. Voor beide routes tel je menselijke controle en herstel van mislukte taken mee.
Daarom is een algemene terugverdientijd niet geloofwaardig zonder werkelijk maandvolume, hardwareprijs, bezetting, foutpercentages en beheeruren. Zelfs een laag bedrag per AI-verzoek kan tegenvallen als veel voorstellen handmatig opnieuw moeten. In ons actuele rekenvoorbeeld voor lokaal versus cloud staan de aannames zichtbaar en kun je zien waarom kosten per goedgekeurde taak zinvoller zijn dan alleen kosten per token.
Privacy: teken de hele route uit
Een model op een eigen computer kan tekst lokaal verwerken. Het hele proces blijft pas lokaal als ook de invoer, gekoppelde zoekfuncties, chatkanalen, logs, back-ups en eventuele terugvalroute binnen de gekozen grens blijven. Een externe berichtenapp of clouddienst kan eigen gegevensverwerking hebben, ook wanneer de AI-tekstgeneratie lokaal gebeurt. Zeg daarom niet dat “niets het kantoor verlaat” voordat elke schakel is gecontroleerd.
Lokaal is evenmin automatisch AVG-conform. Ook eigen apparatuur heeft toegangsrechten, beveiliging, bewaartermijnen en een passende grondslag nodig. Bij cloud beoordeel je daarnaast de aanbieder, contracten en gegevensstromen. De juiste keuze hangt af van de concrete gegevens en verplichtingen, niet van een algemeen label “veilig” of “onveilig”.
Wanneer past lokaal mogelijk?
Een eigen installatie is het onderzoeken waard wanneer je veel gelijksoortige taken hebt, voldoende beheer kunt organiseren of een aantoonbare eis hebt voor verwerking binnen een bepaalde omgeving. Cloud kan praktischer zijn bij weinig of sterk wisselend gebruik, of wanneer je geen eigen systeembeheer wilt organiseren. Soms blijkt een eenvoudige regel of handmatige werkwijze voor de taak nog steeds beter.
Begin met een kleine, afgebakende proef. Kies bijvoorbeeld 50 historische, geanonimiseerde documenten. Bepaal vooraf welke fouten onacceptabel zijn. Test op de beoogde apparatuur en met de beoogde gegevensroute. Bereken vervolgens alle maandkosten en de kosten per goedgekeurde taak. Pas dan is een uitspraak over terugverdienen, kwaliteit of privacy voor jouw situatie verdedigbaar.
De BRAIGHT Blueprint helpt de taak, gegevens, risico’s en menselijke controle op één plek vast te leggen. Zo wordt lokale AI een bewuste ontwerpkeuze in plaats van een doel op zichzelf.
Bronnen en actualiteit
- NVIDIA Research: Nemotron 3 Super, maart 2026 — modelontwerp en leveranciersmetingen.
- NVIDIA NIM-catalogus: Nemotron 3 Super — hardware-eisen voor de getoonde uitvoering.
GTC-feiten en links opnieuw gecontroleerd op 23 september 2026. Het servicevoorbeeld is hypothetisch. Er worden geen eigen kwaliteitstest, klantresultaat of terugverdientijd geclaimd.