AI-agent modelkeuze: één score is geen bewijs

Een agentmodel kiezen op één ranglijstscore betekent dat u een resultaat koopt dat op de werklast van iemand anders is gemeten. DAREBench, gepubliceerd in september 2026, liet 35 modellen door één gedeelde agentruntime lopen over zes werklastgroepen. Geen enkel model leidde in meer dan drie van de zes, en de beste score op multimodaal werk met tools was 61,8 procent. Modelkeuze is een werklastbeslissing, en het bewijs moet uitgesplitst zijn voordat het als bewijs meetelt.

Waarom kiest één benchmarkscore het verkeerde model?

Het bezwaar tegen de totaalscore is niet nieuw. VECTOR Labs zette het op 24 augustus 2026 uiteen in een stuk over de keuze van agentbenchmarks: samengestelde benchmarks persen veel subtaken in één kopgetal, een model kan een respectabele totaalscore halen en tegelijk sterk inzakken op precies de categorie waarin uw productiewerklast zit, en gepubliceerde scores horen daarom op een shortlist en niet in een beslissing. Hun opdracht: haal de totaalscore uiteen en leg de categorieën over uw eigen takenverdeling.

Die opdracht had een praktisch probleem. Uiteenhalen kan alleen als iemand de uitsplitsing publiceert, en de uitsplitsingen die er waren kwamen uit verschillende testopstellingen. Terminal-Bench meet werk op de commandoregel, OSWorld meet desktopbesturing, MMSearch meet multimodaal zoeken, en elk brengt zijn eigen runtime, toolinterface en scorer mee, dus wie daartussen vergelijkt, vermengt modelvermogen met runtimecompatibiliteit. U kon het advies in beginsel aanvaarden en er vervolgens toch niets mee kunnen. DAREBench dicht dat gat.

Wat heeft DAREBench precies gemeten?

De benchmark haalt 233 taken uit 22 gepubliceerde bronbenchmarks door een filter in drie stappen: alles zonder een definieerbaar artefactcontract of een betrouwbare scorer valt af, alles wat een middelgroot open model drie van de drie keer oplost valt af als te makkelijk, en de rest wordt geselecteerd op categoriedekking. Die taken komen daarna in een werklastmatrix van twee bij drie: invoermodaliteit (tekst, multimodaal) gekruist met uitvoeringsvorm (één stap, meerdere stappen, meerdere stappen plus tools).

Elk model draait in één gedeelde uitvoeringsomgeving op basis van OpenClaw, de open source agentruntime, met dezelfde agentlus, toolset, workspace-abstractie en logging. Drieëntwintig commerciële API-modellen liepen via OpenRouter; twaalf modellen met open gewichten werden lokaal met vLLM bediend op één RTX PRO 6000 op FP16 en 32K context, zonder quantisatie. Dat zijn 7.587 model-taakruns.

Twee ontwerpkeuzes wegen zwaarder dan de schaal. Elke taak draagt een contract dat de workspace, de tools, de vereiste uitvoerpaden met geldigheidsvoorwaarden, de scorer en een tijdsbudget benoemt. Een run slaagt dus doordat er een geldig artefact ligt, niet doordat er tekst ligt die daarop lijkt. En elke positieve score van de beoordelaar gaat door deterministische triggerregels, waarbij verdachte gevallen naar een meta-beoordelaar uit een andere modelfamilie gaan.

Welk model wint, hangt af van uw werklastgroep

Over de zes groepen verdelen de leiders zich in drieën. Claude Opus 4.8 leidde er drie: tekst in één stap met 98,8, tekst met meerdere stappen en tools met 65,3, en multimodaal met meerdere stappen en tools met 61,8. GPT-5.5 leidde tekst met meerdere stappen met 83,6 en multimodaal in één stap met 90,0. Gemini 3.1 Pro leidde multimodaal met meerdere stappen met 88,5. Drie leveranciers, zes groepen, geen enkele die alles pakt.

Nuttiger dan de rangorde tussen modellen is de spreiding binnen één model. Claude Opus 4.8 haalt 98,8 op tekst in één stap en 61,8 op multimodaal werk met tools: 37 punten bereik binnen één model, in één testopstelling. Een gemiddelde van die twee getallen beschrijft geen werklast die in uw landschap bestaat.

Waarom is meerdere stappen plus tools het getal dat u zorgen moet baren?

Omdat het de enige kolom is die op productie lijkt. Een taak van één stap is een vraag met een antwoord. Een inkomende inkooporder lezen, de regels tegen het ERP controleren en de afwijking markeren is per definitie meerdere stappen plus tools. In die kolom haalt het beste model 65,3 procent op tekst en 61,8 procent op multimodale invoer. Ongeveer één run op de drie mislukt, op geselecteerde taken van gemiddelde tot hoge moeilijkheid, in een gecontroleerde runtime, met de tools al aangesloten.

Dat sluit aan op de bevinding van juli die wij beschreven in de HANDBOOK.md-guardrailbenchmark, waar het beste model een lang beleidsdocument in 36,2 procent van de pogingen volgde. Dezelfde vorm van antwoord: vermogen gemeten op één beurt overleeft een lange reeks beurten niet.

Een productieagent is dus geen model, het is een model binnen een besturingsstructuur: duurzame uitvoering, een begrensde verzameling acties, en een menselijke controle op de stap waar een fout duur wordt. Die architectuur beschreven wij in AI-agents in productie.

Wat zegt de curve van nauwkeurigheid tegen kosten over bijbetalen?

Het paper rapporteert gemiddelde tokens en geschatte dollars per taak tegen de referentietarieven van OpenRouter. Twee bevindingen volgen.

Tokenaantal en kosten zijn losgekoppeld. Claude Opus 4.6 gebruikte gemiddeld 231k tokens per taak en MiMo-V2.5 gemiddeld 276k, en toch kostte MiMo ongeveer een eenzeventigste daarvan. Een tokenbudget is geen kostenbudget.

De twee modaliteiten hebben een andere curvevorm. Op tekst is de curve boven twee cent per taak bijna plat: MiMo-V2.5 kost $0,006 en haalt 75,5, MiMo-V2.5-Pro kost $0,012 en haalt 76,0, en GPT-5.5 kost $0,155 en haalt 76,8. Die laatste stap is ongeveer dertien keer de kosten voor 0,8 punt. Op multimodaal blijft de curve klimmen: MiMo-V2-Omni kost $0,003 en haalt 46,0, MiMo-V2.5 kost $0,005 en haalt 62,1, GPT-5.4 kost $0,097 en haalt 63,5, Gemini 3.1 Pro kost $0,114 en haalt 67,9, en Claude Opus 4.8 kost $0,123 en haalt 71,1.

Zet daar een volume onder. Neem 20.000 agenttaken per maand: ongeveer 100 gebruikers die twintig werkdagen lang tien taken per dag doen. Op tekst gaat de maandrekening van ongeveer $120 naar ongeveer $3.100 als u van MiMo-V2.5 naar GPT-5.5 stapt, en de 1,3 extra punten leveren ongeveer 260 extra geslaagde runs op, waarmee elke extra geslaagde run ruwweg $11,50 kost. Op multimodaal gaat de rekening bij hetzelfde volume van ongeveer $60 naar ongeveer $2.460 als u van MiMo-V2-Omni naar Claude Opus 4.8 stapt, en de 25,1 extra punten leveren ongeveer 5.020 geslaagde runs op, tegen ruwweg $0,48 per stuk.

Het extra goede antwoord dat bijbetalen oplevert, kost in deze opstelling dus ongeveer vierentwintig keer meer op tekst dan op multimodaal. Neemt u MiMo-V2.5 op $0,005 en 62,1 als goedkoopste zinnige multimodale basis, dan kost dat extra antwoord ongeveer $1,31, nog altijd bijna een orde van grootte onder het tekstcijfer. De aannames staan er expliciet bij: dit zijn de referentietarieven uit het paper en geen onderhandelde prijzen, de takenmix binnen elke modaliteit wordt als gelijkmatig behandeld, en nauwkeurigheidspunten worden als onderling uitwisselbaar behandeld, terwijl sommige fouten veel duurder zijn dan andere. De richting overleeft alle drie. Op tekst koopt bijbetalen heel weinig; op multimodaal is bijbetalen het grootste deel van het resultaat. Routeert u op werklast in plaats van op leverancier, dan wordt die beslissing een configuratie en geen inkooptraject, het argument in modelrouterarchitectuur.

Kost on-premise u meer dan vijftien nauwkeurigheidspunten?

Dit is het deel van het paper dat een Nederlands inkoopgesprek zou moeten veranderen, en het is niet het deel dat wordt geciteerd. Het geciteerde resultaat is een achterstand: Qwen3.6-27B, een dicht model onder Apache 2.0 dat in april 2026 uitkwam, was met 59,8 totaal het sterkste lokale model, ruwweg 15 punten achter de commerciële topmodellen, met Qwen3.6-35B-A3B er kort achter op 56,6. Kleinere lokale modellen van 8B en 9B waren onstabiel binnen de volledige agentlus.

De auditbevinding is wat er echt toe doet. De meta-beoordelaar verwijderde 143 positieve scores omdat het uitvoeringsbewijs ze niet ondersteunde, en 124 van die 143 kwamen van lokaal uitgerolde modellen. Zesentachtig waren deadlock-lussen, waarin de agent door inhoudelijk gelijkwaardige acties blijft cirkelen zonder de workspace te veranderen tot de 32K context vol is, en de beoordelaar toch punten toekent. Twintig waren pseudo-toolaanroepen, waarin het model tekst produceert die op een toolaanroep lijkt en de beoordelaar die als uitgevoerd beschouwt. Geen van beide patronen kwam ook maar één keer voor bij de API-modellen.

De keuze voor on-premise kost u dus niet alleen nauwkeurigheid. Die keuze introduceert een foutklasse waarin de agent niets bereikt en uw testopstelling een geslaagde run rapporteert. Het paper is zorgvuldig over het bereik en dat moeten wij ook zijn: deze aantallen gelden onder één profiel met één GPU op 32K context, en de auteurs claimen uitdrukkelijk niet hetzelfde percentage bij een ruimere serveerconfiguratie. Lees het als een lijst om op te testen, niet als een vaste boete op on-premise.

De Nederlandse relevantie is concreet. Sinds de Cyberbeveiligingswet op 15 augustus 2026 in werking trad, verwijst de Cyberbeveiligingsregeling sector Overheid direct naar BIO2 versie 1.3, waarmee die voor de organisaties die eronder vallen grotendeels een wettelijke plicht is in plaats van een richtinggevend kader; een kleine set BIO2-maatregelen valt buiten die wet en blijft verplichtende zelfregulering. Toeleveranciers uit het middenbedrijf erven de eis via hun contracten. Dataresidentie en de scope van uw ISMS zijn dus echte, niet-technische redenen om een model op eigen hardware te zetten. Maakt u die keuze om compliance-redenen, dan komen deadlock-lussen en pseudo-toolaanroepen op uw risicoregister, en een slaagpercentage van een beoordelaar is op zichzelf geen bewijs meer. Instrumentatie op trajectniveau is het antwoord, en daarvoor is agent observability bedoeld.

Wie heeft deze benchmark gebouwd, en verandert dat hoe u het leest?

Leg de onafhankelijkheidstest van VECTOR Labs op het paper dat deze getallen levert. DAREBench komt van de Chinese Academy of Sciences, MiLM Plus bij Xiaomi, en Brown University, en MiMo is de eigen modelfamilie van Xiaomi, die in beide panelen op de Pareto-grens ligt. Dat is transparantie en geen diskwalificatie, en drie dingen beperken de zorg: elke leider per werklastgroep is een model dat niet van Xiaomi is, het kostenvoordeel komt uit gepubliceerde OpenRouter-tarieven die iedereen kan narekenen, en de taken, de runtime en de auditregels staan op GitHub. Neem de nauwkeurigheidsrangorde zoals die er staat, controleer de kostencijfers tegen de tarieven van vandaag, en reproduceer die curve op uw eigen taken.

Hoe ziet een acceptatietest bij een leverancier er hierna uit?

Bent u de IT-manager of CIO die een agent van een specialistische leverancier in ontvangst neemt terwijl uw ICT-partner het landschap blijft draaien, dan veranderen er zes dingen.

1. Benoem de werklastgroep vóór het model. Schrijf de modaliteit en de uitvoeringsvorm van het proces op. Bijna elk echt proces is meerdere stappen met tools, en dat vertelt u welke kolom van een tabel u mag lezen.
2. Vraag de uitsplitsing en weiger het gemiddelde. Een leverancier die niet kan zeggen hoe het gekozen model op uw werklastgroep presteert, citeert marketing. De uitsplitsing staat in de meeste benchmarkpapers, ook als het kopgetal dat niet doet.
3. Beoordeel artefacten, geen tekst. Acceptatiecriteria horen het uitvoerpad, de geldigheidsvoorwaarde en het tijdsbudget te benoemen. Een run die aannemelijke tekst oplevert en geen bestand, is mislukt.
4. Zet een tweede beoordelaar in het contract. Gebruikt een deel van uw acceptatietest een taalmodel als beoordelaar, eis dan dat een tweede model uit een andere familie de positieve uitslagen tegen het uitvoeringsspoor hercontroleert. Die ene maatregel haalde hier 143 valse geslaagde runs weg.
5. Reken per goed antwoord, niet per token. Doe de rekensom hierboven op uw eigen volume voordat de modelkeuze vastligt, en zet de aannames naast het getal.
6. Test de uitrolvorm die u echt gaat draaien. Een nauwkeurigheidscijfer van een gehoste API gaat niet mee naar dezelfde gewichten op uw eigen GPU met een kleinere context. Duwt compliance u naar on-premise, test dan uitdrukkelijk op het patroon van doorlussen tot de tijd om is.

Waar te beginnen

Neem het proces dat u volgend kwartaal het meest waarschijnlijk automatiseert en schrijf één regel op: modaliteit, uitvoeringsvorm, maandvolume, en de kosten van een verkeerd antwoord. Die regel vertelt u welke kolom u moet lezen, of uw curve plat of steil is, en of on-premise een eis is of een voorkeur.

Wij doen dit werk náást de ICT-partner of het interne IT-team dat het landschap al draait, niet in hun plaats. Dezelfde denklijn ligt onder ons toegepaste AI- en ML-werk voor middelgrote bedrijven en onze AI-implementatiepraktijk in Nederland.

Laatst bijgewerkt: 25 september 2026.

Veelgestelde vragen