AI-agentbenchmarks: 24% gehaald is 97% goed

DAYJOB, gepubliceerd op 1 oktober 2026, rekent een poging van een agent alleen als geslaagd wanneer die aan elk binair criterium voldoet in een expertrubriek van ongeveer vijftig items. Het sterkste model haalt 24,7 procent van de zorgtaken. Verdeelt u dat over de rubriek, dan ligt de impliciete nauwkeurigheid per criterium rond 97 procent. Dat tweede getal, niet het eerste, bepaalt hoe u een overdracht aan een agent moet afbakenen.

Wat heeft DAYJOB precies gemeten?

DAYJOB is een benchmark van Surge AI, op 1 oktober 2026 ingediend bij arXiv. De set bevat 130 taken die door praktiserende professionals zijn opgesteld: 50 in de zorg en 80 in finance. Volgens het paper heeft een professional gemiddeld 13,6 uur nodig voor een zorgtaak en 16,6 uur voor een finance-taak. Surge noemt in de eigen toelichting hogere gemiddelden, 19,6 en 21,6 uur; hier worden steeds de cijfers uit het paper aangehouden. Elke taak komt als een Harbor-omgeving in een container, met een expertrubriek van binaire criteria, mediaan 47,5 per zorgtaak en 57,5 per finance-taak, die een agentische jury toepast op de bestanden die de agent oplevert.

Bij de scoringsregel is het de moeite om even stil te staan. In de woorden van de auteurs slaagt een poging alleen als die aan elk criterium voldoet. Dezelfde alles-moet-kloppen-regel stuurt de eerdere HANDBOOK.md-benchmark van Surge over het volgen van beleid. Over 30 modelconfiguraties van 13 aanbieders haalt de sterkste, Claude Opus 5.5, 24,7 procent van de zorgpogingen en 23,9 procent van de finance-pogingen, terwijl de mediane configuratie op 0,6 en 2,5 procent blijft steken. De openbare harness doet vijf pogingen per taak onder Apache-2.0 en beoordeelt met Claude Opus 4.8 als agentische jury; de score van een taak is de gemiddelde beloning over die vijf pogingen. Surge heeft alle zorgtaken, 50 van de 80 finance-taken, de harness en de ranglijsten vrijgegeven. Let op: de actuele zorgranglijst noemt nu 65 taken, meer dan de 50 uit het paper, dus behandel het aantal taken als de momentopname van het paper en niet als een vast getal.

Wat dit onderscheidt van de benchmark die de meeste leveranciers aanhalen, is de vorm van de prompt. Surge zet in de eigen toelichting de DAYJOB-prompts op 49 tot 81 woorden tegenover 337 bij GDPval, en het aantal invoerbestanden op 19,8 tot 25,7 tegenover 1,2. GDPval, uit september 2025, omvat 1.320 taken over 44 beroepen en beoordeelt via blinde paarsgewijze vergelijking met menselijk werk. Die benchmark vraagt of de uitkomst zo goed is als die van een professional. DAYJOB vraagt of de agent zelf kan uitzoeken wat de uitkomst moet zijn. Is uw pilotprompt lang en uw productieverkeer kort, dan heeft u het eerste gemeten en het tweede gekocht, en dat is precies de kloof waardoor een sterke demo niets bewijst in productie.

Waarom betekent 24 procent geslaagd niet 24 procent bekwaam?

Omdat een alles-of-niets-rubriek zich opstapelt. Slaagt een poging alleen wanneer alle n binaire criteria kloppen, en beschouwt u die criteria als onafhankelijk, dan geldt tussen het alles-goed-percentage p en de nauwkeurigheid per criterium a de relatie p is a tot de macht n. Omgekeerd: a is p tot de macht een gedeeld door n.

Reken dat door op de gepubliceerde uitkomsten. Zorg: 0,247 tot de macht 1/47,5 geeft 97,1 procent per criterium, een misser in 2,9 procent van de gevallen. Finance: 0,239 tot de macht 1/57,5 geeft 97,5 procent. De mediane configuratie, die op 0,6 procent hopeloos lijkt, komt uit op 89,8 procent per criterium in de zorg en 93,8 procent in finance. GPT-6 Astra met 11,6 procent in de zorg impliceert 95,6 procent, en Gemini 4 Argon met 20,3 procent in finance impliceert 97,3 procent. Beide staan op de openbare finance-ranglijst.

Dat verandert het beeld van de onderlinge verschillen. Op het kopcijfer is Claude Opus 5.5 in de zorg meer dan twee keer zo goed als GPT-6 Astra. Per criterium is het verschil 97,1 tegen 95,6: ongeveer één misser op 34 tegenover één op 22. Reëel, maar niet de kloof die de ranglijst suggereert. De les is breder: een totaalscore is bruikbaar om mee te schiften en onbruikbaar om mee te kiezen, en daarom benoemt een modelkeuze eerst de werklast.

De aanname van onafhankelijkheid moet eerlijk op tafel, want die doet werk. Onafhankelijkheid is de optimistische kant van de bandbreedte. Waren de fouten volledig gecorreleerd, dan zou 24,7 procent alles-goed ook 24,7 procent per criterium betekenen. Het werkelijke cijfer ligt dus tussen 24,7 en 97,1 procent, en de berekening hierboven geeft het plafond, niet een puntschatting. De kopcijfers op zichzelf dragen alleen het plafond. Om de bandbreedte te vernauwen heeft u de verdeling van missers per poging nodig en niet het slaagpercentage, dus lees de drempelresultaten in het paper zelf voordat u 97 procent als meting citeert.

Ik ben niet de eerste die opmerkt dat de rubriek de score bepaalt. InferenceWire maakte dezelfde observatie over de finance-set en schreef dat agents vrijwel alles goed moeten hebben om te slagen. Wat ik nergens van een getal voorzien heb gezien, is het gevolg.

Hoeveel criteria kan één overdracht aan een agent dragen?

Keer de formule nog eens om en vraag welke n u zich kunt veroorloven. Houdt u het alles-goed-percentage op 90 procent, ongeveer het punt waarop een CAB ophoudt met vragen: bij 97,1 procent per criterium kunt u 3,6 criteria dragen. Bij 98 procent 5,2. Bij 99 procent 10,5. Bij 99,5 procent 21.

En vooruit gerekend, vanaf diezelfde 97,1 procent: vijf criteria geven 86,3 procent alles-goed, tien geven 74,5 procent, vijftien geven 64,3 procent, twintig geven 55,5 procent.

De afbakeningsregel, met de aanname van onafhankelijkheid expliciet en dus ruim genomen: een overdracht die u zonder nalezen wilt accepteren, mag ongeveer vier controleerbare criteria dragen, geen vijftig. Elk criterium dat u aan het acceptatiecontract toevoegt, vermenigvuldigt in plaats van optelt. Dat is de technische inhoud van een score van 24 procent, en het is een ontwerpbeperking en geen oordeel over de modellen.

Waarom lost een kleinere oplevering het niet alleen op?

Omdat de fouten niet onafhankelijk zijn, en het paper zegt dat zelf. In de casussen nemen agents premissen over die het dossier tegenspreekt, en slepen ze verkeerde invoer mee door een verder consistente analyse. Dat is gecorreleerd falen door constructie: één verkeerde invoer laat elk criterium stroomafwaarts sneuvelen.

Dat onderscheid bepaalt wat opsplitsen oplevert. Bij onafhankelijkheid kwadrateert halvering van het aantal criteria uw kansen ruwweg. Bij clustering levert opsplitsen bijna niets op, omdat de fout stroomopwaarts van elk deel zit. Vier losse overdrachten van vier criteria, gevoed met dezelfde verkeerde wisselkoers, falen vier keer.

Daarmee blijven er twee knoppen over, en u heeft ze beide nodig. Verlaag het aantal criteria per overdracht, zodat de rekensom te overleven is. En zet de invoer vast, zodat de agent niet zelf zijn bronsysteem, periode, eenheid, tekenconventie of tegenpartij kiest. Vastzetten betekent dat die als opgeloste parameters uit een systeem komen dat u al beheert, vóór de agent begint te redeneren.

Waar hoort de menselijke controle dan te zitten?

Hier verschil ik van mening met InferenceWire, dat uit dezelfde benchmark concludeert dat u de uitkomst behandelt als een ruwe eerste versie die een gekwalificeerd persoon nog regel voor regel nakijkt. Daar zitten twee problemen in.

Het eerste is rekenkundig. Een oplevering met vijftig criteria regel voor regel nakijken kost een aanzienlijk deel van de 13,6 uur die het paper raamt voor het uitvoeren van de taak zelf, dus de agent heeft het makkelijke deel weggenomen en het dure deel laten staan. Het tweede is erger: de foutsoort verslaat juist dit type controle. De bevinding van het paper is dat de analyse ná een verkeerde invoer verder consistent is. Intern coherent, netjes opgemaakt werk dat op één verkeerd getal rust, is het moeilijkste wat er te controleren valt, en een lezer die op samenhang let, tekent het af.

Zet de poort stroomopwaarts. Formuleer een korte lijst invarianten en controleer die vóórdat de agent loopt en opnieuw op de grens van de overdracht: bronsysteem, eenheid en valuta, periode, tekenconventie, en of de premisse in de vraag het dossier overleeft. De casussen van InferenceWire zijn allemaal stroomopwaartse fouten van precies die soort, waaronder een tekenfout die een winstcijfer opblies en een valuta-eenheidsfout van 25,7 miljoen dollar die slechts twee van de 66 runs opmerkten. Vijf controles op de invoer vangen wat vijftig controles op de uitkomst niet vangen.

Wat verandert dit voor een Nederlandse mid-market IT-omgeving?

Voor een informatiemanager of CIO tussen 250 en 5.000 FTE is het gevolg procedureel, niet technisch. De agent-toepassingen die een CAB passeren, zijn die met een klein en benoembaar acceptatiecontract, en in de meeste voorstellen werkt het instinct de andere kant op: de businesscase leest beter bij een grotere oplevering, dus groeit de scope tot de overdracht vijftig criteria heeft en niemand die kan accepteren zonder alles te lezen. De rekensom hierboven is het argument om terug te snijden, en het is een argument dat een risico-eigenaar kan volgen. Het is ook de eerste vraag die wij stellen bij toegepast AI-werk bij middelgrote bedrijven: niet welk model, maar hoeveel criteria de overdracht draagt.

Twee punten specifiek voor een Nederlandse omgeving. Uw administratieve systemen zijn al het middel om invoer vast te zetten: AFAS, Dynamics 365 Business Central, SAP, uw EPD of uw TMS bevatten de gezaghebbende periode, eenheid en tegenpartij, dus een agent die die leest in plaats van ze uit een bijlage af te leiden, elimineert het grootste deel van de stroomopwaartse foutsoort zonder extra werk. En in gereguleerd werk is de controle die u ontwerpt dezelfde die een auditor wil zien. Een vastgelegde invariantcontrole vooraf is bewijs; "een collega heeft het nagekeken" niet.

De naad is het benoemen waard. Uw ICT-partner beheert het platform en houdt het in de lucht. Wat verandert wanneer een gespecialiseerde AI-leverancier aanschuift, is dat iemand per overdracht het acceptatiecontract moet schrijven en op vier regels moet houden, en daarna moet aantonen dat het na de volgende modelwissel nog klopt. Dat is ander werk dan beheer, en bij een AI-implementatie in Nederland bepaalt het of de agent productie haalt.

Hoe maakt u hier een acceptatietest van?

• Schrijf de rubriek voordat u bouwt. Kunt u de binaire criteria niet opsommen die een beoordelaar zou afvinken, dan is de overdracht niet gespecificeerd en zegt geen enkele benchmarkscore of het werkt.
• Tel ze. Boven ongeveer acht is de overdracht te groot om zonder nalezen te accepteren. Splits, en aanvaard dat splitsen pas helpt als de invoer vastligt.
• Zet de invoer vast. Bronsysteem, periode, eenheid, tekenconventie en tegenpartij zijn parameters die een systeem oplost, nooit conclusies die de agent uit een bijlage trekt.
• Meet alles-goed, niet het gemiddelde. Laat de overdracht vijf keer lopen, zoals de DAYJOB-harness doet, en rapporteer het aandeel runs dat elk criterium haalde. Een gemiddelde verbergt precies het gedrag dat productie u gaat laten zien.

Hier is geen beter model voor nodig. Een agent met 97 procent per criterium is al bruikbaar op een overdracht van vier criteria met vastgezette invoer, en al onbruikbaar op een van vijftig. Agent-pilots die vastlopen, lopen vast op scope, niet op wat het model kan. De scope is de variabele die u dit kwartaal in de hand heeft; het model niet.

Veelgestelde vragen