Twee getallen verschenen binnen vijf dagen van elkaar en vrijwel niemand zette ze naast elkaar.
OpenAI meldt dat GPT-6 Astra 72,6 procent scoort op OSWorld, de benchmark waarin een model achter een echte computer gaat zitten en een echte taak afmaakt. Toen OSWorld in 2024 werd gepubliceerd, maten de auteurs een menselijke referentie op dezelfde 369 taken. Mensen voltooiden er 72,36 procent van. Het beste model van dat moment kwam tot 12,24 procent.
De kop is dus niet dat Astra beter is geworden. De kop is dat een algemeen model gelijk is gekomen met de mensen wier werk het zou overnemen, op precies dat ene punt: software bedienen. Dat verdient meer zorgvuldigheid dan het heeft gekregen, in beide richtingen.
Wat OSWorld werkelijk vraagt
OSWorld bestaat uit 369 taken in echte desktop- en webapplicaties, inclusief bestandsbewerkingen en workflows over meerdere programma’s heen. Elke taak heeft een vastgelegde begintoestand en een controlescript dat de machine achteraf inspecteert, in plaats van een ander model te vragen of het antwoord er goed uitzag. Dat is aanzienlijk moeilijker te bespelen dan een chatbenchmark, en het verklaart waarom de scores in 2024 zo laag waren.
De taken zijn bewust alledaags. Hernoem een set bestanden volgens een regel. Haal een getal uit een spreadsheet en zet het in een document. Wijzig een instelling drie menu’s diep. Dit is de textuur van administratief werk in elk bedrijf, en juist daarom telt de score commercieel.
De voetnoot in het versienummer
Het cijfer dat OpenAI rapporteert is op OSWorld V2-Offline, en het woord offline draagt gewicht. In de literatuur over GUI-agents speelt offline-evaluatie opgenomen expert-trajecten af en scoort voorspelde acties daartegen. Online-evaluatie zet de agent in een draaiende virtuele machine die reageert op alles wat hij doet, ook verkeerd. Het zijn verschillende metingen, en onderzoek dat ze vergelijkt vindt volledig andere dominante faalvormen.
De eerlijke lezing: 72,6 procent offline is niet 72,6 procent op uw eigen draaiende Exact-omgeving. Niemand zou het zo moeten citeren, wij ook niet.
De richting is wel echt, en wordt bevestigd door een tweede getal. Op ScreenSpot-Pro, dat alleen test of een model het juiste element op het scherm vindt en aanklikt, ging Astra van 76,9 naar 92,7 procent zonder externe hulpmiddelen. Grounding, oftewel weten waar je moet klikken, was de gedocumenteerde blokkade in de oorspronkelijke OSWorld-analyse. Die blokkade is grotendeels verschoven.
Waarom dit in Nieuwegein harder aankomt dan in San Francisco
De meeste automatiseringsprojecten in het Nederlandse mkb stranden niet op het model. Ze stranden op toegang.
Een WMS uit 2011 waarvan de leverancier niemand meer in dienst heeft die het geschreven heeft. Een Exact Globe-omgeving waar de export een geplande CSV is en verder niets. AFAS met een koppeling die bestaat, maar met een licentieprijs die de businesscase in zijn eentje wegneemt. Een leveranciersportaal waar de pakbonstatus achter een login staat en alleen voor een menselijk oog beschikbaar is. Een school die op Magister draait. Twintig jaar lang was het eerlijke antwoord op “kunnen we dit automatiseren”: niet voor een bedrag dat klopt. En de reden was vrijwel nooit de intelligentie van de software.
Computergebruik is de enige route naar die systemen waarvoor de leverancier niet hoeft in te stemmen. Dat is het werkelijke nieuws in deze release, en het betekent meer voor een bedrijf met een vijftien jaar oud ERP in Gelderland dan voor een bedrijf waarvan de hele stack een gedocumenteerde API heeft.
De veertig minuten, niet de tweeënzeventig procent
Het getal dat wij in een businesscase zouden zetten is niet het slagingspercentage. OpenAI meldt dat de gemiddelde tijd per OSWorld-taak daalt van ongeveer 75 minuten naar ongeveer 40. Een taak die half zo lang duurt kost ruwweg de helft om te proberen, en bij GUI-werk is de poging het grootste deel van de rekening.
Daar staat tegenover: een computergebruik-agent betaalt bij elke stap voor een schermafbeelding. Astra staat op 10 dollar per miljoen invoertokens en 50 per miljoen uitvoer, met cache-reads op 1 dollar. Afbeeldingen zijn in die rekensom geen afrondingsverschil, en een lange GUI-sessie zijn honderden afbeeldingen. Wie dit doorrekent moet een echt traject beprijzen voordat hij een besparing belooft, niet een tokentarief met een aanname vermenigvuldigen.
Waar het nog misgaat, en die faalvorm heeft een naam
De dominante faalvorm op OSWorld wordt in de literatuur omschreven als hidden operation blindness: de agent neemt toestand niet waar die hij niet zelf heeft veroorzaakt. Een dialoogvenster achter het actieve scherm. Een filter dat nog aan staat van de vorige taak. Een boekingsperiode die al gesloten is. De agent gaat zelfverzekerd verder op een scherm dat hij verkeerd heeft gelezen.
Dat is precies de faalvorm die pijn doet in een ERP of een WMS. Een zichtbare fout is goedkoop. Een stille fout niet. Een agent die een werkbon niet afkrijgt en dat meldt, kost u een minuut. Een agent die hem op het verkeerde project boekt omdat er een filter aan stond, kost u een kwartaalafsluiting.
Wat 72,6 procent doet zodra u het aan elkaar knoopt
OSWorld scoort hele taken, geen stappen, dus het getal mag niet naïef vermenigvuldigd worden. Maar de ontwerples overleeft dat voorbehoud. Drie werkelijk onafhankelijke taken van elk 72,6 procent leveren samen ongeveer 38 procent op. Vijf leveren 20 procent.
Onze conclusie is structureel, niet statistisch: één taak per agentrun, een controleerbaar resultaat aan het eind van elke run, en een menselijke poort tussen twee taken die van elkaar afhangen. De geketende autonome workflow uit de demo is nog niet de vorm die deze capaciteit draagt.
Het retry-gat is een ontwerpinstructie
Eén getallenpaar uit de release zegt meer over hoe je met dit model bouwt dan welke losse score ook. Op SRE-Bench15 loste Astra 88,0 procent van de taken op bij de eerste poging en 99,2 procent binnen vier. De elf punten daartussen zijn de hele engineeringopdracht.
Het vertelt u dat het model dicht bij betrouwbaar zit maar het niet is, en dat herhaalpogingen het grootste deel van het gat dichten. Reken die dus in, in geld en in doorlooptijd, en pas daarna het filter toe dat eruit volgt: een taak die u niet veilig vier keer kunt proberen, is geen kandidaat voor dit patroon. Een e-mail versturen kan niet opnieuw. Een journaalpost boeken kan niet opnieuw. Een scherm lezen wel.
De kennisgrens ligt in april, en dat telt in deze markt
Astra heeft een kennisgrens van 30 april 2026 en een contextvenster van 1,1 miljoen tokens. Het contextvenster krijgt de aandacht; de kennisgrens is degene die een Nederlands bedrijf gaat bijten, want het Europese regelboek bewoog daarna. De digitale omnibus herschikte deze zomer delen van de AI-verordening, en een model dat tot april is getraind weet eenvoudigweg niet dat dat gebeurd is.
De praktische regel is niet veranderd, maar het is goed hem te herhalen, omdat een groter contextvenster mensen doet vergeten dat hij bestaat: waar een actuele regel het antwoord bepaalt, zet u de tekst in de prompt. Vraag het model niet wat de verplichting is. Geef het het artikel en vraag het dat toe te passen. Dat geldt voor elk frontier-model en het is geen kritiek op dit model.
Deze maand stierven drie benchmarks
Astra noteert 97,6 procent op FrontierMath Tier 4, 99,9 op ARC-AGI-3 en 100 op ExploitBench. Dat zijn minder resultaten dan overlijdensberichten. Een benchmark op 99,9 procent is geen meting meer maar een formaliteit, want hij kan dit model niet langer van het volgende onderscheiden.
Dat heeft een praktisch gevolg voor iedereen die inkoopt. De scores die frontier-modellen nog wél onderscheiden zijn de rommelige, langlopende, echte-omgevingsscores: computergebruik, agentisch programmeren, incidentafhandeling. Dat zijn ook de scores met de grootste afstand tussen een testopstelling en uw pand. De sector verliest dus zijn schone getallen juist daar waar de overgebleven getallen het slechtst overdraagbaar zijn, en het enige eerlijke alternatief is een proef op uw eigen data.
Wat wij hiermee wel zouden automatiseren, en wat niet
Nu de moeite waard:
- Alleen-lezen uitlezen van een scherm dat helemaal geen export heeft. De agent kijkt, noteert en verandert niets.
- Een leveranciersportaal aftasten op pakbon- of CMR-status en het resultaat gestructureerd wegschrijven.
- Een formulier invullen waarvan een mens het resultaat in één oogopslag kan controleren voordat het verstuurd wordt.
Nog niet:
- Alles wat zonder tweede paar ogen naar de financiële administratie schrijft.
- Alles onder Wkb- of Wtta-bewijsplicht, waar u achteraf moet kunnen tonen wat er is gebeurd en waarom.
- Alles waarbij een fout antwoord er precies zo uitziet als een goed antwoord, tot iemand in maart afstemt.
Drie vragen voordat u een agent op uw ERP richt
Ziet u de fout? Als de agent het misdoet, springt er dan binnen het uur iets op rood, of blijft er stilletjes een verkeerde waarde in een veld staan? Is het het tweede, dan is de taak nog geen kandidaat, wat de benchmark ook zegt.
Bestaat er een alleen-lezen variant van deze taak? Die is er bijna altijd, en daar hoort de eerste maand heen te gaan. U leert de faalvormen op uw eigen schermen terwijl de schade nul is.
Wat staat er werkelijk in het leverancierscontract? Verschillende Nederlandse softwareleveranciers verbieden geautomatiseerde toegang tot hun interface in hun voorwaarden. Dat is een inkoopvraag, geen technische, en hij hoort vóór de bouw gesteld te worden.
De korte versie
Een algemeen model heeft de menselijke referentie gehaald op een serieuze computergebruik-benchmark, in een offline variant, met een groundingscore die suggereert dat de verbetering echt is en geen artefact van de harness. Voor het Nederlandse mkb is het gevolg concreet: de systemen die nooit de moeite van automatisering waard waren omdat ze geen bruikbare interface hadden, verdienen nu een tweede blik. Niet allemaal, en niet autonoom. De afstand tussen een offline benchmark en uw eigen draaiende systeem is het hele engineeringvraagstuk, en dat is iets wat een audit in weken beantwoordt in plaats van iets wat een discussie beslecht.
De rest van de release, waaronder wat er met het redeneerspoor gebeurde en waarom dezelfde lijstprijs een heel andere rekening oplevert, bespraken we in onze vergelijking met Claude Fable 5.1.