AI-agent observability is de discipline om elke LLM-aanroep, elke tool-aanroep en elke retrieval-stap van een autonome agent te traceren, en die stappen vervolgens te beoordelen op juistheid, kosten en veiligheid voordat een gebruiker een klacht indient. In 2026 draait dit op drie lagen die de meeste teams nog los van elkaar aanpakken: OpenTelemetry's tracing-standaard voor GenAI, een evaluatielaag die beoordeelt wat de traces laten zien, en online monitors die drift opvangen zodra de agent live staat. Sla één laag over en u heeft een agent live gezet die u niet meer kunt debuggen.
Waarom "het werkte in de demo" niet meer volstaat
Een demo-agent draait tegen drie voorbereide inputs en een stabiele API. Een productie-agent krijgt een klant die een factuurnummer verkeerd typt, een systeem dat time-out geeft, en een tool-respons die er niets uitziet zoals de testfixture. De betrouwbaarheidskant van dat gat behandelden we in AI Agents in Production — durable execution, retries, checkpoints. Observability is de andere helft: zelfs een perfect stabiele agent die nooit crasht, kan nog steeds zelfverzekerd en stilletjes fout zitten, en durable execution vertelt u dat niet. Alleen tracing en evaluatie doen dat wel.
Onderzoek dat labbenchmarks in 2026 vergelijkt met echte implementaties, vindt steeds weer een verschil van ongeveer een derde tussen beide — benchmarks gebruiken schone inputs, voorspelbare tool-responses en gecontroleerde omgevingen, terwijl productieverkeer dat niet doet. Precies dat gat moet een observability-stack continu blootleggen, niet pas bij de livegang.
Drie lagen, niet één tool
Tracing legt vast wát er gebeurde: de exacte prompt, de respons van het model, tokenaantallen, latency, en elke tool-aanroep of retrieval-stap ertussen, gestructureerd als een hiërarchische trace in plaats van een ondoorzichtig verzoek. Evaluatie beoordeelt of wat er gebeurde klopte, offline tegen een samengestelde dataset vóór u iets wijzigt, of online tegen live verkeer om regressies op te vangen. Monitoring houdt evaluatiescores in de tijd in de gaten en waarschuwt een mens zodra een metric een drempel overschrijdt. Teams die observability helemaal overslaan, missen laag één. Teams met "wat logging" missen meestal laag twee en drie — en daar worden de echte fouten opgevangen.
De standaardlaag: OpenTelemetry's GenAI semantic conventions
Het onderdeel van deze stack dat u het minst vastzet aan één leverancier, is de tracing-standaard zelf. De GenAI Special Interest Group van OpenTelemetry uniformeert sinds april 2024 de attribuutnamen voor LLM-aanroepen, agent-stappen, vector-database-queries, tokengebruik en kosten. Tegen 2026 dekken de OpenTelemetry GenAI semantic conventions vier gebieden: LLM client-spans, agent-spans, events voor prompt- en completion-inhoud, en metrics. Medio 2026 draagt nog geen enkel onderdeel van het GenAI-oppervlak in de betreffende repository een formeel Stable-label — client-spans zijn het verst gevorderd, terwijl agent- en framework-spans nadrukkelijk experimenteel blijven — behandel de hele conventie dus als pre-1.0 en leg een versie vast. Een omgevingsvariabele (OTEL_SEMCONV_STABILITY_OPT_IN) laat teams oude en nieuwe attribuutnamen tegelijk uitzenden tijdens de overgang, zodat later upgraden geen breaking rewrite betekent.
Het praktische voordeel is overdraagbaarheid. Omdat elke tool-aanroep, LLM-aanroep en retrieval-stap onder de OTel-conventie een child-span wordt, rendert een trace die u vandaag vastlegt volgend jaar correct in welk backend u ook kiest — Datadog voegde native ondersteuning toe in OTel v1.37, en ook Grafana's tracing-stack neemt dezelfde GenAI-spans op via zijn standaard OTel-pijplijn. Voor een klein technisch team betekent dit dat het instrumentatiewerk niet verloren gaat als de observability-leverancier verandert; alleen de bestemming verandert.
Trajectory versus eindantwoord: waarom agent-evaluatie lastiger is dan het lijkt
Eén LLM-aanroep evalueren is relatief simpel: kwam het antwoord overeen met het verwachte antwoord. Een agent evalueren betekent het hele traject beoordelen — riep de agent de juiste tool aan, in de juiste volgorde, met de juiste argumenten, en herstelde hij zinnig toen een tool een foutmelding teruggaf. De 2026-gids van Confident AI over agent-evaluatie groepeert de bruikbare metrics in tool-aanroepnauwkeurigheid, planningskwaliteit, taakvoltooiing en redeneervermogen, met veiligheid, latency en kosten daarbovenop zodra de agent live staat. Een trace die eindigt in het juiste eindantwoord, kan onderweg alsnog vier onnodige tool-aanroepen hebben gedaan — budget en latency die de eindantwoord-metric nooit ziet.
Hier stopt kostenbewaking ook een financiële vraag te zijn en wordt het een technische: het aantal stappen en loops is onzichtbaar in de totale kostenregel van een trace, tenzij u kosten per span toerekent. Eén agent-loop die vastloopt, kan wekenlang uw tokenrekening verdubbelen voordat iemand op finance de factuur ziet stijgen.
Het landschap van 2026: wie doet wat
De tooling is inmiddels volwassen genoeg dat de meeste beslissingen voor een mkb-bedrijf neerkomen op drie of vier namen. Langfuse is open source en zelf te hosten, en behandelt een modelaanroep als een gestructureerde generatie — modelnaam, prompt, completion, tokens, latency, kosten — in plaats van een ondoorzichtig verzoek. Dat is de juiste standaardkeuze voor een Nederlands team dat traces, evaluaties en prompt-beheer in één samenhangende workflow wil, zonder leverancierscontract. Sinds juli 2026 ondersteunen de monitors ook boolean scores, zodat een team in Slack kan waarschuwen of een GitHub Action kan triggeren zodra het percentage mislukte policy-checks een ingestelde drempel overschrijdt.
Arize en Confident AI's DeepEval leunen meer naar evaluatie-eerst workflows met een sterke LLM-as-judge-laag; Braintrust en Galileo — dat laatste inmiddels gebouwd op zijn Luna-2-foundationmodellen — richten zich op teams die een geïntegreerd platform voor simulatie, evaluatie en observability willen in plaats van er zelf één samen te stellen. Geen van deze opties is gratis bij echt productievolume, en precies daarom is de volgende paragraaf belangrijker dan de featurevergelijking.
De rekensom per trace die niemand u laat zien
Een concreet voorbeeld met genoemde aannames: een Nederlands mkb-bedrijf draait een factuurverwerkingsagent met 50.000 aanroepen per maand, gemiddeld vier spans per aanroep — één LLM-aanroep plus drie tool-aanroepen naar het ERP, een validatiedienst en e-mail. Elke trace beoordelen op één kwaliteitsmetric met een LLM-as-judge-model van ongeveer $0,002 per beoordeelde trace komt al uit op $100 per maand. Drie metrics die er in productie echt toe doen — juistheid, tool-aanroepnauwkeurigheid en een veiligheidscheck — draaien, vermenigvuldigt dat naar zo'n $300 per maand, nog vóór opslag, dashboards en de tokenkosten van het judge-model zelf, die er doorgaans nog eens 15 tot 20 procent bovenop komen.
Bijna geen enkel team hoeft 100% van het verkeer te evalueren om te vinden wat ertoe doet. Steekproeven van 10 tot 20% van het routineverkeer, gecombineerd met het altijd evalueren van elke trace met negatieve feedback, een tool-fout of een ongewoon lang traject, brengt diezelfde werklast terug naar ongeveer $30 tot $60 per maand — en vangt nog steeds de fouten die anders bij een klant terecht zouden komen. Het getal waar een klein team zich zorgen over moet maken, is niet de evaluatiefactuur — het is de tokenfactuur van een agent-loop die niemand in de gaten houdt, en precies die vangt dezelfde tracing-laag als eerste op.
Frontier-lab watch: DeepMind's evaluatiewetenschappers stapten net over naar Anthropic
AlphaFold-Nobelprijswinnaar John Jumper verliet Google DeepMind in juni 2026 voor Anthropic, na bijna negen jaar, en begon rond 22 juni; oorspronkelijke AlphaFold-coauteurs Jonas Adler en Alexander Pritzel volgden binnen enkele dagen, naar verluidt rond 24 juni, waarbij Adler naar Anthropics AI-codewerk ging en Pritzel naar pretraining. Deze vertrekken maken deel uit van een bredere golf onderzoekers die Google in juni en juli 2026 verlieten voor concurrenten, waaronder Noam Shazeers overstap van Google naar OpenAI.
Wat opvalt voor wie agent-tooling bouwt, is niet het aantal koppen, maar de discipline waarop deze drie hun carrière bouwden. AlphaFold won zijn Nobelprijs niet vanwege een groter model, maar vanwege een strenge, op grondwaarheid gescoorde evaluatiemethode die kon bewijzen dat een voorspelde eiwitstructuur ook echt klopte. Dat precies dit soort talent overstapt naar een lab dat zijn identiteit heeft gebouwd op interpreteerbaarheid en zorgvuldige evaluatie, is een signaal dat u letterlijk mag nemen: het volgende concurrentievoordeel in agentic AI is niet een groter model, maar wie kan bewijzen dat zijn systeem klopt, op schaal, op dezelfde manier als AlphaFold dat moest bewijzen. Precies die spier bouwt een observability- en evaluatiestack op binnen een bedrijf, niet alleen binnen een lab.
Wat u als eerste instrumenteert, in volgorde
- Traceer voordat u iets optimaliseert. Zet OpenTelemetry GenAI-spans of een Langfuse-SDK rond uw agent voordat u prompts of frameworks aanpast — u kunt niet repareren wat u niet ziet.
- Schrijf drie tot vijf slaag/faal-criteria die aan een bedrijfsresultaat vasthangen (correct factuurbedrag, juiste tool-aanroep, geen ongeautoriseerde actie), geen vaag "klinkt goed"-oordeel.
- Steekproef slim: evalueer 10 tot 20% van het routineverkeer, maar evalueer 100% van de traces met negatieve feedback, een tool-fout of een langer traject dan verwacht.
- Zet vóór de livegang één online monitor met een Slack- of webhook-melding op, niet pas na de eerste klantklacht. Dezelfde discipline behandelden we vanuit de beveiligingshoek in AI Agent Security en vanuit de tokenbudget-hoek in Context Engineering.
- Behandel de MCP- en frameworklaag als de leidingen en observability als de meter — zie MCP, RAG, AI Agents en A2A voor hoe de onderdelen samenkomen.
Niets hiervan vraagt om een groot team. Een Nederlands mkb-bedrijf met één of twee agents in productie — doorgaans zodra u voorbij een losse pilot bent en in de 20-tot-50-fte-fase zit waarin een echt proces dagelijks op de agent draait — haalt het meeste uit een zelf gehoste Langfuse-instantie met een korte lijst aan bedrijfsgebonden metrics; een managed platform verdient zijn prijs terug zodra u genoeg agents draait, of genoeg compliance-gewicht draagt, dat iemand de evaluatiepijplijn fulltime moet beheren. Crux Digits bouwt en instrumenteert agent-integraties precies volgens deze tracing-eerst-aanpak, zodat de agent die een klant live zet er een is die hij zes maanden later nog kan debuggen.
Dit overzicht weerspiegelt de OpenTelemetry GenAI-conventies en de featuresets van Langfuse, Confident AI, Arize en Galileo zoals die eind juli 2026 stonden. Alle vier bewegen snel — controleer de actuele documentatie voordat u een architectuur vastlegt.
