De meeste AI-pilots worden beoordeeld op een demo. Iemand laat het werken zien, de zaal vindt het indrukwekkend, en het besluit om door te gaan valt op gevoel. Drie maanden later kan niemand zeggen of het geholpen heeft, omdat er vooraf niets gemeten is.
Meten is het goedkoopste onderdeel van een pilot en het onderdeel dat het vaakst wordt overgeslagen. Dit is wat u inricht, en wanneer.
Vóór de bouw: de nulmeting
U kunt geen verbetering tonen ten opzichte van een getal dat u nooit heeft vastgelegd. De nulmeting moet vóór de pilot gebeuren, want daarna is het proces veranderd en is het oorspronkelijke cijfer niet meer te achterhalen.
Houd hem simpel en specifiek voor het proces dat u pilot. Stelt de pilot conceptantwoorden op garantie-e-mails op, dan is de nulmeting hoelang een eerste antwoord nu duurt en hoeveel concepten wezenlijk worden herschreven. Niet "klanttevredenheid" — een getal dat om een dozijn redenen beweegt, is een getal dat de pilot niet kan claimen.
- Meet minstens twee normale weken. Eén week vangt vooral op wat er die week bijzonder was.
- Leg vast wie het mat en hoe, zodat de vergelijking aan het eind gelijkwaardig is.
- Schrijf het getal vóór de bouw op een gedeelde plek. Nulmetingen die achteraf herinnerd worden, schuiven richting wat het resultaat goed doet lijken.
De slaagnorm, opgeschreven vóór u resultaten ziet
Bepaal vooraf welk resultaat een gang naar productie rechtvaardigt. Dit is het meest renderende punt op deze lijst, en het kost niets.
De reden is psychologisch, niet technisch. Na afloop lijken een goede en een matige uitkomst in een vergadering opmerkelijk veel op elkaar — beide worden gepresenteerd door mensen die hard gewerkt hebben, beide komen met kanttekeningen, en er is altijd een pleidooi voor nog één iteratie. Een vooraf afgesproken getal is het enige dat ze betrouwbaar onderscheidt.
Een bruikbare slaagnorm is specifiek en falsifieerbaar: "het opgestelde antwoord gaat in minstens 60% van de gevallen zonder wezenlijke aanpassing de deur uit, gemeten over twee weken". Niet "het team vindt het nuttig".
Tegenmaat: wat niet slechter mag worden
Bijna elk proces kan sneller als u iets anders loslaat. Een pilot die de doorlooptijd verbetert maar stilletjes de foutmarge verhoogt, is geen succes — en dat blijkt dan in productie in plaats van in de pilot.
Koppel dus aan elke hoofdmaat één ding dat niet mag verslechteren. Snelheid met nauwkeurigheid. Volume met kwaliteit. Kosten met herstelwerk. Eén tegenmaat is meestal genoeg; het doel is de afruil zichtbaar maken, geen scorekaart bouwen.
Wie het getal bezit
Een maat zonder eigenaar overleeft de pilot niet. Rapporteert niemand dat cijfer vandaag, dan merkt niemand de verbetering, en niemand bepleit productie als de pilot eindigt.
Dat is net zozeer een selectiecriterium als een meetkwestie. Kunt u niet benoemen wie het getal bezit dat een pilot zou bewegen, dan is dat goed bewijs dat u het verkeerde proces gekozen heeft — niet dat u een beter dashboard nodig heeft.
Wat u niet moet meten
- Modelnauwkeurigheid op een benchmark. Dat zegt iets over de benchmark, niet over uw invoer.
- Gebruik. Mensen gebruiken een nieuw hulpmiddel tijdens een pilot omdat het nieuw is en er meegekeken wordt.
- Iets dat langer duurt om te verzamelen dan de pilot loopt. Is het meten zelf een project, meet dan iets eenvoudigers.
- Tevredenheidsscores als hoofdmaat. Nuttige context, te veel ruis om op te beslissen.
Alles bij elkaar
Een goed ingerichte pilot heeft vier dingen op papier vóór de bouw: de nulmeting, de slaagnorm, één tegenmaat, en de naam van degene die het getal bezit. Dat is ongeveer een uur werk, en het is het verschil tussen een pilot die concludeert en een pilot die alleen ophoudt.
Onze audit van €2.500 levert precies deze vier op vóórdat er code geschreven wordt — en dat is ook waarom hij soms concludeert dat het proces geen pilot waard is.