In een fabriek keurt niemand een product goed op gevoel. Daar meten ze. Bij AI doet bijna iedereen het wel op gevoel, en dat is precies waarom zo veel AI-projecten doodbloeden. AI-kwaliteit meten kan met één getal, en dat getal komt rechtstreeks van de fabrieksvloer.
Ik kom uit greenbelt proces-management, de werkwijze waarmee fabrieken zoals Toyota hun kwaliteit op cijfer sturen in plaats van op onderbuik. Diezelfde maatstaven leg ik nu op de output van AI. Het werkt verrassend goed, en het is simpeler dan je denkt.
"Het voelt goed" is geen meetwaarde
De meeste AI-pilots meten kwaliteit niet. Iemand kijkt naar een paar resultaten, vindt het er aardig uitzien, en de beslissing valt op gevoel. Drie maanden later weet niemand of de AI nou echt iets oplevert.
Daar zijn de cijfers helder over. Onderzoek van MIT laat zien dat 95% van de generatieve-AI-pilots geen meetbare impact op de winst- en verliesrekening oplevert. Niet omdat de AI slecht is, maar omdat niemand de kwaliteit objectief meet, en je dus nergens op kunt bijsturen.
In een fabriek zou dat ondenkbaar zijn. Daar weet je tot achter de komma hoeveel producten in één keer goed van de band komen. Dat kan met AI net zo goed.
Wat First-Pass Yield is, en waarom Toyota het al decennia gebruikt
First-Pass Yield is het percentage taken dat in één keer goed gaat, zonder dat je het moet overdoen. Het komt uit het kwaliteitsdenken van Six Sigma en Toyota, de methode om productiefouten op cijfer te sturen.
De tegenhanger is de rework rate: het percentage dat je wél moet corrigeren of opnieuw draaien. Een hoge rework rate is verborgen kosten. Het werk lijkt af, maar het kost je stilletjes extra tijd.
Vertaal het naar AI en het past meteen. Elke AI-taak is óf in één keer bruikbaar, óf je moet hem bijsturen, corrigeren of opnieuw laten draaien. Dat onderscheid is precies wat First-Pass Yield meet.
Hoe je First-Pass Yield simpel berekent
De formule heeft geen wiskunde nodig. In gewone taal:
First-Pass Yield = de taken die in één keer goed gingen, gedeeld door het totaal aantal taken.
Een rekenvoorbeeld. Stel je AI doet in een maand 200 taken: offertes, samenvattingen, mails, classificaties, wat dan ook.
- 150 daarvan zijn meteen bruikbaar, zonder correctie.
- 50 moest je bijsturen of overdoen.
- First-Pass Yield = 150 ÷ 200 = 75%.
- Rework rate = 50 ÷ 200 = 25%.
Belangrijk: je telt de taak, niet de poging. Een taak die je drie keer moest overdoen telt als één taak die níét in één keer goed ging. Anders verstop je het probleem voor jezelf.
Wat je hiervoor nodig hebt, is een vastlegging van elke taak en de uitkomst ervan. Zonder logboek kun je niet meten. Ik leg daarom van elke taak vast wat hij deed en of hij in één keer klopte, precies de vastlegging van elke taak die ik eerder beschreef.
Die 75% betekent in dit voorbeeld dat een kwart van je AI-werk je extra tijd kost. Dat zijn verborgen kosten die je nu zwart-op-wit ziet. En die je kunt verlagen.
Eén getal is een begin, een samengestelde score is beter
First-Pass Yield is de hoofdmaat, maar "goed" heeft meer kanten. Daarom combineer ik vijf signalen tot één samengesteld kwaliteitscijfer.
- Is de taak echt af? Soms rapporteert een AI "klaar" terwijl het werk half is.
- Zijn alle gevraagde stappen gedaan? Een offerte zonder prijs is niet af, hoe mooi de tekst ook is.
- Hoeveel moeite kostte het in verhouding? Tien correctierondes voor één mail is een signaal.
- Hoeveel fouten zaten erin? Het aantal fouten per taak zegt iets over de betrouwbaarheid.
- Moest het over? Herhaling is de duidelijkste indicator van een proces dat niet stabiel is.
Per signaal hoef je geen ingewikkelde meting te doen. Eén cijfer per signaal, samengevoegd tot één score, geeft je iets waar je op kunt sturen. Vijf losse onderbuikgevoelens geven je dat niet.
Patronen zien met een control chart
In de fabriek hangt boven elke lijn een control chart: een lijngrafiek met een boven- en ondergrens. Zolang de metingen tussen die grenzen blijven, is het proces stabiel. Schiet een meting eruit, dan weet je meteen dat er iets aan de hand is.
Diezelfde grafiek werkt op AI-output. Zet je First-Pass Yield per week uit, en je ziet een daling op het moment dat hij gebeurt. Niet pas als een klant klaagt of als de cijfers aan het eind van het kwartaal tegenvallen.
Dat is het verschil tussen meten en gokken. Je stuurt op een signaal, niet op een onderbuikgevoel dat er iets niet klopt.
Een systeem dat van zijn eigen fouten leert
Meten zonder actie is nutteloos. Daarom haal ik er een stap bij. Als een bepaald foutpatroon zich twee keer of vaker herhaalt, wordt het automatisch een regel die de volgende taken probeert te voorkomen.
De fout wordt dus niet alleen geteld, maar bij de volgende ronde vermeden. Het systeem stelt de verbetering voor, ik beslis of hij klopt. De mens blijft aan het stuur, het systeem doet het voorwerk.
Dat is waar meten omslaat in verbeteren. Je First-Pass Yield gaat niet vanzelf omhoog door ernaar te kijken. Hij gaat omhoog doordat je de terugkerende fouten aanpakt. Dezelfde gedachte zit onder mijn bredere aanpak van doorzichtige, controleerbare AI-systemen: meten, vastleggen, en dan pas verbeteren.
Begin klein, meet, stuur bij
Je hebt geen Six Sigma-traject nodig. Je hebt één getal nodig.
Begin deze maand met het tellen van je AI-taken. Hoeveel gingen er in één keer goed, zonder correctie? Deel dat door het totaal, en je hebt je First-Pass Yield. Dat ene percentage vertelt je meer over je AI dan elke demo of verkooppraatje.