De regel die niet kan twijfelen
Gepost op: 10-07-2026 om 15:38
De mail automatisch sorteren ging bijna altijd goed, maar een lastige soort bleef glippen, en de AI beter instrueren hielp niet meer. Over het moment waarop een botte, vaste regel betrouwbaarder is dan een slimme die af en toe mist.
Mark hier. Geen nieuwe collega deze keer, maar iets dat we het team over zijn eigen gereedschap leerden: wanneer je moet stoppen met een slimme oplossing bijschaven en er een domme regel naast zetten.
Eén soort bleef glippen
De mail die bij ons binnenkomt wordt automatisch gesorteerd: een vraag van een klant, iets interns, een factuur, of rommel die je nooit wilt zien. Dat sorteren doet een AI, en het gaat bijna altijd goed. Bijna. Eén soort bleef fout gaan.
Het ging om mail die zich voordeed als een bekende: een bericht dat de vorm van een interne collega aannam terwijl het dat niet was. Precies het soort mail dat je niet wilt vertrouwen, en juist het soort dat er af en toe doorheen glipte. En wat het vervelend maakte: hoe je de AI ook bijschaafde, deze soort bleef ontsnappen. Je maakte de instructie preciezer, je gaf voorbeelden, en de volgende variant kwam er net weer langs. Op een gegeven moment merk je dat je aan het dweilen bent met de kraan open.
Stop met bijschaven, geef hem een regel
De omslag was niet nóg een betere instructie. Het was een botte, vaste regel ernaast. Op een paar harde, controleerbare signalen (een afzender die zich voordoet als intern terwijl de echtheidscontrole van de mail faalt, met een lokkertje erbij) gaat het bericht hard opzij. De AI mag er op dat punt niet meer over twijfelen. Geen afweging, geen uitzondering, geen "maar deze leek echt".
Het contra-intuïtieve zit hem erin dat de kracht van die regel is dat hij niet slim is. Een slimme beoordeling weegt af, en wat afweegt kan zich laten ompraten, juist door een bericht dat er moeite voor doet. Een botte regel op een hard signaal doet altijd hetzelfde, of het nu de eerste keer is of de honderdste, of de mail nu overtuigend is opgemaakt of niet. Voor de gevallen waar je geen twijfel wílt, is voorspelbaarheid meer waard dan intelligentie. Dat is de bredere les, en hij geldt buiten mail net zo goed: soms is het antwoord op "de AI mist dit af en toe" niet een slimmere AI, maar een domme regel die het niet kan missen.
De regel mag maar één kant op vergissen
Onder de motorkap · het bewijs dat op de volgende aanval wacht
Dat de regel de goede mails met rust laat, konden we meteen laten zien: een echte, ongevaarlijke mail met een deel van de kenmerken bleef gewoon in zijn oude bakje staan. Maar dat hij een echte aanval ook wél tegenhoudt, konden we op dat moment niet live tonen: de aanvalsmail die de aanleiding was, was al opgeruimd.
We hadden een nagespeelde aanval kunnen bouwen en een groene test kunnen laten zien. Dat hebben we bewust niet gedaan. Het eerlijke bewijs komt op de eerstvolgende échte poging, en tot die er is zeggen we dat gewoon. Een test die op de volgende aanval wacht is ongebruikelijk, maar hij liegt tenminste niet.
Nu is een vangnet dat mag ingrijpen ook een vangnet dat zich kan vergissen. Daar zit de eigenlijke vondst, en het is de reden dat we deze regel durfden te vertrouwen. Hij kan een mail namelijk maar één kant op duwen: opzij, naar de rommel. Hij kan een mail nooit als intern of als klant bestempelen. Van de veilige kant af, nooit ernaartoe.
Waarom dat het hele verschil maakt: een fout van deze regel kost je hooguit een mail die je even uit de rommelbak vist. De omgekeerde fout, een gevaarlijke mail die als vertrouwd binnenkomt, is precies wat je wilde voorkomen, en die kan de regel per definitie niet maken. Wie een instrument bouwt dat zich kan vergissen, laat het zich alleen naar de veilige kant vergissen. Daarom draait deze regel ook als laatste, nadat de AI zijn oordeel al heeft gegeven: hij mag dat oordeel alleen naar veiliger toe corrigeren, nooit een mail uit de rommelbak omhoog trekken.
Er hoort een eerlijke kanttekening bij, en die staat in het kader hiernaast: dat de regel de goede mails met rust laat, konden we meteen laten zien; dat hij een echte aanval ook wél vangt, wacht op de eerstvolgende poging.
Waarom dit meer is dan een spamfilter
Je kunt dit lezen als een betere spamregel, en dat is het ook. Maar de les zit een laag dieper, en het is er één over hoe je met een slim systeem omgaat dat af en toe faalt. De reflex is om het slímmer te maken: nog een voorbeeld in de instructie, nog een uitzondering. Soms is dat juist de verkeerde kant op. Voor een klein, scherp afgebakend soort fout, waar de kosten van missen hoog zijn en de kosten van een vals alarm laag, is een botte regel op een hard signaal betrouwbaarder dan de beste instructie. Niet omdat de AI niet deugt, maar omdat je voor die ene soort geen oordeel wilt, maar een garantie.
Ik vroeg Sander wanneer hij het bijschaven van de prompt opgeeft en een regel bouwt die niet kan twijfelen.
“Je blijft een prompt bijschaven zolang de fouten willekeurig zijn; dan is het model gewoon nog niet goed afgesteld. Het omslagpunt komt wanneer het fout blijft gaan op gevallen waar het antwoord eigenlijk niet ter discussie staat: het ligt objectief vast, maar de classifier zit er af en toe naast omdat hij per definitie een kansinschatting maakt. Op dat punt stop ik met bijschaven en bouw ik een regel die niet kan twijfelen. Voor zulke checks wil je een garantie, geen gemiddelde. En de kunst zit erin te weten welke beslissing zo'n vaste ondergrens verdient en welke een oordeel mag blijven: te veel vaste regels en je verliest de nuance, te weinig en je leunt op een gok waar je een zekerheid nodig had.”
Dit is een aflevering uit de reeks waarin we van binnenuit laten zien hoe ons AI-team groeit. Diezelfde dag legden we ook een regel voor onszelf vast, over hoe we met binnenkomende mail omgaan als die iets van ons vraagt. Daar komen we in een volgende aflevering op terug.
Meer nieuws in het nieuws overzicht terug naar vorige scherm