Is een antwoord van AI een bron?

Stel je een stichting voor die haar jaarrapportage voor de financier schrijft. De deadline is morgen. Iemand plakt de notities van het jaar in een AI-assistent. Ze vraagt om een alinea over het effect van het programma. Binnen een minuut staat er een nette tekst. Er staat ook een percentage in, over deelnemers die meer zelfvertrouwen hebben. Niemand weet waar dat getal vandaan komt.

Zo’n getal kan kloppen. Maar een taalmodel schrijft wat goed klinkt, en dat is niet altijd wat waar is. Het noemt dan geen bron, of een bron die niet bestaat. Omdat de tekst zeker klinkt, valt dat weinig op.

We vragen ons af of zo’n antwoord een bron is. Voor ons is een bron iets wat je kunt openen. Denk aan een verslag, een vragenlijst of een gesprek dat iemand heeft opgeschreven. Een bron werkt als een kassabon. Met een bon kun je terug naar de winkel. Een antwoord van AI is een bedrag zonder bon, het vat iets samen wat je zelf niet ziet. Toch begrijpen we goed waarom mensen het zo doen. Een rapportage moet af, en de tijd is kort.

We denken wel eens na over wat dit doet met het leren. Het bestuur van een financier wil weten wat ontvangers doen. Maar een rapportage is er niet alleen voor de financier. Deelnemers, bewoners, partners en de gemeente hebben er recht op of belang bij. Rapportages die met AI zijn geschreven, lezen misschien vlotter. Of ze al die lezers ook meer vertellen over wat er echt gebeurde, weten we niet.

We deden zelf eens een kleine proef. We vroegen verschillende AI-assistenten een paar keer naar de Nederlandse woningvoorraad. Ze gaven allemaal steeds een net iets ander getal. Zonder bron weet je niet welk getal je kunt gebruiken.

We zoeken zelf ook nog hoe het moet. Als we AI gebruiken, vragen we het model om bij elke uitspraak een letterlijk citaat uit de bron te geven. Daarna zoeken we dat citaat terug. Wat we niet terugvinden, laten we weg. Dat levert minder op dan we zouden willen, en het kost tijd. Het lost ook niet alles op. Wel zien we zo beter waar het bewijs dun is.

Hoe we zouden willen dat het was? Dat bij elk getal in een rapportage staat waar het vandaan komt. Of een mens de tekst schreef of AI, maakt dan weinig uit. En dat financiers, ontvangers, deelnemers en partners daar samen over praten, omdat ze allemaal willen leren wat werkt. We zijn er zelf ook nog niet. Toch weten we één ding zeker. Een rapportage die eerlijk zegt wat ze niet weet, is meer waard dan een vlotte tekst vol zekerheid.