De mythe van schone data
Wie aan impact werkt, krijgt zelden een nette dataset. Meestal is het een stapel mails met bijlagen. Hoe we daarmee werken, en waarom we het niet mooier maken dan het is.
Voor goede doelen en stichtingen, vermogensfondsen en 1 meerVerbeteringVerantwoordingHoort bij
- Voor
- Goede doelen en stichtingen, Vermogensfondsen, Overheden
- Perspectief
- Verbetering, Verantwoording
- Fase
- Intelligence-operaties, Interpretatie & evaluatie
- Technologie
- LimeSurvey en Typeform, Dataplatformen
- Trefwoorden
- Online data-omgeving, Impactdashboard
Aan het begin van een opdracht vragen we wat er al is aan gegevens. Het antwoord is bijna nooit een database. Soms is het een map met spreadsheets en oude jaarverslagen, als het al een map is. Vaak is het een verzameling mails met allerlei bijlagen. En iemand die weet dat er ooit een enquête was. Waar die nu staat, weet niemand precies.
Vaak zijn de cijfers ook oud. Of ze gaan over de mensen die een vragenlijst invulden, en niet over wie dat niet deed. Soms staat hetzelfde getal al jaren in elk verslag, en weet niemand meer waar het vandaan kwam.
We zeggen dat niet om iemand iets te verwijten. Er is weinig tijd, en meten komt na het echte werk. Maar het blijft ook zo omdat het voor veel partijen goed uitkomt. Een verslag dat vorig jaar herhaalt, is snel af. Een gunstig cijfer kijkt niemand graag na. Een ontvanger schrijft in de rapportage voor een financier liever niet dat de subsidie minder opleverde. En een evaluatie van beleid leunt soms op cijfers van jaren terug, omdat er niets nieuwers is.
Een voorbeeld uit ons eigen werk. Hoeveel wegwerpflesjes kost het om één duurzame drinkfles te maken? Dat cijfer ging jarenlang mee, van presentatie naar website en verslag. Niemand rekende het opnieuw na. Dat gebeurde pas toen we samen met een partner een levenscyclusanalyse maakten. Die rekent de hele keten door, van grondstof tot afval.
We beginnen daarom niet met een nieuw systeem, maar met wat er ligt. We kijken wat bruikbaar is. Bij elk cijfer schrijven we op waar het vandaan komt en hoe zeker het is. Wat ontbreekt, laten we zien. Waar het kan, vragen we de mensen om wie het gaat zelf wat er voor hen veranderde. Dat zegt vaak meer dan nog een cijfer.
Bij The Green Village van de TU Delft ging het om twaalfenhalf jaar onderzoeksgegevens. Die stonden verspreid, in allerlei vormen. We hebben ze samengebracht in één omgeving, met de bron bij elk cijfer. De gaten staan er ook in.
Zo’n overzicht ziet er minder strak uit dan een dashboard waarop alles lijkt te kloppen. Een bestuur, een financier of een minister ziet ook wat nog onzeker is. Daar moet je aan wennen. Maar je verantwoordt dan wat er echt is, en je ziet waar je nog iets kunt leren.
