Toezine

Wekelijkse verdieping voor professionals in toezicht, handhaving en inspectie

Bezig met laden...
Effectmeting; saai, en nog duur ook

Data bundelen, verzamelen en verbinden
Foto: Flip Franssen / Hollandse Hoogte

Effectmeting; saai, en nog duur ook

Effectmetingen zijn op het eerste oog niet al te sexy. En evaluaties van interventies staan ook nog eens te boek als ingewikkeld en duur. Hoe brengen toezichthouders het belang van ‘meten is weten’ aan de man? De NVWA en AFM delen ervaringen.

“Effectmetingen zijn een weerbarstig onderwerp”, zegt Wilte Zijlstra van de Autoriteit Financiële Markten (AFM). “Het belang ervan wordt wel ingezien. Maar het is soms best lastig om ze uit te voeren. Een effect van ons toezicht is ook niet altijd zwart-wit te kwalificeren. Kakkerlakken in de keuken zijn altijd slecht, maar een omstreden financieel product kan voor sommige groepen consumenten prima diensten bewijzen.” Daarnaast doen zich praktische vragen voor: hoe kan effectmeting een integraal onderdeel van een project worden, hoe wordt erop gestuurd, hoe komen er voldoende resources beschikbaar?

Binnen de AFM is sinds drie jaar de interne kennisgroep effectmeting actief, vertelt Zijlstra. “De kennisgroep stimuleert onze toezichthouders om zich bewust te zijn van het belang van effectmetingen. Daarnaast willen we metingen faciliteren. En zorgen dat het denken over effecten van toezicht wordt geïntegreerd in het dagelijkse werk.”

Kiezen voor het meest effectieve instrument

“Het helpt om de kennis over data-analyse in huis te hebben”, zegt Wendy Verdonk van de Nederlandse Voedsel- en Warenautoriteit (NVWA), waar een netwerk van data-analisten wordt ingesteld, onder meer om evaluaties en effectmetingen te integreren in de organisatie. “We leggen daarbij verbinding tussen expertisegebieden: de beschikbare data en tools, methodologie, en de inhoud van de toezichttaken. Vanuit die drie perspectieven wordt gekeken naar bijvoorbeeld de formulering van onderzoeksvragen, de relevante indicatoren voor het meten van effecten, en de mogelijkheden om (semi)automatisch te analyseren. Als we vervolgens de resultaten delen, kunnen we het instrumentenpalet van de NVWA vergroten en het mogelijk maken om voor iedere situatie het meest effectieve instrument te kiezen.”

Behapbaar onderzoek als maatstaf

Volgens Zijlstra leidt het thema effectmeting nogal eens tot koudwatervrees: de angst dat er zeer uitgebreid onderzoek nodig is om effecten te kunnen vaststellen. “Natuurlijk zijn double blind randomized controlled trials de heilige graal, omdat die het causale verband kunnen aantonen tussen toezicht en regelnaleving. Maar dat soort onderzoek is in de dagelijkse praktijk vaak niet haalbaar – we zijn nu eenmaal geen laboratorium. Omdat we effectmetingen behapbaar willen houden, hebben we de vraag naar causaliteit even geparkeerd. We zijn – heel pragmatisch – begonnen met een anekdotische beschrijving van toezichteffecten: door een verhaal te vertellen over de effecten die we signaleren na bepaalde projecten.”

Zijlstra geeft het voorbeeld van flitskredieten, kortlopende leningen die klanten jaarlijks zouden opzadelen met tientallen procenten rente. “Door ons toezicht, met soms formele maatregelen, zijn na nieuwe wetgeving veel aanbieders van de markt verdwenen. En er zijn steeds minder consumenten die dit soort kredieten hebben. Dan is het zeer aannemelijk dat dit komt door onze interventie.”

Ook de NVWA kiest niet altijd voor een stringente onderzoeksopzet die causale verbanden blootlegt tussen de toezichtactiviteiten en regelnaleving , zegt Verdonk. “Een uitgebreide effectmeting doen we alleen als er sprake is van een zeer groot publiek belang, zoals bij het toezicht op de vleesketen. Daarnaast zijn we nieuwsgierig naar de effecten van nieuwe instrumenten, zodat we zo nodig nog kunnen bijschaven. In andere gevallen kan een evaluatie van het project al genoeg zijn. Dan weet je in ieder geval wat je hebt gedaan.”

Het prijskaartje van evaluaties

“Of effectmetingen duur zijn, is afhankelijk van je ambitieniveau”, zegt Zijlstra. “En je kunt je afvragen of je effectmetingen als toezichthouder eigenlijk wel kunt overslaan. Het is toch een vorm van verantwoording aan de samenleving: over waar je mee bezig bent en waarom dat nuttig is. Dat kost geld, maar dat geldt voor een jaarverslag ook. En het hoeft niet per se met spreadsheets en modellen.”

Verdonk bevestigt dat het prijskaartje van een effectmeting afhankelijk is van het type onderzoek. “Soms is extern onderzoek noodzakelijk, omdat de data niet direct voorhanden zijn. Bijvoorbeeld als we willen weten hoe consumenten reageren op het openbaar maken van inspectiegegevens. Maar als een evaluatie kan worden uitgevoerd door een data-analist of projectleider met bestaande gegevens, dan gaat het misschien meer om een aanpassing van de taken van het bestaande personeel dan om inhuur van extra mankracht.”

Goede voorbeelden ter inspiratie

Ondanks de politieke en maatschappelijke vraag naar inzichten in de effectiviteit van toezichthouders, liggen de goede voorbeelden van effectevaluaties nog niet voor het oprapen. Of wel? Verdonk noemt het NVWA-onderzoek naar regelnaleving door shoarmabedrijven. De naleving lag al jarenlang rond de zestig procent. Met behulp van een doelgroeponderzoek via inspecteurs is een nieuwe toezichtmethodiek ontwikkeld, die bestaat uit een mix van nieuwe instrumenten. “Op een kleine groep shoarmabedrijven hebben we een vernieuwde interventie toegepast, bij een tweede groep zijn de normale inspecties uitgevoerd, en bij een derde groep heeft geen enkele inspectie plaatsgevonden. Het jaar er na hebben we overal inspecties uitgevoerd, die als nameting golden. Uit de analyse bleek dat de nieuwe methodiek positieve meetbare resultaten opleverde. Nu implementeren we de methodiek, waarbij we via een veldexperiment nader onderzoeken welke elementen uit de interventiemix nu echt nodig zijn.”

Ook Zijlstra kan moeiteloos een best practice noemen. De AFM toetst sinds 2010 jaarlijks bij de tien grootste banken en verzekeraars in hoeverre zij het belang van de klant centraal stellen bij bijvoorbeeld hun spaarbeleid en hypotheekadvies. Dit gebeurt door middel van het Klantbelang centraal Dashboard, waarin de ondernemingen de eigen score en gemiddelde cijfers te zien krijgen. “Dat is eigenlijk een soort effectmeting én een vorm van benchmarking. Het mooie is dat het klantbelang gestaag gestegen is. Alle onderzochte bedrijven willen beter gaan scoren. Dat laat zien dat een interventie en effectmeting heel goed verstrengeld kunnen zijn. En de publicatie van de onderzoeksuitkomsten bewijst ook nog eens dat peer pressure in dit geval heel goed werkt. En dat terwijl we de individuele scores niet eens openbaar maken.”

Interne effectprijs als stimulans

Zijlstra noemt tot slot de interne effectprijs die de kennisgroep effectmeting jaarlijks uitreikt aan AFM-projectleiders als een succes. “Collega’s worden opgeroepen om te vertellen over een bewezen effectief project. De drie genomineerden pitchen hun verhaal aan de hele organisatie, en de Raad van Toezicht kiest de winnaar. Het is niet alleen een manier om projecten te laten zien waarop toezichthouders trots zijn. We kunnen er ook van leren, zowel over de effecten van een interventie als over de uitvoering van een effectmeting.”

(Mee)roken: de evaluatie van toezichtinstrumenten

Wendy Verdonk promoveerde in 2014 aan de Universiteit Maastricht op een onderzoek naar de naleving en de effecten van wettelijke maatregelen tegen (mee)roken. Het proefschrift signaleert een toenemende belangstelling voor effectevaluaties bij toezichthouders.

In tijden van bezuinigingen beseffen steeds meer organisaties dat maatschappelijke en politieke verantwoording nodig is voor het uitgevoerde toezicht en de bereikte resultaten. En dat er strategische keuzes nodig zijn om de beperkte capaciteit effectief en efficiënt in te zetten. Evaluaties van het instrumentarium zijn dan een must. Maar er is nog te weinig structurele inbedding van evaluatie van toezicht in het primaire proces van toezichthouders, constateert Verdonk. Dat komt bijvoorbeeld omdat het lastig blijkt om geld en capaciteit vrij te maken voor evaluaties, en omdat de methodologie van effectmetingen ingewikkeld kan zijn. Uit het onderzoek van Verdonk blijkt in ieder geval dat het toezicht op naleving van de Tabakswet effect heeft gesorteerd. Zo biedt 96 procent van de werkgevers een rookvrije werkplek sinds invoering van de wettelijke verplichting daartoe.

Download het proefschrift