Al decennia klinkt de roep om meer onderzoek naar de impact van toezicht. Maar het daarvoor benodigde effectonderzoek blijkt meestal moeilijk uit te voeren. Vaak ontbreken middelen en kennis, evenals de organisatorische wil. Met de ‘Wegwijzer Effectonderzoek bij toezicht’ hopen zes samenwerkende inspecties nu het tij te keren. Hun hoofdboodschap? Leg de lat niet te hoog en begin klein.
Effectonderzoek helpt aantonen of toezichtsinterventies écht impact hebben. En kan daarmee de toegevoegde waarde van toezicht laten zien. Dit type onderzoek stelt inspecties ook in staat om te leren: Het geeft inzicht in wat er nog ontbreekt qua toezicht en hoe het huidige toezicht effectiever in te zetten is. Door te leren van die resultaten, wordt toezicht beter.
Ultieme samenwerking
Met bovenstaande uitgangspunten ging de werkgroep effectonderzoek in 2022 van start. Het doel? Inspecties écht op weg helpen met effectonderzoek. Collega’s van de Inspectie Leefomgeving en Transport (ILT), de Nederlandse Voedsel- en Warenautoriteit (NVWA) en de Nederlandse Arbeidsinspectie gingen daarmee aan de slag. “Deze drie inspecties werken al langer samen, omdat ze zich bezighouden met veel dezelfde thema’s. Zo ook effectonderzoek”, vertelt Kees Huizinga. Hij is inspecteur-onderzoeker bij de ILT, al veel bezig met effectonderzoek daar een van de hoofdauteurs van de ‘Wegwijzer Effectonderzoek bij toezicht’ die in 2024 verscheen.
“We zagen al snel hoe dit thema leeft binnen veel meer inspecties.”
Al snel sloten ook Staatstoezicht op de Mijnen, de Inspectie van het Onderwijs en de Inspectie Gezondheidszorg en Jeugd aan bij de werkgroep. “Dat laat zien dat dit thema bij veel meer inspecties leeft”, stelt Huizinga. “Bij het opzetten van de wegwijzer vroegen we ons daarom ook af waar de inspecties het meest op zaten te wachten.”
Waarom een wegwijzer?
“Om inspecties écht iets te bieden, wilden we eerst best practices verzamelen. Maar we moesten flink sprokkelen om de twaalf voorbeelden te vinden die nu in de wegwijzer staan. Na intensieve gesprekken in de werkgroep concludeerden we dat we inspecties beter konden helpen door in kaart te brengen welke barrières een effectonderzoek nou zo moeilijk maken. We onderscheiden in de wegwijzer methodologische en organisatorische barrières en bespreken hoe je die het hoofd kunt bieden.”
Methodologische barrières
De werkgroep concludeerde dat de volgende barrières op het gebied van methodologie effectonderzoek binnen toezicht in de weg zitten:
- Causale verbanden tussen toezicht en maatschappelijk effect zijn vaak moeilijk te meten. Onder andere omdat toezichthouders maar één actor in de samenleving zijn.
- Maatschappelijke effecten als duurzaamheid en veiligheid zijn abstract en lastig te kwantificeren.
- Risicogericht toezicht legt de focus op risicovolle bedrijven, waardoor je steekproef niet representatief is.
- Vaak is een groep ondertoezichtstaanden te klein om statistisch betrouwbare uitspraken te doen.
- Er zijn verschillende interpretaties van wat een effect precies is, dat bemoeilijkt het meten en vergelijken.
“Deze barrières omzeil je door het onderzoek kleiner te maken of pragmatischer aan te pakken”, stelt Huizinga. “Bijvoorbeeld door te focussen op directe effecten van toezicht, zoals naleving of gedragsverandering. Die zijn vaak wél meetbaar. Probeer ook niet verbanden na te streven, maar plausibiliteit. Dan kijk je hoe aannemelijk het is dat een interventie aan het gewenste resultaat heeft bijgedragen. Ook wil ik een lans breken voor het kwalitatieve onderzoek in de vorm van interviews. Die kunnen bruikbare, rijke inzichten geven in de effecten van toezicht, al dan niet in aanvulling op kwantitatief onderzoek.”
Organisatorische barrières
Ook op organisatorisch vlak vond de werkgroep verschillende barrières die effectonderzoek binnen toezicht in de weg zitten:
- Managers richten zich liever op nieuwe projecten dan op terugkijken naar eerdere resultaten.
- Effectonderzoek kan teleurstellende uitkomsten opleveren, dat ontmoedigt veel managers om het te laten doen.
- Projectleiders en managers zien effectonderzoek vaak niet als prioriteit of onderdeel van hun kernactiviteiten.
- Er is vaak geen duidelijke eigenaar van effectonderzoek binnen organisaties.
- Er is vaak beperkt tijd en capaciteit om effectonderzoek uit te voeren.
- Managers verwachten vaak dat effectonderzoek maatschappelijke impact bewijst, terwijl dat moeilijk of vaak zelfs onmogelijk is.
- Personeelswisselingen of beleidswijzigingen kunnen onderzoek bemoeilijken of vertragen.
“Effectonderzoek moet je in de cultuur, structuur en processen van je organisatie zien te verankeren. Ook hiermee kun je relatief klein beginnen. Met een pilot of in een paar kleinere projecten. Ook kun je dan de mogelijkheden verkennen om hiervoor externen in te huren. Leg nadruk op wat wél te meten valt. Zaak is verder om effectonderzoek vanaf de start van projecten en programma’s in te zetten als onderdeel van de plan do act checkcyclus.”
“Effectonderzoek moet je in de cultuur, structuur en processen van je organisatie zien te verankeren.”
Met een flexibele opzet van je onderzoek kun je ook bijsturen als de omstandigheden veranderen. “Alles valt of staat overigens met managers die actief betrokken zijn en door de top aangemoedigd worden om effectonderzoek te steunen. Deze opsomming laat ook wel zien dat effectonderzoek nooit makkelijk is en dat je er flink wat hordes voor moet nemen.”
Huizinga is zelf bij de ILT ook aan de slag met de adviezen uit de wegwijzer. “Wij zijn bezig effectonderzoek steeds meer in te bedden. Door het steeds meer te doen, en hopelijk in de nabije toekomst ook door op te leiden. Bijvoorbeeld zoals de ACM dat al jaren doet. Daar start iedere nieuwe collega met een introductieweek waarbij één hele dag over effectonderzoek gaat. Zo’n cursus kan intern plaatsvinden, of misschien wel inspectiebreed als er meer inspecties geïnteresseerd zijn.”
Dit deden inspecties al
Naast de verschillende barrières en oplossingen hiervoor bespreekt de wegwijzer twaalf voorbeelden van effectonderzoek bij inspecties. Voorbeelden hiervan zijn:
- Plaagdierbestrijding bij ambachtelijke bakkers
De NVWA combineerde inspecties met informatiecampagnes om gedragsverandering bij ambachtelijke bakkers teweeg te brengen. Bestaande data, waaronder inspectieresultaten, lieten zien dat bakkers na de inspecties meer aandacht hadden voor hygiëne en ongediertebestrijding. - Minder zwavel in scheepsbrandstof
De ILT hield met inspecties en steekproeven extra toezicht op de zwaveluitstoot door schepen. Het effectonderzoek bestond vervolgens uit het systematisch monsteren van scheepsbrandstof, interviews met bemanningsleden en controle van documentatie. Daaruit bleek dat de strenge handhaving succesvol was en tot een sterke daling van overtredingspercentage leidde van een geschatte 10 procent naar nog maar 1 à 2 procent. - Betere veiligheidscultuur bij bedrijven
Door interviews en observaties legde SODM gedragsveranderingen rondom veiligheidsvoorschriften vast bij medewerkers en management van bedrijven waar zij toezicht op houden – welke sectoren laat de wegwijzer in het midden. Het onderzoek liet zien dat structurele betrokkenheid van toezichthouders bijdraagt aan een cultuur van naleving en risicobewustzijn. Het benadrukte het belang van langdurige samenwerking voor blijvende gedragsverandering.
Onderzoek met impact
Binnen de ILT werkt Huizinga met zes collega’s uit verschillende delen van de organisatie samen om effectonderzoek beter te laten landen. “Wij adviseren afdelingen over hun effectonderzoek of moedigen ze aan om effectonderzoek in te zetten bij een specifiek project. We doen dat nog kleinschalig: dit jaar gaan we voor minstens vijf projecten. Zo willen we klein maar krachtig beginnen.”
“Elk effectonderzoek maakt verschil.”
Wel benadrukt hij: “Elk effectonderzoek maakt al verschil, zeker wanneer effectonderzoek nog nauwelijks wordt toegepast. Als je het maar slim inzet, dan kan je bijvoorbeeld ook met al beschikbare data aantonen hoe je als toezichthouder impact hebt. Mooi voorbeeld daarvan is het onderzoek dat we nu zijn gestart bij de ILT-afdeling die omgevingsdiensten adviseert over omgevingsvergunningen van grote bedrijven. Zoals bedrijven die afval verwerken of met giftige stoffen werken. Dankzij onderbouwd advies (en eventueel beroep) van de ILT over die vergunningen, gaan omgevingsdiensten deze aanscherpen. Dit betekent een verminderde uitstoot van verontreinigende emissies en dat heeft meteen positief effect op onze leefomgeving. De uitdaging is in dit geval om dat effect met de al beschikbare data nog preciezer in kaart te brengen en voor een breder publiek toegankelijk op te schrijven. Dan maak je je impact ook zichtbaar.”
Huizinga sluit af: “Gemakkelijk zal effectonderzoek nooit worden. Juist daarom is de samenwerking tussen inspecties van belang: om best practices, problemen en successen te delen.”
Wegwijzer Effectonderzoek bij toezicht
De ‘Wegwijzer Effectonderzoek bij toezicht‘ vind je op het Netwerk Publiek Toezicht. Later zal ook een compactere versie volgen. De werkgroep staat open voor nieuwe leden, het doel is dit jaar een aantal klankbordsessies te organiseren en elkaars effectonderzoek te versterken. Interesse? Mail naar Kees Huizinga (kees.huizinga@ilent.nl) of Laurie Jansen (l.jansen@nvwa.nl), medeauteur van de wegwijzer.
