Inspectierapporten. Ze bevatten vaak klinkende uitkomsten en klemmende aanbevelingen. Maar leiden ze ook tot daadwerkelijke veranderingen? De Algemene Rekenkamer onderzocht deze belangrijke vraag bij de Inspectie Justitie en Veiligheid. En concludeerde dat de onderzochte rapporten weinig effect hadden. Onderzoeker en data-analist Jooske de Sonnaville pleit – op persoonlijke titel – voor meer onderzoek naar de impact van inspectierapporten.
Doen de minister van Justitie en Veiligheid en uitvoeringsorganisaties iets met de rapporten van de Inspectie Justitie en Veiligheid? Verandert er dan ook concreet iets bij uitvoeringsorganisaties en levert dat een tastbaar maatschappelijk effect op? En als het antwoord nee is, waardoor komt dat dan? Dat was de vraagstelling van het onderzoek Kijk op Inspectierapporten van de Algemene Rekenkamer.
De Rekenkamer analyseerde drie rapportages van de Inspectie Justitie en Veiligheid. Ze koos voor verschillende terreinen van het justitiële werk: een rapportage uit 2018 over de uitvoering van taken in zes locaties binnen het gevangeniswezen. Eén uit 2017 over de samenwerking tussen de stichting Halt en politie en één uit 2016 over de verlening van wapenvergunningen aan burgers door de politie. “Doordat het wat oudere inspectierapporten zijn die geen incident als aanleiding hadden, konden we het effect op de uitvoering beter vaststellen”, vertelt Jooske de Sonnaville. “Steeds was de insteek om eerst te kijken of een inspectierapport leidde tot impact op de uitvoering. Ofwel gaan Politie, Halt en het Gevangeniswezen hun werk beter doen naar aanleiding van een rapport? Daarna onderzochten we of de samenleving daar ook beter van wordt.”
Zoektocht naar impact
Wetenschappelijk onderzoek doen naar maatschappelijke meerwaarde. In eerste instantie was De Sonnaville sceptisch. “Als data-analist probeer je causale verbanden aan te tonen. Dus B is het gevolg van A. Maar er zijn zoveel invloeden dat de maatschappelijke impact van inspectierapporten vaak lastig te bewijzen is. Desondanks realiseerde ik me hoe belangrijk het is om die impact wél te onderzoeken. Je kunt het op zijn minst proberen. Sterker nog, dat ben je verplicht aan de belastingbetaler. Onderzoek naar de maatschappelijke impact van inspectierapporten was nog niet eerder gedaan.”
“Er spelen zo veel invloeden dat de maatschappelijke impact van inspecties vaak lastig te bewijzen is.”
Het onderzoeksteam deed veel analyses, blikt De Sonnaville terug. “Steeds weer keken we of we causale verbanden konden leggen. Je kunt bijvoorbeeld over een bepaalde tijd incidenten met vergunde wapens in beeld brengen. Je hoopt dat dit aantal afneemt, zeker na een kritisch rapport. Maar als dat aantal gelijk blijft hoeft dat niet te betekenen dat het inspectierapport niet effectief was. Er spelen meer invloeden, zoals maatschappelijke ontwikkelingen of de financiële middelen die het ministerie van Justitie en Veiligheid beschikbaar stelt.”
“Het is interessant om een vergelijkbaar onderzoek te doen bij inspectierapporten waarvan veel aanbevelingen wél zijn opgepakt door beleidsuitvoerders.”
Wat de onderzoekers daarnaast zagen, is dat veel aanbevelingen van de Inspectie niet werden opgepakt. De Sonnaville: “Dat maakt de kans op maatschappelijke impact van het rapport wel erg klein natuurlijk en die hebben we als Algemene Rekenkamer dan ook niet kunnen vaststellen. Ik wil inspecties graag meegeven dat ze hier ook zelf meer over nadenken: hoe kan ik als Inspectie mijn toegevoegde waarde bewijzen?”
De bevindingen uit ‘Kijk op Inspectierapporten’:
- Het maatschappelijk effect van de rapporten van de Inspectie Justitie en Veiligheid was zeer beperkt.
- Veel problemen die de Inspectie signaleerde in de drie rapporten, waren al bekend bij de minister van Justitie en Veiligheid en de uitvoeringsorganisaties. Als problemen in het inspectierapport waren opgelost, dan kwam dit veelal doordat er vóór het verschijnen van het rapport al maatregelen waren genomen.
- De problemen die de Inspectie constateerde, spelen vaak nog steeds. Een beperkt deel van de aanbevelingen werd opgevolgd, slechts één keer kreeg een probleem meer urgentie dankzij een rapport. Eén aanbeveling in een inspectierapport werd door de uitvoeringsorganisatie nog opgepakt tijdens het inspectieonderzoek.
- Uitvoeringsorganisaties stellen dat inspectierapporten wel helpen om met objectieve cijfers inzichtelijk te maken waar in uitvoering van hun taken zich problemen voordoen, zoals personeelstekort.
Verder sparren
De Sonnaville hoopt dat onderzoekers en inspecties verder gaan met impactonderzoek. “Dat professionals met verschillende achtergronden met elkaar om tafel gaan en beleidsinhoudelijk en methodisch verder sparren. Het zou ook interessant zijn om een vergelijkbaar onderzoek te doen bij inspectierapporten waarvan veel aanbevelingen wél zijn opgepakt door beleidsuitvoerders. Dan kan je nagaan of er in die gevallen wel de beoogde maatschappelijke impact is bereikt.”
Invloed ministerie
Het NRC bracht begin dit jaar het nieuws dat ambtenaren van het ministerie van Justitie en Veiligheid het kritische inspectierapport over het verlenen van wapenvergunningen hadden tegengehouden. Hierdoor zouden de minister en Tweede Kamer niet goed op de hoogte zijn van de (capaciteits)problemen bij politieafdelingen die de vergunningen afgeven. In reactie op Kamervragen zei de minister dat de Inspectie het onderzoek na wederhoor zelf had ingetrokken, omdat de focus van het onderzoek te veel op capaciteit was komen te liggen. De Inspectie besloot – eveneens op eigen initiatief – verdiepend onderzoek te doen naar de kwaliteit van de taakuitvoering van de politie. Het rapport is eerder dit jaar gepubliceerd.
