Artificial intelligence (AI) speelt een steeds grotere rol in onze maatschappij en ontwikkelt zich razendsnel. Ook voor toezichthouders is AI van groeiend belang. Omdat hun ondertoezichtstaanden ermee werken, maar ook omdat zij er zélf hun toezicht mee kunnen aanscherpen. Tenminste, die kans ziet Frans Leeuw, emeritus hoogleraar Recht, Openbaar Bestuur en Sociaalwetenschappelijk Onderzoek. Hij zet uiteen hoe AI de capaciteit van toezichthouders vergroot, evaluaties verbetert en risicogericht toezicht versterkt.
Vorige week nog gaven Frans van Bruggen en Joep Beckers van de Nederlandse Zorgautoriteit op ToeZine.nl zes handvatten voor toezicht op AI. Hun focus lag op effectief toezicht wanneer ondertoezichtstaanden AI gebruiken. Ook Frans Leeuw onderkent hoe belangrijk dit is. “Zeker in bepaalde sectoren is AI sterk in opkomst. Dat moeten toezichthouders zien bij te benen. Daarnaast is het minstens zo belangrijk om naar de andere kant van de medaille te kijken: AI kan ook een hulpmiddel voor toezichthouders zelf zijn.”
De voorlopers
Hoe staat het gebruik van AI door toezichthouders er eigenlijk voor? Leeuw: “Er zijn mooie voorbeelden. De politie heeft bijvoorbeeld een forse afdeling die grote hoeveelheden data analyseert met hulp van AI om patronen te ontdekken om ondermijning beter aan te pakken. Ook de Inspectie Leefomgeving en Transport (ILT) is al aardig ver. De ILT zet AI in om databestanden te analyseren voor risicogericht toezicht. Bijvoorbeeld met hun ‘innovatie- en datalab’ – ID-lab, voor datagedreven toezicht. Ook verzamelt de ILT – net als de NVWA – met drones en satellieten al veel gegevens. Dit zijn mooie ontwikkelingen, maar de meeste andere partijen zijn nog niet zo ver. Jammer, want AI kan élke toezichthouder dienen.”
“De Inspectie Leefomgeving en Transport is al aardig ver. Zij zetten AI in om databestanden te analyseren voor risicogericht toezicht.”
Meer capaciteit
Leeuw ziet AI allereerst als middel om de capaciteit van toezichthouders te verhogen. “Zij hebben te maken met talloze prestatierapporten, interviews, enquêtes en andere correspondentie. In plaats van honderd inspecteurs kun je één zelflerend algoritme op alle data inclusief teksten in die documenten zetten en vervolgens bekijk je een kleiner deel met de hand. Kijk bijvoorbeeld naar het vele werk wat de Belastingdienst nu heeft rondom de toeslagenaffaire. Daar is nu een van de problemen dat er te veel informatie is om doorheen te spitten. Zet je er een zelflerend algoritme op, dan haal je er toch belangrijke zaken uit.”
Betere inpactvaluaties
Daarnaast kan AI toezichthouders helpen bij impactevaluaties: hoe succesvol zijn interventies? “Nu wordt dat vaak onderzocht aan de hand van enquêtes, invullers kunnen dan wenselijk gedrag vertonen. Daarom pleit ik voor theorie-gedreven evaluatie. Dan onderzoek je de mechanismen achter het gedrag dat ondertoezichtstaanden vertonen na een interventie. Naast enquêtes is big data een hulpmiddel om hierachter te komen. Daarnaast kun je door de hoeveelheid data ook makkelijker een evaluatie van de interventies van andere toezichthouders meenemen – veel ondertoezichtstaanden hebben toch vaak met meerdere toezichthouders te maken.”
“Ik pleit voor theorie-gedreven evaluatie. Dan onderzoek je wat er schuilt achter het gedrag dat ondertoezichtstaanden vertonen na een interventie.”
Een voorbeeld van hóe toezichthouders big data en AI kunnen inzetten voor impactevaluaties, zijn de ontwikkelingen rondom de quantified self (QS). “QS is de data die mensen verzamelen over hun eigen gezondheid en prestaties om van te leren – van de hoogte van hun hartslag tot aantal stappen per dag. Dit doen ze vaak al met een smartphone of smartwatch. Koppeling van dat soort QS-data aan medische gegevens is bruikbaar om effecten van behandelingen te meten. Bedrijven als Pacmed combineren al data over patiënten om artsen te ondersteunen bij beslissingen – zoals over de beste ligduur van een patiënt op de intensive care. Zo kan een arts op basis van vele gezondheidsfactoren in vergelijking met die van eerdere patiënten, de beste keuze maken over de persoon die nu voor hem ligt. De gegevens en QS- data die hiervoor worden gebruikt, zou de Inspectie Gezondheidszorg en Jeugd (IGJ) – geanonimiseerd – ook met hulp van AI in haar evaluaties kunnen meenemen. Zover is het nog niet, al denkt de IGJ nu al wel protocollen over e-health uit.”
Vroegtijdig problemen signaleren
Net als de ILT kunnen ook andere toezichthouders AI inzetten voor risicogericht toezicht. “Veel ondertoezichtstaanden werken met richtlijnen en beschrijvingen van processen en procedures. Dat vergroot de transparantie en voorspelbaarheid van hun handelingen. Maar in de praktijk wordt er vaak net iets anders gewerkt dan de richtlijnen aangeven. Die duizenden microhandelingen maken het functioneren van een organisatie minder voorspelbaar. Als je zelflerende algoritmen op rapportages over die handelingen loslaat, krijg je veel beter inzicht in wat er speelt in de uitvoering en vallen problemen eerder op. Als hulpmiddel voor toezichthouders bestaat er al een methode die automatisch problemen detecteert en is getest in vijftig levensechte situaties.”
Risisco’s van AI in beeld
Een nadeel van de menselijke intelligentie is dat die behept is met tientallen cognitieve vooroordelen. Toch is ook AI daar niet van gevrijwaard, vertelt Leeuw. Dus plaatst hij een waarschuwing bij het gebruik van deze technologie. “Toezichthouders moeten oog hebben voor de discriminatie die er bij zelflerende algoritmen in kunnen sluipen. Ook het risico van privacyschending ligt op de loer. De algoritmen van toezichthouders moeten daarom zelf ook transparant en controleerbaar zijn.”
“Toezichthouders moeten oog hebben voor de discriminaties die er bij zelflerende algoritmen in kunnen sluipen.”
Er zijn al methoden ontwikkeld om die betrouwbaarheid en impact van algoritmen te toetsen, vertelt Leeuw. Zo onderscheidt onderzoeker Price drie stappen om achter de bijdrage van het werken met algoritmen te komen [zie kader]. Leeuw: “Hij doet dat voor de wereld van recht en gezondheidszorg, maar dit is ook toepasbaar binnen andere toezichtsvelden. Overigens is het een goed idee dat toezichthouders met onderzoekers op dit gebied samen gaan werken. Dan hoeft niemand opnieuw het wiel uit te vinden. En kunnen zij samen natuurlijk wel steeds betere wielen uitdokteren.”
De drie stappen van Price
- Nagaan of er sprake is van hoge kwaliteit data om een algoritme goed te trainen
Alleen met data die data uit de echte wereld goed reflecteert, kan een algoritme echt goed leren voor het in de praktijk wordt ingezet. - De werking van het algoritme meten
Dit doe je door het algoritme met data te voeden die niet door het algoritme zelf is verzameld of geanalyseerd. - Het algoritme in de ‘echte’ wereld evalueren
Pas na stap 1 en 2 succesvol te doorlopen, gebruik je het algoritme in pilotprojecten in de praktijk. Dan blijf je het functioneren controleren, zodat je er bij een fout snel achterkomt en kunt bijsturen.
