Toezicht houden op de algoritmen van marktpartijen. Het klinkt nog als toekomstmuziek, maar binnen een paar jaar is het de normaalste zaak van de wereld. Universiteit Utrecht (platform Utrecht Data School), de Nederlandse Voedsel- en Warenautoriteit (NVWA) en Rijksinspectie Digitale Infrastructuur ontwikkelen samen een toezichtinstrument: ‘Functioneringsgesprek voor AI’.
Hoe zou je het liefst toezicht houden op algoritmen van ondertoezichtstaanden? Projectleider Iris Muis van Utrecht Data School vroeg het de NVWA en de Rijksinspectie Digitale Infrastructuur bij de start van hun samenwerking in het AI Lab van de Universiteit Utrecht (UU). De toezichthouders waren eensgezind: als het aan ons ligt, laten we twee instanties controleren. Een laboratorium checkt de code en de robuustheid en accuraatheid van het algoritme en een onafhankelijke auditor checkt de governance eromheen. De toezichthouder checkt de twee rapporten die de checks opleveren.
Hoe kun je digitale middelen vormgeven en inzetten in de samenleving? De Universiteit Utrecht (UU) onderzoekt het in AI Labs, samen met maatschappelijke partijen en bedrijven. In deze labs worden kennis, tools en oplossingen ontwikkeld. Het toezichtinstrument ‘Functioneringsgesprek met AI’ is een product van de Nederlandse Voedsel- en Warenautoriteit, Rijksinspectie Digitale Infrastructuur, I-Partnerschap Rijk en Utrecht Data School (UDS). UDS ontwikkelde eerder al De Ethische Data Assistent en het Impact Assessment Mensenrechten en Algoritmes.
Tijdelijk overbruggen
“De labs zijn er wel, denk bijvoorbeeld aan TNO”, zegt Muis. “Die doen al checks van algoritmes, zoals het fraude-algoritme van de gemeente Nissewaard, maar ze doen het nog niet heel vaak. En ook die onafhankelijke auditors zijn er, maar zij wagen zich nog niet aan AI. Ze vinden het een te lastig onderwerp. Er zijn namelijk nog geen harde normen voor. Zelfs een breed gedragen definitie van AI ontbreekt nog. Als die harde normen er zijn, gaan deze auditbureaus wel overstag. De aankomende Europese wetgeving Artificial Intelligence Act is bijvoorbeeld een belangrijke stap. Maar in de tussentijd hebben toezichthouders wel een instrument nodig om hun werk te kunnen doen. Dat ontwikkelen we nu in het AI Lab van de UU.”
“Zelfs een breed gedragen definitie van AI ontbreekt nog.”
Keten in beeld
‘Functioneringsgesprek voor AI’, zo heet het instrument waaraan het consortium werkt. De NVWA en Rijksinspectie Digitale Infrastructuur – toen nog Agentschap Telecom – kwamen zelf met de naam. Iris Muis legt uit: “Wat als we met een AI een soort functioneringsgesprek konden voeren?, vroegen zij zich af. Daarbij moet het gaan over de code, de keuzes van marktpartijen, of ze nog achter deze keuzes staan en hoe ze AI borgen in de organisatie – de governance dus. Ze willen het functioneringsgesprek inzetten bij marktpartijen die zelf een algoritme hebben gebouwd of dat hebben laten doen door een leverancier. Nadeel is wel dat als zo’n leverancier niet in Europa zit, het lastig kan zijn om de keten in beeld te krijgen. Maar ook dan kan het instrument inzicht geven in de keuzes van de marktpartij en de governance.”
“Als organisaties de fout ingaan, komt het doordat niemand het overzicht heeft.”
De partners in het AI Lab zien graag dat marktpartijen het functioneringsgesprek voor AI op eigen initiatief gaan gebruiken, dus inzetten in hun eigen organisatie. “Dat ze een rapport aanleveren bij hun toezichthouder waarin ze ingaan op incidenten door algoritmen, hoe ze daarmee zijn omgegaan, wat hun AI-beleid is, of dat voldoet aan de criteria en of mensen getraind zijn en hoe precies”, zegt Muis.
Moreel kompas
Techniek en ethiek, daar draait het volgens Muis om bij AI. “AI kan technisch perfect zijn, maar toch verkeerd ingezet worden. Een extreem voorbeeld is de Toeslagenaffaire. Vaak hebben mensen wel een onderbuikgevoel van wat moreel juist is. Als organisaties de fout ingaan, komt het doordat niemand het overzicht heeft. Daarom is het zo belangrijk dat marktpartijen hun keuzes kunnen onderbouwen en dat de verantwoordelijkheid voor AI in een organisatie nooit bij één of een handjevol personen ligt. AI hoort van de hele organisatie te zijn.”
“AI hoort bij álle toezichthouders thuis.”
Terug naar de keten. Hoe staat Muis tegenover het afdwingen van een transparante keten, bijvoorbeeld door samenwerking met partijen buiten Europa te verbieden? Geen goed idee, vindt ze. “Ook buiten Europa worden waardevolle algoritmen gemaakt. Neem een algoritme voor dierenwelzijn, waar we in ons onderzoek op stuitten. Met het algoritme controleren pluimveestallen met cameratoezicht vleugelafwijkingen bij vogels. Zo’n vogel beweegt op een bepaalde manier. Merkt het algoritme dat op, dan krijgt het bedrijf een seintje. Dat is echt een mooie ontwikkeling voor dierenwelzijn.”
Géén algoritmetoezichthouder
Het ‘Functioneringsgesprek voor AI’ moet breed inzetbaar worden. “Dat is nu de uitdaging: een instrument ontwikkelen dat specifiek genoeg is voor de praktijk van de NVWA en Rijksinspectie Digitale Infrastructuur én tegelijk abstract genoeg is, zodat beide er wat mee kunnen. Dat kan bijvoorbeeld door met modules te werken. Is een module niet relevant voor een toezichthouder, dan kan hij die overslaan. Brede formuleringen helpen ook, dan kunnen toezichthouders hun antwoord toespitsen op hun eigen domein.”
“Het zou mooi zijn als marktpartijen het functioneringsgesprek voor AI zelf gaan inzetten.”
“Bij UDS zijn we tegen een aparte algoritmetoezichthouder die los van de bestaande toezichthouders opereert. We pleiten voor meer samenwerking”, zegt Muis. “AI hoort bij álle toezichthouders thuis. Bij het toezicht kun je niet zonder die domeinkennis. Maar als kennis het domein overstijgt, is samenwerking wel belangrijk. Het delen van kennis en lessen over algoritmen kan ook in een andere vorm dan een autoriteit of toezichthouder. Een werkgroep voldoet bijvoorbeeld ook.”
Testen met marktpartijen
De komende weken krijgt het ‘Functioneringsgesprek voor AI’ verder vorm. UDS startte in januari 2023 met het bouwen van een prototype van de online tool. Daarna volgt de testfase met marktpartijen. Muis: “Die gaan we nu benaderen. Voor het consortium is dit de leukste fase van het proces. Eind 2023 willen we het onderzoeksrapport opleveren. Dat gaan we natuurlijk delen met toezichthouders. We komen het graag presenteren.”
Algoritmen in toezicht
Algoritmen worden voor toezichthouders steeds belangrijker, maar vaak is het onderwerp ook nog een beetje vaag of ver van het bed. ToeZine wijdt er daarom een reeks aan. We beschrijven vanuit verschillende invalshoeken de rol van algoritmen in toezicht. Eerder vertelde Rijksinspectie Digitale Infrastructuur hoe zij omgaan met de steeds grotere rol van Artificial Intelligence (AI). En gaf de NZa zes handvatten voor het toezicht op AI en algoritmen bij bestaande toezichthouders.
