Hoe voorkom je als overheidsorganisatie dat je discrimineert via je algoritme? Lucas Haitsma van de Rijksuniversiteit Groningen doet er onderzoek naar. “Het is de mens die discrimineert, niet het algoritme of systeem.”
‘Burgers vermalen door fraudebeleid’ (NOS), ‘Overheid is blind geweest voor rechten mens, levens vermorzeld’ (RTL Nieuws). De parlementaire enquêtecommissie Fraudebeleid en Dienstverlening nam het fraudebeleid van de overheid van afgelopen decennia onder de loep en benadrukt opnieuw dat het anders moet. Maar de kans dat de overheid opnieuw discrimineert is groot, weet promovendus Lucas Haitsma van de Rijksuniversiteit Groningen. Hij onderzoekt algoritmische discriminatie (zie kader) bij overheidsorganisaties.
Algoritmische discriminatie
Hiervan is sprake wanneer algoritmes als tool worden gebruikt bij het nemen van oneerlijke, nadelige beslissingen tegen bepaalde groepen mensen. Het algoritme baseert zich dan op kenmerken zoals nationaliteit, geslacht en postcode. Algoritmische discriminatie komt voort uit, onder andere, vooringenomen trainingsdata, discriminerende risico-indicatoren en selectiepraktijken, versterkende feedbackloops en een gebrek aan monitoring, evaluatie en transparantie.
Na de toeslagenaffaire verwachtte Haitsma dat algoritmische discriminatie hoog op de agenda van overheidsorganisatie zou komen te staan. “Maar al in maart 2023 bleek het tegendeel. Toen verschenen er rapporten over hoe de gemeente Rotterdam bij het opsporen van bijstandsfraude een algoritme gebruikte dat selecteerde op etniciteit en geslacht. En in de zomer van 2023 kwam naar buiten dat studenten met een migratieachtergrond opvallend vaak van fraude werden beschuldigd door DUO.”
Behoefte aan bewustwording
Het is vaak geen onwil, benadrukt Haitsma, maar gebrek aan kennis. “Organisaties vinden algoritmes complex, waardoor de bouw ervan te vaak een taak van een klein clubje blijft. Maar het is de mens die discrimineert, niet een algoritme of systeem. Voor het verantwoord ontwikkelen en inzetten van algoritmes moet je daarom mensen met diverse achtergronden en diverse blikken meenemen.”
“Het tegengaan van discriminatie begint met bewustwording dat de mens vooringenomen is.”
Het tegengaan van discriminatie begint met bewustwording dat de mens vooringenomen is, benadrukt Haitsma. En dat het risico bestaat dat die vooroordelen doorsijpelen in een algoritme. “Organisaties denken bij algoritmes aan heel complexe systemen, maar het gaat ook op voor simpele systemen zoals Excel-filtersystemen. Daarom is die diverse groep medewerkers ook zo belangrijk, omdat die voorkomt dat vooringenomenheid de selectiecriteria bepaalt.”
“Als professional moet je de betrouwbaarheid van technologie altijd in twijfel kunnen trekken.”
Verschillende instrumenten kunnen helpen bij het bepalen van die selectiecriteria, stelt Haitsma. “De Algorithmic Impact Assessment, De Ethische Data Assistent en het Mensenrechtelijke Toetsingskader voor Risicoprofielen. De wet is niet altijd heel duidelijk over wat mag, deze instrumenten helpen om toch keuzes te kunnen maken. Ze zorgen ervoor dat je breed in de organisatie gesprekken gaat voeren en de risico’s in kaart kunt brengen.”
Interactie met machine
Bij de inzet van technologie moet de mens in de loop blijven, benadrukt Haitsma. “De wet eist dat van organisaties. Dat betekent dat je er kennis van moet hebben en die kennis ook moet kunnen toepassen. De interactie tussen mens en machine verdient veel meer aandacht. Hoe ga je bijvoorbeeld om met de namenlijst die uit het systeem rolt? Beschouw je al die mensen automatisch als fraudeur? Als professional moet je de betrouwbaarheid van technologie altijd in twijfel kunnen trekken.”
Evalueren en bijsturen
Een doorlopende feedbackcyclus helpt om eventuele discriminatie op te sporen. “Hierin moeten signalen van medewerkers en burgers die mogelijk geraakt worden een grotere rol krijgen”, vindt Haitsma. “Bij DUO en de toeslagenaffaire waren er wel klachten, maar die zijn niet grondig opgepakt. En dat is ook moeilijk als onderbouwing van je selectiecriteria en werkprocessen ontbreekt.”
“Organisaties willen vaak zelf het wiel uitvinden.”
Als je de kennis zelf niet in huis hebt, betrek dan externe partijen erbij, stelt Haitsma. “Andere (uitvoerings)instanties, wetenschappers, civil society – red. verbanden van burgers en organisaties, anders dan overheid en bedrijfsleven – en ook mensen die mogelijk geraakt zijn. En het spreekt vanzelf dat je een fout zo snel mogelijk oplost. Als overheid ben je er verantwoordelijk voor dat mensen niet als mogelijke fraudeur in allerlei systemen blijven staan.”
Openheid
Aan die openheid ontbreekt het nog, vindt Haitsma. “Bij de gesprekken die ik voer om onderzoek te kunnen doen, hoor ik dat organisaties eerst zelf het wiel willen uitvinden. Ze zijn bang voor slechte pers. En dat snap ik. Maar juist daarom is het ook zo belangrijk om een onderzoeker in te schakelen als je een systeem ontwikkelt.”
Gelukkig zijn er organisaties die algoritmische discriminatie hoog op de agenda hebben staan. “De Sociale Verzekeringsbank richtte een Ethics Research Center op en de gemeente Groningen heeft een ethische commissie voor data en technologie die gevraagd en ongevraagd advies geeft”, zegt Haitsma. “DUO vind ik een goed voorbeeld van hoe je kunt omgaan met een fout. Zij deden intern onderzoek naar algoritmische discriminatie, buigen zich over mogelijk beleid en hebben dus een Raad van Reflectie met externe professionals, zoals ik. En ze gingen in gesprek met mogelijk gedupeerde studenten en groepen studenten. Dat deden ze nog voordat bewezen was dat ze discrimineerden met hun systeem.”
“Begin gewoon door in gesprek te gaan.”
De eerste stap volgens Haitsma? “Begin gewoon door in gesprek te gaan. Binnen je eigen organisatie en ook met anderen die er al mee bezig zijn. Vraag wat zij doen en of je een keer langs mag komen. Ook de Autoriteit Persoonsgegevens heeft aangegeven graag mee te kijken, maar daar lijken veel organisaties toch huiverig voor. Je kunt ook deelnemen aan een van de werkgroepen over algoritmes van het ministerie van Binnenlandse Zaken. Dat is wat laagdrempeliger.”
Onafhankelijk onderzoek
Haitsma zoekt nog werkvloeren om onderzoek te doen. “Algoritmische discriminatie is complex en ontastbaar”, benadrukt hij. “Om daar meer grip op te krijgen, is meer onderzoek nodig. Een onafhankelijke blik van buiten met gespecialiseerde kennis helpt om de gevolgen van je beleid en keuzes in kaart te brengen.”
Betekent dit het begin van het einde van risicogestuurd toezicht? Zover hoeft het niet te komen, vindt Haitsma. “Zolang je het maar verantwoord inzet. Kun je dat niet? Dan moet je je afvragen waar dat aan ligt en daarmee aan de slag gaan.”
