Algoritmes getoetst
De inzet van 9 algoritmes bij de overheid
Een verantwoorde inzet van algoritmes door uitvoeringsorganisaties van de rijksoverheid is mogelijk, maar in de praktijk niet altijd het geval. De Algemene Rekenkamer heeft in een onderzoek bij 3 algoritmes vastgesteld dat deze voldoen aan alle basisvereisten. Bij 6 andere bestaan uiteenlopende risico’s, variërend van gebrekkige controle op prestaties of effecten, tot vooringenomenheid, datalek of ongeautoriseerde toegang.
Dit is Sandra.
Sandra zit middenin haar verhuizing naar een nieuwe woning.
En omdat ze een huis gaat huren besluit ze om huurtoeslag aan te vragen bij de overheid.
Naast Sandra zijn er nog duizenden andere Nederlanders die dagelijks dit soort aanvragen doen.
Om al die aanvragen sneller en soepeler te laten verlopen maakt de overheid gebruik van algoritmes.
Een algoritme is een reeks opdrachten die een computer stapsgewijs volgt.
Dat kan voor allerlei doelen worden ingezet.
Hiermee koppelt hij bijvoorbeeld automatisch je kenteken aan je adres als je geflitst bent...
zodat de verkeersboete op het juiste adres komt.
Maar een algoritme kan ook nagaan of je recht hebt op AOW...
of zoals in het geval van Sandra, of ze recht heeft op huurtoeslag.
Dat is efficiënt, maar er komen ook risico’s bij kijken.
Daarom onderzoekt de Algemene Rekenkamer of algoritmes goed werken en of ze verstandig worden ingezet.
Ziet het algoritme dat de aanvraag van Sandra aan alle voorwaarden voldoet?
Dan wordt het geld automatisch uitgekeerd.
Maar is dat niet het geval, of is het onduidelijk?
Dan bekijkt een ambtenaar haar aanvraag en bepaalt hij of Sandra wel of geen geld krijgt.
Dit kan er voor zorgen dat het soms langer duurt voordat er een besluit wordt genomen.
Wordt een algoritme niet juist ingezet, dan ontstaat een risico op discriminatie...
of bestaat de kans dat gegevens van burgers of bedrijven niet veilig zijn.
Bij onzorgvuldig gebruik kan het zijn dat burgers zoals Sandra, of bedrijven, niet krijgen waar ze recht op hebben.
De Algemene Rekenkamer doet daarom aanbevelingen aan ministers en de Tweede Kamer...
zodat we de kansen van algoritmes kunnen benutten...
en mogelijke nadelige gevolgen voor burgers en bedrijven kunnen beperken.
Want dat is immers waar de Algemene Rekenkamer voor staat.
Dat rijksbeleid zinnig, zuinig en zorgvuldig moet worden uitgevoerd.
En zo krijgen Sandra en duizenden andere Nederlanders dat waar ze recht op hebben.
Meer weten? Kijk op rekenkamer.nl/algoritmes
In het op 18 mei 2022 gepubliceerde onderzoek Algoritmes getoetst hebben wij op basis van risicoselectie 9 algoritmes die in gebruik zijn bij evenzovele uitvoeringsorganisaties van de rijksoverheid onderzocht en beoordeeld op hun werking.
In 2021 heeft de Algemene Rekenkamer al in samenspraak met tal van (overheids)organisaties een toetsingskader voor algoritmes ontwikkeld: aan welke eisen moet elk algoritme in ieder geval voldoen? Zo’n overzicht met minimale vereisten ontbrak bij de rijksoverheid. In het onderzoek van 18 mei hebben wij 9 algoritmes langs de meetlat van dit toetsingskader gelegd.
Het betreft zowel eenvoudige als complexe modellen. Sommige zijn ondersteunend, zoals bij verkeersboetes naar het juiste adres sturen of controle op vreemdelingen op mogelijk eerdere registratie in Nederland. Andere zijn deels automatisch besluitvormend. Bij het toekennen van huurtoeslag bijvoorbeeld, het bepalen of een bedrijf voldoet aan de voorwaarden voor TVL-coronasteun en of een aanvrager medisch rijgeschikt is.
Niet alle onderzochte algoritmes voldoen op de basisvereisten
De onderzochte algoritmes die gebruikt worden door de politie, het directoraat-generaal Migratie van het Ministerie van Justitie en Veiligheid en de Rijksdienst voor Identiteitsgegevens voldoen op diverse aspecten niet. Bij de laatste 2 organisaties is de ontwikkeling en het beheer van het algoritme uitbesteed, maar ontbreekt het aan afspraken wie voor wat aanspreekbaar is.
Zo kan de Rijksdienst voor Identiteitsgegevens niet zelf nagaan of het algoritme de kwaliteit van pasfoto’s correct vaststelt. Dit kan discriminatie in de hand werken. Deze rijksdienst voert ook geen effectbeoordeling uit op gegevensbescherming.
Bij het criminaliteitsanticipatiesysteem van de politie ontbreekt onder meer controle op mogelijke vooringenomenheid. Dit algoritme voorspelt waar het risico op incidenten hoog is.
IT-beheer algoritmes vaak onvoldoende
Bij 6 van 9 onderzochte organisaties ontbreekt inzicht welke medewerkers toegang hebben tot data en het algoritme. Ongeautoriseerde toegang tot systemen kan tot beschadiging of verlies van data leiden, met alle gevolgen voor burgers of bedrijven. Zo lopen RVO (de coronacrisismaatregel Tegemoetkoming vaste lasten), het verzelfstandigde onderdeel Toeslagen van de Belastingdienst die de huurtoeslag toekent en de Sociale Verzekeringsbank die AOW-aanvragen beoordeelt risico’s, omdat het IT-beheer niet voldoende op orde is.
Wat zijn onze aanbevelingen?
We doen diverse aanbevelingen aan de betrokken bewindspersonen. Deze sluiten aan bij het onderzoek dat we in 2021 publiceerden.
Leg, met name bij uitbesteding of inkoop bij een andere partij, afspraken over de inzet van algoritmes vast en richt de continue monitoring op het nakomen van deze afspraken in. En: Zorg dat algoritmes en benodigde data beschermd worden door goed functionerende IT-beheersmaatregelen.
Een van de aanbevelingen gaat over het risico op vooringenomenheid in het model of als uitkomst bij het gebruik: Controleer voortdurend – tijdens ontwerp en uitvoering – op het effect van bias door algoritmes en voorkom daarmee dat onwenselijke systematische afwijkingen voor specifieke personen of groepen ontstaan.
Waarom onderzochten we deze algoritmes?
Algoritmes gebruiken is nuttig en behulpzaam, maar niet zonder risico’s. De betrokken ministers wordt onder meer aanbevolen systematische afwijkingen door algoritmes inzichtelijk te maken met controles op het effect van vooringenomenheid (bias). Dit verkleint de kans op onwenselijke uitkomsten bij de toepassing.
Zonder de inzet van algoritmes is rijksbeleid echter niet uitvoerbaar. Zo worden snel en geautomatiseerd miljoenen handelingen per maand verricht, problemen opgelost of voorspellingen gedaan. Uit het onderzoek blijkt dat het buiten werking stellen van een algoritme, zoals bij de Sociale Verzekeringsbank bij pgb-aanvragen, ook risico’s kan hebben. Dan is meer handwerk door ambtenaren nodig, terwijl er minder signalen binnenkomen van mogelijk misbruik van een publieke voorziening.
Burgers en bedrijven moeten erop kunnen vertrouwen dat de inzet van algoritmes door de rijksoverheid op een verantwoorde wijze plaatsvindt.
Welke onderzoeksmethoden gebruikten we?
In het onderzoek is voortgebouwd op de inventarisatie die wij bij ons eerste onderzoek in 2021 (‘Aandacht voor algoritmes’ ) over algoritmes hebben uitgevoerd. Deze lijst hebben we aangevuld met een aantal bronnen. Ditmaal hebben we de inzet van 9 algoritmes beoordeeld aan de hand van ons toetsingskader algoritmes. Deze algoritmes zijn geselecteerd op basis van een aantal criteria: Impact op burgers of bedrijven, Risicogericht (daar waar de kans het grootst is dat het algoritme niet verantwoord wordt ingezet), uit verschillende domeinen, zoals het sociaal domein en het veiligheidsdomein.
De geselecteerde algoritmes moesten in gebruik zijn. Daarnaast hebben we verschillende soorten algoritmes geselecteerd.
Stand van zaken
Deze onderzoeksbevindingen zijn voor de staatssecretaris voor Digitalisering (Ministerie van BZK) reden geweest direct in te grijpen. Zij laat daarmee zien het Rekenkameronderzoek en haar coördinerende taak voor digitalisering binnen de rijksoverheid serieus te nemen. Zij gaat met de uitvoeringsorganisaties aan het werk om de tekortkomingen aan te pakken. Voor het zomerreces wil zij de Tweede Kamer informeren over eventuele vervolgstappen.
Het onderzoeksrapport is op 18 mei 2022 (gelijktijdig met het verantwoordingsonderzoek over 2021) gepubliceerd en naar de Tweede en Eerste Kamer gestuurd.
Het rapport is op de website van de Algemene Rekenkamer geopenbaard.
Eerder relevant onderzoek: Aandacht voor algoritmes (26 januari 2021)