Dit onderzoek maakt deel uit van verantwoordingsonderzoek ministerie van Justitie en Veiligheid.
De rijksoverheid zet algoritmes in om handelingen te automatiseren of voorspellingen te doen. Algoritmes worden ook gebruikt in het veiligheidsdomein. We onderzochten of 2 van dit soort algoritmes op een verantwoorde manier worden ingezet.
De politie gebruikt het algoritme om data uit sensoren te analyseren op verdacht gedrag of strafbare feiten. Eén van deze systemen is de iTrechter. Binnen de iTrechter draaien meerdere profielen op basis van verschillend crimineel gedrag. Mocht een profiel op basis van de sensordata een hit “sein” krijgen, dan kunnen agenten bepalen of zij deze opvolgen. De inzet kan risico’s voor de privacy van burgers opleveren of ertoe leiden dat mensen onterecht staande worden gehouden.
De Douane controleert zendingen met het algoritme “Detecteren risico’s” in douaneaangiften voor naleving vergunningplicht strategische goederen. Dat zijn goederen die voor andere doeleinden zouden kunnen worden gebruikt door bijvoorbeeld een leger in het buitenland. Dit kan de internationale, maar ook Nederlandse veiligheid in gevaar brengen. Zie ook de uitkomst van ons beleidsonderzoek “Controle op doorvoer strategische goederen”.
Conclusies
De politie heeft de meeste risico’s goed of deels beheerst. Maar de politie houdt niet systematisch bij waartoe verschillende hits van de iTrechter leiden. Hierdoor is het bijvoorbeeld niet mogelijk om vast te stellen hoeveel van alle hits daadwerkelijk zijn opgevolgd en tot resultaat hebben geleid. Ook constateren we dat de software van iTrechter fragiel en verouderd is. De politie kon ons tijdens het onderzoek niet laten zien of de beveiliging van iTrechter op orde is.
De Douane kan niet aantonen dat de risicoprofielen een effectieve manier zijn om hun controles uit te voeren. Ondanks de belangrijke rol die de profielen spelen in de controle, is niet duidelijk hoe effectief de profielen daadwerkelijk zijn. Het is daardoor onduidelijk of er een inspectie was uitgevoerd en wat daarbij is aangetroffen. Het werkproces van de Douane om de profielen te evalueren werd in de praktijk niet gevolgd. De door ons nader onderzochte profielen hadden allemaal weinig hits in een jaar. Het is onduidelijk of deze ook terecht waren.
Aanbevelingen
De Douane heeft onvoldoende inzicht in de IT-risico’s. Het algoritme voldoet aan geen enkele norm voor IT-beheer uit ons toetsingskader. Hierdoor kunnen onbevoegden mogelijk toegang krijgen tot het algoritme en is niet te achterhalen of er aanpassingen zijn gemaakt. We roepen de minister op om de effectiviteit en risicobeheersing van het algoritme te verbeteren.