Ethiek
Ethiek is geen losstaand onderdeel in het toetsen van algoritmes. Ethiek is verweven in de 4 verschillende perspectieven waaruit het toetsingskader bestaat: 1. sturing en verantwoording, 2. model en data, 3. privacy, en 4. IT General Controls (ITGC). Dit betekent dat ethiek van toepassing is op alle 4 de perspectieven.
Vanuit het perspectief ethiek onderscheiden we 4 onderwerpen, op basis van bestaande bronnen en normen:
- respect voor menselijke autonomie;
- voorkomen van schade;
- fairness (een eerlijk algoritme);
- verklaarbaarheid en transparantie.
Deze onderwerpen hebben we verbonden met de risico’s uit het toetsingskader. Daarmee hebben we het ethische perspectief – zoals onder andere de Europese Commissie het heeft geformuleerd – in dit toetsingskader gewaarborgd. Bij de meeste risico’s is een relatie met ethiek te zien. De volgende tabel laat zien waar er een relatie is tussen de ethische perspectieven en de risico’s uit het toetsingskader.
Ethische perspectieven
-
1. Respect voor menselijke autonomie
-
1.1.1 Er is sprake van menselijke controle en toezicht
- Gebruik van geautomatiseerde besluitvorming wanneer dat niet is toegestaan of ontbreken van de mogelijkheid van menselijke tussenkomst
1.1.2 Er is een menselijke review achteraf mogelijk
- Gebruik van geautomatiseerde besluitvorming wanneer dat niet is toegestaan of ontbreken van de mogelijkheid van menselijke tussenkomst
-
-
2. Voorkomen van schade
-
2.1.1 Het algoritme is technisch robuust
- Kwaliteit van de voorspelling is op orde
2.1.2 Het algoritme is betrouwbaar, nauwkeurig, accuraat en reproduceerbaar
- Het is niet meer te herleiden waarom welke keuzes zijn gemaakt in ontwerp en implementatie
- Kwaliteit van de voorspelling is op orde
2.1.3 Het algoritme moet tijdens levensduur kunnen omgaan met fouten
- Werking niet volgens vooraf vastgestelde opzet en werking
- Kwaliteit van de voorspelling is op orde
- Soms werkt het model in de praktijk niet (meer).
2.1.4 Datakwaliteit is ‘Fit for purpose’: hoge datakwaliteit die geschikt is voor het doel dat men nastreeft
- De data zijn niet representatief
- Overtreden van geldende uitgangspunten/regels met betrekking tot dataminimalisatie en proportionaliteit
- Soms werkt het model in de praktijk niet (meer)
2.1.5 Het algoritme kan realtime gemonitord worden
- Soms werkt het model in de praktijk niet (meer)
2.1.6 Er is een uitwijkplan of een 'stop-knop'
- Gebruik van geautomatiseerde besluitvorming wanneer dat niet is toegestaan of ontbreken van de mogelijkheid van menselijke tussenkomst
2.1.7 De informatiebeveiliging van het algoritme is op orde: weerbaarheid tegen manipulatie en cyberaanvallen
- Bij het ontbreken van de data zijn er risico's
2.1.8 Ontwerp van het algoritme voldoet aan de principes van (cyber)security by design
- Bij het ontbreken van de data zijn er risico's
-
2.2.1 Privacy en gegevensbescherming zijn gewaarborgd (AVG)
- Niet voldoen aan de wettelijke verplichtingen zoals de AVG en niet voldoen aan algemene beginselen behoorlijk bestuur
2.2.2 Kwaliteit en integriteit gegevens zijn gewaarborgd
- Niet voldoen aan de wettelijke verplichtingen zoals de AVG en niet voldoen aan algemene beginselen behoorlijk bestuur
2.2.3 Toegang tot gegevens is rechtmatig
- Niet voldoen aan de wettelijke verplichtingen zoals de AVG en niet voldoen aan algemene beginselen behoorlijk bestuur
- Niet voldoen aan normen op het vlak van IT General Controls, waardoor er een risico is op onrechtmatige toegang tot het algoritme
-
-
3. Fairness (eerlijke algoritmes)
-
3.1.1 Er wordt niet gediscrimineerd en bias wordt geminimaliseerd
- Het model creëert onwenselijke systematische afwijking voor specifieke personen, groepen of andere eenheden (bias)
- Er zit onwenselijke systematische afwijking (bias) in de data.
3.1.2 Er is extra aandacht voor kwetsbaren
- Er zit onwenselijke systematische afwijking (bias) in de data.
- De data zijn niet representatief
3.1.3 Stakeholders en 'eindgebruikers' van het algoritme worden regelmatig betrokken
- Te eenzijdige inbreng vergroot kans op fouten en niet voldoen aan doelen en aan wet- en regelgeving
3.1.4 Data is breed genoeg, divers en representatief
- De data zijn niet representatief
-
3.2.1 Er vindt een impact assessment plaats over de sociale gevolgen
- Het model creëert onwenselijke systematische afwijking voor specifieke personen, groepen of andere eenheden (bias)
- Er zit onwenselijke systematische afwijking (bias) in de data
3.2.2 Er wordt rekening gehouden met de impact op samenleving en democratie
-
-
4. Verklaarbaarheid en transparantie
-
4.1.1 Afwegingen worden gedocumenteerd, waardoor keuzes traceerbaar zijn
- Afhankelijkheid van externe deskundigen die na het ontwikkelen van het algoritme met de betreffende kennis en ervaring weggaan, waardoor continuïteit en beheersing daarna niet meer gewaarborgd is
- Het is niet meer te herleiden waarom welke keuzes zijn gemaakt in ontwerp en implementatie
4.1.2 Ontwerp van het model is gedocumenteerd
- Geen continuïteit van het proces/uitvoering van werkzaamheden doordat documentatie ontbreekt
- Ontbreken transparantie voor burgers/bedrijven/stakeholders, niet voldoen aan wet- en regelgeving met betrekking tot transparantie
4.1.3 Er vindt documentatie plaats over het verkrijgen, selecteren en bewerken van data
- Onjuiste manier van training/testing kan leiden tot overfitting en/of underfitting en/of bias
- Ontbreken transparantie voor burgers/bedrijven/stakeholders, niet voldoen aan wet- en regelgeving met betrekking tot transparantie
4.1.4 Keuzes gemaakt bij trainen en testen worden gedocumenteerd
- Onjuiste manier van training/testing kan leiden tot overfitting en/of underfitting en/of bias
4.1.5 Karakteristieken van de dataset worden gedocumenteerd
- De data zijn niet representatief
4.1.6 Methoden om risico's te identificeren worden gedocumenteerd
- Zonder actueel beeld van risico's kan er geen goede afweging worden gemaakt of de voordelen van de toepassing van het algoritme opwegen tegen de nadelen
4.1.7 Maatregelen om risico's tegen te gaan worden gedocumenteerd
- Zonder actueel beeld van risico 's kan er geen goede afweging worden gemaakt of de voordelen van de toepassing van het algoritme opwegen tegen de nadelen.
4.1.8 Het is duidelijk wie verantwoordelijk is als het algoritme fouten maakt
- Onduidelijkheid over rollen, taken, verantwoordelijkheden en bevoegdheden creëert risico's
-
4.2.1 Technische processen zijn inzichtelijk
- Niet of slecht uitlegbare toepassing van algoritmes
4.2.2 Het systeem is inzichtelijk
- Niet of slecht uitlegbare toepassing van algoritmes
4.2.3 Het is inzichtelijk (te maken) hoe het algoritme keuzes op individueel niveau maakt
- Niet of slecht uitlegbare toepassing van algoritmes
- Niet voldoen aan wettelijke verplichting AVG en Algemene Beginselen Behoorlijk Bestuur
4.2.4 Doel van het algoritme is helder
- Zonder eenduidigheid over het doel is geen sturing op en verantwoording over het algoritme mogelijk
- Algoritme functioneert niet in lijn met geformuleerde doelstellingen
4.2.5 Het is inzichtelijk onder welke voorwaarden het algoritme goed functioneert
- restatiedoelstellingen en kwaliteitsdoelstellingen zijn niet meetbaar of bespreekbaar als er geen aanpak is
- De performance metrics komen niet overeen met de doelstellingen van het algoritme
4.2.6 Het is inzichtelijk wanneer het algoritme accuraat werkt en wat de prestaties zijn
- Kwaliteit van de voorspelling is op orde
4.2.7 Mensen die te maken hebben met een algoritme moeten hierover heldere informatie kunnen krijgen
- Zonder gedeeld beeld van de doelstellingen is er een groter risico op fouten en/of verschillen in interpretatie
- Het is voor mensen niet duidelijk dat zij met een algoritme te maken hebben, welke consequenties dat heeft of welke beperkingen het algoritme kent. Bij incidenten/fouten kan dit leiden tot schadeclaims achteraf
- Ontbreken transparantie voor burgers/bedrijven/stakeholders, niet voldoen aan wet- en regelgeving met betrekking tot transparantie
-