Er gaat geen discussie voorbij over algoritmes, zonder dat ook het woord ‘discriminatie’ valt. Begrijpelijk, want er zijn intussen tal van vervelende voorbeelden bekend waar mensen veel hinder hebben van beslissingen die op basis van algoritmes worden gemaakt. En die hinder gaat soms zo ver dat levens worden verstoord of verwoest. Dat is uiteraard onacceptabel – maar hoe kan je dan controle houden op discriminatie door algoritmes?
Het slechte nieuws: discriminatie is onlosmakelijk verbonden met algoritmes. Waarom? De oorspronkelijke betekenis van discriminatie ligt in het Latijn. Discrimineren betekent ‘onderscheid maken’. Pas later is er een andere betekenis aan het woord ‘discriminatie’ toegevoegd, namelijk dat iemand op basis van discriminatie niet gelijk wordt behandeld.
Voor mij drukt dat ook uit wat het issue is van discriminatie door algoritmes: algoritmes zijn goed in het onderscheiden van ‘groepen’ op basis van kenmerken. Ook hier ontstaat discriminatie pas als een groep anders wordt behandeld, omdat de uitkomst van het algoritme zonder passende toets of tegenspraak zonder menselijke tussenkomst wordt overgenomen.
Ik kom bij veel opdrachtgevers (bedrijven, uitvoeringsinstanties en gemeentes) die algoritmes gebruiken. Het discriminatierisico is vooral een risico bij afdelingen die zich bezighouden met fraudebestrijding en veiligheidsonderzoek. Waarom? Omdat zij in de grote groep mensen die zich wel gedragen, diegenen die zich niet gedragen moeten kunnen onderscheiden om deze vervolgens aan te kunnen pakken. En als zij deze ‘rotte appels’ niet weten te vinden, dan kunnen de consequenties groot zijn (denk aan verhoogde criminaliteit, geld kwijt aan fraudeurs). Op deze plaatsen worden algoritmes gemaakt om de rotte appels te vinden. Met als resultaat dat mensen die door het algoritme worden onderscheiden van anderen, vrijwel automatisch een zweem van ‘rotte appel’ om zich heen hebben hangen. In die situaties zie je dat op verschillende manieren kunt voorkomen dat algoritmes discrimineren:
1. Koppel de uitkomst algoritme los van de vervolgactie. Stel: je hebt een algoritme gemaakt dat een signaal afgeeft dat er sprake kan zijn van fraude. Zorg er dan voor dat niet automatisch een betaling wordt stopgezet, maar voorzie in een menselijke beoordeling.
2. Zie erop toe dat de menselijke beoordeling onbevooroordeeld is. Ik heb veel voorbeelden gezien waarbij weliswaar sprake was van een menselijke beoordeling, maar dat deze niet onbevooroordeeld was. Soms wordt door werkdruk blind vertrouwd op de indicatie die een algoritme afgeeft (‘rood en groen’, of door naamgeving ‘indicatie van fraude’).
3. Veel algoritmes worden ontwikkeld om negatief gedrag eruit te pikken en alles wat negatief is nader te gaan onderzoeken. De algoritmes worden dan ook ontwikkeld om met een zo hoog mogelijk betrouwbaarheidspercentage te voorspellen of iemand fraudeert of een veiligheidsrisico is. Maar dit kan ook andersom: ontwikkel algoritmes om uit te sluiten dat iemand in ieder geval geen risico vormt. Zoek vooral naar variabelen waarmee kan worden aangetoond dat er niets aan de hand is. Bijkomend voordeel is dat je dan ook schaarse onderzoekscapaciteit niet onnodig inzet en mensen van wie aannemelijk is dat ze zich goed gedragen niet onnodig belast met aanvullende vragen of onderzoek.
4. Algoritmes staan niet op zichzelf. Ze zijn een middel in een proces van (bijvoorbeeld) fraudebestrijding en criminaliteitsbestrijding. De algoritmes worden vaak samengesteld op basis van kennis die door echte mensen van vlees en bloed is aangedragen. In de bouw van algoritmes is het ook noodzakelijk dat je de objectiviteit van je algoritme blijft toetsen tegen de menselijke kennis. Dat betekent dat er altijd een controlegroep moet blijven bestaan, die niet door algoritmes aan een groep worden toegekend. Zorg dat dit gebeurt door gewone mensen, die op basis van hun expertise keuzes maken. Deze keuzes kun je dan ook van tijd tot tijd matchen met je algoritme, om te bepalen of het algoritme nog steeds de juiste afwegingen maakt, zoals ook ‘echte mensen’ dit doen.
Door deze 4 tips in de praktijk te brengen kan je én profiteren van de voordelen van algoritmes én de nadelen voorkomen. Succes!
Wil je meer leren over hoe algoritmes technisch werken? Lees dan ook de blogreeks van mijn collega Sabine den Daas.