Algoritmes worden overal gebruikt, in het bedrijfsleven en binnen de overheid. Online word je, door Facebook, Google of Netflix, de hele dag door gemeten en ingedeeld in een hokje op basis van de gegevens die je achterlaat en de algoritmes die zij daarop loslaten. Maar ook bij alledaagse dingen, zoals shoppen in de supermarkt, rijden in je auto naar het werk en betalen via de betaalapp van je bank doen algoritmes hun werk en wordt op basis daarvan geprobeerd je gedrag te beïnvloeden. Super handig, dat zeker. Gelukkig gaat het ook heel vaak goed en maakt het ons leven een stuk makkelijker. Maar helaas gaat het soms ook fout. In een tweeluik gaan we in op de voor-, en nadelen van het gebruik van algoritmes. In het eerste deel gingen we in op de vraag: kunnen algoritmes discrimineren? In dit tweede blog bespreken we het gebruik van algoritmes als criminele tool.
Algoritmes als oplossing
Voor veel uitdagingen, waar de overheid en het bedrijfsleven voor staat, kan een algoritme een oplossing bieden. Het kan organisaties helpen om bijvoorbeeld efficiënter te werken, de klantbeleving te verbeteren of besluitvorming te ondersteunen. Algoritmes kunnen ook echt een duidelijke toegevoegde waarde bieden voor organisaties en soms zelfs de samenleving als geheel. Denk bijvoorbeeld aan het inzetten van algoritmes voor een eerlijke energietransitie, efficiënte spreiding van spoedambulances of passende radiotherapie. Dergelijke succesverhalen zullen we in de komende jaren alleen maar meer zien.
Algoritmes als criminele tool
Bovenstaande succesverhalen zijn de katalysator voor de toename van de inzet van algoritmes. Algoritmes zijn hip, innovatief en ogenschijnlijk bieden zij vooral veel voordelen. De eventuele nadelen of risico’s die kleven aan deze algoritmes worden helaas nog te vaak onderbelicht. Enerzijds omdat men niet weet wat deze nadelen en risico’s zijn, anderzijds omdat het nadenken over risico’s gedurende een innovatietraject de boel alleen maar stagneert, belemmerd.
Dat er ook risico’s kleven aan het gebruik van algoritmes is natuurlijk ontegenzeggelijk. Denk aan het gebruik van algoritmes als criminele tool. Een recent voorbeeld is het bericht over een manager die werd verleid tot het overmaken van in totaal $243.000,-, waarbij de criminelen de stem van de CEO gebruikten om de manager hiertoe te bewegen. Hoe? Door de stem van de CEO te ‘deepfaken’. Dit wordt ook wel ‘vishing’ genoemd; ‘voice phishing’. De manager gaf later aan geen enkel moment getwijfeld te hebben aan de authenticiteit van de stem aan de andere kant van de telefoon. Deze stemsimulatie, gebaseerd op een algoritme, was dus al zo ver ontwikkeld dat een mens niet twijfelde aan de authenticiteit. De verwachting is dat deze techniek zich in de toekomst alleen nog maar verder zal ontwikkelen. Het onderscheid tussen echt en nep zal steeds meer vervagen.
De populariteit van het ontwikkelen van algoritmes als efficiënte oplossing heeft dus ook een keerzijde. Criminelen hebben namelijk ook toegang tot deze technieken en gebruiken ze dus ook. Op internet is een schat aan informatie te vinden voor criminelen om te leren over algoritmes en ze te gaan gebruiken: zo zijn er honderden (gratis) trainingen te volgen, is er ontzettend veel onderzoek naar algoritmes beschikbaar, zijn er een veelheid aan algoritme-frameworks voor iedereen beschikbaar en zijn er al vooraf getrainde modellen te verkrijgen of gratis platformen om dit zelf te ontwikkelen. Op dit moment worden door criminelen al de volgende algoritmetools al in de praktijk gebruikt: phishing (vishing), identiteitsdeceptie, malware en geautomatiseerde kwetsbaarhedenscanners. De ontwikkeling staat daarnaast niet stil, waardoor de kans groot is dat er alleen nog maar meer tools voor criminelen beschikbaar komen.
Algoritmes zelf als target
Algoritmes worden niet alleen gebruikt als tool door criminelen, maar de algoritmes die binnen een organisatie reeds worden gebruikt, worden ook steeds vaker doelwit voor criminelen. Er zijn twee manieren waarop dit kan worden gedaan; aantasten van brondata en vijandige input.
De eerste manier is, het aantasten van deze (bron)data van een (voorspellend) algoritme van een bedrijf, kan leiden tot een zwak voorspellend algoritme. Er wordt namelijk een vooringenomeneid (bias) in de gegevens opgenomen. Een voorbeeld van een situatie waarin criminelen hiermee een voordeel kunnen behalen is door misbruik te maken van securityoplossingen die gebruik maken van een algoritme. Als er op het moment dat deze securitytool aan het leren is de (bron)data wordt aangetast door een crimineel, dan creëert deze crimineel een fout in het algoritme die in het vervolg kan worden uitgebuit.
De tweede manier is door het verstrekken van vijandige input. Wanneer een algoritme eenmaal, door het ‘voeren’ van verkeerde (bron)data, niet meer goed werkt, kan een crimineel makkelijk zijn gang gaan. Deze kan dan vijandige input verstrekken, zonder dat dit door het algoritme wordt opgemerkt. Een crimineel kan in dit geval dus ongemerkt zijn gang gaan, terwijl een organisatie in de veronderstelling is dat haar algoritme een gedegen beveiliging biedt. Dit scenario is ook door te trekken naar algoritmes die voor andere zaken worden ontwikkeld. Denk voorbeeld aan algoritmes die de overheid gebruikt.
Algoritmes, zijn we nog voldoende in control?
Zo bezien staan we voor grote uitdagingen om de razendsnelle ontwikkeling rondom algoritmes, onder controle te houden. De kans is aanzienlijk dat de tools door kwaadwillenden wordt gebruikt of dat het doelwit van criminelen. In de huidige innovatieslag die gemaakt wordt, ligt er nog onvoldoende nadruk op deze wezenlijke risico’s. Op dit gebied zijn we dus zeker nog niet voldoende in control. Gelukkig zijn er ook ontwikkelingen die vrolijk stemmen. Zo is er een Algoritme Keurmerk ontwikkeld. Met dit toetsingskader kan getoetst worden of het algoritme goed is gebouwd, goed wordt beheerd en goed wordt gebruikt. Daarnaast is er ook De Ethische Data Assistent. Hiermee kunnen organisaties ethische principes ontwikkelen voor hun dataprojecten, waarmee het morele kompas van de organisatie tijdig kan worden herijkt. Het is dus komende jaren belangrijk om meer awareness te creëren over de mogelijkheden die algoritmes voor kwaadwillenden bieden, zodat organisaties en personen niet door deze nieuwe manier van cybercrime kunnen worden benadeeld.