Amazon besluttede sidst i 2018 at afvikle deres eksperimenterende rekrutteringsværktøj, der benyttede kunstig intelligens (AI), efter at have opdaget, at det diskriminerede kvinder.

Virksomheden udviklede værktøjet med det formål at gennemtrawle nettet og finde potentielle kandidater, som blev klassificeret med én til fem stjerner.

Men algoritmen lærte at nedgradere kvinders CV'er systematisk til tekniske job som f.eks. softwareudvikler. Selv om Amazon ligger helt i front inden for AI-teknologi, formåede virksomheden ikke at gøre algoritmen kønsneutral.

Men fejlen er en påmindelse om, at AI udvikler forudindtagede meninger fra en vifte af kilder.

Den generelle opfattelse er, at algoritmer kan udarbejdes uden de forudindtagede meninger eller fordomme, som farver menneskers beslutninger, men sandheden er, at en algoritme helt utilsigtet kan lære at blive forudindtaget på basis af en række forskellige kilder.

Alt fra dataene, der anvendes til at lære den op, til menneskerne, der anvender den, og tilsyneladende uvedkommende faktorer kan bidrage til at gøre AI forudindtaget.

Hankøn som succesfaktor

AI-algoritmerne læres op til at finde mønstre i store datasæt for at hjælpe med at forudsige, hvad udfaldet vil blive.

I Amazons tilfælde brugte algoritmen alle CV'er, der var blevet indsendt til virksomheden over en periode på ti år, til at lære, hvordan den skulle finde de bedste kandidater.

Med den lave andel af kvinder, der arbejder i virksomheden, som også er tendensen i de fleste andre teknologiselskaber, opdagede algoritmen hurtigt den mandlige dominans og troede, det var en succesfaktor.

Og da algoritmen brugte resultaterne fra sine egne forudsigelser til at forbedre nøjagtigheden, kørte den fast i et mønster med diskriminering af kvindelige kandidater.

Og da dataene, der blev anvendt til at lære den op, på et eller andet tidspunkt var oprettet af mennesker, betyder det, at algoritmen også har arvet uheldige menneskelige egenskaber som forudindtagethed og diskriminering, faktorer, der har været et mangeårigt problem inden for rekruttering.

Kvinders opmærksomhed koster mere

Nogle algoritmer er også designet til at forudsige og levere det, som brugerne ønsker at se. Dette er særligt udbredt på de sociale medier og inden for onlinemarkedsføring, hvor brugerne får vist indhold eller annoncer som en algoritme tror, de vil reagere på.

Lignende mønstre er også rapporteret fra rekrutteringsbranchen. En rekrutteringsmedarbejder fortalte, at når han brugte et fagligt socialt netværk til at finde kandidater, lærte den kunstige intelligens at give ham de resultater, der lignede de profiler, han først viste interesse for.

Det resulterede i, at hele grupper af potentielle kandidater systematisk blev fjernet fra hele rekrutteringsprocessen. Men forudindtagethed kan også opstå af uvedkommende årsager.

Et nyligt studie i, hvordan en algoritme præsenterede annoncer for STEM-job (Science, Technology, Engineering, Mathematics), viste, at det var mere sandsynligt, at annoncen blev vist til mænd.

Ikke fordi det var mere sandsynligt, at mænd ville klikke på dem, men fordi markedsføring til kvinder er dyrere.

Eftersom virksomhederne har en højere pris på annoncer rettet mod kvinder (kvinder står for 70- 80 pct. af alle forbrugerkøb), valgte algoritmen at vise annoncerne oftere til mænd end til kvinder, fordi den var udviklet til at optimere leverancen af annoncerne og holde omkostningerne nede.

Frie algoritmer sænker kriminalitet

Men hvis en algoritme bare genspejler mønstre i de data, vi fodrer den med, hvad brugerne kan lide og de økonomiske adfærdsmønstre, der forekommer i markedet, er det så ikke uretfærdigt at bebrejde den for at videreføre vores værste egenskaber?

Vi forventer automatisk, at en algoritme skal tage beslutninger uden at diskriminere, selv om dette sjældent er tilfældet med mennesker. Selv om en algoritme er forudindtaget, kan den være en forbedring i forhold til status quo.

For at udnytte fordelene ved AI fuldt ud, er det vigtigt at undersøge, hvad der ville ske, hvis vi lod AI træffe beslutninger uden menneskelig indgriben.

Et studie fra 2018 undersøgte dette scenarie med løsladelser mod kaution ved at bruge en algoritme, som var lært op med historiske kriminaldata for at forudsige sandsynligheden for, at kriminelle ville begå nye forbrydelser.

I en fremskrivning formåede forfatterne at reducere kriminaliteten med 25 pct. og reducerede samtidig diskrimination over for de indsatte. Men gevinsterne, som kom frem i denne undersøgelse, ville kun indtræffe, hvis algoritmen rent faktisk traf alle beslutningerne.

Dette ville ikke være sandsynligt i den virkelige verden, fordi dommerne sandsynligvis ville have mulighed for at vælge, om de ville følge algoritmens anbefalinger. Selv hvis algoritmen er godt lavet, er den overflødig, hvis folk ikke vælger at stole på den.

Lav tillid til algoritmer

Mange af os bruger allerede algoritmer i mange daglige beslutninger, f.eks. hvad vi vil se på Netflix eller købe fra Amazon.

Men forskning viser, at folk hurtigere mister tilliden til algoritmer end til mennesker, når de ser, at de begår fejl, selv om når algoritmen samlet set gør det bedre.

Hvis GPS'en f.eks. foreslår, at du skal tage en alternativ rute for at undgå trafik, og denne ender med at tage længere tid end antaget, stopper du sandsynligvis med at stole på GPS'en i fremtiden.

Men hvis det var din egen beslutning at tage den alternative rute, er det ikke sandsynligt, at du vil stoppe med stole på dine egne vurderinger.

Et opfølgningsstudie, som handlede om at overvinde modstand mod algoritmer, viste til og med, at det var mere sandsynligt, at folk ville bruge en algoritme og acceptere fejl i den, hvis de fik mulighed for at ændre algoritmen selv, selv om det ville betyde, at den ikke ville fungere perfekt.

Mennesker mister muligvis hurtigt tilliden til fejlagtige algoritmer, men mange af os har tendens til at stole mere på maskiner, hvis de har menneskelige træk.

Ifølge forskning i selvkørende biler havde mennesker større tendens til at stole på bilen og troede, den ville præstere bedre, hvis bilens udvidede system havde et navn, et specificeret køn og en menneskelig stemme.

Men hvis maskinerne bliver meget menneskelige, men ikke helt, synes folk ofte, at de er uhyggelige, hvilket kan påvirke deres tillid til dem.

Selvom vi ikke nødvendigvis kan lide det billede, algoritmerne afspejler af vores samfund, ser det ud til, at vi stadig ønsker at leve med dem og få dem til at se ud og reagere som os. Og hvis det er tilfældet, er det jo naturligt, at også algoritmer begår fejl?