Matematik vs. människa på arbetets marknad

Alla samhällens arbetsmarknader är djupt präglade av såväl medvetna som omedvetna fördomar hos dem som väljer bland de jobbsökande – kan AI i rekryteringsprocesser sätta stopp för diskrimineringen?

Den här texten ingår i nyhetsbrevet Framtider. Får du inte Framtider i din mejl? Prenumerera här så får du kommande nyhetsbrev och information om seminarier och evenemang. Nyfiken på tidigare nummer av Framtider? Du hittar dem i vårt arkiv.

När e-handelsjätten Amazon behövde rekrytera ny personal lät bolaget – liksom en snabbt växande andel av dagens stora företag – en robot, artificiell intelligens, sköta processen. Företagets MLS, machine learning system, hade tränats på alla ansökningar som skickats in till Amazon de senaste tio åren och eftersom en stor majoritet av dessa var från män lärde sig systemet sortera bort dokument som innehöll ordet ”kvinna” och att favorisera ansökningar med ”manligt språk” – varpå historiska ojämlikheter och kulturella stereotyper byggdes in i algoritmerna. Med systematisk, nu maskinell, könsdiskriminering som följd.

I en redan helt mansdominerad bransch.

– Men sådär illa behöver det absolut inte funka.

Moa Bursell, diskrimineringsforskare vid Institutet för framtidsstudier, håller på att starta upp forskningsprojektet ”Artificiell intelligens i rekrytering – kan intelligenta algoritmer öka inkluderingen av underordnade grupper på arbetsmarknaden?” och menar att robotars hantering av människors ansökningshandlingar kommer öka dramatiskt de närmaste åren, med stora konsekvenser för vem som får och inte får jobb.

– Om maskininlärningen görs på bra data och algoritmerna hela tiden utvärderas kan AI minska diskrimineringen i rekryteringsprocesser radikalt. Bra inlärningsmaterial och konstant uppföljning – det är nyckeln till framgång. Utan det kan det bli katastrof.

Svensk arbetsmarknad är djupt skiktad efter kön, etnicitet och ålder enligt bekanta mönster: människor födda utanför Europa är i mycket högre grad än andra arbetslösa, kvinnor tjänar mindre än män och när äldre personer förlorar jobbet har de mycket svårare att få nytt arbete än yngre. Företags och andra institutioners kompetens att hitta den person som bäst höjer deras produktivitet försämras av stereotyper, okunskap och fördomar, många helt omedvetna. Och en växande skara teknikoptimister menar nu att ”neutrala” robotar kan komma till rätta med systemfelen – rekrytera bättre. De avslöjade misslyckandena, som fallet med Amazon, är – menar de – övergående barnsjukdomar.

– En sak ska man ju ha klart för sig, säger Moa Bursell. Och det är att det system vi har idag inte fungerar. Vi har en mycket stor diskriminering på arbetsmarknaden. Så frågan är ju om algoritmerna kommer diskriminera mer eller mindre än arbetsgivare redan gör idag. Och det vi inte. Men måste ta reda på.'

Omfattningen av rekryteringsrobotar okänt

I vilket utsträckning AI redan sköter rekryteringsprocesser – eller delar av dem – är okänt, dels för att många företag inte vill berätta vilka algoritmer de använder och dels för att det saknas forskning, uppföljning. Men man vet att rekryteringsrobotar används mycket mer i USA och Storbritannien än i till exempel Sverige – än så länge.

– En algoritm behöver ju också tränas på ett stort material, ett stort antal ansökningar. Och därför är det mest gynnsamt för större företag som har sparat sina ansökningar. Det finns så att säga en bank att träna på. Små företag har ju inte samma pool av exempel att jobba med. Därmed är AI också mer lönsamt för lågkvalificerade tjänster, som alltid är fler. Ju större mängd data man har, desto bättre blir algoritmen.

Ett MLS-verktygs uppgift är att förutsäga en sökandes produktivitet, men kan också förutse matchning mellan person och organisation. Tränad på befintlig data lär sig algoritmen att själv ta fram förutsägelser, och genom matematisk optimering av vissa kriterier för uppförande och utförande – det företaget vill få gjort – blir den bra på att se ”vad som behövs”. Den kan till exempel screena CV:s efter keywords som i det historiska träningsmaterialet visat sig ha ett samband med önskvärda utförandekriterier. Den kan också ranka och utvärdera sökande på sätt som visat sig vara lika bra som mänskliga rekryterare, till exempel dra slutsatser om människors kapaciteter utifrån textanalys av personliga brev eller uppförande på sociala medier. Även analyser av ansiktsuttrycksförändringar under intervjuer har, visar det sig, varit lärorikt material. Liksom standardiserade intervjuer gjorda av robotar i en rekryteringsprocess inledningsskede.

”Forskning visar att våra fördomar accentueras när vi jobbar mot klockan. Det är då vi praktiserar våra fördomar. Det betyder att diskrimineringen blir som starkast när en mänsklig rekryterare på låg nivå sitter och bläddrar igenom hundratals ansökningar under tidspress.”

Ur ett antidiskrimineringsperspektiv, säger Moa Bursell, är just inledningsskedet avgörande. Eftersom den fatala kopplingen mellan omedvetna fördomar och tidspress, också ett vanligt fenomen, får så stora konsekvenser på dagens skiktade arbetsmarknad.

– Forskning visar att våra fördomar accentueras när vi jobbar mot klockan. Det är då vi praktiserar våra fördomar. Det betyder att diskrimineringen blir som starkast när en mänsklig rekryterare sitter och bläddrar igenom hundratals ansökningar under tidspress, inte i de intervjuer som görs när det står mellan två kandidater i slutskedet. För då finns det tid. Det är alltså i det första steget, när 200 ansökningar ska bli fem, som de omedvetna fördomarna spelar in som mest. Så kan man få bort det genom en algoritm som är programmerad att inte ta hänsyn till exempelvis kön, etnicitet eller ålder så är det givetvis väldigt positivt. Särskilt om det handlar om större företag. Och det är ju framför allt de som köper in de här verktygen.

Data inte neutral

Arbetsmarknaden är en central plats för alla försök att öka ett samhälles jämlikhet, och en del AI-forskare hävdar tvärtom att överallt där AI implementerats, inte minst i rekryteringsprocesser, har det gynnat redan överordnade grupper och missgynnat andra. I sin bok Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy driver till exempel den amerikanska matematikern Cathy O’Neil tesen att användningen av MLS skapar en ond cirkel där diskriminering inom en sektor leder till exkludering i en annan. De aktuella verktygen måste tränas på mänsklig data, och det finns ingen mänsklig data som inte innehåller kulturella stereotyper och olika sorters partiskhet. Vilket enligt kritikerna betyder att verktygen kommer lära sig fördomarna snarare än något annat – och sedan förstärka dem exponentiellt.

Digitala rekryteringssystem, menar O’Neil, används i första hand för lågkvalificerade yrken och då inte alls i syfte att hitta ”den rätta kandidaten” eftersom 98 procent av alla sökande skulle klara jobbet. Nästan alla är i den meningen ”den rätte”. Syftet är i stället att på ett effektivt sätt rensa bort människor. Risken är då att stora grupper exkluderas från arbetsmarknaden med en helt ny – maskindriven – systematik och att företagen i efterhand kan svära sig fria från konsekvenserna eftersom de använt en ”neutral” process. Tech-företagen som säljer verktygen är, fortsätter kritiken, å sin sida inte öppna för insyn eftersom algoritmernas logik och funktion är en dyrbar bolagshemlighet – och sökanden som blir systematiskt bortsorterade har ingenstans att vända sig.

– Jag håller med O’Neil om att det finns väldiga risker, säger Moa Bursell. Men jag ser det mindre svartvitt. Det är sant att ansvarsfrågan blir väldigt oklar. Om det diskrimineras – vem är det då som gör det? Arbetsgivaren, algoritmen, någon annan? Och det är helt klart ett jätteproblem. Att utvärderas av en robot kan dessutom upplevas som väldigt avhumaniserande, men det är inte alls självklart. Det kan också upplevas som mer rättvist. Och man måste komma ihåg: ur diskrimineringssynpunkt fungerar dagens system inte alls.

Bursells forskningsprojekt går ut på att följa svenska företag som just nu styr om från traditionell till maskinell rekrytering.

­– Mina tidigare fältexperiment visar att vi har väldigt stora problem med diskriminering i anställningsprocesser i Sverige, och mot bakgrund av det blir ju den här forskningen väldigt intressant. Just nu har vi en massa företag och teknikentusiaster som säger att det är lugnt, det här löser AI. Och andra säger att nej nej AI kommer bara göra redan existerande problem oändligt mycket större. Men ingen vet egentligen. Alla pratar utan empiri. Det är det vi ska ändra på. Till att börja med.

Magnus Linton