Demokratiska problem när AI fattar besluten
Förhoppningarna är stora att artificiell intelligens (AI) ska revolutionera många områden. Likt internet eller elektricitet är AI en så kallad generell teknologi med potentiellt mängder med användningsområden. Ett område där det finns stora förhoppningar om ökad effektivitet och noggrannhet är inom beslutsfattande. Detta eftersom en av AI:s förmågor är att analysera stora datamängder. Redan i dag används AI runt om i världen i offentliga beslut. Till exempel inom socialtjänst, vården och i rättsväsendet. Men är beslut fattade av AI verkligen demokratiskt legitima? Vem ska ställas till svars när beslut blir fel? Kommer människor att acceptera beslut tagna av AI? Vi har pratat med Eva Erman som leder det nya projektet Automatiserad politisk makt.
Detta är en del av Institutet för framtidsstudiers nyhetsbrev, mars 2024. Läs hela här >
Anmäl dig till våra nyhetsbrev här >
Varför ville ni undersöka dessa frågor?
– För några år sedan när AI-utvecklingen verkligen började ta fart fanns det en attityd inom det offentliga att “vi måste hänga med”. Man ville inte hamna på efterkälken trots att det fanns väldigt lite kunskap om AI i beslutsfattande. Jag hade bedrivit ett projekt i ett par år om “AI governance”, alltså styrning och reglering av AI, på global nivå. En slutsats där var att det talades mycket om “governance of AI”, men nästan allt handlade om hur man skulle styra AI för att undvika dåliga utfall och främja bra utfall. Utfall är en av aspekterna av god styrning, men om man bara tittar på utfall, missas procedurella aspekter som krävs för demokratisk legitimitet. Beslut som fattas av AI eller med hjälp av AI, måste ha, precis som alla andra beslut, demokratisk legitimitet. För det måste vissa krav uppfyllas. Goda utfall räcker inte.
Vad tror du krävs för att AI ska accepteras i offentligt beslutsfattande?
– Vi vet i dag inte så mycket om människors inställning till AI i beslutsfattande. Det är en av de empiriska frågorna vi ska undersöka. Men dels tror jag det kommer att handla om vilken kunskap människor har om hur AI fungerar. I dag är det väldigt få som vet väldigt mycket. Även rättviseaspekter kommer att vara viktiga. Känner sig människor orättvist behandlade minskar acceptansen. Men vi är inte bara intresserade av faktiskt acceptans utan också normativ legitimitet. AI måste kunna utformas på ett sätt som tillräckligt väl uppfyller de krav vi ställer på legitimitet. Så det handlar inte bara om människors faktiska acceptans, utan om vad man borde acceptera och inte. I princip kan det ju vara så att alla accepterar något på helt fel grunder.
Vilka är då rätt grunder?
– Det är det vi ska jobba med. Men det kommer att handla om frågor om transparens och om ansvarighet, och här väcker AI vissa specifika problem. För demokratisk legitimitet finns villkor om ansvarighet. Man brukar säga att för varje krav på legitimitet måste det finnas ett motkrav på ansvarighet. Hur gör man då om AI har fattat ett beslut, om till exempel socialbidrag, som är fel. Vem ska hållas ansvarig? Det måste alltså finnas en människa någonstans i kedjan som kan hållas ansvarig. En annan aspekt är transparens, att besluten ska kunna gå att förklara. AI är väldigt mycket en “black box”. Man vet inte vad som händer i en AI. Till och med när all data som gått in i beslutet är tillgängligt är det svårt att förstå.
Vilka potentiellt positiva effekter kan komma av AI i offentligt beslutsfattande?
– Potentialen att effektivisera offentliga tjänster är stor. En fara som ofta tas upp är att AI kommer att vara partisk eftersom den data som den matas med är partisk. Men också människor är oerhört partiska. Människor påverkas av en uppväxt och bakgrund, det gör inte en AI. AI kan också använda mycket mer data i ett beslut, vilket kan göra att beslutet uppfattas som mer neutralt. AI kan också spela roll för att minska korruption i ett samhälle genom att vara mer opartisk och inte ge fördelar till vissa grupper beroende på vänskap eller andra relationer.
Vad vill ni åstadkomma i ert projekt?
– Ett övergripande mål är att bygga en tvärvetenskaplig forskningsmiljö för att förstå spridningen av AI i offentlig sektor och försöka förstå dess inverkan på beslut som fattas, samt titta på konsekvenser för demokratin. Vi har fem delstudier, där tre är empiriska. En ska titta på kvaliteten och noggrannheten i beslutsfattandet där AI är inblandad, en ska titta på hur de AI-verktyg som används kontrolleras. Den tredje empiriska studien ska undersöka vilken acceptans för AI det finns hos medborgarna. De normativa delstudierna ska titta på vilka kriterier man ska ställa på beslut som fattas av AI för att de ska vara demokratisk legitima. De här kriterierna används sedan i den andra normativa studien för att utvärdera legitimiteten i de AI-beslut som fattas redan nu.
Det offentliga, bland annat i Sverige, var snabba med att hoppa på AI-tåget sa du, men hur är det ens möjligt att börja använda AI i offentligt beslutsfattande utan att först utreda dessa frågor?
– Det är en bra fråga. Det var fascinerande att se hur snabbt man hakade på utan att ha någon vidare evidens. På många områden ser det ju dock väldigt spännande ut. Till exempel inom sjukvården där AI har visat sig vara mycket bättre på att upptäcka vissa sjukdomar just för att de kan analysera mycket mer data än en människa kan.
Blir det skillnader i de normativa kraven på AI i beslutsfattande beroende på hur AI används i beslutsfattandet och till vilka beslut?
– Ja, det tror jag. Om man tänker på lagstiftning som det mest robusta fallet av beslut, så har jag väldigt svårt att se hur AI ska kunna stifta lagar på ett demokratiskt legitimt sätt. Sedan är det en fallande skala mot policyskapande ner till mer administrativa beslut där AI används redan idag. En arbetshypotes vi har i projektet är att olika former av beslutsfattande kan komma att involvera olika normativa kriterier på legitimitet.
Tror du att det behövs någon form av lagstiftning som reglerar AI-användningen inom offentligt beslutsfattande?
– Ja. Utmärkande för AI är att utvecklingen är i väldigt få händer. Det är icke-statliga ekonomiska aktörer med mycket makt som driver på, vilket ställer stora krav på styrning och lagstiftning. Den reglering som finns hittills kan mestadels beskrivas som så kallad “soft law”. De senaste åren har det formulerats hundratals dokument av olika aktörer och företag där viktiga normer kring AI-etik nämns, men det är oklart vad de egentligen innebär. En fara när det finns mängder med “soft law” är att det kan ge ett falskt intryck av att vi demokratiserar beslutsfattandet, för att vi betonar demokratiska värden, såsom transparens, inklusion och ansvarighet, i dessa riktlinjer, medan det motsatta kanske är fallet. I ett tidigare AI-projekt har vi tittat på förhandlingarna kring det största exemplet på kommande lagstiftning om AI, EUs AI-act. Där har vi sett att det är påtagligt att företagen arbetar för att lagstiftningen ska vara så avslappnad som möjligt. När det väl kommer till kritan så vill de ha så få lagar kring AI som möjligt.
Vad vi pratar om här är alltså reglering av AI som helhet, inte enbart reglering kring när AI används i beslutsfattande?
– Det stämmer. För att avgöra om beslutsfattande av AI är legitimt, måste vi också titta på regleringen av AI som helhet. Man kan inte bara titta på enskilda beslut, utan måste fråga sig vad målet med AI i samhället över huvud taget ska vara. Vilka beslut om AI anser vi är politiska frågor som bör beslutas kollektivt? Det handlar om kontroll över den politiska agendan. Här tror jag att alla vi medborgare måste få mer kunskap och bli mer medvetna.
I projektet ingår också: Emma Engström, teknologie dr., Moa Bursell, docent i sociologi, Karim Jebari, filosof, Niklas Möller, filosof och Markus Furendal, statsvetare.
Läs mer om projektet här: Automatiserad politisk makt: Hur träffsäker, kvalitetssäkrad, accepterad och legitim är användningen av AI i den offentliga sektorn?
