Ny rapport: Kunskapsbrister om AI innebär risk för diskriminering

DO:s rapport består av två delar, dels en forskningsöversikt över befintlig forskning på området risker för diskriminering som användandet av AI och annat automatiserat beslutsfattande kan medföra. Dels ingår en forskningsbaserad undersökning med 100 stora arbetsgivare och 10 rekryteringsföretag om i vilken utsträckning och i vilka sammanhang som arbetsgivare använder sig av teknikerna och vilken kunskapsnivå arbetsgivare har om risker för diskriminering.

Rapporten visar att risker för diskriminering kan uppkomma eftersom den data som AI-system tränas på återspeglar historiska och befintliga ojämlikheter och grupprelaterade skillnader i arbetslivet. Samtidigt visar undersökningen att det är få arbetsgivare som känner till att de redan idag använder sig av AI och annat automatiserat beslutsfattande. Resultaten visar också att användare riskerar att bli mindre noggranna och kritiska när de använder sig av teknikerna genom att acceptera utfallet av systemen som något neutralt, objektivt och värderingsfritt. Bristande transparens och möjlighet till granskning är en annan utmaning. Stora företag med rekryteringsbehov upphandlar till exempel delar av rekryteringsföretag som i sin tur använder sig av datadrivna digitala tjänster ägda av globala teknikbolag som automatiserar matchning. Detta kan försvåra transparens och möjlighet till granskning vilket kan leda till risker för diskriminering.

–Rapporten visar alltså att det finns en risk för att AI används utan att arbetsgivare och beslutsfattare förstår hur eller att de använder sådana system. Både AI-användare och AI-utvecklare måste ta ett ansvar för att förebygga risker för diskriminering. Utan möjlighet till ansvarsutkrävande riskerar felaktiga eller diskriminerande AI-system att inte upptäckas och åtgärdas och det kan få allvarliga konsekvenser för den enskilde. säger Ann Frisell ansvarig utredare för DO:s rapport.

Rapportens forskningsöversikt visar att det finns stora forskningsluckor om risker för diskriminering vid användandet av AI och annat automatiserat beslutsfattande i arbetslivet.