Med 60 forskellige overvågningsalgoritmer angriber det danske velfærdssystem de mennesker, som systemet ellers er sat i verden for at hjælpe. Det konkluderer Amnesty International i en ny rapport.
Udbetaling Danmark, som står for udbetaling af en række offentlige ydelser, bruger kunstig intelligens i jagten på social svindel.
I mere end to år har Amnesty International undersøgt Udbetaling Danmarks brug af denne kunstige intelligens. Det har mundet ud i rapporten “Coded Injustice: Surveillance and Discrimination in Denmark’s Automated Welfare State“.
Masseovervågningen har skabt et socialt ydelsessystem, der risikerer at gå målrettet efter de mennesker, som det var meningen, systemet skulle beskytte
Hellen Mukiri-Smith, Amnesty Internationals researcher på kunstig intelligens
I rapporten konkluderer Amnesty, at brugen af kunstig intelligens fører til, at myndighederne i realiteten masseovervåger og snager i millioner af danske borgeres privatliv.
Derudover er der risiko for, at systemet diskriminerer for eksempel mennesker med handicap, flygtninge og migranter samt andre udsatte grupper i jagten på muligt socialt bedrageri.
Masseovervågning afkoblet fra virkeligheden
Kontrollen med de sociale ydelser har Udbetaling Danmark overladt til ATP Koncernen, som Udbetaling Danmark er en del af.
ATP har fået hjælp af flere private firmaer, herunder it-virksomheden NNIT, til at udvikle de algoritmer, som den kunstige intelligens bygger på.
Den kunstige intelligens bruger 60 forskellige algoritmer til at opdage svindel med sociale ydelser og udpege folk, som myndighederne undersøger nærmere. I arbejdet med rapporten har Amnesty International fået delvis indsigt i fire af algoritmerne.
Algoritmerne indsamler store mængder data fra offentlige databaser med millioner af danskere.
Dataene omfatter oplysninger om opholdsstatus, statsborgerskab, fødested og familieforhold – følsom information, som i sidste ende kan fortælle noget om en persons race, etnicitet eller seksuelle orientering.
“Denne voldsomme overvågningsmaskine bruges til at dokumentere og opbygge et panoramabillede af en persons liv, som ofte er afkoblet fra virkeligheden. Den sporer og overvåger, hvor en ansøger om sociale ydelser bor, arbejder, vedkommendes rejsehistorie, sundhedsjournaler og endda deres bånd til udlandet,” fortæller Hellen Mukiri-Smith, der er Amnesty Internationals researcher på kunstig intelligens.
”Pistolen peger altid på os”
Personer, som Amnesty International har interviewet, beskriver, hvordan de oplever psykisk belastning ved at blive udsat for overvågning af blandt andet sagsbehandlere.
Mennesker med handicap føler sig deprimerede og føler, at den konstante kontrol “æder” dem op, når de konstant bliver afhørt af sagsbehandlere. Det fortæller Gitte Nielsen, der er formand for Social- og Arbejdsmarkedspolitisk Udvalg i Dansk Handicap Forbund.
En interviewperson beskriver følelsen af at blive efterforsket sådan her: “Det er som at sidde for enden af pistolen. Vi er altid bange. Det er som om, at pistolen peger på os.”
Og Hellen Mukiri-Smith fra Amnesty International siger:
“Masseovervågningen har skabt et socialt ydelsessystem, der risikerer at gå målrettet efter de mennesker, som det var meningen, systemet skulle beskytte.”
Det er som at sidde for enden af pistolen. Vi er altid bange
Interviewperson
Ifølge Udbetaling Danmark er den omfattende indsamling og sammenlægning af personoplysninger “lovligt begrundet”.
Amnestys research viser dog, at de enorme mængder data, der indsamles og behandles, hverken er nødvendige eller kan forsvares med det udbytte, myndighederne får ved at opdage eventuel svindel.
Diskriminerende algoritmer
Udover masseovervågning er der risiko for diskrimination, fordi algoritmerne bygger på allerede eksisterende uligheder i det danske samfund.
For at fange mulig svindel med sociale ydelser i for eksempel pensions- og børnepasningsordninger anvender myndighederne en algoritme for, om en person virkelig er single til at forudsige vedkommendes familie- eller forholdsstatus.
Algoritmen ser blandt andet efter “usædvanlige” eller “atypiske” levemønstre eller familiearrangementer.
“Mennesker i utraditionelle levevilkår – såsom personer med handicap, der er gift, men som bor adskilt på grund af deres handicap; ældre mennesker i parforhold, der bor adskilt; eller folk, der bor flere generationer under samme tag, hvilket familier af anden etnisk herkomst ofte gør – er alle i fare for at blive udtaget til yderligere efterforskning af algoritmen,” fortæller Hellen Mukiri-Smith.
Også folk med muligt udenlandsk tilhørsforhold kommer i algoritmernes søgelys.
En af algoritmerne identificerer modtagere af sociale ydelser, som har bånd til lande uden for de europæiske EØS-lande, og udtager disse grupper til yderligere undersøgelser. Noget, som Amnesty Internationals research finder diskriminerende.
Ulovligt ifølge EU?
Forskellige internationale menneskerettighedstraktater, EU-love og national lovgivning forpligter Danmark til at sikre privatliv, databeskyttelse, ytringsfrihed, lighed og ikke-forskelsbehandling.
“De oplysninger, som Amnesty International har indsamlet og analyseret, tyder på, at systemet, der bruges i jagten på socialt bedrageri, fungerer som et slags scoringssystem, hvilket er ulovligt under den nye EU-lov om kunstig intelligens,” siger Hellen Mukiri Smith og fortsætter:
”De danske myndigheder skal omgående implementere et klart og juridisk bindende forbud mod brug af data relateret til udenlandsk tilhørsforhold. De skal også sikre robust gennemsigtighed og tilstrækkeligt overblik i udviklingen og implementeringen af algoritmerne til svindelkontrol.”
”Den måde, det danske automatiserede velfærdssystem fungerer på, udhuler den enkeltes privatliv og underminerer den menneskelige værdighed. Ved at implementere algoritmer og traditionelle overvågningsmetoder til at identificere svindel med sociale ydelser, muliggør myndighederne en digitaliseret masseovervågning.”