Når en autonom algoritme træffer beslutninger, som intet menneske kan efterprøve, opstår der et såkaldt 'black box'-problem. Det udfordrer den klassiske ansvarsret, hvor vi normalt leder efter en menneskelig fejl eller uagtsomhed. Hvis en AI i en kommune fejlagtigt afviser en ydelse, er det ikke nødvendigvis nok at pege på koden.
Løsningen ligger sandsynligvis i en overgang fra skyldbaseret ansvar til et objektivt ansvar. Det betyder, at den instans, der implementerer teknologien – f.eks. den offentlige myndighed – bærer det fulde ansvar over for borgeren, uanset om fejlen skyldes en uforudsigelig logik i OpenAI's model. Borgeren skal ikke kæmpe mod komplekse matematiske modeller; de skal blot have ret. Herefter kan myndigheden søge regres hos teknologileverandøren gennem de kommercielle kontrakter.
EU's kommende AI Liability Directive og AI Act er centrale her. Disse regler forsøger at lette bevisbyrden for skadelidte. Hvis systemet er højrisiko, og dokumentationen er mangelfuld, kan der opstå en formodning om kausalitet. Det er ikke borgerens opgave at forklare neurale netværk. Det er systemets ejeres opgave at sikre, at de kan stå til regnskab for de konsekvenser, deres værktøjer skaber.
