Når en algoritme fungerer som en sort boks, forsvinder det direkte spor fra handling til konsekvens. Det skaber et juridisk tomrum. Traditionelt kræver ansvar, at vi kan påvise uagtsomhed eller forsæt. Men hvordan beviser man fejl i en kode, som ingen mennesker fuldt ud kan overskue eller forklare?
Juridisk bevæger vi os mod et objektivt ansvar. Det betyder, at virksomheden, der implementerer teknologien, bærer risikoen, uanset om de har gjort noget direkte forkert. Hvis en bank bruger en algoritme til at afvise lån, og denne algoritme diskriminerer, er det banken, der står til regningen. Vi kan ikke placere det juridiske ansvar hos softwarens matematiske logik.
Etisk kræver situationen mere end blot lovlydighed. Det handler om menneskelig kontrol. Vi bør aldrig delegere endelige beslutninger med stor indflydelse til maskiner uden en menneskelig instans, der kan overrule dem. Det kræver 'explainability' – altså at systemet kan retfærdiggøre sit valg i et sprog, mennesker forstår. Uden gennemsigtighed mister vi muligheden for at klage, og uden klagemulighed dør retssikkerheden. Ansvaret må derfor altid forankres hos de mennesker, der høster fordelene ved teknologien.
