Spørgsmålet om ansvar ved autonome systemer er et af de mest komplekse emner inden for moderne jura og etik. Når en AI agerer på en måde, som hverken udvikler eller bruger kunne forudse, opstår der et såkaldt ansvarshul. Traditionelt hviler ansvaret på menneskelig uagtsomhed, men autonomi udfordrer denne logik.
Juridisk set bevæger vi os mod en model baseret på produktansvar. Her fokuserer man ikke nødvendigvis på, om programmøren har begået en fejl, men om det færdige produkt har en defekt, der gør det farligt. EU arbejder løbende på AI-forordninger, der skal sikre, at der altid er en juridisk enhed, der kan holdes ansvarlig, ofte gennem obligatoriske ansvarsforsikringer for de virksomheder, der implementerer systemerne.
Etisk set foreslår mange eksperter en tilgang baseret på risikostyring og menneskeligt tilsyn. Selvom teknologien er autonom, skal der være etableret rammer for menneskelig kontrol. Ansvaret placeres derfor ofte hos den instans, der har den økonomiske og operationelle kontrol over systemet. Ved at kræve gennemsigtighed og omfattende testning forsøger man at mindske usikkerheden og sikre, at ofre for fejl kan få kompensation, selv når teknologien har handlet uforudsigeligt.
