Det er et meget vigtigt spørgsmål, som både jurister og etikere arbejder meget med lige nu. Når vi taler om AI i kritiske situationer som sundhedsvæsenet, er det vigtigste princip, at en AI aldrig er en selvstændig juridisk person. Det betyder, at en maskine ikke kan drages til ansvar for sine fejl på samme måde som et menneske.
Juridisk set ligger ansvaret typisk hos de mennesker eller de institutioner, der bruger teknologien. Hvis en læge eller et hospital bruger et AI-værktøj som støtte, er det stadig det behandlende personale, der har det endelige ansvar for diagnosen og behandlingen. Det kaldes det professionelle ansvar. Hvis AI-systemet derimod har en fejl i selve softwaren, kan ansvaret i nogle tilfælde falde tilbage på producenten af systemet under produktansvarsloven.
Etisk set rejser det store spørgsmål om tillid og gennemsigtighed. Vi skal sikre, at AI bruges som et supplement til menneskelig ekspertise og ikke som en erstatning. Det er afgørende, at beslutninger altid kan efterprøves af et menneske, så man sikrer, at teknologien hjælper patienten uden at skabe nye risici gennem ukontrollerede automatiske beslutninger.
