Når teknologien fejler, rammer det direkte ned i et komplekst krydsfelt mellem jura og medicinsk etik. Juridisk set lander ansvaret som udgangspunkt hos den behandlende læge. Selvom algoritmen har leveret inputtet, betragtes AI’en blot som et beslutningsstøtteværktøj. Det betyder, at lægen bærer det endelige kliniske ansvar for diagnosen og behandlingsplanen. Hvis lægen ukritisk har stolet på maskinen uden at foretage en selvstændig vurdering, kan det anses for en lægefaglig fejl.
Producenten af softwaren kan dog blive draget til ansvar under produktansvarsloven, hvis fejlen skyldes en systemisk defekt eller mangelfuld træning af modellen. Her flyttes fokus fra den menneskelige fejl til den tekniske svigt. Det skaber en gråzone, hvor det kan være svært at bevise, om fejlen lå i koden eller i lægens fortolkning.
Etisk set opstår der et problem med gennemsigtighed. Mange AI-modeller fungerer som ”sorte bokse”, hvor man ikke kan se, hvorfor systemet når frem til et specifikt resultat. Det udfordrer lægens mulighed for at udøve informeret samtykke, da man reelt ikke kan forklare patienten, hvordan maskinen har tænkt. Det lægger et tungt pres på lægens evne til at bevare sin autonomi i et teknologidrevet miljø.
