Når AI-systemer anvendes til kritiske beslutninger i sundhedsvæsenet, er det afgørende at opretholde princippet om menneskeligt tilsyn. Juridisk set fungerer AI i øjeblikket som et beslutningsstøtteværktøj frem for en selvstændig beslutningstager. Det betyder, at det lægefaglige ansvar forbliver hos den behandlende læge, som skal foretage den endelige kliniske vurdering baseret på både AI-output og patientens specifikke kontekst.
For at imødekomme udfordringen med uigennemskuelige algoritmer, også kaldet black box-problematikken, arbejdes der intensivt med Explainable AI (XAI). XAI har til formål at gøre modellernes ræsonnement mere forståeligt for sundhedspersonalet, så de kan validere beslutningsgrundlaget. Etisk ansvarlighed sikres gennem strenge regulatoriske rammer som EU's AI Act, der stiller krav om gennemsigtighed, sporbarhed og menneskelig overvågning ved højrisiko-AI.
Praktisk implementering kræver derfor robuste rammeværk for datakvalitet og kontinuerlig monitorering af algoritmisk bias. Ved at kombinere tekniske krav om forklarlighed med klare juridiske retningslinjer for ansvar, forsøger man at skabe en sikker balance mellem teknologisk innovation og patientsikkerhed i det moderne sundhedsvæsen.
