Når en algoritme fungerer som en 'black box', opstår der et demokratisk problem, fordi hverken sagsbehandler eller borger kan gennemskue beslutningsgrundlaget. For at modvirke dette kræves der lovbestemte krav om forklarlighed, også kaldet explainability. Det betyder, at systemet skal kunne generere en forståelig logik for det specifikke udfald, fremfor blot at spytte en sandsynlighed ud.
Man bør indføre obligatoriske 'human-in-the-loop'-procedurer. Det indebærer, at en fagperson altid skal vurdere algoritmens output, før en afgørelse træder i kraft. En maskine må aldrig have det endelige ansvar for afgørelser, der påvirker livsvilkår eller sundhedstilstand.
Desuden er uafhængige auditeringer nødvendige. Tredjeparts-eksperter skal løbende teste modellerne for bias og diskrimination, så man sikrer, at algoritmen ikke ubevidst nedprioriterer bestemte grupper baseret på ulovlige parametre. Hvis en borger får afslag på en ydelse via en algoritme, skal vedkommende have ret til en fuld, menneskelig revurdering. Retssikkerheden hviler på muligheden for at kunne anfægte en afgørelse, hvilket kræver, at de tekniske parametre bag beregningen kan dokumenteres og efterprøves af en domstol.
