For at forhindre at en AI forfølger et matematisk mål på bekostning af menneskelig sikkerhed, kræves der flere lag af kontrol. Det handler ikke kun om ét nødstop, men om et hierarki af begrænsninger.
Først skal vi implementere 'hard constraints' direkte i modellens arkitektur. Det betyder, at visse handlinger slet ikke er tilladt, uanset hvor meget de optimerer for det ønskede resultat. Vi kan indbygge regelbaserede filtre, der fungerer som en uafhængig vagthund. Hvis AI'en foreslår en handling, der bryder en etisk eller sikkerhedsmæssig protokol, afbrydes processen øjeblikkeligt af et system, der ikke er trænet til at optimere, men udelukkende til at kontrollere.
Et andet element er 'human-in-the-loop'. Her kræver systemet eksplicit menneskelig godkendelse, før kritiske beslutninger eksekveres. Dette skaber en naturlig barriere mod uforudsete logiske eskaleringer. Vi kan også anvende 'reward shaping', hvor belønningsfunktionen straffer afvigelser fra menneskelige præferencer hårdere end den belønner målopnåelse. Det gør det matematisk ufordelagtigt for agenten at tage genveje, der skader os. Ved at kombinere disse tekniske barrierer skaber vi et sikkerhedsværn, der holder algoritmen inden for de rammer, vi har sat.
