Problemet opstår, fordi de folk, der bygger modellerne, også sidder på definitionen af, hvad der udgør en risiko. Hvis sikkerhed kun handler om tekniske parametre som 'alignment' eller 'model robustness', bliver det et lukket teknokratisk spørgsmål. Så mister vi muligheden for at diskutere de sociale og politiske konsekvenser af teknologien.
For at bryde dette monopol skal vi flytte fokus fra ren matematik til samfundsmæssig påvirkning. Det kræver, at vi inkluderer sociologer, etikere og rettighedsorganisationer i de organer, der udformer reguleringen. Vi kan ikke nøjes med at spørge ingeniørerne, om systemet virker; vi skal spørge borgerne, hvilke samfundsmæssige værdier de vil beskytte.
Praktisk betyder det, at vi har brug for uafhængige tilsynsmyndigheder med mandater til at udføre audits, der ikke kun kigger på kildekode. Vi skal kræve gennemsigtighed omkring træningsdata og de beslutningsprocesser, der ligger bag de etiske valg i algoritmerne. Ved at lovgive om, at sikkerhed også omfatter lighed og demokratisk deltagelse, tvinger vi teknologigiganterne væk fra deres isolerede tekniske diskurs og ind i det offentlige rum.
