Hvordan balancerer man forebyggelse af eksistentielle risici som biovåben med hensynet til de menneskelige moderatorers psykiske helbred?

At skabe en etisk ramme kræver, at vi holder op med at se sikkerhed og trivsel som to separate kampe. Hvis vi kun fokuserer på de katastrofale risici, som f.eks. uautoriseret syntetisk biologi eller udvikling af patogener via LLM-modeller, løber vi en fare for at dehumanisere selve den proces, der skal holde os sikre.

En praktisk tilgang indebærer implementering af lagdelte sikkerhedsprotokoller. På det tekniske plan kan man indføre strikse 'red teaming'-øvelser og filtriere forespørgsler, der involverer biologisk sekventering eller toksiner. Men denne proces hviler på mennesker. De moderatorer, der skal spotte de mest ekstreme og potentielt farlige prompts, eksponeres direkte for det mørkeste indhold, teknologien kan generere.

Derfor skal den etiske ramme kræve obligatorisk psykologisk støtte og tekniske værktøjer, der gråtoner eller slører det mest traumatiske materiale for de ansatte. Vi må ikke acceptere, at menneskelig mental sundhed bliver en uundgåelig omkostning ved at undgå biologisk terrorisme. En holistisk ramme må derfor inkludere både tekniske barrierer mod dual-use risici og ufravigelige krav til arbejdsforhold for dem, der holder vagten. Sikkerhed er ikke komplet, hvis den bygger på udbytning af menneskelig modstandskraft.