Spørgsmålet om ansvar for autonome AI-agenter er et af de mest komplekse områder inden for moderne jura og etik. Juridisk set bevæger lovgivningen sig mod en model, hvor producentansvaret spiller en central rolle. Hvis en AI-agent forårsager skade på grund af mangelfuld programmering, utilstrækkelig træning eller utilstrækkelige sikkerhedsforanstaltninger, kan udvikleren blive holdt ansvarlig under eksisterende produktansvarsregler.
EU's kommende AI-forordning (AI Act) og det foreslåede AI-ansvarsdirektiv er afgørende her. Disse rammeværk lægger vægt på risikostyring. Udviklere af højrisiko-AI har en streng pligt til at sikre, at systemerne er gennemsigtige, robuste og underlagt menneskeligt tilsyn. Hvis en virksomhed ikke har implementeret de nødvendige værn mod uforudsete handlinger, kan det udgøre uagtsomhed.
Etisk set bærer virksomhederne et omfattende ansvar for at forhindre utilsigtede konsekvenser. Dette indebærer en forpligtelse til at designe systemer med indbyggede etiske barrierer og sikre, at agentens beslutningsprocesser er sporbare. Selvom agenten handler uden direkte instruktion, anses den tekniske arkitektur som værende virksomhedens produkt, hvilket placerer det ultimative ansvar for systemets opførsel hos de skabende parter.
