Grænsen mellem hjælp og manipulation findes i brugerens autonomi. Når en AI fungerer som terapeutisk støtte, arbejder den mod brugerens langsigtede trivsel. Her er målet at styrke individets egen mestringsevne gennem evidensbaserede metoder som f.eks. kognitiv adfærdsterapi (CBT). Brugeren bevarer kontrollen over egne beslutninger, og systemet agerer som et spejl eller en guide.
Kinesisk regulering af generativ AI fokuserer derimod på at forhindre algoritmer i at udnytte menneskelige sårbarheder. Emotionel manipulation opstår, når teknologien bruger affektive triggere til at skabe afhængighed eller ændre brugerens adfærd på en uigennemsigtig måde. Hvis en AI bruger kunstigt genererede følelsesmæssige bånd til at fastholde brugeren i et loop – uanset om det handler om forbrug eller politisk overbevisning – bevæger vi os over i det ulovlige territorium. Det handler om hensigt og kontrol.
Juridisk kan man skelne via gennemsigtighed. Ved legitim støtte er algoritmens formål deklareret og forståeligt. Ved manipulation er mekanismerne skjulte. Etisk set handler det om, hvorvidt AI'en styrker brugerens handlekraft eller underminerer den ved at spille på dopamin-responser og dybe følelser. Autonomi er det afgørende kriterium.
