Hvordan overvåger man teknisk set AI-systemer i rekruttering for at sikre, at de ikke diskriminerer bestemte grupper?
For at sikre, at et AI-system ikke udvikler bias eller diskriminerer i en rekrutteringsproces, kræver det en løbende teknisk overvågning. I praksis betyder det, at man opsætter automatiserede systemer, der konstant analyserer de beslutninger, algoritmen træffer, og sammenligner dem med de data, man har indsamlet om ansøgerne.
En vigtig metode er statistisk overvågning af udfaldene. Man kigger for eksempel på, om systemet systematisk fravælger bestemte køn, aldre eller etniciteter. Hvis statistikken viser en skævhed, der ikke kan forklares af kvalifikationer, udløser det en alarm. Dette kaldes ofte for fairness metrics, som er matematiske målinger af retfærdighed. Derudover laver man regelmæssige audits, hvor man tester systemet med fiktive profiler. Man kan for eksempel sende to identiske ansøgninger igennem, hvor kun navnet eller kønnet er ændret, for at se om resultatet bliver det samme. Denne kombination af realtidsmålinger og regelmæssige test gør, at man hurtigt kan opdage fejl og rette dem, før de skaber problemer i den virkelige verden.
