Hvordan sikrer man egentlig, at de algoritmer, vi bruger, ikke bliver fordomsfulde på grund af de data, de er blevet trænet på?
Det er et meget relevant spørgsmål, for algoritmer er ikke klogere end de data, de får til rådighed. Hvis de data, man bruger til træning, indeholder menneskelige fordomme eller skævheder, vil algoritmen ofte gentage og endda forstærke disse mønstre. Det kalder vi for bias.
For at kontrollere dette bruger man flere forskellige mekanismer. Først og fremmest laver man en grundig undersøgelse af datasættet for at se, om visse grupper er underrepræsenteret eller fejlagtigt præsenteret. Man bruger statistiske værktøjer til at måle, om algoritmen giver forskellige resultater for forskellige typer mennesker, selvom det ikke burde være tilfældet. Under selve træningen kan man bruge teknikker, der aktivt straffer algoritmen, hvis den begynder at vælge baseret på uretfærdige faktorer som køn eller etnicitet. Man foretager også løbende audits, hvor man tester systemet med nye data for at sikre, at det stadig opfører sig retfærdigt over tid. Det er altså en konstant proces med overvågning, testning og justering, som kræver både teknisk ekspertise og et skarpt fokus på etik for at sikre, at teknologien fungerer fair for alle brugere.
