Det er en kritisk pointe, da statistiske metoder kun måler præcisionen af den logik, de er fodret med. Hvis dit testdatasæt lider af systemisk skævhed, vil krydsvalidering blot bekræfte, at modellen er god til at reproducere netop denne skævhed. En høj F1-score kan derfor give en illusion af succes, selvom modellen diskriminerer mod bestemte demografiske grupper.
For at modvirke dette bør man implementere følgende tiltag:
- Disaggregeret evaluering: Beregn ikke kun overordnede metrics, men opdel dine målinger på undergrupper (f.eks. køn, alder eller etnicitet) for at afsløre uligheder i præcisionen.
- Fejlanalyse: Foretag manuelle kvalitative undersøgelser af de fejl, modellen begår. Er fejlene systematisk koncentreret omkring specifikke kulturelle karakteristika?
Man bør desuden inddrage domæneeksperter og etikere i selve definitionen af succesparametre. Det handler om at forstå, hvad modellen rent faktisk optimerer efter. Ved at kombinere kvantitative metrics med en kritisk gennemgang af datagrundlagets repræsentativitet kan man mindske risikoen for, at teknisk optimering bliver til systemisk uretfærdighed.
