For at udvikle metrikker, der kan måle social retfærdighed på linje med statistiske mål som præcision og recall, må man integrere sociologiske rammeværk i de matematiske optimeringsmodeller. I stedet for blot at måle fejlrater over hele populationen, skal man dekomponere fejlene i subgrupper baseret på beskyttede attributter som køn, etnicitet eller alder.
En effektiv tilgang er at anvende begrebet 'Fairness Metrics' inden for machine learning. Her kan man benytte teknikker som 'Equalized Odds' eller 'Demographic Parity'. Disse metrikker måler diskrepansen i præcision og recall på tværs af forskellige grupper. Ved at beregne variansen i fejlrater mellem disse grupper, kan man skabe en score for ulighed, der er teknisk konsistent med klassiske performance-mål.
For at bevare den tekniske nøjagtighed må man undgå at se retfærdighed som en isoleret parameter. Man bør i stedet anvende 'multi-objective optimization', hvor algoritmen trænes til at maksimere både nøjagtighed og lighed samtidigt. Ved at inkludere en straf-funktion for ulighed i modellens loss-funktion, sikrer man, at den matematiske model optimerer for retfærdighed uden at kompromittere den overordnede præcision drastisk.
