Det er et rigtig godt spørgsmål, for retfærdighed er ikke en fast størrelse, som man bare kan måle med en lineal. Når vi taler om algoritmer, forsøger man at løse dette ved at bruge matematiske definitioner på retfærdighed. Man kigger typisk på, om resultatet er ens for forskellige grupper, for eksempel uanset køn eller etnicitet.
Da værdier ændrer sig fra land til land, findes der ikke én universel løsning. I stedet arbejder forskere med forskellige modeller. Nogle modeller fokuserer på lighed i udfald, mens andre fokuserer på lighed i muligheder. Man måler det ofte ved at kontrollere for skævheder i de data, som algoritmen er trænet på.
I praksis betyder det, at udviklere skal være meget opmærksomme på deres valg. Man kan ikke fjerne menneskelige værdier helt, men man kan bruge statistiske værktøjer til at tjekke, om algoritmen diskriminerer systematisk. Det kræver en løbende proces, hvor man tester systemet mod de specifikke normer, der gælder i det samfund, hvor teknologien skal bruges.
