Der findes ingen universel formel for tilstrækkeligt menneskeligt tilsyn, da behovet afhænger af systemets kritikalitet og risikoen for diskrimination. Man definerer typisk tilstrækkeligt tilsyn ud fra princippet om meningsfuld kontrol, hvor mennesket har den faktiske mulighed for at intervenere, forstå beslutningsgrundlaget og omstøde fejlbehæftede output.
Måling af tilsynets effektivitet sker ofte gennem en kombination af kvantitative og kvalitative metoder. Kvantitativt kan man måle på fejlretningsrater, hvor ofte et menneske korrigerer en biased algoritme, samt på diversiteten i de menneskelige kontrollører. Kvalitativt måles der på kontrollørernes forståelse af algoritmens logik og deres evne til at identificere subtile mønstre af bias, som automatiserede tests overser.
For at sikre, at tilsynet rent faktisk modvirker bias, bør man implementere løbende monitorering af både systemets output og de menneskelige beslutningsprocesser. En effektiv metode er at sammenligne algoritmens præcision på tværs af demografiske grupper med den korrigerede præcision efter menneskelig indgriben. Hvis menneskelig intervention ikke statistisk reducerer uligheden i systemets beslutninger, er tilsynet ikke tilstrækkeligt.
