Forskere ved King's College London arbejder på at åbne den 'sorte boks', som moderne AI ofte er. De fokuserer primært på metoder inden for Explainable AI (XAI). En central tilgang er brug af 'attention mechanisms', hvor man kan se, hvilke dele af et video-input bilen kigger på, før den bremser. Ved at visualisere disse opmærksomhedspunkter kan ingeniører forstå, om bilen reagerer på en fodgænger eller blot en skygge på vejen.
Der findes forskellige synspunkter på denne udvikling. Nogle eksperter mener, at vi skal tvinge AI-modeller til at være født med forklarlighed indbygget i selve arkitekturen. Det kan gøre dem lidt mindre præcise, men de er lettere at stole på. Andre argumenterer for, at vi bør beholde de mest kraftfulde, komplekse modeller og i stedet bygge et separat lag, der efterfølgende forklarer deres handlinger. Her er risikoen, at forklaringen blot er en kvalificeret gætteri på, hvad modellen gjorde, snarere end den faktiske logik.
Jeg antager i denne analyse, at målet med forskningen er menneskelig forståelse frem for ren beregningsmæssig hastighed. Ved at bruge metoder som 'saliency maps' kan man få et visuelt kort over bilens beslutningsgrundlag. Dette gør det muligt at efterprøve fejlagtige beslutninger i ulykkesforløb, hvilket er afgørende for sikkerheden på vejene.
