AI är enkelt men kvalitet svårt
Minna Leijonhufvud höll en uppskattad föreläsning om AI och kvalitet på vår senaste meetup. Under det senaste året har hon deltagit i AI Swedens Young talent-program, och en av spaningarna hon delade med sig av var att konsulter som jobbar med test och kvalitet kan tillföra mycket värde om de kan utvärdera styrkor, svagheter och begränsningar i AI-modeller.
AI Sweden är en organisation som arbetar för att främja användningen av AI-teknik för att skapa nytta för samhället på olika sätt. AI öppnar upp för stora effektiviseringar, och Sverige behöver dra nytta av tekniken i allt från att klara välfärd och klimatmål, till att företag ska säkra konkurrenskraft på en global marknad. Under året i Young Talent-programmet gjorde Minna Leijonhufvud ett projektarbete på räddningstjänsten i Göteborg där hon skapade en riskmodell baserad på befolkningsdata som skulle användas för att förutse risk för brand.
— I många fall behöver man inte använda särskilt komplicerad eller revolutionerande teknik, utan det handlar om att hitta bra tillämpningar för den teknik som redan finns tillgänglig för oss, säger Minna.
Kraftfulla modeller kräver god kravställning och kvalitetssäkring
Minna berättar att det är lätt att använda AI, färdigbyggda modeller finns online, och vem som helst kan göra sitt första AI-projekt på en laptop på en eftermiddag. Det svåra är att veta vilken modell som ska användas i vilket sammanhang, och att kvalitetssäkra data och resultat. För att en AI-modell ska vara användbar behöver den matas med data som ger en enhetlig bild av verkligheten, och den som väljer modellen behöver ha en tydlig förståelse för dess begränsningar.
— Utan rätt kravställning kommer inte en AI-modell leverera bra kvalitet.
Eftersom det inte gå att definiera en perfekt bild av sanningen går det heller inte att förvänta sig att en AI-modell alltid ska generera just ”sanningen” i alla situationer. En AI-modell gissar och ”resonerar” på ett liknande sätt som en människa som problemlöser, men den gör det endast utifrån den uppgift eller uppsättning krav som den är designad för.
— I ett optimalt scenario gissar AI-modellen alltid rätt, men om verkligheten är tvetydig behöver modellen också reflektera det.
Sammanfattningsvis är AI enkelt att använda, men det är svårt är att säkerställa att modellerna genererar användbara resultat. Minna menar att testare och utvecklare har god nytta av att skaffa sig en förståelse för komplexiteten och nyanserna för att kunna implementera och testa kvalitativ AI på ett framgångsrikt sätt.
— Det är så klart inte realistiskt att testare ska ha en fullständig förståelse för AI, och det är därför man har experter. Men för att experten ska kunna kommunicera med kollegorna krävs det att man har en gemensam grund att stå på.