De fire søjler i pålidelig AI – og hvem der ejer dem

Galen Low: Hvad er tillid inden for engineering, og hvordan fører det til sikre AI-løsninger og -oplevelser?

Cal Al-Dhubaib: Det er et fælles kommunikationsværktøj, der hjælper forskellige roller, som samarbejder om design og udbredelse af AI-løsninger, med at tale mere produktivt om at bevare tillid. Der var behov for en fælles måde, hvorpå alle disse mennesker kunne tale om det samme og have en tilsvarende forståelse af, hvordan tillid kan krænkes med AI, samt hvilke værktøjer der kan bruges til at beskytte mod det.

Galen Low: Hvordan kan et projektteam dele ansvaret for at indbygge tillid i deres løsninger og undgå fingerpegning?

Cal Al-Dhubaib: En interessant ting ved ansvarlighed er, at hvis det er alles ansvar, ejer ingen det. Derfor har man i sidste ende brug for en person, der ejer dette aspekt. Vi har faktisk udpeget en sådan person til hvert af disse AI-projekter, så vi kan sikre, at vi stiller de rigtige spørgsmål.

Galen Low: Hvor lang tid tror du, der går, før AI forstår menneskers begreb om tillid bedre end mennesker gør?

Cal Al-Dhubaib: Jeg synes virkelig, at definitionen af AI er meget cirkulær. Hvordan kan AI forstå tillid bedre end mennesker? Det ved jeg ikke, men også—

Galen Low: Velkommen til The Digital Project Manager-podcasten – programmet, der hjælper ledere med ansvar for leverancer med at arbejde smartere, levere mere gnidningsfrit og lede deres teams med selvtillid i AI-alderen. Jeg hedder Galen, og hver uge dykker vi ned i strategier fra den virkelige verden, nye tendenser, gennemprøvede rammer og lejlighedsvise historier fra projektfrontlinjen. Uanset om du styrer store transformationsprojekter, håndterer AI-arbejdsgange eller bare forsøger at holde kaos under kontrol, er du kommet til det rette sted. Lad os gå i gang.

I dag taler vi om, hvordan tillid kan bygges ind i AI-drevne oplevelser, hvorfor det er så vigtigt for organisationer, der lancerer AI-løsninger i regulerede brancher, og hvilken rolle projektteamet – især projektlederen – spiller i at skabe denne tillid.

Med mig i dag har jeg Cal Al-Dhubaib, chef for AI og datavidenskab hos Further, en virksomhed, der hjælper med at transformere kundeoplevelser ved hjælp af data og AI. Cal er ekspert i AI og datavidenskab, iværksætter, flittig foredragsholder og ny vært for Open Data Science-podcasten. Han bruger sin dybe erfaring med datavidenskab til at hjælpe organisationer med at bygge bro mellem AI-innovation og etisk ansvar, så deres AI-udrulninger stemmer overens med deres værdier og mål.

Hans arbejde i Cleveland-teknologisektoren har også ført til, at Cal er blevet anerkendt som en af Crane Clevelands 20 bedste i tyverne, en bemærkelsesværdig immigrantleder og en bemærkelsesværdig teknologichef, samtidig med at han er fire gange vinder af Cleveland Smart 50 Awards.

Cal, mange tak fordi du vil være med i dag.

Cal Al-Dhubaib: Galen, tak fordi du inviterede mig. Jeg glæder mig til samtalen.

Galen Low: Det gør jeg også. Jeg har virkelig sat pris på vores samtaler op til dette. Du ved virkelig, hvad du taler om. Du har været rundt på konferencerne. Tillykke med at blive vært for Open Data Science-podcasten. Du har mange spændende ting i gang.

Jeg ved, at du er dybt involveret i dette og brænder for det, og jeg håber, at samtalen faktisk kommer uventede steder hen. Men for en sikkerheds skyld er her den plan, jeg har skitseret for os i dag. Til at begynde med ville jeg gerne sætte scenen ved at få dit umiddelbare svar på et stort og saftigt spørgsmål, som mine lyttere gerne vil kende svaret på.

Derefter vil jeg udfolde det og tale om tre ting. For det første vil jeg tale om, hvad det vil sige at bygge tillid ind i en AI-løsning, og hvilket ansvar projektteamet har for at opretholde tilliden til de løsninger, de designer. Derefter vil jeg undersøge, hvordan tillid kan måles og revideres, især inden for rammerne af regulerede brancher, men også ud over selve overholdelsen af reglerne.

Til sidst vil jeg gerne høre dit perspektiv på fremtiden, og hvordan vores syn på tillid kan udvikle sig i løbet af de næste par år, efterhånden som vi kollektivt får en bedre forståelse af, hvordan vores data håndteres, og hvad de kan bruges til i AI-alderen. Det var meget. Hvordan lyder det for dig?

Cal Al-Dhubaib: Ja, vi kommer virkelig vidt omkring. Det er ambitiøst, og jeg er klar.

Galen Low: Det elsker jeg. Lad os dykke ned i det. Jeg vil gerne begynde med ét stort og vanskeligt spørgsmål. Et af de store emner, du taler om, er idéen om at bygge tillid ind i AI-løsninger og -oplevelser, især fordi brugere, virksomheder og regulerende organisationer ikke vil tage AI fuldt til sig, hvis de ikke har tillid til, hvad den vil gøre.

Mit vanskelige spørgsmål er derfor dette: Når man bygger og lancerer AI-løsninger, hvem ejer så tillid som et krav til løsningen, og hvad sker der, når denne tillid mangler i en AI-drevet oplevelse?

Cal Al-Dhubaib: Det nemme svar er, at ingen som udgangspunkt ejer det, og det er det store problem. Det er en del af det, jeg forsøger at løse med det kursus om tillidsudvikling, som jeg arbejder på.

Helt ærligt minder det mig om datavidenskabens tidlige dage, hvor en person inden for analyse, IT eller økonomi kunne eje det. Det betød ikke så meget, hvor det var placeret, så længe der var et tydeligt ejerskab af, hvem der var ansvarlig for denne funktion.

Det samme gælder for at bygge tillid ind i AI-løsninger. Hvis det ikke er en del af designprocessen, ender løsningen i sidste ende med en utilsigtet konsekvens. Der mangler ikke eksempler. En af de ressourcer, jeg ofte henviser til, er databasen over AI-hændelser.

Antallet af hændelser er fortsat med at stige år for år. Eksemplerne spænder fra skævheder i kreditkortbeslutninger og brugere, der bliver låst ude af tjenester, til hallucinerede svar, unøjagtige leverancer og fejl i offentlige dokumenter.

Galen Low: Hvad jeg godt kan lide ved eksemplerne, er, at de dækker et spektrum af hændelser. Der er indbygget skævhed, problemer med AI, der får brugeren til at tvivle på sig selv, og problemer med nøjagtighed, hallucinationer, mennesker i løkken og tillid.

Cal Al-Dhubaib: Præcis. Det handler om mere end blot at være gennemsigtig omkring, hvad man gør med data. Det handler om, hvad der gør en løsning pålidelig.

I stærkt regulerede brancher som sundhed, finansielle tjenester og forsvar er etisk og ansvarlig brug af følsomme data ikke kun det rigtige at gøre. Der er også alvorlige konsekvenser ved manglende overholdelse. Derfor taler jeg om tillidsudvikling og om, at kedelig AI ofte er sikker AI.

Nogle gange er den bedste AI mindre AI. Vi arbejdede for eksempel med en uddannelsesinstitution om behandling af studieudskrifter. En sprogmodel kunne opnå omkring 90 procents nøjagtighed, men kunden spurgte med det samme: Hvilke ti procent tager den fejl i? I stedet for at automatisere hele arbejdsgangen undersøgte vi, hvornår AI’en oftest tog fejl, og sendte disse sager til manuel behandling. AI’en håndterede resten.

Det er ikke fuld automatisering, men det automatiserer det, der er sikkert, og øger sandsynligheden for et nøjagtigt resultat. Det er et eksempel på tillidsudvikling i praksis.

Galen Low: Kan du definere tillidsudvikling? Hvad er det, og hvordan fører det til sikre AI-løsninger og -oplevelser?

Cal Al-Dhubaib: Det er et fælles kommunikationsværktøj, der hjælper forskellige roller med at tale mere produktivt om, hvordan tillid bevares. AI-ingeniører ser på statistiske problemer og skadelige skævheder i datasæt. Folk inden for risikostyring og revision ser på organisationens eksponering. Folk inden for styring tænker på, hvordan antagelser dokumenteres. Designere af brugeroplevelser tænker på, hvordan mennesker interagerer med systemet, mens forretningsinteressenter definerer kravene og forretningsproblemet.

Alle disse mennesker har brug for et fælles sprog og en fælles forståelse af, hvordan tillid kan krænkes med AI, samt hvilke værktøjer der kan beskytte mod det.

Galen Low: Det kan jeg godt lide. Det er et fælles sprog og en ramme til at diagnosticere og arbejde sig gennem problemerne. Det gør tillid til en holdsport.

Cal Al-Dhubaib: Ja. Et enkelt eksempel er retfærdighed i en model til optagelse af studerende. Kunden spørger måske, hvordan vi kan bevise, at modellen er retfærdig. Men der findes mange forskellige måder at beregne retfærdighed på. Ingeniøren kan forklare formlerne, men kunden skal definere, hvad retfærdighed betyder for organisationen og dens politik.

Galen Low: AI tvinger os også til at se på praksisser, vi har anvendt i årtier, og spørge, om de faktisk er etiske og retfærdige. Måske har vi truffet beslutninger på automatik. Nu er vi nødt til at definere dem.

Cal Al-Dhubaib: Det kan være meget alvorligt, men det kan også være mere hverdagsagtigt. Generativ AI er ofte så åben, at brugeren kan blive overvældet. Det kan være bedre at begrænse, hvad værktøjet kan bruges til.

Jeg arbejder med fire søjler i tillidsudvikling: forventningsstyring, beslutningsdesign, styring og tillidsinfrastruktur. Det handler om værktøjerne, risikoen, og hvordan man faktisk bygger dette ind i systemet. Hvordan giver man brugerne den rigtige mængde information og de rigtige sikkerhedsforanstaltninger, så de ved, hvordan systemet skal bruges?

Et eksempel er Behr Paints generative oplevelse omkring valg af produkter og farver. Systemet skulle respektere farveteori, stilguider og produkter, der faktisk findes. Det skulle også vide, hvilken rådgivning der var acceptabel. Det kunne hjælpe med at vælge en farve, men hvis samtalen bevægede sig over i formulering, blanding eller påføring af maling, blev brugeren henvist til en hjælpelinje.

Systemet skulle desuden undgå at anbefale konkurrenters maling og skulle have sikkerhedsforanstaltninger mod at blive presset til at sige noget, virksomheden ikke ønskede offentliggjort.

Det er et eksempel på beslutningsdesign, forventningsstyring og passende styring, kommunikeret til interessenterne gennem et brugervenligt systemkort.

Galen Low: Så der var også specialister i farveteori, tekstforfattere og folk, der sikrede, at brandets stemme blev bevaret?

Cal Al-Dhubaib: Ja. Alt afhænger af opdaterede digitale produktdata. En vigtig del af arbejdet er at sikre, at dataene er egnede, opdaterede, forvaltede og har et tydeligt ejerskab. Det samme gælder interne vidensbaser hos finansielle kunder. Det handler ikke kun om, hvordan AI-modellen henter information, men også om menneskestyrede processer, der holder databasen opdateret.

Galen Low: Det er stadig et samarbejde mellem mennesker og AI. Det behøver ikke være alt eller intet.

Cal Al-Dhubaib: Præcis. Alle produktionsanvendelser, jeg har mødt, kræver en sund dosis menneskelig indgriben og justering. Et eksempel er stemmebestilling i fastfoodrestauranter. Nogle forsøg på fuld automatisering mislykkedes, fordi systemet ikke kunne håndtere ordrer pålideligt. Andre løsninger fungerer bedre, fordi mennesker overvåger opkaldene, overtager ved problemer og reviderer resultaterne.

Det afgørende er ikke, at AI aldrig fejler. Vi ved, at AI har en fejlrate. Problemet opstår, når de rigtige systemer og sikkerhedsforanstaltninger ikke er designet omkring den.

Når man arbejder med styring, bør man stille tre grundlæggende spørgsmål: Hvad har vi gjort på forhånd for at teste og minimere potentiel skade? Hvordan opdager vi fejl, når systemet er i drift? Og hvad gør vi derefter? En plan skal stresstestes, så mennesker hurtigt kan forstå, hvad der er sket, diagnosticere problemet og overtage på en måde, der bevarer kundernes tillid.

Galen Low: Hvordan kan et projektteam dele ansvaret for at bygge tillid ind i løsningen og undgå at placere skylden hos hinanden?

Cal Al-Dhubaib: Hvis det er alles ansvar, ejer ingen det. Derfor har man brug for en konkret person, der ejer området. Hos Further har vi investeret i kompetencer inden for AI-styring, og vi udpeger en sådan person til hvert AI-projekt. Det sikrer, at de rigtige spørgsmål bliver stillet.

Målet er ikke at skabe mere arbejde, men at reducere den samlede indsats gennem velovervejet friktion. Man stopper op, undersøger hvor projektet sandsynligvis kan gå galt, ser på lignende projekter og mulige fejlscenarier, vurderer sandsynligheden og omkostningen og investerer derefter mest i at begrænse de vigtigste tillidsrisici.

Galen Low: Kan tillid måles? Kan et projektteam vide, om det har skabt en pålidelig oplevelse?

Cal Al-Dhubaib: Noget af arbejdet handler om at forhindre hændelser, så antallet af hændelser kan være et mål. Man kan også analysere brugeradfærd. Opnår brugeren sit mål? Gennemfører personen interaktionen? Vender brugeren tilbage til værktøjet? I et farveværktøj kan man for eksempel se, om brugeren når frem til en relevant produktside eller en opfordring til handling.

En løsning skal ikke kun være sikker; den skal også være nyttig. Hvis den ikke skaber værdi, vil brugeren heller ikke have tillid til den.

Galen Low: Tillid handler altså både om risikoprofil, målopfyldelse og brugeroplevelse. Friktion kan skyldes, at AI’en ikke er forklarlig, at brugeren ikke har fået at vide, hvordan værktøjet skal bruges, eller at der er for mange muligheder.

Cal Al-Dhubaib: Ja. Man skal definere, hvad der er korrekt, hvilke antagelser der accepteres, hvornår systemet skal gennemføre en interaktion, og hvornår det skal sende beslutningen tilbage til brugeren. Det er designvalg, der kan træffes som en del af tillidsudviklingen.

Galen Low: Hvordan ser du på fremtiden? Vil AI en dag forstå menneskers begreb om tillid bedre end mennesker selv?

Cal Al-Dhubaib: Definitionen af AI er meget cirkulær, især når man taler om kunstig generel intelligens. Hvis et AI-system kan gøre alt, hvad et tilstrækkeligt trænet menneske kan gøre, og mennesker selv bruger AI-værktøjer, bliver menneskets kapacitet allerede defineret i samspil med AI.

Desuden er tillid subjektiv. Den ser forskellig ud i forskellige sammenhænge og moralske referencerammer. Et eksempel er undersøgelser af etiske beslutninger i selvkørende biler. Forskellige kulturer vægter forskellige udfald, og disse moralske rammer kan være korrekte i deres egen sammenhæng, men samtidig uforenelige med hinanden. Der findes ikke én universel moralsk sandhed for, hvordan tillid ser ud.

Galen Low: Det er et interessant sted at ende. Måske handler spørgsmålet ikke om, hvornår AI forstår tillid bedre end mennesker, men om hvornår AI forstår menneskelig kultur bedre end mennesker. AI fungerer som et spejl og et forstørrelsesglas. Den tvinger os til at se på os selv.

Cal Al-Dhubaib: Netop. Vi er nødt til at gøre arbejdet og forstå, at tingene aldrig er sort-hvide. Man bliver nødt til at træffe antagelser. Man kan også vælge at sende beslutningen tilbage til brugeren, så denne bevidst kan vælge mellem muligheder. Alt dette er designvalg, der hører til i tillidsudvikling.

Galen Low: Det er det, jeg godt kan lide ved tillidsudvikling som værktøj og ramme. Vi når ikke frem til løsningen i et vakuum. Vi er nødt til at tale om det.

Cal Al-Dhubaib: Absolut.

Galen Low: Cal, mange tak fordi du var med i programmet. Hvis man vil vide mere om dit kursus, når det udkommer, hvor kan man så finde dig?

Cal Al-Dhubaib: Jeg er meget aktiv på LinkedIn, og det er nok den bedste platform til at finde mig. Jeg annoncerer flere detaljer meget snart.

Galen Low: Fremragende. Jeg indsætter et link til din profil og finder også et link til databasen over hændelser bagefter. Det er bestemt værd at gennemgå. Tak for en god samtale.

Cal Al-Dhubaib: Tak fordi jeg måtte være med, Galen.

Galen Low: Det var alt for dagens episode af The Digital Project Manager-podcasten. Hvis du nød samtalen, så husk at abonnere dér, hvor du lytter. Hvis du vil have endnu flere praktiske indsigter, casestudier og spillebøger, så gå ind på thedigitalprojectmanager.com.

Indtil næste gang – tak fordi du lyttede.