De fyra pelarna för pålitlig AI – och vem som äger dem

Galen Low: Vad innebär tillit inom ingenjörskonst, och hur leder det till säkra AI-lösningar och upplevelser?

Cal Al-Dhubaib: Det är en gemensam kommunikationsverktygslåda som hjälper olika roller som samarbetar kring utformningen och införandet av AI-lösningar att på ett mer produktivt sätt prata om hur man bevarar tillit. Det behövdes ett gemensamt sätt för alla dessa personer att prata om samma sak och ha en likartad förståelse för på vilka sätt tillit kan kränkas med AI, och därefter vilka verktyg som kan användas för att försvara sig mot detta.

Galen Low: Hur kan ett projektteam dela ansvaret för att bygga in tillit i sina lösningar och undvika att skylla på varandra?

Cal Al-Dhubaib: En intressant sak med ansvarsskyldighet är att om det är allas ansvar så äger ingen det, och därför behöver man i slutändan en person som äger den här aspekten. Vi har faktiskt utsett en sådan person för vart och ett av dessa AI-projekt, så att vi kan säkerställa att vi ställer rätt frågor.

Galen Low: Hur lång tid tror du att det tar innan AI förstår människors syn på tillit bättre än människor gör?

Cal Al-Dhubaib: Jag tycker verkligen att definitionen av AI är så cirkulär. Hur skulle AI kunna förstå tillit bättre än människor? Jag vet inte, men också—

Galen Low: Välkommen till podden The Digital Project Manager – programmet som hjälper leveransansvariga att arbeta smartare, leverera smidigare och leda sina team med självförtroende i AI-eran. Jag heter Galen, och varje vecka går vi igenom strategier från verkligheten, nya trender, beprövade ramverk och ibland en krigshistoria från projektets frontlinjer. Oavsett om du styr omfattande förändringsprojekt, hanterar AI-arbetsflöden eller bara försöker hålla kaoset under kontroll har du kommit rätt. Då sätter vi igång.

Okej, i dag pratar vi om hur tillit kan byggas in i AI-drivna upplevelser, varför det är så viktigt för organisationer som lanserar AI-lösningar och för reglerade branscher, samt vilken roll projektteamet – och särskilt projektledaren – spelar när det gäller att skapa den tilliten.

Med mig i dag har jag Cal Al-Dhubaib, chef för AI och datavetenskap på Further, ett företag som hjälper till att omforma kundupplevelser med data och AI. Cal är expert på AI och datavetenskap, entreprenör, flitig talare och den nya programledaren för podden Open Data Science. Han använder sin djupa erfarenhet av datavetenskap för att hjälpa organisationer att överbrygga gapet mellan AI-innovation och etiskt ansvar, så att deras AI-lanseringar överensstämmer med deras värderingar och mål.

Hans arbete inom tekniksektorn i Cleveland har också lett till att Cal uppmärksammats som en av Crain Cleveland's 20 framstående personer under 20 år, en framstående immigrantledare och en framstående teknikchef, samtidigt som han har vunnit Cleveland Smart 50 Awards fyra gånger.

Cal, stort tack för att du är med i dag.

Cal Al-Dhubaib: Galen, tack för att du bjöd in mig. Jag ser fram emot det här samtalet.

Galen Low: Det gör jag också. Jag har verkligen uppskattat våra samtal inför detta. Du är absolut någon som kan ditt område. Du har varit ute på föreläsningsturné. Grattis till att du blivit programledare för Open Data Science-podden. Du har många fantastiska saker på gång.

Jag vet att du är djupt engagerad i detta och brinner för det, och jag hoppas att samtalet faktiskt tar oväntade vägar. Men för säkerhets skull kommer här den färdplan jag har skissat upp för oss i dag. Till att börja med ville jag sätta scenen genom att få din spontana syn på en stor och viktig fråga som mina lyssnare vill veta svaret på.

Sedan vill jag gå igenom tre saker. För det första vill jag prata om vad det innebär att bygga in tillit i en AI-lösning och vilket ansvar projektteamet har för att upprätthålla tilliten i de lösningar de utformar. Därefter vill jag utforska hur tillit kan mätas och granskas, särskilt inom reglerade branscher, men också bortom regelefterlevnad.

Slutligen vill jag höra ditt perspektiv på framtiden och hur vår syn på tillit kan utvecklas under de kommande åren när vi tillsammans får en bättre förståelse för hur våra data hanteras och vad de kan användas till i AI-eran. Det var mycket. Men hur låter det?

Cal Al-Dhubaib: Ja, vi kommer att täcka väldigt mycket. Det är ambitiöst, och jag är helt med på det.

Galen Low: Jag gillar det. Då kör vi. Jag ville börja med en stor och svår fråga och ett av de stora ämnen du talar om: tanken på att bygga in tillit i AI-lösningar och upplevelser, särskilt eftersom användare, företag och tillsynsorganisationer inte kommer att införa AI fullt ut om de inte litar på vad den kommer att göra.

Min svåra fråga är följande: När man bygger och lanserar AI-lösningar, vem äger tillit som ett lösningskrav, och vad händer när tillit saknas i en AI-driven upplevelse?

Cal Al-Dhubaib: Det enkla svaret är att ingen äger det som standard, och det är det stora problemet. Det är en del av det jag försöker lösa genom att bygga den kurs om tillitsingenjörskap som jag arbetar med.

Och ärligt talat påminner det mig om datavetenskapens tidiga dagar, då någon inom analys kunde äga frågan, eller någon inom IT, eller någon inom ekonomi. Det spelade egentligen inte så stor roll var ansvaret låg, så länge man hade ett tydligt ägarskap för vem som var ansvarig och redovisningsskyldig för den förmågan.

Samma sak gäller att bygga in tillit i dessa AI-lösningar. Om det inte är en del av designprocessen leder lösningen i slutändan till någon oavsiktlig konsekvens. Det råder därför ingen brist på exempel. En resurs jag ofta hänvisar till är databasen över AI-incidenter. Jag tog nyligen fram de senaste siffrorna för hela 2025.

Och föga överraskande har antalet incidenter fortsatt att öka år efter år utan undantag.

Galen Low: Det är intressant. Kan du berätta mer om hur databasen hanterar eller definierar en incident?

Cal Al-Dhubaib: Jag tycker om den eftersom de söker igenom nyhetskällor och betraktar en incident ur flera olika bevakningsperspektiv.

Om flera oberoende nyhetskällor har rapporterat om en viss händelse samlar de allt i en enda incident, och man kan gå igenom all rapportering kring den. Tidiga exempel är bland annat när Apple lanserade sitt kreditkort och det inledningsvis gav kvinnor lägre kredit än män trots att alla andra förutsättningar var lika.

Ett annat exempel i incidentdatabasen är ett företag som är välkänt för sin kodningslösning med agenter och där användare slumpmässigt blev utelåsta. Dess AI-drivna chattbot svarade dessutom ironiskt nog med ett hallucinerat svar, vilket i sin tur förvirrade användarna.

De kände sig gaslightade och avslutade sedan sina abonnemang. Så sent som förra hösten hade ett av de fyra stora konsultföretagen lämnat in ett dokument till Australiens regering. Det var inte ens en AI-lösning, utan ett dokument där AI hade använts i skapandeprocessen. Dokumentet innehöll betydande noggrannhetsproblem som berodde på hallucinationer.

Vi har alltså exempel som går tillbaka till 2016 och 2017, till maskininlärningens tidiga dagar, och vi har ett växande antal incidenter under de senaste åren. Alla dessa loggas och följs upp i databasen över AI-incidenter.

Galen Low: Det jag gillar med de tre exemplen är att de täcker ett slags spektrum av incidenter. För det första finns en nästan inbyggd partiskhet som sannolikt är programmerad, eller hur? Den kommer inte ur tomma intet. Den finns antagligen i våra träningsdata.

Cal Al-Dhubaib: Absolut, den finns i våra data.

Galen Low: Det andra handlade mer om AI-gaslighting, vilket är det bästa ordet. Det är som om systemet säger: nej, det är faktiskt du som är problemet, och därför låser vi ute dig. Och sedan tänker man: oj, AI är kanske smartare än jag. Kanske borde jag vara utelåst. Vänta, nej, det borde jag inte.

Cal Al-Dhubaib: Ja, du har rätt. Det hade jag inte tänkt på.

Galen Low: Och sedan gillar jag det tredje exemplet, eftersom det handlar om hur noggrannheten kan gå fel. Det hänger ihop med hallucinationer, människor i beslutsloopen och tillit, samt att göra sin due diligence.

Cal Al-Dhubaib: Till hundra procent.

Galen Low: Jag tycker att det är en väldigt bra utgångspunkt för samtalet, eftersom jag hoppas att vi täcker allt detta och mer därtill.

Mycket handlar om mer än att bara säga: vi är transparenta med vad vi gör med dina data. Det är faktiskt mycket mer än så när det gäller vad som gör en lösning pålitlig. Du fokuserar mycket på hårt reglerade branscher, som sjukvård, finansiella tjänster och försvar. Branscher där etisk och ansvarsfull användning av känsliga data inte bara är det rätta att göra, utan där det också finns allvarliga konsekvenser av bristande regelefterlevnad.

När man sedan breddar synen på tillit handlar det inte nödvändigtvis bara om dataskydd och datasäkerhet, utan också om två idéer som jag har sett dig tala om: tillitsingenjörskap och tanken att tråkig AI är säker AI.

Cal Al-Dhubaib: Jag älskar det. Vi försöker göra det mer glänsande än det är, och jag lärde mig detta väldigt tidigt i min karriär. När man arbetar i dessa hårt reglerade miljöer är kostnaden för att göra ett misstag hög. Och det finns en sak man kan vara säker på med AI-system: de gör misstag.

Galen Low: Det är rimligt.

Cal Al-Dhubaib: Tidigt i min karriär arbetade jag med sjukhussystem, där vi visade hur maskininlärning kunde användas för att bygga olika prediktiva modeller. Sedan började vi tala om att modellerna måste fungera väl för alla demografiska grupper.

Man vill till exempel inte att systemet ska prestera sämre för vissa minoritetsgrupper och därigenom skapa potentiella problem. På den tiden, omkring 2016, 2017 och 2018, blev svaret ibland: det låter som ett stort juridiskt ansvar, och vi är inte säkra på att den förbättring vi skulle få för hela befolkningen är värd att genomföra projektet.

Många projekt lades därför på is, eftersom riskbenägenheten helt enkelt inte fanns där och det saknades ett tillfredsställande sätt att säga: ett, två, tre, fyra – så här hanterar du detta.

Galen Low: Jag pratade med Lauren Wallace i podden om att företag i hårt reglerade branscher har en inbyggd riskförmåga. De har definierade toleranser, och det förvånar mig egentligen inte att de säger: det här överskrider vår risknivå och vår risktröskel. Vi kan inte gå vidare.

Det betyder inte att tekniken är dålig eller att någon har gjort fel. Det betyder bara att de inte kan ta den risken förrän tekniken, data, policyer och lagstiftning är redo.

Jag tycker faktiskt att det är beundransvärt. Det är säkert och tråkigt. Många skulle säga att ett misslyckande vore slöseri, men det är fortfarande ett steg i rätt riktning och en paus av rätt anledning, i stället för att bara kasta sig in i det.

Cal Al-Dhubaib: Till hundra procent. Ett uttryck jag hörde och som verkligen fastnade hos mig är att den bästa AI:n ibland är mindre AI.

En sak jag talar om är strategisk AI-minimering. Ett aktuellt exempel är ett projekt med en högskola kring hantering av studentutdrag. Vi ville gå längre än traditionell robotiserad processautomation och använda extraktion baserad på stora språkmodeller för att få högre noggrannhet.

Utdragen kommer i många olika format. Det bästa vi kunde uppnå var 90 procents noggrannhet, vilket är ganska bra för en AI-baserad lösning i det här sammanhanget. Men den första frågan blev: under vilka tio procent har systemet fel? Det är en rimlig fråga. Annars spelar man bara på lotteri och kastar tärningarna; en gång på tio blir det fel, och man kan inte driva en verksamhet på det.

Vi studerade därför när AI:n hade störst sannolikhet att ha fel. Det gällde bland annat utdrag från internationella institutioner och utdrag från terminssystem i stället för kvartalssystem. Sedan tog vi fram en regeluppsättning: om utdraget kommer från någon av dessa källor skickas det till en manuell kö med mänsklig granskning.

AI:n får sedan hantera resten. Det automatiserar inte hundra procent av arbetsflödet, men tillräckligt mycket i ett område där det är säkert och där man sannolikt får ett mer korrekt resultat i den kolumn man faktiskt litar på. Det är ett exempel på tillitsingenjörskap i praktiken.

Galen Low: Du håller på att bygga en kurs om tillitsingenjörskap för LinkedIn Learning. Kan du ge oss definitionen? Vad är tillitsingenjörskap och hur leder det till säkra AI-lösningar och upplevelser?

Cal Al-Dhubaib: Det är en gemensam kommunikationsverktygslåda som hjälper olika roller som samarbetar kring utformningen och införandet av AI-lösningar att tala mer produktivt om hur man bevarar tillit.

Jag lade märke till att olika personer närmade sig tillitsproblemet ur olika perspektiv och att de inte delade samma språk. AI-ingenjörer känner ofta till statistiska problem, till exempel statistiskt skadlig partiskhet i datauppsättningar. Riskhanterare och revisorer ser däremot frågan utifrån organisationens exponering.

Styrningsspecialister funderar på hur antaganden ska dokumenteras. UX-designers tänker på hur människor ska interagera med systemet. Verksamhetens intressenter definierar kraven och affärsproblemet.

Det behövdes ett gemensamt sätt för alla dessa personer att prata om samma sak, förstå hur tillit kan kränkas av AI och använda verktyg för att försvara sig mot detta.

Galen Low: Jag gillar att det är ett gemensamt språk och ett ramverk för att diagnostisera och arbeta sig igenom problemen.

Det påminner om hur organisationer ibland tänker att en dataexpert kan komma in och lösa allt, med ansvar för datakvalitet, datanoggrannhet och allt annat. Men alla upptäcker snabbt att ansvaret inte kan vila på en enda person. Det är ett teamarbete och en samarbetsfråga.

Cal Al-Dhubaib: Till hundra procent.

Galen Low: Att strategiskt minimera AI i stället för att tänka allt eller inget passar också in i idén om samarbete mellan AI och människor. I dag behöver alla förstå AI och ha ett gemensamt ordförråd för meningsfulla samtal under design och införande.

Vi behöver också förstå varandra. Projektledare blir ofta väldigt engagerade i metoder och detaljer, men i grunden ska en metod bara hjälpa människor att komma överens om hur de ska arbeta tillsammans och leverera något.

Det är också ett sätt att översätta mellan intressenter så att alla talar om samma sak. Alla har olika specialiseringar.

Cal Al-Dhubaib: Det är lätt att anta att någon annan redan har täckt frågan.

Galen Low: Därför gillar jag att detta gör det till en lagsport. Här är ett ramverk för tillitsingenjörskap, och vi är alla med i det tillsammans. Jag föreställer mig att det omfattar integritet, tillgänglighet och andra frågor som ingen enskild person kan äga i en komplex lösning.

Cal Al-Dhubaib: Ett enkelt exempel är rättvisa när man bygger en modell för studentantagning. En del av kravet var att modellen skulle uppfylla kvalitetsförväntningar för olika demografiska grupper.

Kunden frågade hur vi skulle säkerställa detta. Vi svarade att vi först måste förstå hur de definierar rättvisa, eftersom det finns 22 olika sätt att beräkna rättvisa. Det ligger egentligen utanför ingenjörens ansvarsområde. Jag kan berätta vilka formler som finns och hur man beräknar dem, men jag behöver att kunden definierar sin policy och vad som är korrekt för organisationen.

Galen Low: AI tvingar oss också att granska sådant vi har gjort i årtionden. Är det etiskt? Är det rättvist? Har vi fattat beslut på känsla? Nu måste vi bestämma oss och formulera våra principer.

Cal Al-Dhubaib: Det kan vara så allvarligt, men det kan också handla om enklare och mer vardagliga frågor. Generativa AI-system är särskilt öppna. Man kan fråga nästan vad som helst, och det kan överväldiga användaren.

Galen Low: Intressant.

Cal Al-Dhubaib: Det är faktiskt bra att begränsa vad man kan göra med verktyget. Jag brukar tala om fyra pelare inom tillitsingenjörskap: förväntningshantering, beslutsdesign, styrning och hantering av tillitsinfrastruktur. Det handlar om verktygen, riskerna och hur man faktiskt bygger detta. När det gäller öppna system och beslutsdesign måste man ge användaren rätt mängd information och rätt skyddsräcken, så att personen vet hur systemet ska användas.

Galen Low: Kan vi gå igenom några exempel och sedan backa ut och titta på vilka som behöver vara involverade för att nå den nivån av tillit?

Cal Al-Dhubaib: Jag tar ett enkelt exempel med färgföretaget Behr Paint.

De upptäckte att en av de största orsakerna till att konsumenter avbröt sitt köp var att de blev överväldigade av färgvalet. Därför byggde de en generativ upplevelse för produktval. Det är inte så trivialt som det låter, eftersom lösningen måste respektera färgvetenskap, stilguider och produkter som faktiskt finns.

Vi behövde avgöra vilken rådgivning som var godtagbar. Att välja färg var okej. Att instruera om formulering, blandning eller applicering av färg krävde däremot en högre nivå av kvalitetskontroll. Om samtalet började gå i den riktningen fick användaren snabbt information om en hjälplinje för just den frågan.

Vi behövde också säkerställa att systemet aldrig rekommenderade konkurrenters färger eller lät sig pressas till att säga sådant som företaget inte ville se spridas på internet.

Detta visar flera delar av tillitsingenjörskap: vilken beslutsprocess försöker vi påverka, vilka skyddsräcken behövs, vilka förväntningar ska användaren ha och vilka begränsningar finns? Allt detta kommunicerades till intressenterna i ett användarvänligt systemkort.

Galen Low: Och gränssnittet var konversationsbaserat?

Cal Al-Dhubaib: Ja. På behrpaint.com dyker en chattbot upp och frågar hur den kan hjälpa till. Den heter Chat Hue.

Galen Low: Det är ett bra exempel. Det finns färgteori, specialister i projektteamet och regler för vilka färger som passar ihop. Samtidigt ska systemet inte vara dömande.

Cal Al-Dhubaib: Om man försöker kombinera färger som inte passar får man i stället vänliga förslag på samordnade färger.

Galen Low: Det finns också en textförfattare eller språkexpert som ser till att systemet använder rätt varumärkesröst.

Cal Al-Dhubaib: Ja, och allt beror naturligtvis på uppdaterade digitala produktdata. En stor del av initiativet var därför att säkerställa att informationen var lämplig, uppdaterad, kvalitetssäkrad och hade ett tydligt ägarskap.

Vi arbetar med en liknande upplevelse för en kund inom finansiella tjänster, där målet är att navigera i en intern kunskapsbas. Lösningen handlar inte bara om hur AI-modellen hämtar information, utan också om mänskligt styrda processer för vem som äger databasen och hur den uppdateras över tid.

Galen Low: Det är väldigt bra.

Cal Al-Dhubaib: En viktig del är att ha mänskligt styrda processer som håller de data som AI-systemet använder aktuella.

Galen Low: Det är alltså ett samarbete och inte allt eller inget. AI behöver inte underhålla, testa och uppdatera sig själv. Det finns fortfarande en roll för människor.

Cal Al-Dhubaib: Många produktionslösningar som jag har sett kräver en hälsosam dos mänsklig inblandning och ombalansering. AI måste styras, och människor måste göra arbete ovanpå den.

Galen Low: Det är realistiskt. Marknadsföringen låter ofta som att AI-agenter ska hantera allt, även andra AI-agenter, men personal kommer fortfarande att behövas.

Cal Al-Dhubaib: Det är mycket lockande.

Galen Low: Finns det motsatta exempel på AI-lösningar som inte lyckas bygga in tillit och som fungerar som svarta lådor?

Cal Al-Dhubaib: McDonald's hade problem med röstbeställningar i sina drive-in-restauranger och var tvungna att stänga ner systemet eftersom det inte gick att få det att konsekvent registrera korrekta beställningar.

Jag tror inte att detta främst var ett tekniskt misslyckande, utan ett misslyckande med att bygga rätt skyddsräcken runt tekniken. Domino's har däremot ett system där 80 procent av telefonbeställningarna hanteras av AI.

Skillnaden är att människor övervakar samtalen och tar över när systemet inte förstår en accent eller en kund. Det finns också lämpliga granskningsåtgärder för att säkerställa att beställningen motsvarar vad kunden faktiskt sa.

AI kommer alltid att ha en viss felmarginal. Misslyckandena uppstår när man inte har utformat rätt system runt AI:n.

Galen Low: Det är inte allt eller inget. Om man investerat miljoner i röstbeställningar och sedan lägger systemet på hyllan är det inte nödvändigtvis ett misslyckande. Man bör inte dra slutsatsen att AI inte fungerar och gå tillbaka till hundra procent mänskliga callcenteragenter.

I stället kan man använda en hybridmodell, där tekniken lämnar över till en människa när den inte klarar uppgiften, samtidigt som den tränas på den data som samlas in.

Cal Al-Dhubaib: Ett enkelt sätt att minska risken är att ge callcenteragenter tillgång till generativ AI. AI:n kan läsa direkta transkriptioner, sammanfatta dem och föreslå nästa steg, medan människan fortfarande fattar expertbeslutet.

När jag talar med kunder om styrning säger jag att de behöver besvara tre grundläggande frågor. För det första: vad har ni gjort i förväg för att testa och säkerställa att ni minimerat potentiell skada och risk? För det andra: när systemet är i produktion, hur vet ni när det gör ett misstag? Det handlar om observerbarhet, skyddsräcken, diagnostik och förväntningar.

Den tredje och viktigaste frågan är ofta förbisedd: vad gör ni då? Har ni stresstestat planen? Om ett samtalssystem aktiverar en mänsklig övertagning, hur snabbt kan den personen förstå vad som har hänt, diagnostisera problemet och ta över på ett sätt som bevarar kundens tillit?

Galen Low: Det är ett hårt stresstest att använda detta i en snabbmatsrestaurang. Personalen är ofta relativt oerfaren, måste tillaga mat och ta emot beställningar samtidigt och kanske dessutom läsa en AI-transkription inom en minut.

Cal Al-Dhubaib: Jag tror att ökningen av AI-incidenter beror på två saker. Det har blivit enklare att bygga den här typen av verktyg, så användningsytan har vuxit. Samtidigt ökar incidenterna inte lika snabbt som AI-användningen, vilket faktiskt är ett gott tecken.

Den andra saken är att vi har blivit bättre på att upptäcka AI-problem. Vi har lämnat tiden då vi automatiskt litade på digital information. Deepfakes var oroande för några år sedan och är fortfarande oroande, men genomsnittspersonen är numera mer uppmärksam och tänker: det där kanske är AI.

Galen Low: Det är positivt. Vi granskar digitala upplevelser mer kritiskt än tidigare och kan upptäcka när problemet egentligen handlar om en orättvis mänsklig policy.

Jag vill återvända till teamets roll. Hur kan ett projektteam dela ansvaret för att bygga in tillit i sina lösningar, undvika att skylla på varandra och skapa gemensamt ägarskap?

Cal Al-Dhubaib: En intressant sak med ansvarsskyldighet är att om det är allas ansvar så äger ingen det. Därför behöver man i slutändan en person som äger frågan.

På Further har vi investerat i meriter inom AI-styrning. Vi har en sådan AI-styrningsspecialist knuten till vart och ett av våra AI-projekt, så att vi säkerställer att rätt frågor ställs.

Galen Low: Det är särskilt relevant för projektledare, som ofta hamnar mitt emellan många specialister och får bära ansvaret när krav och risker ska samordnas. Att ha en tydlig styrningsansvarig på varje projekt gör att ansvaret landar någonstans, även om språket och arbetet är tvärfunktionellt.

Cal Al-Dhubaib: Absolut. Målet är inte att skapa mer arbete, utan att minska den totala arbetsinsatsen genom eftertänksam friktion. Vi stannar upp och frågar: var kan detta sannolikt gå fel? Vilka liknande projekt och möjliga felmoder finns? Hur sannolikt är det att något går fel, vad kostar det och var behöver vi investera mest för att minska tillitsriskerna?

Galen Low: Det är det jag gillar med reglerade branscher. Det är tillåtet att pausa och tänka efter i stället för att alltid skynda vidare. Man ser inte bara till värdet av att lansera något, utan också till den samlade risken: rättsprocesser, bristande regelefterlevnad, sanktioner och ett försämrat rykte.

Cal Al-Dhubaib: Jag tror att AI-styrning, AI-kvalitetssäkring och AI-riskhantering blir växande yrkesområden när AI-användningen ökar. Rollen handlar framför allt om att ställa rätt frågor så att alla andra kan samordna sig kring dem.

Galen Low: Kan tillit mätas? Kan ett projektteam veta om de har skapat en pålitlig upplevelse?

Cal Al-Dhubaib: En möjlig indikator är antalet incidenter, särskilt om målet är att förhindra att incidenter inträffar. Man kan också analysera användarbeteende. Uppnår användaren sitt mål? I Chat Hue-exemplet: kommer användaren fram till uppmaningen att lära sig mer om en viss färgspecifikation? Slutför människor interaktionerna och återkommer de till verktyget?

Galen Low: Det knyter an till sådant vi redan känner igen: riskprofil, mål, framgång och användarupplevelse. Var finns friktionen? Beror den på bristande tillit, på att AI:n inte är förklarbar, på att användaren inte fått veta hur den ska användas eller på att det finns för många alternativ?

Cal Al-Dhubaib: Att vara användbar är också en del av tillit. Om lösningen inte hjälper användaren att nå resultatet kommer personen inte att lita på den.

Galen Low: Då rundar vi av med framtiden. Du har berättat om exempel där frågan inte är om AI kan litas på, utan om människorna i beslutsloopen kan litas på. I ett fall var beslut kopplade till en individs bonus, vilket skapade en självbetjänande partiskhet.

Cal Al-Dhubaib: De hade incitament att inte lita på AI:ns rekommendationer eftersom deras bonusar var kopplade till dem.

Galen Low: Hur lång tid tror du att det tar innan AI förstår människors syn på tillit bättre än människor gör?

Cal Al-Dhubaib: Jag tycker att definitionen av AI är cirkulär, särskilt när man talar om artificiell generell intelligens. Om AI definieras som ett system som kan göra allt som en tillräckligt tränad människa kan göra, och människor själva använder verktyg, blir gränsen mellan mänsklig och artificiell förmåga flytande.

Dessutom är tillit subjektivt. Den ser olika ut i olika sammanhang och moraliska referensramar. Ett exempel är MIT:s studie Moral Machine, där man får ta ställning till scenarier för självkörande bilar: ska bilen ingripa eller svänga? Oavsett val kan vissa människor skadas.

Galen Low: Som spårvagnsproblemen.

Cal Al-Dhubaib: Precis. Det kan vara en äldre person på ena sidan och tre barn på den andra, eller någon som går mot rött jämfört med någon som följer reglerna.

När man samlade in större mängder data från olika delar av världen såg man gemensamma värderingar i väst, Sydamerika och Asien. Dessa moraliska ramverk var giltiga i sina respektive områden, men kunde vara oförenliga. I väst värderade man i genomsnitt att rädda fler liv, medan en äldre person i vissa asiatiska kulturer kunde anses väga tyngre än ett större antal andra personer.

Det finns ingen enda universell moralisk sanning för hur tillit ser ut. Jag vet detta väl eftersom jag har saudisk bakgrund på ena sidan och amerikansk bakgrund på den andra. Jag växte upp mellan två kulturer som ofta är oförenliga. Hur ska ett AI-system navigera detta när människor själva har svårt att göra det?

Galen Low: Det är en intressant plats att landa på. Kanske handlar frågan inte om när AI förstår tillit bättre än människor, utan om när AI förstår mänsklig kultur bättre än människor. Kultur finns överallt och kan vara en avgörande egenskap.

Cal Al-Dhubaib: Ja. Vi måste lägga ned arbetet och förstå att det aldrig är svart eller vitt. Man måste göra antaganden. Frågan är vilka antaganden man gör och hur man hanterar dem.

Galen Low: AI är en fantastisk spegel och ett förstoringsglas samtidigt. Den tvingar oss att granska oss själva. Tillit är en del av det. Det kan handla om att användare når sina mål utan frustration eller om att hålla sig inom en godtagbar nivå av skada och risk.

Cal Al-Dhubaib: Man måste definiera vad som är korrekt, vilka antaganden man ska göra och när systemet ska genomföra en interaktion eller lämna tillbaka beslutet till användaren så att personen medvetet kan välja mellan alternativ.

Detta är designval som kan göras inom ramen för tillitsingenjörskap.

Galen Low: Det är det jag gillar med tillitsingenjörskap som verktygslåda och ramverk. Vi kommer inte fram till svaren i ett vakuum. Vi måste ha samtal om detta.

Cal Al-Dhubaib: Absolut.

Galen Low: Cal, stort tack för att du var med i programmet. För den som vill veta mer om din kurs när den släpps, vart ska man vända sig?

Cal Al-Dhubaib: Jag är mycket aktiv på LinkedIn, som förmodligen är min bästa plattform. Där kan man hitta mig, och jag kommer snart att offentliggöra fler detaljer.

Galen Low: Fantastiskt. Jag kommer definitivt att lägga till en länk till din profil och även länka till incidentdatabasen. Den är värd att gå igenom. Tack för ett fantastiskt samtal.

Cal Al-Dhubaib: Tack för att jag fick vara med, Galen.

Galen Low: Okej allihop, det var allt för dagens avsnitt av podden The Digital Project Manager. Om du tyckte om samtalet, prenumerera där du lyssnar. Om du vill ha ännu fler praktiska insikter, fallstudier och spelböcker kan du gå till thedigitalprojectmanager.com.

Tills nästa gång – tack för att du lyssnade.