Slik bygger du pålitelig KI: Et rammeverk med fire pilarer for prosjektteam
Denne artikkelen er tilpasset fra en episode av podkasten The Digital Project Manager, med en samtale mellom programleder Galen Low og Cal Al-Dhubaib, leder for AI og datavitenskap hos Further. Hør den her.
Ansvar for tillit: Manglende individuelt ansvar undergraver ofte tilliten til KI-prosjekter og gjør ansvarsfordelingen mer komplisert.
Tillitsteknikk: Et rammeverk kalt tillitsteknikk fremmer et felles språk blant ulike interessenter i utformingen av KI.
Fire pilarer: Pålitelig KI bygger på fire pilarer: forventningsstyring, beslutningsutforming, styring og tillitsinfrastruktur.
Prosjektspørsmål: Team bør vurdere tre sentrale spørsmål for å sikre effektiv styring og risikohåndtering i KI-løsninger.
Måling av tillit: Brukeratferd fungerer som en viktig indikator på tillit og effektivitet i KI-systemer.
Hvorfor tillit trenger en eier
De fleste AI-prosjekter støter på det samme problemet før de i det hele tatt kommer i gang: Ingen har eksplisitt ansvar for om systemet er til å stole på. Cal Al-Dhubaib, leder for AI og datavitenskap hos Further, har sett dette utspille seg på tvers av bransjer, og han er tydelig på den underliggende årsaken. «Det enkle svaret på det er at ingen eier det som standard, og det er det store problemet», sier han.
Ingen eier det [AI-tillit], og det er det store problemet.
Problemet er ikke mangel på bekymring — det er mangel på klarhet rundt hvem sin jobb det faktisk er. «En interessant ting ved ansvarlighet er at hvis det er alles ansvar, eier ingen det, og derfor trenger du til syvende og sist en enkeltperson som skal eie dette aspektet», forklarer Al-Dhubaib. Hos Further er dette prinsippet ikke bare teoretisk. «Vi har faktisk utpekt én for hvert av disse AI-prosjektene, slik at vi kan sørge for at vi stiller de riktige spørsmålene.»
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Hva tillitsteknikk faktisk er
Al-Dhubaibs svar på eiermangelen er et rammeverk han kaller tillitsteknikk — i hovedsak et felles språk for de mange fagområdene som berører et AI-system. «Det er et felles kommunikasjonsverktøy som hjelper ulike personer som samarbeider om utformingen av AI-løsninger og innføringen av AI-løsninger, med å snakke mer produktivt om å bevare tillit», sier han.
Behovet for dette felles verktøyet kommer av hvor fragmentert samtalen vanligvis er. Ingeniører, risikostyrere, ledere for virksomhetsstyring, UX-designere og interessenter fra virksomheten ser alle på det samme systemet gjennom ulike perspektiver. «Det måtte finnes en felles måte for alle disse menneskene å snakke om det samme på og ha en tilsvarende forståelse av hvordan tillit kan brytes med AI», sier Al-Dhubaib, «og av verktøyene for å forsvare seg mot det.»
Det måtte finnes en felles måte for alle disse menneskene å snakke om det samme på og ha en tilsvarende forståelse av hvordan tillit kan brytes med AI.
De fire pilarene for pålitelig AI
Tillitsteknikk brytes ned i fire praktiske pilarer — forventningsstyring, beslutningsdesign, virksomhetsstyring og tillitsinfrastruktur. Hver av dem tar for seg et ulikt punkt der AI-systemer har en tendens til å miste folks tillit.
Pilar 1: Forventningsstyring
Den første pilaren handler om omfang. Generative AI-systemer er ofte for åpne og ubegrensede til sitt eget beste, og denne åpenheten kan overvelde nettopp brukerne de er ment å hjelpe. «Det er fint å ha et begrenset utvalg av hva jeg kan gjøre med dette verktøyet», bemerker Al-Dhubaib.
Han viser til et eksempel fra virkeligheten i arbeidet med Behr Paint, der målet var å redusere beslutningstretthet ved valg av farge. «Du går inn på Home Depot og ser den store utstillingen med malingsfarger», sier han og beskriver hvordan kundene — ham selv inkludert — står fast. «Og du blir veldig overveldet hvis du må velge.» Løsningen var ikke mer AI — det var en strammere og mer bevisst avgrenset opplevelse.
Pilar 2: Beslutningsdesign
Den andre pilaren handler om sikkerhetsnettene som legges rundt valgene et AI-system har lov til å ta. «Hvordan gir du brukerne riktig mengde informasjon og riktig mengde sikkerhetsnett, slik at de vet hvordan de skal bruke systemet på en god måte?» spør Al-Dhubaib.
I Behr Paint-prosjektet innebar dette å trekke en tydelig grense rundt hva slags råd AI-en trygt kunne gi. Fargevalg var innenfor; alt som berørte malingblanding eller påføring, krevde at saken ble overført til et menneske. «Hvis samtalen på noe tidspunkt begynner å bevege seg i den retningen, gir den raskt brukeren beskjed om at her er hjelpelinjen vår for denne typen forespørsel», sier Al-Dhubaib.
Hvis samtalen på noe tidspunkt begynner å bevege seg i den retningen, gir den raskt brukeren beskjed om at her er hjelpelinjen vår for denne typen forespørsel.
Systemet ble også bygget med omdømmemessige sikkerhetsmekanismer i tankene – «det lar seg heller ikke presse til å si ting du ikke vil at det skal si, som deretter blir skjermdumpet og spredt over hele internett.»
Søyle 3: Styring
Den tredje søylen tar for seg et spørsmål som ikke kan besvares av ingeniører alene: Hva betyr egentlig «rettferdig» eller «korrekt» for akkurat denne virksomheten? Al-Dhubaib beskriver et prosjekt som involverte en modell for opptak av studenter, der kunden ønsket kvalitetssikring på tvers av demografiske grupper. «Det finnes 22 ulike måter å beregne rettferdighet på», sier han. «Og helt ærlig, det ligger utenfor ingeniørens ansvarsområde. Jeg kan fortelle deg hvilken formel det er, og hvordan man beregner dette på ulike måter. Jeg kommer til å trenge din hjelp til å svare på: Hva er retningslinjene deres? Hvordan forholder dere dere til denne definisjonen, og hva er korrekt for dere?»
Dette styringsarbeidet stopper ikke ved interne beslutninger – det må også kommuniseres utad. Som Al-Dhubaib sier, blir alt dette dokumentert og delt «i et brukervennlig systemkort.»
Søyle 4: Tillitsinfrastruktur
Den siste søylen omfatter verktøyene og prosessene som holder et AI-system pålitelig etter at det er tatt i bruk. Han illustrerer søylen med en sammenligning mellom to kjente kjeder innen hurtigservering. Den ene trakk tilbake sitt AI-system for stemmebestilling etter at det ikke klarte å legge inn korrekte bestillinger på en pålitelig måte.
Den andre valgte en annen tilnærming: «På den annen side har du Domino’s, der 80 % av bestillingene deres over telefon nå håndteres av et AI-system», med menneskelige overvåkere som følger direktesendte samtaler og griper inn ved behov, samt «egnede revisjonstiltak på plass for å sikre at bestillingene fortsatt samsvarer med det brukeren sa.» Forskjellen lå etter Al-Dhubaibs syn ikke i den underliggende teknologien. «Jeg tror ikke dette først og fremst var en teknologisk svikt, men snarere en svikt i å etablere de riktige sikkerhetsmekanismene rundt teknologien.»
Jeg tror ikke dette først og fremst var en teknologisk svikt, men snarere en svikt i å etablere de riktige sikkerhetsmekanismene rundt teknologien.
Tre spørsmål alle prosjektteam bør stille
I tillegg til de fire søylene tilbyr Al-Dhubaib prosjektteam en enkel fremgangsmåte for enhver samtale om AI-styring – tre spørsmål som stilles i rekkefølge.
For det første: «Hva har dere gjort på forhånd for å teste og fastslå at dere har minimert den mulige skaden eller de mulige risikoene som ligger i denne AI-løsningen?» For det andre, når systemet er tatt i bruk: «Hvordan skal dere vite når det gjør en feil?» Og for det tredje – spørsmålet han sier oftest blir oversett – «Hva gjør dere da? Hvordan får dere det gjennomført? Har dere faktisk stresstestet den planen?»
Hvordan vite om det fungerer
Tillit er ikke bare et designprinsipp; det kan måles. Al-Dhubaib peker på brukeratferd som et av de tydeligste signalene et team har. «Oppnår brukeren målet deres?» spør han, og bruker Behr-eksempelet igjen – når folk faktisk frem til punktet der de lærer mer om en malingsspesifikasjon, fullfører interaksjonen og kommer tilbake til verktøyet?
Til syvende og sist knytter han nytteverdien direkte til selve tilliten: «Vi er ganske enkelt ikke nyttige – for det er også en del av tillit.»
Hovedpoenget
Tillitsarbeid er ikke en sjekkliste som monteres på slutten av et prosjekt – det er en rekke designvalg som gjøres underveis, om hva systemet skal og ikke skal gjøre, og hvem som er ansvarlig for hver beslutning. Som Al-Dhubaib sier: «Dere må definere hva som er korrekt, og hvilke antakelser dere skal legge til grunn. Dette er alt sammen designvalg som kan inngå som en del av tillitsarbeidet.»
Vil du ha flere innsikter som disse? Registrer deg for en gratis DPM-konto for å høre fra flere eksperter som disse.
