Sådan bygger du troværdig kunstig intelligens: En model med 4 søjler for projektteams
Denne artikel er tilpasset fra en episode af podcasten The Digital Project Manager med en samtale mellem værten Galen Low og Cal Al-Dhubaib, leder af AI & datavidenskab hos Further. Hør den her.
Ansvar for tillid: Manglende individuelt ansvar underminerer ofte tilliden til projekter med kunstig intelligens og gør ansvarliggørelsen mere kompliceret.
Tillidsdesign: En model kaldet tillidsdesign fremmer et fælles sprog blandt forskellige interessenter i udviklingen af kunstig intelligens.
Fire søjler: Troværdig kunstig intelligens bygger på fire søjler: forventningsafstemning, beslutningsdesign, styring og tillidsinfrastruktur.
Projektspørgsmål: Teams bør overveje tre centrale spørgsmål for at sikre effektiv styring og risikohåndtering i løsninger med kunstig intelligens.
Måling af tillid: Brugeradfærd er en afgørende indikator for tillid til og effektivitet af systemer med kunstig intelligens.
Hvorfor tillid kræver en ansvarlig
De fleste AI-projekter støder på det samme problem, før de overhovedet kommer i gang: Ingen har eksplicit ansvaret for, om systemet kan betros. Cal Al-Dhubaib, leder af AI & datavidenskab hos Further, har set dette udspille sig på tværs af brancher, og han er kontant om den grundlæggende årsag. "Det nemme svar på det er, at ingen som udgangspunkt ejer det, og det er det store problem," siger han.
Ingen ejer det [tilliden til AI], og det er det store problem.
Problemet er ikke manglende bekymring — det er manglende klarhed over, hvis job det faktisk er. "En interessant ting ved ansvarlighed er, at hvis det er alles ansvar, ejer ingen det, og derfor har man i sidste ende brug for en person, der tager ejerskab over dette aspekt," forklarer Al-Dhubaib. Hos Further er dette princip ikke kun teoretisk. "Vi har faktisk udpeget en person til hvert af disse AI-projekter, så vi kan sikre os, at vi stiller de rigtige spørgsmål."
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Hvad tillidsudvikling egentlig er
Al-Dhubaibs svar på manglen på ejerskab er en ramme, han kalder tillidsudvikling — i bund og grund et fælles sprog for de mange discipliner, der berører et AI-system. "Det er et fælles kommunikationsværktøj, der hjælper forskellige fagpersoner, som samarbejder om design og implementering af AI-løsninger, med at tale mere konstruktivt om at bevare tilliden," siger han.
Behovet for dette fælles værktøj skyldes, hvor fragmenteret samtalen normalt er. Ingeniører, risikomanagere, ansvarlige for styring, UX-designere og forretningsinteressenter ser alle på det samme system gennem forskellige perspektiver. "Der var behov for en fælles måde, hvorpå alle disse mennesker kunne tale om det samme og opnå en tilsvarende forståelse af, hvordan tillid kan krænkes med AI," siger Al-Dhubaib, "samt værktøjerne til at beskytte sig mod det."
Der var behov for en fælles måde, hvorpå alle disse mennesker kunne tale om det samme og opnå en tilsvarende forståelse af, hvordan tillid kan krænkes med AI.
De 4 søjler i pålidelig AI
Tillidsudvikling kan opdeles i fire praktiske søjler — forventningsstyring, beslutningsdesign, styring og tillidsinfrastruktur. Hver af dem adresserer et forskelligt punkt, hvor AI-systemer har tendens til at miste folks tillid.
Søjle 1: Forventningsstyring
Den første søjle handler om omfang. Generative AI-systemer er ofte for åbne og afgrænsede ikke nok, og denne åbenhed kan overvælde netop de brugere, som systemerne er beregnet til at hjælpe. "Det er rart at have et begrænset udvalg af, hvad jeg kan gøre med dette værktøj," bemærker Al-Dhubaib.
Han henviser til et eksempel fra den virkelige verden i sit arbejde med Behr Paint, hvor målet var at reducere beslutningstræthed ved valg af farve. "Du går ind i Home Depot og ser den store udstilling med farver til maling," siger han og beskriver, hvordan kunder — inklusive ham selv — går i stå. "Og du bliver meget overvældet, hvis du skal vælge." Løsningen var ikke mere AI — det var en strammere og mere bevidst afgrænset oplevelse.
Søjle 2: Beslutningsdesign
Den anden søjle handler om de rammer, der sættes for de valg, et AI-system må træffe. "Hvordan giver du brugerne den rette mængde information og de rette rammer, så de ved, hvordan de skal bruge systemet på en god måde?" spørger Al-Dhubaib.
I Behr Paint-projektet betød det, at man trak en skarp grænse for, hvilken slags rådgivning AI'en sikkert kunne give. Farvevalg var helt i orden; alt, der berørte malingblanding eller påføring, krævede, at sagen blev overladt til et menneske. "Hvis samtalen på noget tidspunkt begynder at bevæge sig i den retning, giver den hurtigt brugeren en besked som: Her er vores hjælpelinje til netop denne forespørgsel," siger Al-Dhubaib.
Hvis samtalen på noget tidspunkt begynder at bevæge sig i den retning, giver den hurtigt brugeren en besked som: Her er vores hjælpelinje til netop denne forespørgsel.
Systemet blev også bygget med omdømmemæssige sikkerhedsforanstaltninger for øje — "det kan heller ikke presses til at sige ting, som man ikke ønsker, det skal sige, og som derefter bliver skærmbilledet og spredt over hele internettet."
Søjle 3: Styring
Den tredje søjle beskæftiger sig med et spørgsmål, som ingeniører ikke kan besvare alene: Hvad betyder "retfærdigt" eller "korrekt" overhovedet for netop denne virksomhed? Al-Dhubaib beskriver et projekt, der involverede en model til optagelse af studerende, hvor kunden ønskede kvalitetssikring på tværs af demografiske grupper. "Der findes 22 forskellige måder at beregne retfærdighed på," siger han. "Og helt ærligt, det er uden for ingeniørens område. Jeg kan fortælle dig, hvad formlen er, og hvordan man beregner det på forskellige måder. Jeg får brug for, at du hjælper med at sige: Hvad er jeres politik? Hvordan griber I denne definition an, og hvad er korrekt for jer?"
Dette arbejde med styring stopper ikke ved interne beslutninger — det skal også kommunikeres udadtil. Som Al-Dhubaib udtrykker det, bliver alt dette dokumenteret og delt "i et brugervenligt systemkort."
Søjle 4: Tillidsinfrastruktur
Den sidste søjle dækker de værktøjer og processer, der holder et AI-system ærligt, når det først er taget i brug. Han illustrerer søjlen med en kontrast mellem to velkendte fastfoodkæder. Den ene fjernede sit AI-system til stemmestyrede bestillinger, efter at det ikke konsekvent kunne placere korrekte bestillinger.
Den anden valgte en anden tilgang: "På den anden side har du Domino's, hvor 80 % af deres telefonbestillinger nu håndteres af et AI-system," med menneskelige supervisorer, der overvåger opkaldene live og træder til efter behov, samt "passende revisionsforanstaltninger på plads for at sikre, at bestillingerne fortsat stemmer overens med det, brugeren sagde." Forskellen var efter Al-Dhubaibs opfattelse ikke den underliggende teknologi. "Jeg mener ikke, at dette så meget var en teknologisk fiasko som en manglende evne til at etablere de rigtige sikkerhedsforanstaltninger omkring teknologien."
Jeg mener ikke, at dette så meget var en teknologisk fiasko som en manglende evne til at etablere de rigtige sikkerhedsforanstaltninger omkring teknologien.
Tre spørgsmål, som alle projektteams bør stille
Ud over de fire søjler tilbyder Al-Dhubaib projektteams en enkel diagnosticering til enhver samtale om AI-styring — tre spørgsmål, der stilles i rækkefølge.
For det første: "Hvad har I gjort på forhånd for at teste og fastslå, at I har minimeret den potentielle skade eller de potentielle risici, der ligger i denne AI-løsning?" For det andet, når systemet er taget i brug: "Hvordan vil I vide, når det begår en fejl?" Og for det tredje — det spørgsmål, som han siger, oftest bliver overset — "Hvad gør I så? Hvordan får I det gjort? Har I faktisk stresstestet den plan?"
Sådan ved du, om det virker
Tillid er ikke bare et designprincip; det kan måles. Al-Dhubaib peger på brugeradfærd som et af de tydeligste signaler, et team har. "Opnår brugeren jeres mål?" spørger han og bruger igen Behr-eksemplet — når folk faktisk frem til at lære mere om en malingsspecifikation, gennemfører de interaktionen, og vender de tilbage til værktøjet.
I sidste ende knytter han nytteværdien direkte tilbage til selve tilliden: "Vi er ganske enkelt ikke nyttige — for det er også en del af tillid."
Konklusionen
Arbejde med at skabe tillid er ikke en tjekliste, der sættes på til sidst i et projekt — det er en række designvalg, der træffes undervejs, om hvad systemet vil og ikke vil gøre, og hvem der er ansvarlig for hver beslutning. Som Al-Dhubaib udtrykker det: "Man er nødt til at definere, hvad der er korrekt, og hvilke antagelser man vil lægge til grund. Det er alt sammen designvalg, der kan træffes som en del af arbejdet med at skabe tillid."
Vil du have flere indsigter som disse? Tilmeld dig en gratis DPM-konto for at høre fra flere eksperter som disse.
