Hoe bouw je betrouwbare AI: een raamwerk met 4 pijlers voor projectteams
Dit artikel is bewerkt naar aanleiding van een aflevering van de podcast The Digital Project Manager, met een gesprek tussen presentator Galen Low en Cal Al-Dhubaib, hoofd AI & Data Science bij Further. Luister hier.
Verantwoordelijkheid voor vertrouwen: Het ontbreken van individuele verantwoordelijkheid ondermijnt vaak het vertrouwen in AI-projecten en maakt het afleggen van verantwoordelijkheid ingewikkeld.
Vertrouwensengineering: Een raamwerk dat vertrouwensengineering wordt genoemd, bevordert een gemeenschappelijke taal tussen uiteenlopende belanghebbenden bij het ontwerpen van AI.
Vier pijlers: Betrouwbare AI steunt op vier pijlers: verwachtingsmanagement, besluitontwerp, governance en vertrouwensinfrastructuur.
Vragen voor projecten: Teams moeten drie belangrijke vragen overwegen om effectieve governance en risicobeheer in AI-oplossingen te waarborgen.
Vertrouwen meten: Het gedrag van gebruikers is een cruciale indicator van vertrouwen in en de effectiviteit van AI-systemen.
Waarom vertrouwen een eigenaar nodig heeft
De meeste AI-projecten lopen al tegen hetzelfde probleem aan voordat ze goed en wel van de grond komen: niemand is expliciet verantwoordelijk voor de vraag of het systeem kan worden vertrouwd. Cal Al-Dhubaib, hoofd AI & Data Science bij Further, heeft dit in verschillende sectoren zien gebeuren en is duidelijk over de oorzaak. "Het eenvoudige antwoord daarop is dat standaard niemand de verantwoordelijkheid draagt, en dat is het grote probleem", zegt hij.
Niemand draagt de verantwoordelijkheid ervoor [voor vertrouwen in AI], en dat is het grote probleem.
Het probleem is niet een gebrek aan betrokkenheid — het is een gebrek aan duidelijkheid over wiens taak het daadwerkelijk is. "Een interessant aspect van verantwoordelijkheid is dat, als het ieders verantwoordelijkheid is, niemand de eigenaar ervan is. Uiteindelijk heb je dus iemand nodig die verantwoordelijkheid draagt voor dit aspect", legt Al-Dhubaib uit. Bij Further is dat principe niet alleen theoretisch. "We wijzen daadwerkelijk iemand aan voor elk van deze AI-projecten, zodat we ervoor kunnen zorgen dat we de juiste vragen stellen."
Create a Free Account to Read More
Unlock this piece and join a community of forward-thinking leaders discovering tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
Wat vertrouwengineering daadwerkelijk inhoudt
Al-Dhubaibs antwoord op het gebrek aan eigenaarschap is een raamwerk dat hij vertrouwengineering noemt — in wezen een gedeelde taal voor de vele disciplines die betrokken zijn bij een AI-systeem. "Het is een gedeelde communicatietoolkit die verschillende soorten professionals helpt die samenwerken aan het ontwerp van AI-oplossingen en de adoptie van AI-oplossingen, om productiever te praten over het behouden van vertrouwen", zegt hij.
De behoefte aan zo'n gedeelde toolkit komt voort uit de doorgaans versnipperde aard van het gesprek. Ingenieurs, risicomanagers, governance-leiders, UX-ontwerpers en zakelijke belanghebbenden bekijken hetzelfde systeem allemaal door verschillende brillen. "Er moest een gedeelde manier komen waarop al deze mensen over hetzelfde kunnen praten en een vergelijkbaar begrip kunnen hebben van de manieren waarop vertrouwen door AI kan worden geschonden", zegt Al-Dhubaib, "en van de toolkits om zich daartegen te verdedigen."
Er moest een gedeelde manier komen waarop al deze mensen over hetzelfde kunnen praten en een vergelijkbaar begrip kunnen hebben van de manieren waarop vertrouwen door AI kan worden geschonden.
De 4 pijlers van betrouwbare AI
Vertrouwengineering valt uiteen in vier praktische pijlers — verwachtingsmanagement, beslissingsontwerp, governance en vertrouwensinfrastructuur. Elke pijler richt zich op een ander punt waarop AI-systemen het vertrouwen van mensen dreigen te verliezen.
Pijler 1: verwachtingsmanagement
De eerste pijler gaat over projectomvang. Generatieve AI-systemen zijn vaak te weinig afgebakend voor hun eigen bestwil, en die openheid kan de gebruikers die ze juist moeten helpen overweldigen. "Het is prettig om een beperkt beeld te hebben van wat ik met deze tool kan doen", merkt Al-Dhubaib op.
Hij noemt een praktijkvoorbeeld uit zijn werk met Behr Paint, waar het doel was om keuzestress bij het kiezen van kleuren te verminderen. "Je gaat naar Home Depot en ziet de grote presentatie met verfkleuren", zegt hij, terwijl hij beschrijft hoe klanten — hijzelf inbegrepen — vastlopen. "En je raakt erg overweldigd als je moet kiezen." De oplossing was niet meer AI — het was een strakker en bewust beter afgebakend proces.
Pijler 2: beslissingsontwerp
De tweede pijler gaat over de veiligheidskaders rond de keuzes die een AI-systeem mag maken. "Hoe geef je gebruikers de juiste hoeveelheid informatie en de juiste veiligheidskaders mee, zodat ze weten hoe ze het systeem goed kunnen gebruiken?" vraagt Al-Dhubaib.
In het Behr-verfproject betekende dit dat er een duidelijke grens moest worden getrokken rond het soort advies dat de AI veilig kon geven. Kleurselectie was toegestaan; alles wat met het mengen of aanbrengen van verf te maken had, vereiste een overdracht aan een menselijke medewerker. "Als het gesprek op enig moment die richting op begint te gaan, wordt de gebruiker snel gevraagd contact op te nemen met onze hulplijn voor hulp bij deze specifieke vraag", zegt Al-Dhubaib.
Als het gesprek op enig moment die richting op begint te gaan, wordt de gebruiker snel gevraagd contact op te nemen met onze hulplijn voor hulp bij deze specifieke vraag.
Het systeem werd ook gebouwd met reputatiegerichte beschermingsmaatregelen in gedachten — "het laat zich ook niet onder druk zetten om dingen te zeggen die je niet wilt dat het zegt, waarna er een screenshot van wordt gemaakt en het overal op internet wordt geplaatst."
Pijler 3: Governance
De derde pijler behandelt een vraag die niet alleen door technici kan worden beantwoord: wat betekent "eerlijk" of "correct" eigenlijk voor dit specifieke bedrijf? Al-Dhubaib beschrijft een project rond een model voor studententoelating, waarbij de klant wilde dat de kwaliteit over verschillende demografische groepen heen werd gewaarborgd. "Er zijn 22 verschillende manieren om eerlijkheid te berekenen", zegt hij. "En eerlijk gezegd valt dat buiten de reikwijdte van de technicus. Ik kan je vertellen wat de formule is en hoe je die op verschillende manieren berekent. Ik zal op jou moeten leunen om te zeggen: wat is je beleid? Hoe benader je deze definitie en wat is correct voor jou?"
Dat governancewerk houdt niet op bij interne beslissingen — het moet ook naar buiten toe worden gecommuniceerd. Zoals Al-Dhubaib het zegt, wordt dit allemaal gedocumenteerd en gedeeld "in een gebruiksvriendelijke systeemkaart."
Pijler 4: Vertrouwensinfrastructuur
De laatste pijler omvat de hulpmiddelen en processen die een AI-systeem eerlijk houden zodra het actief is. Hij illustreert de pijler met een contrast tussen twee bekende ketens van snelle-service-restaurants. De ene haalde zijn AI-systeem voor telefonische bestellingen uit de lucht nadat het niet consequent nauwkeurige bestellingen kon plaatsen.
De andere koos voor een andere aanpak: "Aan de andere kant heb je Domino's, waar 80% van hun telefonische bestellingen nu door een AI-systeem wordt afgehandeld", waarbij menselijke supervisors livegesprekken monitoren en indien nodig ingrijpen, en waarbij "passende controlemaatregelen zijn ingevoerd om ervoor te zorgen dat bestellingen blijven overeenkomen met wat de gebruiker heeft gezegd." Volgens Al-Dhubaib lag het verschil niet in de onderliggende technologie. "Ik denk niet dat dit zozeer een mislukking van de technologie was, maar eerder een mislukking om de juiste beschermingsmaatregelen rond de technologie te plaatsen."
Ik denk niet dat dit zozeer een mislukking van de technologie was, maar eerder een mislukking om de juiste beschermingsmaatregelen rond de technologie te plaatsen.
Drie vragen die elk projectteam moet stellen
Naast de vier pijlers biedt Al-Dhubaib projectteams een eenvoudige diagnose voor elk gesprek over AI-governance — drie vragen, die achter elkaar worden gesteld.
Ten eerste: "Wat heb je vooraf gedaan om te testen en vast te stellen dat je de mogelijke schade of mogelijke risico's die inherent zijn aan deze AI-oplossing tot een minimum hebt beperkt?" Ten tweede, zodra het systeem actief is: "Hoe kom je te weten wanneer het een fout maakt?" En ten derde — de vraag die volgens hem het vaakst over het hoofd wordt gezien — "Wat doe je dan? Hoe zorg je ervoor dat het wordt opgelost? Heb je dat plan daadwerkelijk aan stresstests onderworpen?"
Hoe je weet of het werkt
Vertrouwen is niet alleen een ontwerpprincipe; het is meetbaar. Al-Dhubaib wijst op gebruikersgedrag als een van de duidelijkste signalen waarover een team beschikt. "Bereikt de gebruiker je doel?" vraagt hij, opnieuw verwijzend naar het Behr-voorbeeld — bereiken mensen daadwerkelijk het punt waarop ze meer leren over een verfspecificatie, de interactie voltooien en terugkeren naar de tool?
Uiteindelijk koppelt hij bruikbaarheid rechtstreeks aan vertrouwen zelf: "We zijn simpelweg niet nuttig — omdat dat ook deel uitmaakt van vertrouwen."
De kern
Vertrouwenstechniek is geen checklist die aan het einde van een project wordt toegevoegd — het is een reeks ontwerpkeuzes die gedurende het hele proces wordt gemaakt, over wat het systeem wel en niet zal doen en wie verantwoordelijk is voor elke beslissing. Zoals Al-Dhubaib het zegt: "Je moet definiëren wat correct is en welke aannames je wilt hanteren. Dit zijn allemaal ontwerpkeuzes die onderdeel kunnen zijn van vertrouwenstechniek."
Wil je meer inzichten zoals deze? Meld je aan voor een gratis DPM-account om van meer experts zoals deze te horen.
