Come costruire un’IA affidabile: un modello a 4 pilastri per i team di progetto
Questo articolo è tratto da un episodio del podcast The Digital Project Manager, che presenta una conversazione tra il conduttore Galen Low e Cal Al-Dhubaib, Head of AI & Data Science presso Further. Ascoltalo qui.
Responsabilità nella Fiducia: La mancanza di responsabilità individuale spesso mina la fiducia nei progetti di IA, complicando la rendicontazione.
Ingegneria della Fiducia: Un modello chiamato ingegneria della fiducia promuove un linguaggio comune tra interlocutori diversi durante la progettazione dell’IA.
Quattro Pilastri: Un’IA affidabile si basa su quattro pilastri: gestione delle aspettative, progettazione delle decisioni, governance e infrastruttura della fiducia.
Domande Chiave per i Progetti: I team dovrebbero porsi tre domande chiave per garantire una governance efficace e una gestione del rischio nelle soluzioni di IA.
Misurare la Fiducia: Il comportamento degli utenti rappresenta un indicatore fondamentale della fiducia e dell’efficacia nei sistemi di IA.
Perché la fiducia ha bisogno di un responsabile
La maggior parte dei progetti di intelligenza artificiale incontra lo stesso problema prima ancora di iniziare: nessuno è esplicitamente responsabile di garantire che il sistema sia affidabile. Cal Al-Dhubaib, Head of AI & Data Science presso Further, ha visto questa situazione in diversi settori e va dritto alla radice del problema. "La risposta semplice è che, di default, non c'è un vero responsabile, ed è proprio questo il grande problema," afferma.
Nessuno se ne fa carico [della fiducia nell’AI], ed è questo il grande problema.
Il problema non è la mancanza di attenzione, ma di chiarezza su chi sia davvero incaricato di questa responsabilità. "Una cosa interessante sull'accountability è che se la responsabilità è di tutti, di fatto non è di nessuno, quindi serve necessariamente una persona che se ne occupi," spiega Al-Dhubaib. In Further, questo principio non resta solo sulla carta. "Ne assegniamo effettivamente uno per ciascuno di questi progetti di intelligenza artificiale proprio per essere certi di porci le domande giuste."
Sblocca Gratis
Crea un account gratuito per terminare la lettura di questo articolo e unirti a una community di leader innovativi che accedono a strumenti, playbook e approfondimenti per prosperare nell’era dell’AI.
Have an account? Log In
Cosa significa davvero Trust Engineering
La risposta di Al-Dhubaib a questa mancanza di responsabilità è un framework che lui chiama trust engineering — fondamentalmente un linguaggio condiviso per le molte discipline che interagiscono con un sistema di intelligenza artificiale. "È un kit di strumenti comunicativi condiviso che aiuta le diverse figure che collaborano alla progettazione di soluzioni AI e all'adozione di soluzioni di intelligenza artificiale a dialogare in modo più produttivo su come preservare la fiducia," spiega.
La necessità di questo toolkit condiviso nasce dal fatto che la conversazione di solito è molto frammentata. Ingegneri, responsabili dei rischi, referenti per la governance, designer UX e stakeholder aziendali osservano lo stesso sistema con prospettive diverse. "Era necessario trovare un modo condiviso perché tutte queste persone potessero parlare della stessa cosa e comprendere in modo simile in che modo la fiducia può essere compromessa con l'AI," afferma Al-Dhubaib, "e gli strumenti per difendersi da questi rischi."
Era necessario trovare un modo condiviso perché tutte queste persone potessero parlare della stessa cosa e avere una comprensione simile delle modalità con cui la fiducia può essere compromessa con l’AI.
I 4 pilastri dell’AI affidabile
Il trust engineering si articola in quattro pilastri pratici — gestione delle aspettative, progettazione delle decisioni, governance e infrastruttura della fiducia. Ognuno affronta un differente punto in cui i sistemi di intelligenza artificiale rischiano di perdere la fiducia delle persone.
Pilastro 1: Gestione delle aspettative
Il primo pilastro riguarda lo scope. I sistemi di intelligenza artificiale generativa sono spesso troppo aperti e questa ampiezza può sopraffare proprio gli utenti che dovrebbero aiutare. "È utile avere una gamma limitata di possibilità su ciò che posso fare con questo strumento," osserva Al-Dhubaib.
Cita un esempio concreto dal suo lavoro con Behr Paint, dove l’obiettivo era ridurre l’affaticamento decisionale nella scelta dei colori. "Vai da Home Depot e vedi il grande espositore di colori di vernice," racconta, descrivendo come i clienti — lui compreso — finiscano per bloccarsi. "E ti senti molto sopraffatto se devi scegliere." La soluzione non è stata più intelligenza artificiale, ma un’esperienza più mirata e ben definita.
Pilastro 2: Progettazione delle decisioni
Il secondo pilastro riguarda i limiti posti alle scelte che un sistema di intelligenza artificiale può compiere. "Come si può guidare l’utente con la giusta quantità di informazioni e di limiti, in modo che sappia utilizzare il sistema correttamente?" chiede Al-Dhubaib.
Nel progetto Behr Paint, questo significava tracciare un confine netto su quale tipo di consulenza l'IA potesse fornire in sicurezza. La selezione dei colori era lecita; qualsiasi cosa riguardante la miscelazione delle vernici o l’applicazione richiedeva l’intervento di una persona. "Se in qualsiasi momento la conversazione inizia a deviare in quella direzione, l’utente viene prontamente invitato a contattare la nostra hotline per ricevere assistenza su questa particolare richiesta", afferma Al-Dhubaib.
Se in qualsiasi momento la conversazione inizia a deviare in quella direzione, l’utente viene prontamente invitato a contattare la nostra hotline per ricevere assistenza su questa particolare richiesta.
Il sistema è stato anche progettato con barriere reputazionali — "non si fa persuadere a dire cose indesiderate che potrebbero essere schermate e diffuse ovunque online."
Pilastro 3: Governance
Il terzo pilastro affronta una domanda alla quale non possono rispondere da soli gli ingegneri: cosa significa davvero "equo" o "corretto" per questa specifica azienda? Al-Dhubaib descrive un progetto riguardante un modello per l'ammissione degli studenti, in cui il cliente voleva garantire la qualità per tutti i gruppi demografici. "Ci sono 22 modi diversi di calcolare l’equità", dice. "E francamente, questo va oltre il compito dell’ingegnere. Posso spiegare quali sono le formule e come calcolarle in vari modi. Ma ho bisogno del vostro supporto per capire qual è la vostra policy. Come affrontate questa definizione e cosa è corretto per voi?"
Questo lavoro di governance non termina con le decisioni interne — deve essere comunicato anche all’esterno. Come afferma Al-Dhubaib, tutto questo viene documentato e condiviso "in una scheda di sistema pensata per l’utente finale".
Pilastro 4: Infrastruttura della Fiducia
L’ultimo pilastro riguarda gli strumenti e i processi che mantengono un sistema di IA integro una volta che è in produzione. Illustra il pilastro con il confronto tra due note catene di ristoranti fast-food. Una ha ritirato il proprio sistema di ordinazione vocale IA perché non riusciva a effettuare ordini accurati con costanza.
L’altra ha scelto un approccio diverso: "C'è Domino’s dall’altro lato, dove ora l’80% degli ordini telefonici viene gestito da un sistema di IA," con supervisori umani che monitorano le chiamate dal vivo e intervengono quando necessario, con "opportune misure di audit per assicurarsi che gli ordini corrispondano a quanto dichiarato dagli utenti". La differenza, secondo Al-Dhubaib, non era la tecnologia alla base. "Non penso che sia stato un fallimento della tecnologia quanto piuttosto una mancanza di adeguate barriere attorno alla tecnologia."
Non penso che sia stato un fallimento della tecnologia quanto piuttosto una mancanza di adeguate barriere attorno alla tecnologia.
Tre domande che ogni team di progetto dovrebbe porsi
Oltre ai quattro pilastri, Al-Dhubaib consiglia ai team di progetto uno strumento diagnostico semplice per ogni conversazione sulla governance dell’IA — tre domande, da porre in sequenza.
La prima: "Cosa avete fatto in anticipo per testare e affermare di aver ridotto al minimo i potenziali danni o rischi potenziali insiti in questa soluzione di IA?" La seconda, a livello di sistema operativo: "Come saprete quando sta commettendo un errore?" E la terza — la domanda che, secondo lui, viene spesso trascurata — "Cosa farete allora? Come lo si risolve? Avete davvero collaudato quel piano sotto stress?"
Come capire se sta funzionando
La fiducia non è solo un principio di design; è misurabile. Al-Dhubaib indica il comportamento degli utenti come uno dei segnali più chiari che un team può avere. "L’utente raggiunge il tuo obiettivo?", chiede, usando ancora l’esempio Behr — le persone arrivano davvero al punto di scoprire una scheda tecnica, completano l’interazione e tornano a utilizzare lo strumento?
Alla fine, collega l’utilità direttamente alla fiducia stessa: "Semplicemente non siamo utili — perché anche questo è parte della fiducia."
In sintesi
L’ingegneria della fiducia non è una checklist da spuntare alla fine di un progetto — è una serie di scelte progettuali fatte lungo tutto il processo, su cosa il sistema farà o non farà, e chi sarà responsabile di ogni decisione. Come afferma Al-Dhubaib: "Devi definire cosa è corretto e quali assunzioni intendi validare. Sono tutte scelte di progettazione che possono essere parte integrante della trust engineering."
Vuoi ricevere altri approfondimenti come questi? Iscriviti a un account DPM gratuito per ascoltare altri esperti come questi.