Comment construire une IA digne de confiance : un cadre en 4 piliers pour les équipes projet
Cet article est adapté d’un épisode du podcast The Digital Project Manager, présentant une conversation entre l’animateur Galen Low et Cal Al-Dhubaib, Responsable IA et Data Science chez Further. Écoutez-le ici.
Responsabilité de la confiance: Le manque de responsabilité individuelle nuit souvent à la confiance dans les projets d’IA, compliquant ainsi la responsabilisation.
Ingénierie de la confiance: Un cadre nommé ingénierie de la confiance promeut un langage commun entre les diverses parties prenantes lors de la conception de l’IA.
Les quatre piliers: La fiabilité de l’IA repose sur quatre piliers : gestion des attentes, conception des décisions, gouvernance et infrastructure de confiance.
Questions clés du projet: Les équipes doivent se poser trois questions essentielles afin d’assurer une gouvernance efficace et une bonne gestion des risques dans les solutions d’IA.
Mesurer la confiance: Le comportement des utilisateurs constitue un indicateur fondamental de la confiance et de l’efficacité des systèmes d’IA.
Pourquoi la confiance a besoin d’un responsable
La plupart des projets d’IA rencontrent le même problème avant même d’avoir réellement commencé : personne n’est explicitement responsable du fait que le système soit digne de confiance. Cal Al-Dhubaib, Responsable IA et Data Science chez Further, a vu cela se produire dans de nombreux secteurs, et il est direct quant à la cause profonde. « La réponse facile à cela est que, par défaut, personne ne s’en occupe, et c’est là tout le problème », dit-il.
Personne n’en prend la responsabilité [la confiance dans l’IA], et c’est là le véritable problème.
Le problème n’est pas un manque d’intérêt — c’est un manque de clarté sur la personne à qui incombe véritablement cette responsabilité. « Un aspect intéressant de la responsabilité, c’est que si c’est la responsabilité de tout le monde, alors personne ne s’en charge vraiment, et vous avez donc besoin qu’une personne bien identifiée prenne en charge cet aspect », explique Al-Dhubaib. Chez Further, ce principe est loin d’être théorique. « Nous en assignons effectivement un à chaque projet IA afin de nous assurer que nous posons les bonnes questions. »
Déverrouillez gratuitement
Créez un compte gratuit pour terminer la lecture de cet article et rejoindre une communauté de leaders innovants qui accèdent à des outils, des méthodes et des idées pour prospérer à l’ère de l’IA.
Have an account? Log In
Ce qu’est vraiment l’ingénierie de la confiance
La réponse d’Al-Dhubaib à ce manque de pilotage est un cadre qu’il appelle l’ingénierie de la confiance — essentiellement un langage commun pour les nombreuses disciplines interagissant avec un système IA. « C’est une boîte à outils de communication partagée pour aider les différents acteurs qui collaborent à la conception de solutions IA et à l’adoption de solutions IA à dialoguer plus efficacement sur la préservation de la confiance », dit-il.
Le besoin d’une telle boîte à outils vient du fait que la conversation est souvent très fragmentée. Ingénieurs, gestionnaires des risques, responsables de la gouvernance, designers UX et parties prenantes métier abordent tous le système selon des points de vue différents. « Il fallait qu’il y ait un moyen commun pour toutes ces personnes de parler du même sujet et de comprendre de façon similaire comment la confiance peut être compromise avec l’IA », indique Al-Dhubaib, « et disposer de boîtes à outils pour s’en prémunir ».
Il fallait qu’il existe un moyen commun pour que toutes ces personnes parlent du même sujet et aient une compréhension similaire des manières dont la confiance peut être trahie avec l’IA.
Les 4 piliers d’une IA digne de confiance
L’ingénierie de la confiance se décline en quatre piliers pratiques — gestion des attentes, conception des décisions, gouvernance et infrastructure de confiance. Chacun vise à pallier un point de fragilité où le système d’IA risque de perdre la confiance des utilisateurs.
Pilier 1 : Gestion des attentes
Le premier pilier porte sur le périmètre. Les systèmes d’IA générative sont souvent trop ouverts pour leur propre bien, et cette ouverture peut déstabiliser les utilisateurs qu’ils sont censés aider. « Il est utile d’avoir une gamme limitée de ce que je peux faire avec cet outil », souligne Al-Dhubaib.
Il cite un exemple concret issu de son expérience avec Behr Paint, où l’objectif était de réduire la fatigue liée au choix des couleurs. « On va chez Home Depot et on voit l’immense présentoir de couleurs de peinture », explique-t-il, décrivant la façon dont les clients — y compris lui-même — se retrouvent bloqués. « Et on se sent très dépassé si on doit choisir. » La solution n’a pas été d’ajouter de l’IA, mais de proposer une expérience plus ciblée et délibérément cadrée.
Pilier 2 : Conception des décisions
Le deuxième pilier concerne les garde-fous autour des choix qu’un système d’IA est autorisé à faire. « Comment guider les utilisateurs avec le bon niveau d’information et les bons garde-fous, afin qu’ils sachent utiliser le système à bon escient ? » interroge Al-Dhubaib.
Dans le projet Behr Paint, cela impliquait de tracer une limite claire sur le type de conseils que l’IA pouvait donner en toute sécurité. La sélection des couleurs était autorisée ; tout ce qui touchait au mélange ou à l’application de la peinture nécessitait une intervention humaine. « Si à un moment de la conversation, cela commence à s’orienter dans cette direction, l’utilisateur est rapidement invité à contacter notre hotline pour obtenir de l’aide sur cette demande particulière », explique Al-Dhubaib.
Si à un moment de la conversation, cela commence à s’orienter dans cette direction, l’utilisateur est rapidement invité à contacter notre hotline pour obtenir de l’aide sur cette demande particulière.
Le système a également été conçu avec des garde-fous visant à protéger la réputation — « il ne se laisse pas non plus manipuler pour dire des choses indésirables, susceptibles d’être immortalisées en captures d’écran et largement diffusées sur Internet. »
Pilier 3 : Gouvernance
Le troisième pilier aborde une question à laquelle les ingénieurs seuls ne peuvent pas répondre : qu’est-ce que « juste » ou « correct » signifie réellement pour cette entreprise précise ? Al-Dhubaib décrit un projet impliquant un modèle d’admission pour les étudiants, où le client souhaitait garantir la qualité pour tous les groupes démographiques. « Il existe 22 façons différentes de calculer l’équité », dit-il. « Et franchement, cela dépasse le cadre de l’ingénieur. Je peux vous expliquer les formules et comment les calculer de différentes manières. J’aurai besoin de votre contribution pour définir votre politique, votre approche de cette définition et ce qui est correct pour vous. »
Ce travail de gouvernance ne s’arrête pas aux décisions internes – il doit également être communiqué à l’extérieur. Comme le dit Al-Dhubaib, tout cela est documenté et partagé « dans une fiche système conviviale ».
Pilier 4 : Infrastructure de la confiance
Le dernier pilier concerne les outils et les processus qui assurent l’intégrité d’un système d’IA une fois qu’il est en production. Il illustre ce pilier par un contraste entre deux chaînes de restauration rapide bien connues. L’une a retiré son système de commande vocale par IA après l’échec d’une prise de commande fiable.
L’autre a adopté une approche différente : « Vous avez Domino’s, par exemple, où 80 % de leurs commandes passées par téléphone sont désormais gérées par un système d’IA », avec des superviseurs humains qui surveillent les appels en direct et interviennent si nécessaire, et « des mesures d’audit appropriées sont en place pour s’assurer que les commandes correspondent bien à la demande de l’utilisateur. » Selon Al-Dhubaib, la différence ne vient pas de la technologie sous-jacente. « Je ne pense pas qu’il s’agissait en l’occurrence d’une défaillance de la technologie, mais plutôt d’une absence de bons garde-fous autour de cette technologie. »
Je ne pense pas qu’il s’agissait en l’occurrence d’une défaillance de la technologie, mais plutôt d’une absence de bons garde-fous autour de cette technologie.
Trois questions que chaque équipe projet doit se poser
Au-delà des quatre piliers, Al-Dhubaib propose aux équipes projet un moyen simple de diagnostiquer toute discussion sur la gouvernance de l’IA : trois questions, à poser dans l’ordre.
Premièrement : « Qu’avez-vous fait en amont pour tester et garantir que vous avez minimisé les dommages potentiels ou les risques potentiels inhérents à cette solution d’IA ? » Deuxièmement, une fois le système en production : « Comment allez-vous savoir lorsqu’il commet une erreur ? » Et troisièmement — la question trop souvent négligée selon lui — « Que faites-vous ensuite ? Comment procédez-vous ? Avez-vous réellement mis votre plan à l’épreuve ? »
Comment savoir si ça fonctionne ?
La confiance n’est pas qu’un principe de conception ; elle est mesurable. Al-Dhubaib cite le comportement utilisateur comme l’un des signaux les plus clairs à disposition d’une équipe. « L’utilisateur atteint-il vos objectifs ? » demande-t-il, reprenant l’exemple Behr : les gens parviennent-ils réellement à en savoir plus sur une peinture, à finaliser leur interaction et à revenir sur l’outil.
En fin de compte, il lie l’utilité à la confiance elle-même : « Nous ne sommes simplement pas utiles — parce que cela fait aussi partie de la confiance. »
L’essentiel
L’ingénierie de la confiance n’est pas une simple liste de contrôle que l’on ajoute à la fin d’un projet — il s’agit d’une série de choix de conception effectués tout au long du processus, sur ce que le système fera ou ne fera pas, et sur qui sera responsable de chaque décision. Comme le dit Al-Dhubaib, « Vous devez définir ce qui est correct et quelles hypothèses vous allez affirmer. Ce sont tous des choix de conception que l’on peut faire dans le cadre de l’ingénierie de la confiance. »
Vous souhaitez obtenir plus d’analyses comme celles-ci ? Inscrivez-vous à un compte DPM gratuit pour entendre d'autres experts comme eux.
