Cómo construir una IA confiable: Un marco de 4 pilares para equipos de proyecto
Este artículo está adaptado de un episodio del pódcast de The Digital Project Manager, que presenta una conversación entre el anfitrión Galen Low y Cal Al-Dhubaib, Jefe de IA y Ciencia de Datos en Further. Escúchalo aquí.
Responsabilidad sobre la confianza: La falta de responsabilidad individual suele minar la confianza en los proyectos de IA y complica la rendición de cuentas.
Ingeniería de confianza: Un marco llamado ingeniería de confianza fomenta un lenguaje común entre las distintas partes interesadas en el diseño de IA.
Cuatro pilares: Una IA confiable se basa en cuatro pilares: gestión de expectativas, diseño de decisiones, gobernanza e infraestructura de confianza.
Cuestiones del proyecto: Los equipos deben considerar tres preguntas clave para garantizar una gobernanza y gestión de riesgos efectivas en las soluciones de IA.
Medición de la confianza: El comportamiento del usuario sirve como un indicador clave de la confianza y la efectividad en los sistemas de IA.
Por qué la confianza necesita un responsable
La mayoría de los proyectos de IA se topan con el mismo problema antes siquiera de despegar: nadie es explícitamente responsable de si el sistema es confiable o no. Cal Al-Dhubaib, Jefe de IA y Ciencia de Datos en Further, ha visto esto desarrollarse en muchas industrias y es tajante acerca de la causa raíz. "La respuesta sencilla es que, por defecto, nadie se hace cargo, y ese es el gran problema", afirma.
Nadie se hace cargo de esto [la confianza en la IA], y ese es el gran problema.
El problema no es falta de preocupación, sino de claridad sobre de quién es realmente la responsabilidad. "Algo interesante sobre la rendición de cuentas es que, si es responsabilidad de todos, nadie lo asume, y por eso necesitas que una persona se encargue de este aspecto", explica Al-Dhubaib. En Further, ese principio no es solo teórico. "En realidad, asignamos a una persona en cada uno de estos proyectos de IA para asegurarnos de que estamos haciendo las preguntas correctas."
Desbloquea Gratis
Crea una cuenta gratuita para terminar de leer este contenido y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, manuales y conocimientos para prosperar en la era de la IA.
Have an account? Log In
Qué es realmente la ingeniería de confianza
La respuesta de Al-Dhubaib a la brecha de responsabilidad es un marco que él denomina ingeniería de confianza: esencialmente, un lenguaje compartido para las muchas disciplinas que interactúan con un sistema de IA. "Es un conjunto de herramientas de comunicación compartidas que ayudan a los diferentes perfiles que colaboran en el diseño de soluciones de IA y en la adopción de soluciones de IA a dialogar de manera más productiva sobre cómo preservar la confianza", señala.
La necesidad de ese conjunto de herramientas compartidas surge porque la conversación suele estar muy fragmentada. Ingenieros, responsables de riesgos, líderes de gobernanza, diseñadores UX y partes interesadas del negocio observan el mismo sistema desde diferentes perspectivas. "Tenía que haber alguna forma compartida para que todas estas personas hablaran sobre lo mismo y tuvieran una comprensión similar de las formas en que se puede vulnerar la confianza con la IA", dice Al-Dhubaib, "y las herramientas para defenderse de ello."
Tenía que haber alguna forma compartida para que todas estas personas hablaran sobre lo mismo y tuvieran una comprensión similar de las maneras en que la confianza puede ser vulnerada con la IA.
Los 4 pilares de una IA confiable
La ingeniería de confianza se divide en cuatro pilares prácticos: gestión de expectativas, diseño de decisiones, gobernanza e infraestructura de confianza. Cada uno atiende un punto diferente donde los sistemas de IA suelen perder la confianza de las personas.
Pilar 1: Gestión de expectativas
El primer pilar trata sobre el alcance. Los sistemas generativos de IA suelen ser tan abiertos que pueden resultar contraproducentes y esa flexibilidad puede sobrepasar precisamente a los usuarios que deberían beneficiar. "Es bueno tener un rango limitado de lo que puedes hacer con esta herramienta", destaca Al-Dhubaib.
Señala un ejemplo real de su trabajo con Behr Paint, donde el objetivo era reducir la fatiga en la toma de decisiones al elegir colores. "Vas a Home Depot y ves la gran exhibición de colores de pintura", explica, describiendo cómo los clientes —incluyéndose él mismo— se quedan bloqueados. "Y te abruma tener que elegir." La solución no fue más IA, sino una experiencia más ajustada y deliberadamente acotada.
Pilar 2: Diseño de decisiones
El segundo pilar tiene que ver con los límites que se le ponen a las opciones que el sistema de IA puede tomar. "¿Cómo orientas a los usuarios con la cantidad correcta de información y con los límites adecuados para que sepan cómo utilizar el sistema de manera efectiva?", plantea Al-Dhubaib.
En el proyecto de Behr Paint, esto significó establecer un límite claro sobre el tipo de consejos que la IA podía dar de manera segura. La selección de colores estaba permitida; cualquier tema relacionado con la mezcla o aplicación de pintura requería la intervención de un humano. "Si en algún momento durante la conversación empieza a desviarse en esa dirección, rápidamente le sugiere al usuario que aquí está nuestra línea directa para ayudar con esta consulta en particular", dice Al-Dhubaib.
Si en algún momento durante la conversación empieza a desviarse en esa dirección, rápidamente le sugiere al usuario que aquí está nuestra línea directa para ayudar con esta consulta en particular.
El sistema también fue construido considerando salvaguardas de reputación — "tampoco se deja intimidar para decir cosas que no quieres que diga y que puedan quedar capturas de pantalla distribuidas por todo internet."
Pilar 3: Gobernanza
El tercer pilar responde a una pregunta que no pueden contestar únicamente los ingenieros: ¿qué significa "justo" o "correcto" para este negocio en específico? Al-Dhubaib describe un proyecto que involucraba un modelo para la admisión de estudiantes, donde el cliente quería asegurar la calidad entre grupos demográficos. "Hay 22 formas diferentes de calcular la equidad", dice. "Y sinceramente, eso está fuera del alcance del ingeniero. Puedo decirte cuál es la fórmula y cómo calcularlas de diversas maneras. Voy a necesitar que ustedes definan, ¿cuál es su política? ¿Cómo abordan esta definición y qué es correcto para ustedes?"
Ese trabajo de gobernanza no termina con decisiones internas — también debe ser comunicado externamente. Como lo plantea Al-Dhubaib, todo esto se documenta y comparte "en una tarjeta de sistema amigable para el usuario."
Pilar 4: Infraestructura de Confianza
El último pilar abarca las herramientas y procesos que mantienen la honestidad de un sistema de IA una vez que está en funcionamiento. Él ilustra el pilar con el contraste entre dos conocidas cadenas de restaurantes de servicio rápido. Una retiró su sistema de pedidos por voz con IA después de que no pudo realizar pedidos precisos de manera constante.
La otra adoptó un enfoque distinto: "Tienes a Domino's, por otro lado, donde el 80% de sus pedidos telefónicos ahora están siendo atendidos por un sistema de IA", con supervisores humanos monitoreando llamadas en tiempo real e interviniendo cuando es necesario, y "medidas de auditoría apropiadas para garantizar que los pedidos continúen correspondiendo con lo que dijo el usuario." La diferencia, en la opinión de Al-Dhubaib, no era la tecnología subyacente. "No creo que esto haya sido un fracaso en términos de la tecnología, sino más bien un fallo al no poner los límites adecuados alrededor de la tecnología."
No creo que esto haya sido un fracaso en términos de la tecnología, sino más bien un fallo al no poner los límites adecuados alrededor de la tecnología.
Tres preguntas que todo equipo de proyecto debe hacer
Más allá de los cuatro pilares, Al-Dhubaib ofrece a los equipos de proyectos un diagnóstico sencillo para cualquier conversación sobre gobernanza de IA: tres preguntas, planteadas en secuencia.
Primero: "¿Qué han hecho de antemano para probar y asegurar que han minimizado el daño potencial o los riesgos potenciales inherentes a esta solución de IA?" Segundo, una vez que el sistema está en funcionamiento: "¿Cómo sabrán cuándo está cometiendo un error?" Y tercero — la pregunta que él dice que se pasa por alto más a menudo — "¿Qué van a hacer entonces? ¿Cómo van a solucionarlo? ¿Realmente han puesto a prueba ese plan?"
Cómo saber si está funcionando
La confianza no es solo un principio de diseño; es medible. Al-Dhubaib señala el comportamiento del usuario como una de las señales más claras que tiene un equipo. "¿El usuario está cumpliendo tu objetivo?" pregunta, utilizando nuevamente el ejemplo de Behr — si las personas realmente llegan al punto de aprender más sobre una especificación de pintura, completan la interacción y vuelven a utilizar la herramienta.
En última instancia, él vincula la utilidad directamente con la confianza misma: "Simplemente no somos útiles — porque eso también es una parte de la confianza."
Lo Esencial
La ingeniería de confianza no es una lista de verificación que se añade al final de un proyecto — es una serie de decisiones de diseño tomadas a lo largo del proceso, sobre lo que el sistema hará o no, y quién es responsable de cada decisión. Como lo explica Al-Dhubaib, "Tienes que definir qué es correcto y cuáles son los supuestos que vas a establecer. Todas estas son decisiones de diseño que pueden formar parte de la ingeniería de confianza."
¿Quieres más ideas como estas? Regístrate para obtener una cuenta gratuita de DPM y descubre las opiniones de más expertos como estos.
