Los Cuatro Pilares de una IA Confiable—y Quién es Su Responsable

Galen Low: ¿Qué es la confianza en la ingeniería y cómo conduce a soluciones y experiencias de IA seguras?

Cal Al-Dhubaib: Es un conjunto de herramientas de comunicación compartido para ayudar a varias personas diferentes que colaboran en torno al diseño y adopción de soluciones de IA, para conversar de manera más productiva sobre cómo preservar la confianza. Necesitaba haber una forma compartida para que todas estas personas hablaran sobre lo mismo y tuvieran este entendimiento similar de las maneras en que la confianza puede ser vulnerada con la IA, y luego las herramientas para defenderse de ello.

Galen Low: ¿Cómo puede un equipo de proyecto compartir la responsabilidad de construir la confianza en sus soluciones y evitar el señalamiento de culpables?

Cal Al-Dhubaib: Algo interesante sobre la responsabilidad es que si es responsabilidad de todos, no es de nadie, y por eso, en última instancia, necesitas a una persona que sea quien asuma este aspecto. De hecho, asignamos a una persona en cada uno de estos proyectos de IA para asegurarnos de que estamos haciendo las preguntas correctas.

Galen Low: ¿Cuánto tiempo crees que tomará para que la IA comprenda el concepto humano de confianza mejor que los mismos humanos?

Cal Al-Dhubaib: Realmente creo que la definición de IA es tan circular... ¿Cómo podría una IA entender la confianza mejor que los humanos? No lo sé, pero además—

Galen Low: Bienvenidos al pódcast de The Digital Project Manager — el programa que ayuda a líderes de entrega a trabajar de forma más inteligente, entregar con mayor fluidez y liderar a sus equipos con confianza en la era de la IA. Soy Galen, y cada semana nos sumergimos en estrategias reales, tendencias emergentes, marcos comprobados y alguna que otra historia de guerra desde las trincheras de proyectos. Ya sea que lideres grandes proyectos de transformación, gestiones flujos de trabajo de IA o simplemente intentes mantener el caos bajo control, estás en el lugar correcto. Entremos en materia.

Hoy vamos a hablar sobre cómo se puede diseñar la confianza en las experiencias potenciadas por IA, por qué es tan importante para las organizaciones que implementan soluciones de IA en industrias reguladas y cuál es el papel del equipo de proyecto —especialmente del líder de proyecto— en generar esa confianza.

Hoy me acompaña Cal Al-Dhubaib, director de IA y Ciencia de Datos en Further, una empresa que ayuda a transformar la experiencia del cliente con datos e inteligencia artificial. Cal es experto en IA y ciencia de datos, emprendedor, orador prolífico y nuevo presentador del pódcast Open Data Science. Utiliza su profunda experiencia en ciencia de datos para ayudar a las organizaciones a cerrar la brecha entre la innovación en IA y la responsabilidad ética, para que el despliegue de IA esté alineado con valores y objetivos.

Su labor en el sector tecnológico de Cleveland también ha sido reconocida: Cal figura entre los 20 mejores de Crane Cleveland en su veintena, como líder inmigrante notable y destacado ejecutivo tecnológico, además de ser ganador en cuatro ocasiones del Cleveland Smart 50 Awards.

Cal, muchas gracias por acompañarme hoy.

Cal Al-Dhubaib: Gracias a ti por invitarme, Galen. Estoy entusiasmado por esta conversación.

Galen Low: Yo también. Realmente he disfrutado nuestras conversaciones previas. Realmente eres alguien que sabe de lo que habla. Has recorrido el circuito. Felicidades por convertirte en anfitrión del pódcast Open Data Science. Tienes muchas cosas buenas entre manos.

Sé que estás muy involucrado y te apasiona, y espero que esta charla nos lleve por caminos inesperados. Pero por si acaso, aquí tienes el itinerario que he pensado para hoy. Para empezar, quería plantear una gran pregunta que muchos oyentes quieren que respondamos.

Luego quiero desglosarla en tres cosas. Primero, quiero hablar sobre qué significa diseñar confianza en una solución de IA y cuál es la responsabilidad del equipo de proyecto en mantener esa confianza. Después, explorar formas de medir y auditar la confianza, especialmente en sectores regulados, pero también más allá del cumplimiento normativo.

Y por último, querría conocer tu perspectiva sobre el futuro y cómo podría evolucionar nuestra idea de la confianza en los próximos años a medida que ganamos colectivamente mejor entendimiento de cómo se manejan nuestros datos en la era de la IA. Eso fue mucho, ¿qué te parece?

Cal Al-Dhubaib: Por supuesto. Vamos a abarcar mucho. Es ambicioso, y estoy aquí para ello.

Galen Low: Me encanta. Empecemos. Quiero comenzar con una gran y complicada pregunta: uno de los grandes temas de los que hablas es la idea de diseñar la confianza en soluciones y experiencias de IA, especialmente porque usuarios, empresas y entidades regulatorias no adoptarán la IA plenamente si no confían en lo que hará.

Así que mi pregunta difícil es la siguiente: Al crear y desplegar soluciones de IA, ¿quién es responsable de la confianza como un requisito de la solución, y qué ocurre cuando falta esa confianza en una experiencia impulsada por IA?

Cal Al-Dhubaib: La respuesta fácil es que por defecto nadie es responsable, y ese es el gran problema. Eso es parte de lo que intento resolver construyendo este curso en el que trabajo, Introducción a la Ingeniería de la Confianza.

Francamente, me recuerda a los primeros días de la ciencia de datos, donde podía ser responsabilidad de alguien de analítica, o de IT, o de finanzas. No importaba tanto dónde vivía, siempre que hubiese propiedad clara de quién es responsable de esa capacidad.

Lo mismo aplica para diseñar confianza en soluciones de IA, y seguro ya lo imaginas: si no es parte del proceso de diseño, la solución termina generando consecuencias no intencionadas. Uno de los recursos que cito frecuentemente es la Base de Datos de Incidentes de IA; acabo de revisar los últimos datos hasta 2025.

No es sorprendente ver que el número de incidentes sigue aumentando año tras año.

Galen Low: Es interesante. ¿Podrías contarnos más sobre cómo esa base de datos define un incidente?

Cal Al-Dhubaib: Me gusta mucho porque rastrean fuentes noticiosas y miran el incidente desde múltiples perspectivas de cobertura.

Si varias fuentes de noticias independientes han cubierto una historia, organizan toda esa información como un solo incidente y puedes ver toda la cobertura que tuvo. Algunos ejemplos iniciales fueron, por ejemplo: Apple lanzando su tarjeta de crédito que inicialmente ofrecía menos crédito a mujeres que a hombres, todo lo demás igual.

Y otros ejemplos más recientes en esa base de datos, como AnyScale—famosos por su solución de agentes de código—tuvieron un problema donde los usuarios quedaban bloqueados aleatoriamente. Y claro, su chatbot de IA respondía con respuestas inventadas, irónicamente. Eso terminó confundiendo a los usuarios, que se sintieron engañados y cancelaron sus suscripciones. Y tan reciente como el otoño pasado, una de las consultoras del Big Four entregó un documento al gobierno de Australia realizado con IA, que tenía graves errores de exactitud debido a alucinaciones.

Tenemos ejemplos que se remontan a 2016 o 2017, los inicios del aprendizaje automático, y cada vez hay más incidentes estos últimos años. Todos estos casos están registrados en la Base de Datos de Incidentes de IA.

Galen Low: Lo que me gusta de los ejemplos que diste es que cubren un espectro de incidentes. Hay sesgos que probablemente están programados en los datos de entrenamiento, no surgen de la nada, ¿verdad?

Cal Al-Dhubaib: Claro, existen en nuestros datos.

Galen Low: El segundo ejemplo fue de 'gaslighting' de IA, me gusta ese término. Es como, "no, tú eres el problema, y por eso te bloqueamos". Uno piensa: “quizás la IA es más inteligente que yo, pero espera, no, yo tampoco debería estar bloqueado”.

Cal Al-Dhubaib: Sí, es cierto. Eso no lo había pensado.

Galen Low: Exacto. Y luego el tercero, donde la precisión se pierde, debido a alucinaciones, a humanos en el proceso, confianza y simple diligencia.

Cal Al-Dhubaib: Cien por ciento.

Galen Low: Creo que es un buen punto de partida porque espero que podamos cubrir todos esos casos y más.

No es solo transparencia sobre el uso de datos; es mucho más lo que hace a una solución confiable. Quizá podemos ampliar un poco más. Trabajas mucho con industrias altamente reguladas.

Sectores como salud, servicios financieros y defensa, donde el uso ético y responsable de datos sensibles no es solo correcto moralmente, sino que hay graves consecuencias por no cumplir. Y esa idea de la confianza, no solo privacidad y seguridad de datos, sino las nociones de ingeniería de la confianza que te he visto mencionar.

Y también la idea de que la IA aburrida es la IA segura.

Cal Al-Dhubaib: Me encanta. A veces intentamos hacerla más vistosa de lo que es, lo aprendí al principio de mi carrera. El tema en estos entornos regulados es el alto costo de cometer un error. Con IA tienes una garantía: se cometerán errores.

Galen Low: Sí, justo.

Cal Al-Dhubaib: Recuerdo trabajar con sistemas hospitalarios mostrando cómo el aprendizaje automático podía construir modelos predictivos. Y hablábamos sobre asegurar buen desempeño del modelo en todos los grupos demográficos.

No queríamos que el modelo tuviera bajo rendimiento en grupos minoritarios, por ejemplo. En esos primeros años, 2016, 17, 18, la reacción era: “Eso suena a mucha responsabilidad y no sabemos si el beneficio lo justifica.”

Por eso muchos proyectos se detenían: la tolerancia al riesgo era baja y no había formas satisfactorias de decir cómo manejarlo.

Galen Low: Hablando con otras personas en el pódcast, Lauren Wallace y yo comentamos que empresas en industrias altamente reguladas tienen ese 'músculo de riesgo'.

Tienen definidos los umbrales de tolerancia y no me sorprende que digan: "Esto excede nuestro umbral de riesgo. No podemos avanzar". No es que la tecnología esté mal ni que alguien haya cometido un error, sino que no correrán el riesgo hasta que la tecnología, los datos, las políticas o incluso la legislación estén listas.

Y en realidad lo veo admirable. Es seguro, es aburrido, sí. Muchos pensarían: “¡Qué pérdida!”, pero es una pausa por las razones correctas.

Cal Al-Dhubaib: Cien por ciento. Un dicho gracioso que escuché es que a veces, la mejor IA es menos IA.

Hablo sobre la minimización estratégica de la IA. Por ejemplo: Trabajábamos con una universidad procesando historiales académicos de estudiantes. Queríamos usar extracción basada en LLM para mayor precisión.

Recibían historiales en muchos formatos y el mejor resultado que logramos fue 90% de precisión, lo cual es bueno en este contexto. Su primera pregunta fue: "¿En cuál 10% se equivoca?". Tiene sentido. No pueden jugar a la lotería y aceptar ese margen de error en su negocio.

Así que estudiamos cuándo era más probable que la IA fallara: historiales internacionales y sistemas trimestrales. Hicimos una lista de reglas: si viene de esas fuentes, pasa a revisión manual humana; el resto, lo procesa la IA. No automatizamos todo el flujo, solo donde es seguro y confiable. Es un ejemplo de ingeniería de confianza.

Galen Low: Me encanta. Justamente estás preparando un curso para LinkedIn sobre ingeniería de la confianza. ¿Puedes darnos la definición de qué es y cómo lleva a soluciones seguras?

Cal Al-Dhubaib: Es una herramienta compartida de comunicación para ayudar a los diferentes actores del diseño y adopción de soluciones de IA a dialogar mejor sobre cómo preservar la confianza.

Vi que diferentes actores abordan el problema de la confianza desde distintos puntos de vista, sin hablar el mismo idioma. Los ingenieros de IA conocen los sesgos y problemas estadísticos, pero también hay gestores de riesgo y auditores que ven la exposición organizacional, personas de gobierno preocupadas por la documentación de supuestos, diseñadores de experiencia de usuario pensando en la interacción y 'stakeholders' de negocio definiendo requisitos.

Era esencial tener un lenguaje común para todos y compartir el entendimiento de cómo la confianza puede verse vulnerada en IA y cómo defenderse.

Galen Low: Me encanta lo del lenguaje y marco compartido para diagnosticar y abordar estos retos.

Y sobre la ciencia de datos y los roles del analista, en atención al cliente por ejemplo, hay quien piensa “Tendremos un especialista en datos y lo resolverá todo”, pero pronto ven que no es trabajo de uno solo, sino en equipo. Este framework cruzado hace que las personas colaboren.

Cal Al-Dhubaib: Cien por ciento.

Galen Low: Conectando con lo que decías de minimizar IA de forma estratégica, no todo es IA versus no IA, sino colaboración entre IA y humanos. Es necesario entender la IA, todos, y compartir un vocabulario para conversar en el diseño e implementación.

Y también entendernos entre nosotros. Es parecido a cuando los gestores de proyectos debatimos metodologías: al final, se trata de un medio para trabajar alineados y entregar algo. Necesitamos ese “traductor” entre intereses. Seguro todos han estado en proyectos mal interpretados por diferentes especialidades.

Cal Al-Dhubaib: Es fácil asumir que está cubierto.

Galen Low: Por eso me gusta: lo convierte en un deporte de equipo. Aquí hay un marco de ingeniería de la confianza, estamos juntos. Supongo que también entra privacidad, accesibilidad y temas que nadie puede poseer completamente en ninguna solución compleja.

Cal Al-Dhubaib: Por ejemplo, la idea de equidad en modelos de admisión estudiantil. El requisito era cumplir expectativas de calidad en todas las demografías.

El cliente preguntó: ¿Cómo lo van a asegurar? Respondimos: debemos saber cómo defines equidad, porque hay 22 formas distintas de calcularla. El ingeniero puede aplicar fórmulas, pero necesitamos saber su política, su definición adecuada.

Galen Low: Hay mucha gente negativa o de catástrofe sobre la IA, pero en realidad, nos está obligando a revisar prácticas de décadas, a preguntarnos si son éticas o justas. Antes, muchas decisiones se tomaban improvisando, pero ahora debemos decidir.

Como los dilemas de los vehículos autónomos: ¿chocar contra una escuela o un campo vacío? No es cómodo, pero existe esa política y lo suavizamos, pero allí está.

Cal Al-Dhubaib: Puede llegar a ese nivel, pero también ser más sencillo, incluso trivial. Estos sistemas, especialmente los generativos, son tan abiertos que pueden saturar al usuario.

Galen Low: Interesante.

Cal Al-Dhubaib: A veces es útil tener un rango limitado de posibilidades. Mis cuatro pilares en ingeniería de la confianza son: gestión de expectativas, diseño de decisiones, gobernanza y gestión de la infraestructura de confianza. Esto último incluye las herramientas, el riesgo, lo que tienes en la ‘caja de herramientas’. Volviendo a la apertura, la clave está en informar y delimitar el uso al usuario para que sepa emplear correctamente el sistema.

Galen Low: ¿Podemos ver ejemplos? Me gustan los cuatro pilares, gestión de expectativas y diseño de decisiones. Si puedes darnos un ejemplo y luego explicar quién debe involucrarse para lograr confianza en la experiencia.

Cal Al-Dhubaib: Te daré un ejemplo simple, fuera de escenarios de vida o muerte, que es público y no confidencial: la empresa Behr, de pinturas.

Galen Low: Sí.

Cal Al-Dhubaib: Muy conocida en Home Depot. Detectaron que la principal barrera en el proceso de compra era la saturación ante tantas opciones de colores. Soy un poco “incapaz” con los colores, a pesar de mis años aprendiendo sobre pinturas. Solo conozco unos 10 colores bien; cuando debo elegir entre decenas de blancos, me abruma.

Entonces, crearon una experiencia generativa para selección de productos, que respeta la teoría del color, guías de estilo y limita las opciones a productos reales. Decidimos qué consejos eran aceptables y cuáles no. Seleccionar color está bien, pero cómo mezclar la pintura o aplicarla requería más control; si la conversación gira a esos temas, rápidamente redirigimos al usuario a nuestra línea de ayuda.

Galen Low: Interesante.

De nuevo, igual que antes con el 90-10: detén aquí, no sigas inventando porque la IA está bajo mucha presión por tener todas las respuestas. Mejor redirige a un humano.

Cal Al-Dhubaib: Además, no puede sugerir pinturas de la competencia, ni ser manipulado para decir cosas inadecuadas.

Galen Low: Correcto.

Cal Al-Dhubaib: Es un buen ejemplo: la ingeniería de la confianza abarca diseño de decisiones, los límites de interacción, la gestión de expectativas, gobernanza y toda la comunicación a los interesados, por ejemplo, en una tarjeta informativa del sistema.

Galen Low: ¿La interfaz era conversacional?

Cal Al-Dhubaib: Sí. Ve a behrpaint.com —promoción gratuita— y verás el chatbot llamado chat hue.

Galen Low: Muy bien, es un gran ejemplo. Incluye teoría del color, asesoría, voz de marca y entrenamiento del sistema con el catálogo de colores de Behr.

Cal Al-Dhubaib: Todo depende de tener información de producto actualizada y adecuada, que sea dominada y gestionada. En otro cliente de servicios financieros, es clave tener procesos humanos que mantengan la base de datos actualizada.

Galen Low: Genial.

Cal Al-Dhubaib: Parte de esto es mantener los datos frescos para que el sistema de IA funcione bien.

Galen Low: Y es esa cooperación. No todo es IA ni todo es humano. Siempre harán falta humanos para actualizar la información, hacer QA, etc.

Cal Al-Dhubaib: Incluso expertos promueven la idea de “agentes de IA gestionando otros agentes”, pero en todos los casos reales, la intervención humana y ajustes manuales son imprescindibles. La IA es dirigida por los humanos.

Galen Low: Es realista. Agentes que gestionan agentes es marketing atractivo porque el principal gasto de una empresa es la nómina, así que se vende la idea de que no necesitarás personal. Pero en la realidad sí, aún lo necesitarás. El hype es otra cosa.

Cal Al-Dhubaib: Es seductor.

Galen Low: Lo es. ¿Podemos ver anti-ejemplos? ¿Qué experiencias AI usamos pero no establecen confianza y son cajas negras? ¿Qué elementos carecen de ingeniería de confianza?

Cal Al-Dhubaib: Me gusta citar los incidentes de la Base de Incidentes de IA. Por ejemplo, McDonald's tuvo problemas con sus pedidos de voz en el autoservicio; trabajaron con una consultora famosa, pero el sistema fallaba al tomar pedidos. Finalmente lo suspendieron porque no era preciso. Esto fue más un fallo en los límites y controles, no en la tecnología en sí. Domino’s, en cambio, ya maneja el 80% de pedidos telefónicos con IA.

Galen Low: Vaya.

Cal Al-Dhubaib: La diferencia es que en Domino’s hay agentes supervisando en vivo, listos para tomar el control si la IA no entiende. Hay auditorías y controles para asegurar calidad. El fallo de McDonald’s no fue por la teoría sino por la falta de sistemas alrededor.

Galen Low: Es interesante: no todo o nada, sino modelos híbridos.

Como gestor de proyecto, imagina liderar un presupuesto millonario para un sistema de pedidos de voz en McDonald's que acaba suspendido. La conclusión errónea sería “la IA no funciona; volvamos al 100% humano.” Pero más bien hay que equilibrar. En CX (Customer Experience), décadas de bots/chats siempre terminaron entregando a un humano cuando la IA se atora. Eso también entrena a la IA en datos reales.

Cal Al-Dhubaib: Claro.

Galen Low: Ahora estamos generando muchos más datos y, en el futuro, la tecnología pudiera mejorar al haber más datos, mejores límites y procesos bien diseñados.

Cal Al-Dhubaib: En diseño, hay formas de reducir el riesgo: equipar operadores con IA generativa que accede a transcripciones en vivo, o hacer recomendaciones. Siguen siendo ellos quienes juzgan y mantienen esa ‘capa de seguridad’. Hay filtros para decidir cuándo el usuario interactúa directamente con IA, cuándo no, y siempre algún balance humano. Cuando hablo con clientes sobre gobernanza en IA, les pido que respondan tres preguntas clave:

¿Qué hicieron al inicio para minimizar y probar el riesgo?

¿Cómo sabrán, una vez en producción, que la IA está fallando? Observabilidad: tener criterios para los límites y diagnósticos para detectar desviaciones.

Y la tercera, la más importante y a menudo olvidada: ¿Qué hacer cuando falla? ¿Quién actúa y cómo? ¿La persona que entra al relevo entiende rápido el contexto, puede identificar el problema y corregirlo sin perder la confianza del cliente?

Galen Low: Es interesante que se ponga a prueba en un restaurante de comida rápida, porque estos operadores suelen ser jóvenes, con mucha presión atendiendo las órdenes en segundos. ¿Pueden ellos retomar rápido una conversación IA y arreglar el pedido?

Cal Al-Dhubaib: No quiero esperar tres minutos por una Big Mac...

Galen Low: ¡Exacto! Además, el temporizador de las órdenes los presiona mucho. Es un caso extremo de uso en tiempo real. Me alegra que lo intenten, aunque a veces no funcione.

Mencionaste antes que los incidentes van en aumento; ¿dirías que es porque la tecnología falla o porque se usa más ampliamente y por eso hay más errores y casos notorios?

Cal Al-Dhubaib: Son dos factores: ahora es más fácil crear estos sistemas, la superficie de exposición crece. Incluso si la gestión de riesgos mejora, que los incidentes no crezcan tan exponencialmente como la adopción de IA es positivo. Segundo, ya reconocemos mejor los problemas de IA. Hemos salido de la era de confiar ciegamente en la información digital. Los Deepfakes siguen preocupando, pero la gente ahora sospecha: "Quizás esto es IA". Basta ver comentarios en redes: la media de usuarios ya es más crítica.

Galen Low: Me gusta que antes dabamos por sentada la confianza en plataformas digitales, Google, medios, etc. Ahora criticamos y pensamos, lo cual no es malo, ayuda a detectar problemas.

Cal Al-Dhubaib: Así es, y podemos mejorar.

Galen Low: Y a veces descubrimos que el problema ya existía como política humana desde antes. Me gustaría que profundizáramos en ese punto: la confianza es responsabilidad transversal y los equipos están cambiando su dinámica. ¿Cómo pueden compartir la responsabilidad de diseñar la confianza y evitar echarse culpas si falla algo, como el proyecto de McDonald's? ¿Qué elementos favorecen la corresponsabilidad sobre la culpa?

Cal Al-Dhubaib: Si la responsabilidad es de todos, no es de nadie; por tanto, necesitas a una persona concreta. Nosotros en Further apostamos por perfiles con credenciales en gobernanza de IA. Somos miembros de la IAPP (International Association of Privacy Professionals); ofrecen certificaciones reconocidas en privacidad y lanzaron ahora una para gobernanza de IA. Reconocen que la gente puede venir de derecho, ingeniería, privacidad, ciberseguridad, pero necesita competencias cruzadas. Eso inspiró mi enfoque de ingeniería de la confianza.

Asociamos un profesional de gobernanza de IA a cada proyecto, así garantizamos que se hacen las preguntas correctas.

Galen Low: Mi siguiente pregunta era que frecuentemente recae en el gestor de proyectos la responsabilidad agregada y es abrumador. La idea de tener un responsable de gobernanza por proyecto —independiente de su formación— atiende esa necesidad de una "cabeza responsable" para rendir cuentas.

Cal Al-Dhubaib: Exacto. Y no se trata de complicar las cosas, sino de reducir el esfuerzo global mediante “fricción reflexiva”: parar y analizar dónde puede salir mal, mirar proyectos similares, modos de fallo y priorizar riesgos y mitigaciones.

Galen Low: Eso me encanta del sector regulado: aceptan la pausa sana. En ambientes startup, pausar significa fracasar; aquí prima la reflexión sobre el valor y riesgo global, no solo la entrega rápida al usuario. Es valorar riesgos como demandas, sanciones, reputación, etc.

Cal Al-Dhubaib: Nadie quiere eso.

Galen Low: Y se manifiesta en la necesidad de escribir la confianza. Aunque no puedas tener un responsable por proyecto, esperemos que se aprecie el valor de ese rol.

Cal Al-Dhubaib: Seguro. Es una nueva categoría laboral: control, aseguramiento de calidad y gestión de riesgos en IA. El arte está en hacer las preguntas pertinentes y alinear al equipo.

Galen Low: Me encanta.

¿Se puede medir la confianza? ¿Cómo sabe un equipo si han logrado una experiencia confiable?

Cal Al-Dhubaib: Gran pregunta. Muchas veces el objetivo es prevenir incidentes, así que contar el número de incidentes puede ser un indicador. Pero también hay análisis de comportamiento: ¿el usuario logra su objetivo? En el ejemplo de chat hue: ¿llegan al llamado a la acción, consultan una ficha de producto? ¿Vuelven a usar la herramienta? Indicadores de comportamiento y de resultados.

Galen Low: Me gusta porque son criterios familiares: perfil de riesgo, ¿qué puede fallar? y éxito del usuario —si la fricción es por falta de confianza, explicabilidad, instrucciones claras o exceso de opciones.

Cal Al-Dhubaib: Incluso la simple inutilidad afecta la confianza.

Galen Low: Cierto, no confiarán su tiempo a algo sin resultados útiles. Mejor pido mi hamburguesa a un humano. Para cerrar, veamos el futuro próximo. Has contado anécdotas donde no es cuestión de si la IA es confiable, sino si los humanos en el proceso pueden serlo. Como la plataforma donde las decisiones estaban ligadas a los bonos individuales, generando sesgos auto-serviles, a veces ni conscientes.

Cal Al-Dhubaib: Así es. No confiaban en las recomendaciones de IA porque sus incentivos económicos dependían del resultado, y favorecían el no confiar en la IA.

Galen Low: Mi conclusión es que los humanos valoramos la confianza, pero a veces no somos tan dignos de ella. ¿Crees que la IA entenderá la confianza humana mejor que nosotros mismos? ¿Qué pasaría entonces?

Cal Al-Dhubaib: Creo que la definición de IA es circular, sobre todo cuando se habla de inteligencia artificial general, capaz de hacer lo mismo que un humano capacitado. Además, nuestra humanidad incluye nuestro propio uso de IA como herramienta, así que nuestras capacidades dependen de nuestra experiencia más nuestras herramientas. ¿Cómo puede la IA entender la confianza mejor que los humanos?

No lo sé, pero la confianza es muy subjetiva. Cambia según contextos y marcos morales. Por ejemplo, uso en mi clase un estudio del MIT: el Moral Machine, un sitio con situaciones hipotéticas de conducción autónoma —tomar acción o no, con potencial daño de un grupo u otro de personas.

Galen Low: Los dilemas de tranvía.

Cal Al-Dhubaib: Exacto. Puede ser una abuela y tres niños en distintas aceras, alguien cruzando por el lugar indebido o legalmente, etc. El estudio muestra que hay grupos de valores: occidente, América Latina y Asia, cada uno con marcos morales propios y a veces incompatibles. En Occidente, prima salvar a más personas; en Asia, salvar a un anciano vale más que salvar un grupo mayor.

Galen Low: Interesante.

Cal Al-Dhubaib: Ese es su marco mayoritario. No hay verdad moral universal sobre qué es la confianza. Lo sé bien porque soy de Arabia Saudita, mi madre es estadounidense; he crecido entre culturas a veces incompatibles. ¿Cómo navegará eso una IA si ni los humanos pueden, siendo tan subjetivo?

Galen Low: Nos lleva al punto: no se trata de una única definición de confianza. Quizás la pregunta real es cuándo la IA entenderá la cultura humana mejor que nosotros. Quizá no falte tanto; las “nubes culturales” están por todas partes y eso podría definirlo todo.

Cal Al-Dhubaib: Justamente. El punto es esforzarse por entender que no es blanco o negro. Hay que hacer supuestos siempre, y definir lo correcto, los criterios de interacción, o bien retornar la decisión al usuario. Todo son elecciones de diseño dentro del marco de la ingeniería de la confianza.

Galen Low: Ese es el valor del marco y las herramientas: no se resuelve aislados, sino conversando.

Cal Al-Dhubaib: Absolutamente.

Galen Low: Cal, muchas gracias por estar en el programa. Para quienes quieran más información sobre tu curso próximamente, ¿dónde pueden seguirte y saber más?

Cal Al-Dhubaib: Soy muy activo en LinkedIn, mi mejor plataforma. Me pueden encontrar ahí y anunciaré pronto más detalles del curso.

Galen Low: Fantástico. Incluiré un enlace a tu perfil y seguramente también a la base de datos de incidentes. Excelentes recursos para conversar. Cal, gran conversación y muchas gracias.

Cal Al-Dhubaib: Gracias por invitarme, Galen.

Galen Low: Eso es todo por hoy en The Digital Project Manager Podcast. Si te gustó la conversación, suscríbete donde nos escuches y para más información táctica, estudios de caso y plantillas, visita thedigitalprojectmanager.com.

Hasta la próxima, gracias por escucharnos.