IA Para Niños: Cómo Los Equipos De Proyecto Pueden Crearla De Forma Responsable

Galen Low: La mayoría de las soluciones de IA no están hechas para niños, pero eso no significa que los niños no las estén usando. Lo que lleva a la pregunta: ¿quién es responsable de la seguridad de los niños cuando se trata de experiencias impulsadas por IA? ¿Son los padres? ¿Son los equipos que diseñan y desarrollan experiencias de IA? ¿O son las propias empresas de IA?

¿Y cuáles son algunas maneras en que podemos guiar a nuestros equipos a hacer las preguntas éticas correctas y abogar por implementar salvaguardas apropiadas en las experiencias que creamos? Para explorar este tema, he invitado a una Gerente de Programas Técnicos de Google, que además es una firme defensora de la seguridad infantil y de la ciberseguridad en la IA y la tecnología.

Juntos vamos a profundizar en cómo los riesgos son mayores para los usuarios jóvenes de IA comparado con los adultos, qué podemos hacer para defender y diseñar pensando en la seguridad infantil en nuestros proyectos y productos de IA, y cómo la propia IA podría convertirse en defensora de la seguridad de los niños a medida que la tecnología avanza más rápido que nuestra capacidad, como humanos, para crear políticas, leyes y educación significativas sobre la interacción de los niños con la IA. Espero que disfrutes el episodio.

Bienvenidos al Podcast del Project Manager Digital—el programa que ayuda a los líderes de entrega a trabajar de manera más inteligente, gestionar proyectos sin contratiempos y dirigir a sus equipos con confianza en la era de la IA. Soy Galen, y cada semana profundizamos en estrategias del mundo real, tendencias emergentes, marcos probados y la ocasional historia de guerra desde el frente de los proyectos. Ya sea que lideres proyectos de transformación masivos, gestiones flujos de trabajo de IA o simplemente trates de mantener el caos bajo control, estás en el lugar correcto. Vamos al lío.

Hoy hablamos sobre la IA en el contexto de la seguridad infantil y de cómo los equipos de proyecto y producto pueden hacer las preguntas adecuadas para crear experiencias impulsadas por IA que protejan a los usuarios más vulnerables.

Hoy me acompaña Aderonke Akinbola—una conferencista, defensora de la seguridad infantil en ecosistemas de IA y gerente de programas técnicos en Google. Ade tiene más de tres años de experiencia en desarrollo de productos y gestión de programas, además de su experiencia como ingeniera de seguridad en Apple. También intervino recientemente en la Cumbre de Seguridad de Agentes de IA sobre la seguridad de agentes de IA en ecosistemas centrados en niños.

Ade, muchas gracias por acompañarme hoy.

Aderonke Akinbola: Hola Galen, estoy muy feliz de estar aquí.

Galen Low: Me alegra mucho tenerte. Estaba esperando este momento. Me han gustado nuestras conversaciones previas. Estoy listo para profundizar, así que espero que nos desviemos mucho, pero por si acaso, aquí tienes el mapa de ruta que he preparado para hoy.

Para empezar, quiero ponerte sobre la mesa una gran pregunta que mis oyentes quieren que respondas. Después me gustaría alejar un poco el foco y hablar de quizá solo tres cosas. En primer lugar, quería hablar sobre qué hace diferente la experiencia de un niño con la IA respecto a la de un adulto y qué convierte una experiencia de IA en algo seguro para menores de 18 años hoy y en el futuro.

Luego quiero ponerme práctico y hablar de cómo los equipos de proyecto y producto que desarrollan soluciones de IA pueden hacerse las preguntas éticas adecuadas y diseñar una experiencia que eduque, explique y proteja a los usuarios más jóvenes. Y por último, quiero saber tu opinión sobre cómo será el futuro para los agentes de IA y para las próximas generaciones si logramos hacer lo correcto en cuanto a ética, seguridad y protección.

¿Cómo te suena?

Aderonke Akinbola: Perfecto. Para eso estamos aquí. Vamos a sumergirnos.

Galen Low: Vamos allá. Genial, me encanta. Bien. Pensé en empezar con una gran pregunta. Llevo meses observando cómo el tema de la seguridad infantil y las redes sociales ocupa titulares.

Australia introdujo recientemente una prohibición de redes sociales para menores de dieciséis años, y el Reino Unido y otros países están contemplando algo similar. Obviamente, redes sociales e IA no son exactamente lo mismo, pero muchas de las preguntas de ética y seguridad se aplican igual cuando los jóvenes usan IA.

Mi gran pregunta es esta. Según tu experiencia en seguridad y desarrollo de productos en algunas de las mayores y más innovadoras empresas tecnológicas del mundo ¿deberíamos siquiera estar construyendo soluciones de IA para niños menores de 18 años?

Aderonke Akinbola: Creo que esta es la pregunta del millón, Galen, pero en primer lugar mi postura es que ya hemos superado el debate de si deberíamos construir sistemas de IA para ellos.

Ahora estamos más centrados en cómo construir estos sistemas para ellos. La realidad es que el compañero de juegos ya está aquí. Si no creamos IA específica y segura para niños, los niños no dejarán de usar la tecnología. Está ahí, disponible para ellos.

Simplemente usarán el “cajón negro” de la IA para adultos, y eso es muy peligroso porque la IA para adultos se desarrolla buscando la eficiencia. Nuestros niños necesitan herramientas para su desarrollo. Si no les construimos la versión correcta, básicamente los dejamos en un bosque digital sin brújula. Así que ya no se trata de si debemos construir para ellos, sino de cómo debemos hacerlo.

Galen Low: Es un gran punto sobre los objetivos de la tecnología. Desde una perspectiva adulta es diferente a cómo lo tratamos con los niños. Como sabemos por las redes sociales, incluso si decimos que los menores no deberían usarlo, eso no los detendrá.

Estoy de acuerdo contigo. Creo que la caja de Pandora ya se abrió y ahora nos toca a nosotros crear entornos seguros. Incluso si el usuario objetivo no es necesariamente un niño o menor de 18, me pregunto si podemos alejarnos un poco de eso, porque pude ver la grabación de tu charla en la AI Agent Security Summit y antes de eso publicaste algo en LinkedIn donde dijiste: “Los patios de recreo de los niños no serán solo físicos, serán digitales, inteligentes e impredecibles”.

Me gustaría que nos explicaras a qué te refieres y en qué punto debemos planificar esto en lo que estamos construyendo hoy.

Aderonke Akinbola: Esa es otra buena pregunta, Galen. Piensa en un patio de recreo físico; muchos tienen suelos blandos y bordes redondeados. La IA también es un patio de juegos, pero diferente. Es un patio que responde, modela pensamientos y, debido a que los niños atribuyen sentimientos, algunos hasta piensan que los agentes de IA son amigos reales.

Esto los vuelve especialmente vulnerables a la ingeniería social. ¿Cómo lo planificamos? No es algo que se haga en fase de QA, necesitamos el enfoque shift-left: no solo en seguridad, también involucrando psicólogos infantiles en la arquitectura.

En la fase de entrenamiento del modelo, deben hacerse preguntas como: ¿este modelo está optimizado para vender o para apoyar el desarrollo humano? Si cambiamos el enfoque fuera de QA y desde la construcción del modelo, estamos pensando realmente en ellos, creando digitalmente un patio más centrado en la infancia y en su protección.

Galen Low: Me gusta la metáfora del suelo acolchado y los bordes redondeados, incluso para productos no diseñados para niños pero que podrían acabar usándolos. Cuando mi hijo era pequeño tuvimos que poner protección infantil por toda la casa, no porque estuviera diseñado para él, sino porque sabíamos que lo exploraría e iría a desarrollar de manera saludable.

Me gusta lo que dices, y sé que también te importa mucho la ciberseguridad; es otra cosa que no puede ser una ocurrencia tardía. Para mi audiencia, ¿propones que un psicólogo infantil esté en el equipo de proyecto o producto, incluso si el objetivo es, por ejemplo, solo vender?

Aderonke Akinbola: Incluso si no es como empleado fijo, sí podría ser como consultor. Piensa en los GPTs y los Gemini. Aunque se hayan pensado para adultos, la tecnología ha ido mucho más allá.

Vivimos en la era de los niños con iPad. ¿Cómo evitamos que los niños accedan a Gemini?

Galen Low: Lo sé por experiencia; mi hijo fue muy responsable con la tecnología, le dimos acceso a un dispositivo. Y especialmente en Google, la IA está en la búsqueda. No fue como “aquí tienes Gemini, te enseño a usarlo”, fue simplemente buscar algo y tiene una conversación.

Sí, es muy habitual.

Aderonke Akinbola: También convivo con un niño pequeño y ni siquiera sabe mucho y ya puede decir “Oye Siri”.

Galen Low: Es increíble, ¿no?

Aderonke Akinbola: Sí, porque me oye decirlo. ¿Cómo responde Siri a un “Hey Siri” de un niño? Hay miles de cosas que un niño puede preguntar a Siri. Aunque no estén a tiempo completo, empezar estas conversaciones es lo importante para construir responsablemente.

No espero que ocurra en los próximos dos o cinco años. Hay una explosión de la IA. Lo importante es iniciar la sensibilización y la conciencia de esta necesidad y ver cómo evoluciona.

Galen Low: Me encanta. Y el ejemplo de Siri es perfecto porque ni siquiera le dimos el dispositivo al niño intencionadamente. Basta con hablar para acceder e interactuar con la tecnología. Además, como comentabas, la ciberseguridad es prever los casos no estándar, no solo los usuarios buenos. Es afrontar los casos límite, el abuso accidental o malicioso. Y tienes razón, la IA avanza tan rápido, los modelos cambian constantemente.

Una pregunta intensa: ¿crees que las empresas de IA están haciendo lo suficiente para anticipar que sus plataformas y modelos van a ser usados por menores?

Aderonke Akinbola: No creo que ese sea su foco ahora mismo. Se centran en todo lo que la IA puede hacer, cómo puede resolver tareas rápido, cómo hacer los modelos más inteligentes. Ahora es una cuestión de conquistar el mercado, no de velar por los niños. Por eso personalmente decidí enfocarme en IA y ciberseguridad infantil. Muchas veces la responsabilidad recae primero en los padres, no en los desarrolladores, así lo veo por ahora.

Galen Low: Muy interesante. Estoy de acuerdo. Has usado el término “boom de la IA”, pero también parece una carrera. Cuando es una carrera, se construye el coche más rápido y el cinturón de seguridad ya vendrá. Motor, suspensión, velocidad, luego quizá frenos… Los asientos acolchados serán después; no parece ser la prioridad del sector. Interesante tu punto sobre la responsabilidad: los equipos que construyen sobre los modelos y los padres tienen roles distintos, pero la responsabilidad está repartida.

Quiero volver a lo que dijiste sobre la experiencia de los niños. No solo hay adultos que crean lazos profundos con bots, pero para los niños, ¿son los riesgos simplemente mayores? ¿Qué hace que la experiencia con IA sea diferente para un menor?

Aderonke Akinbola: Para los niños, los riesgos son mucho mayores. Para un adulto, una fuga de datos es pedir otra tarjeta. Pero para un niño, los datos de IA son una huella digital permanente, es un registro de su curiosidad e incluso puede afectar admisión universitaria o laboral en 20 años. Lo que pregunté de niño por curiosidad puede quedarme grabado para siempre. En mi charla en la cumbre mencioné las tres sombras que sigue la IA en los niños: la sombra de la influencia (la IA puede ser más persuasiva que padres o maestros, pues los niños son como esponjas), la sombra de la exposición (la huella de datos permanente) y la sombra del estancamiento: si hacemos una IA “demasiado útil”, que piensa todo por ellos, erosionamos su pensamiento crítico y su capacidad de resiliencia ante el error y el aprendizaje. Aprender es complicado, se trata de intentar hasta lograrlo, equivocarse es parte del proceso. La IA debe invitar al niño a hacer otras actividades, a buscar un adulto, a desconectarse, y no a quedarse pegado a hablar con una máquina. Por eso los riesgos son muy superiores en menores.

Galen Low: Me encanta ese punto. Desde el diseño de producto y la experiencia de usuario, se busca reducir fricción, hacerlo fácil, pero como dices, hacerlo “demasiado fácil” en ciertas etapas de desarrollo puede ser perjudicial. Los adultos buscan eficiencia, pero los niños están desarrollando habilidades, pensamiento crítico y buscan referentes. Está genial la propuesta de controles y alertas (como la pulsera que me pide caminar o el límite de pantalla). El poder de la IA puede usarse de forma más responsable si incluye estos “avisos”, para motivar al uso equilibrado. Añadir estas funciones sería relativamente sencillo si hay voluntad de incluirlo.

Aderonke Akinbola: Creo que en los próximos años habrá más investigación sobre esto. Ya existe, pero nos falta mucho. La IA explotó durante la COVID, aún estamos en la era post-COVID y los niños nacidos entonces empiezan ahora la escuela. Falta tiempo e investigación sobre los efectos. Pero mientras tanto, alguien debe abogar por poner el foco y no pasar esto por alto.

Galen Low: Totalmente de acuerdo. La investigación lleva tiempo, pero entre tanto no podemos ser irresponsables. Debemos argumentar para los usuarios más vulnerables mientras llega la ciencia más robusta.

Me gusta tu idea de la educación en IA, la IA explicable, que los usuarios no sean solo consumidores pasivos, sino que piensen críticamente, y que la ética y la seguridad estén incluidas en la ingeniería de experiencias con IA.

Centrémonos ahora en los equipos que construyen soluciones de IA: ¿qué pueden hacer para integrar precauciones de seguridad y privacidad, ya sea un producto de usuario final o una app interna?

Aderonke Akinbola: Hay que pasar de un modelo de “caja negra” a un modelo de “bloques de construcción”. Para los PMs esto significa varias cosas: primero, añadir fricción deseada. Para adultos queremos eliminar fricciones, pero con niños hay que añadirla: si un niño avanza sin dificultad por todos los niveles, no es un reto. La IA debe ser un “equilibrador cognitivo”, añadiendo retos, no necesariamente más difíciles, pero sí más complejos, que les hagan pensar. La IA explicable (XAI) debe no solo dar la respuesta sino explicar el proceso, fomentando la alfabetización algorítmica y el pensamiento crítico. Y algo clave de seguridad sería potenciar el aprendizaje federado, donde los datos de los niños se queden en el dispositivo local, sin salir nunca de su cuarto. Así, las preguntas que hace un niño permanecen privadas, y no pueden afectarle en el futuro. Los niños son curiosos: no pueden cargar permanentemente con lo que preguntaron al IA. Es mejor que el “modo infantil” sea un jardín cerrado, privado y seguro para experimentar y aprender.

Galen Low: Ese aspecto de la exposición y la huella digital da miedo, especialmente como padre: nuestro sistema judicial da cierta “gracia” y privacidad a los menores, ¿por qué no la IA? No queremos castigar la curiosidad sino motivarla y así construir fluidez y habilidades. Un “modo práctica” como en los videojuegos; presentar retos según el nivel y permitir experimentar sin miedo, y solo después avanzar a niveles o contextos mayores. Me gusta ese concepto. Ahora bien, si el objetivo del producto no es crear una experiencia segura para niños, ¿cómo puede un equipo de producto incluirlo como requisito, convencer a los stakeholders y defenderlo?

Aderonke Akinbola: Personalmente no me ha tocado defenderlo porque trabajo más en seguridad de redes. Pero creo que poco a poco todos veremos la importancia. Quizá ahora no ganes la discusión, pero con el tiempo y la investigación será evidente. Hay que seguir abogando y hablando del tema, aunque te digan mil veces que no, porque no siempre será así. Si nadie hubiera insistido con la IA, hoy no la estaríamos usando. Si persistes, las cosas acabarán cambiando: las leyes de la Unión Europea o Australia con las redes sociales para menores son un paso más. Seguiré promoviendo este mensaje hasta que se tomen medidas reales para esta población vulnerable.

Galen Low: Muy cierto. A veces no es cuestión de que uno solo lo logre, sino de que el diálogo colectivo lo vuelva parte del sentido común y todos lo acepten. Fue el error que tuvimos con redes sociales: no hablamos lo suficiente del tema y solo pensamos en una porción del público. Si todos tuviéramos la conversación, sería mucho más normal e incluso fácil incluirlo en el plan. Si miramos el futuro de las redes sociales, mucha gente piensa que tardamos demasiado en implementar salvaguardas para menores. ¿Corremos el mismo riesgo con la IA? ¿Qué está en juego si nos equivocamos?

Aderonke Akinbola: Mucho está en juego. Ahora creo que somos más inteligentes que en la era de las redes sociales, identificamos antes los problemas. Pero vivimos en un mundo donde la mayoría de sistemas se construyen por beneficio, no por ética, así que puede tardar. Pero identificar el problema ya es media solución. Además, como decías, ahora hay IA en redes sociales: Instagram, WhatsApp... El límite entre redes sociales e IA cada vez es más difuso. No tenemos tanto tiempo para postergar las decisiones: urge legislar y ponerlo en políticas, y también abordar el tema desde el gobierno, que invierte mucho en la educación pública y debe asegurar que los niños tengan acceso seguro a la tecnología.

Galen Low: Es fácil olvidar que uno de los objetivos de los gobiernos es desarrollar a las próximas generaciones, aunque sea por la economía o supervivencia. Y la clave es equilibrar el “modelo de beneficio” con la defensa activa, la presión y el activismo: aunque los niños no sean el cliente que genera beneficio, el activismo es el contrapeso necesario. No considerar esto puede perjudicar el producto o su adopción futura.

Aderonke Akinbola: También quiero hablar de la figura del “guardián digital”, que mencioné en mi charla. Deberíamos crear modelos donde haya un guardián digital actuando como cortafuegos ético, una capa de mediación: de termómetro emocional (detectando si el niño está demasiado apegado o aislado y sugiriendo parar, hablar con adultos o amigos), de abogado digital (gestionando la privacidad con otros apps y exigiendo almacenamiento local o temporal de los datos cuando corresponda), y de controlador de tráfico aéreo (dividiendo problemas complejos en bloques para los niños). Lo esencial es que la protección no sea un lujo ni una función “premium”: cualquier niño del mundo debe poder tener el mismo abogado digital, no solo en países ricos.

Galen Low: Es un excelente punto: la tecnología debe proteger también, no solo amenazar. Me encanta la idea de guardián digital, con enfoque de equidad. Actualmente tengo cuentas premium solo por la seguridad infantil; debería ser algo básico, integrado, un firewall que negocie entre las tecnologías para crear experiencias seguras por defecto para usuarios vulnerables. Es un concepto innovador. ¿Estamos cerca o lejos de desarrollar algo así? ¿Es cuestión de décadas o un objetivo alcanzable pronto?

Aderonke Akinbola: No debería ser cuestión de décadas. Quizá en los próximos cinco años tendremos el debate más presente y necesitamos puentes entre las empresas que desarrollan estos agentes y los gobiernos para sentarnos juntos a definir demandas. Si la tecnología busca facilitarnos la vida, no debe ponernos en peligro en el futuro. No posterguemos esto una década mientras los robots domésticos mejoran. Es urgente iniciar los debates críticos.

Galen Low: Exacto, lo describiste muy bien: hemos aprendido del pasado con redes sociales y políticas de privacidad como el GDPR, pero eso llevó mucho tiempo. Ahora la IA avanza mucho más rápido, por eso el debate debe ser constante y abierto para adelantarnos a los problemas.

Aderonke Akinbola: Y retomando lo que comentabas de los modos, quizá la solución no sea crear apps separadas, sino implementar modos dentro de las mismas: modo adulto, modo infantil, tal vez incluso modo preescolar o adolescente. No es mucho pedir en esta era en la que se invierten miles de millones en esta industria. Si invertimos tanto, también debemos hacerlo correctamente para no tener que rehacerlo en unos años.

Galen Low: Me encanta, ingenierizar para el futuro.

Aderonke Akinbola: Sí, me gusta ese título para el podcast.

Galen Low: Quizá ese sea el título: “Próximas Generaciones y Cómo Ingenierizar Para Ellas”. Me ha encantado, Ade. Gracias por tu tiempo. He aprendido mucho.

Me encantan tus ideas y tu enfoque. Sé que estábamos hablando en el backstage de que este año no estarás en todas las conferencias, pero si alguien quiere saber más sobre ti, ¿dónde puede encontrarte?

Aderonke Akinbola: En mi LinkedIn. Mi nombre y apellido, Aderonke Akinbola. Estoy en San Francisco, en el área de la bahía. Creo que soy la única con ese nombre en esa zona por ahora. De todos modos, puedes encontrarme en LinkedIn. No tengo web todavía, pero puedes ver mi última charla en YouTube en el canal de Sanity. Es una buena introducción a lo que llevamos hablando aquí. Estoy trabajando en mi página, pero ahora mismo estoy muy centrada en otros proyectos personales. Quizá para verano esté más enfocada en la marca personal, pero ahora mi foco es la defensa de los niños.

Galen Low: Perfecto. Añadiré tu perfil y la charla en las notas del episodio para que los oyentes puedan verlas. Muchas gracias de nuevo, Ade. Ha sido genial.

Aderonke Akinbola: Gracias a ti, Galen. Ha sido un placer. Gracias por la oportunidad.

Galen Low: Eso es todo por hoy en el Podcast del Project Manager Digital. Si disfrutaste esta conversación, asegúrate de suscribirte. Y si quieres aún más guías prácticas, estudios de caso y recursos, crea una cuenta gratuita en thedigitalprojectmanager.com.

Hasta la próxima, gracias por escucharnos.