Os quatro pilares da IA fiável — e quem é responsável por eles

Galen Low: O que é a confiança na engenharia e como conduz a soluções e experiências de IA seguras?

Cal Al-Dhubaib: É um conjunto partilhado de ferramentas de comunicação que ajuda várias pessoas, com diferentes funções, que colaboram na conceção e adoção de soluções de IA a falar de forma mais produtiva sobre a preservação da confiança. Era necessário encontrar uma forma comum de todas estas pessoas falarem sobre a mesma coisa e terem uma compreensão semelhante das formas como a confiança pode ser violada com a IA e, depois, das ferramentas necessárias para se defenderem contra isso.

Galen Low: Como pode uma equipa de projeto partilhar a responsabilidade de incorporar a confiança nas suas soluções e evitar a atribuição de culpas?

Cal Al-Dhubaib: Uma coisa interessante acerca da responsabilização é que, se for responsabilidade de todos, acaba por não ser responsabilidade de ninguém. Por isso, é necessário haver uma pessoa que assuma a responsabilidade por este aspeto. Na verdade, atribuímos uma pessoa a cada um destes projetos de IA, para garantirmos que fazemos as perguntas certas.

Galen Low: Quanto tempo acha que será necessário para a IA compreender o conceito humano de confiança melhor do que os seres humanos?

Cal Al-Dhubaib: Penso sinceramente que a definição de IA é muito circular. Como pode a IA compreender a confiança melhor do que os seres humanos? Não sei, mas também —

Galen Low: Bem-vindos ao podcast The Digital Project Manager — o programa que ajuda os líderes de entrega a trabalhar de forma mais inteligente, entregar de forma mais fluida e liderar as suas equipas com confiança na era da IA. Eu sou o Galen e, todas as semanas, analisamos estratégias do mundo real, tendências emergentes, modelos comprovados e, ocasionalmente, uma história de guerra das linhas da frente dos projetos. Quer esteja a orientar grandes projetos de transformação, a gerir fluxos de trabalho de IA ou simplesmente a tentar manter o caos sob controlo, está no sítio certo. Vamos começar.

Hoje vamos falar sobre como a confiança pode ser incorporada em experiências baseadas em IA, porque é tão importante para as organizações que implementam soluções de IA e para as indústrias regulamentadas, e qual é o papel da equipa de projeto — e, em especial, do líder de projeto — na criação dessa confiança.

Hoje tenho comigo Cal Al-Dhubaib, diretor de IA e ciência de dados da Further, uma empresa que ajuda a transformar experiências de cliente através de dados e IA. Cal é especialista em IA e ciência de dados, empresário, orador público prolífico e o novo apresentador do podcast Open Data Science. Utiliza a sua vasta experiência em ciência de dados para ajudar as organizações a colmatar a distância entre a inovação em IA e a responsabilidade ética, garantindo que as suas implementações de IA estão alinhadas com os seus valores e objetivos.

O seu trabalho no setor tecnológico de Cleveland também levou Cal a ser reconhecido como uma das 20 principais personalidades com menos de 30 anos da Crane Cleveland, um líder imigrante de destaque e um executivo tecnológico de referência, tendo ainda sido quatro vezes vencedor dos Cleveland Smart 50 Awards.

Cal, muito obrigado por se juntar a mim hoje.

Cal Al-Dhubaib: Galen, obrigado pelo convite. Estou entusiasmado com esta conversa.

Galen Low: Eu também. Gostei muito das nossas conversas anteriores. É evidente que domina o tema. Tem participado em muitos eventos. Parabéns por se tornar o apresentador do podcast Open Data Science. Tem muitas coisas boas a acontecer.

Sei que está profundamente envolvido neste tema e que é apaixonado por ele, e espero que esta conversa nos leve a lugares inesperados. Mas, por precaução, eis o roteiro que preparei para hoje. Para começar, queria estabelecer o contexto pedindo-lhe a sua opinião sobre uma grande questão que os meus ouvintes querem ver respondida.

Depois, gostaria de desenvolver essa questão e falar sobre três aspetos. Primeiro, queria abordar o que significa incorporar a confiança numa solução de IA e qual é a responsabilidade da equipa de projeto em manter a confiança nas soluções que está a conceber. Em seguida, gostaria de explorar formas de medir e auditar a confiança, especialmente no âmbito das indústrias regulamentadas, mas também para além da conformidade.

Por último, gostaria de conhecer a sua perspetiva sobre o futuro e sobre a forma como a nossa visão da confiança poderá evoluir nos próximos anos, à medida que adquirimos coletivamente uma melhor compreensão da forma como os nossos dados estão a ser tratados e daquilo para que podem ser utilizados na era da IA. Foi muita coisa, mas o que acha?

Cal Al-Dhubaib: Sim, vamos cobrir imenso terreno. É ambicioso, mas estou preparado.

Galen Low: Gosto disso. Vamos começar. Queria iniciar com uma grande questão, e um dos temas principais de que fala é esta noção de incorporar a confiança nas soluções e experiências de IA, sobretudo porque os utilizadores, as empresas e as organizações reguladoras não adotarão plenamente a IA se não puderem confiar no que ela fará.

A minha grande questão é esta: ao criar e implementar soluções de IA, quem é responsável pela confiança enquanto requisito da solução e o que acontece quando essa confiança está ausente de uma experiência orientada por IA?

Cal Al-Dhubaib: A resposta fácil é que, por defeito, ninguém é responsável por ela — e esse é o grande problema. É precisamente parte do que estou a tentar resolver com a criação deste curso que estou a desenvolver sobre engenharia da confiança.

E, francamente, faz-me lembrar os primeiros tempos da ciência de dados, quando alguém da área analítica podia assumir a responsabilidade, ou alguém da área das tecnologias de informação, ou alguém da área financeira. Não importava muito onde essa responsabilidade ficava, desde que houvesse uma atribuição clara de quem era responsável e quem respondia por essa capacidade.

O mesmo se aplica à engenharia da confiança nestas soluções de IA. E provavelmente já percebeu: se não fizer parte do processo de conceção, a solução acaba por produzir alguma consequência não intencional. Há, portanto, inúmeros exemplos. Um dos recursos que cito e recomendo frequentemente é a base de dados de incidentes de IA. Consultei os números mais recentes para analisar todo o ano de 2025.

E, sem surpresa, o número de incidentes continuou a aumentar ano após ano, sem falhar.

Galen Low: É interessante. Pode explicar-nos melhor como é que a base de dados aborda ou define um incidente?

Cal Al-Dhubaib: Gosto muito do que fazem, porque analisam fontes noticiosas e observam um incidente a partir de várias perspetivas de cobertura.

Assim, se várias fontes noticiosas independentes tiverem coberto uma determinada história, organizam toda essa informação num único incidente, permitindo consultar toda a cobertura relacionada. Alguns dos primeiros exemplos foram, por exemplo, o lançamento do cartão de crédito da Apple, que inicialmente atribuía limites de crédito mais baixos às mulheres do que aos homens, mantendo todos os restantes fatores iguais.

E há outros exemplos na base de dados de incidentes, mais recentes e em qualquer escala. Uma empresa conhecida pela sua solução de programação com agentes teve um problema em que os utilizadores eram aleatoriamente bloqueados. E, claro, o seu chatbot baseado em IA respondia ironicamente com uma resposta alucinada. Isso acabou por confundir os utilizadores.

Sentiram que estavam a ser manipulados e acabaram por cancelar as subscrições. E, ainda no outono passado, uma das quatro grandes empresas de consultoria apresentou um determinado trabalho. Nem sequer era uma solução de IA; era apenas um trabalho cuja criação envolveu IA. Esse trabalho foi apresentado ao Governo da Austrália e continha problemas significativos de precisão resultantes de alucinações.

Temos, portanto, exemplos que remontam a 2016 e 2017, aos primeiros tempos da aprendizagem automática, e temos um número crescente de incidentes nos últimos anos. Todos eles são registados e acompanhados na base de dados de incidentes de IA.

Galen Low: O que gosto nos três exemplos que apresentou é que abrangem uma espécie de espectro de incidentes. Primeiro, há um enviesamento que provavelmente foi programado, certo? Não surgiu do nada. Provavelmente está presente nos dados de treino.

Cal Al-Dhubaib: Sem dúvida, existe nos nossos dados.

Galen Low: O segundo exemplo está mais relacionado com aquilo a que chamaria manipulação psicológica por parte da IA. É a melhor forma de o descrever. É como se dissesse: “Não, o problema é você, na verdade, e nós vamos bloqueá-lo.” E depois pensamos: “Afinal, talvez a IA seja mais inteligente do que eu. Talvez devesse ser eu a ficar bloqueado.” Espera, não, não devia.

Cal Al-Dhubaib: Tem razão, não tinha pensado nisso.

Galen Low: Exatamente. E gosto do terceiro exemplo porque mostra como a precisão pode falhar. Está relacionado com alucinações, com a intervenção humana e com a confiança, além de exigir a nossa devida diligência.

Cal Al-Dhubaib: A cem por cento.

Galen Low: Penso que é um ótimo ponto de partida para esta conversa, porque espero que abordemos todos esses aspetos e mais alguns.

Grande parte da questão é mais do que simplesmente dizer: “Somos transparentes sobre o que fazemos com os seus dados.” É, na verdade, muito mais do que isso quando se trata de determinar o que torna uma solução digna de confiança. Talvez possamos afastar-nos um pouco e analisar melhor o tema. Trabalha sobretudo com indústrias fortemente regulamentadas.

Setores como os cuidados de saúde, os serviços financeiros e a defesa. Indústrias em que a utilização ética e responsável de dados sensíveis não é apenas a coisa certa a fazer, mas em que também existem consequências bastante graves por não cumprir as regras. E, desenvolvendo essa noção de confiança, não se trata necessariamente apenas de privacidade e segurança dos dados. As duas ideias que o vi abordar no seu trabalho são a engenharia da confiança e também a ideia de que uma IA aborrecida é uma IA segura.

Cal Al-Dhubaib: Adoro essa ideia. Tentamos tornar tudo mais brilhante do que é, e aprendi isso muito cedo na minha carreira. O tema comum do trabalho nestes ambientes fortemente regulamentados é que o custo de cometer um erro é elevado. E há uma garantia que se tem com os sistemas de IA: eles cometem erros.

Galen Low: Justo.

Cal Al-Dhubaib: Lembro-me de, no início, trabalhar com alguns sistemas hospitalares e mostrar como podíamos utilizar a aprendizagem automática para criar vários modelos preditivos. Depois começávamos a falar sobre a necessidade de garantir que esses modelos funcionavam bem em todos os grupos demográficos.

Não queremos, por exemplo, que o desempenho seja inferior em determinados grupos minoritários e que isso resulte em potenciais problemas. O que acontecia naqueles primeiros tempos — estou a falar de 2016, 2017 e 2018 — era que a resposta por vezes era: “Isso parece representar demasiada responsabilidade e não temos a certeza de que o benefício obtido em toda a população justifique avançar com o projeto.”

Muitos projetos acabaram por ser arquivados porque a tolerância ao risco simplesmente não existia e não havia uma forma satisfatória de dizer: “1, 2, 3, 4. Eis como lidar com isto.”

Galen Low: Estive a conversar com outras pessoas — tive Lauren Wallace no podcast — e falámos desta ideia de que as empresas que operam em indústrias fortemente regulamentadas têm este músculo do risco integrado.

Têm tolerâncias definidas e não me surpreende que digam: “Está bem, isto ultrapassa a nossa tolerância ou o nosso limiar de risco. Não podemos avançar.” É assim que funcionam. Não significa que a tecnologia seja má, nem que alguém tenha feito algo errado, mas não podem correr esse risco enquanto a tecnologia, os dados, as políticas e a legislação não estiverem preparados.

Na verdade, acho isso admirável. É seguro, é aborrecido, certo? Muitas pessoas diriam: “Que fracasso, que desperdício.” Mas continua a ser um passo na direção certa e uma pausa pelos motivos certos, em vez de avançar sem pensar.

Cal Al-Dhubaib: Sem dúvida. Ouvi uma frase curiosa que me marcou muito: por vezes, a melhor IA é menos IA.

Uma das coisas de que falo é a minimização estratégica da IA. Para dar um exemplo recente, trabalhámos com uma instituição de ensino superior no processamento de históricos escolares. Estávamos a tentar ir além da tradicional automatização robótica de processos e utilizar extração baseada em modelos de linguagem de grande escala para obter maior precisão.

Estes históricos chegam em muitos formatos diferentes. O melhor resultado que conseguimos foi uma precisão de 90%, o que é bastante bom para uma solução baseada em IA neste contexto. E a primeira pergunta que fizeram foi: “Está bem, em que 10% das vezes é que está errada?” Faz sentido. Caso contrário, é como jogar na lotaria: lançamos os dados e, uma em cada dez vezes, teremos um erro. Não é possível gerir um negócio dessa forma.

O que acabámos por fazer foi estudar quando era mais provável que a IA estivesse errada. Havia históricos provenientes de instituições internacionais e históricos provenientes de sistemas trimestrais em vez de sistemas por semestres. Criámos então uma lista de regras: se o histórico vier de qualquer uma dessas fontes, será encaminhado para uma fila de análise humana manual.

Depois, a IA processa o resto. Não estamos a automatizar 100% do fluxo de trabalho, mas estamos a automatizar o suficiente numa área em que é seguro fazê-lo e em que é mais provável obter um resultado preciso na coluna em que confiamos. Esse é apenas um exemplo de engenharia da confiança na prática.

Galen Low: Talvez possamos aprofundar esse tema, porque gosto muito do facto de estar a desenvolver um curso sobre engenharia da confiança para o LinkedIn Learning. Pode dar-nos uma definição? O que é a engenharia da confiança e como conduz a soluções e experiências de IA seguras?

Cal Al-Dhubaib: É um conjunto partilhado de ferramentas de comunicação que ajuda várias pessoas, com diferentes funções, que colaboram na conceção e adoção de soluções de IA a falar de forma mais produtiva sobre a preservação da confiança.

Reparei que diferentes pessoas abordavam este problema da confiança através de perspetivas diferentes e que nem todas partilhavam a mesma linguagem. Temos engenheiros de IA, muitos dos quais estão agora familiarizados com problemas estatísticos, como enviesamentos estatisticamente prejudiciais em conjuntos de dados. Mas também temos profissionais de gestão de risco e auditores, que analisam o problema sob a perspetiva da exposição da organização.

Temos profissionais de governação, que pensam em como documentar pressupostos. Temos designers de experiência do utilizador, que pensam em como criar as formas de interação das pessoas com o sistema. E temos as partes interessadas do negócio, que definem os requisitos e o problema empresarial.

Era necessário encontrar uma forma comum de todas estas pessoas falarem sobre a mesma coisa e terem uma compreensão semelhante das formas como a confiança pode ser violada com a IA, bem como das ferramentas necessárias para se defenderem contra isso.

Galen Low: Gosto muito do facto de ser uma linguagem partilhada e um modelo para diagnosticar e resolver alguns destes problemas.

O que gosto é que, anteriormente, falava da ciência de dados e do papel do analista de dados. Sei que, em determinados contextos, especialmente na experiência do cliente, as pessoas dizem: “Basta trazer uma pessoa de dados; ela resolve tudo.” E essa pessoa fica responsável pela limpeza, precisão e restantes aspetos dos dados. Rapidamente todos percebem que a responsabilidade não pode ficar apenas com uma pessoa. É um esforço de equipa. É uma atividade colaborativa e gosto que isto funcione como um modelo transversal para pôr as pessoas a trabalhar em conjunto.

Cal Al-Dhubaib: A cem por cento.

Galen Low: Voltando ao que dizia sobre minimizar estrategicamente a IA quando não tem de ser tudo ou nada — este fluxo de trabalho é 100% IA ou não é IA? — penso que isso se relaciona diretamente com a ideia de colaboração entre a IA e os seres humanos. Atualmente, precisamos que todos compreendam a IA e tenham um vocabulário partilhado para manter conversas relevantes durante a conceção e a implementação.

Também precisamos de nos compreender uns aos outros. E penso que isso é muito fácil de reconhecer. Na minha cabeça, os gestores de projeto adoram discutir metodologias: “Qual é a melhor metodologia? Qual será a melhor para este projeto?” Por vezes, perdemo-nos demasiado nos detalhes e nas especificidades.

Mas, fundamentalmente, a finalidade é criar uma forma de estarmos alinhados sobre como trabalhar em conjunto e entregar algo. É uma forma de traduzir entre as partes interessadas para que todos estejam a falar da mesma coisa. Porque, certamente, todos já estiveram envolvidos num projeto em que tudo se perdeu na tradução.

Todos temos especializações diferentes.

Cal Al-Dhubaib: É fácil presumir: “Isso está tratado.”

Galen Low: É disso que gosto. Torna isto um desporto de equipa. Eis um modelo para a engenharia da confiança. Estamos todos juntos nisto. Imagino que inclua a privacidade, mas também penso que é aí que entram a acessibilidade, a privacidade e outros aspetos que nenhuma pessoa consegue assumir numa solução complexa — ou mesmo numa solução simples.

Cal Al-Dhubaib: Um exemplo simples é a questão da equidade na criação de um modelo para admissão de estudantes. Trabalhámos recentemente nessa área. Um dos requisitos era garantir que o modelo cumpria as expectativas de qualidade em diferentes grupos demográficos.

O cliente perguntou-nos como iríamos garantir isso. Respondemos que precisávamos de compreender como definia equidade, porque existem 22 formas diferentes de a calcular. E, francamente, isso está fora do âmbito do engenheiro. Posso explicar qual é a fórmula e como calculá-la de várias formas.

Mas preciso que me diga qual é a sua política, como aborda esta definição e o que é correto para si.

Galen Low: Há muitas pessoas que questionam a IA ou assumem uma visão pessimista, como se a IA nos fosse conduzir numa determinada direção sem a nossa influência.

Mas penso que também está a acontecer o inverso. Está a obrigar-nos a analisar coisas que fazemos há décadas. São éticas? São justas? Temos tomado decisões improvisadas? Agora precisamos de decidir. Tal como os responsáveis pelos veículos autónomos têm há muito tempo de decidir se devem embater numa escola ou num campo onde existem duas casas.

Não é uma decisão confortável, mas existe uma política para isso. Dizemos que é uma decisão de julgamento, caso a caso, e suavizamos a questão para nós próprios, mas…

Cal Al-Dhubaib: Pode ser assim tão grave, mas também pode ser algo muito mais simples e quotidiano. Um exemplo é que estes sistemas tendem a ser muito abertos, especialmente os sistemas de IA generativa.

É possível pedir quase tudo a estas soluções e o que temos observado é que isso pode sobrecarregar o consumidor.

Galen Low: Interessante.

Cal Al-Dhubaib: Na verdade, é útil ter um âmbito limitado daquilo que posso fazer com esta ferramenta. Tenho estes quatro pilares da engenharia da confiança: gestão de expectativas, conceção de decisões, governação e gestão da infraestrutura de confiança. Este último pilar inclui as ferramentas, o risco e a forma de construir tudo isto. Mas, voltando à abertura excessiva e à conceção de decisões, como apresentar aos utilizadores a quantidade certa de informação e as salvaguardas adequadas para que saibam utilizar bem o sistema?

Galen Low: Podemos analisar alguns exemplos? Gosto muito destes quatro pilares, especialmente a gestão de expectativas e a conceção de decisões. Seria interessante explorar um exemplo e depois afastarmo-nos para perceber quem teria de estar envolvido para alcançar esse nível de confiança na experiência.

Cal Al-Dhubaib: Vou dar um exemplo muito simples, porque é fácil falar de vida ou morte, ou de readmissões hospitalares, e quero apresentar algo sobre o qual possamos falar publicamente, porque não é um estudo de caso.

É uma empresa que talvez conheça: a Behr Paint.

Galen Low: Sim.

Cal Al-Dhubaib: É muito conhecida. Quando se vai ao Home Depot, há um grande expositor. A empresa descobriu que um dos maiores pontos de abandono na consideração do consumidor era sentir-se sobrecarregado pela escolha das cores. Apesar de toda a minha experiência a aprender sobre tintas nos últimos anos, tenho dificuldade em distinguir cores.

A minha paleta talvez tenha dez cores. Fico muito confuso quando tenho de escolher: “Meu Deus, que versão de branco casca de ovo quero aqui?” Decidiram, por isso, criar uma experiência generativa para a seleção de produtos. E isto não é tão trivial como parece, porque tem de respeitar a ciência da cor, os guias de estilo e produtos que existem efetivamente.

Também tivemos de tomar decisões sobre que tipo de aconselhamento era aceitável e não aceitável. Escolher uma cor é perfeitamente aceitável. Explicar como formulá-la, misturar a tinta ou aplicá-la era algo sobre o qual decidiram que queriam ter um nível mais elevado de controlo de qualidade. Assim, se a conversa começasse a seguir essa direção, o sistema apresentava rapidamente ao utilizador uma linha de apoio para essa questão específica.

Galen Low: Está bem, isso é interessante.

É como um 90/10: parar aqui, não continuar, não tentar inventar algo, porque a pobre IA está sob tanta pressão para ter todas as respostas. E dizer-lhe que está tudo bem encaminhar a questão para uma pessoa.

Cal Al-Dhubaib: Além disso, tivemos de garantir que, acontecesse o que acontecesse, o sistema não recomendava tintas concorrentes. Também não podia ser manipulado para dizer coisas que a empresa não queria ver divulgadas e capturadas em imagens de ecrã para serem espalhadas por toda a Internet.

Galen Low: Sim.

Cal Al-Dhubaib: Penso que é um ótimo exemplo de alguns destes elementos da engenharia da confiança. Temos a conceção de decisões: qual é a decisão que estamos, em última análise, a tentar influenciar e que salvaguardas devem ser incluídas? Como gerimos as expectativas do utilizador relativamente àquilo que pode ou não pode fazer com a ferramenta, com uma governação adequada no lado de suporte? E, naturalmente, tudo isto é comunicado às partes interessadas num cartão do sistema fácil de compreender.

Galen Low: E a interface era conversacional, certo?

Cal Al-Dhubaib: Sim. Se visitar behrpaint.com — publicidade gratuita — aparece um chatbot que diz: “Olá, como posso ajudá-lo?” Chama-se Chat Hue.

Galen Low: Gosto. É um ótimo exemplo de tudo o que mencionou. Falou da teoria da cor. Há um especialista na equipa de projeto que sabe que não se devem combinar determinadas cores para pessoas com um espetro limitado de visão cromática, mas sem ser crítico, como dizer: “Não, o roxo e o verde não combinam. Em que estava a pensar?”

Cal Al-Dhubaib: Se tentar fazer isso, o sistema orienta-o gentilmente para algumas cores coordenadas que poderá querer considerar.

Galen Low: E existe também uma espécie de redator ou linguista que pensa: “Como podemos explicar…”

Cal Al-Dhubaib: A voz da marca?

Galen Low: Sim, a voz da marca. E imagino que tenham treinado o sistema com o catálogo de cores da Behr.

Cal Al-Dhubaib: Tudo isto depende, naturalmente, de dados digitais de produtos atualizados. Uma parte importante desta iniciativa é garantir que tudo é adequado, atualizado, controlado e atribuído a alguém. Estamos a trabalhar numa experiência semelhante para um dos nossos clientes de serviços financeiros, mas neste caso para navegar numa base de conhecimentos interna.

Uma parte importante da solução não é apenas definir a arquitetura da forma como o modelo de IA obtém informação. É também criar processos orientados por pessoas para determinar quem é responsável pela base de dados ou de conhecimentos e como esta é atualizada ao longo do tempo.

Galen Low: Isso é muito interessante.

Cal Al-Dhubaib: Uma parte importante é também ter processos orientados por pessoas que mantêm atualizados os dados de que o sistema de IA depende.

Galen Low: E existe essa cooperação. Não tem de ser tudo ou nada, em que a IA se mantém, corrige, testa, assegura a qualidade e atualiza tudo sozinha. Continua a existir um papel para as pessoas.

Cal Al-Dhubaib: Algumas pessoas que deveriam saber melhor andam por aí a promover a ideia de que a IA vai gerir tudo, com agentes de IA para agentes de IA. Francamente, todos os casos de utilização em produção com que me deparei exigem uma dose saudável de intervenção humana e de reequilíbrio, com a IA a ser orientada para aquilo que os seres humanos têm de fazer além dela.

Galen Low: Penso que isso é realista. Quem sabe até onde irá a tecnologia? Mas quando ouço falar de agentes que gerem agentes, percebo que é uma ideia apelativa, porque normalmente a maior despesa de uma organização é a folha salarial. É como dizer: “Não precisa de pessoal.” Brincadeira. Na verdade, continuará potencialmente a precisar de pessoal. A tecnologia pode ajudá-lo a chegar lá, mas essa é a publicidade exagerada.

Cal Al-Dhubaib: É muito sedutor.

Galen Low: É mesmo. Pergunto-me se podemos analisar alguns exemplos negativos de experiências. Não precisamos de mencionar nomes nem de criticar ninguém, mas existem soluções de IA que utilizamos e que não se esforçam realmente por estabelecer confiança, sendo um pouco como caixas negras?

Quais são alguns dos elementos de uma experiência em que a confiança não foi incorporada?

Cal Al-Dhubaib: Gosto de referir os incidentes da base de dados de incidentes de IA. Mencionei alguns no início, mas um exemplo interessante é o da McDonald’s, que teve problemas com o sistema de pedidos por voz nos seus restaurantes com serviço automóvel, trabalhando com uma conhecida empresa de consultoria de software.

No ano passado, acabaram por descontinuar o sistema porque não conseguiam obter pedidos precisos de forma consistente. Não penso que tenha sido tanto uma falha da tecnologia, mas sim uma falha na colocação das salvaguardas certas à volta da tecnologia. Por outro lado, a Domino’s tem 80% dos seus pedidos telefónicos a serem tratados por um sistema de IA.

Galen Low: Uau.

Cal Al-Dhubaib: O que gosto no contraste entre estas duas histórias é que, num caso, houve uma tentativa de tornar tudo totalmente baseado em IA; no outro, existem pessoas a supervisionar as chamadas em direto e a assumir o controlo quando o sistema não compreende um sotaque ou não entende o cliente. Existem medidas de auditoria adequadas para garantir que os pedidos continuam a corresponder ao que o utilizador disse.

Penso, portanto, que falhas como esta não acontecem porque a tecnologia não funciona. Sabemos que a IA terá uma taxa de erro inerente. As falhas acontecem porque não foram concebidos os sistemas certos à sua volta.

Galen Low: Gosto desta ideia de que não é tudo ou nada. Estou a pôr o meu chapéu de gestor de projeto. Imagine ser a pessoa que utilizou um orçamento de vários milhões para implementar pedidos por voz na McDonald’s e, no final, ter de dizer: “Não é suficientemente bom.” E o sistema fica arquivado, a acumular pó. É importante perceber que isso não é necessariamente um fracasso.

Provavelmente foi a ideia errada relativamente ao rumo da tecnologia. A resposta errada seria dizer: “A IA não funciona. Vamos regressar a agentes humanos a 100% nos centros de atendimento.” Em vez disso, vemos no setor da experiência do cliente modelos híbridos, com décadas de chatbots que encaminham a conversa para uma pessoa quando não conseguem avançar.

Queremos que a tecnologia chegue a um ponto em que exista informação suficiente, salvaguardas suficientes e uma conceção adequada para tornar a solução viável. E, entretanto, continuamos a recolher dados — incluindo dados sobre sotaques — para a treinar.

Cal Al-Dhubaib: Em algumas práticas de conceção para reduzir o risco dos sistemas de IA, a opção mais simples é equipar os agentes do centro de atendimento com acesso a IA generativa. Essa IA pode aceder a transcrições em direto ou a conversas e sintetizar recomendações. Ou pode ser simplesmente uma ferramenta que o agente consulta.

Assim, o agente trabalha mais depressa e com maior eficácia, mas continua a ser a camada de segurança. Pode haver um filtro para determinar se é adequado utilizar IA ou se deve lançar-se uma experiência de IA sem restrições. Também podem existir acionadores que redirecionam determinadas situações. Mas haverá sempre algum equilíbrio com pessoas no circuito.

Quando falo com clientes sobre as suas práticas de governação, digo-lhes que devem responder a três perguntas básicas. Primeiro: o que fizeram antecipadamente para testar e garantir que minimizaram os potenciais danos ou riscos inerentes à solução de IA? Segundo: depois de entrar em produção, como saberão quando está a cometer um erro?

Isto é observabilidade. Quais são os critérios das salvaguardas? Quais são os diagnósticos e como saberão quando a solução não está a cumprir as expectativas? A terceira pergunta, e a mais importante, que muitas vezes é esquecida, é: o que fazem depois? Como resolvem a situação?

Testaram realmente esse plano sob pressão? Imaginemos o sistema de pedidos por voz que temos vindo a usar como exemplo. Definiram que, quando determinados acionadores ocorrem, haverá uma intervenção humana. Até que ponto essa pessoa consegue compreender rapidamente o que aconteceu?

Galen Low: Exatamente.

Cal Al-Dhubaib: Existem experiências, interfaces e controlos adequados para que consiga ler rapidamente o que aconteceu, diagnosticar os potenciais problemas e fazê-lo de forma tranquila, preservando a confiança do consumidor?

Galen Low: De certa forma, um restaurante de serviço rápido é o maior teste de pressão. Num centro de atendimento, se telefonar por causa da sua apólice de seguro, é aceitável ficar em espera durante três minutos.

Cal Al-Dhubaib: Não sei se gostaria de esperar três minutos por um pedido importante.

Galen Low: Exatamente. E estamos a exigir muito de uma força de trabalho normalmente bastante júnior. Em alguns casos, essas pessoas estão a preparar comida, a receber pedidos e, ao mesmo tempo, a tentar compreender uma transcrição de uma conversa de IA do serviço automóvel.

Quando visito um restaurante McDonald’s ou outro restaurante de serviço rápido, olho sempre para o ecrã com a contagem decrescente. Penso: “Só têm 15 segundos antes de o pedido sair do limite de tolerância.” É um caso de utilização em tempo real e sob enorme pressão.

Parte de mim está satisfeita por as pessoas estarem a experimentar isto, porque nem sempre vai funcionar. Mencionou que os incidentes na base de dados estão a aumentar. Diria que é porque a tecnologia simplesmente não funciona, porque está a piorar, ou porque mais pessoas a estão a utilizar e implementar, o que significa mais erros e mais histórias?

Cal Al-Dhubaib: Penso que é uma combinação de duas coisas. Está a tornar-se mais fácil criar estes tipos de ferramentas e sistemas, pelo que a superfície de utilização cresceu.

Mesmo que a nossa capacidade de gerir os riscos tenha melhorado, é um bom sinal que os incidentes não estejam a aumentar de forma tão exponencial como a adoção da IA. E, em segundo lugar, penso que estamos a ganhar mais experiência na identificação de problemas de IA. Saímos da era da confiança automática na informação digital.

As falsificações profundas eram muito preocupantes há alguns anos e continuam a sê-lo hoje. Mas a pessoa média está mais atenta e pensa: “Talvez isto seja IA.” Pode aceder a praticamente qualquer conversa nas redes sociais, abrir os comentários e encontrar pessoas a dizer que algo é gerado por IA. A pessoa média começa a olhar para a informação com bastante ceticismo.

Galen Low: Gosto disso. Antigamente, dava-se por garantido que confiávamos nas experiências digitais. Confiávamos no Google, nos meios de comunicação social e nas fontes noticiosas. Agora tudo é um pouco diferente, talvez não necessariamente de forma negativa. Estamos a ser mais críticos e a pensar de forma mais analítica.

Cal Al-Dhubaib: Conseguimos, assim, identificar estes problemas.

Galen Low: E podemos melhorá-los. Voltando ao início, conseguimos identificar e discutir quando o problema é, na verdade, uma política humana que já era injusta. É aí que tudo acaba por ter origem.

Gostaria de aprofundar esta questão. Estamos a falar da confiança como uma responsabilidade partilhada e transversal, e penso que as equipas que criam estas soluções estão a mudar. Já mencionei a possibilidade de haver um linguista e uma equipa de cientistas de dados.

A composição destas equipas está a mudar. Gosto da ideia do conjunto de ferramentas de engenharia da confiança, mas também penso que existem agora dinâmicas diferentes numa equipa e expectativas diferentes. A minha pergunta é: como pode uma equipa de projeto partilhar a responsabilidade de incorporar a confiança nas suas soluções?

Como pode evitar a atribuição de culpas e que alguém seja responsabilizado injustamente? Consigo imaginar o que aconteceria com um projeto como o da McDonald’s: seria notícia pelas razões erradas e todos começariam a apontar o dedo. A culpa seria dos cientistas de dados, do linguista, do código ou de qualquer outra coisa.

Quais são os elementos da dinâmica de equipa que tornam isto verdadeiramente uma responsabilidade partilhada, em que todos sentem algum grau de responsabilidade e prestação de contas, em vez de se procurar imediatamente um culpado?

Cal Al-Dhubaib: Uma coisa interessante acerca da responsabilização é que, se for responsabilidade de todos, acaba por não ser responsabilidade de ninguém. Por isso, é necessário haver uma pessoa que assuma a responsabilidade por este aspeto.

Na Further, investimos numa iniciativa que me entusiasma particularmente: credenciais em governação da IA. Somos membros da IAPP, a Associação Internacional de Profissionais de Privacidade. Foi uma das primeiras associações de grande dimensão com credibilidade nesta área. Tinha certificações para profissionais de privacidade e engenheiros de privacidade.

Lançou uma certificação profissional em governação da IA, reconhecendo que as pessoas poderiam vir de uma formação jurídica, de engenharia, de privacidade, de segurança ou de cibersegurança, mas precisavam de aprender os restantes aspetos. Isto inspirou, em parte, o meu modelo de engenharia da confiança.

Voltando a estes profissionais de governação da IA, atribuímos efetivamente um a cada projeto de IA, para garantir que fazemos as perguntas certas.

Galen Low: Essa seria a minha próxima pergunta. Em muitos casos, especialmente nos projetos digitais, é o gestor de projeto que acaba por assumir a responsabilidade por algo, porque normalmente está no centro de vários especialistas muito competentes.

Mas a integração de todos esses elementos, a compreensão dos requisitos e a compreensão dos riscos acabam muitas vezes por ficar a nosso cargo. Agora isto cresceu, certo? A responsabilidade aumentou. Gosto da ideia de uma empresa ter um diretor de privacidade, porque isso cria uma responsabilidade clara. E o que acabou de dizer — ter alguém em cada projeto responsável pela governação, independentemente da sua formação — é precisamente o que precisamos para garantir que existe um ponto claro de responsabilização.

Mesmo que exista uma linguagem partilhada e uma responsabilidade transversal ou uma conversa transversal sobre confiança, é necessário haver alguém que responda por ela.

Cal Al-Dhubaib: A cem por cento. E não quero que os clientes ouçam isto e pensem: “Meu Deus, isso parece dar demasiado trabalho.”

Na verdade, o objetivo é reduzir o esforço total. O objetivo é criar uma fricção ponderada: parar, perguntar onde é mais provável que algo corra mal, analisar projetos semelhantes e possíveis modos de falha e determinar qual é a probabilidade de algo correr mal.

Qual seria o custo se isso acontecesse? E onde precisamos de investir mais para mitigar estes riscos de confiança?

Galen Low: É isso que gosto nas indústrias regulamentadas. Nunca pensei dizer isto, mas elas têm esta noção de fricção útil e aceitam fazer uma pausa. É diferente do mundo das agências e das empresas em fase inicial, em que é sempre “avançar, avançar, avançar”. Se fizermos uma pausa, estamos a falhar.

Uma organização regulamentada diz: “Vamos analisar isto com cuidado e avaliar o valor agregado face ao risco agregado.” Não se trata apenas de entregar algo e disponibilizá-lo aos clientes. É também preciso pensar no que acontece depois. Vamos ficar sujeitos a processos judiciais? Vamos deixar de cumprir as regras? Vamos ser penalizados? As pessoas vão falar mal de nós no Reddit?

Cal Al-Dhubaib: Não queremos isso.

Galen Low: É aí que se percebe onde está a confiança. Mas não é possível colocar uma pessoa responsável pela governação em todos os projetos. O que provavelmente acontecerá inicialmente é alguém ficar responsável pela governação de 70 projetos, distribuindo 40 horas por todos eles.

Espero que, ao longo do tempo, aumente o reconhecimento do valor dessa pessoa.

Cal Al-Dhubaib: Sem dúvida. Penso que é uma nova categoria profissional. O controlo da IA, a garantia da qualidade da IA e a gestão do risco da IA serão funções em crescimento à medida que a adoção da IA aumentar. A boa notícia é que é uma função baseada em fazer perguntas. A competência principal consiste em fazer as perguntas certas para que todos os outros consigam alinhar-se.

Galen Low: Adoro isso.

Estamos a falar da confiança como um requisito que alguém pode assumir. Mas pode ser medida? Pode uma equipa de projeto saber se alcançou uma experiência digna de confiança? Pode medir isso ao longo do caminho? Como funciona?

Cal Al-Dhubaib: É uma excelente pergunta.

É interessante porque parte deste trabalho serve para impedir que um incidente aconteça. Podemos afirmar que o número de incidentes é uma métrica possível. Mas também é possível fazer coisas interessantes com a análise do comportamento dos utilizadores, especialmente quando a IA está integrada numa aplicação.

A forma mais simples de o fazer é perguntar: o utilizador está a alcançar o objetivo? No nosso exemplo do Chat Hue, os utilizadores chegam efetivamente ao apelo à ação e clicam para saber mais sobre uma determinada especificação de tinta? Essa é uma forma de perceber se a solução é eficaz.

As pessoas estão a concluir as interações? Voltam a utilizar a ferramenta?

Galen Low: Também gosto disso porque são coisas que conhecemos bem. Perfil de risco: qual é o perfil de risco? O que pode correr mal? Vamos aparecer naquela base de dados que o Cal consulta constantemente?

E depois há o objetivo e o sucesso: a conceção da experiência do utilizador. O utilizador está a obter valor? Onde existe fricção? Será por causa da confiança, porque a IA não é explicável, porque não explicámos como a utilizar ou porque existem demasiadas opções?

Cal Al-Dhubaib: Uma solução que simplesmente não é útil também não transmite confiança.

Galen Low: Exatamente. Não vou confiar o meu tempo a uma ferramenta que não vai gerar o resultado pretendido. Vou encomendar o meu Big Mac a uma pessoa, muito obrigado.

Talvez possamos terminar olhando para o futuro próximo. Sei que tudo está a mudar rapidamente. Noutras conversas, ouvi-o contar histórias em que a questão não era saber se a IA podia ser considerada digna de confiança, mas sim se os seres humanos envolvidos podiam sê-lo. Mencionou uma plataforma em que as decisões estavam relacionadas com o prémio de desempenho de uma pessoa.

Havia, portanto, um enviesamento inerente, do tipo mais egoísta, talvez invisível ou subconsciente — e talvez esteja a ser demasiado generoso.

Cal Al-Dhubaib: Essas pessoas tinham incentivos para não confiar nas recomendações da IA.

Galen Low: Porque os prémios dependiam disso.

Cal Al-Dhubaib: Exatamente. Não confiavam na IA.

Galen Low: A minha conclusão foi que os seres humanos valorizam a confiança, mas por vezes somos muito maus a lidar com ela. Somos maus a confiar e a ser dignos de confiança. Talvez possa colocar a pergunta desta forma: quanto tempo acha que será necessário para a IA compreender o conceito humano de confiança melhor do que os seres humanos? E quais seriam as consequências?

Cal Al-Dhubaib: Penso que a definição de IA é muito circular, especialmente quando começamos a pensar na forma como algumas pessoas definem a inteligência artificial geral. A ideia é que seja um sistema de IA capaz de fazer tudo aquilo que um ser humano suficientemente treinado consegue fazer.

Somos uma espécie que utiliza ferramentas. A minha capacidade de realizar trabalho hoje e de criar uma publicação no LinkedIn é parcialmente influenciada pela minha capacidade de utilizar IA. Assim, a capacidade humana passa a ser definida pela minha experiência no domínio e pela minha ferramenta de IA. É uma questão muito circular. Como pode a IA compreender a confiança melhor do que os seres humanos?

Não sei. Além disso, a confiança é muito subjetiva. Parece diferente em contextos diferentes e em diferentes referências morais. Um ótimo exemplo que apresento na minha aula é um estudo realizado no MIT sobre a ética das decisões de condução de veículos autónomos.

Chama-se Moral Machine e é o nome de um website onde são apresentados vários cenários. Pode não intervir ou fazer o carro desviar-se. De qualquer forma, algumas pessoas serão prejudicadas. Existem diferentes combinações.

Galen Low: São problemas do elétrico.

Cal Al-Dhubaib: Exatamente. Pode ser uma avó a atravessar a rua de um lado e três crianças na outra passadeira. Ou pode ser uma pessoa a atravessar fora da passadeira e outra a cumprir a lei.

Galen Low: Interessante.

Cal Al-Dhubaib: Existem muitos cenários diferentes e foi realizado um estudo muito interessante dos dados, depois de se obter uma amostra maior com perspetivas de várias partes do mundo. Descobriram diferentes agrupamentos e valores partilhados nos países ocidentais, nos países sul-americanos e nos países asiáticos.

Os modelos morais eram todos válidos nessas regiões, mas eram inerentemente incompatíveis. Por exemplo, nos países ocidentais, as pessoas tendiam, em média, a valorizar a salvação de um maior número de vidas. Nas culturas asiáticas, se houvesse uma pessoa idosa, essa pessoa poderia ser considerada mais importante do que qualquer número de pessoas do outro lado.

Galen Low: Interessante.

Cal Al-Dhubaib: Essa era a referência moral mais comum. Naturalmente, as preferências individuais variam, mas não existe uma verdade moral universal única para definir o que é a confiança.

Sei isso muito bem porque sou originalmente da Arábia Saudita e a minha mãe é americana. Cresci entre duas culturas que são frequentemente incompatíveis. Como podemos, então, fazer com que um sistema de IA navegue por esta questão, quando os próprios seres humanos não conseguem fazê-lo e quando tudo é tão subjetivo?

Galen Low: É um ponto interessante para terminar. Talvez não se trate tanto de confiança ou de existir uma única definição daquilo que é digno de confiança. A pergunta talvez devesse ser: quando compreenderá a IA a cultura humana melhor do que os seres humanos? Talvez não esteja assim tão longe, porque existem manifestações culturais em todo o lado. Talvez essa seja uma característica definidora.

Cal Al-Dhubaib: É. Penso que esse é precisamente o ponto. Temos de fazer o trabalho necessário para compreender que nada é preto no branco. Teremos de fazer alguns pressupostos, aconteça o que acontecer. É inevitável fazer pressupostos.

Galen Low: Como se costuma dizer, a IA é um ótimo espelho. É um espelho e uma lupa ao mesmo tempo. Está a obrigar-nos a olhar para nós próprios.

A confiança faz parte disso. Pode consistir simplesmente em ajudar os utilizadores a alcançar os seus objetivos sem frustração. Pode consistir em manter os danos ou riscos dentro de um limiar aceitável.

Cal Al-Dhubaib: É preciso definir o que é correto e quais os pressupostos que vamos assumir. Temos de decidir se devemos afirmar determinadas interações, não as afirmar ou talvez devolvê-las ao utilizador para que escolha conscientemente entre uma opção e outra.

Todas estas são decisões de conceção que podem fazer parte da engenharia da confiança.

Galen Low: É isso que gosto na engenharia da confiança enquanto conjunto de ferramentas e modelo: não chegaremos a uma resposta isoladamente. Temos de conversar sobre estas questões.

Cal Al-Dhubaib: Sem dúvida.

Galen Low: Cal, muito obrigado por ter participado no programa. Para quem quiser saber mais sobre o seu curso quando for lançado, onde pode obter mais informações? Como pode saber mais sobre si?

Cal Al-Dhubaib: Sou muito ativo no LinkedIn. É provavelmente a minha melhor plataforma. Podem encontrar-me lá e anunciarei mais detalhes muito em breve.

Galen Low: Excelente. Vou incluir certamente uma ligação para o seu perfil e também obter posteriormente a ligação para a base de dados de incidentes. Vale definitivamente a pena consultá-la. É um excelente tema de conversa. Cal, foi uma ótima conversa. Mais uma vez, obrigado.

Cal Al-Dhubaib: Obrigado pelo convite, Galen.

Galen Low: Muito bem, é tudo por hoje no podcast The Digital Project Manager. Se gostou desta conversa, subscreva o programa na plataforma onde o ouve. E, se quiser ainda mais informações práticas, estudos de caso e guias de ação, visite thedigitalprojectmanager.com.

Até à próxima. Obrigado por nos ouvir.