Como construir uma IA fiável: uma estrutura de 4 pilares para equipas de projeto
Este artigo foi adaptado de um episódio do podcast The Digital Project Manager, que contou com uma conversa entre o anfitrião Galen Low e Cal Al-Dhubaib, Responsável por AI & Ciência de Dados na Further. Ouça aqui.
Responsabilidade pela confiança: A falta de responsabilidade individual compromete frequentemente a confiança em projetos de IA, dificultando a responsabilização.
Engenharia da confiança: Uma estrutura denominada engenharia da confiança promove uma linguagem comum entre as diversas partes interessadas na conceção de IA.
Quatro pilares: Uma IA fiável assenta em quatro pilares: gestão de expectativas, conceção de decisões, governação e infraestrutura da confiança.
Questões do projeto: As equipas devem considerar três questões fundamentais para garantir uma governação eficaz e uma gestão dos riscos nas soluções de IA.
Medir a confiança: O comportamento dos utilizadores é um indicador essencial da confiança e da eficácia dos sistemas de IA.
Porque é que a confiança precisa de um responsável
A maioria dos projetos de AI depara-se com o mesmo problema antes sequer de arrancar: ninguém é explicitamente responsável por garantir que o sistema é digno de confiança. Cal Al-Dhubaib, Responsável por AI & Ciência de Dados na Further, já viu isto acontecer em vários setores e é direto quanto à causa principal. «A resposta fácil é que, por defeito, ninguém é responsável por isso, e esse é o grande problema», afirma.
Ninguém é responsável por isso [a confiança na AI], e esse é o grande problema.
A questão não é a falta de preocupação — é a falta de clareza sobre de quem é realmente essa responsabilidade. «Uma coisa interessante sobre a responsabilização é que, se for responsabilidade de todos, não é de ninguém e, por isso, acaba por ser necessária uma pessoa que assuma este aspeto», explica Al-Dhubaib. Na Further, este princípio não é apenas teórico. «Temos efetivamente uma pessoa atribuída a cada um destes projetos de AI, para podermos garantir que estamos a fazer as perguntas certas.»
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
O que é realmente a engenharia da confiança
A resposta de Al-Dhubaib à lacuna na responsabilização é uma estrutura a que chama engenharia da confiança — essencialmente, uma linguagem comum para as várias disciplinas que interagem com um sistema de AI. «É um conjunto partilhado de ferramentas de comunicação que ajuda as diferentes pessoas que colaboram na conceção de soluções de AI e na adoção de soluções de AI a falar de forma mais produtiva sobre a preservação da confiança», afirma.
A necessidade desse conjunto partilhado de ferramentas resulta da forma fragmentada como a conversa costuma decorrer. Engenheiros, gestores de risco, responsáveis pela governação, designers de UX e partes interessadas do negócio analisam o mesmo sistema através de perspetivas diferentes. «Era necessário haver uma forma comum de todas estas pessoas falarem sobre a mesma coisa e terem uma compreensão semelhante das formas como a confiança pode ser violada com a AI», afirma Al-Dhubaib, «bem como dos conjuntos de ferramentas para se defenderem contra isso.»
Era necessário haver uma forma comum de todas estas pessoas falarem sobre a mesma coisa e terem uma compreensão semelhante das formas como a confiança pode ser violada com a AI.
Os 4 pilares de uma AI digna de confiança
A engenharia da confiança divide-se em quatro pilares práticos — gestão de expectativas, conceção de decisões, governação e infraestrutura de confiança. Cada um aborda um ponto diferente em que os sistemas de AI tendem a perder a confiança das pessoas.
Pilar 1: Gestão de expectativas
O primeiro pilar diz respeito ao âmbito. Os sistemas de AI generativa são frequentemente demasiado abertos para o seu próprio bem, e essa abertura pode sobrecarregar precisamente os utilizadores que pretendem ajudar. «É bom ter uma gama limitada daquilo que posso fazer com esta ferramenta», observa Al-Dhubaib.
Aponta um exemplo do mundo real do seu trabalho com a Behr Paint, em que o objetivo era reduzir a fadiga decisória na escolha de cores. «Vai-se à Home Depot e vê-se a grande exposição de cores de tinta», afirma, descrevendo como os clientes — incluindo ele próprio — ficam bloqueados. «E ficamos completamente sobrecarregados se tivermos de escolher.» A solução não foi mais AI — foi uma experiência mais restrita e concebida de forma mais deliberada.
Pilar 2: Conceção de decisões
O segundo pilar diz respeito às salvaguardas colocadas em torno das escolhas que um sistema de AI pode fazer. «Como apresentar aos utilizadores a quantidade certa de informação e a quantidade certa de salvaguardas, para que saibam utilizar bem o sistema?», pergunta Al-Dhubaib.
No projeto da Behr Paint, isto significou traçar uma linha clara em torno do tipo de aconselhamento que a IA podia dar em segurança. A seleção de cores era aceitável; qualquer questão relacionada com a mistura ou aplicação de tinta exigia a transferência para um humano. «Se, a qualquer momento da conversa, começar a desviar-se nessa direção, pede rapidamente ao utilizador: aqui está a nossa linha de apoio para ajudar com esta questão específica», afirma Al-Dhubaib.
Se, a qualquer momento da conversa, começar a desviar-se nessa direção, pede rapidamente ao utilizador: aqui está a nossa linha de apoio para ajudar com esta questão específica.
O sistema foi também desenvolvido tendo em conta salvaguardas reputacionais — «também não se deixa pressionar para dizer coisas que não quer que diga e que depois sejam capturadas e espalhadas por toda a Internet».
Pilar 3: Governação
O terceiro pilar aborda uma questão que não pode ser respondida apenas por engenheiros: o que significa sequer «justo» ou «correto» para esta empresa específica? Al-Dhubaib descreve um projeto que envolvia um modelo para admissões de estudantes, em que o cliente queria garantir a qualidade em todos os grupos demográficos. «Existem 22 formas diferentes de calcular a equidade», afirma. «E, francamente, isso está fora do âmbito do engenheiro. Posso dizer-lhe qual é a fórmula e como calculá-la de várias formas diferentes. Vou precisar de contar consigo para dizer: qual é a sua política? Como está a abordar esta definição e o que é correto para si?»
Esse trabalho de governação não termina nas decisões internas — também tem de ser comunicado externamente. Como afirma Al-Dhubaib, tudo isto é documentado e partilhado «num cartão do sistema fácil de utilizar».
Pilar 4: Infraestrutura de confiança
O último pilar abrange as ferramentas e os processos que mantêm um sistema de IA honesto depois de estar ativo. Ilustra o pilar através do contraste entre duas conhecidas cadeias de restaurantes de serviço rápido. Uma retirou o seu sistema de pedidos por voz baseado em IA depois de este não conseguir efetuar pedidos corretos de forma consistente.
A outra adotou uma abordagem diferente: «Por outro lado, temos a Domino's, onde 80% dos pedidos telefónicos são agora tratados por um sistema de IA», com supervisores humanos a monitorizar as chamadas em direto e a intervir quando necessário, além de «medidas de auditoria adequadas para garantir que os pedidos continuam a corresponder ao que o utilizador disse». Na perspetiva de Al-Dhubaib, a diferença não estava na tecnologia subjacente. «Não creio que isto tenha sido tanto uma falha da tecnologia como uma falha na implementação das salvaguardas adequadas em torno da tecnologia.»
Não creio que isto tenha sido tanto uma falha da tecnologia como uma falha na implementação das salvaguardas adequadas em torno da tecnologia.
Três perguntas que todas as equipas de projeto devem fazer
Para além dos quatro pilares, Al-Dhubaib apresenta às equipas de projeto um diagnóstico simples para qualquer conversa sobre governação da IA — três perguntas, colocadas em sequência.
Primeiro: «O que fez antecipadamente para testar e garantir que minimizou os potenciais danos ou riscos potenciais inerentes a esta solução de IA?» Segundo, depois de o sistema estar ativo: «Como vai saber quando está a cometer um erro?» E terceiro — a pergunta que, segundo ele, é mais frequentemente esquecida — «O que faz depois? Como resolve a situação? Testou realmente esse plano sob condições de pressão?»
More Articles
- Recuos na IA: Histórias Reais de Líderes
- Os fluxos de trabalho de IA do mundo real utilizados pelo Diretor de Entregas de uma agência de implementação do Asana
- Gestor de Projetos e Educador com IA Partilha um Fluxo de Trabalho Simples com IA que Altera Fundamentalmente a Forma como os Projetos Funcionam
- 3 alternativas a substituir os seus gestores de projeto humanos por agentes de IA
- Os melhores modelos de IA para tarefas de gestão de projetos
Como saber se está a funcionar
A confiança não é apenas um princípio de design; é mensurável. Al-Dhubaib aponta o comportamento dos utilizadores como um dos sinais mais claros de que uma equipa dispõe. «O utilizador está a atingir o seu objetivo?», pergunta, recorrendo novamente ao exemplo da Behr — será que as pessoas estão efetivamente a chegar ao ponto de saber mais sobre as especificações de uma tinta, a concluir a interação e a voltar à ferramenta?
Em última análise, relaciona diretamente a utilidade com a própria confiança: «Simplesmente não somos úteis — porque isso também faz parte da confiança.»
Em suma
A engenharia da confiança não é uma lista de verificação acrescentada no final de um projeto — é uma série de escolhas de design feitas ao longo de todo o processo, sobre aquilo que o sistema fará e não fará, e sobre quem é responsável por cada decisão. Como afirma Al-Dhubaib, «É preciso definir o que está correto e que pressupostos vai estabelecer. Todas estas são escolhas de design que podem fazer parte da engenharia da confiança.»
Quer mais informações como estas? Crie uma conta DPM gratuita para ouvir mais especialistas como estes.
