À medida que a IA se torna mais inteligente, os seus piores erros são mais fáceis de não detetar

A par do meu trabalho de investigação, passei muitos anos como professor e mentor de matemática. Depois de concluir o doutoramento, comecei a expandir esse trabalho de forma mais deliberada, criando programas estruturados e refletindo cuidadosamente sobre a conceção de projetos educativos mais complexos. Em paralelo, envolvi-me em projetos relacionados com investimento e infraestruturas, que trouxeram uma verdadeira pressão decisória e aprimoraram a forma como penso sobre a execução em contextos de incerteza.

Atualmente, sou Cofundador e Diretor Executivo (Produto e Envolvimento) da Cantabrium Scholars, um jovem empreendimento educativo e de consultoria que está claramente numa fase de desenvolvimento. A minha função centra-se em gerir e fazer evoluir o produto e a experiência dos estudantes nos vários programas, desde a conceção académica e a qualidade dos mentores até à comunicação com os pais e à retenção. Inclui também a gestão da execução em várias fases entre equipas e geografias, bem como a manutenção da coerência de projetos complexos à medida que evoluem. Estou igualmente muito envolvido na criação de parcerias e na definição da direção académica da organização e da sua abordagem global à execução à medida que crescemos.

Onde a IA é mais valiosa no ciclo de execução

A IA tem sido particularmente útil para mim à medida que passei de ambientes orientados exclusivamente para a investigação para funções que exigem uma execução mais rápida, coordenação entre áreas funcionais e tomada de decisões no mundo real.

No meu trabalho atual, a IA tornou-se mais valiosa em dois momentos do ciclo de execução:

Numa fase inicial, funciona como uma forma rápida de aprender sobre novos domínios e testar ideias enquanto as decisões ainda estão a ser formuladas. Muitas vertentes dos projetos educativos e relacionados com investimento em que estou envolvido exigem uma abordagem rápida a temas desconhecidos. A IA ajuda-me a explorar opções rapidamente, antes de abrandar para questionar os pressupostos. Concretamente, isso significa que utilizo a IA para clarificar a estrutura de uma área, destacar os compromissos típicos e servir de caixa de ressonância enquanto aperfeiçoo o meu próprio pensamento. Na prática, isto é muitas vezes mais importante para reduzir erros — detetar pressupostos frágeis ou contradições internas antes de se propagarem por um projeto.

Depois, quando a direção principal está definida, a IA é particularmente eficaz na redução dos custos de execução e coordenação. Atualmente, passo muito menos tempo a produzir versões repetidas do mesmo material — a traduzir conteúdos para formatos diferentes, a adaptá-los a públicos ou países distintos, ou a manter documentos paralelos sincronizados. Manter uma memória clara das decisões e do contexto anteriores também torna muito mais fácil gerar rapidamente novas versões dos materiais sem perder a intenção à medida que os projetos evoluem.

Também tem sido inesperadamente útil em contextos dominados por negociações — mapeando rapidamente as posições de ambas as partes, identificando possíveis restrições e aspetos inegociáveis, e testando onde posso ceder e onde as objeções são baseadas em princípios. Na prática, peço-lhe que redija duas ou três propostas de «troca justa» e depois verifico a sua razoabilidade comparando-as com os meus limites intransponíveis antes de entrar na chamada. Isso facilita iniciar as conversas com limites intransponíveis claros, concessões credíveis e uma compreensão mais tranquila do que é, na realidade, uma troca justa.

Notas de Evgeny

A IA também tem sido inesperadamente útil em contextos dominados por negociações — mapeando rapidamente as posições de ambas as partes, identificando possíveis restrições e aspetos inegociáveis, e testando onde posso ceder e onde as objeções são baseadas em princípios.

Como resultado, dedico mais da minha atenção a trabalhos que exigem discernimento: decidir quais são realmente as questões importantes, definir a estrutura inicial dos projetos e lidar com a dimensão humana da execução — alinhamento, compromisso e confiança. Tarefas como definir o âmbito, ponderar compromissos, resolver divergências e assumir uma direção continuam firmemente dependentes das pessoas, enquanto a IA apoia a síntese, a consistência e a recuperação de informação ao longo do processo de execução.

Vejo cada vez mais a IA como uma colaboradora nas primeiras fases do pensamento e como um acelerador fiável numa fase posterior, mas ainda não como substituta do discernimento original ou de uma execução verdadeiramente criativa concebida de raiz. Esse limite está a mudar, mas, por enquanto, a maior parte da vantagem no meu trabalho resulta da combinação de um forte discernimento humano com um apoio seletivo e bem formulado da IA.

Porque um juízo humano mais sólido é a parte mais importante da execução possibilitada pela IA

Curiosamente, à medida que os resultados da IA se tornam mais convincentes, o papel do juízo humano torna-se mais exigente, e não menos.

Na fase atual, uma grande parte do trabalho não consiste apenas em utilizar a IA, mas em controlá-la ativamente: formular cuidadosamente as perguntas, tornar explícitos os pressupostos e impedir que a IA tire conclusões não declaradas demasiado cedo.

Na prática, isto significa que a pessoa tem de atuar como um centro de estabilidade no processo. No nosso trabalho, a IA converge frequentemente e com rapidez para estruturas claras e elegantes que parecem internamente coerentes. Quando as coisas parecem "demasiado perfeitas", é necessária uma intervenção humana deliberada para abrandar o processo, rever os pressupostos relativos aos conhecimentos prévios, à motivação e à carga de trabalho dos estudantes, e evitar fixar algo que parece atraente no papel, mas que é frágil na prática.

O que torna especialmente difícil a intervenção humana atempada é o facto de os erros raramente surgirem como falhas óbvias. À medida que os projetos se desenvolvem, as alucinações da IA tendem a tornar-se mais subtis e convincentes, assumindo frequentemente a forma de narrativas internamente consistentes, construídas com base em pressupostos incompletos ou implícitos. No meu trabalho educativo, isto manifestou-se em estruturas de programas que inicialmente pareciam sólidas, mas que teriam conduzido a cargas de trabalho desalinhadas ou a expectativas irrealistas relativamente aos conhecimentos prévios, se não tivessem sido detetadas atempadamente. Quando o texto envolvente é fluido e está bem estruturado, esses problemas podem propagar-se silenciosamente, a menos que alguém intervenha deliberadamente.

Eis uma salvaguarda prática que utilizamos: qualquer estrutura gerada por IA que pareça “perfeita” ou que convirja demasiado rapidamente é, por defeito, tratada com suspeita. Antes de assumirmos um compromisso, obrigamo-nos a fazer pelo menos uma passagem que reformule explicitamente os pressupostos, explore os modos de falha e teste a estrutura sob restrições alternativas. Esta tem sido a forma mais fiável de detetar erros subtis, mas de elevado impacto, antes que se propaguem.

Olhando para o futuro, espero que esta tensão aumente. À medida que os modelos melhoram, será mais difícil questionar arquiteturas que são internamente consistentes e superficialmente persuasivas. Manter esse papel humano, abrandar o processo nos momentos certos, questionar os pressupostos e assumir a responsabilidade pelas decisões poderá tornar-se um dos aspetos mais importantes e exigentes da IA na automatização e execução de serviços profissionais.

Como utilizar a IA como revisor crítico

Uma simples mudança pode ajudar neste aspeto: utilizar a IA conversacional como revisor crítico, em vez de a utilizar como geradora de conteúdos.

Em vez de pedir à IA que produza resultados finais, utilizo-a para interrogar estruturas propostas: revelar pressupostos ocultos, testar decisões sob cenários alternativos e explicar como um plano poderá falhar se uma única premissa se revelar errada. Isto tem sido particularmente valioso em trabalho relacionado com design e investimento, onde as decisões iniciais têm consequências prolongadas e a confiança mal colocada sai cara.

Utilizada desta forma, a IA comprime os ciclos de reflexão sem eliminar as nuances. Permite externalizar, questionar e aperfeiçoar rapidamente ideias ainda incompletas, reduzindo a carga cognitiva e melhorando simultaneamente a qualidade das decisões. Na prática, isto conduziu à identificação mais precoce de pressupostos frágeis, a menos reviravoltas numa fase avançada e a um compromisso mais deliberado quando uma direção é escolhida.

O valor deste caso de utilização depende menos do próprio modelo e mais da forma como a interação é estruturada. Pequenas alterações nas instruções podem determinar se a IA converge prematuramente para uma solução organizada ou se revela compromissos e modos de falha significativos. Ao regressar às mesmas linhas de questionamento ao longo das diferentes fases de um projeto e ao voltar a testar os pressupostos à medida que o contexto evolui, esta interação torna-se parte do próprio processo de execução. Com o tempo, essa repetição acumula efeitos: as decisões mantêm-se alinhadas, o raciocínio anterior continua visível e a coerência global entre projetos melhora, em vez de se degradar.

Eis um exemplo pequeno, mas ilustrativo. Perguntar à IA, “Qual é a melhor opção tendo em conta estas restrições?” tendia a produzir recomendações claras e confiantes que convergiam rapidamente. Reformular a instrução para, “Em que condições falharia esta opção e que pressupostos teriam de ser falsos para que isso acontecesse?” produziu resultados materialmente diferentes: revelou estrangulamentos operacionais, riscos de coordenação com parceiros e sensibilidades relacionadas com os prazos que não eram evidentes na formulação original. Essa alteração na redação mudou repetidamente os riscos que abordámos desde cedo e, em alguns casos, as opções que excluímos por completo.

Notas de Evgeny

Perguntar à IA, “Qual é a melhor opção tendo em conta estas restrições?” tende a produzir recomendações claras e confiantes que convergem rapidamente. Reformular a instrução para, “Em que condições falharia esta opção e que pressupostos teriam de ser falsos para que isso acontecesse?” produziu resultados materialmente diferentes.

Como a IA está a mudar os rituais de execução para se concentrar na qualidade das decisões

A IA afastou os nossos rituais de execução da comunicação de atividades e aproximou-os da melhoria da qualidade das decisões.

• Definir o âmbito tornou-se simultaneamente mais explícito e mais provisório. Como a IA facilita a geração rápida de planos plausíveis, aprendemos a abrandar esta fase em vez de a acelerar. Os resultados iniciais são tratados como hipóteses a analisar, não como propostas a executar. Utilizamos a IA para mapear o espaço de opções, revelar restrições e identificar onde ainda existe incerteza antes de nos comprometermos com o âmbito.
• Alinhar as equipas centra-se agora no raciocínio partilhado, e não nos artefactos partilhados. Em vez de fazermos circular imediatamente documentos aperfeiçoados, utilizamos frequentemente a IA para gerar resumos concisos dos pressupostos, compromissos e questões por resolver antes das discussões. Isto uniformiza o contexto e permite que as conversas de alinhamento se concentrem no julgamento, em vez de na interpretação.
• Validar o trabalho passou a acontecer mais cedo. Em vez de revermos os resultados com base numa lista de verificação ou num calendário, utilizamos a IA para testar rigorosamente os pressupostos: perguntando de que forma uma estrutura pode falhar, quais os pressupostos que acarretam maior risco ou o que muda em casos-limite. Isto tornou as conversas de validação mais substanciais e reduziu as surpresas numa fase tardia.
• Gerir a execução tornou-se mais simples, mas também mais deliberado. Em vez de atualizações de estado, as verificações regulares centram-se nas decisões que precisam de ser tomadas, nos compromissos que surgiram e nos pontos em que é necessário julgamento humano. A IA apoia a continuidade e a síntese em segundo plano, mas a responsabilidade e a prestação de contas continuam claramente a caber aos seres humanos.

De um modo geral, a IA não eliminou a necessidade de rituais de entrega — tornou-os mais intencionais. A ênfase passou do acompanhamento do progresso para a tomada de melhores decisões, mais cedo e com uma responsabilidade mais clara.

Como é uma pilha de IA para flexibilidade na entrega de projetos

A minha pilha de entrega de projetos é deliberadamente simples, centrada no texto e complementada por IA, em vez de assentar num excesso de ferramentas. Isto reflete a natureza do meu trabalho, que tende a envolver um elevado grau de incerteza e a ser orientado pela conceção, em vez de se centrar na execução em grande escala.

No centro estão documentos e folhas de cálculo partilhados através do Google Workspace. Os documentos partilhados funcionam como a principal fonte de verdade para pressupostos, decisões, responsabilidades e estruturas em evolução, enquanto as folhas de cálculo são utilizadas para modelos de custos, cronogramas e comparações de cenários, especialmente em contextos de investimento e planeamento de localizações. O Slack e o WhatsApp são utilizados para um alinhamento e uma tomada de decisões rápidas, não para o acompanhamento detalhado de tarefas.

Para a gestão de projetos, utilizo o Notion e o Linear conforme necessário e concentro-me nos registos de decisões e nos marcos, em vez de utilizar quadros de tarefas complexos.

Na prática, isto significa que, ao longo do último ano, reforcei a utilização de documentos partilhados e da síntese assistida por IA, afastando-me simultaneamente de ferramentas de gestão de projetos pesadas, em favor de registos de decisões mais claros e de uma coordenação mais simples.

Agora tenho menos documentos, registos de decisões mais claros e pressupostos mais explícitos. Os LLM estão agora sobre esta pilha como uma camada de síntese e continuidade. Ajudam-me a manter alinhados as decisões, os pressupostos e os documentos paralelos à medida que as coisas mudam. Utilizo-os para explorar opções, testar rigorosamente as conceções, resumir decisões anteriores e manter o contexto à medida que os projetos evoluem nos domínios académico, operacional e das parcerias. Eis a decomposição:

• ChatGPT (modelos da classe GPT-4): Raciocínio aberto, exploração de opções, análise de compromissos, teste rigoroso de conceções e manutenção de contexto a longo prazo entre documentos.
• Claude: Rascunhos limpos e estruturados e reescrita cuidadosa, preservando o tom e as restrições.
• Gemini (ocasionalmente): Resumo rápido de grandes volumes de informação ou formulações alternativas, especialmente ao trabalhar com diferentes tipos de documentos.

Nos projetos recentes, isto traduziu-se numa convergência mais rápida para estruturas de programas viáveis, em menos reversões numa fase tardia e em transferências de decisões mais claras entre os fluxos de trabalho académico e operacional. Em termos práticos, isto reduziu o número de documentos paralelos que mantemos, encurtou os ciclos de iteração entre rascunhos e diminuiu o esforço de coordenação necessário para manter alinhados os materiais académicos, operacionais e destinados aos parceiros.

Do lado da comunicação e da conceção, utilizei o Midjourney para me alinhar rapidamente com o nosso designer. Tem sido particularmente eficaz para transmitir desde cedo o tom e a direção visual, reduzindo as trocas e reformulações que surgem frequentemente quando se tenta descrever o julgamento estético apenas por palavras.

Olhando para o futuro, uma base de conhecimento interligada, como o Obsidian, faria sentido à medida que o volume de material aumenta, especialmente para a memória institucional a longo prazo entre projetos. Na fase atual, contudo, os documentos partilhados, combinados com o resumo e a recuperação assistidos por IA, satisfazem a maior parte dessa necessidade sem introduzir uma sobrecarga adicional de ferramentas.

De um modo geral, esta pilha funciona porque, atualmente, a clareza, a adaptabilidade e o julgamento são mais importantes do que a otimização de processos. À medida que a escala aumenta, é provável que partes da pilha se formalizem, mas, por enquanto, a flexibilidade tem sido mais valiosa do que a precisão.

Porque é que os sistemas simples de entrega funcionam melhor em projetos com elevada incerteza e apoiados por IA

Assim, afastámo-nos de uma gestão de projetos centrada em tarefas e cronogramas, passando para sistemas que dão prioridade a pressupostos, dependências e pontos de decisão. Em trabalhos de elevada incerteza e orientados pelo design, a precisão inicial em torno das tarefas e dos prazos cria frequentemente uma falsa sensação de progresso, ao mesmo tempo que obscurece as verdadeiras questões que continuam por responder.

Não me “rebelei” conscientemente contra a gestão de projetos tradicional — simplesmente deixou de se adequar ao tipo de trabalho que faço.

Optamos por menos planos rígidos e por mais conversas estruturadas. Em vez de acompanharmos tarefas detalhadas ou impormos marcos artificiais, concentramos a atenção em definir o que tem de ser verdade para que um projeto seja bem-sucedido, onde persiste a incerteza e quem é responsável pela próxima decisão relevante. Os documentos partilhados funcionam como fontes de verdade em evolução, com secções explícitas para pressupostos, questões em aberto, riscos e responsabilidades. A documentação leve substitui os painéis de controlo, e os pontos de decisão substituem os cronogramas fixos.

O ChatGPT apoia esta mudança ao ajudar-nos a resumir alterações ao longo do tempo, detetar inconsistências entre fluxos de trabalho paralelos e manter o contexto alinhado à medida que os projetos evoluem — sem impor um único fluxo de trabalho ou processo rígido.

O resultado tem sido uma convergência mais rápida numa fase inicial e menos reformulações penosas mais tarde. Vemos menos “progresso” performativo e mais clareza genuína, sobretudo em projetos em que o próprio problema ainda está a ser definido.

Como experimentar cautelosamente a IA baseada em agentes

A IA baseada em agentes ainda não faz parte dos nossos fluxos de trabalho gerais, porque a natureza do trabalho implica que o discernimento, a responsabilidade e a consciência do contexto continuem a ter de permanecer muito explícitos — e humanos. A automatização prematura nesses contextos pode criar uma falsa confiança. Temos tido o cuidado de evitar esse risco.

Por isso, temos sido cautelosos relativamente a tudo o que se assemelhe a uma automatização de ponta a ponta. Em vez de perguntarmos “O que podemos automatizar?”, a pergunta orientadora tem sido: “Onde é que a orquestração melhora a visibilidade ou reduz a fricção sem obscurecer a responsabilidade?” Até agora, isso levou-nos a manter a experimentação exploratória, incremental e rigorosamente supervisionada.

Na prática, essa experimentação inclui utilizar a IA para resumir, manter a consistência entre documentos em evolução e comparar opções ou cenários com base em diferentes pressupostos. Estas são áreas em que a orquestração pode reduzir os custos de coordenação sem retirar a responsabilidade aos seres humanos.

Olhando para o futuro, existem áreas em que uma orquestração mais estruturada poderá fazer sentido, sobretudo no que diz respeito à coordenação e ao feedback em grande escala. Mas, mesmo aí, o objetivo não seria automatizar o discernimento ou substituir a interação humana, mas apoiar a continuidade, a reflexão e o alinhamento à medida que a complexidade aumenta.

Porque é que a execução de projetos passará a depender menos da imposição de planos e mais da arquitetura de decisão

Nos próximos cinco anos, a execução de projetos afastar-se-á da coordenação de tarefas e aproximar-se-á da arquitetura de decisão. À medida que a IA assumir cada vez mais a síntese, a memória e a comparação entre opções, o papel humano passará decisivamente a centrar-se na gestão da incerteza, em vez da gestão do trabalho.

Na prática, isto significa menos pessoas concentradas na manutenção de cronogramas e listas de tarefas, e mais líderes concentrados em conceber as condições para boas decisões: tornar os pressupostos visíveis, definir os espaços de opções, clarificar os direitos de decisão e identificar onde continua a ser necessário o discernimento. A IA comprimirá os mecanismos de execução, mas não resolverá a ambiguidade nem assumirá os riscos.

É importante explicitar o que continua desconhecido, onde os compromissos são irreversíveis e quem é responsável por cada decisão. A execução de projetos dependerá menos da imposição de planos e mais da manutenção da coerência à medida que a compreensão evolui.

Notas de Evgeny

É importante explicitar o que continua desconhecido, onde os compromissos são irreversíveis e quem é responsável por cada decisão. A execução de projetos dependerá menos da imposição de planos e mais da manutenção da coerência à medida que a compreensão evolui.

Porque é que o discernimento e a responsabilidade continuam a pertencer aos seres humanos

A maior mudança que os líderes de execução enfrentam neste momento não é aprender novas ferramentas, mas reaprender onde deve estar o discernimento. A IA está a mudar a rapidez com que conseguimos pensar, iterar e coordenar — mas não muda quem deve ser responsável pelas decisões. Manter clara essa distinção está a tornar-se uma competência essencial de liderança.

Eis o meu conselho:

• Não subcontrate o discernimento — subcontrate a carga cognitiva. A IA é extremamente eficaz a manter o contexto, comparar opções, identificar inconsistências e reduzir a sobrecarga mental de projetos complexos. Utilize-a para apoiar o pensamento, não para o substituir. No momento em que a IA começa a fazer com que as decisões pareçam completas, os líderes precisam de intervir e perguntar que pressupostos sustentam essa confiança e se são justificados.
• Torne os pressupostos explícitos antes de otimizar a execução. A IA facilita a criação antecipada de planos bem elaborados, o que cria a ilusão de progresso. Resista a essa tentação. O trabalho mais valioso nas fases iniciais não consiste em decompor tarefas ou definir cronogramas, mas em tornar os pressupostos visíveis: o que tem de ser verdade para isto funcionar, onde ainda existe incerteza e que decisões são irreversíveis. Os projetos falham menos frequentemente devido a uma execução deficiente do que devido a premissas não examinadas.
• Trate a IA como um parceiro de pensamento, não como um atalho. Pequenas alterações na formulação podem mudar radicalmente aquilo que a IA produz. Aprender a criar boas instruções tem menos que ver com sintaxe e mais com aprender a fazer perguntas melhores. Essa competência acumula-se ao longo do tempo, porque obriga a um pensamento mais claro, a escolhas mais criteriosas e a uma tomada de decisões mais deliberada.

As equipas que terão sucesso nos próximos anos não serão as que automatizarem mais depressa. Serão as que utilizarem a IA para ver com mais clareza, decidir de forma mais ponderada e assumir a responsabilidade pelas escolhas que realmente importam.

Acompanhe

Pode acompanhar Evgeny Goncharov no LinkedIn e conhecer o seu trabalho na área da educação em Cantabrium Scholars.

Em breve, haverá mais entrevistas com especialistas no The Digital Project Manager!