Porque é que os líderes que melhor medem a adoção da IA não estão a olhar para painéis de controlo
Métricas de acompanhamento: As métricas tradicionais de utilização representam frequentemente de forma incorreta o valor da IA; o foco deve estar na eficiência operacional.
Ganhos de eficiência: Avaliar o impacto da IA depende de melhorias de eficiência mensuráveis, e não apenas dos níveis de atividade ou dos resultados.
Mudança de comportamentos: A adoção significativa da IA é indicada por mudanças de comportamento, como a utilização espontânea e a automatização de tarefas.
Mudança no discernimento: O valor dos gestores de projeto está a evoluir da rapidez na produção de resultados para a tomada de decisões e a realização de edições informadas.
Paradoxo da visibilidade: O sucesso na adoção da IA pode estar oculto; são as pessoas mais próximas do trabalho que observam as mudanças significativas.
Acompanhar a adoção da IA na gestão de projetos parece algo que deveria ser simples. Registos de utilização, contagens de prompts, atividade das ferramentas — os dados existem. Mas os líderes que tentaram medir o impacto real da IA estão a descobrir que os sinais mais significativos não aparecem de todo nos painéis de controlo. O que está realmente a funcionar parece menos uma questão de análise de dados e mais de prestar atenção à forma como o trabalho está a mudar no terreno.
Eis o que os nossos especialistas dizem que funciona — e o que não funciona.
Porque é que as métricas tradicionais de utilização ficam aquém
É compreensível o impulso para medir a adoção da IA através da atividade — mais prompts, mais experimentação e mais entusiasmo visível deveriam significar mais valor. Rawad Baroud, CEO da ZeroGPT, partiu exatamente desse pressuposto, e o que descobriu mudou por completo a forma como pensa sobre a medição. "Do ponto de vista executivo, inicialmente pensei que as equipas que obtinham mais valor da IA seriam as mais fáceis de identificar", afirma. "Esperava ver taxas de utilização mais elevadas, mais prompts, mais experimentação e mais entusiasmo visível." A realidade era quase o oposto.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
"As equipas que obtinham os melhores resultados tratavam frequentemente a IA como um corretor ortográfico. Esta tinha-se tornado tão integrada no seu fluxo de trabalho que ninguém sentia mais necessidade de a mencionar." A implicação para a forma como os líderes avaliam a adoção é significativa. Como explica Baroud, "um gestor de projetos que gera cinquenta prompts por dia pode não estar a criar mais valor do que alguém que utiliza a IA cinco vezes para eliminar estrangulamentos."
As equipas que obtinham os melhores resultados tratavam frequentemente a IA como um corretor ortográfico. Esta tinha-se tornado tão integrada no seu fluxo de trabalho que ninguém sentia mais necessidade de a mencionar.
Os sinais a que agora presta mais atenção são operacionais: os planos de projeto estão a chegar mais depressa às partes interessadas? Há menos tarefas a voltar para esclarecimentos? As atualizações de estado exigem menos revisões? Estes indicadores, afirma, dizem-lhe muito mais do que os painéis de controlo da adoção.
Medir a eficiência, não a atividade
Para os líderes que ultrapassaram o acompanhamento da utilização, o foco muda para ganhos concretos de eficiência — produtividade, taxas de erro e feedback das partes interessadas como verdadeiros critérios de referência. Emmanuels Magaya, fundador da Project Managers Africa, apresenta a questão como uma comparação simples entre o antes e o depois. "Para mim, a principal medida é saber se a sua eficiência aumentou desde que começou a utilizar a IA. Ou se está a passar muito mais tempo a escrever prompts para corrigir aquilo que fez", afirma.
Para mim, a principal medida é saber se a sua eficiência aumentou desde que começou a utilizar a IA. Ou se está a passar muito mais tempo a escrever prompts para corrigir aquilo que fez?
A sua abordagem consiste em criar períodos de comparação claros: "Podemos medir a eficiência dizendo, por exemplo, que no primeiro trimestre do ano não tínhamos IA em nenhuma parte de um fluxo de trabalho — esse é um valor de referência. Depois, no segundo trimestre, tínhamos. Assim, comparamos o primeiro trimestre com o segundo."
Magaya também incentiva os líderes a olharem para além da perspetiva da sua própria equipa ao avaliarem o impacto. "Não deve ser apenas a sua perspetiva enquanto equipa do PMO. Recolha contributos das partes interessadas, dos seus clientes internos, etc. Nem sequer tem de lhes dizer que está a utilizar IA. Basta perguntar: 'Como temos estado a trabalhar nos últimos meses?'" O feedback imparcial das pessoas mais próximas do trabalho, defende, é uma das medidas mais honestas disponíveis.
Medir comportamentos em vez de resultados
Vários líderes concluíram que a mudança de comportamentos é o indicador mais fiável de uma adoção significativa da IA — especificamente, quais as tarefas que passaram a dar prioridade à IA e se os membros da equipa recorrem à IA sem que alguém lhes peça. Ferhat Suat Erdogan, fundador e CEO da Ekofi, evitou deliberadamente criar uma estrutura formal de medição precisamente por esta razão. "Como somos uma empresa pequena, evitei deliberadamente criar um painel de controlo da IA", explica. "Aquilo que não consigo perceber ao olhar para um painel de controlo é se a IA está realmente a mudar a forma como o trabalho é realizado. Por isso, meço mais os comportamentos do que os resultados."
Os sinais que Erdogan observa são específicos: quais as tarefas recorrentes que passaram a ser executadas primeiro por IA — "relatórios de estado, notas de reuniões transformadas em itens de ação, primeiras versões de atualizações para clientes, resumos do âmbito" — em comparação com as que continuam a ser executadas primeiro por humanos; o tempo até à primeira versão de um entregável e quanto trabalho de edição o resultado da IA exige antes de ser enviado. "Essa taxa de retrabalho é a minha verdadeira métrica de qualidade", afirma. "O comportamento em que mais confio é saber se a equipa recorre à IA sem que ninguém lho peça. A utilização obrigatória não nos diz nada; a utilização espontânea mostra-nos que está efetivamente a poupar-lhes tempo."
O comportamento em que mais confio é saber se a equipa recorre à IA sem que ninguém lho peça. A utilização obrigatória não nos diz nada; a utilização espontânea mostra-nos que está efetivamente a poupar-lhes tempo.
Artem Panasiuk, responsável pela entrega na Brocoders, adota uma abordagem semelhante, utilizando reuniões regulares de sincronização da equipa em vez de um painel formal para recolher sinais. "Neste momento, não acompanhamos a adoção da IA através de um painel formal de métricas. Realizamos reuniões regulares de sincronização da equipa, nas quais os nossos gestores partilham o que está a funcionar no seu dia a dia, e é daí que provém a maior parte dos nossos sinais", afirma.
Realizamos reuniões regulares de sincronização da equipa, nas quais os nossos gestores partilham o que está a funcionar no seu dia a dia, e é daí que provém a maior parte dos nossos sinais.
O que Panasiuk mede, na realidade, é a mudança na forma como um gestor de projetos utiliza o seu tempo. As tarefas padrão de um gestor de projetos — gerar documentos, criar tickets no Jira, atualizar documentação, preparar rascunhos de e-mails — foram automatizadas, e essa capacidade libertada permitiu aos gestores dedicar-se a tarefas que anteriormente ficavam fora do âmbito da função de gestor de projetos: análise de negócio, elementos de sistemas de design, documentação e programação assistida por linguagem natural. O resultado apontado por Panasiuk é impressionante: "os nossos gestores estão a realizar aproximadamente o dobro do volume de trabalho que realizavam antes, e as equipas à sua volta tornaram-se muito mais multidisciplinares."
More Articles
- Os fluxos de trabalho de IA do mundo real utilizados pelo Diretor de Entregas de uma agência de implementação do Asana
- Os melhores modelos de IA para tarefas de gestão de projetos
- Gestor de Projetos e Educador com IA Partilha um Fluxo de Trabalho Simples com IA que Altera Fundamentalmente a Forma como os Projetos Funcionam
- 3 alternativas a substituir os seus gestores de projeto humanos por agentes de IA
- A única ferramenta de gestão de projetos de que nunca abdicaria
A grande mudança: da produção ao discernimento
Em todas estas perspetivas, emerge uma reformulação consistente — não apenas na forma como a IA está a ser medida, mas também naquilo que os líderes começam a valorizar nas suas equipas. Erdogan exprime-o diretamente: "Costumava recompensar implicitamente a rapidez e o volume de produção. Agora, a competência de maior valor é o discernimento — editar os resultados da IA e saber quando não a utilizar de todo. A função está a passar de produzir o rascunho para ser o editor responsável por ele."
Costumava recompensar implicitamente a rapidez e o volume de produção. Agora, a competência de maior valor é o discernimento — editar os resultados da IA e saber quando não a utilizar de todo.
Essa mudança tem implicações práticas na forma como o desempenho da entrega é avaliado. O volume e a rapidez já não são o indicador que eram. O gestor de projetos que produz menos, mas edita melhor, deteta as lacunas que a IA não identifica e sabe quando deve pôr completamente a ferramenta de lado pode estar a gerar mais valor do que aquele que produz o maior volume. Como observa Baroud, a maior mudança de mentalidade é que "a adoção da IA nem sempre é visível. Em muitos casos, o sucesso parece menos um aumento da atividade e mais a remoção silenciosa do trabalho que costumava atrasar as equipas."
Termine com o paradoxo da visibilidade
O aspeto mais útil que a observação de Baroud revela é um paradoxo que merece reflexão: as equipas que melhor utilizam a IA são aquelas que menos esperaríamos encontrar num relatório de adoção. Se o sucesso se traduz numa remoção silenciosa, e não numa atividade visível, então os líderes mais bem posicionados para medir o impacto da IA não são os que observam painéis — são os que continuam suficientemente próximos do trabalho para perceber quando algo deixa de criar atrito.
Quer mais informações como estas? Registe-se numa conta DPM gratuita para ouvir mais especialistas como estes.
