Varför ledarna som mäter AI-användning bäst inte tittar på instrumentpaneler
Mätetal: Traditionella användningsmått ger ofta en missvisande bild av AI:s värde; fokus bör i stället ligga på operativ effektivitet.
Effektivitetsvinster: Att utvärdera AI:s påverkan bygger på mätbara effektivitetsförbättringar snarare än enbart aktivitetsnivåer eller resultat.
Beteendeförändring: Meningsfull AI-användning kännetecknas av förändrade beteenden, såsom spontan användning och automatisering av uppgifter.
Förändrat omdöme: Projektledarnas värde utvecklas från snabb produktion av resultat till att fatta välgrundade beslut och göra genomtänkta redigeringar.
Synlighetsparadox: Framgångsrik AI-användning kan vara dold; det är de som står närmast arbetet som ser de meningsfulla förändringarna.
Att följa AI-användningen inom projektledning låter som något som borde vara enkelt. Användningsloggar, antal promptar, verktygsaktivitet – data finns. Men ledare som har försökt mäta AI:s verkliga påverkan upptäcker att de mest betydelsefulla signalerna inte alls syns i instrumentpanelerna. Det som faktiskt fungerar liknar mindre dataanalys och mer att vara uppmärksam på hur arbetet förändras i praktiken.
Här är vad våra experter säger fungerar – och vad som inte gör det.
Varför traditionella användningsmått inte räcker till
Det är förståeligt att vilja mäta AI-användning genom aktivitet – fler promptar, mer experimenterande och större synlig entusiasm borde innebära större värde. Rawad Baroud, vd för ZeroGPT, utgick från exakt det antagandet, och det han upptäckte förändrade helt hans syn på mätning. "Ur ett ledningsperspektiv trodde jag först att de team som fick ut mest värde av AI skulle vara enklast att identifiera", säger han. "Jag förväntade mig att se högre användningsnivåer, fler promptar, mer experimenterande och större synlig entusiasm." Verkligheten var nästan den motsatta.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
"De team som fick bäst resultat behandlade ofta AI som stavningskontroll. Det hade blivit så integrerat i deras arbetsflöde att ingen längre kände behov av att nämna det." Konsekvensen för hur ledare utvärderar användningen är betydande. Som Baroud uttrycker det: "en projektledare som genererar femtio promptar om dagen skapar kanske inte mer värde än någon som använder AI fem gånger för att undanröja återkommande flaskhalsar."
De team som fick bäst resultat behandlade ofta AI som stavningskontroll. Det hade blivit så integrerat i deras arbetsflöde att ingen längre kände behov av att nämna det.
De signaler han numera ägnar störst uppmärksamhet åt är operativa: når projektplanerna intressenter snabbare, studsar färre uppgifter tillbaka för förtydliganden och kräver statusuppdateringar färre revideringar. Dessa indikatorer säger honom betydligt mer än användningsinstrumentpaneler.
Mät effektivitet, inte aktivitet
För ledare som har gått vidare från att följa användningen skiftar fokus till konkreta effektivitetsvinster – genomströmning, felfrekvens och återkoppling från intressenter som de verkliga måttstockarna. Emmanuels Magaya, grundare av Project Managers Africa, beskriver det som en enkel jämförelse mellan före och efter. "För mig är det viktigaste måttet: har din effektivitet ökat sedan du började använda AI? Eller lägger du mycket mer tid på att skriva promptar för att korrigera det du gjorde?" säger han.
För mig är det viktigaste måttet: har din effektivitet ökat sedan du började använda AI? Eller lägger du mycket mer tid på att skriva promptar för att korrigera det du gjorde?
Hans metod är att skapa tydliga jämförelseperioder: "Vi kan mäta effektivitet genom att säga att om vi till exempel under årets första kvartal inte hade AI i någon del av ett arbetsflöde, så är det en utgångspunkt. Under det andra kvartalet hade vi det. Då jämför vi alltså det första kvartalet med det andra."
Magaya uppmanar också ledare att se bortom det egna teamets perspektiv när de bedömer påverkan. "Det får inte bara vara ert perspektiv som PMO-team. Ta in synpunkter från era intressenter, era interna kunder och så vidare. Ni behöver inte ens berätta för dem att ni använder AI. Fråga bara: 'Hur har vi presterat under de senaste månaderna?'" Enligt honom är återkoppling från personerna närmast arbetet, utan att de känner till sammanhanget, ett av de ärligaste måtten som finns.
Mät beteenden framför resultat
Flera ledare har kommit fram till att förändrade beteenden är den mest tillförlitliga indikatorn på meningsfull AI-användning – särskilt vilka uppgifter som har blivit AI-drivna från början och om teammedlemmarna vänder sig till AI utan att bli uppmanade. Ferhat Suat Erdogan, grundare och vd för Ekofi, har medvetet undvikit att bygga en formell mätstruktur av just denna anledning. "Eftersom vi är en liten verksamhet har jag medvetet undvikit att bygga en AI-instrumentpanel", förklarar han. "Det jag inte kan se genom att titta på en instrumentpanel är om AI faktiskt förändrar hur arbetet utförs. Därför mäter jag beteenden mer än resultat."
De signaler Erdogan håller uppsikt över är specifika: vilka återkommande uppgifter som har blivit AI-drivna — "statusrapporter, mötesanteckningar som omvandlas till åtgärdspunkter, första utkast till kunduppdateringar, omfattningssammanfattningar" – jämfört med vilka som fortfarande är människodrivna; tiden fram till första utkastet av en leverans och hur mycket redigering ett AI-resultat behöver innan det kan skickas. "Den omarbetningsgraden är mitt verkliga kvalitetsmått", säger han. "Det beteende jag litar mest på är huruvida teamet tar till AI utan uppmaning. Påtvingad användning säger dig ingenting; användning utan uppmaning visar att det faktiskt sparar dem tid."
Det beteende jag litar mest på är huruvida teamet tar till AI utan uppmaning. Påtvingad användning säger dig ingenting; användning utan uppmaning visar att det faktiskt sparar dem tid.
Artem Panasiuk, leveranschef på Brocoders, har ett liknande tillvägagångssätt och använder regelbundna teamsynkningar i stället för en formell instrumentpanel för att samla in signaler. "Just nu följer vi inte upp AI-användningen genom en formell mätinstrumentpanel. Vi har regelbundna teamsynkningar där våra chefer utbyter information om vad som fungerar i deras dagliga arbete, och det är därifrån de flesta av våra signaler kommer", säger han.
Vi har regelbundna teamsynkningar där våra chefer utbyter information om vad som fungerar i deras dagliga arbete, och det är därifrån de flesta av våra signaler kommer.
Det Panasiuk faktiskt mäter är förändringen i vad en projektledare lägger tid på. Standarduppgifter för projektledare — att generera dokument, skapa Jira-ärenden, uppdatera dokumentation och skriva utkast till e-postmeddelanden — har automatiserats, och den frigjorda kapaciteten har flyttat projektledarna till arbete som tidigare låg utanför projektledarrollen: verksamhetsanalys, delar av designsystem, dokumentation och vibekodning. Resultatet som Panasiuk pekar på är slående: "våra chefer utför ungefär dubbelt så mycket arbete som tidigare, och teamen runt dem har blivit betydligt mer T-formade."
Den större förändringen: från resultat till omdöme
Ur dessa perspektiv framträder en konsekvent omformulering — inte bara av hur AI mäts, utan också av vad ledare börjar värdesätta hos sina team. Erdogan uttrycker det direkt: "Jag brukade omedvetet belöna snabbhet och stor produktionsvolym. Nu är den mest värdefulla färdigheten omdöme — att redigera AI-resultat och veta när man inte ska använda det alls. Arbetet går från att producera utkastet till att vara redaktören som ansvarar för det."
Jag brukade omedvetet belöna snabbhet och stor produktionsvolym. Nu är den mest värdefulla färdigheten omdöme — att redigera AI-resultat och veta när man inte ska använda det alls.
Den förändringen får praktiska konsekvenser för hur leveransresultat bedöms. Volym och snabbhet är inte längre de signaler de en gång var. Projektledaren som producerar mindre men redigerar bättre, upptäcker luckorna som AI missar och vet när verktyget helt ska läggas åt sidan kan skapa mer värde än den som genererar störst mängd resultat. Som Baroud påpekar är den största förändringen i tänkesättet att "AI-användning inte alltid är synlig. I många fall ser framgång mindre ut som ökad aktivitet och mer som ett tyst avlägsnande av arbete som tidigare bromsade teamen."
Avslutning om synlighetsparadoxen
Det mest användbara i Barouds iakttagelse är en paradox som är värd att begrunda: de team som är bäst på att använda AI är de som du minst skulle förvänta dig att hitta i en rapport om användning. Om framgång ser ut som ett tyst avlägsnande snarare än synlig aktivitet, är de ledare som har bäst förutsättningar att mäta AI:s effekt inte de som övervakar instrumentpaneler — utan de som fortfarande befinner sig tillräckligt nära arbetet för att märka när något slutar skapa friktion.
Vill du ha fler insikter som dessa? Skapa ett kostnadsfritt DPM-konto för att höra från fler experter som dessa.
