Spårar du fel mätvärden? Så kan AI minska leveransrisken

Läs transkriberingen:

Vi testar att transkribera våra poddar med ett datorprogram. Ursäkta eventuella stavfel, eftersom boten inte är korrekt 100 procent av tiden.

Galen Low: Hur kan en organisation eller ett team avgöra om de följer upp rätt mätvärden, och vad kan de göra om de inser att de har mätt fel sak hela tiden?

Lior Gerson: Du behöver följa upp det som hjälper dig att ta dig dit du vill. Allt annat är brus.

Galen Low: Kan du ge oss ett exempel på ett mätvärde som kanske var fel, och beskriva hur man gick till väga för att i stället mäta rätt sak?

Lior Gerson: En av våra kunder ville förbättra hur de prognostiserade vad de skulle leverera varje kvartal. Han kunde ta vår plattform och automatisera processen, och det tog ungefär en dag. Nu har han alltid svaret framför sig när han behöver veta vad de kommer att leverera den månaden.

Tror du att det kommer en punkt där en AI-agent blir projektledare eller helt ersätter projektledaren?

Galen Low: För vissa människors definition av vad en projektledare gör, ja.

Välkommen till The Digital Project Manager-podden — programmet som hjälper leveransansvariga att arbeta smartare, leverera snabbare och leda bättre i AI-eran. Jag heter Galen, och varje vecka går vi igenom strategier från verkligheten, nya verktyg, beprövade ramverk och ibland en berättelse från projektets frontlinje.

Oavsett om du leder omfattande förändringsprojekt, hanterar AI-arbetsflöden eller bara försöker hålla kaoset under kontroll har du kommit rätt. Nu sätter vi i gång.

I dag talar vi om hur traditionella uppfattningar om att mäta projektframgång utmanas, och varför AI-drivna verktyg för KPI-hantering kanske är din enda möjlighet att hålla jämna steg med den växande mängd variabler som kan avgöra om projektets resultat blir lyckat eller inte.

Med mig i dag har jag Lior Gerson, medgrundare och vd för TargetBoard.ai. Lior började sin karriär på mySupermarket, Storbritanniens största webbplats för prisjämförelser, som varje månad betjänade tiotals miljoner användare. Där ansvarade han för projekt värda flera miljoner dollar i samarbete med jättar som Walmart, WPP och Dentsu.

Därefter grundade han Vroom.com, där han var teknikchef. Det var en nätbaserad bilhandlare som börsnoterades till ett värde av 2,5 miljarder dollar. Sedan ledde han produktutvecklingen på Placer.ai, ett enhörningsbolag inom platsanalys som behandlar petabyte av data. I dag leder han förstås TargetBoard, ett AI-drivet verktyg för KPI-hantering.

Lior, tack så mycket för att du är med oss i dag.

Lior Gerson: Tack, Galen. Det är ett nöje att vara här.

Galen Low: Jag ser verkligen fram emot att prata med dig, eftersom du är väldigt insatt i KPI:er och datainformerade beslut som leder till framgång. Jag hoppas att samtalet tar oss till platser jag inte hade planerat, men här är planen jag har skissat upp för oss i dag. Till att börja med vill jag ta itu med en stor och brännande fråga — den fråga alla vill ha svar på.

Därefter vill jag zooma ut och prata om tre saker. För det första vill jag tala om kulturella skillnader kring KPI:er och hur man översätter mätvärden mellan olika nivåer i en organisation. Sedan vill jag prata om hur projekt-KPI:er förändras och vart du tror att de är på väg. Till sist vill jag fokusera på praktiska sätt för företag och projektteam att börja använda AI-förbättrad KPI-uppföljning, och hur det kan påverka deras arbetsflöden — på gott och ont.

Hur låter det?

Lior Gerson: Det låter bra. Jag tror att det blir en fascinerande diskussion.

Galen Low: Toppen. Jag håller med. Här kommer den brännande frågan. På senare tid har det pratats mycket om att många projekt, och faktiskt hela organisationer, kanske mäter och följer upp fel saker.

När det gäller projekt har jag sett många ifrågasätta allt från den tidigare heliga järntriangeln — omfattning, tidplan och budget — till agila mätvärden som velocity. På organisationsnivå har jag sett människor rikta in sig på exempelvis intäkt per heltidsanställd, bruttomarginal och nyttjandegrad. Det stora samtalsämnet i min värld, åtminstone inom projektledning, är att projektledare inte bara bör mäta projektets hälsa utan också dess påverkan.

Mot den bakgrunden är min brännande fråga: Hur kan en organisation eller ett team avgöra om de följer upp rätt mätvärden, och vad kan de göra om de inser att de har mätt fel sak hela tiden?

Lior Gerson: Det är en bra fråga. Projektinitiativ bör vara utformade för att ligga i linje med affärsstrategin och produktstrategin — med vart verksamheten vill ta sig.

Men när man placerar detta i projektledningens ramverk handlar det man egentligen vill uppnå om att nå milstolpar i tid och inom budget, med så lite friktion som möjligt samt hög precision och förutsägbarhet. Allt du behöver följa upp är därför de mätvärden som hjälper dig att nå det tillståndet.

Det kan vara vad som helst: hur snabbt testerna fortskrider, var saker blockeras, semesterdagar eller hur människor använder AI. Du kan följa upp vad som helst så länge det hjälper dig att hålla fokus på det du faktiskt försöker uppnå. Om du inte följer upp det som hjälper dig att nå dit följer du upp fel saker.

Galen Low: Jag gillar det perspektivet, eftersom vi ofta försöker hitta rätt saker att mäta. Du säger egentligen att det som hjälper oss framåt är rätt sak att mäta, även om det skiljer sig mycket från vad ett annat team gör eller från vad man gjorde i en annan organisation. Det bör vara kopplat till uppdraget.

Lior Gerson: Du behöver följa upp det som hjälper dig att ta dig dit du vill. Allt annat är brus.

Galen Low: Det är rimligt. Hur kartlägger man då vad som är rätt saker att följa upp? Finns det någon bästa praxis eller process?

Lior Gerson: Du måste förstå verksamheten och projektet. Du behöver förstå vad som faktiskt påverkar resultatet, vilka faktorer som driver utvecklingen och vad som kommer att göra skillnad. Är det människor, resurser eller komplexitet? Hur bryter du ner allt och ser vilka delar som måste hända nu, och hur säkerställer du att det faktiskt sker i stället för att falla mellan stolarna?

Data finns ofta överallt, är inte uppdaterad och kan komma från många olika verktyg. Det är lätt att säga att systemet är värdelöst eftersom människor inte uppdaterar det. Det finns en miljon sätt och orsaker till att det inte fungerar, men om du behöver att det ska fungera är det ditt ansvar att få ordning på det.

Galen Low: Kan du gå igenom ett exempel på ett mätvärde som var fel, hur man ändrade det och började mäta rätt sak? Eller kanske ett ovanligt mätvärde som någon du arbetat med följde upp och som faktiskt bidrog till att nå målen?

Lior Gerson: En av våra kunder ville förbättra hur de prognostiserade vad de skulle leverera varje kvartal. De arbetade snabbt och saker förändrades hela tiden: prioriteringar ändrades, kapacitet förändrades och människor flyttades mellan team. Det blev komplicerat.

Han tog fram en formel som kombinerade varje medarbetares och teams tidigare resultat med den aktuella kapaciteten för teamet eller gruppen. I stället för att bearbeta all data manuellt i Excel — semester, uppgifter, prioriteringar och mycket annat — automatiserade han processen i vår plattform.

Det tog ungefär en dag. Nu kan han när som helst se vad de kommer att leverera under månaden. Om vd:n eller produktchefen vill ändra en prioritering kan han direkt se vad som förändras och hur det påverkar alla initiativ de försöker driva framåt.

Jag tyckte att det var lysande: att ta data och placera den i rätt sammanhang för att berätta den historia han behöver berätta.

Galen Low: Jag var nyligen på en agil konferens. Jag nämnde velocity tidigare, och alla höll med om att det är ett dåligt mått på påverkan. I många agila team ska man ha ett dedikerat team, men i verkligheten är människor på semester eller dras in i andra projekt. Då går velocity upp och ner, och det blir svårt att planera.

Det är inte ett särskilt bra mätvärde. Ett dynamiskt sammansatt mätvärde som bygger på data i realtid kan däremot visa den faktiska kapaciteten. Om någon ska vara borta bör man kunna förvänta sig en nedgång i resultat, prestation eller påverkan. Då hämtar man data från flera källor i stället för att försöka hitta ett enda mätvärde som ska styra allt.

Lior Gerson: Tänk på hur data sprids genom verksamheten. När någon försvinner tar det tid innan rätt personer förstår hur det påverkar projektets tidplaner och vilka sekundära eller tertiära effekter det får. Den tiden får du inte tillbaka. Om du lägger till resurser förlänger du dessutom inte nödvändigtvis tidslinjen på ett positivt sätt, eftersom det finns en inlärningskurva.

Ju snabbare du kan sprida informationen genom organisationen och få den till rätt personer, desto större blir effekten. Det blir en kumulativ effekt.

Galen Low: Den fördröjningen är verkligen verklig. I vår community hör man ofta: ”Jag önskar att någon hade sagt att min tekniska ledare skulle vara ledig i tre veckor.” Det finns processer och flaskhalsar innan någon ens vet att ledigheten är godkänd.

Lior Gerson: Semester är enkelt. Tänk i stället på distansarbete och digitala möten. Någon är plötsligt borta, men ingen har informerat dig.

Galen Low: Jag förstår. Kan du på en övergripande nivå beskriva hur integrationen fungerar? Måste man öppna Excel, använda ett automatiseringsverktyg, omvandla data, klistra in den i ett kalkylblad och skriva formler? Eller är integrationen mer automatiserad i TargetBoard?

Lior Gerson: TargetBoard.ai fungerar på ett helt annat sätt än traditionella system. Vi ansluter till dina källdatasystem och bygger automatiskt alla relevanta mätvärden och KPI:er utifrån vad du behöver göra.

Vi använder AI för att skapa dem. Det spelar ingen roll om du vill följa kapacitet, velocity eller kvalitet, eller om du tittar på ett projekt eller flera. Du behöver inte ändra hur du arbetar. Vi lär oss automatiskt hur du arbetar i dina system, oavsett om du använder Monday, Jira eller något annat.

Alla dina mätvärden, rapporter och insikter genereras automatiskt och kan sedan anpassas. Du får exakt de mätvärden och den uppföljning du behöver utan manuellt arbete. Du är i gång från dag ett och kan lita på att rätt data finns där och är korrekt.

Om Excel är din manuella källa till sanningen kan vi även ansluta till Excel och hämta data därifrån. Men du behöver inte längre uppdatera allt manuellt eller förklara hur något har mätts och vad det bygger på. Svaren finns i plattformen.

Galen Low: Jag gillar också aspekten av mänskliga fel. Jag följer själv upp mycket i kalkylblad. En gång följde jag upp sidvisningar i Google Analytics, medan någon annan fyllde i användare. Vi trodde att vi mätte samma sak, men använde i själva verket två olika datakällor.

Det är intressant att verktyget hämtar data direkt från en källa till sanningen och dessutom kan föreslå mätvärden med hjälp av AI utifrån kraven. Ofta vet man inte vad man kan mäta och väljer därför bland några få tillgängliga alternativ, trots att det kan finnas många bättre möjligheter.

Lior Gerson: Det är mycket vanligt. Jag började en gång på ett företag där man rapporterade hundratusen besök per månad. När jag frågade var siffran kom ifrån visade det sig att webbplatsen egentligen hade tiotusen besök. De övriga 90 procenten var automatiserade botar.

Verksamheten visste inte det. När man upptäcker något sådant måste man dessutom förklara det för ledningen och korrigera tidigare rapporter.

Galen Low: Det är inget roligt samtal. Mätvärden är i sig bara saker, men det krävs ofta en översättning mellan olika nivåer i en organisation. Ett Scrum-team kanske följer kundnöjdhet, medan ledningen följer återkommande intäkter, bibehållandegrad och kundbortfall.

Kan TargetBoard översätta KPI:er för en målgrupp så att de blir meningsfulla för andra nivåer i organisationen?

Lior Gerson: Traditionell affärsintelligens innebär att man måste bygga varje mätvärde separat. Man planerar varje mätvärde och utvecklar det, vilket innebär en faktisk kostnad för allt man vill följa upp.

Program som OKR:er och kvartalsvisa affärsgenomgångar är ofta mycket top-down. De talar om exakt vad du ska följa upp och skapar tunnelseende. Samtidigt kan andra saker vara viktiga för verksamheten utan att rapporteras, eftersom resurserna saknas.

Med TargetBoard följer vi upp allt och gör det enkelt att välja vad du vill fokusera på. Vi rekommenderar även vad du bör välja. Du kan skapa aviseringar, få insikter och meddelanden och säkerställa att det du bryr dig om faktiskt följs upp.

Vi gör det också enkelt att förklara mätvärden uppåt och nedåt i organisationen. AI kan hjälpa dig att förklara ett mätvärde för din chef, utvecklare eller säljare och visa varför det är viktigt.

Vi har dessutom ett semantiskt lager som skyddar betydelsen av mätvärdena. Du kan inte bara byta namn på ett mätvärde om någon annan redan använder samma definition. Om namnet inte representerar vad du faktiskt följer upp får du inte heller använda det namnet. På så sätt blir det tydligare vad som mäts och varför.

Galen Low: Det är en väldigt bra funktion. Många verktyg för instrumentpaneler visar siffrorna, men lämnar luckan: Vad betyder detta? Databerättandet blir problemet. AI kan hjälpa någon att förstå varför mätvärdet är viktigt, var det kommer ifrån och vad det betyder när det förändras.

Lior Gerson: Människor läser sällan rapporter om de inte behöver dem för ett specifikt ändamål. De vill veta att någon följer upp informationen och att den finns tillgänglig vid behov. När vi skickar rapporter har vi därför också en AI-agent som analyserar och sammanfattar dem för användaren.

Galen Low: Har ni även en konversationsfunktion där man kan ställa frågor om data, till exempel jämföra unika besökare med samma period föregående år eller be om en förklaring av ett mätvärde?

Lior Gerson: Många försöker lösa det. Problemet är att stora språkmodeller ofta är dåliga på data. Om du laddar upp en CSV-fil och frågar efter öppningsfrekvensen för e-post kan de ge fel svar om du inte beskriver varje kolumn mycket noggrant.

Vi har byggt en lösning där du kan ställa frågor och få tillförlitlig information. AI:n kontrollerar dessutom svaret för att säkerställa att den inte hallucinerar. Människor kommer att vilja hantera och konsumera data på flera sätt — både genom samtal och instrumentpaneler.

Galen Low: Jag gillar att ni bygger kontrollen själva, eftersom enkel tabelldata ofta får språkmodeller att börja hitta på. Det behövs en kontrollprocess innan viktig information om prestation och påverkan levereras.

Lior Gerson: Tillit är allt. Med MCP-servrar kan du be om data från olika system utan att veta exakt vad AI:n gör med den eller hur korrekt svaret blir. Vår MCP-server hämtar data från alla dina system, kombinerar den och verifierar att svaret är korrekt.

Galen Low: Det gör MCP-servern till ryggraden som granskar all data som kommer in. Det är mycket intressant.

Jag vill prata om framtidens mätvärden. Vilka ovanliga mätvärden ser du växa fram, och hur tror du att organisationer kommer att följa upp KPI:er om tre, fem eller tio år?

Lior Gerson: På mikronivå kommer vi att se fler AI-KPI:er: hur många agenter man kör, hur effektiva de är och hur de påverkar verksamhetens KPI:er.

På högsta affärsnivå tror jag däremot att mindre kommer att förändras. Om du följer återkommande intäkter, kundbortfall eller leveranstider kommer de viktigaste mätvärdena att vara desamma. Det är verksamhetens språk.

Det som händer under ytan kommer att förändras. Om målet är att leverera A, B och C kanske du följer velocity eller kvalitet. Under dessa mätvärden finns sedan utvecklingsarbete, blockerade uppgifter, ärenden som fastnat i granskning, ändrad omfattning och AI-verktyg som fungerar olika bra. Det är där de detaljer som påverkar resultatet finns.

Galen Low: Jag gillar lagerindelningen. De översta måtten kanske inte förändras mycket så länge affärsmodellen är densamma, medan de underliggande mätvärdena kan ändras betydligt. Om målet är att fler ska använda AI för bättre beslut kan man följa upp det på den lägre nivån.

Ett exempel är ett kvalitetsindex för instruktioner — att mäta kvaliteten på människors promptar. Att någon använder AI betyder inte automatiskt att de blir effektivare. De kan fastna i cirkulära samtal med en robot.

Men varje gång ett mätvärde ändras måste man koppla det till en datakälla, utbilda människor i vad det betyder och skapa en rutin för rapportering. Kommer det att innebära ett stort operativt arbete även i framtiden?

Lior Gerson: Det är så det fungerar i dag. Många organisationer har analytiker eller analysteam för varje avdelning som ser till att mätvärdena fungerar. När stora företag byter plattform måste alla rapporter och mätvärden ofta byggas om.

En del av det vi gör är att visa att detta inte behöver vara nödvändigt. Du kan byta plattform och behålla rapporteringen och mätvärdena. Om något uppdateras kan alla som behöver veta det få en automatisk avisering.

Världen är trasig eftersom människor har för många system och för mycket data som de inte kan använda. Verktyg som TargetBoard ska göra det enklare att använda och nå datan utan så många mellanhänder som inte alltid förstår verksamheten.

Galen Low: Jag har sett samma sak inom finansiella tjänster och kundupplevelse. Organisationer samlar in stora mängder data från många avdelningar, men ingen vet vad den betyder eller hur den ska användas för att förbättra kundupplevelsen.

Lior Gerson: Många följer nu även upp kostnader för problem, kostnader för molntjänster och hur mycket de spenderar på språkmodeller. Företag lagrar enorma mängder data som ingen använder. De blir som samlare med oändligt många system.

Galen Low: Vi fick lära oss att lagring var billig. Nu är den mer komplex och vi har samlat data i årtionden utan att göra något med den.

Lior Gerson: Kanske behöver du den om tio år.

Galen Low: Jag vill återgå till TargetBoard och er position som ett AI-förbättrat KPI-verktyg. Ni har AI-drivna förslag på mätvärden och sammanfattningar av insikter. Finns det någon annan AI-funktion du vill lyfta fram, och varför valde ni att satsa så starkt på AI?

Lior Gerson: Vi har använt AI tidigt för att förstärka upplevelsen vi försöker bygga. Vi är inte ett företag som använder AI bara för sakens skull. För varje funktion frågar vi hur AI kan göra den bättre, inte bara hur vi kan bygga den med AI.

För varje mätvärde kan du skapa aviseringar, automatiseringar och varningar. Men det är besvärligt för människor att själva tänka ut vilka aviseringar de behöver. Därför kan AI:n nu föreslå automatiseringar när du tittar på ett mätvärde. Med ett klick kan den skapa en automatisering som förbättrar mätvärdet.

Vi rör oss snabbare i dag än jag någonsin har gjort i ett annat företag.

Galen Low: Jag gillar att AI föreslår nästa steg. Det kan minska osäkerhet, tvekan och kunskapsluckor. En avisering som automatiskt konfigureras kan göra att man snabbt kommer vidare.

Lior Gerson: Det är ett annat arbetssätt än traditionell datavetenskap. Tidigare kunde ett datavetenskapligt team arbeta länge med att optimera en enda process. Nu kan varje funktion byggas med frågan: Hur gör vi detta bättre? Om man gör det rätt kan resultaten bli mycket starka på kort tid.

Galen Low: Jag tycker att den mest påtagliga trenden inom projektledning är att projektledare inte längre bara ska leverera projekt i tid, inom budget och enligt omfattning. Vi förväntas vara mer strategiska och förstå verksamheten bättre.

Vi blir värdeskapande leveransspecialister. Det kan innebära att planen eller omfattningen måste ändras under vägen, eller att man behöver hantera svåra diskussioner i styrelserummet och i utvecklingsteamet. AI hjälper oss att effektivisera arbetet, korta arbetsflöden och frigöra tid så att vi kan bli bättre strategiska ledare.

I en idealisk värld använder vi mer av vår tid till att fråga oss om vi gör rätt saker för att uppnå uppdraget och skapa påverkan. Det knyter direkt an till frågan om hur vi vet att vi mäter rätt sak. Vi mäter rätt sak om den hjälper oss framåt.

Lior Gerson: Tror du att det kommer en punkt där en AI-agent blir projektledare eller helt ersätter projektledaren?

Galen Low: För vissa definitioner av projektledarrollen, ja. Om projektledaren bara administrerar, antecknar, skriver mötesprotokoll, följer upp åtgärder och jämför uppskattad tid med faktisk tid kan det arbetet i stor utsträckning ersättas av AI.

Det som inte lika lätt ersätts är beslutsfattandet mellan människor. Stora beslut om plattformsbyten, risker och genomförande kommer under lång tid att kräva samtal mellan människor. AI kan hjälpa den som äger ett mätvärde att förklara det, men människor behöver fortfarande argumentera, övertyga varandra och fatta beslut.

Lior Gerson: Det är också det som skiljer en bra projektledare från en dålig. Projektledning är ett yrke och fungerar inte som något man gör vid sidan av.

Galen Low: AI kanske inte ersätter alla projektledare, men den kommer sannolikt att ersätta de dåliga.

Lior Gerson: Det gäller allt.

Galen Low: Lior, tack så mycket för att du tog dig tid i dag. Det här var väldigt roligt. Innan du går, var kan människor lära sig mer om dig?

Lior Gerson: På LinkedIn. Jag svarar nästan alla som hör av sig och pratar gärna med vem som helst.

Galen Low: Det är imponerande. Min inkorg på LinkedIn är rena kaoset. Tack igen.

Lior Gerson: Hej då, Galen. Det har varit ett nöje.

Galen Low: Det var allt för dagens avsnitt av The Digital Project Manager-podden. Om du uppskattade samtalet, prenumerera där du lyssnar. Om du vill ha ännu fler praktiska insikter, fallstudier och arbetsböcker kan du besöka thedigitalprojectmanager.com.

Tills nästa gång — tack för att du lyssnade.