Følger du med på feil måltall? Hvordan KI kan redusere risikoen i leveranser

Les transkripsjonen:

Vi prøver ut transkripsjon av podkastene våre ved hjelp av et program. Tilgi eventuelle skrivefeil, siden boten ikke er korrekt 100 % av tiden.

Galen Low: Hvordan kan en organisasjon eller et team avgjøre om de følger med på de riktige måltallene, og hva kan de gjøre hvis de innser at de har målt feil ting hele tiden?

Lior Gerson: Du må følge med på det som hjelper deg med å komme dit du vil. Alt annet er støy.

Galen Low: Kan du gå gjennom et eksempel, enten på et måltall som kanskje var feil, og prosessen med å endre seg mot å måle det riktige, eller på et uvanlig måltall som noen du har jobbet med fulgte med på, og som faktisk bidro til å nå målene?

Lior Gerson: En av kundene våre ønsket å forbedre hvordan de prognostiserte hva de skulle levere hvert kvartal. Han kunne ta plattformen vår i bruk og automatisere dette, og det tok ham omtrent én dag. Nå har han det foran seg når han vil: Hva kommer jeg til å levere denne måneden?

Tror du det finnes et punkt der en KI-agent blir en prosjektleder eller erstatter prosjektlederen fullstendig?

Galen Low: Jeg tror det, ut fra noen menneskers definisjon av hva en prosjektleder gjør.

Velkommen til The Digital Project Manager-podkasten – programmet som hjelper leveranseledere med å jobbe smartere, levere raskere og lede bedre i KI-alderen. Jeg heter Galen, og hver uke går vi inn i strategier fra den virkelige verden, nye verktøy, utprøvde rammeverk og av og til en krigshistorie fra prosjektets frontlinjer.

Enten du styrer store transformasjonsprosjekter, håndterer KI-arbeidsflyter eller bare prøver å holde kaoset under kontroll, er du på rett sted. La oss sette i gang.

I dag snakker vi om hvordan tradisjonelle syn på måling av prosjektsuksess utfordres, og hvorfor KI-drevne verktøy for målstyring kanskje er din eneste mulighet til å holde tritt med den voksende listen over variabler som kan avgjøre om prosjektets resultater lykkes eller mislykkes.

Med meg i dag har jeg Lior Gerson, medgründer og administrerende direktør i TargetBoard.ai. Lior startet karrieren sin hos mySupermarket, som var Storbritannias største nettsted for prissammenligning og betjente titalls millioner brukere hver måned. Der var han ansvarlig for prosjekter verdt flere millioner dollar og samarbeidet med giganter som Walmart, WPP og Dentzu.

Deretter grunnla han Vroom.com som teknologidirektør, en nettbasert bilforhandler som ble børsnotert med en verdi på 2,5 milliarder dollar. Etter det ledet han produktarbeidet hos Placer.ai, en enhjørning innen stedsanalyse som behandlet petabyte med data. Og i dag leder han selvfølgelig TargetBoard, et KI-drevet verktøy for målstyring.

Lior, tusen takk for at du blir med oss i dag.

Lior Gerson: Takk, Galen. Det er en glede å være her.

Galen Low: Jeg gleder meg veldig til å snakke med deg, fordi du har utrolig dyp kunnskap om måltall og om å ta datadrevne beslutninger for å lykkes. Jeg håper egentlig at denne samtalen tar oss steder jeg ikke hadde planlagt, men her er veikartet jeg har skissert for oss i dag. Først ville jeg få ett stort, brennende spørsmål ut av veien – det hete spørsmålet alle vil ha svar på.

Etter det vil jeg zoome ut og snakke om tre ting. Først vil jeg snakke om kulturelt misforhold rundt måltall og hvordan man oversetter måltall på tvers av ulike nivåer i en organisasjon. Deretter vil jeg snakke om hvordan prosjektmåltall endrer seg, og hvor du tror de er på vei. Til slutt tenkte jeg at vi kunne se nærmere på praktiske måter virksomheter og prosjektteam kan komme i gang med å utnytte KI-forbedret sporing av måltall, og hvordan dette kan påvirke arbeidsflytene deres – på godt og vondt.

Hvordan høres det ut?

Lior Gerson: Det høres bra ut. Jeg tror det blir en fascinerende diskusjon.

Galen Low: Supert. Det synes jeg også. Greit, her kommer det hete spørsmålet. I det siste har det vært mye snakk om at mange prosjekter, og faktisk hele organisasjoner, kanskje måler og følger med på feil ting.

Når det gjelder prosjekter, har jeg sett mye diskusjon som utfordrer alt fra den tidligere hellige jerntriangelet med omfang, tidsplan og budsjett, til smidige måltall som gjennomstrømming. Organisatorisk har jeg sett folk rette søkelyset mot ting som inntekt per heltidsansatt, brutto margin og utnyttelsesgrad. Det store temaet i min verden, i hvert fall i prosjektlederverdenen, er hvordan prosjektledere ikke bare bør måle prosjektets helse, men også prosjektets effekt.

På denne bakgrunnen er mitt hete spørsmål: Hvordan kan en organisasjon eller et team avgjøre om de følger med på de riktige måltallene, og hva kan de gjøre hvis de innser at de har målt feil ting hele tiden?

Lior Gerson: Ja, det er et godt spørsmål. Prosjektinitiativet du bruker, skal være tilpasset en forretningsstrategi, ikke sant, og en produktstrategi.

Uansett hvor virksomheten ønsker å gå. Men når du putter det inn i prosjektlederboksen, er alt du egentlig ønsker å oppnå å si: Greit, jeg vil nå milepælene mine i tide og innenfor budsjett, med så lite friksjon og så mye nøyaktighet og forutsigbarhet som mulig. Så all magien du trenger å følge med på, er måltallene som hjelper deg med å komme til den tilstanden.

Det kan være hva som helst. Det kan være hvor raskt testene beveger seg, hvor ting er blokkert, feriedager eller hvordan folk bruker KI. Du kan følge med på hva som helst så lenge det holder deg innenfor rammen av det du faktisk prøver å oppnå. Men hvis du ikke følger med på tingene som hjelper deg med å nå målet, følger du med på feil ting.

Galen Low: Jeg liker det perspektivet, fordi jeg tror vi har en tendens til å bevege oss mot de riktige tingene å måle. Jeg sa til og med «hva er det riktige å måle?» i spørsmålet. Du sier egentlig at uansett hva som hjelper deg fremover, er det riktig å måle. Selv om det er helt annerledes enn det et annet team gjør.

Selv om det er helt annerledes enn det du gjorde i en annen organisasjon. Det bør være tilpasset oppdraget.

Lior Gerson: Du må følge med på det som hjelper deg med å komme dit du vil. Alt annet er støy.

Galen Low: Det er rimelig. For folk som tenker «Lior, du snakker mitt språk – vi følger definitivt ikke med på de riktige tingene», og som må begynne: Hvordan kartlegger man egentlig hva de riktige tingene er for å drive seg fremover? Finnes det en beste praksis eller en prosess?

Lior Gerson: Du må forstå virksomheten din. Du må forstå prosjektet ditt. Du må forstå hva som flytter nålen. Hva er drivkreftene? Hva kommer til å ha en effekt?

Er det mennesker? Ressurser? Kompleksitet? Hvordan pakker du ut alt? Du sier: Greit, dette er komponentene. Dette er det som må skje. Nå, hvordan sørger jeg for at det faktisk skjer og ikke faller mellom sprekkene? Det er selve problemet. Du kommer til å ha mange verktøy.

Data kommer til å være spredt overalt. Den kommer ikke til å være oppdatert. Du kommer til å si: «Folk oppdaterer ikke systemet sitt, så dette er søppel inn og søppel ut, og jeg kan ikke gjøre det.» Du bruker all denne tiden uten å se noen avkastning. Det finnes en million måter og en million grunner til at det ikke kommer til å fungere, men vi trenger at det fungerer. Så ansvaret ligger hos deg.

Galen Low: Greit. Det gir mening. Kan du kanskje gå gjennom et eksempel, enten på et måltall som var feil, og prosessen med å endre seg mot å måle det riktige, eller på et uvanlig måltall som noen du jobbet med fulgte med på, og som faktisk bidro til å nå målene, men som er ganske utradisjonelt å måle?

Lior Gerson: La meg snakke om en av kundene våre. De heter Versa. P. De leverer produktoperasjoner. Han er en fantastisk person. Vi liker ham og liker å jobbe med ham, og han ønsket å forbedre hvordan de prognostiserte hva de skulle levere hvert kvartal. Planen var å sammenligne planlagt med faktisk og forbedre planleggingsnøyaktigheten og prognosene.

De jobbet veldig raskt, og ting endret seg hele tiden. Prioriteringer endret seg, kapasitet endret seg, og folk flyttet mellom team. Derfor ble det svært komplisert. Han utviklet en formel som tok den tidligere ytelsen til hver bidragsyter og hvert team, og la dette til den aktuelle kapasiteten teamet eller gruppen kom til å ha.

I stedet for å måtte behandle alle disse dataene i Excel, noe som tar mye tid, måtte han hente inn data om feriedager, oppgaver, prioriteringer og mye annet. Han var villig til å ta i bruk plattformen vår og automatisere dette.

Det tok omtrent én dag. Nå har han det foran seg når han vil: «Hva kommer jeg til å levere denne måneden?» Når administrerende direktør eller produktsjefen kommer og sier: «Jeg trenger å endre prioriteringen», kan han se hva som faktisk vil endre seg, og hvordan det påvirker alle initiativene de prøver å drive frem.

Jeg syntes det var genialt å ta data og sette den inn i riktig kontekst for å fortelle historien han trenger å fortelle.

Galen Low: Jeg var nettopp på en smidigkonferanse. Jeg nevnte gjennomstrømming tidligere, ikke sant? Alle sier at det er et dårlig mål på effekt. Og noen ganger er det bare et dårlig mål fordi mange smidige team egentlig skal være dedikerte team.

De skal ha ressurser på heltid. Men folk jeg snakker med, sier at det aldri skjer. Folk drar på ferie eller blir hentet inn i andre prosjekter. Så du ser på dette gjennomstrømmingsmåltallet, og det går opp og ned mens du prøver å planlegge fremover og tenker: Hva er det som skjer?

Det er ikke et særlig godt måltall. De fleste ville sannsynligvis ikke tenke på å ha et aggregert måltall basert på dynamiske data, eller de ville ikke vite hvordan de skulle bygge det. Men dette gir mye mening. Det er nesten som sanntidsressursstyring: Denne personen kommer til å være borte, så vi bør forvente et fall i dette måltallet for leveransen, ytelsen eller effekten vår. Det henter faktisk data fra andre steder, i stedet for å prøve å ha ett eneste måltall som styrer alt. Det fungerer som det, men det er et aggregert måltall. Jeg synes faktisk det er veldig kult.

Lior Gerson: Det er interessant at du tar opp dette. Tenk på hvordan data sprer seg gjennom virksomheten. Når en person blir borte, tar det tid før folk får vite det. Lederen kommer til å få vite det. Men før informasjonen når riktig person, som forstår hvordan det påvirker prosjektets tidsplaner og hvilke sekundære eller tertiære effekter det får, kan det gå dager eller uker. Den tiden får du ikke tilbake.

Hvis du legger til flere ressurser, kommer du bare til å forlenge tidsplanen. Det er ikke slik at den blir kortere. Du har en læringskurve. Jo raskere du kan få informasjonen gjennom organisasjonen og til de riktige personene, desto større blir effekten. Det er rentes rente.

Galen Low: Den forsinkelsen er så virkelig. I fellesskapet vårt snakker folk alltid om at de skulle ønske noen hadde fortalt dem at hovedutvikleren skulle ha tre ukers ferie. Jeg ser den samme forsinkelsen i rollen min hele tiden. Du får en ferieforespørsel, går inn i systemet, og det finnes en prosess og en flyt med flaskehalser før noen i det hele tatt vet at ferien er godkjent.

Det hadde vært fint om datoen bare ble strømmet inn.

Lior Gerson: Ferie er enkelt. Tenk på at du jobber eksternt, er på Zoom, og noen er borte. Hvem er borte? Ingen har fortalt deg det.

Galen Low: Ja, jeg skjønner.

Lior Gerson: Etter to uker svarer personen ikke på telefonen min. Jeg spør hva som skjer, og får høre: «Han er ikke her lenger.»

Galen Low: Han er ikke her. Vi hører mye om det i fellesskapet også. Produksjonen fortsetter uten kommunikasjon rundt det. Men kan du på et overordnet nivå gå gjennom hvordan denne integrasjonen ser ut?

Jeg ser for meg at jeg åpner Excel og tenker: «Jeg må bruke Zapier eller Make, eller gjøre en form for datatransformasjon, lime det inn i et ark og skrive en formel.» Må jeg fortsatt gjøre dette i TargetBoard, eller er integrasjonen mer automatisert?

Automatisert er kanskje ikke det riktige ordet, men mindre arbeidskrevende.

Lior Gerson: TargetBoard.ai fungerer på en helt annen måte enn alle andre systemer som finnes. Vi kobler oss til kildedataene og kildesystemene dine, og bygger automatisk alle måltallene og KPI-ene som er relevante for det du trenger å gjøre.

Deretter bruker vi KI til å generere dem. Det spiller ingen rolle om du ser på måltall for hvordan kapasiteten endrer seg, hvordan gjennomstrømmingen endrer seg eller hvordan kvaliteten endrer seg. Det spiller heller ingen rolle om du ser på ett prosjekt eller flere prosjekter. Du trenger ikke endre måten du arbeider på.

Vi lærer automatisk hvordan du bruker systemene dine. Det spiller ingen rolle om du bruker Monday, Jira eller noe annet. Alle måltall, rapporter og innsikter genereres automatisk, og du kan deretter tilpasse dem. Det er tilpasning på egen hånd, eller du kan gjøre det sammen med et team.

Du får nøyaktig de måltallene og den måten å følge med på som du ønsker. Det krever ingen innsats. Du er i gang fra første dag og kan være trygg på at dataene du trenger, finnes der og er korrekte. Du trenger ikke bekymre deg for Excel lenger.

Hvis du bruker Excel til manuell sporing, og det er sannhetskilden din, går det også fint. Vi kobler oss til Excel og henter inn dataene. Men du trenger ikke oppdatere lenger. Du trenger ikke forklare hvordan ting er eller hvordan du målte dette. Alle disse spørsmålene besvares i plattformen. Du kan dele det med ledelsen eller toppledelsen, og de får svar på hvordan ting måles, hvor de kommer fra, hvor de er på vei, og hva som flytter nålen.

Du havner ikke i et møte der du får et vanskelig spørsmål uten å ha svaret. Du slipper å si «la meg komme tilbake til deg» om og om igjen. Det er det verste man kan si. Det er bedre å kunne si: «Jeg vet ikke, beklager at jeg ikke forberedte meg.» Men her er svaret tilgjengelig med ett klikk, og oppfølgingen finnes der.

Galen Low: Jeg liker også komponenten med menneskelige feil. Jeg følger selv med på mye i et regneark.

Det var en gang jeg fulgte med på sidevisninger i Google Analytics, mens noen andre la inn brukere. Dermed trodde vi at vi målte det samme, men vi hadde faktisk to ulike datakilder. Jeg rotet det til. Men dette med at noen kan ha en annen tolkning av hvor dataene kommer fra når et måltall skal beregnes – jeg liker ideen om at dataene hentes direkte fra en sannhetskilde.

Og i tillegg genererte systemet noen av måltallene ved hjelp av KI basert på kravene, og foreslo hva man burde måle. Det blir definert og integrert. Jeg har vært i mange samtaler der vi ikke klarer å bestemme hva det riktige suksessmålet er, delvis fordi vi ikke vet hva vi kan måle.

Vi trekker kort fra en kortstokk som bare har fire alternativer og spør hvilket av disse fire vi skal velge, mens det egentlig kunne vært mange forskjellige ting.

Lior Gerson: Det er svært vanlig. Da jeg begynte i et selskap, fulgte de med på hundre tusen besøk per måned. Jeg spurte hvor det kom fra, fordi det så rart ut. Jeg ledet produktarbeidet der, og det viste seg at nettstedet faktisk fikk ti tusen besøk. De andre nitti prosentene var automatiserte roboter. Virksomheten visste ikke dette.

Når du finner ut av det, må du også forklare det. Markedsdirektøren må si: «Forresten, dere vet hvordan jeg har rapportert kundeanskaffelseskostnad og alt annet det siste året? Det viser seg at jeg tok feil med 90 %.»

Galen Low: Ikke en morsom samtale. Jeg lurer på om vi kan bruke dette til å zoome litt ut, fordi jeg opplever at måltall bare er én ting.

Selv når et team eller en avdeling måler riktig ting, må det ofte skje en oversettelse mellom ulike nivåer i organisasjonen eller mellom avdelinger. Et Scrum-team kan for eksempel følge med på kundetilfredshet, CSAT, kanskje fra lansering til lansering, mens ledelsen følger med på gjentakende inntekter, kundebevaring og frafall.

Kan et verktøy som TargetBoard hjelpe med å oversette KPI-er for én målgruppe slik at de blir meningsfulle for andre nivåer i organisasjonen, eller er dette noe et verktøy alene ikke kan løse?

Lior Gerson: Jeg vil ta et skritt tilbake. Hvis du tenker på måltall generelt, betyr den tradisjonelle måten å drive virksomhetsanalyse og følge med på måltall at du må bygge hvert enkelt måltall. Du må ha en økt og planlegge hvert eneste måltall. Det finnes altså en faktisk kostnad ved alt du ønsker å følge med på dersom det må utvikles.

Når du tenker på programmer som OKR-er og kvartalsvise forretningsgjennomganger, er de ganske ovenfra og ned. De forteller deg nøyaktig hva du skal følge med på, og gir deg tunnelsyn: «Dette er det jeg skal måle.» Du kan ha mange andre ting som er svært viktige fordi de holder virksomheten i gang, men du rapporterer dem kanskje ikke, og kanskje følger du ikke engang med på dem fordi du ikke har ressurser til det.

Med TargetBoard følger vi med på alt og gjør det enkelt å velge hva du vil fokusere på. Vi anbefaler til og med hva du bør velge. Du kan sende varsler, få innsikt og motta meldinger for å sikre at det du bryr deg om, faktisk følges opp.

Vi gjør det også enkelt å forklare. Vi har funksjoner som spør: «Hvordan forklarer jeg dette oppover?» eller «Hvordan forklarer jeg dette nedover?» KI-en kan si: «Hjelp meg å forklare dette til lederen min», eller «Hjelp meg å forklare det til utvikleren eller selgeren min, slik at de forstår hvorfor det er viktig og hvordan de bør tenke på det.»

Vi beskytter hele det semantiske laget slik at alle forstår det samme. Vi får en forespørsel hver dag om å gi et måltall et nytt navn. Det kan du ikke, fordi noen allerede har dette måltallet, og det har et navn. Du kan ikke bare gi det et annet navn.

Hvis navnet ikke representerer det du faktisk følger med på, kan du heller ikke bruke navnet. Vi har funksjoner som hjelper deg med å sikre at du faktisk følger med på det du sier at du følger med på, og at du kan forklare hva du måler og hvorfor.

Galen Low: Jeg synes det er en utrolig kul funksjon. Jeg har jobbet med mange verktøy for instrumentpaneler opp gjennom årene. Det er vanligvis her gapet oppstår: «Greit, dette er vel og bra, men hva forteller instrumentpanelet meg?»

Kan du forklare dette? Historiefortellingen rundt data blir gapet, fordi ikke alle er gode på det. Noen er flinke, og kanskje er det superkraften deres. Jeg liker ideen om at KI kan hjelpe deg med å forklare hvorfor et måltall er viktig, hvor det kommer fra og hva det betyr hvis det svinger.

Jeg liker innrammingen din: å gi et menneske mulighet til å forklare måltallet sitt godt til noen som ikke er dem, som jobber i en annen avdeling, har andre spesialiseringer og annen kunnskap, men som fortsatt kan formidle hva alt dette betyr. Da ser vi ikke bare på en haug med tall og sier: «Wow, det endret seg 45 % fra forrige uke.»

Greit, la oss gå videre.

Lior Gerson: Det er det som skjer.

Galen Low: Alle ser på det og trekker på skuldrene. «Wow, det var et stort tall.» Så går vi videre. Men ingen forsto egentlig hva det betydde.

Lior Gerson: Folk leser aldri rapportene. Du har rapporter om tidsplaner og et instrumentpanel.

Folk leser egentlig ikke rapportene med mindre de har et helt spesifikt behov. De vil at rapportene skal finnes der. De vil vite at noen følger med på dette, slik at informasjonen er tilgjengelig hvis de trenger den. Men de leser dem svært sjelden.

Når vi sender rapporter, har vi også en KI-agent som analyserer og oppsummerer dem for forretningsbrukeren. Da får de en oppsummering av hva de faktisk trenger å bry seg om.

Galen Low: Ja. «Kan du oppsummere dette for meg?» Jeg liker at det er innebygd. Jeg hopper litt fremover, men jeg husker at du fortalte meg i møterommet før opptaket at det også finnes en samtalebasert side – ikke bare et sammendrag av hva som er viktig i rapporten.

Jeg har for eksempel klaget over Google Analytics, som er en av mine favorittskurker. Det ser ut til å være laget for samtaler, som: «Hvor mange unike besøkende fikk denne siden forrige uke sammenlignet med samme tid i fjor?» Kanskje det finnes en måte å gjøre det på, men det har aldri fungert ordentlig for meg. Eller: «Forklar dette måltallet.» Har dere utviklet eller utvikler dere en slik samtalebasert innsikt?

Lior Gerson: Mange prøver å løse dette. Det du opplever i GA4, ser du også i Mixpanel og andre verktøy. Problemet er at store språkmodeller er svært dårlige med data.

De ser ut til å bli bedre, men hvis du laster opp en CSV-fil og spør hva åpningsraten for e-post er, klarer de ikke å svare med mindre du spesifiserer hver kolonne og forklarer hva dataene betyr.

Vi mener at vi har løst dette. Du kan stille spørsmål og få pålitelig informasjon som KI-en også kontrollerer for å sikre at den ikke hallusinerer. Jeg tror dette blir en avgjørende funksjon, fordi folk kommer til å ville behandle og konsumere data på flere måter.

Det blir ikke bare samtaler eller bare instrumentpaneler. Du vil ha ulike måter og ulike behov for å samhandle med dataene. De utfyller hverandre godt.

Det er litt som detaljhandel for ti år siden, da man spurte om man skulle satse på mobil eller ikke. Alle gikk over til en flerkanalstilnærming. Jeg tror data er på vei i samme retning.

Det fungerer ganske bra, men ikke alle bruker det. Når folk skal formulere spørsmålet de vil ha besvart i data, er det ikke så rett frem. Du må kanskje stille ti spørsmål for å få ett svar, mens du kunne fått svaret i et instrumentpanel med to klikk.

Galen Low: Det er faktisk ikke sikkert det er raskere.

Lior Gerson: «Hvor mange avtaler avsluttet jeg forrige måned?» «Forresten, jeg bryr meg bare om én region. Kan du begrense det og vise det per …?» Det blir mye skriving og venting på svar, mens du på nettet bare klikker.

Galen Low: Jeg liker ideen om at data er annerledes. Jeg har opplevd det med ganske enkle data, som timelister i ChatGPT. Den begynner bare å hallusinere eller hente feil informasjon. Hjernen vår er så vant til tabulære data, men språkmodellene er ikke nødvendigvis det.

Jeg liker at dere bygger deres egen funksjon. Den kontrollerer seg selv. Før dere leverer viktig informasjon om ytelse, måltall og effekt, finnes det en prosess som spør om informasjonen er riktig, i stedet for at den bare blir spyttet ut.

Lior Gerson: Tillit er alt. Det er risikoen med MCP-servere. Du ber om data fra et system, men vet ikke hva KI-en gjør med det, eller hvor nøyaktig svaret blir.

MCP-serveren vår verifiserer dataene på tvers av alle systemene dine. Den henter data fra alle systemene, kombinerer dem og kontrollerer at svaret du får, er helt korrekt.

Galen Low: MCP-serveren deres, altså modellkontekstprotokollen, er ryggraden. Den kontrollerer alle dataene som kommer inn, ikke bare én enkelt datakilde.

Det er veldig kult. Jeg vil gjerne se på fremtiden for måltall. Hva er ditt syn? Jeg får inntrykk av at ting endrer seg. Du kan ikke lenger ha en statisk resultattavle med de vanlige KPI-ene. Hvilke uvanlige måltall ser du vokse frem, og som kan sette tonen for hvordan KPI-er vil se ut i fremtiden?

Eller hvilke spådommer har du om hvordan organisasjoner vil følge med på KPI-er om tre, fem eller ti år?

Lior Gerson: På mikronivå vil du se mye mer KI-relaterte KPI-er, og vi begynner allerede å se det. Hvor mange agenter kjører jeg? Hvor effektive er de? Hva gjør de med virksomhetens KPI-er?

På virksomhetsnivå, på det overordnede nivået, bryr du deg mindre om hvordan ting blir gjort. Jeg tror ikke så mye vil endre seg. Hvis du følger med på årlige gjentakende inntekter, frafall eller leveringstider, vil de viktigste måltallene bestå. Det er virksomhetens språk.

Det som skjer under overflaten, kommer til å endre seg. Hvis du tar det ett nivå ned og sier: «Vi må levere A, B og C, men nå følger vi med på gjennomstrømming eller kvalitet», er gjennomstrømming og kvalitet det andre nivået av disse måltallene.

Tar du det ett nivå videre ned, begynner du å spørre: «Hva består gjennomstrømmingen av?» Det kan være utviklingsarbeid, ting som er blokkert, ting som sitter fast i gjennomgang, ting som har endret omfang og må gjøres på nytt. Du kan også ha alle disse KI-systemene som gjør ting, der noen fungerer og andre ikke gjør det.

Da må du bruke tid og ressurser på å finne ut hvorfor GPT-5 ikke gir de samme resultatene som tidligere. Det er detaljnivået som viser hva som flytter nålen bak kulissene.

Galen Low: Jeg liker den lagdelingen. Så lenge forretningsmodellen er den samme, vil de øverste, ovenfra-og-ned-måltallene og OKR-tunnelsynet kanskje ikke endre seg så mye.

Men under dem kan mye endre seg. Da er vi tilbake til det du sa tidligere: Du kan måle det som hjelper deg med å nå målet. Hvis målet er at flere skal bruke KI til å ta bedre beslutninger, og det hjelper deg med å nå målet, bør du følge med på det på et lavere nivå.

Du nevnte at folk ikke alltid vet hvordan de skal be om det de ønsker. Det sa du i en datasammenheng, men det gjelder også generelt for instruksjoner. Jeg så et innlegg av Jim Highsmith, som var medforfatter av Det smidige manifestet, om folk som tenkte gjennom nye måltall. Ett av dem var en indeks for kvaliteten på instruksjoner.

Man måler kvaliteten på instruksjonene folk skriver, for bare fordi folk bruker KI, betyr ikke det at de blir mer effektive. De kan ha sirkulære samtaler med en robot og fortsatt registreres som KI-brukere, uten at instruksjonene nødvendigvis er gode.

Jeg vet ikke hvordan man skulle måle det, men jeg liker tanken på at det som er viktig å måle på lavere nivåer, kan endre seg mye. På øverste nivå vil forretningssuksess, vekst og inntekter kanskje ikke endre seg like mye.

Men hver gang du endrer et måltall, må du finne en kilde, lære folk hva det betyr, få folk inn i en rapporteringsrytme og hjelpe dem å forstå hvordan det driver ting fremover. Kommer dette til å være en tung operasjonell byrde som virksomheter og team må planlegge for? Trenger vi en dataekspert for alt, slik at noen kan koble opp et nytt måltall når ChatGPT 5 lanseres?

Lior Gerson: Det er situasjonen i dag. Det har vært slik i årevis. Du har en analytiker eller et analyseteam for hver avdeling, og det er dette de gjør. De sørger for at måltallene fungerer.

Det gjelder ikke engang spesialtilpassede måltall. De finner i praksis opp hjulet på nytt, selv om alle bruker omtrent de samme måltallene.

Store selskaper elsker å bytte plattform. Det er nesten alt de gjør: De migrerer fra ett system til et annet som gjør det samme. Hver gang skaper det et stort dataprosjekt: «Nå må vi oppdatere alle rapportene våre.»

En del av det vi gjør, er å si: «Du trenger faktisk ikke alt dette. Du kan bytte plattform, og alle rapportene og måltallene dine vil forbli de samme.» Hvis noe må oppdateres, kan du automatisk varsle alle som trenger å vite at måltallet er oppdatert. Systemet gjør det av seg selv.

Jeg tror verden er ødelagt fordi folk har for mange systemer og for mye data som de ikke egentlig kan bruke. Verktøy som TargetBoard vil gjøre det enklere å bruke og få tilgang til dataene. Du trenger ikke alle mellomleddene som ofte ikke forstår virksomheten din.

Vi snakket med strategidirektøren i et stort selskap. Han sa at han hadde hundre personer innen virksomhetsanalyse og datateknikk på teamet sitt, og at det tok minst seks måneder å få svar på et nytt spørsmål. Infrastruktur fantes, men spørsmålet måtte gjennom så mange personer før de forsto hva han faktisk spurte om.

Vi kan gi ham svaret i dag, men han sa at han ikke kunne be datateamet sitt om å ta det i bruk. Det er et annet problem – hans problem.

Galen Low: Jeg har sett dette skje, særlig innen finansielle tjenester. Jeg har sett det innen kundeopplevelse, der man prøver å bruke data fra mange avdelinger til å skape en intelligent kundeopplevelse.

De samler inn enorme mengder data, men ingen vet hva det er, hva de skal gjøre med det eller hvordan det kan bli til noe som forbedrer kundeopplevelsen. Dataene bare ligger der. Folk følger med på resultattavlen, blir skuffet og bytter plattform.

Lior Gerson: Det bringer meg tilbake til det du sa tidligere om hva folk følger med på. Mange følger med på kostnader og skykostnader. Nå følger de også med på kostnaden ved KI-instruksjoner, hvor mye de bruker og hvordan de kan optimalisere instruksjonene.

De har alle disse dataene liggende i virksomheten. De har lagringskostnader og kostnader ved å følge med på dem, men ingen vet hvorfor. Det er som folk som samler ting i garasjen uten å bruke dem. Virksomheter blir samlere med endeløse systemer de ikke bruker til noe.

Galen Low: Vi lærte jo at det var billig. Lagring var billig. Det var bare noen få tall.

Nå er det ikke billig lenger. Nå tenker vi på kostnad per instruksjon og slike transaksjonskostnader. Lagringen er også mer kompleks, og vi har samlet data i flere tiår uten å gjøre noe med den. Jeg kan relatere til det. Jeg er også en som tar vare på alt. Jeg prøver nesten aldri å slette noe.

Lior Gerson: Kanskje du får bruk for det om ti år.

Galen Low: Nettopp. Jeg ville spørre om TargetBoard og posisjoneringen som et KI-forbedret KPI-verktøy. Du har allerede gått gjennom noen av de KI-drevne funksjonene – forslag til måltall og oppsummeringer av innsikt.

Finnes det andre KI-funksjoner du vil snakke om, eller hva fikk dere til å satse så sterkt på KI? Det ligger jo i domenenavnet. KI var tydeligvis en sentral del av løsningen dere bygget. Hva er du mest stolt av, og hvor ser du at dette går videre?

Lior Gerson: Det er et komplisert spørsmål. Jeg er stolt av mange ting. Vi har klart å utnytte KI fra et tidlig tidspunkt for å forbedre opplevelsen vi prøver å bygge.

Det finnes fordeler og ulemper ved å være et KI-først-selskap. Jeg tror vi er et KI-andre-selskap, men KI er svært fremtredende i alt vi gjør. For hver funksjon spør vi: «Hvordan gjør KI dette bedre?» Ikke «Hvordan gjør vi dette med KI?», men «Hva prøver vi å bygge, og hvordan gjør KI det bedre enn tidligere?»

La meg gi et eksempel. Du har alle måltallene dine, og uansett hvordan du deler dem opp, kan du opprette meldinger, automatiseringer og varsler. Du har en avtale i en salgspipeline, en feil i produksjon eller en kundestøttesak for en bestemt kunde der du ikke overholder tjenestenivåavtalen.

Opprett et varsel og send det dit det skal. Men det er krevende å få folk til å tenke gjennom hvilke varsler de ønsker å opprette. Denne uken lanserte vi en funksjon der KI-en, når du ser på et måltall, foreslår automatiseringen du kan opprette for å forbedre det.

Vi har allerede anbefalinger og strategier for hvordan man kan forbedre måltall. Nå anbefaler vi også automatiseringen du kan opprette, og med ett klikk oppretter systemet den for deg. Dette var mye vanskeligere å gjøre før KI, men nå er det langt enklere. Vi beveger oss raskere enn jeg noen gang har gjort i et annet selskap.

Galen Low: Det er rimelig, og også litt utrolig. Ut fra det jeg vet om bakgrunnen din, er dette en god bruk av teknologien. Det finnes en naturlig kulturell inkludering av KI i dataverdenen, fordi maskinlæring er nyttig når man håndterer enorme datamengder.

Verktøyene deres behandler petabyte med data. Vi har ikke engang en konkret mental modell for hva det betyr. Det gir mening at man trenger datakraft.

Jeg liker at systemet foreslår hva man skal gjøre videre. Enten det er riktig eller galt, kan jeg lære hva systemet mener er neste steg. Det kan hjelpe gjennom ubehag, tvil, nøling eller kunnskapshull. Kanskje jeg ikke visste hva jeg skulle gjøre videre, men et lite varsel kan være til stor hjelp.

Og så oppretter systemet varselet. Hver tirsdag får du et varsel om dette måltallet, eller når det går utenfor toleransen.

Lior Gerson: Det er en helt annen tilnærming enn datavitenskap var for tre år siden. Hos Gettacar hadde vi et team med datavitere som arbeidet med optimalisering av finansiering. Hver gang noen sendte inn en kredittsøknad, skulle vi avgjøre hvilken långiver den skulle sendes til. Teamet jobbet kontinuerlig med å øke andelen godkjente søknader med noen få prosentpoeng.

Det var et datavitenskapelig prosjekt. Nå handler det om at hver funksjon du bygger, skal bli bedre. Hvis du gjør det riktig, kan du oppnå fantastiske resultater svært raskt.

Galen Low: Jeg liker hvor raskt dette endrer seg. For moro skyld: Har du et spørsmål du vil stille meg?

Lior Gerson: Hvilke trender ser du som mest betydningsfulle innen prosjektledelse i dag?

Galen Low: Den største er faktisk den jeg startet med: Tanken om at prosjektledere ikke bare er jerntriangel-personer som skal levere prosjekter i tide, innenfor budsjett og med riktig omfang.

Det har skjedd en oppdagelse: Vi kan være mer strategiske, men vi må vite mer og gjøre mer. Vi gjorde allerede mye, og nå føler vi at vi også må være strateger – leveransestrateger.

Ansvaret ligger hos oss for å forstå virksomheten bedre. Samtidig finnes det et mystisk spørsmål: Jeg er på en eller annen måte ansvarlig for effekten, men er ikke nødvendigvis involvert i å måle den. I mange tilfeller leder vi et prosjekt, flytter videre når det lanseres og går videre til neste oppgave.

Nå skjer det et stort holdningsskifte. Vi er faktisk spesialister på verdileveranser. Vi skal skape verdien, selv om planen var feil og måtte endres, selv om omfanget var feil og måtte endres underveis, eller selv om vi må håndtere personligheter i styrerommet eller i utviklingsteamet.

Det er en mye mer strategisk komponent. Vi prøver fortsatt å finne ut av det, men det henger godt sammen med innføringen av KI. KI hjelper oss med å bli mer effektive, korte ned arbeidsflytene og øke hastigheten, men først og fremst med å håndtere arbeidet vi tidligere satt fast i.

Mange prosjektledere sier at de er for travle til også å være strategiske partnere for interessentene sine. Nå blir spørsmålet: Hva gjør du med tiden? Hvordan lærer du ferdighetene som skal til for å bli en bedre leder og strategisk leder for verdileveranser?

I en perfekt verden bruker vi mer tid på å spørre om vi gjør det riktige for å nå oppdraget og skape effekt. Det er nesten nøyaktig der du startet: Hvordan vet vi at vi måler riktig ting?

Du måler riktig ting hvis det hjelper deg fremover. Det er et interessant aspekt ved prosjektledelse og prosjektledelse i dag.

Lior Gerson: Veldig interessant. Jeg har et spørsmål til. Jeg vet hva jeg mener, men vil høre hva du mener. Vi har snakket om hvordan KI kan hjelpe prosjektledere med å automatisere og bli mer effektive.

Tror du det finnes et punkt der en KI-agent blir prosjektleder eller erstatter prosjektlederen fullstendig?

Galen Low: Jeg tror det, ut fra noen menneskers definisjon av hva en prosjektleder gjør. Noen ser prosjektledere som administratorer som tar notater, skriver møtereferater, følger opp tiltak og måler estimert tid mot faktisk tid.

Dette kan KI nesten helt sikkert erstatte. Det som ikke kan erstattes like lett, er beslutningstaking mellom mennesker. I hvert fall en stund vil de store beslutningene, som plattformbytte og risiko knyttet til implementering, være samtaler mellom mennesker.

Derfor liker jeg funksjonen deres for historiefortelling rundt data. Det handler ikke om at en leder klikker på et spørsmålstegn og får en forklaring på måltallet. I stedet utruster dere personen som eier måltallet, slik at vedkommende kan fortelle historien om det.

Det er beslutningslaget i prosjekter og virksomheter som jeg tror kommer til å bestå: mennesker som argumenterer, overbeviser og overtaler hverandre til å ta gode beslutninger, kanskje tenke utenfor boksen og vurdere ting som ikke er gjort før.

Jeg tror dette kommer fra mennesker som samhandler med hverandre. KI kan være nyskapende og skape ideer brukerne ikke har tenkt på, men grunnleggende sett er den fortsatt en kombinasjon av eksisterende informasjon. Vi behandler den fortsatt som en hjelper, ikke som noen som tar beslutninger for oss. Det er i endring, men foreløpig tror jeg det er slik.

Lior Gerson: Jeg er enig. Det er også dette som skiller en god prosjektleder fra en dårlig. Noen sier: «Vi har ikke råd til en prosjektleder. Du kan gjøre det ved siden av og lede prosjektet.» Det fungerer ikke, fordi det er et fag. Du kan ikke gjøre det på siden.

Galen Low: Jeg liker det. Det erstatter kanskje ikke alle prosjektledere, men det vil sannsynligvis erstatte de dårlige.

Lior Gerson: Det gjelder alt.

Galen Low: Lior, tusen takk for tiden du brukte sammen med meg i dag. Dette har vært veldig morsomt. Jeg elsker å fordype meg i slike temaer med deg.

Før du går: Hvor kan folk lære mer om deg?

Lior Gerson: LinkedIn. Jeg svarer nesten alle som tar kontakt. Jeg snakker gjerne med hvem som helst.

Galen Low: Det er flott. Jeg berømmer deg. Innboksen min på LinkedIn er et fullstendig kaos. Takk igjen.

Lior Gerson: Ha det, Galen. Det har vært en glede.

Galen Low: Det var alt for dagens episode av The Digital Project Manager-podkasten. Hvis du likte samtalen, må du abonnere der du lytter. Hvis du vil ha enda mer praktisk innsikt, casestudier og arbeidsbøker, kan du gå til thedigitalprojectmanager.com.

Til neste gang: Takk for at du lyttet.