Miksi tekoälyn käyttöönottoa parhaiten mittaavat johtajat eivät katso koontinäyttöjä
Seurattavat mittarit: Perinteiset käyttömittarit antavat usein väärän kuvan tekoälyn arvosta; painopisteen tulisi olla toiminnan tehokkuudessa.
Tehokkuuden lisääntyminen: Tekoälyn vaikutusta arvioidaan mitattavissa olevien tehokkuusparannusten, ei pelkästään toiminnan määrän tai tulosten, perusteella.
Käyttäytymisen muutos: Merkityksellinen tekoälyn käyttöönotto näkyy käyttäytymisen muutoksina, kuten oma-aloitteisena käyttönä ja tehtävien automatisointina.
Harkinnan muutos: Projektipäälliköiden arvo muuttuu tuotosten nopeasta tuottamisesta tietoon perustuvien päätösten tekemiseen ja muokkausten laatimiseen.
Näkyvyyden paradoksi: Tekoälyn käyttöönoton onnistuminen voi jäädä piiloon; työn lähimpänä olevat näkevät merkitykselliset muutokset.
Tekoälyn käyttöönoton seurannan projektinhallinnassa pitäisi kuulostaa suoraviivaiselta. Käyttölokit, kehotteiden määrät, työkalujen käyttö – dataa on olemassa. Johtajat, jotka ovat yrittäneet mitata tekoälyn todellista vaikutusta, ovat kuitenkin havainneet, etteivät merkityksellisimmät signaalit näy lainkaan koontinäytöissä. Se, mikä todella toimii, muistuttaa enemmän huomion kiinnittämistä siihen, miten työ muuttuu käytännössä, kuin analytiikkaa.
Tässä on, mikä asiantuntijoidemme mukaan toimii – ja mikä ei.
Miksi perinteiset käyttömittarit eivät riitä
Vaisto mitata tekoälyn käyttöönottoa aktiivisuuden kautta on ymmärrettävä – useampien kehotteiden, kokeilujen ja näkyvän innostuksen pitäisi tarkoittaa suurempaa hyötyä. ZeroGPT:n toimitusjohtaja Rawad Baroud lähti liikkeelle juuri tästä oletuksesta, ja hänen havaintonsa muuttivat täysin hänen tapaansa ajatella mittaamisesta. ”Johtajan näkökulmasta ajattelin aluksi, että tekoälystä eniten hyötyvät tiimit olisi helpointa tunnistaa”, hän sanoo. ”Odotin näkeväni korkeampia käyttöasteita, enemmän kehotteita, enemmän kokeiluja ja näkyvämpää innostusta.” Todellisuus oli lähes päinvastainen.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
”Parhaat tulokset saavuttaneet tiimit kohtelivat tekoälyä kuin oikeinkirjoituksen tarkistusta. Se oli juurtunut heidän työnkulkuunsa niin syvälle, ettei kenenkään enää tuntunut tarpeelliselta mainita sitä.” Tällä on merkittäviä vaikutuksia siihen, miten johtajat arvioivat käyttöönottoa. Kuten Baroud asian ilmaisee, ”projektipäällikkö, joka tuottaa viisikymmentä kehotetta päivässä, ei välttämättä luo enemmän arvoa kuin henkilö, joka käyttää tekoälyä viisi kertaa poistaakseen toistuvia pullonkauloja.”
Parhaat tulokset saavuttaneet tiimit kohtelivat tekoälyä kuin oikeinkirjoituksen tarkistusta. Se oli juurtunut heidän työnkulkuunsa niin syvälle, ettei kenenkään enää tuntunut tarpeelliselta mainita sitä.
Signaalit, joihin hän nykyään kiinnittää eniten huomiota, ovat toiminnallisia: saavuttavatko projektisuunnitelmat sidosryhmät nopeammin, palautuuko aiempaa harvempi tehtävä täsmennettäväksi ja vaativatko tilannepäivitykset vähemmän korjauksia. Hänen mukaansa nämä mittarit kertovat hänelle paljon enemmän kuin käyttöönoton koontinäytöt.
Tehokkuuden, ei aktiivisuuden, mittaaminen
Johtajilla, jotka ovat siirtyneet käyttömäärien seurannan ohi, huomio siirtyy konkreettisiin tehokkuushyötyihin – läpimenoon, virhemääriin ja sidosryhmien palautteeseen todellisina vertailukohtina. Project Managers African perustaja Emmanuels Magaya kuvaa tätä suoraviivaisena ennen ja jälkeen -vertailuna. ”Minulle tärkein mittari on se, onko tehokkuutesi kasvanut tekoälyn käytön aloittamisen jälkeen. Vai käytätkö paljon enemmän aikaa kehotteiden kirjoittamiseen korjataksesi tekemäsi?” hän sanoo.
Minulle tärkein mittari on se, onko tehokkuutesi kasvanut tekoälyn käytön aloittamisen jälkeen. Vai käytätkö paljon enemmän aikaa kehotteiden kirjoittamiseen korjataksesi tekemäsi?
Hänen lähestymistapansa on luoda selkeät vertailujaksot: ”Voimme mitata tehokkuutta esimerkiksi näin: jos meillä ei vuoden ensimmäisellä neljänneksellä ollut tekoälyä mukana missään työnkulun osassa, se toimii vertailukohtana. Nyt toisella neljänneksellä oli. Vertaamme siis ensimmäistä ja toista neljännestä.”
Magaya kannustaa johtajia tarkastelemaan vaikutuksia arvioidessaan myös oman tiiminsä näkökulmaa laajemmin. ”Sen ei pidä perustua vain PMO-tiimin näkökulmaan. Pyydä palautetta sidosryhmiltäsi, sisäisiltä asiakkailtasi ja niin edelleen. Heille ei edes tarvitse kertoa, että käytät tekoälyä. Kysy vain: ’Miten olemme suoriutuneet viime kuukausina?’” Hänen mukaansa työn lähimpänä olevilta ihmisiltä saatu ennakkoluuloton palaute on yksi rehellisimmistä käytettävissä olevista mittareista.
Käyttäytymisen, ei tuotosten, mittaaminen
Useat johtajat ovat päätyneet siihen, että käyttäytymisen muutos on luotettavin merkki merkityksellisestä tekoälyn käyttöönotosta – erityisesti se, mitkä tehtävät on alettu tehdä tekoäly edellä ja tarttuvatko tiimin jäsenet tekoälyyn ilman erillistä kehotusta. Ekofin perustaja ja toimitusjohtaja Ferhat Suat Erdogan on tarkoituksella välttänyt muodollisen mittausrakenteen luomista juuri tästä syystä. ”Koska olemme pieni ja ketterä organisaatio, olen tietoisesti välttänyt tekoälykoontinäytön rakentamista”, hän selittää. ”Koontinäyttöä katsomalla en voi nähdä, muuttaako tekoäly todella tapaa, jolla työ tehdään. Siksi mittaan käyttäytymistä enemmän kuin tuotoksia.”
Erdogan seuraa tiettyjä signaaleja: mitkä toistuvat tehtävät ovat siirtyneet tekoäly edellä -malliin — "tilanneraportit, kokousmuistiinpanot toimiksi, asiakaspäivitysten ensimmäiset luonnokset, laajuusyhteenvedot" — ja mitkä ovat edelleen ihminen edellä -mallissa; kuinka nopeasti toimituksesta syntyy ensimmäinen luonnos ja kuinka paljon tekoälyn tuottamaa sisältöä täytyy muokata ennen sen julkaisemista. "Uudelleentyöstämisen määrä on todellinen laatumittarini", hän sanoo. "Eniten luotan siihen, tarttuuko tiimi tekoälyyn ilman erillistä kehotusta. Pakotettu käyttö ei kerro mitään; oma-aloitteinen käyttö kertoo, että se todella säästää heidän aikaansa."
Eniten luotan siihen, tarttuuko tiimi tekoälyyn ilman erillistä kehotusta. Pakotettu käyttö ei kerro mitään; oma-aloitteinen käyttö kertoo, että se todella säästää heidän aikaansa.
Brocodersin toimitusjohtaja Artem Panasiuk lähestyy asiaa samankaltaisesti ja käyttää säännöllisiä tiimipalavereita muodollisen mittariston sijaan signaalien keräämiseen. "Tällä hetkellä emme seuraa tekoälyn käyttöönottoa muodollisen mittariston avulla. Järjestämme säännöllisiä tiimipalavereita, joissa esihenkilömme vaihtavat kokemuksia siitä, mikä toimii heidän päivittäisessä työssään, ja suurin osa signaaleistamme tulee sieltä", hän sanoo.
Järjestämme säännöllisiä tiimipalavereita, joissa esihenkilömme vaihtavat kokemuksia siitä, mikä toimii heidän päivittäisessä työssään, ja suurin osa signaaleistamme tulee sieltä.
Panasiuk mittaa käytännössä sitä, miten projektipäällikön ajankäyttö muuttuu. Tavalliset projektipäällikön tehtävät — asiakirjojen laatiminen, Jira-tikettien luominen, dokumentaation päivittäminen ja sähköpostien luonnostelu — ovat automatisoituneet, ja vapautunut kapasiteetti on siirtänyt esihenkilöt työtehtäviin, jotka aiemmin jäivät projektipäällikön roolin ulkopuolelle: liiketoiminta-analyysiin, suunnittelujärjestelmän elementteihin, dokumentaatioon ja vibekoodaukseen. Panasiuk nostaa esiin vaikuttavan lopputuloksen: "esihenkilömme tekevät suunnilleen kaksinkertaisen määrän työtä aiempaan verrattuna, ja heidän ympärillään olevista tiimeistä on tullut huomattavasti T-muotoisempia."
Suurempi muutos: tuotoksista harkintaan
Näistä näkökulmista nousee esiin johdonmukainen uusi tulkinta — ei ainoastaan siitä, miten tekoälyn käyttöä mitataan, vaan myös siitä, mitä johtajat alkavat arvostaa tiimeissään. Erdogan ilmaisee asian suoraan: "Aiemmin palkitsin epäsuorasti nopeudesta ja tuotosten määrästä. Nyt arvokkain taito on harkintakyky — tekoälyn tuottaman sisällön muokkaaminen ja sen tietäminen, milloin sitä ei pidä käyttää lainkaan. Työ on siirtymässä luonnosten tuottamisesta toimittajaksi, joka vastaa lopputuloksesta."
Aiemmin palkitsin epäsuorasti nopeudesta ja tuotosten määrästä. Nyt arvokkain taito on harkintakyky — tekoälyn tuottaman sisällön muokkaaminen ja sen tietäminen, milloin sitä ei pidä käyttää lainkaan.
Tällä muutoksella on käytännön vaikutuksia siihen, miten työn toimituksen tehokkuutta arvioidaan. Määrä ja nopeus eivät enää ole samanlaisia signaaleja kuin ennen. Projektipäällikkö, joka tuottaa vähemmän mutta muokkaa paremmin, huomaa tekoälyn ohittamat puutteet ja tietää, milloin työkalu on jätettävä kokonaan sivuun, saattaa tuottaa enemmän arvoa kuin se, joka tuottaa eniten sisältöä. Kuten Baroud huomauttaa, ajattelun suurin muutos on se, että "tekoälyn käyttöönotto ei aina näy. Monissa tapauksissa onnistuminen näyttää vähemmän lisääntyneeltä toiminnalta ja enemmän sellaisen työn huomaamattomalta poistumiselta, joka aiemmin hidasti tiimejä."
Lopuksi: näkyvyyden paradoksi
Baroudin havainto nostaa esiin hyödyllisen paradoksin, jota kannattaa pohtia: tekoälyä parhaiten hyödyntävät tiimit ovat niitä, joita vähiten odottaisit löytäväsi käyttöönottoraportista. Jos onnistuminen näyttää näkyvän toiminnan sijaan työn huomaamattomana poistumisena, tekoälyn vaikutusta parhaiten mittaavat johtajat eivät ole niitä, jotka seuraavat mittaristoja — vaan niitä, jotka ovat yhä riittävän lähellä käytännön työtä huomatakseen, kun jokin lakkaa aiheuttamasta kitkaa.
Haluatko lisää tämänkaltaisia näkemyksiä? Rekisteröidy ilmaiselle DPM-tilille kuullaksesi lisää näiden kaltaisilta asiantuntijoilta.
