Dlaczego liderzy najlepiej mierzący wdrażanie AI nie patrzą na pulpity nawigacyjne
Śledzenie wskaźników: Tradycyjne wskaźniki użytkowania często błędnie przedstawiają wartość AI; należy skupić się na efektywności operacyjnej.
Wzrost efektywności: Ocena wpływu AI opiera się na mierzalnej poprawie efektywności, a nie tylko na poziomie aktywności lub osiąganych rezultatach.
Zmiana zachowań: O znaczącym wdrożeniu AI świadczą zmiany zachowań, takie jak korzystanie z AI bez dodatkowej zachęty i automatyzacja zadań.
Zmiana sposobu osądu: Wartość kierowników projektów zmienia się: nie chodzi już o szybkość uzyskiwania rezultatów, lecz o podejmowanie świadomych decyzji i wprowadzanie trafnych zmian.
Paradoks widoczności: Sukces wdrażania AI może być niewidoczny; osoby najbliżej wykonywanej pracy dostrzegają znaczące zmiany.
Śledzenie wdrażania AI w zarządzaniu projektami może wydawać się czymś prostym. Dzienniki użycia, liczba promptów, aktywność narzędzi — dane istnieją. Jednak liderzy, którzy próbowali zmierzyć rzeczywisty wpływ AI, odkrywają, że najbardziej znaczące sygnały w ogóle nie pojawiają się na pulpitach analitycznych. To, co faktycznie działa, przypomina mniej analitykę, a bardziej obserwowanie, jak zmienia się praca w praktyce.
Oto co, zdaniem naszych ekspertów, działa — a co nie.
Dlaczego tradycyjne wskaźniki użycia zawodzą
Odruch, by mierzyć wdrażanie AI na podstawie aktywności, jest zrozumiały — więcej promptów, więcej eksperymentów i bardziej widoczny entuzjazm powinny oznaczać większą wartość. Rawad Baroud, dyrektor generalny ZeroGPT, początkowo przyjął dokładnie takie założenie, jednak to, co odkrył, całkowicie zmieniło jego sposób myślenia o pomiarach. „Z perspektywy osoby zarządzającej początkowo sądziłem, że zespoły czerpiące z AI największą wartość będą najłatwiejsze do zidentyfikowania” — mówi. „Spodziewałem się wyższych wskaźników użycia, większej liczby promptów, większej liczby eksperymentów i bardziej widocznego entuzjazmu”. Rzeczywistość była niemal odwrotna.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
„Zespoły osiągające najlepsze wyniki często traktowały AI jak sprawdzanie pisowni. AI tak mocno wrosło w ich sposób pracy, że nikt nie czuł już potrzeby o nim wspominać”. Wnioski dotyczące sposobu, w jaki liderzy oceniają wdrażanie AI, są istotne. Jak ujmuje to Baroud, „kierownik projektu generujący pięćdziesiąt promptów dziennie może nie tworzyć większej wartości niż osoba korzystająca z AI pięć razy, aby wyeliminować powtarzające się wąskie gardła”.
Zespoły osiągające najlepsze wyniki często traktowały AI jak sprawdzanie pisowni. AI tak mocno wrosło w ich sposób pracy, że nikt nie czuł już potrzeby o nim wspominać.
Sygnały, na które obecnie zwraca największą uwagę, mają charakter operacyjny: czy plany projektów szybciej trafiają do interesariuszy, czy mniej zadań wraca z prośbą o wyjaśnienia i czy aktualizacje statusu wymagają mniej poprawek. Jego zdaniem te wskaźniki mówią mu znacznie więcej niż pulpity pokazujące poziom wdrożenia.
Pomiar efektywności, a nie aktywności
W przypadku liderów, którzy wyszli poza śledzenie użycia, uwaga przenosi się na konkretne wzrosty efektywności — przepustowość, wskaźniki błędów i opinie interesariuszy jako rzeczywiste punkty odniesienia. Emmanuels Magaya, założyciel Project Managers Africa, przedstawia to jako proste porównanie sytuacji przed wdrożeniem i po nim. „Dla mnie najważniejszym wskaźnikiem jest to, czy od rozpoczęcia korzystania z AI wzrosła efektywność. Czy może poświęcasz znacznie więcej czasu na pisanie promptów, aby poprawić to, co zrobiłeś?” — mówi.
Dla mnie najważniejszym wskaźnikiem jest to, czy od rozpoczęcia korzystania z AI wzrosła efektywność. Czy może poświęcasz znacznie więcej czasu na pisanie promptów, aby poprawić to, co zrobiłeś?
Jego podejście polega na stworzeniu przejrzystych okresów porównawczych: „Możemy mierzyć efektywność, mówiąc na przykład: jeśli w pierwszym kwartale roku nie korzystaliśmy z AI w żadnej części procesu, to jest to punkt odniesienia. W drugim kwartale już korzystaliśmy. Możemy więc porównać pierwszy kwartał z drugim”.
Magaya zachęca również liderów, aby podczas oceny wpływu wychodzili poza perspektywę własnego zespołu. „Nie może to być wyłącznie perspektywa zespołu PMO. Zbierz opinie interesariuszy, zapytaj klientów wewnętrznych i tak dalej. Nie musisz nawet mówić im, że korzystasz z AI. Po prostu zapytaj: «Jak oceniasz nasze wyniki w ciągu ostatnich kilku miesięcy?»” Jego zdaniem informacje zwrotne zebrane bez ujawniania celu, pochodzące od osób znajdujących się najbliżej wykonywanej pracy, są jednym z najbardziej wiarygodnych dostępnych sposobów pomiaru.
Pomiar zachowań zamiast rezultatów
Kilku liderów uznało zmianę zachowań za najbardziej wiarygodny wskaźnik znaczącego wdrożenia AI — w szczególności to, które zadania zaczęto wykonywać przede wszystkim z użyciem AI oraz czy członkowie zespołu sięgają po AI bez dodatkowej zachęty. Ferhat Suat Erdogan, założyciel i dyrektor generalny Ekofi, celowo unika tworzenia formalnej struktury pomiarowej właśnie z tego powodu. „Ponieważ jesteśmy niewielką firmą, celowo unikam tworzenia pulpitu AI” — wyjaśnia. „Patrząc na pulpit, nie mogę dostrzec, czy AI rzeczywiście zmienia sposób wykonywania pracy. Dlatego mierzę zachowania bardziej niż rezultaty”.
Sygnały, które obserwuje Erdogan, są konkretne: które powtarzalne zadania przeszły na AI — „raporty statusowe, notatki ze spotkań przekształcane w zadania, pierwsze wersje aktualizacji dla klientów, podsumowania zakresu” — a które nadal wymagają przede wszystkim pracy człowieka; ile czasu zajmuje przygotowanie pierwszej wersji materiału oraz jak dużo edycji wymaga wynik wygenerowany przez AI, zanim zostanie opublikowany. „Wskaźnik ponownej pracy to moja prawdziwa miara jakości” — mówi. „Zachowanie, któremu najbardziej ufam, to sięganie zespołu po AI bez dodatkowej zachęty. Korzystanie z AI nakazane przez firmę niczego ci nie mówi; korzystanie z niego z własnej inicjatywy pokazuje, że naprawdę oszczędza im czas.”
Zachowanie, któremu najbardziej ufam, to sięganie zespołu po AI bez dodatkowej zachęty. Korzystanie z AI nakazane przez firmę niczego ci nie mówi; korzystanie z niego z własnej inicjatywy pokazuje, że naprawdę oszczędza im czas.
Artem Panasiuk, kierownik ds. realizacji w Brocoders, stosuje podobne podejście, wykorzystując regularne spotkania zespołu zamiast formalnego pulpitu nawigacyjnego do zbierania informacji. „Obecnie nie śledzimy poziomu wykorzystania AI za pomocą formalnego pulpitu z metrykami. Organizujemy regularne spotkania zespołu, podczas których nasi menedżerowie wymieniają się informacjami o tym, co sprawdza się w ich codziennej pracy, i to właśnie stamtąd pochodzi większość naszych informacji” — mówi.
Organizujemy regularne spotkania zespołu, podczas których nasi menedżerowie wymieniają się informacjami o tym, co sprawdza się w ich codziennej pracy, i to właśnie stamtąd pochodzi większość naszych informacji.
Panasiuk mierzy w rzeczywistości zmianę w tym, na co kierownik projektu poświęca czas. Standardowe zadania kierownika projektu — generowanie dokumentów, tworzenie zgłoszeń w Jira, aktualizowanie dokumentacji, przygotowywanie wersji roboczych wiadomości e-mail — zostały zautomatyzowane, a uwolnione w ten sposób zasoby przeniosły menedżerów do zadań, które wcześniej znajdowały się poza zakresem roli kierownika projektu: analizy biznesowej, elementów systemu projektowego, dokumentacji oraz tworzenia kodu z pomocą AI. Rezultat, na który wskazuje Panasiuk, jest uderzający: „nasi menedżerowie wykonują mniej więcej dwa razy więcej pracy niż wcześniej, a otaczające ich zespoły mają znacznie szerszy zakres kompetencji”.
Większa zmiana: od rezultatów do oceny
W tych perspektywach pojawia się spójna zmiana sposobu myślenia — nie tylko w kwestii mierzenia wykorzystania AI, lecz także tego, co liderzy zaczynają cenić w swoich zespołach. Erdogan ujmuje to bezpośrednio: „Wcześniej nieświadomie nagradzałem szybkość i liczbę rezultatów. Obecnie najcenniejszą umiejętnością jest umiejętność oceny — redagowania treści wygenerowanych przez AI oraz wiedzy, kiedy w ogóle z niego nie korzystać. Rola zmienia się z tworzenia wersji roboczej na bycie redaktorem, który ponosi za nią odpowiedzialność.”
Wcześniej nieświadomie nagradzałem szybkość i liczbę rezultatów. Obecnie najcenniejszą umiejętnością jest umiejętność oceny — redagowania treści wygenerowanych przez AI oraz wiedzy, kiedy w ogóle z niego nie korzystać.
Ta zmiana ma praktyczne konsekwencje dla sposobu oceniania skuteczności realizacji projektów. Liczba rezultatów i szybkość nie są już takim sygnałem jak dawniej. Kierownik projektu, który tworzy mniej, ale lepiej redaguje, dostrzega luki pomijane przez AI i wie, kiedy całkowicie odłożyć to narzędzie, może dostarczać większą wartość niż osoba generująca najwięcej rezultatów. Jak zauważa Baroud, największa zmiana w sposobie myślenia polega na tym, że „wykorzystanie AI nie zawsze jest widoczne. W wielu przypadkach sukces wygląda mniej jak zwiększona aktywność, a bardziej jak ciche usunięcie pracy, która wcześniej spowalniała zespoły”.
Na koniec: paradoks widoczności
Najbardziej użytecznym wnioskiem z obserwacji Barouda jest paradoks, nad którym warto się zatrzymać: zespoły najlepiej wykorzystujące AI to te, których najmniej spodziewalibyśmy się znaleźć w raporcie dotyczącym wykorzystania AI. Jeśli sukces polega na cichym usuwaniu pracy, a nie na widocznej aktywności, to liderzy najlepiej przygotowani do mierzenia wpływu AI nie są tymi, którzy obserwują pulpity nawigacyjne — są nimi ci, którzy wciąż znajdują się wystarczająco blisko wykonywanej pracy, by zauważyć, kiedy coś przestaje powodować trudności.
Chcesz uzyskać więcej podobnych informacji? Załóż bezpłatne konto DPM, aby poznać opinie większej liczby ekspertów.
