Dlaczego inteligentni ludzie uzyskują od AI generyczne rezultaty

Galen Low: Spójrzmy prawdzie w oczy: wszyscy mamy już dość przeglądania materiałów, raportów i aktualizacji statusu, które aż pachną generyczną sztuczną inteligencją. Łatwo zrzucić winę na technologię i na tym poprzestać, ale dzieje się tu coś więcej. Większość osób uzyskuje od AI generyczne rezultaty, ponieważ zadaje generyczne pytania. A większość osób zadaje generyczne pytania, ponieważ albo nie rozumie, jak działa ta technologia, albo nie ma pewności siebie, by kwestionować odpowiedzi AI, albo czuje się jak oszust wśród swoich rówieśników — a czasami wszystko to naraz.

W rezultacie wiele osób traci umiejętności, których najbardziej potrzebujemy właśnie teraz: ciekawość i zdolność krytycznego myślenia. Aby pomóc naszym zespołom to naprawić, zaprosiłem eksperta i edukatora w dziedzinie AI, który za wszelką cenę chce podnosić poziom wszystkich, tak aby syndrom oszusta, przeciętne prompty i generyczne wyniki AI stały się przeszłością. Chodzi o to, by ludzki wkład ponownie znalazł się w centrum uwagi. Mam nadzieję, że spodoba wam się ten odcinek.

Witamy w podcaście Digital Project Manager — programie, który pomaga liderom odpowiedzialnym za realizację projektów pracować mądrzej, sprawniej dostarczać rezultaty i z pewnością siebie prowadzić zespoły w epoce AI. Mam na imię Galen i co tydzień omawiamy rzeczywiste strategie, nowe trendy, sprawdzone modele oraz od czasu do czasu wojenną historię z pierwszej linii projektów. Niezależnie od tego, czy kierujesz ogromnymi projektami transformacyjnymi, porządkujesz przepływy pracy z AI, czy po prostu próbujesz utrzymać chaos pod kontrolą — jesteś we właściwym miejscu. Zaczynajmy.

Dzisiaj rozmawiamy o tym, jak syndrom oszusta związany z AI może w subtelny i mniej subtelny sposób hamować nasze zespoły oraz jakie praktyczne kroki możemy podjąć, aby pomóc im znaleźć równowagę między dociekliwością a strategicznym weryfikowaniem wyników narzędzi AI.

Przejdziemy przez praktyczny model, który pomoże naszym zespołom zadawać lepsze pytania i krytycznie oceniać rezultaty, a także omówimy wpływ takiego podejścia na ogólną strategię AI w organizacji. Porozmawiamy też o zaniku umiejętności i o tym, jak pomóc zespołom rozwijać się wraz ze zmieniającym się światem.

Moim dzisiejszym gościem jest Mashhood Ahmed, dyrektor projektów konsultingowych w M1 Consultants. Mashhood pomaga firmom projektować i wdrażać programy wykorzystania generatywnej AI, które przynoszą wymierne rezultaty. Korzystając ze sprawdzonego, czteropoziomowego modelu adopcji GenAI, obejmującego znajomość AI w całej organizacji, przepływy pracy dostosowane do działów, automatyzację agentową i programy szkoleniowe, Mashhood pomaga zespołom rozwijać się dzięki AI w sposób oparty na ludzkiej pomysłowości.

Aby to osiągnąć, Mashhood korzysta z ponad 20 lat doświadczenia w zarządzaniu programami, projektami i zmianą. Dla niego AI to coś więcej niż narzędzia. Chodzi o włączenie AI w rzeczywisty sposób wykonywania pracy.

Mashhood, bardzo dziękuję, że jesteś dziś ze mną.

Mashhood Ahmed: Bardzo dziękuję. Dziękuję za zaproszenie.

Galen Low: Naprawdę nie mogę się doczekać naszej rozmowy.

Widziałem kilka twoich wystąpień na ten temat i uważam, że twoje podejście jest niezwykle wyważone. Bardzo przemawia do mnie twoje spojrzenie na to, jak powinniśmy rozumieć AI w kontekście jej wdrażania i włączania do naszej pracy. Jest naprawdę pragmatyczne, dlatego z przyjemnością zagłębimy się dziś w ten temat.

Oczywiście wielokrotnie współpracowałeś z nami tutaj, w The Digital Project Manager. Twoje przesłanie zawsze trafia do odbiorców. Pomyślałem więc, że zacznę od dużego, złożonego pytania, a potem pozwolimy rozmowie potoczyć się własnym rytmem. Chciałbym porozmawiać o tym, co oznacza dociekliwe nastawienie w kontekście AI i dlaczego ma ono znaczenie, jakie kroki możemy podjąć wraz z naszymi zespołami, aby równoważyć tę dociekliwość poprzez strategiczne weryfikowanie wyników AI, a także o tym, co czeka technologię AI, jeśli nasze zespoły nadal będą działać na podstawie powierzchownych pytań i traktować generyczne wyniki jako prawdę objawioną.

Wiem, że to dużo, ale jak ci się to podoba?

Mashhood Ahmed: Brzmi idealnie.

Galen Low: Świetnie. Zaczynajmy. Zacznę od dość szerokiego pytania, ponieważ pracujesz z wieloma organizacjami i pomagasz im swobodnie korzystać z AI, aby mogły włączyć ją do swoich sposobów pracy.

Słyszałem, jak mówiłeś o osobach używających generycznych pytań do uzyskiwania generycznych wyników, a następnie przyjmujących je bez zmian. Gdybyś miał oszacować, jaki odsetek osób korzystających z AI w kontekście zawodowym uzyskuje wyłącznie przeciętne, generyczne wyniki i uważa, że lepiej już być nie może?

Mashhood Ahmed: To bardzo dobre pytanie. Ilu ludzi używa AI w generyczny sposób i otrzymuje generyczne odpowiedzi? Zgaduję, że około 40–50%. Chciałbym przeprowadzić mały test dla wszystkich słuchaczy, dobrze? Aby sprawdzić, co mam na myśli, mówiąc o generycznej odpowiedzi uzyskiwanej od AI. Większość z nas przynajmniej raz w życiu grała w jakąś grę z użyciem kostki.

Chciałbym, żebyście otworzyli Copilota w jednej karcie, ChatGPT w drugiej, Gemini w trzeciej, a w kolejnej jakieś inne narzędzie. Następnie wpiszcie prosty prompt: „Rzuć za mnie sześcienną kostką”. Kiedy uruchomicie ten prompt, większość generatywnych narzędzi AI odpowie: cztery.

Przeprowadzałem ten eksperyment z setkami osób i zazwyczaj 85–90% z nich otrzymuje liczbę cztery. Czasami ktoś otrzymuje inną liczbę. Otrzymywałem informacje zwrotne od osób korzystających z ChatGPT, Gemini, Claude, Groq, Perplexity i innych narzędzi. Wszystkie popełniają ten sam błąd.

Kiedy prosisz AI o rzucenie kostką, ona nie wie, jak naprawdę rzucać kostką. Statystycy i matematycy nauczyli model, że jeśli trzeba rzucić kostką, należy wziąć jedną szóstą — czyli sześć możliwych opcji — obliczyć średnią, zaokrąglić ją w razie potrzeby i podać przeciętną odpowiedź.

Średnia z tych wartości wynosi 3,5, więc model zaokrągla ją do czterech. Dlatego w 80–90% przypadków otrzymasz odpowiedź „cztery”. Spróbujcie teraz czegoś innego. Wpiszcie w tym samym oknie prompt: „Rzuć za mnie sześcienną kostką, przy czym każda ścianka ma mieć takie samo prawdopodobieństwo”. Możecie też dodać inne ograniczenia, na przykład poprosić o najwyższą albo najniższą liczbę.

Zobaczycie, że za każdym razem otrzymacie bardziej zrównoważoną odpowiedź, ponieważ określiliście warunki. To pokazuje, że jeśli zadacie generyczne pytanie „Rzuć za mnie sześcienną kostką”, w 80–90% przypadków otrzymacie liczbę cztery.

AI nie rozumie kontekstu. Nie zna tła twojego projektu ani twojego osądu — tego ludzkiego osądu, który stosujemy. Dlatego tak ważne jest, aby prompty lub agenci zawierały jak najwięcej kontekstu, ograniczeń i zabezpieczeń, dzięki którym można uzyskać dobrą odpowiedź.

Galen Low: Bardzo mi się to podoba. Właśnie otworzyłem kilka modeli językowych i masz absolutną rację. Miałem otwarte tylko trzy karty: dwa modele wyrzuciły czwórkę, a jeden szóstkę. Nie zdążyłem jeszcze przetestować wpływu kontekstu, ale uważam, że to świetny przykład.

Myślę, że wiele osób nadal korzysta z AI tak jak z wyszukiwarki Google — wpisując prosty prompt składający się z czterech czy pięciu słów. W niektórych sytuacjach nie musi to być najgorsze rozwiązanie, ale zgadzam się, że złożoność projektów, które prowadzimy, ludzie, z którymi pracujemy, oraz cała wiedza i historia znajdujące się między naszymi uszami nie są częścią danych, na których trenowano model językowy.

Jeśli tego nie przekażemy, otrzymamy generyczne rezultaty. Najbardziej podoba mi się i jednocześnie najbardziej niepokoi mnie to, że generatywna AI jest obecnie tak przekonująca. Ludzie publikują jej wyniki. To nie jest nic nowego, ale wygląda bardzo dobrze i przekonująco, a potem jeszcze mówi ci, że jesteś świetny, więc chcesz po prostu z tym dalej działać.

Myślisz: „Świetnie, skończone. To jest o wiele bardziej dopracowane niż to, co sam bym przygotował, więc po prostu to wykorzystam”. Porozmawiamy o powodach, dla których tak robimy, ale wygląda to przekonująco niezależnie od wszystkiego — nawet gdy jest bardzo przeciętne.

Mashhood Ahmed: Korzystam ze sztuczki zwanej zmianą perspektywy. Przygotowujesz raport, kartę projektu, dokument czy wiadomość e-mail. Możesz po prostu użyć promptu, który poleci AI przeczytać wiadomość lub dokument z perspektywy osoby wspierającej albo niepopierającej projektu, dodając nieco kontekstu dotyczącego tej osoby.

Następnie otrzymasz odpowiedź i możesz zdecydować, czy edytować dokument, czy zachować pytania i się do nich przygotować. Jeśli ktoś zada ci takie pytania podczas kolejnego spotkania albo prezentacji przed dużą publicznością czy zarządem, będziesz mieć gotowe odpowiedzi.

To bardzo ważne, ponieważ podczas pracy nad projektem jesteśmy zasypywani ogromną ilością szumu informacyjnego. Możemy wykorzystać AI do zmiany perspektywy. Na przykład: „Spójrz na to z perspektywy dyrektora finansowego, który nie jest przekonany, że powinniśmy wydać 1,4 miliona dolarów, aby uratować ten projekt”. To zupełnie inny kontekst.

Czasami jako kierownicy projektów nawet o tym nie myślimy, ponieważ jesteśmy zajęci. Jeśli AI może pomóc nam wykonać dużą część pozostałej pracy, kierownik projektu może skoncentrować się na krytycznym myśleniu i zadawaniu właściwych pytań. To jedna z najważniejszych umiejętności — nazywam ją dociekliwym nastawieniem.

Galen Low: Świetnie, przejdźmy do tego. Podoba mi się to, ponieważ nie chodzi o wykonywanie pracy za ciebie. Chodzi o budowanie empatii wobec interesariuszy, aby nie dać się zaskoczyć. Zaskoczenie zwykle wynika z tego, że nie przewidziałeś sposobu myślenia innej osoby.

Wróćmy jednak na chwilę do szerszej perspektywy. W swoich wystąpieniach i wpisach używasz określenia „syndrom oszusta”. Dla osób, które go nie znają, jest to zjawisko, w którym odnoszący sukcesy profesjonaliści czują, że oszukali swoich rówieśników i być może nie zasługują na osiągnięte sukcesy.

W kontekście AI może chodzić o coś nieco innego niż samo poczucie niezasługiwania na sukces. Co takiego jest w AI, że uruchamia nasz syndrom oszusta, i jak wpływa to na nasze podejście do AI?

Mashhood Ahmed: Jest kilka rzeczy, które wywołują syndrom oszusta i sprawiają, że czujemy: „Nie nadążam”, „Nie rozumiem tego wystarczająco dobrze” albo „Wszyscy inni już to opanowali”. Po pierwsze, AI jest niewidoczna. Przyzwyczailiśmy się do schematu: dane wejściowe, przetwarzanie, wynik. Tak wyglądała nasza kariera. Przekazujemy dane, coś je przetwarza i rozumiemy przebieg procesu.

W epoce AI przebieg procesu zmienia się w zależności od kontekstu i szczegółów promptu. Staje się czarną skrzynką, co jest dla nas niekomfortowe. Czasami jest to niekomfortowe również dla mnie, zwłaszcza podczas demonstracji na żywo. Zdarzyło mi się trzy razy, że demonstracja nie zadziałała tak, jak oczekiwałem. Przez dziesięć prób wszystko działało, a za jedenastym razem nie.

To niewidzialna skrzynka. Kolejna rzecz: wchodzisz na LinkedIn lub do mediów społecznościowych i masz wrażenie, że wszyscy już to robią, choć nie wszyscy robią to poprawnie. Ja nadal się uczę. Każdego dnia poznaję coś nowego.

Jako kierownicy projektów czy menedżerowie PMO jesteśmy przyzwyczajeni do tego, że wiemy, co dzieje się w projekcie. Znamy ryzyko, problem, trudności z dostawcą. Gdy ktoś zaprasza mnie na konkretne spotkanie, mogę wyjaśnić, co wydarzyło się z dostawcą, ponieważ znam całą historię.

Tutaj wszystko jest niewidoczne. To sprawia, że czujemy się bardzo niekomfortowo i właśnie dlatego pojawia się syndrom oszusta — nie mamy kontroli.

Ludzie chcą mieć kontrolę. Jesteśmy gatunkiem, który chce kontrolować rzeczywistość. Kiedy kontrola przechodzi w ręce maszyny, zaczynamy się niepokoić. Nie wiemy, co maszyna powie, musimy wszystko sprawdzać i weryfikować, a czasami generuje to dla nas zbyt dużo szumu.

Zamiast pomagać w tworzeniu wartości, AI może tworzyć więcej pracy. Właśnie tutaj pojawiają się dociekliwe pytania i inne tematy, o których dziś porozmawiamy.

Galen Low: To bardzo interesujące, bo moim zdaniem są tu dwa elementy. Pierwszy to popularna definicja syndromu oszusta — poczucie, że jesteś oszustem, ponieważ wszyscy wokół ciebie wyglądają tak, jakby radzili sobie znacznie lepiej. LinkedIn jest moim zdaniem absolutnie najgorszym miejscem do budowania pewności siebie w zakresie AI. Widzisz tam nagłówki typu: „Siedem rzeczy, które robisz źle w swoim prompcie” albo „Dlaczego twoi agenci wciąż zawodzą”.

Myślisz wtedy: „O nie, wszystko robię źle. Jestem beznadziejny”. Drugim elementem jest to, o czym powiedziałeś wcześniej: łatwo spojrzeć na wyniki i nie chcieć ich krytykować. Wyglądają na gotowe.

Jako kierownik projektu otrzymujesz materiały, które są w 98 albo 100 procentach ukończone. Jeśli przekażesz informację zwrotną dzień przed terminem, wszystko może się rozsypać i trzeba będzie przebudować całość. W przypadku AI mamy czarną skrzynkę, gotowy produkt, a jeśli nie czujemy się pewnie, myślimy: „AI jest chyba ode mnie mądrzejsza. Co ja mogę wiedzieć w porównaniu z czymś wytrenowanym na całym internecie i całej historii ludzkości od epoki informacji?”

Ale, jak zauważyłeś, jej ślepym punktem jest kontekst. Nie wie, co zostało powiedziane na spotkaniu, który interesariusz sprzeciwia się projektowi ani gdzie znajduje się ryzyko. W twoim umyśle jest ogromna ilość informacji, której AI nie zna. Dlatego ta współpraca jest tak ważna.

Mashhood Ahmed: Przypomniało mi się stare powiedzenie: „Diabeł tkwi w szczegółach”. Produkt może wyglądać na ukończony, ale musimy przyjrzeć się szczegółom.

Jako kierownik projektu możesz mieć włączoną transkrypcję spotkania, która zapisze, co zostało powiedziane. Wiesz jednak, że interesariusz, który powiedział „tak”, mógł tak naprawdę mieć na myśli „być może”. Nie jest w pełni przekonany do twojego pomysłu ani do danego rozwiązania.

Wiesz, że dyrektor podpisze kartę projektu, dokument, testy akceptacyjne użytkownika lub dokument uruchomienia, ale nie będzie osobą, która wykona z tobą całą pracę. Zrobi to ktoś inny, na przykład analityk. To twój pośredni interesariusz i musisz zdobyć jego akceptację, a nie tylko akceptację osoby zajmującej stanowisko dyrektora.

Wszystko to wynika z doświadczenia i krytycznego myślenia. Rozumiesz politykę, ludzi i dynamikę. To, co działa w jednej organizacji, może nie działać w innej. Mamy PMO, szablony projektowe i wytyczne PMI, ale nie przeprowadziłem w życiu ani jednego projektu, który można by w całości zrealizować zgodnie z jedną metodologią.

Każdy projekt jest wyjątkowy. Właśnie wtedy do gry wchodzi człowiek i mówi: „Tak, to ma zastosowanie w mojej sytuacji. Rozumiem swoich interesariuszy, sponsorów, zespół i ryzyko”. Ryzyko może być ukryte gdzieś w rejestrze ryzyk, w wierszu 14 albo 15, ale właśnie ono może się zmaterializować. To wszystko wynika z ludzkiego wglądu.

Galen Low: Bardzo mi się to podoba. Myślę, że ten fragment jest czymś, co wielu kierowników projektów powinno usłyszeć. Chcę spojrzeć na to z perspektywy prowadzenia zespołów kierowników projektów — roli już z natury politycznej, złożonej i obciążonej syndromem oszusta.

Wiele osób trafiło do tej roli przypadkiem. Nie czują, że wykonują ją właściwie, ponieważ nie stosują podręcznika w stu procentach. Wydaje im się, że kierują się intuicją i improwizują. Tymczasem właśnie to, co powiedziałeś, jest wartością — to dodatkowy kontekst, którego potrzebujemy.

To twoja specjalizacja. AI jest narzędziem, z którym współpracujesz, aby wykorzystywać swoją wiedzę i zwiększać produktywność. Przejdźmy więc do tego, bo wystąpienie, które widziałem, dotyczyło relacji yin i yang między dociekliwością a strategicznym weryfikowaniem wyników, czyli krytycznym myśleniem. To klucz do skutecznego korzystania z AI.

Zacznijmy od dociekliwości. Co oznacza dla ciebie dociekliwe nastawienie i dlaczego jest ważne w kontekście AI?

Mashhood Ahmed: Pamiętamy określenia „dane to potęga” i „wiedza to potęga”. Uważaliśmy, że osoba mająca najwięcej danych będzie wyprzedzać technologię i wszystkich innych.

Myślę, że obecnie prawdziwe jest coś przeciwnego. Większa ilość danych i wiedzy może stać się przekleństwem. Potrzebujesz odpowiednich danych i informacji, które nadadzą im wartość. Mogę znaleźć w internecie ogromne ilości danych na dowolny temat. Generatywna AI przeszukała te dane, więc może udostępnić konkretne informacje na wyciągnięcie ręki.

Jest jednak mnóstwo szumu. Piszesz trzy lub cztery linijki promptu, a otrzymujesz pięciostronicowy dokument, który musisz przeczytać, zrozumieć i wyłuskać z niego najważniejsze punkty. Musisz zrozumieć, że szum jest danymi wejściowymi.

Strategiczne weryfikowanie wyników polega na zadawaniu pytania: „Jakie jest najbardziej trafne pytanie, które powinienem zadać AI, aby mi pomogła?”. Musisz też jasno rozumieć, dlaczego jest ono ważne. Jeśli nie zadasz właściwego pytania, AI się z tobą zgodzi. Poda ci odpowiedź twierdzącą.

Zmieniając perspektywę, zapytaj: „Co wydarzy się w tej sytuacji?” Przeanalizuj różne scenariusze „co by było, gdyby”. To wymaga dużej mocy poznawczej. Z mojego doświadczenia wynika, że dwie lub trzy godziny pracy z dowolną generatywną AI są tak wyczerpujące, że po tym czasie jestem zmęczony.

Naprawdę jestem zmęczony. Po dwóch godzinach ciągłej pracy z AI nad konkretnym tematem czuję przeciążenie umysłu i potrzebuję przerwy. Zrób więc przerwę, ale nadal zadawaj pytania. Jeśli nie zadasz właściwego pytania, otrzymasz odpowiedź twierdzącą.

Pomyśl też o swojej pracy z dyrektorami ds. informatyki, finansów, prezesami, dyrektorami i wiceprezesami. Czasami zastanawiasz się, jak dana osoba dotarła na tak wysoki poziom. Jedną z cech wspólnych liderów jest to, że zadają jedno lub dwa naprawdę ważne pytania, które docierają do sedna.

Jeśli odpowiesz na nie prawidłowo, zyskujesz ich szacunek. Jeśli nie, mogą pomyśleć: „Nie będę zwracać się do Mashhooda”. Ci ludzie rozwijają kariery, ponieważ zadają właściwe pytanie we właściwym momencie.

Obecnie zadawanie właściwych pytań jest jeszcze ważniejsze, ponieważ AI może zrobić za ciebie bardzo dużo. Jeśli poprawnie skonfigurujesz agentów AI, mogą wykonywać wiele zadań w tle. Pytanie brzmi: czy zadajesz właściwe pytanie, które ma znaczenie w danym momencie, i co zrobisz później z uzyskaną informacją?

Czy zmienisz coś po przeczytaniu raportu? Jeśli raport pokazuje jakąś liczbę, to dobrze, ale co się zmieniło? To są prawdziwe pytania. Chciałbym, aby każdy słuchacz zatrzymał się i zapytał: „Jakie głębokie pytania muszę zadać na kolejnym spotkaniu, aby dotrzeć do sedna?”

A jeśli nie zamierzasz zadawać takich pytań, może powinieneś odwołać spotkanie. Ludzie nie lubią spotkań.

Galen Low: Bardzo mi się to podoba. Czy moglibyśmy przejść przez konkretny scenariusz? Wiele osób, które odnoszą sukces, osiągnęło wysoki poziom w organizacji właśnie dlatego, że potrafi zadać właściwe pytanie we właściwym momencie.

Mówiłeś o rozmowie z modelem językowym, która może trwać godzinę, dwie albo trzy. Nie każdy tak pracuje z LLM. Czy możemy przejść przez przykład 30- lub 45-minutowej rozmowy i pokazać, jakie pytania można zadawać?

Mashhood Ahmed: Załóżmy, że pracuję nad nowym projektem. Dałbym AI dostęp do swoich dokumentów, na przykład za pośrednictwem Copilota w pakiecie Office. Wiele firm wdrożyło dziś Copilota, ale większość nie korzysta z niego skutecznie i efektywnie.

Udostępnij dokumenty i wyznacz granice: „Korzystaj wyłącznie z tych dokumentów”. Następnie zacznij zadawać pytania: „Czego brakuje?”, „Gdzie muszę uzupełnić lukę?”, „Jakie są niespójności w tych dokumentach?”, „O co ktoś może mnie zapytać?”.

To pytania związane ze zmianą perspektywy. Jeśli prosimy o większy budżet, zapytajmy: „O co zapyta dyrektor finansowy?”. Dyrektora finansowego nie interesuje, czy projekt przebiega zgodnie z planem. Interesuje go, czy mieści się w budżecie.

Właściciela biznesowego interesuje, czy projekt zostanie uruchomiony na czas. Dyrektor ds. informatyki może skupiać się na integracji oraz bezpieczeństwie danych. Każdy ma inną perspektywę, dlatego zmiana perspektywy bardzo pomaga.

Pracuję obecnie nad treściami i pytam generatywną AI: „Co jest tutaj niespójne?”, „Co jest zbędne lub powtarzalne?”. Czasami powtarzamy rzeczy, a umiarkowana powtarzalność może być dobra, ale zbyt wiele powtórzeń nie pomaga.

Możesz też powiedzieć: „Pomóż mi krok po kroku”. Jedną z technik promptowania, która bardzo mi pomaga, jest poproszenie AI, aby przeprowadziła ze mną wywiad lub zadawała mi pytania pojedynczo.

Musimy zrozumieć, dlaczego pojawiają się halucynacje. AI tworzy halucynacje, ponieważ nie otrzymuje wystarczającego kontekstu. Wtedy zaczyna przyjmować założenia. Jeśli są prawidłowe, otrzymujemy świetną odpowiedź. Jeśli są błędne, AI wymyśla dane i przedstawia wynik, który jest nieprawidłowy.

Powinniśmy szkolić AI tak, jak szkolilibyśmy stażystę. Wyobraź sobie, że do zespołu dołączyła osoba z tytułem MBA albo świeżo zdanym egzaminem PMP. Jest bardzo inteligentna, ale popełnia błędy początkującego.

Wpisz prompt: „Zadawaj mi pytania doprecyzowujące pojedynczo”. AI będzie wtedy weryfikować założenia. To ważne, aby pytania zadawała jedno po drugim i czekała na odpowiedź. Jeśli poprosisz o pytania doprecyzowujące bez takiego ograniczenia, zada cztery pytania naraz, a następnie może uznać, że odpowiedziałeś na wszystkie, mimo że odpowiedziałeś tylko na jedno.

W ten sposób jakość twoich odpowiedzi i wartość otrzymywana od AI będą znacznie większe. Kolejną rzeczą jest ustalanie ograniczeń i zabezpieczeń. Jako ludzie bardzo dobrze wiemy, co należy robić, ale znacznie gorzej radzimy sobie z tym, czego robić nie należy.

Wiemy, że bezmyślne przewijanie treści nie jest dla nas dobre, ale i tak spędzamy na nim zbyt dużo czasu, ponieważ jest łatwe i wygodne. To lista rzeczy, których nie należy robić. W epoce AI bardzo ważne jest stworzenie takiej listy i umieszczenie jej jako zabezpieczenia w agentach lub promptach.

Warto też stosować nakładanie ograniczeń. Możesz określić: „Chcę otrzymać trzy punkty”, „Chcę tabelę z pięcioma kolumnami” albo „Chcę odpowiedź w 50, 200 lub 1000 słowach”. Zwykle preferuję krótszą odpowiedź, którą później stopniowo rozwijam.

W Copilocie istnieje funkcja pozwalająca powiedzieć: „Wprowadź te zmiany i zezwól na edycję”. Copilot może wtedy edytować dokumenty. Możesz powiedzieć: „Sprawdź i popraw układ tego slajdu”. Nie musisz wykonywać tej pracy ręcznie.

Trzeba jednak być bardzo precyzyjnym. Nie dawaj AI pełnej swobody edytowania całego dokumentu, ponieważ nie wiesz, co zmieni. Pamiętaj, że gdy przesyłasz raport, widnieje na nim twoje nazwisko. Kiedy otrzymujesz odpowiedź od generatywnej AI, pojawia się ostrzeżenie: „Wygenerowane przez AI, sprawdź informacje, AI może się mylić”. Nie możesz umieścić takiego zastrzeżenia na raporcie podpisanym twoim nazwiskiem.

Dlatego zawsze będzie potrzebny człowiek w procesie. Nawet przy agentowej AI człowiek musi uczestniczyć w różnych punktach kontrolnych i na różnych etapach, aby sprawdzić, czy agent wykonał właściwe zadanie.

Galen Low: Przejdźmy do strategicznego weryfikowania wyników. Dociekliwość i zadawanie właściwych pytań to także nauka. Jesteśmy dobrzy w działaniu i chcemy jak najszybciej wykonać zadanie, ponieważ wydaje nam się, że tego oczekuje się od AI.

Możemy myśleć, że skoro mamy Copilota i modele językowe, wszystko powinno zająć 15 minut. Tymczasem opisałeś rozmowę, która wymagała czasu, zadawania pytań, ustalania zabezpieczeń, rozpoznawania braków i sprzeczności.

Jako kierownicy projektów jesteśmy w tym dobrzy. Kiedy prowadziłem zespół, skupiałem się na tym, aby nie przekazywać informacji zwrotnej tylko na temat tego, co jest obecne, lecz także na temat tego, czego brakuje. Ludzie nie są dobrzy w zauważaniu nieobecności. Skupiamy się na tym, co widzimy, a jeśli nie znajdziemy niczego istotnego, zaczynamy czepiać się drobiazgów.

Warto spojrzeć szerzej i powiedzieć: „Kiedy przekazuję ci instrukcje, nie rób tych rzeczy, ponieważ są naszymi ograniczeniami”. Podoba mi się również pomysł pracy małymi krokami. Zamiast otrzymywać siedem stron tekstu i spędzać cały dzień na ich analizowaniu, można wspólnie pracować nad mniejszymi fragmentami i od razu włączać je do pliku.

Czy przekazujesz LLM informacje o tych niuansach? Na przykład: „Ten interesariusz powie tak, ale prawdziwy decydent znajduje się gdzie indziej”.

Mashhood Ahmed: W przygotowaniu do egzaminu PMP uczymy się macierzy wpływu. Sugeruję, aby dla każdego projektu stworzyć nie tylko macierz wpływu, lecz także profil każdego interesariusza.

Możesz mieć agenta, który przeanalizuje wszystkie transkrypcje spotkań i odpowie: „Co wiem o tej osobie, która uczestniczy w moich spotkaniach?”. Następnie przeglądasz wynik i potwierdzasz: „Tak, zapamiętaj to” albo „Nie zapamiętuj tego”.

Możesz też powiedzieć: „To mój sponsor. Przeczytaj transkrypcję spotkania i powiedz mi, jaki ma typ osobowości”. Można wykorzystać profilowanie DISC interesariuszy i regularnie stosować je w generatywnej AI. Z czasem AI będzie coraz lepiej rozumieć te osoby.

Galen Low: To świetny pomysł. Musimy dostarczać kontekst, aby uzyskać dobrą ocenę. Sam nigdy nie znalazłbym czasu, aby przeczytać każdą transkrypcję spotkania i stworzyć profile DISC wszystkich interesariuszy w moim środowisku.

Właśnie tutaj AI może wykonać część pracy, pomóc podejmować decyzje i wpłynąć na nasze własne decyzje. To dobre przejście do strategicznego weryfikowania wyników.

Wiemy już, że jako człowiek ponosisz odpowiedzialność. Nie możesz powiedzieć: „Przepraszam, moja praca może zawierać błędy, ale proszę nadal mi płacić”. Co oznacza dla ciebie strategiczne weryfikowanie wyników AI i jak łączy się ono z dociekliwym nastawieniem?

Mashhood Ahmed: Łączy się bardzo dobrze. Strategia oznacza skupienie się na jednej rzeczy i usunięcie całego szumu. Zastanów się, co jest naprawdę ważne w danym kontekście, co nie jest ważne i co jest tylko szumem.

Taka świadomość tworzy wartość, ponieważ AI może wykonać za ciebie żmudną pracę, a ty wybierasz elementy, które są wartościowe: coś, co warto umieścić w dokumencie, bazie wiedzy AI lub profilu interesariusza.

Możesz powiedzieć: „Nie chcę umieszczać tego na prezentacji, ponieważ wiem, dokąd to doprowadzi, ale wiem, że ta osoba będzie na spotkaniu i prawdopodobnie zada mi to pytanie. Pomóż mi się przygotować”. Właśnie tutaj spotykają się strategiczne weryfikowanie wyników i dociekliwe nastawienie.

To ty decydujesz, co umieścić na slajdzie, ponieważ znasz swoich interesariuszy i potrafisz odczytać sytuację. AI nie siedzi przed zarządem, PMO ani interesariuszem i nie odpowiada na pytania. To ty jesteś na miejscu kierowcy.

W dwóch różnych projektach będziesz zadawać dwa różne zestawy pytań. Wiedzieć, co i kiedy zapytać, jest niezwykle ważne. To jedna z najważniejszych umiejętności, które musimy rozwijać, ponieważ AI może zrobić niemal wszystko, ale kluczowe jest pytanie, czy prosisz ją o zrobienie właściwej rzeczy we właściwym momencie.

Galen Low: To zabawne, bo mógłbym przejść przez tę rozmowę, usunąć z niej AI i zastąpić ją bezpośrednimi podwładnymi, a wszystko nadal byłoby prawdziwe. Inwestujemy czas w przekazywanie kontekstu, kwestionowanie wyników i udzielanie informacji zwrotnej maszynom, a te same działania pomogłyby nam być lepszymi liderami ludzi.

Czasami mój prompt jest bardziej szczegółowy niż instrukcje, które przekazałbym człowiekowi, ponieważ zakładam, że człowiek sam zrozumie kontekst. Moglibyśmy lepiej edukować naszych ludzi, tak jak edukujemy modele językowe, na temat szczegółów projektu, polityki, priorytetów strategicznych i tego, co nie jest ważne.

Pomagasz wielu organizacjom rozwijać dociekliwość i umiejętność strategicznego oceniania wyników. Czy przekazujesz LLM informację zwrotną, mówiąc: „Dziękuję, ale nie uwzględnię tego z tego powodu. Teraz przygotuję slajdy”, czy po prostu przechodzisz dalej? Jak pomagasz ludziom przyjąć takie nastawienie i rozpoznać objawy niewłaściwego korzystania z AI?

Mashhood Ahmed: Odpowiadając na pierwsze pytanie: przekazywanie informacji zwrotnej generatywnej AI jest bardzo ważne. Zachęcam wszystkich słuchaczy do sprawdzenia, czym są prompt systemowy, instrukcje niestandardowe i pamięć. Nie będę teraz wyjaśniał różnic, ale zapytajcie o nie dowolną AI.

Możecie aktualizować pamięć i instrukcje niestandardowe w Outlooku, Copilocie, ChatGPT czy Claude. To pomoże ustalić granice i reguły. Jeśli wydarzy się coś konkretnego, AI ma wykonać określone działanie.

Nawet po skonfigurowaniu pamięci, instrukcji niestandardowych i promptów systemowych AI nadal będzie popełniać błędy. Musisz więc zachować czujność. Umiejętność wychwytywania tych problemów również trzeba rozwijać.

Jeśli chodzi o osoby, które nadal się wahają, to zdarzało się to również 25 czy 30 lat temu, gdy pojawił się internet. Ludzie mówili: „Wiem, gdzie wszystko znajduje się w moim magazynie”. To prawda, ale gdy jesteś na urlopie, inni nie mogą pracować. Trzeba stworzyć system odporny na błędy, na przykład internetową bazę danych.

Pojawia się też pytanie: „Czy AI wpłynie na moją pracę? Czy moja praca jest zagrożona?”. Odpowiedź brzmi: tak i nie. Nie mamy jednoznacznej odpowiedzi, ponieważ wszystko zależy od kontekstu. Wiemy jednak z historii, że zawody się zmieniają, pojawiają się nowe zawody, narzędzia i technologie.

Dwadzieścia pięć lat temu nikt nie słyszał o inżynierach chmury, wirtualizacji czy komputerów stacjonarnych. Projekty, które realizowaliśmy 15 lat temu, dziś wyglądają inaczej. Kiedyś konfigurowaliśmy centrum danych w budynku biurowym. Dziś pytamy, jakiego serwera potrzebujesz, ile serwerów potrzebujesz, i korzystamy z Amazon Web Services, Azure lub Google Cloud.

Jeśli wiesz, co trzeba zbudować, możesz stworzyć hurtownię danych, centrum danych lub serwery w ciągu kilku godzin albo kilku dni zamiast sześciu miesięcy. Musimy zrozumieć, że projekty realizowane dziś nie będą projektami realizowanymi jutro.

Logiczna odpowiedź brzmi: ucz się najnowszych narzędzi, poznawaj swoje ślepe punkty i ślepe punkty narzędzi. Modele AI będą się zmieniać. W jednych obszarach będą coraz lepsze, a w innych mogą działać gorzej. Istnieje zjawisko dryfu promptów i dryfu modelu.

Dlatego zawsze potrzebna jest kontrola jakości. Pięciolinijkowy prompt może wygenerować siedmiostronicowy dokument, którego prawidłowe przeczytanie zajmie co najmniej 25–30 minut. Jeśli dokument będzie niepoprawny, edycja może zająć cały dzień.

Nadal potrzebny jest ludzki wgląd, ponieważ to my występujemy przed zarządem i zarządzamy ludźmi. Rozumiemy złożoność ludzkiego myślenia. Różne kultury mają odmienne cechy, a zarządzanie ludźmi, konfliktami i relacjami będzie wymagało nowego sposobu myślenia.

Galen Low: Czy możesz opowiedzieć historię od początku do końca? Zaczęliśmy od generycznych pytań prowadzących do generycznych wyników, następnie przeszliśmy do dociekliwego nastawienia i strategicznego weryfikowania, a na końcu do lepszego rezultatu.

Jakie objawy widzisz u zespołów, które na początku korzystają z AI w sposób generyczny, kopiują wynik, używają go bez zmian, a następnie ponoszą konsekwencje, gdy okazuje się niepoprawny? Jak pomagasz im przejść do dociekliwego nastawienia i strategicznego weryfikowania? Jaki jest później rezultat?

Mashhood Ahmed: Z mojego doświadczenia wynika, że trzeba pokazać ludziom coś bardzo prostego. Na początku tego podcastu proponowałem eksperyment z kostką, aby pokazać, że generyczne dane wejściowe dają generyczny wynik.

Czasami ktoś mówi: „To magia, włamałeś się do systemu”. Nie włamałem się do generatywnej AI. To po prostu statystyka i matematyka. AI działa na podstawie wzorców.

Jak podnieść poziom zespołu? Są osoby, które wyprzedzają resztę. To wewnętrzni ambasadorzy AI. Zaproś ich do współpracy i pozwól im prowadzić warsztaty, spotkania technologiczne czy sesje edukacyjne podczas lunchu.

Nie trzeba zaczynać od czegoś wielkiego. W jednej z organizacji konsultingowych, z którą obecnie współpracuję, zaczęliśmy od podstaw AI i podstaw promptowania. Otrzymałem informację, że 70% uczestników miało większą pewność siebie niż wcześniej. Wystarczyła jedna dwugodzinna sesja, aby zwiększyć ten wynik z 19% do ponad 70%.

Około 90% osób prawdopodobnie poleciłoby takie szkolenie współpracownikowi. Trzeba jednak dopasować przykłady do odbiorców. Pomyśl o osobie z działu HR, która nie jest techniczna, albo o kimś z działu zakupów, kto nie zna się na technologii, ale świetnie rozumie zarządzanie dostawcami.

Dawaj proste przykłady. Nie zaczynaj od złożonego procesu od początku do końca. Zacznij od małych rzeczy, pozwól ludziom eksperymentować i daj im miesiąc. Na kolejnym spotkaniu pokaż coś innego i zbierz ich opinie.

Informacja zwrotna jest bardzo ważna. Możesz wykorzystać prostą ankietę: „Jak oceniasz swoją pewność siebie po tej sesji?” oraz „Czego chcesz nauczyć się następnym razem?”.

Jeśli odpowiadasz za systemy lub IT, sprawdzaj wykorzystanie Copilota i analizuj wzorce. Czy z miesiąca na miesiąc rośnie liczba używanych tokenów? Pamiętaj też o kosztach. Jeśli ludzie zaczną korzystać z narzędzia bardzo intensywnie, możecie szybko osiągnąć limit.

Pomyśl o zarządzaniu, politykach i liście rzeczy, których nie należy robić. Co może pójść źle z punktu widzenia polityki i strategii organizacji? Wiele historii pokazuje, że AI zrobiła coś, czego nie powinna była robić, ponieważ nie ustanowiono właściwych zabezpieczeń.

Przykładem jest Air Canada. Klient zapytał chatbota, czy może otrzymać zniżkę z powodu śmierci babci. Chatbot uznał, że dobrym pomysłem będzie przyznanie takiej zniżki, i obiecał konkretny procent rabatu. Klient zrobił zrzuty ekranu, wrócił z nimi do firmy i usłyszał, że taka polityka nie istnieje. Sprawa trafiła do sądu, który uznał, że Air Canada musi honorować obiecaną zniżkę.

Kwota mogła wynosić kilkaset dolarów, ale historia jest nadal przywoływana. Firma nie ustaliła właściwych zabezpieczeń, zarządzania ani polityk dla ludzi i agentów.

Zanim otworzysz nowe możliwości, zastanów się, co może pójść źle. Następnie działaj powoli i stopniowo, obserwując, jak radzi sobie zespół. Każdy zespół, biznes i problem biznesowy jest inny. Zacznij od małych kroków.

Galen Low: Podoba mi się ta równowaga. Podoba mi się również to, co robisz podczas szkoleń na uniwersytecie. Zaczęliśmy od syndromu oszusta i przeciwieństwa tego, co widzimy na LinkedIn. LinkedIn pokazuje, że ktoś radzi sobie lepiej, ktoś wie więcej, a coś innego na pewno się nie uda.

Ty natomiast gromadzisz ludzi, uczysz ich razem i sprawiasz, że czują się swobodniej. Nie muszą już zmagać się z takim poziomem syndromu oszusta, ponieważ wiedzą, na jakim etapie są inni, i mogą rozwijać się tam, gdzie jest to potrzebne.

Dociekliwe nastawienie i strategiczne weryfikowanie to również nauka. Wymaga czasu, ale buduje pewność siebie i pozwala nie tylko unikać generycznych pytań, lecz także nie przyjmować bezrefleksyjnie dopracowanych wyników LLM.

Ludzie są dobrzy w pewnych rzeczach, AI w innych. AI jest słaba w niektórych obszarach, a ludzie w innych. Musimy znaleźć właściwą równowagę.

Mashhood Ahmed: Przypomina mi to coś, o czym mówiłem w kontekście zarządzania ryzykiem AI: nadmierne poleganie na AI może osłabiać nasze zdolności poznawcze, rozwiązywanie problemów i krytyczne myślenie.

To podstawowe umiejętności, których nie nauczy cię żaden program MBA. Powinniśmy uczyć ich dzieci od najmłodszych lat: jak myśleć krytycznie, rozwiązywać problemy i zwracać uwagę na otoczenie.

Nadmierne poleganie na AI jest coraz większym problemem, ponieważ ludzie publikują raporty, wpisy na LinkedIn i inne treści wygenerowane przez AI. Sam kilka razy popełniłem błąd, publikując coś, z czego zapomniałem usunąć dwie linijki.

Błędy będą się zdarzać. Ważne jest jednak, aby je zauważyć i poprawić. Moja reputacja jest zagrożona, jeśli każdy wpis na LinkedIn zawiera takie błędy. Muszę więc zastanowić się, jaką wartość wnoszę do stołu, której żadna AI nie może wnieść.

Galen Low: Jaka jest jedna rzecz, której się oduczyłeś?

Mashhood Ahmed: Nauczyłem się akceptować, że AI potrafi robić rzeczy, które kiedyś robiłem ja, i że może robić je lepiej ode mnie.

Angielski nie jest moim pierwszym językiem. Kiedyś popełniałem mnóstwo błędów i miałem subskrypcję Grammarly, którą teraz anulowałem. Trzeba akceptować swoje ograniczenia i nie próbować wszystkiego nadmiernie poprawiać.

Możesz poprosić AI: „Oto mój styl pisania. Stosuj go. Preferuję przecinek oksfordzki albo nie”. AI będzie wtedy podążać za tym stylem. Nadal musisz jednak zachować uwagę.

Ważne jest, aby akceptować niekomfortowe rzeczy i robić krok po kroku: uczyć się, oduczać, uczyć ponownie i stale zadawać krytyczne pytania. Trzeba rozumieć, co jest istotne w konkretnej sytuacji.

Galen Low: Podoba mi się to. Uczę się, że człowiek nie musi być najlepszy we wszystkim.

Mashhood Ahmed: Zdecydowanie.

Galen Low: Mashhood, bardzo dziękuję za poświęcony czas. To była świetna rozmowa. Gdzie osoby zainteresowane twoją pracą mogą dowiedzieć się o tobie więcej?

Mashhood Ahmed: Można wyszukać moje nazwisko na LinkedIn. Znajdziecie mnie i możecie się ze mną skontaktować. Publikuję tam wpisy, które mogą was zainteresować. Możecie też odwiedzić moją stronę mashhood.net. LinkedIn to najlepsze miejsce, aby mnie obserwować. Publikuję również treści na TikToku, choć nie regularnie.

Możecie także sprawdzić moje nagrania z różnych wydarzeń. Publikuję jedno- i dwuminutowe fragmenty podcastów oraz konferencji, w których pokazuję małe rzeczy, które można zrobić inaczej.

Galen Low: Świetnie. Umieszczę w notatkach do odcinka linki do twojego LinkedIna, TikToka i strony internetowej.

Jeszcze raz dziękuję. To była wspaniała rozmowa.

Mashhood Ahmed: Wspaniale. Dziękuję i mam nadzieję, że podcast zostanie wkrótce opublikowany.

Galen Low: Dobrze, to wszystko w dzisiejszym odcinku podcastu Digital Project Manager. Jeśli podobała wam się ta rozmowa, zasubskrybujcie podcast na platformie, z której słuchacie. Jeśli chcecie poznać jeszcze więcej praktycznych wskazówek, studiów przypadków i gotowych modeli działania, załóżcie bezpłatne konto na stronie thedigitalprojectmanager.com.

Do usłyszenia następnym razem. Dziękuję za słuchanie.