Varför smarta människor får generiska resultat från AI

Galen Low: Låt oss vara ärliga, vi är alla trötta på att granska leveranser, rapporter och statusuppdateringar som alla osar av generisk AI. Men även om det är lätt att skylla på tekniken och lämna det där, pågår det något mer här. De flesta får generiska resultat från AI eftersom de ställer generiska frågor. Och de flesta ställer generiska frågor eftersom de antingen inte förstår hur tekniken fungerar, saknar självförtroende nog att utmana AI eller känner sig som bedragare bland sina kollegor – eller ibland allt detta på en gång.

Som ett resultat håller många på att förlora de färdigheter vi behöver allra mest just nu: nyfikenhet och förmågan att tänka kritiskt. För att hjälpa oss att åtgärda det i våra team har jag bjudit in en AI-expert och utbildare som är fast besluten att höja nivån för alla, så att bedragarsyndrom, svaga instruktioner och generiska AI-resultat blir ett minne blott. Och så att det människor bidrar med åter hamnar i rampljuset. Hoppas att ni uppskattar avsnittet.

Välkommen till Digital Project Manager-podden – programmet som hjälper leveransansvariga att arbeta smartare, leverera smidigare och leda sina team med självförtroende i AI-åldern. Jag heter Galen, och varje vecka går vi igenom strategier från verkligheten, framväxande trender, beprövade ramverk och någon enstaka krigshistoria från projektets frontlinjer. Oavsett om du styr omfattande transformationsprojekt, hanterar AI-arbetsflöden eller bara försöker hålla kaoset under kontroll har du kommit rätt. Nu kör vi.

Okej, i dag pratar vi om hur bedragarsyndrom kring AI kan hålla våra team tillbaka på subtila och mindre subtila sätt, och vilka praktiska steg vi kan ta för att hjälpa dem att hitta balansen mellan att vara nyfikna och samtidigt strategiskt granska resultaten från sina AI-verktyg.

Vi kommer att gå igenom ett praktiskt ramverk för att få våra team att ställa bättre frågor och kritiskt bedöma resultaten, samt vilken inverkan det kan ha på ett företags övergripande AI-strategi. Och vi ska prata om färdighetsförlust och hur man håller teamen på ständig utvecklingskurs när världen förändras runt dem.

Med mig i dag har jag Mashhood Ahmed, rådgivande projektdirektör på M1 Consultants. Mashhood hjälper företag att utforma och leverera program för införande av generativ AI som skapar konkret effekt. Med hjälp av ett beprövat ramverk för införande av generativ AI på fyra nivåer – AI-kunnighet i hela organisationen, avdelningsspecifika arbetsflöden, agentbaserad automatisering och utbildningsprogram – hjälper Mashhood team att ta sig framåt med AI på ett sätt som sätter mänsklig uppfinningsrikedom främst.

För att få allt detta att fungera använder Mashhood sina mer än 20 års erfarenhet av program-, projekt- och förändringsledning. För honom handlar AI om mer än verktyg. Det handlar om att integrera AI i hur arbetet faktiskt blir gjort.

Mashhood, stort tack för att du är med mig i dag.

Mashhood Ahmed: Tack så mycket. Tack för att jag fick komma.

Galen Low: Jag ser verkligen fram emot att fördjupa mig i det här.

Jag har sett ett par av dina föreläsningar om det här ämnet, och jag tycker verkligen att perspektivet är så välbalanserat. Din syn på hur vi behöver se på AI i implementeringen och integreringen i vårt arbete resonerade verkligen med mig. Jag tycker att den är väldigt pragmatisk, så jag ser fram emot att fördjupa mig i det här i dag.

Du har förstås samarbetat med oss här på The Digital Project Manager flera gånger. Ditt budskap går alltid hem. Därför tänkte jag att vi kanske kunde börja med en stor och svår fråga, och sedan låta samtalet ta oss dit det vill. Längs vägen skulle jag gärna beröra vad det innebär att ha ett nyfiket förhållningssätt till AI och varför det spelar roll, vilka steg vi kan ta med våra team för att balansera den nyfikenheten genom att strategiskt granska våra AI-resultat, och även vad som står på spel för AI-teknikens framtid om våra team fortsätter att arbeta utifrån ytliga frågor och tar generiska resultat för givna när de interagerar med AI.

Så ja, jag vet att det var mycket, men hur låter det?

Mashhood Ahmed: Det låter perfekt.

Galen Low: Okej. Fantastiskt. Nu kör vi. Jag börjar med en ganska bred fråga eftersom du arbetar med flera organisationer och hjälper dem att bli förtrogna med AI så att de kan integrera det i sina arbetssätt.

Men jag har hört dig prata om hur människor använder generiska frågor för att få generiska resultat och sedan använder dem precis som de är. Så jag tänkte fråga: om du måste gissa, hur stor andel av de personer som använder AI i ett professionellt sammanhang får bara genomsnittliga, generiska resultat från AI och tror att det är så bra det kan bli?

Mashhood Ahmed: Ja, det är en mycket bra fråga. Hur stor andel använder AI på ett generiskt sätt och får generiska svar? Min gissning är att ungefär 40–50 procent gör det. Och jag skulle vilja ge hela din publik ett litet test, okej? För att visa vad jag menar med det generiska svar man får från AI. De flesta av oss har någon gång i livet spelat något spel med en tärning.

Det jag vill att ni gör – och jag har genomfört det här experimentet med hundratals människor i rummet, med tjugo personer i rummet, och varje gång får jag samma, eller åtminstone mycket liknande, svar – är att öppna Copilot i en flik, ChatGPT i en annan, Gemini i en tredje och något annat i en fjärde, okej?

Jag vill att ni provar fyra eller fem verktyg. Vanligtvis skulle jag göra det med ett verktyg i ett större rum, men låt oss prova så att ni själva får uppleva det. Skriv en enkel instruktion: ”Kasta en sexsidig tärning åt mig.” När ni kör den instruktionen kommer de flesta generativa AI-verktyg att ge svaret fyra, okej?

Och som jag sa har jag gjort det här med hundratals personer i rummet. Vanligtvis får 85–90 procent fyra. Det finns några enstaka som får något annat. Jag har fått återkoppling från personer som testat ChatGPT, Gemini, Claude, Groq, Perplexity och andra, eller hur? Så återigen gör alla samma misstag.

Vad som händer är att när du ber AI att kasta en tärning vet den inte hur man kastar en tärning. Statistiker och matematiker har lärt AI-modellen att om du behöver kasta en tärning ska du ta ett av sex – de sex alternativen – beräkna genomsnittet, avrunda om det behövs och ge det mediokra svaret.

När du får fyra är genomsnittet tre komma fem, avrundat till fyra. Därför får du svaret fyra 80–90 procent av gångerna. Nu vill jag att ni experimenterar lite mer. Skriv samma instruktion i samma fönster: ”Kasta en sexsidig tärning åt mig där varje sida har samma sannolikhet”, och lägg sedan till några partiska kommentarer, som ”Jag vill gärna få det högsta eller lägsta talet”, eller något annat tokigt.

Jag har sett människor använda olika typer av instruktioner, och ibland samlar jag in dem. Då kommer ni att se att ni varje gång får ett mer balanserat svar eftersom ni bad den att kasta en välbalanserad, välskakad tärning eller något liknande. Det här visar att om du ställer en generisk fråga som ”Kasta en sexsidig tärning åt mig” får du talet fyra 80–90 procent av gångerna.

Anledningen är att AI inte förstår sammanhanget. Den har ingen bakgrund om ditt projekt eller ditt omdöme, det mänskliga omdöme vi använder. Därför är det mycket viktigt att dina instruktioner eller agenter innehåller så mycket sammanhang och så många begränsningar och skyddsräcken som möjligt för att du ska få ett bra svar.

Galen Low: Jag älskar det. Jag öppnade faktiskt ett par stora språkmodeller just nu, och du har helt rätt. Jag hade bara tre flikar öppna. Två av dem kastade en fyra och en kastade en sexa. Jag har inte hunnit komma till hur sammanhanget förändrar resultatet, men jag tycker att det här är väldigt träffande. Och om vi återgår till det du sa: varken du eller jag har gjort någon djupgående forskning, och ingen av oss är statistiker i egentlig mening.

Men intervallet 40–50 procent som du nämnde tycker jag låter rimligt. Jag håller med. Det finns så många som fortfarande använder AI som Google Sök, med en enkel instruktion på fyra eller fem ord, vilket kanske inte är det sämsta i vissa sammanhang. Men jag håller med om att komplexiteten i projekten vi driver och människorna vi arbetar med innebär att det finns en mängd historia och kunskap mellan våra öron som inte finns med i det som den stora språkmodellen har tränats på.

Och om vi inte berättar det får vi generiska resultat. Det jag både älskar och avskyr mest med generativ AI just nu är att den är så övertygande. Människor publicerar det här. Det är inget nytt. Men det ser så bra och övertygande ut, och sedan säger den att du är fantastisk, så du vill bara köra vidare med det.

Du tänker: ”Toppen, jag är klar.” Det här är mycket mer välpolerat än det jag själv skulle ha gjort, så jag tar det och går vidare. Vi kommer att prata om några av anledningarna till att vi gör så. Men jag tror också att det bara ser så övertygande ut oavsett vad, även när det är väldigt mediokert.

Mashhood Ahmed: Ja. Jag använder ett knep som kallas rollbyte. Det innebär att du har gjort klart din rapport, ditt projektförslag eller vilket dokument eller mejl som helst. Du kan helt enkelt använda en instruktion för rollbyte som låter ungefär så här: ”Läs nu det här mejlet eller dokumentet ur perspektivet hos en person som stöder eller inte stöder det här projektet”, och sedan ge lite mer sammanhang om personen.

Då får du ett svar. Sedan kan du välja att redigera dokumentet eller säga: ”Vet du vad? Jag behåller den här frågan och förbereder mig på den. Om någon ställer den här frågan på mitt nästa möte eller när jag presenterar projektet inför en stor publik eller styrelsen, har jag svaren redo.”

Det här är mycket viktigt eftersom vi som arbetar i projekt ofta överrumplas av så mycket brus. Vi kan använda AI för att byta perspektiv. Titta till exempel ur ekonomichefens perspektiv, när denne inte är övertygad om att vi behöver spendera 1,4 miljoner dollar för att rädda projektet. Det är ett annat sammanhang.

Ibland tänker vi inte ens på sådant när vi arbetar som projektledare eftersom vi är upptagna. Om AI kan hjälpa oss med mycket av det andra arbetet kan projektledaren fokusera på kritiskt tänkande och på att ställa rätt frågor. Det är en mycket viktig kompetens, och jag kallar den ett nyfiket förhållningssätt. Det ska vi också prata om i dag.

Galen Low: Fantastiskt. Ja, låt oss göra det. Jag gillar det eftersom det på så många sätt inte handlar om att AI gör jobbet åt dig. Det hjälper dig faktiskt att bygga empati med dina intressenter så att du inte blir överrumplad. Att du blir överrumplad beror oftast på att du inte har förutsett någon annans perspektiv.

Vi kommer till det, men jag vill först zooma ut lite. Jag har sett dig använda uttrycket bedragarsyndrom i dina föreläsningar och inlägg. För den som inte känner till det är det ett fenomen där framgångsrika yrkespersoner känner att de har lurat sina kollegor och kanske inte förtjänar sina framgångar.

I AI-sammanhang tror jag att det kanske är lite annorlunda än att bara känna att man inte förtjänar framgång. Vad är det med AI som utlöser vårt bedragarsyndrom, och hur påverkar det vårt sätt att förhålla oss till AI?

Mashhood Ahmed: Det finns flera saker som utlöser bedragarsyndrom och får oss att känna: ”Jag hänger inte med. Jag förstår inte det här tillräckligt bra, eller alla andra verkar förstå det.” För det första är AI osynligt. Vi är vana vid input, process och output. Det är så vi har byggt våra karriärer. Vi ger input, något bearbetar den och vi förstår arbetsflödet i processen. I AI-åldern varierar arbetsflödet beroende på sammanhanget och detaljerna i instruktionen du ger.

Det blir en svart låda, och det gör oss lite obekväma. Ibland gör det mig obekväm. När jag håller livedemonstrationer har det hänt tre gånger att demonstrationen inte fungerade som jag förväntade mig. Den fungerade tio gånger, men en gång gjorde den inte det. Det gör oss obekväma.

Det är en osynlig låda. En annan sak är att du går in på LinkedIn eller sociala medier och får intrycket att alla gör det, men alla gör det inte på rätt sätt. Jag lär mig fortfarande. Jag lär mig nya saker hela tiden. Dessutom vänjer vi oss som projektledare eller PMO-chefer vid att veta allt som händer i projektet.

Varför finns den här risken? Vad är problemet med den här leverantören? Om någon tar med mig till ett specifikt möte kan jag förklara vad som hände med leverantören. Jag har hela historiken. Här är allt osynligt. Det gör oss väldigt obekväma, och det är det som orsakar bedragarsyndromet – vi har inte kontroll.

Människor vill ha kontroll. Det är en av sakerna vi är vana vid: att kontrollera allt. Vi är en art av kontrollfreakar. När kontrollen övergår till en maskin skrämmer det oss.

Det är där bedragarsyndromet kommer in, eftersom vi inte vet vad maskinen kommer att säga. Vi måste dubbelkontrollera och verifiera allt, och ibland skapar det för mycket brus.

Det skapar mer arbete än det faktiskt skapar värde, och det är där de nyfikna frågorna, bruset och några andra ämnen som vi ska diskutera i dag kommer in.

Galen Low: Det är verkligen intressant eftersom det på sätt och vis har två sidor. Den ena är den populära definitionen av bedragarsyndrom: att känna sig som en bluff eftersom alla omkring dig verkar göra så mycket mer fantastiska saker än du. LinkedIn-flödet är enligt min mening den absolut sämsta platsen att gå till för att bygga upp sitt självförtroende kring AI. Det är som: ”Sju saker du gör fel med din instruktion.”

”Varför dina agenter fortsätter att misslyckas.” Och jag tänker: ”Herregud, jag måste göra allt det här fel. Jag är värdelös.” Den andra sidan är det du sa tidigare: att det är lätt att titta på vissa resultat och inte vilja kritisera dem. Det är en annan mänsklig sak: ”Okej, det ser färdigt ut.”

Om jag skulle ge återkoppling nu, precis som när en projektledare får leveranser som är 98 eller 100 procent färdiga, tänker man: ”Om jag ger återkoppling nu och deadline är i morgon går vi in i en spiral, måste reda ut allt och sedan bygga om det.”

Här har vi för det första den svarta lådan, som du sa. För det andra ser det färdigt ut. Och för det tredje, om du inte känner dig säker tänker du: ”AI är väl smartare än jag. Jag tar det bara. Vad vet jag jämfört med den här saken som tränats på hela internet och hela mänsklighetens historia sedan informationsåldern?”

Vad vet jag jämfört med det här? Men som du säger är dess blinda fläck sammanhanget. Den vet inte nödvändigtvis vad som sades på mötet, vilken intressent som är emot projektet eller var riskerna finns. Det finns så mycket i din hjärna som AI inte känner till, och därför är det samarbetet så viktigt.

Mashhood Ahmed: Det finns ett gammalt uttryck som just kom till mig: djävulen finns i detaljerna. Det ser alltid ut som en färdig produkt, men det finns en djävul i detaljerna som vi måste titta på. Som projektledare vet du att mötestranskriberingen kan spela in vad som sades, men du vet också att intressenten som sade ja egentligen kanske menade.

Den personen är kanske inte helt övertygad om din idé eller om den aktuella situationen, risken eller projektet. Du vet att en viss direktör kommer att skriva under projektförslaget, dokumentet, användartestningen eller driftsättningsdokumentet, men det är inte den personen som kommer att göra allt tillsammans med dig.

Det finns en annan person med titeln analytiker eller något liknande som kommer att lyssna. Det är din indirekta intressent, och du behöver få hans eller hennes stöd – inte bara stöd från personen med direktörstiteln. Det kommer från erfarenhet och kritiskt tänkande.

Vi ska också prata om varför kritiskt tänkande är viktigare än någonsin. Du förstår politiken, människorna och dynamiken. Det som fungerar i din organisation kanske inte fungerar i en annan. Vi har PMO:er, PM-mallar och PMI som tillhandahåller mängder av riktlinjer.

Jag har aldrig drivit ett projekt som kunnat följa en enda metod eller sak, eftersom varje projekt är unikt för situationen. Det är där människan kommer in och säger: ”Ja, det här är tillämpligt i min situation. Jag förstår mina intressenter, sponsorer, mitt team och mina risker.”

Du har risker begravda någonstans i riskregistret, kanske på rad 14 eller 15, men det är den risken som kan slå till. Allt detta kommer från mänsklig insikt.

Galen Low: Jag älskar det. Redan det lilla avsnittet är något många projektledare behöver höra. Jag försöker se det ur perspektivet hos någon som leder team av projektledare – en roll som redan är politisk, komplex och präglad av bedragarsyndrom.

Många har hamnat i rollen av en slump. De känner inte att de gör rätt eftersom de inte följer läroboken till hundra procent. Det verkar bara som att de går på magkänsla och improviserar. Men precis som du sa är det det som är värdefullt. Det är den ytterligare kontexten som behövs.

Det är din specialitet, och AI är verktyget du samarbetar med för att använda din kunskap på ett sätt som också gör dig mer produktiv – eller åtminstone kanske mer produktiv. Låt oss faktiskt gå in på det, för jag tror att föreläsningen jag såg dig hålla handlade om ett slags yin och yang mellan nyfikenhet och strategisk granskning, alltså kritiskt tänkande, och att det är nyckeln till att använda AI effektivt.

Vi kanske kan börja med den nyfikna delen. Vad innebär ett nyfiket förhållningssätt för dig? Och varför är det viktigt när det gäller AI?

Mashhood Ahmed: Förr hörde vi uttryck som ”data är makt” och ”kunskap är makt”, och att den som hade mest data skulle ligga före inom teknik och allt annat.

Jag tror att motsatsen är sann just nu. Ju mer data och kunskap du har, desto mer kan det bli en förbannelse. Du behöver relevant data och relevant information för att skapa värde. Jag kan hitta enorma mängder data om nästan vad som helst på internet, och nu har generativ AI genomsökt all data. Du kan be den dela specifik information, och allt finns nära till hands.

Det finns mycket brus. Du skriver tre eller fyra rader instruktion och får ett dokument på fem sidor som du måste läsa, förstå och plocka ut de punkter som verkligen spelar roll ur. Det finns alltså mycket brus. Att förstå bruset är input. Den strategiska granskningen innebär att ställa frågor.

Med enkla ord: vilken är den mest relevanta frågan jag behöver ställa till AI för att få hjälp? Jag måste förstå tydligt varför den är viktig. Om du inte ställer rätt fråga kommer AI att hålla med dig. Den ger dig ett jakande svar. Du behöver byta perspektiv. ”Okej, titta nu ur det här perspektivet. Vad händer i den här situationen?” Ställ frågor av typen ”tänk om”.

Att formulera alla dessa tänk om-scenarier kräver mycket kognitiv kraft. Jag kan säga av erfarenhet att två eller tre timmars arbete med generativ AI är så krävande att jag blir trött inom två eller tre timmar.

Bokstavligen trött. Efter två timmars kontinuerligt arbete med generativ AI kring något specifikt blir jag trött och hjärnan känns överbelastad. Jag behöver en paus. Ta en paus, men fortsätt ställa frågor. Om du inte ställer rätt fråga får du ett jakande svar.

Tänk också på att vi som projektledare har arbetat med CIO:er, ekonomichefer, vd:ar, direktörer och vice verkställande direktörer under våra karriärer. Ibland undrar jag hur den personen kom upp på den nivån. En sak som alla dessa ledare har gemensamt är att de ställer en eller två frågor som verkligen spelar roll och går på djupet.

Om jag svarar rätt på frågorna vinner jag deras respekt. Om jag inte gör det tänker de: ”Jag går inte till Mashhood. Han är inte min favoritprojektledare, PMO-chef eller direktör.” De här personerna gör karriär eftersom de ställer rätt fråga vid rätt tidpunkt.

Det blir ännu viktigare att ställa rätt fråga eftersom AI kan göra mycket åt dig. Om du konfigurerar dina AI-agenter rätt kan de utföra mycket arbete i bakgrunden. Men sammanhanget är fortfarande: ställer du rätt fråga som verkligen spelar roll just nu, och vad ska du göra härnäst?

Vad ska du göra med den här informationen? Du har fått en rapport och en annan rapport. Okej, vad ska du göra efter att ha läst rapporten? Ska du ändra något? Bra. Om du säger: ”Rapporten är bra och visar mig det här talet”, så är det fint – men vad förändras? Det är de riktiga frågorna som går på djupet.

Jag vill att alla som lyssnar på den här podden pausar och frågar sig: ”Vilka djupa frågor behöver jag ställa på nästa möte för att verkligen tränga igenom?” Och bör jag ställa in mötet om jag inte kommer att ställa sådana djupa frågor? Ställ då in mötet. Folk hatar möten.

Galen Low: Jag gillar verkligen det. Jag undrar om vi kan gå igenom ett scenario när människor kommer tillbaka från sin reflektionspaus. Jag gillar tanken på att ställa bättre frågor.

Jag gillar också idén att många som vi ser som framgångsrika eller som har nått en hög senioritetsnivå i en organisation är personer som verkar ha instinkten att ställa rätt fråga vid rätt tidpunkt. Du pratade om att interagera med en stor språkmodell och ibland ha ett samtal i en, två eller tre timmar, och alla som lyssnar kanske inte sitter och arbetar så med sin språkmodell.

Men även ett samtal på 30–45 minuter med språkmodellen, där man ställer rätt frågor, kan vi gå igenom ett scenario för hur det skulle kunna se ut och vilka frågor man kan ställa?

Mashhood Ahmed: Jag skulle börja så här: säg att jag arbetar med ett nytt projekt. Jag skulle ge AI åtkomst till mina dokument. Om jag har Copilot i Office – många företag har numera infört Copilot, men de flesta använder det inte effektivt – skulle jag dela dokumenten och sätta gränser: ”Bara de här dokumenten.” Sedan skulle jag börja fråga: ”Vad är ofullständigt? Var behöver jag fylla i luckor? Vilka motsägelser finns i dokumenten? Vad skulle någon annan kunna ifrågasätta hos mig?”

Det är frågor av typen perspektivbyte. Vi ber om mer budget. Vilken fråga skulle ekonomichefen ställa? Ekonomichefen bryr sig inte om projektet följer planen. Han eller hon bryr sig om huruvida vi håller budgeten. Företagsägaren eller verksamhetschefen bryr sig om projektet går i drift i tid. CIO:n kanske bryr sig om integrationen och om våra data är säkra och skyddade.

Alla har alltså ett annat perspektiv, och perspektivbytet hjälper verkligen. Be AI att byta perspektiv. Jag arbetar till exempel med innehåll just nu och frågar generativ AI: ”Vilka motsägelser finns här? Vad är överflödigt och har jag redan täckt?” Vi tenderar ibland att upprepa saker. Ibland är det bra, men för mycket upprepning är inte bra.

Säg sedan: ”Hjälp mig steg för steg.” En annan instruktionsteknik jag använder är att be generativ AI intervjua mig eller ställa frågor till mig en i taget. Varför? Vi behöver förstå varför hallucinationer uppstår. De uppstår eftersom vi inte ger AI tillräckligt med sammanhang.

AI gör antaganden. Om antagandena stämmer får vi ett bra svar. Om de inte stämmer hittar AI på data, gör felaktiga antaganden och ger dig ett resultat som du tycker är helt fel. Vi behöver därför träna AI på samma sätt som vi skulle träna en praktikant.

Tänk på AI som någon som har börjat i ditt team, har en MBA eller nyligen klarat PMP-examen. Väldigt smart och duktig, men gör nybörjarmisstag. Den kommer alltid att göra nybörjarmisstag. Skriv en instruktion: ”Ställ klargörande frågor till mig, en i taget.” Då kommer AI att kontrollera alla antaganden med dig.

Jag säger en i taget eftersom AI annars kan ställa fyra frågor på en gång. Jag svarar på en och AI antar att jag svarade på alla fyra. Om du tvingar den att ställa en fråga i taget och vänta på svaret får du möjlighet att svara ordentligt. Då kommer du att se att kvaliteten på dina svar och värdet du får från AI blir mycket bättre.

En annan sak är att sätta upp begränsningar eller skyddsräcken. Som människor är vi väldigt bra på vad vi ska göra och väldigt dåliga på vad vi inte ska göra. Vi förstår att ändlöst scrollande inte är bra, men de flesta av oss lägger ändå mycket mer tid på det än vi borde eftersom det är enkelt och bekvämt.

Det är som en lista över saker man inte ska göra, men de flesta har ingen sådan lista. I AI-åldern är det mycket viktigt att ha en sådan lista och lägga in den som ett skyddsräcke i dina agenter eller instruktioner. Då kan du verifiera, dubbelkontrollera och be AI att specifikt undvika vissa saker. Det du inte ber AI att göra tenderar AI att göra.

Det är därför bättre att lägga in skyddsräcken. En annan sak jag pratade om är att stapla begränsningar. Jag behöver till exempel ett svar i tre punktlistor, en tabell med fem kolumner eller ett svar på 50, 200 eller 1 000 ord. Jag föredrar oftast kortare svar och bygger sedan vidare på dem.

I Copilot finns en funktion där du kan säga: ”Gör de här ändringarna och tillåt redigering.” Då kan Copilot redigera dina dokument. I en PowerPoint-presentation eller ett Word-dokument kan jag säga: ”Kontrollera och korrigera layouten på den här bilden.” Då behöver jag inte göra det manuellt.

Det tar lite mer tid, men fungerar bra. Var mycket specifik när du ber Copilot redigera dokumentet. Ge den inte fria händer att redigera hela dokumentet, eftersom du inte vet vad den kommer att ändra. Kom ihåg att ditt namn står på alla rapporter du lämnar in.

När du får ett svar från generativ AI står det: ”Genererat av AI. Kontrollera detta. AI kan göra misstag.” Du kan inte lägga samma friskrivning på en rapport med ditt namn: ”Utvecklad av Mashhood, men genererad av AI. Kontrollera riktigheten.” Det hade varit bra, men det går inte, eftersom ditt namn står på spel.

Det är sådant vi måste förstå: den mänskliga delen kan vi inte ignorera. Människan kommer alltid att finnas med i loopen. Även med agentbaserad AI behöver vi människor i olika kontrollpunkter och skeden för att verifiera att en agent gör rätt och sedan följa upp.

Galen Low: Ja. Låt oss gå in på den strategiska granskningen. Men innan dess gillar jag att nyfikenhet och rätt frågor egentligen handlar om lärande. Vi är bra på att göra, som du sa. Vi försöker få något gjort, ibland så snabbt som möjligt, eftersom vi tror att det är vad AI ska hjälpa till med.

Eller så kanske vi känner att förväntningen på oss är att allt ska ta 15 minuter nu när vi har Copilot och stora språkmodeller. Det jag gillar med det du sa är att du beskrev ett samtal som tar tid, där man ställer frågor som kanske inte är uppenbara, sätter upp skyddsräcken och frågar om sådant som saknas eller motsäger varandra.

Det är sådant projektledare ofta är bra på. När jag ledde ett team fokuserade jag på att inte bara ge återkoppling på det som finns, utan också på det som saknas. Människor är inte särskilt bra på att se det som inte finns. Vi går direkt till det som finns och kommenterar det. Om vi inte hittar något fel börjar vi kanske leta efter ett felplacerat satsmodifierande uttryck eller ett kommatecken och blir väldigt petiga för att vi vill tillföra värde.

Men det handlar egentligen om att zooma ut och säga: ”När jag instruerar dig ska du först inte göra de här sakerna, eftersom de är våra begränsningar.” Jag gillar det du sa om att bygga upp mot något, för ibland får man sju sidor från språkmodellen och ägnar resten av dagen åt att läsa och plocka isär det. Det är bättre att arbeta tillsammans i mindre delar och bygga in dem i filen.

Jag gillar också idén att använda möjligheten inte nödvändigtvis för att arbeta snabbare, utan för att använda den extra tiden till att lära sig mer och tänka mer på sitt sammanhang. En fråga innan vi går vidare: berättar du för språkmodellen om sådana nyanser? Till exempel: ”Den här intressenten kommer att säga ja, men den verkliga beslutsfattaren finns någon annanstans.”

Mashhood Ahmed: Ja. I PMP-förberedelser har vi lärt oss att använda en påverkansmatris. Jag föreslår att alla bygger en sådan för sina projekt, men också skapar en personprofil för varje intressent.

Du kan bokstavligen ha en agent som läser alla dina mötestranskriberingar och säger: ”Vad vet jag om personen som deltar i mina möten?” Sedan granskar du det och säger: ”Ja, kom ihåg det” eller ”Kom inte ihåg det. Det här stämmer eller stämmer inte.” Det hjälper AI att förstå sammanhanget.

Det hjälper också när du börjar byta perspektiv. Du kan säga: ”Det här är min sponsor. Läs mötestranskriberingen och berätta vilken personlighetstyp han eller hon har.” En annan föreläsning jag vill hålla handlar om DISC-profilering, ett koncept av John Maxwell. Tanken är att använda generativ AI för att göra DISC-profiler av intressenterna och sedan fortsätta använda dem över tid. Då kommer du att se att AI blir bättre på det.

Galen Low: Jag gillar verkligen det. Det är en smart idé. Vi behöver ge sammanhang för att få en bra bedömning. Men jag har aldrig varit typen som sitter och läser varje mötestranskribering och bygger DISC-profiler för varje intressent i mitt nätverk.

Det känns som om det skulle ta för mycket tid. Men där kan AI göra en del av arbetet och hjälpa till att informera vissa beslut, vilket i sin tur kanske påverkar de beslut du fattar. Det kan vara en bra övergång till den strategiska granskningen.

Vi har redan berört att du som människa är ansvarig och kommer att hållas ansvarig. Du kan inte säga: ”Förlåt, mitt arbete kan innehålla misstag, men fortsätt gärna betala mig.” Det fungerar inte.

Vad innebär det för dig att strategiskt granska AI-resultat, och hur balanserar det med ett nyfiket förhållningssätt?

Mashhood Ahmed: Det balanserar mycket bra eftersom strategi handlar om vad som är viktigast att fokusera på. För mig handlar strategi om en sak och om att ta bort allt brus.

Om du tittar på strategidokument innehåller de vanligtvis tre eller fem saker, eftersom det är ungefär så mycket vårt mänskliga minne klarar att hålla fast vid. Fundera på vad som verkligen är viktigt i sammanhanget, vad som inte är viktigt och vad som bara är brus. Den förståelsen skapar verkligt värde.

AI kan göra grovjobbet åt dig, men du väljer ut sådant som är värdefullt, som är värt att lägga i ett dokument, i AI:s kunskapsbank eller i intressentens personprofil. Det kan också hjälpa dig att förbereda dig på något som du inte vill lägga i presentationen eftersom du vet att presentationen kommer att ta en viss riktning om du använder det ordet.

Du kanske inte vill ta upp det, men vet att en viss person kommer att delta på mötet och sannolikt ställa frågan. Då kan du be AI hjälpa dig att förbereda dig. Det är där strategisk granskning och ett nyfiket förhållningssätt kommer in: att ställa rätt fråga, veta vad som ska vara med på bildspelet och vad som inte ska vara med.

Det är ditt beslut eftersom du känner dina intressenter och kan läsa av rummet. AI sitter inte framför styrelsen, PMO:n eller intressenten och svarar på frågor. Det är du som sitter i förarsätet. Därför spelar allt detta roll.

Två olika projekt kräver olika frågor. Att veta vad man ska fråga och när man ska fråga är avgörande. Det är en av de viktigaste kompetenserna vi behöver utveckla eftersom AI kan göra nästan vad som helst. Men ber du den göra rätt sak för dig just nu?

Galen Low: Det är roligt, för jag skulle kunna gå tillbaka genom det här samtalet, ta bort AI och ersätta det med direktrapporterande medarbetare. Allt skulle fortfarande stämma. Vi investerar all den här tiden i att ge sammanhang, utmana resultat och ge återkoppling till maskiner, och allt detta hade också gjort oss till bättre ledare för människor.

Ibland är min instruktion mer detaljerad än den genomgång jag skulle ge en människa, eftersom jag antar att människan förstår eller skaffar sig sammanhanget själv. Men vi skulle kunna bli bättre på att utbilda våra människor på samma sätt som vi utbildar våra språkmodeller, till exempel om projektnyanser, politik och vad som är strategiskt viktigt.

Du hjälper många organisationer att ta det här steget genom att använda sin förmåga att vara nyfikna, granska resultat och tänka strategiskt. Du nämnde något viktigt: ibland är det du som fattar beslutet om vad du lägger framför intressenterna och presenterar för styrelsen.

Min första fråga är om du återkopplar till språkmodellen och säger: ”Tack. Jag tar inte med det här av den här anledningen. Nu gör jag bildspelet.” Eller går du bara vidare? Det är ditt omdöme och du behöver inte träna den att tänka på ett annat sätt.

Och därefter kanske vi kan gå igenom hur du får människor att inta det här förhållningssättet, vilka symtom som visar att de inte kombinerar rätt frågor med att utmana resultat, och hur du får dem till en punkt där de vet vad de ska fråga.

Det är kanske två helt olika frågor, men ändå.

Mashhood Ahmed: För att svara på den första frågan: ja, det är mycket viktigt att ge generativ AI återkoppling på svaren. Jag vill att alla som lyssnar på podden tar reda på vad en systeminstruktion är, vad anpassade instruktioner är och vad minne är.

Jag ska inte förklara allt, men sök efter det eller fråga någon AI hur man gör, vad det är och vad skillnaden är mellan dessa tre: anpassade instruktioner, systeminstruktioner och minnen. Sedan kan du uppdatera minnen och anpassade instruktioner i Outlook, Copilot, ChatGPT eller Claude.

Det hjälper dig att sätta gränser och regler. Om vissa saker händer ska AI göra vissa saker, och det måste du upprätthålla. Även om du konfigurerar minne, anpassade instruktioner och systeminstruktioner kommer AI fortfarande att göra misstag. Du måste fortfarande hålla uppsikt.

En annan kompetens är att träna upp ögat för att upptäcka problemen. Det är en färdighet vi behöver utveckla mer.

Din andra fråga handlade om personer som fortfarande tvekar. Det händer alltid. Det hände för 25–30 år sedan när internet introducerades. Människor sade: ”Jag vet var allt finns i mitt lager.” Ja, men om du är på semester kan inte andra arbeta. Hur gör man det idiotsäkert? Lösningen var en webbaserad databas, och nu använder alla den.

En annan fråga är om AI kommer att påverka jobbet. Är mitt jobb hotat? Jag skulle säga ja och nej. Vi har inget definitivt svar. Det beror på sammanhanget. Men historien visar att yrken förändras. Nya yrken, verktyg och tekniker kommer.

För 25 år sedan hade ingen hört talas om molningenjörer, virtualiseringsingenjörer eller skrivbordsingenjörer. För 15 år sedan drev jag ett projekt för att bygga ett datacenter i en kontorsbyggnad. I dag gör vi inte sådana projekt på samma sätt. Vi frågar vilken server som behövs och hur många, går till Amazon Web Services, Azure eller Google Cloud och bygger det där.

Om du vet vad du behöver kan du bygga ett datalager, datacenter eller servrar på några timmar eller dagar i stället för sex månader. Det är viktigt att förstå att projekten vi gör i dag inte är projekten vi gör i morgon.

Frågan är hur du förbereder dig. Det enda logiska svaret är att lära sig de senaste verktygen och vara medveten om luckorna, dina personliga blinda fläckar och verktygens blinda fläckar.

AI-modellerna kommer att förändras. De blir bättre på vissa saker och sämre på andra. Det finns tekniska termer som instruktionsdrift och modelldrift. Det kommer att hända, så du behöver alltid ha ett öga för kvalitetssäkring.

En instruktion på fem rader kan ge ett dokument på sju sidor som tar minst 25–30 minuter att läsa ordentligt. Om det inte är korrekt kan det ta hela dagen att redigera. Var medveten om det och om att mänsklig insikt fortfarande behövs.

Vi är de som står framför styrelsen och leder människor. Vi förstår hur den mänskliga hjärnan tänker. Även om AI kan göra mycket finns det skillnader mellan kulturer och mellan människor. Att hantera människor, friktion och allt detta blir ännu viktigare och kräver ett annat förhållningssätt.

Galen Low: Jag gillar verkligen det. Kan jag be dig berätta en historia, från början till slut? Vi började med att generiska frågor ger generiska resultat och gick sedan över till ett nyfiket förhållningssätt och strategisk granskning, vilket ger bättre resultat.

Vilka symtom har du sett hos team som i början använder AI ganska generiskt, klistrar in något, kör vidare och sedan får problem när resultatet inte stämmer? Hur identifierar du att de behöver gå vidare?

Och hur får du dem att inta ett nyfiket och strategiskt granskande förhållningssätt? Vad är skillnaden efteråt och vilket blir resultatet?

Mashhood Ahmed: Av erfarenhet visar jag dem något mycket enkelt. I början av den här podden bad jag alla att genomföra tärningsexperimentet och förstå att generisk input ger generisk output.

Någon har ibland sagt: ”Det är magi. Du hackade systemet.” Jag hackar inte den generativa AI:n. Det handlar om statistik och matematik. AI arbetar med mönster.

Hur höjer vi teamets nivå? Det finns teammedlemmar som ligger före utvecklingen. De är era interna AI-förespråkare. Ta in dem och låt dem hålla workshoppar, tekniktisdagar eller lunch- och lärträffar där ni diskuterar något litet.

Inget stort. Gå långsamt fram. I ett aktuellt konsultuppdrag för införande av generativ AI arbetar jag med ett universitet i USA. Vi ger dem grunderna i AI, grundläggande instruktioner och enkla saker. Jag fick återkoppling att 70 procent upplevde högre självförtroende efteråt.

Vi gick från 19 till över 70 procent med en enda tvåtimmarssession. Nittio procent skulle rekommendera utbildningen till en kollega. Du måste möta människor på deras nivå. Tänk på Suzy på HR som inte är tekniskt kunnig, eller Dan på inköp som förstår leverantörshantering.

Ge enkla exempel, inte komplicerade. Försök inte köra ett helt arbetsflöde från dag ett. Gör små saker och låt människor experimentera. Ge dem en månad och visa sedan något nytt på nästa tekniktisdag eller lunchträff.

Be om återkoppling. För den här kunden byggde vi en enkel enkät: ”Hur säker känner du dig efter sessionen?” och ”Vad vill du lära dig härnäst?” Då får du återkoppling.

Om du arbetar tekniskt eller som systemadministratör kan du kontrollera Copilot-användningen och se mönster. Ökar tokenanvändningen varje månad? Var också uppmärksam på kostnaden. Om människor börjar använda tjänsten mycket aggressivt når ni gränsen.

Tänk på sammanhang, styrning och policyer. Fundera på vad som kan gå fel i organisationens policy och strategi. Det finns många nyhetsberättelser om AI som gjorde något den inte borde. Den enda orsaken är att det saknades ordentliga skyddsräcken.

Ett exempel som jag ofta tänker på är Air Canada. En kund gick till Air Canadas webbplats och skrev att hans mormor hade gått bort och att han behövde resa akut. Han frågade om de erbjöd rabatt vid dödsfall. Chatboten tänkte att det var en bra idé att ge kunden en sådan rabatt och lovade en viss rabattprocent.

Kunden tog skärmdumpar, ansökte om rabatten och fick svaret att företaget inte hade någon sådan policy. Han utmanade Air Canada med skärmdumparna och gick till domstol. Domstolen sade att Air Canada måste betala rabatten.

Rabatten kunde ha varit några hundra dollar, men det blev en historia som fortfarande diskuteras. Företaget hade inte satt upp rätt skyddsräcken, styrning eller policyer för människor och agenter.

Tänk därför innan du öppnar dörren. Fundera på vad som kan gå fel. Börja långsamt, gör det gradvis och se hur teamet fungerar. Varje team, företag och affärsproblem är unikt. Börja i liten skala.

Galen Low: Jag gillar balansen. Jag gillar också verkligen det du gör i utbildningen på universitetet. Vi började med bedragarsyndrom och motsatsen till det vi ser i våra LinkedIn-flöden. Flödena säger: ”Den här personen gör det bättre än den andra. De här personerna vet mer. Det här är fel och kommer att misslyckas.”

Du samlar alla, lär tillsammans och delar erfarenheter. Alla känner sig tryggare eftersom de inte längre behöver känna sig som bedragare. De vet var de andra befinner sig och kan utvecklas där de behöver.

Det nyfikna förhållningssättet och den strategiska granskningen handlar också om att vi själva lär oss. Det tar tid, men bygger vårt självförtroende. Då kan vi både undvika generiska frågor och sluta ta polerade resultat från språkmodellen för givna.

Vi kan få resultat av högre kvalitet som vi gärna sätter våra namn på och som visar att vi är bra på våra jobb, samtidigt som AI inte är bra på allt. Människor är bra på vissa saker och dåliga på andra. AI är bra på vissa saker och dålig på andra. Det är den balansen vi behöver hitta.

Mashhood Ahmed: Det påminner mig om något jag sade i ett tidigare föredrag om AI: en viktig kompetens är att avlära och lära om.

Vi är vana vid vissa arbetssätt. I Lean Six Sigma talar man om att människor håller fast vid status quo eller säger att de har gjort något på samma sätt i 20 år. Ja, men det är kanske inte det mest effektiva sättet. Förändringsledning handlar delvis om att avlära.

Vi måste förstå att en färdighet som hjälpte oss för tio eller femton år sedan kanske inte hjälper oss nu. Sedan behöver vi utarbeta en strategi för vilka nya färdigheter vi behöver lära oss.

Vissa är öppna för det och andra inte, och det är helt okej. Alla befinner sig på olika nivåer och i olika skeden i livet. Min pappa är arkitekt. När AutoCAD kom vägrade han använda det. Han anlitade någon som hjälpte honom med ritningarna och skrev sedan under.

Det fungerade då. På samma sätt kommer vissa att vilja prova AI och andra inte. Det viktiga är att förstå vad vi behöver avlära och vad vi behöver lära oss. Det är mycket svårt att avlära gamla vanor. Att bygga nya vanor är lättare sagt än gjort. Det finns mycket djup i de två orden avlära och lära om.

Galen Low: Genom hela samtalet gillar jag att mycket handlar om negativt utrymme. Det är inte vad som finns, utan vad som saknas. Det är inte vad vi frågade, utan vad vi inte frågade. Det är inte bara vad vi vet, utan vad vi antar.

Det handlar inte bara om lärande utan också om vad vi behöver avlära för att kunna lära oss mer inom ett annat område. Kritiskt tänkande är viktigt när vi pratar om färdighetsförlust. Om våra AI-verktyg har svaret kan vi känna att vi inte behöver vara nyfikna, ställa frågor eller lära oss, eftersom AI redan har tänkt ut allt.

Men om man vänder på det blir detta en möjlighet att lära sig mer, tänka mer kritiskt, vara den seniora ledaren i rummet och ha det skarpa ögat. Du nämnde att ha ett öga för att titta på något kritiskt och granska det tills man kan godkänna det.

Det är viktigt inom arkitektur, projektledning och arbetslivet. Att vara ansvarig för beslut som fattats av människor som arbetar för dig är det rätta sättet att se på saken – inte att lägga all tid på att lära sig AI för att slippa lära sig något annat.

Mashhood Ahmed: Det påminner mig om överdrivet beroende av AI inom AI-riskhantering. Det skadar vår kognitiva förmåga, problemlösning och vårt tänkande. Det här är grundläggande saker. Ingen MBA kan lära dig dem.

Det är något vi behöver lära barn från början: att tänka kritiskt, lösa problem och vara medvetna om sin omgivning. Överdrivet beroende av AI har blivit ett större problem eftersom människor publicerar rapporter och inlägg som de inte granskar.

Jag har själv gjort misstag och glömt att ta bort två rader. Det händer. Men det viktiga är att vara medveten, rätta felet och förstå att ens rykte står på spel.

Jag behöver tänka på vilket värde jag tillför som ingen AI kan skapa.

Galen Low: Jag älskar det. Vilket värde tillför vi? Får jag ställa dig mot väggen snabbt? Vilken sak har du avlärt dig?

Mashhood Ahmed: Att acceptera att AI kan göra saker som jag brukade göra och att acceptera att AI kan göra vissa saker bättre än jag.

Engelska är inte mitt första språk. Jag brukade göra mängder av misstag. Jag hade en Grammarly-prenumeration för några år sedan, men den har jag sagt upp. Jag har behövt acceptera mina begränsningar och inte försöka överkorrigera allt.

Jag kan gå kurser om kommatecken och skiljetecken, men välj en stil och följ den. Du kan också be AI följa din skrivstil och ange om du föredrar Oxfordkomma eller inte. Den kommer att följa det, men du måste fortfarande vara uppmärksam.

Det handlar om att acceptera det obekväma och ta ett steg i taget: lära, avlära, lära om och ställa kritiska frågor hela vägen. Det är viktigt att förstå vad som är relevant i ens egen situation. Det är några av de viktigaste färdigheterna och lärdomarna från det här samtalet.

Galen Low: Jag lär mig alltså att människan inte måste vara bäst på allt.

Mashhood Ahmed: Absolut.

Galen Low: Underbart. Mashhood, stort tack för att du tog dig tid att prata med mig i dag. Det har varit väldigt roligt. Var kan personer som är intresserade av det du gör lära sig mer om dig?

Mashhood Ahmed: De kan söka efter mitt namn på LinkedIn. Du hittar mig där och kan ta kontakt. Jag publicerar inlägg som ni kanske tycker är intressanta. Ni kan också besöka min webbplats mashhood.net. LinkedIn är det bästa sättet att följa mig. Om ni använder TikTok lägger jag ibland upp innehåll där, även om det inte sker regelbundet.

Titta gärna på några av mina videor från olika evenemang. Jag publicerar klipp på en eller två minuter från olika poddar och konferenser, så att ni kan hitta små, konkreta saker ni kan göra annorlunda.

Galen Low: Fantastiskt. Jag lägger länkar till din LinkedIn, TikTok och webbplats i avsnittets programanteckningar för den som är intresserad.

Och tack igen. Det här var ett mycket trevligt samtal.

Mashhood Ahmed: Fantastiskt. Tack så mycket, och jag ser fram emot att podden släpps snart.

Galen Low: Okej, allihop. Det var allt för dagens avsnitt av Digital Project Manager-podden. Om du uppskattade samtalet, se till att prenumerera där du lyssnar. Om du vill ha ännu fler praktiska insikter, fallstudier och arbetsmaterial kan du skapa ett kostnadsfritt konto hos oss på thedigitalprojectmanager.com.

Tills nästa gång – tack för att du lyssnade.