Waarom slimme mensen generieke resultaten van AI krijgen

Galen Low: Laten we eerlijk zijn: we zijn het allemaal zat om opleveringen, rapporten en statusupdates te beoordelen die allemaal naar generieke AI ruiken. Hoewel het gemakkelijk is om de technologie de schuld te geven en het daarbij te laten, speelt er meer. De meeste mensen krijgen generieke resultaten van AI omdat ze generieke vragen stellen. En de meeste mensen stellen generieke vragen omdat ze niet begrijpen hoe de technologie werkt, niet genoeg vertrouwen hebben om AI uit te dagen, zich een bedrieger voelen tussen hun collega's, of soms al het bovenstaande.

Als gevolg daarvan verliezen veel mensen de vaardigheden die we nu het hardst nodig hebben: nieuwsgierigheid en het vermogen om kritisch te denken. Om ons te helpen dit binnen onze teams op te lossen, heb ik een AI-expert en -opleider uitgenodigd die vastbesloten is om het niveau voor iedereen te verhogen, zodat het bedriegersyndroom, middelmatige prompts en generieke AI-uitvoer tot het verleden behoren. En zodat wat mensen bijdragen weer in de schijnwerpers komt te staan. Ik hoop dat je van deze aflevering geniet.

Welkom bij de Digital Project Manager Podcast—de show die deliveryleiders helpt slimmer te werken, soepeler op te leveren en hun teams met vertrouwen te leiden in het tijdperk van AI. Ik ben Galen, en elke week duiken we in strategieën uit de praktijk, opkomende trends, bewezen raamwerken en af en toe een waargebeurd verhaal van de frontlinies van projecten. Of je nu enorme transformatieprojecten aanstuurt, AI-workflows beheert of gewoon probeert de chaos onder controle te houden, je bent hier aan het juiste adres. Laten we beginnen.

Vandaag hebben we het over hoe het bedriegersyndroom rond AI onze teams op subtiele en minder subtiele manieren kan tegenhouden, en welke praktische stappen we kunnen zetten om hen te helpen de balans te vinden tussen nieuwsgierig zijn en tegelijkertijd de resultaten van hun AI-tools strategisch kritisch onderzoeken.

We doorlopen een praktisch raamwerk om onze teams betere vragen te laten stellen en uitkomsten kritisch te laten beoordelen, en bespreken welke impact dat kan hebben op de algehele AI-strategie van een bedrijf. Ook hebben we het over het afnemen van vaardigheden en hoe je teams zich verder laat ontwikkelen terwijl de wereld om hen heen verandert.

Vandaag bij me is Mashhood Ahmed, Consulting Project Director bij M1 Consultants. Mashhood helpt bedrijven bij het ontwerpen en uitvoeren van programma's voor generatieve AI-implementatie die tastbare impact opleveren. Met behulp van een bewezen raamwerk voor GenAI-adoptie op vier niveaus—AI-geletterdheid voor de hele organisatie, workflows per afdeling, agentische automatisering en trainingsprogramma's—helpt Mashhood teams vooruit met AI op een manier waarbij menselijke vindingrijkheid vooropstaat.

Om dat allemaal mogelijk te maken, zet Mashhood zijn ruim twintig jaar ervaring in programma-, project- en verandermanagement in. Voor hem gaat AI over meer dan tools. Het gaat erom AI te verankeren in de manier waarop werk daadwerkelijk wordt gedaan.

Mashhood, enorm bedankt dat je vandaag bij me bent.

Mashhood Ahmed: Heel erg bedankt. Bedankt voor de uitnodiging.

Galen Low: Ik heb er echt zin in om hierin te duiken.

Ik heb een paar van je lezingen over dit onderwerp gezien en ik vind de invalshoek zo goed uitgebalanceerd. Je visie op hoe we naar AI moeten kijken bij de implementatie en integratie ervan in ons werk sprak me echt aan. Ik vind het heel pragmatisch, dus ik kijk ernaar uit om er vandaag in te duiken.

Je hebt natuurlijk meerdere keren met ons hier bij The Digital Project Manager samengewerkt. Je boodschap blijft altijd hangen. Daarom dacht ik dat ik misschien begin met een grote, ingewikkelde vraag, waarna we gewoon kunnen zien waar het gesprek ons brengt. Onderweg wil ik graag bespreken wat het betekent om een nieuwsgierige houding te hebben tegenover AI en waarom dat belangrijk is, welke stappen we met onze teams kunnen zetten om die nieuwsgierigheid in balans te brengen door onze AI-uitvoer strategisch kritisch te onderzoeken, en wat er op het spel staat voor de toekomst van AI-technologie als onze teams vragen op oppervlakteniveau blijven stellen en generieke uitvoer zonder meer accepteren wanneer ze met AI werken.

Dus ja, ik weet dat dat veel was, maar hoe klinkt dat?

Mashhood Ahmed: Klinkt perfect.

Galen Low: Geweldig. Laten we erin duiken. Ik begin met een vrij brede vraag, omdat je met veel organisaties werkt en hen helpt vertrouwd te raken met AI, zodat ze die technologie kunnen integreren in hun manier van werken.

Ik heb je horen zeggen dat mensen generieke vragen gebruiken om generieke uitvoer te krijgen en daar vervolgens zonder aanpassingen mee verdergaan. Dus ik vroeg me af: als je moest gokken, welk percentage van de mensen dat AI professioneel gebruikt, krijgt alleen gemiddelde, generieke resultaten van AI en denkt dat dit het hoogst haalbare is?

Mashhood Ahmed: Ja, dat is een heel goede vraag. Welk percentage mensen gebruikt AI op een generieke manier en krijgt generieke antwoorden? Mijn schatting is dat ongeveer 40 tot 50% van de mensen dat doet. Wat ik zou willen doen, is je hele publiek een kleine test geven om te controleren wat ik bedoel met het generieke antwoord dat je van AI krijgt. De meesten van ons hebben op een bepaald moment in hun leven wel eens een spel gespeeld met een dobbelsteen.

Wat ik wil voorstellen—ik heb dit experiment uitgevoerd met honderden mensen in een zaal, met twintig mensen in een zaal, en elke keer krijg ik ongeveer hetzelfde antwoord. Open Copilot in één tabblad, ChatGPT in een ander tabblad, Gemini in weer een ander tabblad en iets anders in nog een tabblad.

Ik wil dat je het vier of vijf keer probeert. Typ een eenvoudige prompt: "Gooi een zeskantige dobbelsteen voor me." Wanneer je die prompt uitvoert, zal de meeste generatieve AI je het antwoord vier geven.

Zoals ik zei, heb ik dit met honderden mensen in een zaal uitgevoerd. Gewoonlijk krijgt 85 tot 90% van de mensen vier. Af en toe krijgt iemand iets anders. Ik heb feedback ontvangen van mensen die dit in ChatGPT, Gemini, Claude, Groq, Perplexity en andere tools hebben geprobeerd. Ze maken allemaal dezelfde fout.

Wanneer je AI vraagt om een dobbelsteen te gooien, weet het niet hoe het een dobbelsteen moet gooien. Statistici en wiskundigen hebben AI geleerd dat je, als je een dobbelsteen moet gooien, de zes mogelijke opties moet nemen, het gemiddelde moet berekenen, dat indien nodig afronden en dat middelmatige antwoord moet geven.

Het gemiddelde is drie komma vijf, afgerond naar vier. Daarom krijg je 80 tot 90% van de keren vier als antwoord. Probeer nu iets anders. Typ in hetzelfde venster: "Gooi een zeskantige dobbelsteen voor me waarbij elke zijde een gelijke kans heeft." Voeg vervolgens extra voorwaarden toe, bijvoorbeeld dat je het hoogste of laagste getal wilt.

Dan zul je zien dat je telkens een evenwichtiger antwoord krijgt, omdat je om een goed uitgebalanceerde dobbelsteen hebt gevraagd. Dit laat zien dat je, als je een generieke vraag stelt als "Gooi een zeskantige dobbelsteen voor me", 80 tot 90% van de tijd het getal vier krijgt.

De reden is dat AI de context niet begrijpt. Het heeft geen achtergrondinformatie over je project of over het menselijke oordeel dat wij toepassen. Daarom is het zo belangrijk dat je prompts of agents zo veel mogelijk context en beperkingen bevatten binnen de vangrails, zodat je een goed antwoord krijgt.

Galen Low: Dat vind ik geweldig. Ik heb nu een paar taalmodellen geopend en je hebt absoluut gelijk. Ik had maar drie tabbladen open: twee rolden een vier en één rolde een zes. Ik ben nog niet toegekomen aan het toevoegen van context, maar ik denk dat dit voorbeeld zeer treffend is. En om terug te komen op wat je zei: jij en ik hebben geen diepgaand onderzoek gedaan en zijn geen statistici.

Maar die bandbreedte van 40 tot 50% die je noemde, daar ben ik het mee eens. Er zijn zoveel mensen die AI nog steeds gebruiken zoals Google Zoeken, met een eenvoudige prompt van vier of vijf woorden. In sommige contexten hoeft dat niet het slechtste te zijn. Maar ik ben het ermee eens dat de complexiteit van de projecten die we uitvoeren, de mensen met wie we werken en alle geschiedenis en kennis tussen onze oren niet in het materiaal zit waarop het taalmodel is getraind.

Als wij dat niet vertellen, geeft het generieke resultaten. Wat ik het meest geweldig en frustrerend vind aan generatieve AI op dit moment, is dat het zo overtuigend is. Mensen publiceren die resultaten. Het is niets nieuws, maar het ziet er zo goed en overtuigend uit. Vervolgens vertelt het je dat je geweldig bent en wil je ermee verdergaan.

Je denkt: "Mooi, ik ben klaar." Dit is veel beter gepolijst dan wat ik zelf zou hebben gemaakt, dus ik neem het gewoon over. We komen nog terug op enkele redenen waarom we dat doen. Maar het ziet er hoe dan ook overtuigend uit, zelfs wanneer het resultaat middelmatig is.

Mashhood Ahmed: Ja. Ik gebruik een truc die ik het wisselen van persona noem. Je maakt je rapport, projectcharter, document of e-mail klaar. Vervolgens kun je eenvoudig een prompt gebruiken om van persona te wisselen, bijvoorbeeld: "Lees deze e-mail of dit document nu vanuit het perspectief van iemand die dit project wel of niet steunt." Voeg wat meer context over die persoon toe.

Daarna zie je het antwoord. Vervolgens kun je besluiten het document aan te passen, of zeggen: "Ik houd deze vraag bij en bereid me erop voor. Als iemand mij deze vragen stelt tijdens mijn volgende vergadering of wanneer ik dit project presenteer aan een groot publiek of aan het bestuur, heb ik mijn antwoorden klaar."

Dat is belangrijk, want wanneer we aan een project werken, worden we door zoveel ruis overvallen. We kunnen AI gebruiken om van persona te wisselen. Kijk bijvoorbeeld vanuit het perspectief van de CFO die er niet van overtuigd is dat we 1,4 miljoen dollar moeten uitgeven om dit project te redden. Dat is een andere context.

Soms denken we daar als projectmanager niet eens aan, omdat we druk zijn. Als AI ons kan helpen met veel ander werk, kan een projectmanager zich richten op kritisch denken en het stellen van de juiste vragen. Dat is een zeer belangrijke vaardighedenreeks, en ik noem dat een nieuwsgierige houding.

Galen Low: Geweldig. Laten we daarop ingaan. Ik vind dat mooi, want het neemt het werk niet van je over. Het helpt je juist empathie op te bouwen met je belanghebbenden, zodat je niet wordt overvallen. Overvallen worden is meestal het gevolg van het feit dat je niet hebt geanticipeerd op de houding van iemand anders.

We komen daar nog op terug, maar ik wil eerst iets uitzoomen. Ik heb je de term bedriegersyndroom horen gebruiken in lezingen en berichten. Voor wie die term niet kent: het is een verschijnsel waarbij succesvolle professionals het gevoel hebben dat ze hun collega's voor de gek hebben gehouden en hun successen misschien niet verdienen.

In de context van AI is het misschien iets anders dan simpelweg het gevoel dat je succes niet verdient. Wat is het aan AI dat ons bedriegersyndroom triggert, en hoe beïnvloedt dat onze benadering van AI?

Mashhood Ahmed: Er zijn verschillende dingen die het bedriegersyndroom triggeren en je het gevoel geven dat je niet kunt bijbenen. Ten eerste is AI onzichtbaar. We zijn gewend aan invoer, verwerking en uitvoer. Zo brengen we onze loopbaan door: we geven invoer, iets verwerkt die invoer en we begrijpen de workflow. In het tijdperk van AI varieert de workflow echter afhankelijk van de context en de details van de prompt die je geeft.

Het wordt daardoor een zwarte doos, en dat maakt ons ongemakkelijk. Soms maakt het mij ongemakkelijk. Tijdens live demonstraties is het drie keer gebeurd dat de demo niet werkte zoals ik verwachtte. Tien keer werkte het wel, maar één keer niet. Dat maakt ons ongemakkelijk.

Het is een onzichtbare doos. Daarnaast ga je naar LinkedIn of sociale media en lijkt het alsof iedereen ermee bezig is, terwijl niet iedereen het goed doet. Ik ben nog steeds aan het leren. Als projectmanager of PMO-manager zijn we gewend te weten wat er op een project gebeurt.

Waarom is er dit risico? Wat is dit probleem? Wat is er mis met deze leverancier? Als iemand mij bij een specifieke vergadering haalt, kan ik uitleggen wat er met die leverancier is gebeurd, omdat ik de volledige geschiedenis ken. Bij AI is alles onzichtbaar. Dat maakt ons ongemakkelijk en veroorzaakt het bedriegersyndroom, omdat we geen controle hebben.

Mensen willen controle hebben. We zijn een soort die graag alles beheerst. Wanneer de controle naar een machine gaat, raken we daarvan in paniek.

Daar ontstaat het bedriegersyndroom, omdat we niet weten wat de machine gaat zeggen. We moeten alles controleren en verifiëren, en soms veroorzaakt dat meer ruis dan waarde.

Galen Low: Dat is interessant, want het heeft eigenlijk twee kanten. De populaire definitie van het bedriegersyndroom is dat je je een bedrieger voelt omdat iedereen om je heen veel beter lijkt te presteren dan jij. LinkedIn is naar mijn mening de slechtste plek om je vertrouwen in AI op te bouwen. Je ziet berichten als: "Zeven dingen die je verkeerd doet met je prompt" en "Waarom je agents blijven falen." Dan denk je: "O nee, ik doe dit allemaal verkeerd. Ik ben hier slecht in."

De andere kant is wat je eerder zei: het is gemakkelijk om naar sommige resultaten te kijken en ze niet te willen bekritiseren. Het lijkt alsof ze volledig af zijn. Als projectmanager ontvang je opleveringen die voor 98% of 100% af zijn en denk je: "Als ik nu feedback geef en de deadline is morgen, belanden we in een draaikolk. We moeten alles terugdraaien en opnieuw opbouwen."

Bij AI is het een zwarte doos, het ziet er afgewerkt uit en als je geen vertrouwen hebt, denk je: "AI is blijkbaar slimmer dan ik. Wat weet ik nou vergeleken met iets dat op het hele internet en de hele geschiedenis van de mensheid sinds het informatietijdperk is getraind?"

Maar zoals je zegt, de blinde vlek is context. AI weet niet noodzakelijk wat er in die vergadering is gezegd, welke belanghebbende tegen het project is of waar het risico zit. Er zit zoveel informatie in je hoofd die AI niet kent. Daarom is die samenwerking zo belangrijk.

Mashhood Ahmed: Er is een oud gezegde dat bij me opkomt: de duivel zit in de details. Het lijkt altijd een afgewerkt product, maar we moeten naar de details kijken. Als projectmanager weet je bijvoorbeeld dat een belanghebbende die ja zegt misschien eigenlijk misschien bedoelt. Die persoon staat misschien niet volledig achter je idee of de situatie rond het risico of project.

Je weet dat een directeur het projectcharter, document, de gebruikersacceptatietest of het livegangdocument zal ondertekenen, maar dat is niet de persoon die alles met je gaat uitvoeren. Er is iemand anders met de titel analist of iets vergelijkbaars die het werk gaat doen. Dat is je indirecte belanghebbende, en je moet diens steun krijgen, niet alleen die van de directeur.

Dat komt allemaal voort uit ervaring en kritisch denkvermogen. Je begrijpt de politiek, de mensen en de dynamiek. Wat in jouw organisatie werkt, werkt misschien niet in een andere organisatie. We hebben PMO's, projectsjablonen en PMI-richtlijnen, maar geen enkel project dat ik in mijn leven heb uitgevoerd, kon één methode volledig volgen. Elk project is uniek voor de situatie.

Daar komt de mens in beeld: "Dit is toepasbaar in mijn situatie. Ik begrijp mijn belanghebbenden, sponsors, team en risico's." Een risico kan ergens op regel 14 of 15 van je risicoregister begraven staan, maar juist dat risico kan werkelijkheid worden. Dat komt allemaal voort uit menselijk inzicht.

Galen Low: Dat vind ik geweldig. Zelfs dat kleine gedeelte is iets wat veel projectmanagers moeten horen. Ik probeer dit te bekijken vanuit het perspectief van iemand die teams van projectmanagers leidt—een rol die al politiek en complex is en waarin het bedriegersyndroom al een rol speelt.

Veel mensen zijn min of meer per ongeluk in die rol beland. Ze hebben het gevoel dat ze het niet goed doen omdat ze het leerboek niet voor 100% volgen. Het lijkt alsof ze op hun gevoel varen en improviseren. Maar precies wat jij zegt, is waardevol. Dat is de aanvullende context die nodig is.

Dat is jouw specialisme. AI is de tool waarmee je samenwerkt en waarin je jouw kennis kunt inzetten om productiever te worden. Laten we daarop ingaan, want de lezing die ik van je zag ging over de yin-yangrelatie tussen nieuwsgierigheid en strategisch onderzoek—kritisch denken—als sleutel tot effectief gebruik van AI.

Wat betekent een nieuwsgierige houding voor jou? En waarom is die belangrijk voor AI?

Mashhood Ahmed: We hoorden vroeger dat data macht is en kennis macht is. Wie de meeste data heeft, loopt voorop. Ik denk dat nu het tegenovergestelde waar is. Hoe meer data en kennis je hebt, hoe meer het een vloek kan worden. Je hebt relevante data en relevante informatie nodig om waarde te creëren.

Ik kan op internet enorme hoeveelheden data over alles en nog wat vinden. Generatieve AI heeft al die data doorzocht, dus je kunt vragen om specifieke gegevens. Dat is allemaal binnen handbereik.

Er is echter veel ruis. Je schrijft drie of vier regels prompt en krijgt een document van vijf pagina's dat je moet lezen, begrijpen en terugbrengen tot de punten die ertoe doen. De ruis is invoer. Strategisch onderzoek betekent dat je jezelf afvraagt: wat is de meest relevante vraag die ik AI moet stellen om mij te helpen? Je moet duidelijk begrijpen waarom die vraag belangrijk is.

Als je niet de juiste vraag stelt, zal AI het met je eens zijn. Het geeft je een bevestigend antwoord. Wissel daarom van perspectief. Kijk vanuit een ander perspectief en vraag wat er in die situatie kan gebeuren. Wat-als-scenario's kosten veel cognitieve energie.

Na twee of drie uur continu werken met generatieve AI ben ik moe. Mijn hoofd loopt over en ik heb een pauze nodig. Neem die pauze, maar blijf vragen stellen. Als je niet de juiste vraag stelt, krijg je een bevestigend antwoord.

Als projectmanager hebben we in onze loopbaan met CIO's, CFO's, CEO's, directeuren en vicepresidenten gewerkt. Soms vraag ik me af hoe iemand op dat niveau is gekomen. Een kenmerk dat leiders gemeen hebben, is dat ze één of twee vragen stellen die er echt toe doen en diep graven.

Als ik die vragen goed beantwoord, verdien ik hun respect. Als ik dat niet doe, gaan ze naar iemand anders. Deze mensen groeien in hun loopbaan omdat ze op het juiste moment de juiste vraag stellen.

Het wordt nu nog belangrijker om de juiste vraag te stellen, omdat AI veel voor je kan doen. Als je AI-agents goed instelt, kunnen ze op de achtergrond veel werk uitvoeren. Maar de vraag is: stel je op dit moment de juiste vraag? Wat ga je met deze informatie doen? Wat verandert er?

Dat zijn de echte vragen die dieper gaan. Ik wil dat iedereen die naar deze podcast luistert even pauzeert en zich afvraagt: "Welke diepgaande vragen moet ik in mijn volgende vergadering stellen om tot de kern door te dringen?" En moet ik deze vergadering annuleren als ik die vragen niet ga stellen? Annuleer de vergadering dan. Mensen hebben een hekel aan vergaderingen.

Galen Low: Dat vind ik goed. Kunnen we een scenario doorlopen? Ik hou van het idee om betere vragen te stellen. Veel mensen die succesvol zijn of een hoog senioriteitsniveau hebben bereikt, lijken het instinct te hebben om op het juiste moment de juiste vraag te stellen.

Je had het over een gesprek met een taalmodel van één, twee of drie uur. Niet iedereen voert zo'n gesprek. Maar zelfs een gesprek van dertig of 45 minuten met je taalmodel kan helpen om de juiste vragen te stellen. Kunnen we doorlopen hoe dat eruit kan zien?

Mashhood Ahmed: Stel dat ik aan een nieuw project werk. Dan geef ik AI toegang tot mijn documenten. Veel bedrijven hebben tegenwoordig Copilot in Office ingevoerd, maar de meeste gebruiken het nog niet effectief. Wees degene in je team die dat wel doet. Deel je document, stel grenzen en zeg: "Gebruik alleen deze documenten." Stel dan vragen als: "Wat is onvolledig? Waar moet ik hiaten opvullen? Welke inconsistenties staan in deze documenten? Waar zou iemand mij vragen over kunnen stellen?"

Gebruik vragen waarbij je van persona wisselt. We vragen om meer budget. Welke vraag zou de CFO stellen? De CFO geeft er niet om of je project op schema ligt, maar wil weten of het binnen budget blijft. De bedrijfseigenaar wil weten of het project op tijd live gaat. De CIO wil weten wat er met integratie gebeurt en of de data veilig is. Iedereen heeft een ander perspectief.

Vraag AI om van persona te wisselen. Ik werk momenteel aan nieuwe inhoud en vraag generatieve AI: "Welke inconsistenties staan hierin? Wat is redundant? Wat heb ik al behandeld?" Soms herhalen we dingen. Herhaling kan nuttig zijn, maar te veel redundantie niet.

Vraag vervolgens: "Help me stap voor stap." Een andere promptingtechniek die mij helpt, is generatieve AI vragen om mij te interviewen of één voor één vragen te stellen. Hallucinaties ontstaan omdat we niet genoeg context geven. AI maakt aannames. Als die juist zijn, krijgen we een goed antwoord. Als ze onjuist zijn, verzint AI gegevens en krijg je een verkeerd resultaat.

We moeten AI trainen zoals we een stagiair zouden trainen. Zie AI als iemand die bij je team komt werken, een MBA heeft of net een PMP-examen heeft behaald. Heel slim, maar geneigd tot beginnersfouten. Stel de prompt: "Stel mij één voor één verduidelijkende vragen." Dan worden aannames geverifieerd.

Als je alleen vraagt om verduidelijkende vragen te stellen, stelt AI er misschien vier tegelijk. Je beantwoordt er één en AI neemt aan dat je ze alle vier hebt beantwoord. Dwing AI daarom om één vraag tegelijk te stellen en op je antwoord te wachten. De kwaliteit van je antwoorden en de waarde die je van AI krijgt, worden dan veel beter.

Het is ook belangrijk om beperkingen en vangrails in te stellen. Mensen zijn heel goed in wat ze moeten doen en heel slecht in wat ze niet moeten doen. We weten dat eindeloos scrollen niet goed voor ons is, maar doen het toch. Dat is als een lijst met dingen die je niet moet doen.

In het tijdperk van AI is zo'n lijst belangrijk. Zet die lijst als vangrail in je agents of prompts. Alles wat je AI niet vraagt om te doen, heeft de neiging toch te gebeuren. Stel daarom vangrails in.

Je kunt ook beperkingen stapelen. Zeg bijvoorbeeld: "Ik wil de uitvoer in drie opsommingstekens, in een tabel met vijf kolommen, en in 50, 200 of 1.000 woorden." Ik geef meestal de voorkeur aan een korter antwoord waarop ik kan voortbouwen.

In Copilot kun je aangeven dat het wijzigingen mag aanbrengen in een document. Je kunt bijvoorbeeld vragen om een schermindeling in PowerPoint of Word te controleren en aan te passen. Wees heel specifiek. Geef geen blanco cheque om je hele document te bewerken, want je weet niet wat er wordt gewijzigd.

Wanneer je een rapport indient, staat jouw naam erop. Een AI-antwoord vermeldt misschien: "Gegenereerd door AI, controleer dit, AI kan fouten maken." Jij kunt niet dezelfde disclaimer op een rapport zetten met jouw naam erop. Je naam staat op het spel.

Daarom moeten we begrijpen dat er altijd een menselijk onderdeel is. De mens in de lus blijft bestaan. Zelfs met agentische AI hebben we op verschillende controlepunten mensen nodig om te verifiëren of een agent het juiste doet en om daarna op te volgen.

Galen Low: Laten we ingaan op het strategisch onderzoeken. Nieuwsgierigheid en de juiste vragen stellen gaan over leren. We zijn goed in uitvoeren en proberen iets zo snel mogelijk af te krijgen. Misschien verwachten we dat alles vijftien minuten duurt nu we Copilot en taalmodellen hebben.

Wat ik mooi vind aan wat je zegt, is dat je een gesprek beschrijft waarin tijd wordt genomen om vragen te stellen die niet vanzelfsprekend zijn, vangrails toe te voegen en te vragen wat ontbreekt of tegenstrijdig is.

Projectmanagers worden hier goed in. Toen ik een team leidde, zei ik altijd: geef niet alleen feedback op wat er staat, maar ook op wat ontbreekt. Mensen zijn daar niet goed in. We zien meteen wat er staat en geven daar feedback op.

Soms zoeken we kleine fouten om waarde toe te voegen, terwijl we eigenlijk moeten uitzoomen. Begin met de beperkingen, werk in kleine stukken en bouw het resultaat geleidelijk op. Dat is beter dan zeven pagina's output te krijgen en de rest van de dag bezig te zijn die uit elkaar te halen.

Gebruik de extra tijd niet alleen om sneller klaar te zijn, maar ook om meer te leren en beter over je context na te denken. Vertel je je taalmodel ook over die nuances? Bijvoorbeeld dat een belanghebbende ja zegt, maar dat de echte beslisser ergens anders zit?

Mashhood Ahmed: Ja. Bij de voorbereiding op het PMP-examen leren we over een invloedmatrix. Ik adviseer mensen om naast zo'n matrix ook een persona van elke belanghebbende op te bouwen.

Je kunt een agent laten lezen wat er in alle vergadertranscripties staat en vragen: "Wat weet ik over deze persoon die aan mijn vergaderingen deelneemt?" Controleer dat vervolgens en geef aan wat AI wel of niet moet onthouden. Dat helpt om de context te begrijpen.

Je kunt bijvoorbeeld zeggen: "Dit is mijn sponsor. Lees dit vergaderverslag en vertel me welk persoonlijkheidstype deze persoon heeft." Een idee voor een volgende lezing is DISC-profilering. Je kunt generatieve AI gebruiken om DISC-profielen van belanghebbenden te maken en die in de loop van de tijd bij te houden. Dan wordt AI daar steeds beter in.

Galen Low: Dat is een goed idee. We moeten context geven om tot een goede beoordeling te komen. Tegelijkertijd heb ik nooit de tijd genomen om elk vergaderverslag te lezen en voor elke belanghebbende in mijn ecosysteem een DISC-profiel te maken. Dat lijkt te veel tijd te kosten.

Daar kan AI helpen door een deel van het werk te doen en beslissingen te ondersteunen. Dat brengt ons bij het strategisch onderzoeken. Jij bent als mens verantwoordelijk. Je kunt niet zeggen: "Sorry, mijn werk kan fouten bevatten, maar blijf me alsjeblieft betalen."

Wat betekent het voor jou om AI-uitvoer strategisch te onderzoeken, en hoe verhoudt dat zich tot een nieuwsgierige houding?

Mashhood Ahmed: Dat past goed bij elkaar. Strategie betekent voor mij: waar moet ik me op richten en welke ruis moet ik verwijderen? In een strategiedocument staan meestal drie of vijf punten, omdat dat is wat ons geheugen kan bevatten.

Denk na over wat in deze context belangrijk is, wat niet belangrijk is en wat ruis vormt. AI kan het zware werk doen, maar jij bepaalt wat waardevol is, wat in een document komt, wat in de kennisbank van AI komt en wat je moet gebruiken om je voor te bereiden.

Je kent je belanghebbenden en kunt de sfeer in de ruimte aanvoelen. AI zit niet voor het bestuur, het PMO of je belanghebbende en beantwoordt geen vragen. Jij zit aan het stuur.

Op twee verschillende projecten stel je verschillende vragen. Weten wat je moet vragen en wanneer je dat moet vragen, is essentieel. Dat is een van de belangrijkste vaardigheden die we moeten ontwikkelen, want AI kan bijna alles doen. Maar vraag je AI op dit moment om het juiste voor je te doen?

Galen Low: Het grappige is dat ik AI uit dit gesprek zou kunnen halen en vervangen door directe medewerkers, en dan zou bijna alles nog steeds kloppen. Al die tijd die we besteden aan context geven, uitvoer uitdagen en feedback geven aan machines, zou ons waarschijnlijk ook betere leiders van mensen maken.

Mijn prompt is soms gedetailleerder dan een briefing aan een mens, omdat ik ervan uitga dat die persoon de context zelf wel zal begrijpen. We kunnen onze mensen beter opleiden zoals we onze taalmodellen opleiden: over projectspecifieke nuances, politiek en wat strategisch wel en niet belangrijk is.

Je helpt veel organisaties deze stap te zetten. Geef je feedback aan je taalmodel door te zeggen: "Bedankt, ik neem dit niet op om deze reden; ik ga nu de presentatie maken"? Of ga je gewoon verder, omdat dat jouw oordeel is?

En hoe help je mensen deze combinatie van de juiste vragen stellen, uitvoer uitdagen en strategisch denken aan te leren?

Mashhood Ahmed: Om je eerste vraag te beantwoorden: feedback geven op reacties van generatieve AI is heel belangrijk. Ik wil dat iedereen die naar deze podcast luistert opzoekt wat een systeemprompt, aangepaste instructies en geheugen zijn. Zoek op wat het verschil is tussen deze drie en hoe je ze gebruikt.

Je kunt geheugen en aangepaste instructies bijwerken in Outlook, Copilot, ChatGPT en Claude. Daarmee stel je grenzen en regels in. Als bepaalde dingen gebeuren, moet AI een bepaald type actie uitvoeren. Je moet die regels afdwingen.

Zelfs met geheugen, aangepaste instructies, systeemprompts en andere instellingen maakt AI nog fouten. Je moet dus blijven opletten. Ook het ontwikkelen van het vermogen om problemen op te merken is een vaardigheid die we verder moeten ontwikkelen.

Je tweede vraag ging over mensen die nog twijfelen. Dat gebeurde ook toen internet werd geïntroduceerd. Mensen zeiden: "Ik weet precies waar alles in mijn magazijn ligt." Maar als je op vakantie bent, kunnen je mensen niet werken. De vraag was hoe je het proces robuust maakt. Dat leidde tot online databases, en nu vinden we die vanzelfsprekend.

Een andere vraag is: gaat AI mijn baan beïnvloeden? Staat mijn baan op het spel? Ik zou zeggen: ja en nee. We hebben geen definitief antwoord; het hangt van de context af. Wat we wel weten uit de geschiedenis, is dat beroepen veranderen, nieuwe beroepen ontstaan en nieuwe tools en technologieën komen.

Vijfentwintig jaar geleden bestonden termen als cloud engineer, virtualisatie-engineer en desktop-engineer nauwelijks. De projecten die we vijftien jaar geleden uitvoerden, doen we nu anders. Waar we vroeger een datacenter in een kantoorgebouw bouwden, kiezen we nu een cloudprovider en richten we servers veel sneller in.

Het is belangrijk te begrijpen dat de projecten van vandaag niet dezelfde zijn als de projecten van morgen. De vraag is hoe je jezelf daarop voorbereidt. Het logische antwoord is: leer de nieuwste tools, wees je bewust van je eigen blinde vlekken en ken ook de beperkingen van je tools.

AI-modellen blijven veranderen. Ze worden beter in sommige dingen en slechter in andere. Er bestaat zelfs een technische term voor het verschuiven van prompts of modellen. Daarom moet je altijd oog houden voor kwaliteitscontrole.

Een prompt van vijf regels kan een document van zeven pagina's opleveren. Het kost minstens 25 of 30 minuten om dat goed te lezen. Als het niet goed is, ben je misschien een hele dag bezig het te bewerken. Blijf je bewust van wat tijd kost en van het menselijke inzicht dat nodig blijft.

Wij zijn degenen die voor het bestuur staan, mensen managen en begrijpen hoe menselijke hersenen werken. Verschillende culturen hebben verschillende gewoonten. Omgaan met mensen, wrijving en al die andere zaken wordt belangrijker en vereist een andere houding.

Galen Low: Kun je misschien een volledig voorbeeld geven? We begonnen met generieke vragen die generieke uitvoer opleveren. Daarna bespraken we een nieuwsgierige houding en strategisch onderzoek. Wat zijn symptomen die je ziet bij teams die AI in het begin generiek gebruiken, de uitvoer zonder meer overnemen en vervolgens problemen krijgen?

Hoe help je hen naar een nieuwsgierige houding en strategisch onderzoek, en wat verandert er daarna?

Mashhood Ahmed: In mijn ervaring werkt iets eenvoudigs het best. Laat mensen bijvoorbeeld het dobbelsteenexperiment uitvoeren. Zo begrijpen ze dat generieke invoer generieke uitvoer geeft.

Sommige mensen zeggen dan dat het magie is of dat je het systeem hebt gehackt. Maar het gaat gewoon om statistiek en wiskunde. AI werkt met patronen.

Om teams verder te helpen, moet je de mensen die vooroplopen herkennen. Dat zijn je interne AI-kampioenen. Laat hen workshops, Tech Tuesdays of lunchsessies organiseren. Bespreek kleine dingen, niets groots, en bouw rustig op.

Bij een huidige adviesopdracht rond GenAI-implementatie werk ik voor een universiteit in de Verenigde Staten. We leren mensen de basis van AI en eenvoudige prompting. Na één sessie van twee uur meldde meer dan 70% van de deelnemers meer vertrouwen te hebben dan daarvoor. We gingen van 19% naar meer dan 70%.

Ongeveer 90% zei dat ze dit soort training aan een collega zouden aanbevelen. Je moet aansluiten bij het niveau van de deelnemers. Denk aan iemand bij HR die niet technisch is, of iemand bij inkoop die niet technisch is maar wel veel weet van leveranciersmanagement.

Gebruik eenvoudige voorbeelden. Begin niet met een ingewikkeld eind-tot-eindproces. Doe iets kleins, laat mensen experimenteren en geef ze een maand. Toon tijdens de volgende sessie iets anders en vraag om feedback.

Voor deze klant hebben we een eenvoudige enquête gemaakt: "Hoeveel vertrouwen heb je na deze sessie?" en "Wat wil je hierna leren?" Daarmee krijg je waardevolle feedback.

Als je aan de technische of beheerkant werkt, controleer dan ook het Copilotgebruik. Kijk naar patronen en controleer maandelijks of het tokengebruik toeneemt. Let ook op de kosten.

Galen Low: Juist.

Mashhood Ahmed: Als mensen het zeer intensief gaan gebruiken, bereik je misschien je limiet. Denk dus aan context, governance en beleid. Denk aan je lijst met dingen die je niet moet doen en aan wat er mis kan gaan voor het beleid en de strategie van je organisatie.

Er zijn veel nieuwsberichten over AI die iets deed wat niet mocht. De reden is meestal dat er geen goede vangrails waren ingesteld.

Een voorbeeld dat bij me opkomt is Air Canada. Een klant vroeg op de website of hij vanwege het overlijden van zijn grootmoeder een korting bij overlijden kon krijgen. De chatbot antwoordde dat Air Canada die korting zou geven. De klant maakte een screenshot, diende de aanvraag in en kreeg te horen dat er geen beleid voor bestond. Hij daagde Air Canada voor de rechter en de rechter oordeelde dat Air Canada de korting moest betalen.

Het bedrag was misschien enkele honderden dollar, maar het werd een verhaal waar mensen nog steeds over praten. Air Canada had geen goede vangrails, governance of beleid ingesteld voor mensen en agents.

Denk dus na voordat je begint. Wat kan er misgaan als we deze deur openen? Begin rustig, voer het geleidelijk in en kijk hoe je team het doet. Elk team, bedrijf en bedrijfsprobleem is anders. Begin klein.

Galen Low: Ik vind die balans mooi. Ook wat je bij die universiteit doet. We begonnen met het bedriegersyndroom en het tegenovergestelde van wat we in onze LinkedIn-feeds zien. Iedereen lijkt het beter te doen en meer te weten. Jij brengt iedereen samen om gezamenlijk te leren en te delen. Daardoor wordt iedereen zelfverzekerder.

De nieuwsgierige houding en het strategisch onderzoeken zijn ook een vorm van leren. Het kost tijd, maar bouwt vertrouwen op. Daardoor stel je niet alleen geen generieke vragen meer, maar neem je ook geen gepolijste uitvoer meer klakkeloos over.

Mensen zijn goed in bepaalde dingen, AI in andere. AI is slecht in sommige dingen en mensen ook. Die balans moeten we vinden.

Mashhood Ahmed: Dit doet me denken aan iets wat ik in eerdere lezingen over AI zei: een belangrijke vaardigheid is afleren en opnieuw leren.

We zijn gewend aan bepaalde manieren van werken. In Lean Six Sigma leren we dat mensen de status quo behouden omdat ze iets al twintig jaar zo doen. Maar dat betekent niet dat het de effectiefste of efficiëntste manier is. Verandering begint met afleren.

We moeten ons afvragen welke vaardigheden we moeten afleren. Wat tien of vijftien jaar geleden hielp, helpt misschien nu niet meer. Daarna moeten we bepalen welke nieuwe vaardigheden we moeten leren.

Sommige mensen staan daarvoor open en andere niet. Dat is prima. Iedereen bevindt zich op een ander niveau en in een andere levensfase. Mijn vader is architect. Toen AutoCAD kwam, weigerde hij ermee te werken. Hij huurde iemand in om de tekeningen te maken en ondertekende ze vervolgens. In die tijd werkte dat.

Het belangrijkste is begrijpen wat we moeten afleren en wat we moeten leren. Oude gewoonten afleren is moeilijk. Nieuwe gewoonten aanleren is gemakkelijker gezegd dan gedaan. Afleren en opnieuw leren bevatten veel meer diepgang dan die twee woorden doen vermoeden.

Galen Low: Wat ik mooi vind aan dit gesprek, is dat een deel over negatieve ruimte gaat. Niet wat er staat, maar wat ontbreekt. Niet wat we hebben gevraagd, maar wat we niet hebben gevraagd. Niet wat we weten, maar wat we aannemen.

Het gaat niet alleen om leren, maar ook om wat we moeten afleren om in een ander gebied meer te kunnen leren. Kritisch denken is belangrijk wanneer we praten over het afnemen van vaardigheden. Als onze AI-tools het antwoord hebben, voelen we misschien minder behoefte om nieuwsgierig te zijn of iets te leren.

Maar je kunt het ook omdraaien. Dit is onze kans om meer te leren, kritischer te denken en de senior leiders in de ruimte te zijn. Zoals je vader: iemand die iets kritisch kan bekijken en het pas ondertekent wanneer hij er volledig achter staat.

Dat is belangrijk in architectuur, projectmanagement en de werkwereld. Je bent verantwoordelijk voor beslissingen die zijn genomen door mensen die voor je werken. Het gaat er niet om zoveel over AI te leren dat je niets anders meer hoeft te leren.

Mashhood Ahmed: Dat doet me denken aan overmatig vertrouwen op AI. Dat kan ons vermogen om cognitief te denken en problemen op te lossen beschadigen. Dat zijn fundamentele vaardigheden. Geen MBA kan je die volledig leren.

We moeten kinderen vanaf het begin leren kritisch te denken, problemen op te lossen en zich bewust te zijn van hun omgeving. Dat heeft niets met technologie te maken, maar met menselijke betrokkenheid.

Overmatig vertrouwen op AI is tegenwoordig een groter probleem. Mensen plaatsen rapporten en berichten op LinkedIn en vergeten soms een paar regels te verwijderen. Dat is mij ook een paar keer overkomen.

Fouten maken is voor mij niet het probleem. Je ervan bewust zijn en ze corrigeren is belangrijker dan niet weten dat je een fout hebt gemaakt. Mijn reputatie staat op het spel. Ik moet nadenken over welke waarde ik aan tafel breng die geen enkele AI kan leveren.

Galen Low: Welke waarde brengen wij aan tafel? Mag ik je één ding vragen dat je hebt afgeleerd?

Mashhood Ahmed: Accepteren dat AI dingen kan doen die ik vroeger deed, en dat AI sommige dingen beter kan doen dan ik.

Engels is niet mijn eerste taal. Ik maakte vroeger veel fouten. Ik had een paar jaar geleden een Grammarly-abonnement, maar dat heb ik inmiddels opgezegd. Ik heb geleerd mijn beperkingen te accepteren en niet alles te willen overcorrigeren.

Je kunt AI uitleggen wat je schrijfstijl is en of je de Oxfordkomma wel of niet wilt gebruiken. AI zal dat volgen, maar je moet blijven opletten.

Het gaat erom dat je je ongemakkelijkheid accepteert en stap voor stap verdergaat: leren, afleren, opnieuw leren en onderweg kritische vragen stellen. Dat zijn belangrijke vaardigheden en inzichten uit dit gesprek.

Galen Low: Ik leer dat je als mens niet overal de beste in hoeft te zijn.

Mashhood Ahmed: Absoluut.

Galen Low: Geweldig. Mashhood, enorm bedankt dat je vandaag tijd met me hebt doorgebracht. Het was erg leuk. Waar kunnen mensen meer over je werk te weten komen?

Mashhood Ahmed: Ze kunnen mijn naam op LinkedIn opzoeken. Je vindt me daar en kunt contact met me opnemen. Ik plaats berichten die je interessant zult vinden. Je kunt ook mijn website bezoeken: mashhood.net. LinkedIn is de beste manier om me te volgen. Als je TikTok gebruikt, plaats ik daar af en toe content.

Bekijk ook enkele video's van verschillende evenementen. Ik plaats fragmenten van één of twee minuten uit podcasts en conferenties, zodat je korte, praktische dingen vindt die je anders kunt doen.

Galen Low: Geweldig. Ik neem de links naar je LinkedIn, TikTok en website op in de shownotes.

Nogmaals bedankt. Dit was een geweldig gesprek.

Mashhood Ahmed: Geweldig. Heel erg bedankt. Ik kijk ernaar uit dat deze podcast binnenkort wordt uitgebracht.

Galen Low: Goed, mensen. Dat was de aflevering van vandaag van de Digital Project Manager Podcast. Als je van dit gesprek hebt genoten, abonneer je dan via het platform waarop je luistert. Als je nog meer praktische inzichten, casestudy's en draaiboeken wilt, maak dan een gratis account aan op thedigitalprojectmanager.com.

Tot de volgende keer, bedankt voor het luisteren.