Warum die besten Führungskräfte bei der Messung von KI-Einführung nicht auf Dashboards schauen
Metriken verfolgen: Traditionelle Nutzungsmetriken geben den Wert von KI oft falsch wieder; der Fokus sollte stattdessen auf operativer Effizienz liegen.
Effizienzsteigerungen: Die Bewertung des Einflusses von KI stützt sich auf messbare Effizienzsteigerungen, nicht nur Tätigkeitsniveaus oder Ergebnisse.
Verhaltensänderung: Bedeutsame KI-Einführung äußert sich in Verhaltensänderungen, wie z.B. unaufgeforderte Nutzung und Automatisierung von Aufgaben.
Wandel im Urteilsvermögen: Der Wert von Projektmanager:innen entwickelt sich vom Ausgabetempo hin zu fundierten Entscheidungen und Bearbeitungen.
Sichtbarkeitsparadox: Erfolg bei der KI-Einführung kann verborgen sein; diejenigen, die am nächsten an der Arbeit sind, bemerken sinnvolle Veränderungen.
Die Überwachung der Einführung von KI im Projektmanagement klingt, als sollte sie ganz einfach sein. Nutzungsprotokolle, Prompt-Zählungen, Tool-Aktivitäten – die Daten sind vorhanden. Doch Führungskräfte, die versucht haben, den tatsächlichen Einfluss von KI zu messen, stellen fest: Die wirklich aussagekräftigen Signale tauchen in keinem Dashboard auf. Was in der Praxis funktioniert, hat weniger mit Analytik zu tun, sondern viel mehr damit, aufmerksam zu verfolgen, wie sich die Arbeitsweise vor Ort verändert.
Das sagen unsere Expert:innen: Was hilft – und was nicht.
Warum herkömmliche Nutzungsmetriken nicht ausreichen
Es ist verständlich, den KI-Einsatz anhand von Aktivitäten messen zu wollen – mehr Prompts, mehr Experimentierfreude, mehr sichtbare Begeisterung sollten eigentlich mehr Mehrwert bedeuten. Rawad Baroud, CEO von ZeroGPT, ist genau mit dieser Annahme gestartet – und seine Erkenntnisse haben sein Verständnis von Messung grundlegend verändert. „Aus Führungsperspektive dachte ich zunächst, dass die Teams, die am meisten von KI profitieren, auch am einfachsten zu identifizieren wären“, sagt er. „Ich habe mit höheren Nutzungsraten gerechnet, mehr Prompts, mehr Experimenten und offensichtlich mehr Begeisterung.“ Die Wirklichkeit sah fast gegenteilig aus.
Unlock for Free
Create a free account to finish this piece and join a community of forward-thinking leaders unlocking tools, playbooks, and insights for thriving in the age of AI.
Have an account? Log In
„Die Teams mit den besten Ergebnissen haben KI oft wie eine Rechtschreibprüfung behandelt. Sie war so fest in ihren Arbeitsablauf integriert, dass niemand mehr das Bedürfnis hatte, sie zu erwähnen.“ Die Schlussfolgerung für Führungskräfte ist bedeutend: Wie Baroud betont, erzeugt ein Projektmanager mit fünfzig Prompts am Tag nicht unbedingt mehr Wert als jemand, der KI fünfmal nutzt, um wiederkehrende Engpässe zu beseitigen.“
Die Teams mit den besten Ergebnissen haben KI oft wie eine Rechtschreibprüfung behandelt. Sie war so fest in ihren Arbeitsablauf integriert, dass niemand mehr das Bedürfnis hatte, sie zu erwähnen.
Heute achtet er besonders auf operative Signale: Werden Projektpläne schneller an die Stakeholder weitergeleitet, gibt es weniger Rückfragen zu Aufgaben, müssen Statusupdates seltener überarbeitet werden? Diese Indikatoren liefern ihm viel mehr Aussagekraft als herkömmliche Dashboards zur KI-Einführung.
Effizienz statt Aktivität messen
Führungskräfte, die über reine Nutzungsstatistiken hinausgehen, konzentrieren sich auf greifbare Effizienzgewinne – Durchsatz, Fehlerquoten und Feedback von Stakeholdern sind die eigentlichen Maßstäbe. Emmanuels Magaya, Gründer von Project Managers Africa, betrachtet die Sache als klaren Vorher-Nachher-Vergleich. „Für mich ist die wichtigste Frage: Ist deine Effizienz gestiegen, seit du KI nutzt? Oder verbringst du mehr Zeit damit, Prompts zu schreiben, um vorherige Fehler zu korrigieren?", sagt er.
Für mich ist die wichtigste Frage: Ist deine Effizienz gestiegen, seit du KI nutzt? Oder verbringst du mehr Zeit damit, Prompts zu schreiben, um vorherige Fehler zu korrigieren?
Er nutzt klare Vergleichszeiträume: „Wir können Effizienz messen, indem wir zum Beispiel sagen: Im ersten Quartal des Jahres war KI in keinem Teil des Workflows im Einsatz – das ist unser Referenzwert. Im zweiten Quartal haben wir dann KI integriert. Wir vergleichen also Quartal eins mit Quartal zwei.“
Magaya rät auch, beim Messen des Einflusses nicht nur auf die Perspektive des eigenen Teams zu blicken. „Es darf nicht nur aus Sicht des PMO-Teams bewertet werden. Holen Sie sich Rückmeldungen Ihrer Stakeholder, Ihrer internen Kunden usw. Sie müssen diesen nicht einmal sagen, dass Sie KI nutzen. Fragen Sie einfach: ‚Wie lief es in den letzten Monaten?‘“ Für ihn ist anonymes, ehrliches Feedback der Menschen vor Ort eine der aussagekräftigsten Messgrößen.
Verhaltensänderungen statt Output messen
Mehrere Führungskräfte sehen Veränderungen im Verhalten als zuverlässigsten Indikator für eine erfolgreiche KI-Einführung – vor allem, welche Aufgaben bevorzugt mit KI gelöst werden und ob Mitarbeitende von sich aus, ohne Nachfragen, zur KI greifen. Ferhat Suat Erdogan, Gründer & CEO von Ekofi, hat aus genau diesem Grund bewusst darauf verzichtet, ein Messsystem zur KI-Nutzung einzuführen. „Da wir ein schlankes Unternehmen sind, habe ich bewusst kein KI-Dashboard gebaut“, erklärt er. „Was ich an einem Dashboard nicht sehen kann, ist, ob KI tatsächlich die Arbeitsweise verändert. Deshalb messe ich vielmehr Verhaltensweisen als Outputs.“
Die Signale, auf die Erdogan achtet, sind spezifisch: welche wiederkehrenden Aufgaben nun KI-geführt sind – „Statusberichte, Meetingnotizen werden zu Aufgaben, Entwürfe für Kunden-Updates, Umfangszusammenfassungen“ – im Vergleich zu denjenigen, die noch von Menschen dominiert werden; die Zeit bis zum ersten Entwurf eines Ergebnisses und wie viel Nachbearbeitung ein KI-Ausstoß benötigt, bevor er verschickt wird. „Diese Nachbearbeitungsrate ist meine eigentliche Qualitätskennzahl“, sagt er. „Das Verhalten, dem ich am meisten vertraue, ist, ob das Team eigenständig zur KI greift. Vorgeschriebene Nutzung sagt nichts aus; ungefragte Nutzung zeigt, dass es ihnen tatsächlich Zeit spart.“
Das Verhalten, dem ich am meisten vertraue, ist, ob das Team eigenständig zur KI greift. Vorgeschriebene Nutzung sagt nichts aus; ungefragte Nutzung zeigt, dass es ihnen tatsächlich Zeit spart.
Artem Panasiuk, Head of Delivery bei Brocoders, verfolgt einen ähnlichen Ansatz und sammelt Hinweise nicht über ein formelles Dashboard, sondern durch regelmäßige Team-Synchronisationen. „Im Moment verfolgen wir die KI-Einführung nicht über ein formelles Metrik-Dashboard. Wir führen regelmäßige Team-Syncs durch, bei denen unsere Manager austauschen, was im Alltag funktioniert – und dort finden wir die meisten Hinweise“, sagt er.
Wir führen regelmäßige Team-Syncs durch, bei denen unsere Manager austauschen, was im Alltag funktioniert – und dort finden wir die meisten Hinweise.
Was Panasiuk tatsächlich misst, ist die Veränderung darin, womit ein Projektmanager seine Zeit verbringt. Standardaufgaben eines PM – Dokumente generieren, Jira-Tickets anlegen, Dokumentationen aktualisieren, E-Mails formulieren – sind automatisiert worden, und diese gewonnene Kapazität verlagert Manager in Aufgabenbereiche, die früher außerhalb der PM-Rolle lagen: Geschäftsanalysen, Elemente von Design-Systemen, Dokumentationen und Vibecoding. Das Resultat, auf das Panasiuk verweist, ist beachtlich: „Unsere Manager leisten etwa die doppelte Menge an Arbeit wie zuvor, und die Teams um sie herum sind deutlich breiter aufgestellt.“
Die größere Veränderung: Vom Output zum Urteilsvermögen
Aus diesen Perspektiven ergibt sich eine konsistente Neuausrichtung – nicht nur darin, wie KI gemessen wird, sondern auch darin, was Führungskräfte an ihren Teams zu schätzen beginnen. Erdogan formuliert es klar: „Früher habe ich Geschwindigkeit und Ausstoßmenge implizit belohnt. Jetzt ist die wertvollste Fähigkeit das Urteilsvermögen – KI-Ausgaben zu überarbeiten und zu wissen, wann man sie gar nicht einsetzen sollte. Die Aufgabe verschiebt sich vom Erstellen des Entwurfs hin zu der Rolle des Redakteurs, der dafür verantwortlich ist.“
Früher habe ich Geschwindigkeit und Ausstoßmenge implizit belohnt. Jetzt ist die wertvollste Fähigkeit das Urteilsvermögen – KI-Ausgaben zu überarbeiten und zu wissen, wann man sie gar nicht einsetzen sollte.
Dieser Wandel hat praktische Auswirkungen darauf, wie die Performance im Delivery-Prozess bewertet wird. Menge und Geschwindigkeit sind nicht mehr die Kennzahlen, die sie einst waren. Der PM, der weniger produziert, aber besser überarbeitet, Lücken der KI erkennt und weiß, wann er das Tool ganz beiseitelassen sollte, liefert womöglich mehr Wert als der mit der höchsten Ausstoßmenge. Wie Baroud anmerkt, besteht der größte Denkwechsel darin, dass „die Einführung von KI nicht immer sichtbar ist. In vielen Fällen sieht Erfolg weniger nach gesteigerter Aktivität aus und mehr nach unauffälliger Entfernung von Arbeit, die Teams früher aufgehalten hat.“
Zum Abschluss: Das Sichtbarkeits-Paradoxon
Das Wertvollste an Barouds Beobachtung ist das Paradoxon, über das man nachdenken sollte: Die Teams, die KI am besten einsetzen, sind gerade diejenigen, die man in einem Adoptionsbericht am wenigsten erwarten würde. Wenn Erfolg wie stille Entfernung statt sichtbarer Aktivität aussieht, dann sind diejenigen Führungskräfte am besten positioniert, den KI-Einfluss zu messen, die noch nah genug an der Arbeit sind, um zu bemerken, wenn etwas keine Reibung mehr verursacht.
Mehr Einblicke wie diese gewünscht? Melde dich für ein kostenloses DPM-Konto an, um von weiteren Experten zu hören.
