Vertrauen in KI ist kein Gefühl – es ist etwas, das man gezielt gestalten (oder versehentlich zerstören) kann. In dieser Folge spricht Galen mit Cal Al-Dhubaib über „Trust Engineering“: ein gemeinsames Werkzeugset, das funktionsübergreifenden Teams (Engineering, UX, Governance, Risikomanagement und Business) hilft, über die gleichen Vertrauensrisiken in der gleichen Sprache zu sprechen. Sie beleuchten, warum „langweilige KI sichere KI“ ist, wie Leitplanken und menschliche Übergaben tatsächlich Vertrauen bewahren und warum die größten Fehler oftmals nicht beim Modell, sondern bei den umgebenden Systemen (und Anreizstrukturen) liegen.
Sie hören außerdem echte Beispiele, wie Vertrauen in die Schieflage geraten kann – von verzerrten Ergebnissen über halluzinierte „Gaslighting“-Antworten bis hin zu KI-gestützten Arbeitsergebnissen, die zu Genauigkeitsproblemen führen – und was Projektverantwortliche tun können, um das gegenseitige Fingerzeigen im Problemfall zu vermeiden.
Das lernen Sie
- Was „Trust Engineering“ ist – und warum es wirklich ein gemeinsamer Kommunikationsrahmen und nicht nur eine technische Checkliste ist
- Warum „weniger KI“ (strategische KI-Minimierung) der verantwortungsvollste und effektivste Ansatz sein kann
- Wie Sie KI-Erfahrungen mit Erwartungsmanagement, Entscheidungsdesign, Governance und Vertrauensinfrastruktur gestalten
- Warum klare Zuständigkeit entscheidend ist: Geteilte Verantwortung braucht dennoch einen verantwortlichen Eigentümer
- Praktische Wege zur Messung von Vertrauen durch Vorbeugung von Vorfällen, Beobachtbarkeit und Nutzerverhaltenssignale
- Wie Vertrauen je nach Kultur und Kontext unterschiedlich aussieht – und warum es keine einzige universelle Definition gibt, die man „kodieren“ kann
Wichtige Erkenntnisse
- Vertrauen scheitert automatisch, wenn niemand dafür verantwortlich ist. Cals klare Aussage: Wenn Vertrauen „jedermanns Aufgabe“ ist, ist es am Ende niemandes Aufgabe. Teams brauchen einen benannten Verantwortlichen, der sicherstellt, dass die richtigen Fragen gestellt werden – besonders, wenn es unübersichtlich wird und Schuldzuweisungen drohen.
- „Langweilige KI“ ist kein Rückschritt, sondern Risikomanagement. Die sicherste KI ist oft die am wenigsten spektakuläre: mit eng umrissenem Einsatzbereich, auf kontrollierten Daten basierend und mit klaren Ausstiegsmöglichkeiten gestaltet. Wenn eine KI-Erfahrung versucht, grenzenlos offen zu sein, kann das Nutzer überfordern und das Risiko erhöhen.
- Setzen Sie „strategische KI-Minimierung“ ein, um Ergebnisse zu schützen. Im Beispiel des Transkriptverarbeitungs-Projekts war nicht die 90%-Genauigkeit der Erfolg – sondern zu wissen, welche 10% Fehler waren. Besonders risikobehaftete Eingaben (wie bestimmte internationale oder nicht standardisierte Transkripte) wurden in eine Menschenschleife geleitet, anstatt die Automatisierung zu riskieren.
- Leitplanken sind nicht nur technisch, sondern gehören ins Erlebnisdesign. Das Beispiel „Chat Hue“ von Behr Paint zeigt, wie Vertrauen durch bewusste Begrenzungen entsteht: Die KI kann Farben empfehlen, übergibt aber beim Thema Mischung oder Anwendung mit höherem Risiko an Menschen – und vermeidet unsichere oder markenfremde Ergebnisse.
- Governance sind drei Fragen, nicht ein 200-seitiges Dokument. Cals pragmatischer Rahmen:
- Was wurde zu Beginn getan, um Schaden zu vermeiden?
- Woran erkennen Sie im laufenden Betrieb Fehler (Beobachtbarkeit)?
- Was tun Sie wenn es versagt – und haben Sie diesen Plan einem Stresstest unterzogen?
- Vertrauens-Messung kann überraschend vertraut wirken. Über das „Vermeiden von Vorfällen“ hinaus zeigt sich Vertrauen darin, ob Nutzer ihre Ziele erreichen, ob sie zurückkehren und wo sie aussteigen. Ist das Tool nicht nützlich, werden die Nutzer ihm auch keine Zeit „anvertrauen“.
- Manchmal liegt das Vertrauensproblem an menschlichen Anreizen, nicht an der KI. Wenn Boni oder Leistungsbeurteilungen bedroht sind, können Menschen motiviert sein, KI-Empfehlungen abzulehnen (oder zu sabotieren). Trust Engineering muss das Organisationsdesign ebenso einbeziehen wie das Modell-Design.
- Es gibt keine einzelne moralische „Wahrheit“ zum Kodieren. Das Beispiel der Ethik autonomer Fahrzeuge verdeutlicht: Vertrauen und Ethik variieren je nach kulturellem Kontext. KI kann Vertrauen nicht besser „lösen“ als Menschen, wenn diese sich schon nicht darüber einig sind, was Vertrauen eigentlich bedeuten soll.
Kapitel
- 00:00 – Was ist Trust Engineering?
- 03:58 – Wem gehört Vertrauen?
- 05:27 – KI-Vorfall-Datenbank
- 08:41 – Risiken in regulierten Branchen
- 10:34 – Strategische Minimierung von KI
- 12:11 – Trust Engineering definiert
- 15:29 – Fairness definieren
- 17:10 – Vier Säulen des Vertrauens
- 18:03 – Behr Paint Fallstudie
- 23:15 – Voice KI-Fehler
- 25:53 – Governance in Aktion
- 31:31 – Schuldzuweisungen vermeiden
- 35:31 – Vertrauen messen
- 37:46 – KI, Ethik & Kultur
- 42:13 – Warum Vertrauen ein Rahmenwerk ist
Lernen Sie unseren Gast kennen

Cal ist ein weltweit anerkannter Data Scientist, Unternehmer und Innovator im Bereich verantwortungsvolle künstliche Intelligenz für hoch regulierte Umgebungen, einschließlich Gesundheitswesen, Energie und Finanzdienstleistungen. Er leitet den Bereich KI und Data Science bei Further, einem Partner für digitale Transformation, der einigen der weltweit bekanntesten Marken dabei hilft, intelligentere und persönlichere Kundenerlebnisse mit Daten und KI zu schaffen.
Bevor Cal zu Further kam, gründete und leitete er Pandata, ein Unternehmen für KI-Design und -Entwicklung, das mit Organisationen wie der Cleveland Clinic, Progressive Insurance und FirstEnergy zusammenarbeitete und 2024 von Further übernommen wurde. Er ist ein häufiger Keynote-Sprecher zu Themen wie KI-Innovation, Governance und Kompetenz und hat Tausende von Führungskräften auf wichtigen Branchenveranstaltungen erreicht, darunter MAICON, ODSC, AI Summit, TDWI und DataCamp.
Ressourcen aus dieser Folge:
- Treten Sie der Digital Project Manager Community bei
- Abonnieren Sie den Newsletter, um unsere neuesten Artikel und Podcasts zu erhalten
- Vernetzen Sie sich mit Cal auf LinkedIn
- Schauen Sie sich Further an
- KI-Vorfall-Datenbank
Verwandte Artikel und Podcasts:
Galen Low: Was bedeutet Vertrauen im Ingenieurwesen und wie führt es zu sicheren KI-Lösungen und -Erlebnissen?
Cal Al-Dhubaib: Es ist ein gemeinsames Kommunikations-Toolkit, das verschiedenen Personen, die bei der Gestaltung und Einführung von KI-Lösungen zusammenarbeiten, hilft, produktiver über den Erhalt von Vertrauen zu sprechen. Es musste eine gemeinsame Sprache geben, damit alle über dasselbe sprechen und ein ähnliches Verständnis davon haben, wie Vertrauen durch KI verletzt werden kann – sowie Werkzeugkästen, wie man sich dagegen verteidigt.
Galen Low: Wie kann ein Projektteam die Verantwortung für die Integration von Vertrauen in seine Lösungen gemeinsam übernehmen und Schuldzuweisungen vermeiden?
Cal Al-Dhubaib: Etwas Interessantes beim Thema Verantwortung ist: Wenn jeder verantwortlich ist, fühlt sich niemand zuständig. Letztlich braucht es eine Person, die diesen Aspekt übernimmt. Wir setzen tatsächlich bei jedem unserer KI-Projekte jemanden dafür ein, damit wir sicherstellen, dass wir die richtigen Fragen stellen.
Galen Low: Wie lange wird es deiner Meinung nach dauern, bis KI das menschliche Konzept von Vertrauen besser versteht als Menschen selbst?
Cal Al-Dhubaib: Ich denke wirklich, die Definition von KI ist so zirkulär. Wie kann KI Vertrauen besser verstehen als Menschen? Ich weiß es nicht, aber auch—
Galen Low: Willkommen beim Podcast von The Digital Project Manager — der Show, die Führungskräften im Projektgeschäft hilft, smarter zu arbeiten, reibungsloser zu liefern und ihre Teams im KI-Zeitalter souverän zu führen. Ich bin Galen, und wir tauchen jede Woche in praxisnahe Strategien, neue Trends, erprobte Frameworks und gelegentliche „War Stories“ von der Projekt-Front ein. Egal, ob du große Transformationsprojekte steuerst, KI-Workflows jonglierst oder einfach das Chaos im Griff behalten möchtest – du bist hier richtig. Los geht’s.
Heute sprechen wir darüber, wie Vertrauen in KI-basierte Erlebnisse hinein „engineered“ werden kann, warum das für Organisationen – vor allem in regulierten Branchen – so wichtig ist und welche Rolle das Projektteam, insbesondere die Projektleitung, beim Aufbau dieses Vertrauens spielt.
Mein heutiger Gast ist Cal Al-Dhubaib, Leiter KI & Data Science bei Further, einem Unternehmen, das Kundenerlebnisse mithilfe von Daten und KI transformiert. Cal ist KI- und Data-Science-Experte, Unternehmer, viel gebuchter Redner und neuer Host des Open Data Science Podcasts. Mit seiner tiefen Erfahrung hilft er Organisationen, die Kluft zwischen KI-Innovation und ethischer Verantwortung zu überbrücken, sodass Rollouts im Einklang mit den Unternehmenswerten und Zielen stehen.
Cal wurde im Tech-Sektor in Cleveland vielfach ausgezeichnet – etwa unter Cranes „Cleveland’s Top 20 in ihren Zwanzigern“, als herausragende Führungskraft mit Migrationshintergrund, als Tech-Manager sowie als vierfacher Gewinner der Cleveland Smart 50 Awards.
Cal, danke, dass du heute hier bist.
Cal Al-Dhubaib: Galen, danke für die Einladung. Ich freue mich auf das Gespräch.
Galen Low: Ich ebenfalls. Ich habe unsere bisherigen Gespräche sehr geschätzt. Du bist definitiv jemand, der sich auskennt. Glückwunsch auch zur neuen Rolle als Host des Open Data Science Podcasts. Du hast viel Spannendes am Laufen.
Ich weiß, du bist tief in dem Thema, du bist engagiert, und ich hoffe, unser Gespräch nimmt auch unerwartete Wendungen. Aber nur für den Fall habe ich einen Fahrplan für heute vorbereitet: Erst gebe ich dir eine große, spannende Frage, die viele meiner Hörer beschäftigt.
Dann möchte ich das Ganze in drei Teile gliedern. Erstens: Was bedeutet es, Vertrauen in eine KI-Lösung zu entwickeln und wofür ist das Projektteam beim Erhalt des Vertrauens verantwortlich? Dann möchte ich die Möglichkeiten beleuchten, Vertrauen zu messen und zu auditieren – insbesondere im Rahmen regulierter Branchen, aber auch darüber hinaus.
Und zuletzt interessiert mich dein Ausblick in die Zukunft: Wie wird sich unser Verständnis von Vertrauen in den nächsten Jahren entwickeln, da wir kollektiv besser verstehen, wie mit unseren Daten im KI-Zeitalter umgegangen wird? Das war viel – wie klingt das für dich?
Cal Al-Dhubaib: Oh ja. Das wird umfangreich. Ich bin dabei.
Galen Low: Los geht’s. Ich möchte gleich mit einer großen, schwierigen Frage einsteigen: Wer ist beim Bau und Rollout von KI-Lösungen für Vertrauen als Anforderung verantwortlich? Was passiert, wenn dieses Vertrauen im KI-Erlebnis fehlt?
Cal Al-Dhubaib: Die einfache Antwort ist: Standardmäßig niemand – und das ist das Hauptproblem. Genau hier setze ich mit meinem Kurs „Einführung in Trust Engineering“ an.
Das erinnert mich an die frühen Tage der Data Science – egal, ob Analytics, IT oder Finanzen: Es war weniger wichtig, wo das Thema verankert war, Hauptsache, es gab eine klare Zuordnung von Verantwortlichkeiten.
Dasselbe gilt heute für Vertrauen in KI-Lösungen – ist es kein Teil des Design-Prozesses, führt das zwangsläufig zu unbeabsichtigten Folgen. Es mangelt nicht an Beispielen. Eine Ressource, die ich oft zitiere, ist die KI-Incident-Datenbank – dort habe ich vorhin die neuesten Zahlen für 2025 abgerufen.
Und wenig überraschend: Die Anzahl der Vorfälle steigt Jahr für Jahr weiter an.
Galen Low: Interessant. Wie definiert die Datenbank eigentlich einen „Vorfall“?
Cal Al-Dhubaib: Das gefällt mir sehr: Sie durchsuchen Nachrichtenquellen und betrachten einen Vorfall aus verschiedenen Berichts-Perspektiven.
Wenn mehrere unabhängige Medien eine Story behandeln, wird alles zu einem Vorfall zusammengefasst, komplett mit allen Berichterstattungen. Frühe Beispiele: Zum Beispiel beim Start der Apple-Kreditkarte: Sie räumte Frauen zunächst geringere Kreditlinien ein als Männern – bei sonst gleichen Voraussetzungen.
Neuere Beispiele in der Incident-Datenbank: Anyscale, bekannt für KI-Agent-Codierung. Dort gab es eine Störung, sodass Nutzer zufällig ausgesperrt wurden. Der KI-Chatbot reagierte ironischerweise mit halluzinierten Antworten – das verwirrte die Nutzer, sie fühlten sich manipuliert und kündigten schließlich ihre Abos. Oder im letzten Herbst: Eine der Big-Four-Unternehmensberatungen reichte einen Bericht bei der australischen Regierung ein, der mithilfe von KI erstellt wurde, jedoch massive Ungenauigkeiten aufgrund von Halluzinationen enthielt.
Solche Beispiele gibt es seit 2016/17, also aus den frühen Tagen des maschinellen Lernens, und ihre Zahl nimmt weiter zu – alle werden in der KI-Incident-DB dokumentiert.
Galen Low: Was ich an deinen drei Beispielen mag: Sie zeigen eine Bandbreite. Erster Fall: Offensichtliche Trainings-Bias in den Daten.
Cal Al-Dhubaib: Definitiv, das steckt in den Daten.
Galen Low: Das zweite Beispiel – KI-Gaslighting ist wirklich der passende Begriff – quasi, “Du bist das Problem”, und die KI sperrt dich aus, sodass du irgendwann denkst: Vielleicht hat die KI ja recht? Aber eigentlich sollte ich ja nicht ausgeschlossen werden …
Cal Al-Dhubaib: Richtig, so habe ich das noch gar nicht betrachtet.
Galen Low: Und das dritte Beispiel: Wenn Genauigkeit schiefgeht, spielen Halluzinationen, menschliche Beteiligung und Vertrauen eine Rolle. Am Ende müssen wir gründlich prüfen.
Cal Al-Dhubaib: Absolut.
Galen Low: Ein guter Einstieg – ich hoffe, wir decken noch mehr davon ab.
Vertrauen ist viel mehr als Transparenz hinsichtlich Datennutzung. Es geht viel weiter, wenn es darum geht, was eine Lösung vertrauenswürdig macht. Gerade in stark regulierten Branchen wie Gesundheit, Finanzwesen und Verteidigung ist verantwortungsvoller Umgang mit sensiblen Daten nicht nur moralisch geboten, sondern auch aus Compliance-Gründen verpflichtend. Vertrauensfragen gehen aber über Datenschutz und Datensicherheit hinaus – Stichworte: Trust Engineering und „langweilige KI ist sichere KI“.
Cal Al-Dhubaib: Ich liebe das! Oft wird KI glänzender gemacht als nötig – das fiel mir früh auf. Gerade regulierte Bereiche zeichnen sich durch hohe Kosten bei Fehlern aus – und: Bei KI-Systemen ist die Fehlerfreiheit nie garantiert.
Galen Low: Kann ich nachvollziehen.
Cal Al-Dhubaib: Ich erinnere mich an Projekte in Kliniken: Wir zeigten, wie Machine Learning verschiedene Vorhersagemodelle baut, und diskutierten dann, dass die Modelle auch über alle Demografien hinweg funktionieren müssen. Minderperformanz z.B. in Minderheiten führt zu Problemen. Damals – 2016 bis 2018 – war oft das Feedback: Das birgt zu viel Haftungsrisiko, der Nutzen ist unklar und das Projekt wird lieber gestoppt – das Risiko überstieg die Toleranz, es fehlte eine eindeutige Handlungsanleitung.
Galen Low: Mit anderen habe ich darüber gesprochen, dass Unternehmen in regulierten Branchen ihre sogenannte Risikomuskulatur ausgebildet haben, also klare Grenzen kennen, und daher bei zu hohem Risiko den Stecker ziehen. Nicht, weil die Technik schlecht ist, sondern weil die Rahmenbedingungen oder Daten nicht stimmen. Das finde ich durchaus ehrenwert: Lieber sicher und langweilig als unüberlegt – ein Schritt in die richtige Richtung, selbst wenn es als Scheitern erscheinen mag.
Cal Al-Dhubaib: Auf jeden Fall. Ein Satz, der mir dazu in Erinnerung blieb: Die beste KI ist manchmal weniger KI.
Eines meiner Themen ist strategische KI-Minimierung. Ein aktuelles Praxisbeispiel: Wir arbeiteten an der automatisierten Verarbeitung von Studierendenzeugnissen für eine Hochschule. Ziel war, mit LLM-Extraktion genauer zu sein als mit RPA. Die Formate variierten stark – Ergebnis: 90 % Genauigkeit, was gut ist, aber … “Bei welchen 10 % ist es falsch?” – zu riskant also fürs Geschäft. Wir analysierten, wann KI am ehesten scheitert (z. B. ausländische Abschlüsse, besondere Zeitsysteme), erstellten Regellisten und leiteten kritische Fälle in manuelle Prüfungen. So wird KI dort eingesetzt, wo sie sicher arbeitet – das ist angewandtes Trust Engineering.
Galen Low: Das führt zu deiner LinkedIn-Learning-Kursentwicklung: Was ist Trust Engineering – wie führt es zu sicheren KI-Lösungen?
Cal Al-Dhubaib: Es ist ein gemeinsames Kommunikations-Toolkit für unterschiedliche Personen im Gestaltungs-/Adoptionsprozess von KI. Mir fiel auf, dass Akteure mit verschiedenen Sichtweisen herangehen und eine gemeinsame Sprache fehlt: KI-Ingenierende kennen statistische Verzerrungen, Risikomanagement sieht Haftung für das Unternehmen, Governance fragt nach Assumptions und UX-Designer nach Benutzerführung. Geschäftsstakeholder definieren die Anforderungen. Es braucht also ein Framework, um Vertrauenseinbrüche und Gegenmaßnahmen gemeinsam zu besprechen.
Galen Low: Ich finde die Idee einer gemeinsamen Sprache bzw. Frameworks spannend – insbesondere, weil, wie du sagst, Data Analysts früher als Alleskönner für Datenqualität/Genauigkeit herangezogen wurden, aber letztlich ist es Teamaufgabe – ein cross-funktionaler Ansatz.
Cal Al-Dhubaib: Absolut.
Galen Low: Das heißt auch: KI muss nicht alles übernehmen, sondern Mensch und Maschine kollaborieren sinnvoll. Dafür brauchen alle ein gemeinsames Vokabular, um über Design- und Implementierungs-Prozesse zu kommunizieren – und auch, um einander besser zu verstehen. Für Projektmanager gilt oft: Methoden sind Mittel, damit alle gemeinsam an einem Strang ziehen – damit keine wichtigen Aspekte in der Übersetzung verloren gehen.
Cal Al-Dhubaib: Oft wird unterschätzt: „Das ist abgedeckt“, denkt man, aber …
Galen Low: ...genau das gefällt mir an deinem Ansatz! Privatsphäre, Barrierefreiheit, Zugänglichkeit sind Teamthemen in komplexen wie einfachen Lösungen – niemand kann alles allein verantworten.
Cal Al-Dhubaib: Exakt. Ein einfaches Beispiel: Nehmen wir das Thema Fairness in einem Aufnahmemodell für Studierende (echtes Projekt). Die Anforderung: Die Modellqualität soll über alle Demografien passen. Die Frage: Wie stellen wir das sicher? Nun gibt es 22 verschiedene Fairness-Kriterien – da braucht es die Organisation, damit die relevante Definition und entsprechende Policies geklärt sind. Das geht nicht allein von Ingenieuren aus.
Galen Low: Es gibt viele KI-Kritiker. Aber KI zwingt uns auch, Dinge zu hinterfragen, die wir schon ewig tun – Stichwort: ethisch/fair/nach Bauchgefühl? Jetzt müssen wir klare, begründete Entscheidungen treffen, wie etwa Pilot:innen bei autonomen Fahrzeugen.
Cal Al-Dhubaib: Es kann extreme, aber auch ganz alltägliche (fast schon „langweilige“) Fälle geben – generative KI-Systeme sind oft so offen, dass sie Nutzer*innen überfordern.
Galen Low: Interessant.
Cal Al-Dhubaib: Es ist hilfreich, wenn die Nutzungsmöglichkeiten begrenzt sind. Ich habe vier Säulen im Trust Engineering: Erwartungsmanagement, Entscheidungsdesign, Governance und Infrastruktur (Tooling, Risiko, Engineering). Gerade bei offenen Systemen ist es wichtig, die Nutzer*innen mit der passenden Info, aber genug Schutz, zu leiten.
Galen Low: Kannst du Beispiele nennen – für Erwartungsmanagement und Entscheidungsdesign? Wer sollte dabei einbezogen werden?
Cal Al-Dhubaib: Ein einfaches Beispiel aus der Praxis: Behr Paint – bekannt aus dem Baumarkt. Einer der größten „Drop-Offs“ war die Überforderung bei der Farbauswahl. Ich selbst kenne das – mehr als 10 Farben überfordern mich schon, vor allem, wenn es um Nuancen von „Eierschalenweiß“ geht. Daher entwickelte man eine generative Produktauswahl, basierend auf Farbwissenschaft und Produktbestand. Dabei galt es, Regeln aufzustellen: Hilfe bei Farbauswahl – ja; Beratung zu Farbmischung oder Anwendung – nein, hier übergab man an den Kundendienst.
Galen Low: Gutes Beispiel – 90/10-Regel: KI soweit möglich, ansonsten Weiterleitung an Menschen.
Cal Al-Dhubaib: Dazu kam: Keine Empfehlung für Konkurrenzprodukte, und keine „provokativen“ Aussagen, die im Internet landen könnten. Hier zeigt sich, wie sich Design, Erwartungsmanagement, Governance und Kommunikation miteinander verzahnen – alles für ein vertrauenswürdiges Nutzererlebnis.
Galen Low: Das Interface war conversatonal, richtig?
Cal Al-Dhubaib: Genau. Auf behrpaint.com erscheint ein Chatbot namens Chat Hue.
Galen Low: Das verbindet Spezialisierung für Farben, aber auch korrektes Wording und Markensprache sowie Aktualität der Produktdaten. Bei anderen Kunden, etwa einer Bank, arbeiten wir daran, das Wissen intern aktuell zu halten. Auch dafür braucht es klare menschliche Zuständigkeiten für die Datenpflege.
Galen Low: Es ist keine 100 %ige Automatisierung, Menschen bleiben entscheidend für Datenpflege, Qualität und Updates. Die Kombination aus KI und Mensch ist realistisch. KI, die KI steuert? Klingt verführerisch, aber alle produktiven Anwendungen, die ich kenne, brauchen weiterhin menschliches Eingreifen.
Galen Low: Menschen werden weiterhin gebraucht, auch wenn das Marketing was anderes verspricht und die Verlockung groß ist, Personalkosten einzusparen …
Cal Al-Dhubaib: Es bleibt verlockend.
Galen Low: Manchmal helfen auch Anti-Beispiele weiter: Wo fehlt heutzutage vertrauensfördernde Gestaltung? Wo ist KI ein Black Box?
Cal Al-Dhubaib: Die Incident-DB ist hier Gold wert. McDonald's versuchte z. B. Voice Ordering im Drive-In – entwickelte mit einem bekannten Softwarehaus ein System, das aber häufig falsche Bestellungen auslöste und schließlich eingestellt wurde. Zum Vergleich: Bei Domino's Pizza werden 80 % aller Bestellungen per KI-System aufgenommen – allerdings mit Live-Überwachung, menschlichem Eingreifen bei Problemen und laufender Kontrolle. Die Technik ist nicht gescheitert, sondern die Begleitmaßnahmen fehlten!
Galen Low: Das spricht wieder für eine Mischung, kein Entweder-oder. Für Projektleiter*innen ist das eine spannende Überlegung: Nur KI oder doch zurück zu 100 % Menschen? Im CX-Bereich sieht man nach Jahrzehnten von Chatbots oft die Übergabe an menschliche Agenten – hybrid und datengetrieben.
Cal Al-Dhubaib: Der einfachste Weg zur KI-Entlastung: Callcenter-Agents mit KI-Tools ausstatten – Empfehlungen, Live-Transkripte, gezielte Abfragen … Quantität und Qualität steigen und die Menschen bleiben die Sicherheitsschicht. Filter und Trigger können steuern, wann KI komplett übernimmt und wann Menschen einspringen.
Drei Governance-Fragen für KI-Projekte: Was tun wir vorab, um Risiken zu minimieren? Wie erkennen wir Fehler im Betrieb (Diagnostik, Guardrails, Überwachung)? Und – oft vergessen – wie gehen wir dann damit um? Stressen wir den Ernstfall? Beispielsweise beim McDonald's-Voice-System: Taucht ein Problem auf, muss der Mensch rasch verstehen, was vorab passierte und souverän übernehmen – und dabei das Vertrauen der Kund*innen erhalten.
Galen Low: Besonders in schnellen Umgebungen wie Fastfood ist das entscheidend – da sind 15 Sekunden für eine Bestellung ein hoher Zeitdruck. Ich finde es wichtig, dass neue Dinge versucht werden – nicht jede Implementierung klappt sofort.
Du sagst: Die Zahl der Incidents wächst. Liegt es daran, dass die Technik schlechter wird?
Cal Al-Dhubaib: Es liegt eher daran, dass es leichter ist, solche Tools zu bauen – die Anwendungsfläche ist größer. Die Fähigkeit, Risiken zu managen, wächst aber mit. Ein weiterer Punkt: Wir erkennen KI-Fehler besser – das allgemeine Trust-Niveau in digitale Infos ist vorbei. DeepFakes beunruhigen zwar weiterhin, aber Nutzer*innen sind deutlich skeptischer geworden.
Galen Low: Das Misstrauen war früher undenkbar. Heute sind wir kritischer – kein Nachteil. Kritisches Denken wächst.
Cal Al-Dhubaib: Wir erkennen Probleme schneller.
Galen Low: Und können sie beheben. Oft sind es auch menschliche Policies, die schon vorher unfair waren. Das ist die Rückverfolgung.
Kommen wir zum Team: Vertrauen ist eine cross-funktionale Verantwortung. Die Zusammensetzung der Teams ändert sich: Du hast das Toolkit erwähnt, aber wie wird die Arbeit im Team konkret aufgeteilt? Wie vermeidet man Schuldzuweisungen, z. B. bei einer gescheiterten McDonald's-Implementierung?
Cal Al-Dhubaib: Wie gesagt: Ist jeder verantwortlich, ist niemand verantwortlich – es braucht jemanden, der das Thema führt. Bei Further investieren wir viel in KI-Governance-Zertifizierungen. Die IAPP (International Association of Privacy Professionals) war Vorreiter mit Privacy-Zertifikaten, jetzt gibt es einen eigenen KI-Governance-Abschluss, offen für Jurist*innen, Techniker*innen, Privacy-Leute und IT-Security-Spezialist*innen. Jedes unserer KI-Projekte hat entsprechend Verantwortliche, die die richtigen Fragen stellen.
Galen Low: Oft bleibt die Projektleitung am Ende auf allem sitzen, was Zusammenführung und Requirements angeht, aber die Aufgabenlage wächst stetig. Die konkrete Zuweisung von Governance-Ownern im Projekt ist aus meiner Sicht richtig, damit auch bei Teamarbeit die Verantwortung noch klar zugeordnet bleibt.
Cal Al-Dhubaib: Ganz genau. Und: Das soll nicht Extraarbeit generieren, sondern den Gesamtaufwand senken – indem wir gezielt innehalten, potenzielle Fehlerquellen betrachten und daraus die vertrauensrelevanten Schwerpunkte bestimmen.
Galen Low: Das gefällt mir an regulierten Branchen: Sie begreifen „produktive Reibung“ und haben keine Scheu, auch einmal zu pausieren. Startups empfinden das als Versagen, aber „Erfolg“ ist mehr als nur schnelles Ausliefern. Man sollte auch das Risiko und die Gesamtkosten bedenken, etwa durch Klagen, Strafen oder Shitstorms.
Cal Al-Dhubaib: Das möchte man vermeiden.
Galen Low: Trust sollte als Anforderung dokumentiert werden; klar, man kann nicht für jedes Projekt jemanden einstellen, aber hoffentlich steigt die Wertschätzung dieser Rolle stetig.
Cal Al-Dhubaib: Ich bin sicher, das ist ein Wachstumsfeld: KI-Kontrolle, -Qualität und -Risiko werden immer wichtiger, je mehr KI verbreitet ist. Die Kunst liegt im Fragestellen, sodass sich das Team daran ausrichten kann.
Galen Low: Ich finde das super.
Kann Vertrauen gemessen werden? Kann das Team nachweisen, dass eine Lösung vertrauenswürdig ist – oder das messen?
Cal Al-Dhubaib: Gute Frage! Teilweise geht es darum, Incidents zu verhindern – die Vorfallrate als Kennzahl. Aber auch Nutzerverhalten ist spannend, insbesondere in Anwendungen: Erreichen Nutzer*innen ihr Ziel (z. B. bei Chat Hue)? Klicken sie sich durch, kehren sie zurück? Das sind Indikatoren für Effektivität und Vertrauen.
Galen Low: Das sind vertraute Messansätze: Risikoprofil, Vorfallswahrscheinlichkeit, Zweck-/Erfolgserreichung. Das lässt sich verknüpfen.
Cal Al-Dhubaib: Eine Lösung ist auch dann nicht vertrauenswürdig, wenn sie schlicht nicht nützlich ist.
Galen Low: Stimmt! Vertrauen hat viele Facetten – auch das Gefühl, dass man seine Zeit nicht verschwenden möchte.
Kommen wir zur Zukunft: Vertrauen kann auch daran scheitern, dass Menschen in der Schleife z. B. aus Eigeninteresse gegen KI handeln – Thema Boni und Eigen-Bias. Menschen sind manchmal schlecht darin, Vertrauen zu schaffen. Wie lange dauert es, bis KI das Konzept Vertrauen besser versteht als wir?
Cal Al-Dhubaib: Die Definition von KI ist sehr zirkulär – vor allem, wenn wir Richtung General AI schauen. Menschen erweitern heute ihre Kompetenz durch KI als Werkzeug – das macht die Unterscheidung schwierig. Ob KI Vertrauen besser versteht als Menschen, weiß ich nicht. Vertrauen ist subjektiv und kulturell verschieden: In einer bekannten MIT-Studie wurden die Moralvorstellungen in verschiedenen Ländern zur Autonomie von Autos verglichen („Moral Machine“ – Stichwort Trolley-Probleme). Ergebnis: Unterschiedliche Wertcluster: In westlichen Ländern gilt häufig „Mehr Leben retten“, in asiatischen zählt oft das Alter mehr, also eine Person wichtiger als viele. Die moralischen Rahmen sind korrekt – aber inkompatibel. Als Mensch zwischen verschiedenen Kulturen kenne ich das gut. Wie soll eine KI das auflösen, wenn wir es schon nicht können?
Galen Low: Das ist ein spannender Schluss. Es gibt nicht DIE eine Antwort für Vertrauen – KI muss vielmehr unsere Kultur(en) verstehen und voneinander unterscheiden können.
Cal Al-Dhubaib: Genau, es fehlt das Schwarz-Weiß. Man muss Annahmen treffen und designen, wo die Verantwortung liegt.
Galen Low: Sie sagen ja: KI ist Spiegel und Lupe zugleich. Vertrauen ist Teil davon. Es geht darum, Ziele zu erreichen, Risiken hinzunehmen und einen akzeptablen Vertrauensstandard gemeinsam zu definieren.
Cal Al-Dhubaib: Ganz genau, mit dem richtigen Toolkit und in gemeinsamer Abstimmung.
Galen Low: Danke, Cal, für deinen Besuch. Wer mehr über deinen Kurs erfahren möchte, wohin kann man sich wenden?
Cal Al-Dhubaib: Am aktivsten bin ich auf LinkedIn – am besten dort connecten, ich werde dort auch Neuigkeiten zu meinem Kurs posten.
Galen Low: Super, ich verlinke dein Profil und auch den Incident-DB-Link in den Show Notes – das ist wirklich eine Fundgrube. Tolles Gespräch, danke Cal!
Cal Al-Dhubaib: Danke, Galen.
Galen Low: Das war’s – wenn euch diese Folge von The Digital Project Manager Podcast gefallen hat, abonniert uns! Weitere Tipps, Case Studies und Playbooks gibt’s auf thedigitalprojectmanager.com.
Bis zum nächsten Mal – danke fürs Zuhören.
