Wie man vertrauenswürdige KI entwickelt: Ein 4-Säulen-Rahmen für Projektteams
Dieser Artikel basiert auf einer Folge des Digital Project Manager Podcasts, in der Moderator Galen Low mit Cal Al-Dhubaib, Leiter für KI & Datenwissenschaft bei Further, spricht. Hören Sie sie sich hier an.
Verantwortung für Vertrauen: Das Fehlen individueller Verantwortlichkeit untergräbt in KI-Projekten oft das Vertrauen und erschwert die Rechenschaftspflicht.
Trust Engineering: Ein Rahmen namens Trust Engineering fördert eine gemeinsame Sprache unter verschiedenen Stakeholdern im KI-Design.
Vier Säulen: Vertrauenswürdige KI basiert auf vier Säulen: Erwartungsmanagement, Entscheidungsdesign, Governance und Vertrauensinfrastruktur.
Projektfragen: Teams sollten sich drei Schlüsselfragen stellen, um eine effektive Governance und Risikosteuerung von KI-Lösungen sicherzustellen.
Vertrauen messen: Das Verhalten der Nutzer ist ein entscheidender Indikator für Vertrauen und Effektivität von KI-Systemen.
Warum Vertrauen eine verantwortliche Person braucht
Die meisten KI-Projekte stoßen schon zu Beginn auf dasselbe Problem: Niemand ist explizit dafür verantwortlich, ob dem System vertraut werden kann. Cal Al-Dhubaib, Leiter für KI & Datenwissenschaft bei Further, hat das branchenübergreifend beobachtet und benennt die Ursache klar: „Die einfache Antwort darauf ist, dass standardmäßig niemand diese Verantwortung übernimmt, und genau das ist das große Problem“, sagt er.
Niemand besitzt sie [das Vertrauen in KI], und das ist das große Problem.
Das Problem ist nicht fehlende Sorge – sondern Unklarheit darüber, wessen Aufgabe es überhaupt ist. „Eine interessante Sache an Verantwortlichkeit ist: Wenn es alle betrifft, fühlt sich niemand zuständig, deshalb braucht es eine konkrete Person, die diesen Aspekt verantwortet“, erläutert Al-Dhubaib. Bei Further ist das Prinzip keine Theorie: „Wir bestimmen tatsächlich für jedes einzelne dieser KI-Projekte jemanden, damit wir sicherstellen können, dass wir die richtigen Fragen stellen.“
Kostenlos freischalten
Erstellen Sie ein kostenloses Konto, um diesen Beitrag zu Ende zu lesen und Teil einer Community zukunftsorientierter Führungskräfte zu werden, die Tools, Leitfäden und Insights für den Erfolg im Zeitalter der KI freischaltet.
Have an account? Log In
Was Vertrauens-Engineering wirklich bedeutet
Al-Dhubaibs Antwort auf diese Verantwortlichkeitslücke ist ein Framework, das er Vertrauens-Engineering nennt — im Kern eine gemeinsame Sprache für die vielen Fachrichtungen, die mit einem KI-System zu tun haben. „Es ist ein gemeinsames Kommunikations-Toolkit, das verschiedenen Personas hilft, die an der Gestaltung und Implementierung von KI-Lösungen zusammenarbeiten, produktiver darüber zu sprechen, wie Vertrauen erhalten werden kann“, sagt er.
Der Bedarf für dieses Toolkit ergibt sich daraus, wie fragmentiert die Diskussion üblicherweise ist. Ingenieur:innen, Risikomanager:innen, Verantwortliche für Steuerung, UX-Designer:innen und Business-Stakeholder betrachten dasselbe System aus unterschiedlichen Perspektiven. „Es brauchte irgendeine gemeinsame Möglichkeit, wie diese verschiedenen Personen über dasselbe Thema sprechen und eine ähnliche Vorstellung davon bekommen können, auf welche Weise Vertrauen bei KI verletzt werden kann“, sagt Al-Dhubaib, „und über die Toolkits, mit denen man sich dagegen schützen kann.“
Es musste eine gemeinsame Möglichkeit geben, wie all diese Menschen über das Gleiche sprechen und ein ähnliches Verständnis dafür erhalten, auf welche Weise Vertrauen mit KI verletzt werden kann.
Die vier Säulen vertrauenswürdiger KI
Vertrauens-Engineering zerfällt in vier praxisnahe Säulen – Erwartungsmanagement, Entscheidungsdesign, Steuerung und Vertrauensinfrastruktur. Jede deckt einen anderen Punkt ab, an dem KI-Systeme typischerweise das Vertrauen der Menschen verlieren.
Säule 1: Erwartungsmanagement
Die erste Säule betrifft den Projektumfang. Generative KI-Systeme sind oft zu offen in ihren Möglichkeiten, was die Nutzer:innen überfordern kann – dabei sollen sie eigentlich helfen. „Es ist hilfreich, wenn es einen begrenzten Rahmen gibt, wozu dieses Tool eingesetzt werden kann“, merkt Al-Dhubaib an.
Er verweist auf ein Beispiel aus seiner Arbeit mit Behr Paint, deren Ziel es war, die Entscheidungsüberforderung bei der Farbauswahl zu reduzieren. „Sie gehen zu Home Depot und sehen das große Display mit Farbfeldern“, beschreibt er, wie Kund:innen – ihn eingeschlossen – ins Stocken geraten. „Man fühlt sich schlicht überfordert, wenn man eine Auswahl treffen soll.“ Die Lösung war nicht noch mehr KI – sondern ein klar eingrenztes Nutzererlebnis mit bewussterem Umfang.
Säule 2: Entscheidungsdesign
Die zweite Säule beschäftigt sich mit den Leitplanken für die Entscheidungen, die ein KI-System treffen darf. „Wie geben Sie den Nutzenden die richtige Menge an Informationen und Ausrichtung, und wie viele Leitplanken braucht es, damit sie das System richtig nutzen können?“, fragt Al-Dhubaib.
Im Behr Paint-Projekt bedeutete dies, eine klare Grenze zu ziehen, welche Art von Empfehlungen die KI sicher geben durfte. Die Farbauswahl war erlaubt; alles, was mit Farbmischung oder Anwendung zu tun hatte, erforderte eine Übergabe an einen Menschen. „Wenn das Gespräch irgendwann in diese Richtung abzudriften droht, weist es den Nutzer schnell darauf hin: Hier ist unsere Hotline, wenn Sie bei dieser speziellen Anfrage Hilfe benötigen“, sagt Al-Dhubaib.
Wenn das Gespräch irgendwann in diese Richtung abzudriften droht, weist es den Nutzer schnell darauf hin: Hier ist unsere Hotline, wenn Sie bei dieser speziellen Anfrage Hilfe benötigen.
Das System wurde auch unter Berücksichtigung des Rufschutzes entwickelt – „es lässt sich auch nicht dazu drängen, Dinge zu sagen, die es nicht sagen soll und die dann als Screenshot im Internet landen.“
Pfeiler 3: Governance
Der dritte Pfeiler befasst sich mit einer Frage, die nicht allein von Ingenieur:innen beantwortet werden kann: Was bedeutet „fair“ oder „korrekt“ überhaupt für dieses spezielle Unternehmen? Al-Dhubaib beschreibt ein Projekt mit einem Modell für Studentenaufnahmen, bei dem der Auftraggeber eine Qualitätskontrolle über alle Demografien hinweg wollte. „Es gibt 22 verschiedene Möglichkeiten, Fairness zu berechnen“, sagt er. „Und ehrlich gesagt, das liegt außerhalb des Aufgabenbereichs des Ingenieurs. Ich kann Ihnen sagen, was die Formeln sind und wie man sie auf verschiedene Arten berechnet. Ich muss mich auf Sie verlassen: Was ist Ihre Richtlinie? Wie gehen Sie mit dieser Definition um und was ist für Sie korrekt?“
Diese Governance-Arbeit endet nicht mit internen Entscheidungen – sie muss auch nach außen kommuniziert werden. Wie Al-Dhubaib sagt, wird all dies dokumentiert und „in einer benutzerfreundlichen Systemkarte“ weitergegeben.
Pfeiler 4: Vertrauensinfrastruktur
Der letzte Pfeiler umfasst die Werkzeuge und Prozesse, die ein KI-System nach der Inbetriebnahme ehrlich halten. Er veranschaulicht diesen Pfeiler mit einem Vergleich zwischen zwei bekannten Schnellrestaurantketten. Die eine zog ihr KI-Sprach-Bestellsystem zurück, da es nicht konsequent in der Lage war, Bestellungen korrekt aufzunehmen.
Die andere ging einen anderen Weg: „Sie haben andererseits Domino's, bei denen jetzt 80 % ihrer Telefonbestellungen von einem KI-System bearbeitet werden“, wobei menschliche Supervisor:innen Live-Anrufe überwachen und bei Bedarf eingreifen sowie „angemessene Prüfmechanismen eingerichtet sind, um sicherzustellen, dass die Bestellungen weiterhin mit den Angaben der Nutzer:innen übereinstimmen.“ Der Unterschied lag laut Al-Dhubaib nicht an der zugrundeliegenden Technik. „Ich glaube nicht, dass dies so sehr ein technisches Versagen war, sondern vielmehr ein Versagen, die richtigen Leitplanken rund um die Technologie einzuziehen.“
Ich glaube nicht, dass dies so sehr ein technisches Versagen war, sondern vielmehr ein Versagen, die richtigen Leitplanken rund um die Technologie einzuziehen.
Drei Fragen, die jedes Projektteam stellen sollte
Über die vier Pfeiler hinaus gibt Al-Dhubaib Projektteams eine einfache Diagnostik für jede KI-Governance-Diskussion an die Hand – drei Fragen, die nacheinander gestellt werden.
Erstens: „Was haben Sie im Vorfeld getan, um zu testen und sicherzustellen, dass Sie potenzielle Schäden oder potenzielle Risiken, die dieser KI-Lösung innewohnen, minimiert haben?“ Zweitens, sobald das System in Betrieb ist: „Wie erkennen Sie, wenn es einen Fehler macht?“ Und drittens – die Frage, die seiner Aussage nach am häufigsten übersehen wird – „Was tun Sie dann? Wie setzen Sie das um? Haben Sie diesen Plan tatsächlich auf Belastbarkeit getestet?“
Woran erkennt man, ob es funktioniert?
Vertrauen ist nicht nur ein Designprinzip; es ist messbar. Al-Dhubaib verweist auf das Nutzerverhalten als eines der klarsten Zeichen, die ein Team hat. „Erreicht der Nutzer Ihr Ziel?“, fragt er und greift noch einmal das Behr-Beispiel auf – kommen die Menschen tatsächlich bis zu dem Punkt, an dem sie mehr über eine Farbvariante erfahren, schließen sie die Interaktion ab und kehren zum Tool zurück.
Letztlich führt er den Nutzen direkt auf das Vertrauen zurück: „Wir sind einfach nicht nützlich – denn das ist auch ein Teil von Vertrauen.“
Das Fazit
Trust Engineering ist keine Checkliste, die am Ende eines Projekts angehängt wird – es ist eine Reihe von Designentscheidungen, die während des gesamten Prozesses getroffen werden, darüber, was das System tun wird und was nicht, und wer für welche Entscheidung verantwortlich ist. Wie Al-Dhubaib es ausdrückt: „Sie müssen definieren, was korrekt ist, und welche Annahmen Sie treffen wollen. All das sind Designentscheidungen, die im Rahmen von Trust Engineering getroffen werden können.“
Möchten Sie mehr solcher Einblicke? Melden Sie sich für ein kostenloses DPM-Konto an, um mehr von solchen Expert:innen zu hören.
