Cztery filary godnej zaufania sztucznej inteligencji — i kto za nie odpowiada

Galen Low: Czym jest zaufanie w inżynierii i jak prowadzi ono do bezpiecznych rozwiązań oraz doświadczeń opartych na sztucznej inteligencji?

Cal Al-Dhubaib: To wspólny zestaw narzędzi komunikacyjnych, który pomaga różnym osobom współpracującym przy projektowaniu i wdrażaniu rozwiązań AI rozmawiać w bardziej produktywny sposób o zachowaniu zaufania. Potrzebny był wspólny sposób, aby wszyscy ci ludzie mogli rozmawiać o tym samym i podobnie rozumieć sposoby, w jakie zaufanie może zostać naruszone przez AI, a także zestaw narzędzi pozwalających się przed tym bronić.

Galen Low: W jaki sposób zespół projektowy może wspólnie dzielić odpowiedzialność za wbudowanie zaufania w rozwiązania i uniknąć wzajemnego obwiniania?

Cal Al-Dhubaib: Ciekawą kwestią dotyczącą odpowiedzialności jest to, że jeśli jest ona obowiązkiem wszystkich, to w rzeczywistości nikt za nią nie odpowiada. Ostatecznie potrzebna jest konkretna osoba, która przejmie odpowiedzialność za ten aspekt. W każdym z naszych projektów AI wyznaczamy taką osobę, aby mieć pewność, że zadajemy właściwe pytania.

Galen Low: Jak myślisz, ile czasu zajmie AI zrozumienie ludzkiego pojęcia zaufania lepiej niż rozumieją je ludzie?

Cal Al-Dhubaib: Naprawdę uważam, że definicja AI jest bardzo kolista. Jak AI miałaby rozumieć zaufanie lepiej niż ludzie? Nie wiem, ale również —

Galen Low: Witajcie w podcaście The Digital Project Manager — programie, który pomaga liderom odpowiedzialnym za realizację pracować mądrzej, sprawniej dostarczać rezultaty i pewniej kierować zespołami w epoce AI. Jestem Galen i co tydzień zagłębiamy się w praktyczne strategie, najnowsze trendy, sprawdzone ramy działania oraz okazjonalne historie z pierwszej linii projektowej. Niezależnie od tego, czy kierujesz ogromnymi projektami transformacyjnymi, zarządzasz przepływami pracy opartymi na AI, czy po prostu próbujesz utrzymać chaos pod kontrolą — jesteś we właściwym miejscu. Zaczynajmy.

Dzisiaj rozmawiamy o tym, jak można zaprojektować zaufanie w doświadczeniach opartych na AI, dlaczego ma to tak duże znaczenie dla organizacji wdrażających rozwiązania AI i działających w regulowanych branżach, a także jaką rolę w budowaniu tego zaufania odgrywa zespół projektowy, a szczególnie kierownik projektu.

Moim dzisiejszym gościem jest Cal Al-Dhubaib, dyrektor ds. AI i analityki danych w Further — firmie, która pomaga przekształcać doświadczenia klientów za pomocą danych i AI. Cal jest ekspertem w dziedzinie AI i analityki danych, przedsiębiorcą, cenionym mówcą publicznym oraz nowym gospodarzem podcastu Open Data Science. Wykorzystuje swoje bogate doświadczenie w analityce danych, aby pomagać organizacjom niwelować różnicę między innowacjami AI a odpowiedzialnością etyczną, tak aby wdrożenia AI były zgodne z ich wartościami i celami.

Jego działalność w sektorze technologicznym Cleveland przyniosła mu również uznanie jako jednego z dwudziestu najlepszych młodych liderów Crane Cleveland, wyróżniającego się lidera imigranckiego i wybitnego menedżera technologicznego, a także czterokrotnego laureata nagród Cleveland Smart 50 Awards.

Cal, dziękuję, że do mnie dołączasz.

Cal Al-Dhubaib: Galen, dziękuję za zaproszenie. Cieszę się na tę rozmowę.

Galen Low: Ja również. Naprawdę bardzo podobały mi się nasze rozmowy poprzedzające ten odcinek. Zdecydowanie znasz się na rzeczy. Działasz w tej branży od dawna. Gratuluję objęcia roli gospodarza podcastu Open Data Science. Dużo się u ciebie dzieje.

Wiem, że jesteś głęboko zaangażowany w ten temat i że bardzo ci na nim zależy. Mam nadzieję, że ta rozmowa zaprowadzi nas w nieoczekiwane miejsca. Na wszelki wypadek przygotowałem jednak plan naszej dzisiejszej rozmowy. Na początek chciałem poznać twoją krótką, konkretną opinię na temat dużego i ważnego pytania, na które moi słuchacze chcą znać odpowiedź.

Potem chciałbym rozwinąć ten temat i porozmawiać o trzech kwestiach. Po pierwsze, chciałbym omówić, co oznacza projektowanie zaufania w rozwiązaniu AI i jaka jest odpowiedzialność zespołu projektowego za utrzymanie zaufania do tworzonych rozwiązań. Następnie chciałbym przyjrzeć się sposobom mierzenia i audytowania zaufania, szczególnie w ramach regulowanych branż, ale także poza samą zgodnością z przepisami.

Na koniec chciałbym poznać twoją perspektywę na przyszłość i dowiedzieć się, jak nasze rozumienie zaufania może ewoluować w ciągu najbliższych kilku lat, gdy wspólnie zaczniemy lepiej rozumieć sposób wykorzystywania naszych danych w epoce AI. To sporo tematów. Jak ci się to podoba?

Cal Al-Dhubaib: O tak. Omówimy naprawdę szeroki zakres kwestii. To ambitny plan i jestem na to gotowy.

Galen Low: Świetnie. Zaczynajmy. Chciałem rozpocząć od jednego dużego, trudnego pytania. Jednym z ważnych tematów, o których mówisz, jest projektowanie zaufania w rozwiązaniach i doświadczeniach AI, szczególnie dlatego, że użytkownicy, firmy i organy regulacyjne nie wdrożą AI na pełną skalę, jeśli nie będą ufać temu, co ona zrobi.

Moje pytanie brzmi: podczas budowania i wdrażania rozwiązań AI kto odpowiada za zaufanie jako wymaganie rozwiązania i co się dzieje, gdy zaufania brakuje w doświadczeniu opartym na AI?

Cal Al-Dhubaib: Prosta odpowiedź brzmi: domyślnie nikt za nie nie odpowiada — i to jest główny problem. Właśnie między innymi dlatego pracuję nad kursem dotyczącym inżynierii zaufania.

Szczerze mówiąc, przypomina mi to początki analityki danych, kiedy odpowiedzialność mogła należeć do kogoś z analityki, działu IT albo finansów. Nie miało aż takiego znaczenia, gdzie była umiejscowiona, pod warunkiem że jasno określono, kto odpowiada za daną funkcję i ponosi za nią odpowiedzialność.

To samo dotyczy projektowania zaufania w rozwiązaniach AI. Jak zapewne się domyślasz, jeśli nie jest ono częścią procesu projektowego, rozwiązanie ostatecznie może doprowadzić do niezamierzonych konsekwencji. Przykładem zasobu, który często cytuję i do którego odsyłam innych, jest baza incydentów AI. Niedawno sprawdziłem najnowsze dane dotyczące całego 2025 roku.

Jak można się spodziewać, liczba incydentów nieprzerwanie rosła z roku na rok.

Galen Low: To interesujące. Czy możesz opowiedzieć więcej o tym, jak baza podchodzi do incydentu i jak go definiuje?

Cal Al-Dhubaib: Podoba mi się w niej to, że przeszukuje źródła informacji i analizuje incydent z perspektywy wielu różnych relacji.

Jeśli dana historia została opisana przez kilka niezależnych źródeł, wszystkie te materiały są porządkowane jako jeden incydent i można przejrzeć pełny zakres relacji na jego temat. Jednym z wczesnych przykładów było wprowadzenie przez Apple karty kredytowej, która początkowo przyznawała kobietom niższe limity kredytowe niż mężczyznom przy pozostałych warunkach pozostających bez zmian.

Inne, nieco nowsze przykłady w bazie incydentów AI dotyczą między innymi firmy AnyScale. Jest ona znana ze swojego rozwiązania do kodowania agentowego, ale wystąpił tam problem polegający na losowym blokowaniu użytkowników. Co więcej, chatbot oparty na AI odpowiadał zmyślonymi informacjami. W efekcie jeszcze bardziej dezorientował użytkowników.

Użytkownicy mieli wrażenie, że podważa się ich doświadczenia, a następnie rezygnowali z subskrypcji. Jeszcze jesienią ubiegłego roku jedna z firm konsultingowych należących do wielkiej czwórki przedstawiła konkretny materiał. Nie było to nawet rozwiązanie AI — AI wykorzystano jedynie w procesie jego tworzenia. Materiał przekazano rządowi Australii, ale zawierał poważne błędy merytoryczne wynikające z halucynacji.

Mamy więc przykłady sięgające 2016 i 2017 roku, czyli początków uczenia maszynowego, oraz rosnącą liczbę incydentów z ostatnich kilku lat. Wszystkie są rejestrowane i śledzone w bazie incydentów AI.

Galen Low: Podoba mi się to, że trzy podane przez ciebie przykłady pokazują pewne spektrum incydentów. Po pierwsze mamy coś przypominającego uprzedzenie, które prawdopodobnie zostało zaprogramowane, a nie pojawiło się znikąd. Zapewne wynikało z danych treningowych.

Cal Al-Dhubaib: Zdecydowanie istnieje w naszych danych.

Galen Low: Drugi przykład dotyczył, jak sądzę, gazlightingu ze strony AI — to chyba najlepsze określenie. „Nie, to ty jesteś problemem, więc cię zablokujemy”. A użytkownik myśli: „Może AI jest ode mnie mądrzejsza i rzeczywiście powinienem zostać zablokowany”. Chociaż po chwili dochodzi do wniosku, że jednak nie.

Cal Al-Dhubaib: Masz rację, nie spojrzałem na to w ten sposób.

Galen Low: No właśnie. Trzeci przykład pokazuje, jak może ucierpieć dokładność. Wiąże się to z halucynacjami, udziałem ludzi w procesie, zaufaniem i zwykłym dochowaniem należytej staranności.

Cal Al-Dhubaib: W stu procentach.

Galen Low: To bardzo dobry punkt wyjścia do naszej rozmowy. Mam nadzieję, że omówimy wszystkie te kwestie i jeszcze więcej.

To coś więcej niż samo stwierdzenie: „Jesteśmy transparentni w kwestii tego, co robimy z twoimi danymi”. Chodzi o znacznie więcej elementów, które sprawiają, że rozwiązanie zasługuje na zaufanie. Możemy nieco poszerzyć perspektywę. Dużo mówisz o silnie regulowanych branżach.

Mam na myśli ochronę zdrowia, usługi finansowe i sektor obronny. W tych branżach etyczne i odpowiedzialne wykorzystywanie wrażliwych danych jest nie tylko właściwym postępowaniem, ale też wiąże się z poważnymi konsekwencjami braku zgodności z przepisami. Rozwijając temat zaufania — nie chodzi wyłącznie o prywatność i bezpieczeństwo danych. W swojej pracy mówisz również o inżynierii zaufania.

A także o tym, że nudna AI to bezpieczna AI.

Cal Al-Dhubaib: Uwielbiam to określenie. Próbujemy sprawić, by AI wydawała się bardziej efektowna, niż jest w rzeczywistości, a ja bardzo wcześnie nauczyłem się, że w silnie regulowanych środowiskach koszt popełnienia błędu jest wysoki. Przy okazji AI daje nam jedną gwarancję: popełnia błędy.

Galen Low: To prawda.

Cal Al-Dhubaib: Pamiętam, że na początku pracowałem z systemami szpitalnymi i pokazywaliśmy, jak za pomocą uczenia maszynowego można budować różne modele predykcyjne. Następnie zaczynaliśmy rozmawiać o tym, że musimy dopilnować, aby modele działały dobrze wśród wszystkich grup demograficznych.

Nie chcemy na przykład, aby model działał gorzej w przypadku określonych mniejszości, prowadząc do potencjalnych problemów. W tamtych początkowych latach — mówimy o okresie 2016–2018 — odpowiedź często brzmiała: „To wydaje się dużym ryzykiem prawnym i nie jesteśmy pewni, czy korzyści dla całej populacji są warte realizacji tego projektu”.

Wiele projektów odkładano więc na później, ponieważ tolerancja ryzyka była zbyt niska, a nie istniał satysfakcjonujący sposób przedstawienia jasnych kroków postępowania.

Galen Low: Rozmawiałem z Lauren Wallace o tym, że firmy działające w silnie regulowanych branżach mają wbudowany mechanizm zarządzania ryzykiem.

Mają określone poziomy tolerancji i naprawdę nie dziwi mnie, że mówią: „To wykracza poza naszą tolerancję i próg ryzyka. Nie możemy kontynuować”. Tak właśnie działają. Nie oznacza to, że technologia jest zła ani że ktoś zrobił coś nieprawidłowo. Po prostu nie mogą podjąć takiego ryzyka, dopóki technologia, dane, zasady i przepisy nie będą na to gotowe.

Uważam to za godne podziwu. Jest bezpiecznie i nudno. Wiele osób pomyślałoby: „Jaka strata i porażka”. Ale to wciąż krok we właściwym kierunku i zatrzymanie się z właściwych powodów, zamiast bezrefleksyjnego wdrażania rozwiązania.

Cal Al-Dhubaib: W stu procentach. Usłyszałem kiedyś zdanie, które bardzo do mnie przemówiło: czasami najlepsza AI to mniej AI.

Jednym z tematów, o których mówię, jest strategiczne ograniczanie wykorzystania AI. Niedawno pracowaliśmy z instytucją szkolnictwa wyższego nad przetwarzaniem transkryptów studenckich. Próbowaliśmy wyjść poza tradycyjną automatyzację procesów za pomocą robotów i wykorzystać ekstrakcję opartą na dużych modelach językowych, aby zwiększyć dokładność.

Transkrypcje przychodzą w wielu różnych formatach. Najlepszy wynik, jaki mogliśmy osiągnąć, to 90% dokładności, co w tym kontekście jest całkiem dobrym rezultatem dla rozwiązania opartego na AI. Pierwsze pytanie brzmiało: „Dobrze, ale w których 10% przypadków system się myli?”. To ma sens. W przeciwnym razie byłoby to jak gra na loterii — raz na dziesięć przypadków pojawiłby się błąd, a na tym nie da się oprzeć działalności firmy.

Zaczęliśmy więc analizować, kiedy AI najczęściej się myli. Okazało się, że problematyczne były transkrypcje pochodzące z instytucji zagranicznych oraz transkrypcje z systemu trymestralnego zamiast kwartalnego. Opracowaliśmy więc listę reguł: jeśli transkrypcja pochodzi z któregokolwiek z tych źródeł, trafia do kolejki ręcznej obsługi.

AI przetwarza pozostałe dokumenty. Nie automatyzuje to stu procent przepływu pracy, ale wystarczającą jego część w obszarze, w którym jest bezpieczna i zapewnia większe prawdopodobieństwo dokładnego wyniku. To jeden z przykładów praktycznego zastosowania inżynierii zaufania.

Galen Low: Skoro tworzysz kurs dotyczący inżynierii zaufania dla LinkedIn Learning, może zacznijmy od definicji. Czym jest inżynieria zaufania i jak prowadzi do bezpiecznych rozwiązań oraz doświadczeń opartych na AI?

Cal Al-Dhubaib: To wspólny zestaw narzędzi komunikacyjnych, który pomaga osobom zaangażowanym w projektowanie i wdrażanie rozwiązań AI rozmawiać bardziej produktywnie o zachowaniu zaufania.

Zauważyłem, że różne osoby podchodzą do tego problemu zaufania z odmiennych perspektyw i nie posługują się wspólnym językiem. Inżynierowie AI często znają już statystyczne problemy, takie jak szkodliwe uprzedzenia statystyczne w zbiorach danych. Specjaliści ds. zarządzania ryzykiem i audytorzy patrzą na tę kwestię przez pryzmat ekspozycji organizacji na ryzyko.

Specjaliści ds. ładu organizacyjnego zastanawiają się, jak dokumentować założenia. Projektanci doświadczeń użytkownika myślą o sposobach interakcji ludzi z systemem. Interesariusze biznesowi definiują wymagania i problem biznesowy.

Potrzebny był wspólny sposób, aby wszyscy mogli rozmawiać o tym samym i podobnie rozumieć, jak AI może naruszać zaufanie oraz jak się przed tym bronić.

Galen Low: Podoba mi się, że jest to wspólny język i rama pozwalająca diagnozować oraz rozwiązywać niektóre z tych problemów.

Najbardziej podoba mi się to, że wcześniej mówiłeś o analityce danych i roli analityka danych. W niektórych obszarach, szczególnie w doświadczeniach klientów, często słyszymy: „Po prostu zatrudnimy osobę od danych i ona wszystko rozwiąże”. Taka osoba miałaby odpowiadać za czystość i dokładność danych oraz za wszystko, co z nimi związane.

Szybko okazuje się jednak, że odpowiedzialność nie może spoczywać na jednej osobie. To wysiłek zespołowy i wspólna praca. Podoba mi się, że jest to międzyfunkcyjna rama pomagająca ludziom współpracować.

Cal Al-Dhubaib: W stu procentach.

Galen Low: Wracając do strategicznego ograniczania AI — nie wszystko musi być rozwiązaniem całkowicie opartym na AI albo całkowicie pozbawionym AI. Czy ten przepływ pracy ma być w stu procentach zautomatyzowany, czy nie? To prowadzi bezpośrednio do idei współpracy AI i ludzi.

Dzisiaj musimy wszyscy rozumieć AI i posługiwać się wspólnym słownictwem, aby prowadzić wartościowe rozmowy o projektowaniu i wdrażaniu. Musimy też rozumieć siebie nawzajem. To bardzo przypomina mi kierowników projektów, którzy uwielbiają metodyki i zastanawiają się, która będzie najlepsza dla konkretnego projektu.

Czasami zagłębiamy się jednak zbyt mocno w szczegóły. W gruncie rzeczy metodyka ma pomóc nam znaleźć wspólną płaszczyznę, współpracować i dostarczyć rezultat. Potrzebujemy jej również do tłumaczenia informacji między interesariuszami, aby wszyscy rozmawiali o tym samym. Każdy z nas ma inną specjalizację.

Cal Al-Dhubaib: Łatwo założyć, że ktoś już się tym zajął.

Galen Low: Właśnie dlatego mi się to podoba. To sprawia, że inżynieria zaufania staje się pracą zespołową. Wszyscy jesteśmy w tym razem. Wyobrażam sobie, że obejmuje to również prywatność, dostępność i inne kwestie, za które w złożonym rozwiązaniu nie może odpowiadać jedna osoba.

Cal Al-Dhubaib: Prostym przykładem jest kwestia sprawiedliwości przy budowie modelu rekrutacji studentów. Niedawno zajmowaliśmy się takim przypadkiem. Jednym z wymagań było zagwarantowanie, że model spełnia oczekiwania jakościowe w różnych grupach demograficznych.

Klient zapytał: „Jak to zagwarantujecie?”. Odpowiedzieliśmy: „Najpierw musimy zrozumieć, jak definiujecie sprawiedliwość, ponieważ istnieją 22 różne sposoby jej obliczania”. Szczerze mówiąc, wykracza to poza zakres odpowiedzialności inżyniera. Mogę powiedzieć, jakie istnieją wzory i jak je obliczać, ale potrzebuję od was informacji, jaka jest wasza polityka, jak definiujecie tę kwestię i co jest właściwe w waszym przypadku.

Galen Low: Wiele osób krytykuje AI albo przedstawia katastroficzne wizje, według których AI poprowadzi nas w określonym kierunku bez naszego wpływu.

Myślę jednak, że dzieje się również coś odwrotnego. AI zmusza nas do przyjrzenia się działaniom, które podejmujemy od dziesięcioleci. Czy są etyczne? Czy są sprawiedliwe? Czy podejmowaliśmy decyzje bez większego namysłu? Teraz musimy się nad nimi zastanowić. Podobnie jak w przypadku autonomicznych pojazdów, które od dawna muszą rozstrzygać, czy uderzyć w szkołę, czy w pole, na którym znajdują się dwa domy.

To nie jest komfortowa decyzja, ale istnieje dotycząca jej polityka. Czasami mówimy: „To tylko kwestia osądu, rozpatrujemy każdy przypadek osobno”, aby złagodzić wagę problemu.

Cal Al-Dhubaib: Może to mieć tak poważne konsekwencje, ale czasami chodzi o coś znacznie prostszego. Systemy generatywnej AI są szczególnie otwarte. Można poprosić je niemal o wszystko, a to może przytłaczać użytkownika.

Galen Low: Interesujące.

Cal Al-Dhubaib: Czasami dobrze jest ograniczyć zakres możliwości narzędzia. W inżynierii zaufania wyróżniam cztery filary: zarządzanie oczekiwaniami, projektowanie decyzji, ład organizacyjny oraz zarządzanie infrastrukturą zaufania. Ten ostatni obejmuje narzędzia, ryzyko i sposób projektowania całego rozwiązania.

Wracając do otwartego charakteru systemów i projektowania decyzji: jak dostarczyć użytkownikom odpowiednią ilość informacji i właściwe zabezpieczenia, aby wiedzieli, jak prawidłowo korzystać z systemu?

Galen Low: Czy możesz podać przykłady? Podobają mi się te cztery filary, szczególnie zarządzanie oczekiwaniami i projektowanie decyzji. Chętnie omówiłbym konkretny przykład, a następnie zastanowił się, kto powinien być zaangażowany, aby osiągnąć taki poziom zaufania do doświadczenia.

Cal Al-Dhubaib: Podam bardzo prosty przykład, ponieważ łatwo mówić o życiu i śmierci albo o ponownych hospitalizacjach pacjentów. Chcę jednak przedstawić przypadek, o którym możemy mówić publicznie, ponieważ nie jest to studium przypadku.

Chodzi o firmę Behr Paint.

Galen Low: Tak.

Cal Al-Dhubaib: To bardzo znana marka. Wchodzisz do Home Depot i widzisz duże stoisko z farbami. Firma odkryła, że jednym z największych momentów rezygnacji z zakupu jest przytłoczenie klientów liczbą kolorów. Sam mam problem z rozróżnianiem kolorów, mimo że od kilku lat uczę się o farbach.

Moja paleta obejmuje może dziesięć kolorów. Bardzo się gubię, kiedy muszę wybrać, którą wersję bieli skorupki jajka chcę kupić. Firma postanowiła więc stworzyć generatywne doświadczenie wspierające wybór produktu. Nie jest to tak proste, jak mogłoby się wydawać, ponieważ rozwiązanie musi uwzględniać zasady teorii koloru, wytyczne stylistyczne i produkty, które rzeczywiście istnieją.

Musieliśmy również zdecydować, jaki rodzaj porad jest dopuszczalny, a jaki nie. Wybór koloru jest w porządku. Formułowanie farby, jej mieszanie lub sposób nakładania wymagały natomiast wyższego poziomu kontroli jakości. Jeśli rozmowa zaczyna zmierzać w tym kierunku, system szybko wyświetla użytkownikowi numer infolinii przeznaczonej do takich pytań.

Galen Low: To interesujące.

To trochę jak zasada 90/10: zatrzymaj się tutaj, nie idź dalej i nie próbuj wymyślać odpowiedzi. AI jest pod ogromną presją, aby udzielić odpowiedzi na wszystko, ale w tym przypadku powinna przekazać sprawę człowiekowi.

Cal Al-Dhubaib: Musieliśmy też dopilnować, aby system nigdy nie rekomendował farb konkurencji. Nie może również dać się sprowokować do wypowiedzi, których marka nie chce później oglądać na zrzutach ekranu krążących po internecie.

Galen Low: Zgadza się.

Cal Al-Dhubaib: To dobry przykład elementów inżynierii zaufania. Mamy projektowanie decyzji: jaki wybór chcemy ostatecznie wspierać i jakie zabezpieczenia powinny mu towarzyszyć? Musimy zarządzać oczekiwaniami użytkownika dotyczącymi tego, co wolno mu robić za pomocą narzędzia, a czego nie. Potrzebny jest też odpowiedni ład organizacyjny po stronie zaplecza. Wszystko to komunikujemy interesariuszom w przyjaznej dla użytkownika karcie systemu.

Galen Low: Interfejs miał formę rozmowy?

Cal Al-Dhubaib: Tak. Jeśli wejdziesz na behrpaint.com — to bezpłatna rekomendacja — pojawia się chatbot z komunikatem: „Cześć, jak mogę ci pomóc?”. Nazywa się Chat Hue.

Galen Low: Podoba mi się ta nazwa. To dobry przykład wszystkich wymienionych przez ciebie elementów. Wspomniałeś o teorii koloru. W zespole projektowym jest specjalista, który wie, że pewnych kolorów nie powinno się łączyć w przypadku osób o ograniczonym postrzeganiu barw, ale system nie powinien przy tym oceniać użytkownika i mówić: „Fioletowy i zielony nie będą do siebie pasować. Co ty sobie wyobrażasz?”.

Cal Al-Dhubaib: Jeśli spróbujesz je połączyć, system delikatnie zaproponuje kilka kolorów harmonizujących.

Galen Low: Jest też zapewne ktoś odpowiedzialny za teksty albo język, kto zastanawia się, jak to wyjaśnić.

Cal Al-Dhubaib: Głos marki?

Galen Low: Tak, głos marki. Wyobrażam sobie również, że system został wytrenowany na katalogu kolorów firmy Behr.

Cal Al-Dhubaib: Wszystko zależy oczywiście od aktualnych cyfrowych danych produktowych. Ważną częścią tej inicjatywy było dopilnowanie, aby dane były odpowiednie, aktualne, zarządzane i miały jasno określonych właścicieli. Pracujemy nad podobnym rozwiązaniem dla jednego z naszych klientów z sektora usług finansowych, tym razem do poruszania się po wewnętrznej bazie wiedzy.

Dużą częścią rozwiązania nie jest samo zaprojektowanie sposobu wyszukiwania informacji przez model AI. Równie ważne są procesy prowadzone przez ludzi, które określają, kto odpowiada za bazę danych lub bazę wiedzy i jak jest ona aktualizowana.

Galen Low: To naprawdę ciekawe.

Cal Al-Dhubaib: Ważne są procesy prowadzone przez ludzi, które utrzymują aktualność danych, od których zależy system AI.

Galen Low: To właśnie taka współpraca. Nie musi być tak, że AI samo się utrzymuje, naprawia, testuje, przeprowadza kontrolę jakości i aktualizuje. Nadal jest tu miejsce dla ludzi.

Cal Al-Dhubaib: Niektórzy ludzie, którzy powinni wiedzieć lepiej, promują wizję, w której AI będzie zarządzać wszystkim, a agenci AI będą pracować dla innych agentów AI. Tymczasem wszystkie produkcyjne zastosowania, z którymi miałem do czynienia, wymagają dużej ilości ludzkiej ingerencji i ponownego równoważenia, a także wskazywania AI przez ludzi, co ma robić.

Galen Low: To realistyczne podejście. Nie wiemy, dokąd zmierza technologia, ale pomysł agentów zarządzających innymi agentami dobrze się sprzedaje, ponieważ głównym kosztem organizacji są zazwyczaj wynagrodzenia. Przekaz brzmi: „Nie potrzebujesz pracowników”. Tyle że nadal prawdopodobnie będziesz ich potrzebować. To marketingowy szum.

Cal Al-Dhubaib: To bardzo kusząca wizja.

Galen Low: Zastanawiam się, czy możemy omówić przykłady przeciwne — doświadczenia, w których zaufanie nie zostało odpowiednio zaprojektowane. Nie musimy wymieniać nazw ani nikogo wskazywać. Czy istnieją rozwiązania AI, z których wielu z nas korzysta, a które nie starają się budować zaufania i pozostają czarną skrzynką?

Cal Al-Dhubaib: Lubię odwoływać się do incydentów z bazy incydentów AI. Wspominałem o kilku wcześniej, ale ciekawym przykładem są problemy McDonald's z głosowym przyjmowaniem zamówień w restauracjach typu drive-through. Firma współpracowała ze znanym dostawcą usług konsultingowych w zakresie oprogramowania.

Ostatecznie w ubiegłym roku musiała wycofać system, ponieważ nie udało się zapewnić wystarczającej dokładności zamówień. Nie uważam, że była to przede wszystkim porażka technologii. Problem polegał raczej na braku właściwych zabezpieczeń. Dla porównania Domino's obsługuje obecnie za pomocą systemu AI 80% zamówień telefonicznych.

Galen Low: Niesamowite.

Cal Al-Dhubaib: Kontrast między tymi historiami jest bardzo ciekawy. W jednym przypadku próbowano całkowicie zastąpić ludzi AI. W drugim pracownicy nadzorują rozmowy na żywo i przejmują je, gdy system nie rozumie akcentu albo wypowiedzi użytkownika. Wprowadzono odpowiednie mechanizmy audytowe, aby sprawdzać, czy zamówienia nadal odpowiadają temu, co powiedział klient.

Porażka nie wynikała więc z tego, że technologia nie działała. Wiemy, że AI ma naturalny poziom błędu. Problem polegał na tym, że nie zaprojektowano wokół niej właściwych systemów.

Galen Low: Podoba mi się idea, że nie wszystko musi być rozwiązaniem typu „wszystko albo nic”. Wyobraźmy sobie kierownika projektu, który zarządzał wielomilionowym budżetem na głosowe zamówienia dla McDonald's. Po jakimś czasie projekt uznano za niewystarczająco dobry i odłożono na półkę. To nie musi oznaczać porażki.

Być może błędny był pomysł dotyczący kierunku rozwoju technologii. Błędem byłoby jednak stwierdzenie: „AI nie działa, wróćmy do stuprocentowo ludzkiej obsługi telefonicznej”. W sektorze doświadczeń klientów od dziesięcioleci widzimy przecież chatboty, które przekazują rozmowę człowiekowi, jeśli nie potrafią jej odpowiednio poprowadzić.

Możemy mieć model hybrydowy i nadal trenować technologię na tych danych. Gromadzimy coraz więcej danych, więc technologia powinna w końcu osiągnąć poziom, na którym będziemy mieć wystarczająco dużo danych i zabezpieczeń oraz odpowiednio zaprojektowane rozwiązanie, aby było ono opłacalne.

Cal Al-Dhubaib: Jedną z praktyk projektowych ograniczających ryzyko systemu AI jest wyposażenie pracowników centrów obsługi w dostęp do generatywnej AI. Może ona korzystać z transkrypcji na żywo i tworzyć rekomendacje albo po prostu odpowiadać na zapytania pracownika. Pracownik działa w imieniu użytkownika i może podjąć ekspercką decyzję.

Dzięki temu pracuje szybciej i skuteczniej, ale nadal pełni funkcję warstwy bezpieczeństwa. Można wprowadzić filtr określający, kiedy użycie AI jest właściwe, zamiast uruchamiać doświadczenie AI bez ograniczeń. Można także ustawić wyzwalacze przekierowujące sprawę do człowieka. Jakiś poziom udziału ludzi zawsze będzie potrzebny.

Kiedy rozmawiam z klientami o zarządzaniu AI, mówię, że należy odpowiedzieć na trzy podstawowe pytania. Po pierwsze: co zrobiliście przed wdrożeniem, aby sprawdzić i potwierdzić, że ograniczyliście potencjalne szkody lub ryzyko właściwe dla tego rozwiązania AI? Po drugie: kiedy system znajdzie się na produkcji, skąd będziecie wiedzieć, że popełnia błąd?

To kwestia obserwowalności. Jakie są kryteria zabezpieczeń? Jakie macie narzędzia diagnostyczne i skąd będziecie wiedzieć, że system nie spełnia oczekiwań? Trzecie pytanie — najważniejsze i często pomijane — brzmi: co zrobicie, gdy pojawi się problem? Czy macie plan działania i czy został on przetestowany w warunkach obciążenia?

Załóżmy, że mamy system przyjmowania zamówień telefonicznych i ustaliliśmy, że po wystąpieniu określonych wyzwalaczy nastąpi przejęcie rozmowy przez człowieka. Czy pracownik będzie w stanie szybko zorientować się, co się wydarzyło?

Galen Low: Właśnie.

Cal Al-Dhubaib: Czy ma właściwe doświadczenia, interfejsy i elementy sterujące, aby szybko odczytać przebieg zdarzeń i zdiagnozować problemy? Czy potrafi zrobić to sprawnie, zachowując zaufanie konsumenta?

Galen Low: W pewnym sensie restauracja szybkiej obsługi jest największym testem obciążeniowym. W centrum obsługi klienta, kiedy dzwonisz w sprawie polisy ubezpieczeniowej, możesz czekać trzy minuty i jest to akceptowalne.

Cal Al-Dhubaib: Nie chciałbym czekać trzy minuty na duże zamówienie.

Galen Low: Dokładnie. Wymagamy bardzo wiele od pracowników, którzy często są stosunkowo początkujący. Muszą przygotowywać jedzenie, przyjmować zamówienia i jednocześnie zapoznawać się z transkrypcją rozmowy AI z podjazdu.

Kiedy odwiedzam McDonald's albo inną restaurację szybkiej obsługi, zawsze patrzę na ekran z odliczaniem czasu. Myślę wtedy: „Mają tylko 15 sekund, zanim zamówienie przekroczy dopuszczalny czas”. To bardzo stresujące i odbywa się w czasie rzeczywistym.

Cieszę się, że ludzie próbują takich rozwiązań, nawet jeśli nie zawsze działają. Czy rosnąca liczba incydentów oznacza, że technologia nie działa albo staje się coraz gorsza? Czy może po prostu coraz więcej osób korzysta z AI i ją wdraża, przez co pojawia się więcej błędów i historii o tych błędach?

Cal Al-Dhubaib: Myślę, że to wynik dwóch czynników. Po pierwsze, łatwiej jest budować tego typu narzędzia i systemy, więc zwiększyła się powierzchnia ich zastosowania.

Nawet jeśli poprawiliśmy zdolność zarządzania ryzykiem, fakt, że liczba incydentów nie rośnie tak wykładniczo jak skala wdrażania AI, jest właściwie dobrym znakiem. Po drugie, staliśmy się nieco lepsi w wykrywaniu problemów AI. Wyszliśmy z epoki bezwarunkowego zaufania do informacji cyfrowych.

Deepfake'i były kilka lat temu bardzo niepokojące i nadal takie są. Przeciętna osoba ma jednak większą świadomość i myśli: „Może to jest AI?”. Możesz wejść niemal w dowolny wątek w mediach społecznościowych i przeczytać komentarze, w których ludzie wskazują na udział AI. Przeciętny użytkownik zaczyna być bardzo sceptyczny wobec informacji.

Galen Low: Podoba mi się to. Kiedyś zakładaliśmy, że możemy ufać cyfrowym doświadczeniom, wyszukiwarce Google, mediom i serwisom informacyjnym. Teraz wszystko wygląda nieco inaczej — i może nie jest to złe. Staliśmy się bardziej krytyczni i zaczęliśmy myśleć samodzielnie.

Cal Al-Dhubaib: Dzięki temu potrafimy wykrywać te problemy.

Galen Low: A potem możemy je poprawiać i rozmawiać o tym, czy problem nie wynikał od początku z niesprawiedliwej ludzkiej polityki. Właśnie do tego możemy wrócić.

Zaufanie jest wspólną, międzyfunkcyjną odpowiedzialnością. Zespoły budujące te rozwiązania również się zmieniają. Jak zespół projektowy może dzielić odpowiedzialność za wbudowanie zaufania w rozwiązanie? Jak uniknąć wzajemnego obwiniania i zrzucania winy na innych?

Cal Al-Dhubaib: Ciekawą kwestią dotyczącą odpowiedzialności jest to, że jeśli jest ona obowiązkiem wszystkich, to w rzeczywistości nikt za nią nie odpowiada. Ostatecznie potrzebna jest konkretna osoba, która przejmie odpowiedzialność za ten aspekt.

W Further zainwestowaliśmy w certyfikaty dotyczące zarządzania AI. Jesteśmy członkami IAPP, czyli Międzynarodowego Stowarzyszenia Specjalistów ds. Prywatności. Była to jedna z pierwszych dużych i wiarygodnych organizacji w tej dziedzinie. Oferowała certyfikaty dla specjalistów ds. prywatności i inżynierów prywatności.

Uruchomiła również certyfikat specjalisty ds. zarządzania AI, uznając, że takie osoby mogą wywodzić się z prawa, inżynierii, prywatności, bezpieczeństwa albo cyberbezpieczeństwa, ale muszą nauczyć się pozostałych obszarów. To częściowo zainspirowało moje podejście do inżynierii zaufania.

Wróćmy jednak do tych specjalistów ds. zarządzania AI. W każdym projekcie AI wyznaczamy jedną taką osobę, aby mieć pewność, że zadajemy właściwe pytania.

Galen Low: To miało być moje następne pytanie. W wielu przypadkach, szczególnie w projektach cyfrowych, kierownik projektu ostatecznie ponosi odpowiedzialność, ponieważ znajduje się w centrum pracy wielu inteligentnych specjalistów.

Zrozumienie wymagań i ryzyka często spada właśnie na nas. Teraz jednak odpowiedzialność ta znacznie się rozszerzyła. Podoba mi się pomysł, aby organizacja miała dyrektora ds. prywatności, ponieważ zapewnia to konkretnego właściciela. To, co właśnie powiedziałeś, oznacza wyznaczenie na każdym projekcie osoby odpowiedzialnej za zarządzanie, niezależnie od jej wcześniejszego wykształcenia.

Tego potrzebujemy — miejsca, w którym ostatecznie zatrzymuje się odpowiedzialność, nawet jeśli język, praca i rozmowa o zaufaniu mają charakter międzyfunkcyjny.

Cal Al-Dhubaib: W stu procentach. Czasami klienci słyszą o tym i myślą: „To wymaga zdecydowanie zbyt wiele pracy”. Celem jest jednak zmniejszenie całkowitego nakładu pracy.

Chodzi o wprowadzenie przemyślanego tarcia. Zatrzymujemy się i pytamy: „Gdzie rozwiązanie może się zepsuć? Przyjrzyjmy się podobnym projektom i potencjalnym scenariuszom awarii. Jak prawdopodobne jest wystąpienie problemu? Jaki będzie jego koszt? W które obszary należy najbardziej zainwestować, aby ograniczyć ryzyko związane z zaufaniem?”.

Galen Low: To właśnie podoba mi się w regulowanych branżach. Mają pojęcie pomocnego tarcia i akceptują przerwę na namysł. W świecie agencji i start-upów często dominuje przekonanie, że jeśli się zatrzymaliśmy, to ponosimy porażkę.

Organizacja może jednak powiedzieć: „Zastanówmy się nad tym i porównajmy łączną wartość z łącznym ryzykiem”. Nie chodzi tylko o dostarczenie produktu klientom, ale także o to, czy później nie będziemy mierzyć się z kolejnymi pozwami, karami, brakiem zgodności i krytyką w internecie.

Cal Al-Dhubaib: Tego nikt nie chce.

Galen Low: Właśnie w tym miejscu widać, czym jest zaufanie. Zastanawiam się, czy organizacje będą od razu w stanie wyznaczyć osobę odpowiedzialną za zarządzanie na każdym projekcie. Być może początkowo jedna osoba dostanie odpowiedzialność za 70 projektów i zostanie rozproszona między nimi.

Mam jednak nadzieję, że z czasem wzrośnie świadomość wartości takiej funkcji.

Cal Al-Dhubaib: Zdecydowanie. Myślę, że to nowa kategoria zawodowa. Kontrola AI, zapewnienie jakości AI i zarządzanie ryzykiem AI będą rozwijającymi się funkcjami wraz z rosnącym wykorzystaniem AI. Dobrą wiadomością jest to, że w tej roli zadaje się pytania. Najważniejszą umiejętnością jest zadawanie właściwych pytań, aby wszyscy mogli się wokół nich porozumieć.

Galen Low: Bardzo mi się to podoba.

Rozmawiamy o zaufaniu jako wymaganiu, za które ktoś może odpowiadać. Czy można je mierzyć? Czy zespół projektowy może wiedzieć, czy stworzył godne zaufania doświadczenie? Czy można mierzyć je w trakcie pracy?

Cal Al-Dhubaib: To bardzo dobre pytanie.

Część działań ma zapobiec wystąpieniu incydentu. Można więc uznać liczbę incydentów za potencjalny miernik. Można również analizować zachowania użytkowników, szczególnie gdy rozwiązanie jest osadzone w aplikacji.

Najprostsze pytanie brzmi: czy użytkownik osiąga swój cel? W naszym przykładzie Chat Hue: czy użytkownik dociera do wezwania do działania i klika informacje dotyczące konkretnej farby? To jeden ze sposobów sprawdzenia, czy rozwiązanie działa skutecznie.

Czy użytkownicy kończą interakcje i czy wracają do narzędzia?

Galen Low: To są rzeczy, które znamy. Możemy ocenić profil ryzyka, zastanowić się, co może pójść źle i czy trafimy do bazy incydentów. Możemy też analizować cel i sukces: czy użytkownik otrzymuje wartość, gdzie występuje tarcie i czy wynika ono z braku wyjaśnialności AI, niewystarczających instrukcji albo nadmiaru możliwości.

Cal Al-Dhubaib: Brak użyteczności również jest częścią problemu zaufania.

Galen Low: To prawda. Nie będę powierzać swojego czasu narzędziu, jeśli nie wygeneruje oczekiwanego wyniku. W takim przypadku zamówię burgera u człowieka. Na koniec porozmawiajmy o niezbyt odległej przyszłości.

W innych rozmowach wspominałeś, że czasami pytanie nie dotyczy tego, czy można ufać AI, ale czy można ufać ludziom uczestniczącym w procesie. Mówiłeś o platformie, na której decyzje wpływały na premię pracownika. Pojawiało się więc wrodzone uprzedzenie, bardzo korzystne dla samego pracownika, być może nawet nieuświadomione.

Cal Al-Dhubaib: Pracownicy byli zmotywowani, aby nie ufać rekomendacjom AI.

Galen Low: Ponieważ ich premie były od nich zależne.

Cal Al-Dhubaib: Tak. Nie ufali AI.

Galen Low: Moim wnioskiem było to, że ludzie cenią zaufanie, ale czasami bardzo źle sobie z nim radzą. Nie zawsze potrafimy być godni zaufania. Jak długo, twoim zdaniem, AI będzie potrzebować, aby zrozumieć ludzkie pojęcie zaufania lepiej niż ludzie? I jakie byłyby konsekwencje, gdyby do tego doszło?

Cal Al-Dhubaib: Uważam, że definicja AI jest bardzo kolista, szczególnie gdy zaczynamy mówić o sztucznej inteligencji ogólnej. Chodzi o system, który potrafi robić wszystko, co mógłby zrobić odpowiednio wyszkolony człowiek.

Jesteśmy gatunkiem posługującym się narzędziami. Moja zdolność do wykonywania pracy i przygotowania wpisu na LinkedIn zależy częściowo od umiejętności korzystania z AI. Moja ludzka zdolność jest więc określana przez połączenie własnej wiedzy specjalistycznej z narzędziem AI. To bardzo koliste pojęcie.

Jak AI miałaby rozumieć zaufanie lepiej niż ludzie? Nie wiem. Zaufanie jest jednak bardzo subiektywne. Wygląda inaczej w różnych kontekstach i ramach moralnych.

Dobrym przykładem jest badanie przeprowadzone w MIT dotyczące etyki decyzji podejmowanych przez samochody autonomiczne. Nazywa się ono Moral Machine. Strona przedstawia różne scenariusze: nie podejmować interwencji albo skręcić samochodem. W obu przypadkach ucierpią określone osoby.

Galen Low: To problemy wagonika.

Cal Al-Dhubaib: Dokładnie. Po jednej stronie może być starsza kobieta przechodząca przez ulicę, a po drugiej troje dzieci na przejściu. Albo osoba przechodząca przez ulicę w niedozwolonym miejscu i osoba przestrzegająca prawa.

Galen Low: Interesujące.

Cal Al-Dhubaib: Badacze przeanalizowali wiele takich scenariuszy i dane zebrane z różnych perspektyw globalnych. Odkryli różne skupiska wartości. Kraje zachodnie miały wspólne wartości, podobnie jak kraje Ameryki Południowej i Azji.

W poszczególnych regionach ramy moralne były uznawane za właściwe, ale jednocześnie były ze sobą sprzeczne. W krajach zachodnich ludzie zazwyczaj cenili ocalenie większej liczby osób. W kulturach azjatyckich pojedyncza starsza osoba mogła mieć większe znaczenie niż dowolna liczba osób po drugiej stronie.

Galen Low: Interesujące.

Cal Al-Dhubaib: To była najczęstsza rama moralna, choć oczywiście preferencje jednostek są różne. Nie istnieje jedna uniwersalna prawda moralna określająca, czym jest zaufanie.

Wiem o tym bardzo dobrze, ponieważ pochodzę z Arabii Saudyjskiej, a moja matka jest Amerykanką. Dorastałem między dwiema kulturami, które często są ze sobą sprzeczne. Jak więc nauczyć system AI poruszania się w takim środowisku, skoro ludzie sami nie zawsze potrafią sobie z tym poradzić?

Galen Low: To ciekawe miejsce, aby zakończyć rozmowę. Nie chodzi o jedną definicję zaufania ani o jedną definicję wiarygodności. Pytanie powinno może brzmieć: kiedy AI zrozumie ludzką kulturę lepiej niż ludzie? Być może nie jest to tak odległe, ponieważ wszędzie widzę wpływ kultury i może właśnie to jest jej cechą definiującą.

Cal Al-Dhubaib: Tak. Musimy wykonać pracę i zrozumieć, że nic nigdy nie jest czarno-białe. Zawsze trzeba będzie przyjąć pewne założenia.

Galen Low: Mówi się, że AI jest doskonałym lustrem i jednocześnie szkłem powiększającym. Zmusza nas do przyjrzenia się samym sobie.

Zaufanie jest częścią tego procesu. Może oznaczać umożliwienie użytkownikom osiągnięcia celu bez frustracji. Może też oznaczać działanie w ramach akceptowalnego poziomu szkód lub ryzyka.

Cal Al-Dhubaib: Trzeba zdefiniować, co jest właściwe, jakie założenia zostaną przyjęte, które interakcje system ma wykonywać, a których nie, albo kiedy powinien przekazać decyzję użytkownikowi, aby świadomie wybrał jedną opcję zamiast drugiej.

To wszystko są decyzje projektowe, które mogą powstać w ramach inżynierii zaufania.

Galen Low: Właśnie dlatego podoba mi się inżynieria zaufania jako zestaw narzędzi i rama działania. Nie osiągniemy jej w próżni. Musimy o tym rozmawiać.

Cal Al-Dhubaib: Zdecydowanie.

Galen Low: Cal, dziękuję za udział w programie. Gdzie słuchacze mogą dowiedzieć się więcej o twoim kursie, kiedy zostanie opublikowany, oraz o tobie?

Cal Al-Dhubaib: Jestem bardzo aktywny na LinkedIn i to prawdopodobnie moja najlepsza platforma. Można mnie tam znaleźć. Wkrótce ogłoszę więcej szczegółów.

Galen Low: Świetnie. Na pewno zamieszczę odnośnik do twojego profilu, a także później dodam link do bazy incydentów. Zdecydowanie warto ją przejrzeć. To świetny punkt wyjścia do rozmowy. Cal, dziękuję za dzisiejszą rozmowę.

Cal Al-Dhubaib: Dziękuję za zaproszenie, Galen.

Galen Low: Dobrze, to wszystko w dzisiejszym odcinku podcastu The Digital Project Manager. Jeśli podobała ci się ta rozmowa, zasubskrybuj podcast w wybranej aplikacji. Jeśli chcesz poznać jeszcze więcej praktycznych wskazówek, analiz przypadków i gotowych planów działania, odwiedź thedigitalprojectmanager.com.

Do usłyszenia następnym razem. Dziękuję za wysłuchanie.