Jak budować godną zaufania sztuczną inteligencję: model czterech filarów dla zespołów projektowych
Ten artykuł jest adaptacją odcinka podcastu The Digital Project Manager, w którym prowadzący Galen Low rozmawia z Calem Al-Dhubaibem, dyrektorem ds. AI & analizy danych w Further. Posłuchaj tutaj.
Odpowiedzialność za zaufanie: Brak indywidualnej odpowiedzialności często podważa zaufanie do projektów AI, utrudniając rozliczanie odpowiedzialności.
Inżynieria zaufania: Model nazywany inżynierią zaufania promuje wspólny język wśród różnorodnych interesariuszy zaangażowanych w projektowanie AI.
Cztery filary: Godna zaufania AI opiera się na czterech filarach: zarządzaniu oczekiwaniami, projektowaniu decyzji, zarządzaniu oraz infrastrukturze zaufania.
Pytania projektowe: Zespoły powinny rozważyć trzy kluczowe pytania, aby zapewnić skuteczne zarządzanie i kontrolę ryzyka w rozwiązaniach AI.
Pomiar zaufania: Zachowania użytkowników są kluczowym wskaźnikiem zaufania do systemów AI i ich skuteczności.
Dlaczego zaufanie potrzebuje właściciela
Większość projektów AI napotyka ten sam problem, zanim w ogóle wystartuje: nikt nie ponosi wyraźnej odpowiedzialności za to, czy systemowi można zaufać. Cal Al-Dhubaib, dyrektor ds. AI & analizy danych w Further, obserwował to w różnych branżach i otwarcie mówi o przyczynie problemu. „Najprostsza odpowiedź brzmi: domyślnie nikt za to nie odpowiada — i to jest największy problem” — mówi.
Nikt za to [zaufanie do AI] nie odpowiada — i to jest największy problem.
Problemem nie jest brak troski — lecz brak jasności co do tego, czyja to właściwie praca. „Ciekawą kwestią dotyczącą odpowiedzialności jest to, że jeśli jest ona obowiązkiem wszystkich, to w rzeczywistości nikt za nią nie odpowiada, dlatego ostatecznie potrzebna jest konkretna osoba, która przejmie odpowiedzialność za ten aspekt” — wyjaśnia Al-Dhubaib. W Further ta zasada nie jest tylko teorią. „W rzeczywistości wyznaczamy taką osobę do każdego z tych projektów AI, aby mieć pewność, że zadajemy właściwe pytania”.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Czym właściwie jest inżynieria zaufania
Odpowiedzią Al-Dhubaiba na lukę w zakresie odpowiedzialności jest opracowane przez niego podejście, które nazywa inżynierią zaufania — w istocie wspólnym językiem dla wielu dziedzin mających styczność z systemem AI. „To wspólny zestaw narzędzi komunikacyjnych, który pomaga różnym osobom współpracującym przy projektowaniu rozwiązań AI i wdrażaniu rozwiązań AI skuteczniej rozmawiać o zachowaniu zaufania” — mówi.
Potrzeba takiego wspólnego zestawu narzędzi wynika z tego, jak bardzo rozdrobniona jest zazwyczaj ta dyskusja. Inżynierowie, menedżerowie ds. ryzyka, osoby odpowiedzialne za ład organizacyjny, projektanci UX i interesariusze biznesowi patrzą na ten sam system przez różne pryzmaty. „Potrzebny był jakiś wspólny sposób, aby wszyscy ci ludzie mogli rozmawiać o tym samym i podobnie rozumieć, w jaki sposób można naruszyć zaufanie do AI” — mówi Al-Dhubaib — „a także wspólne zestawy narzędzi, które pozwolą się przed tym bronić”.
Potrzebny był jakiś wspólny sposób, aby wszyscy ci ludzie mogli rozmawiać o tym samym i podobnie rozumieć, w jaki sposób można naruszyć zaufanie do AI.
4 filary godnej zaufania AI
Inżynieria zaufania dzieli się na cztery praktyczne filary — zarządzanie oczekiwaniami, projektowanie decyzji, ład organizacyjny i infrastrukturę zaufania. Każdy z nich dotyczy innego obszaru, w którym systemy AI mają tendencję do utraty zaufania ludzi.
Filar 1: Zarządzanie oczekiwaniami
Pierwszy filar dotyczy zakresu. Generatywne systemy AI często są zbyt otwarte, co może przytłoczyć użytkowników, którym mają pomagać. „Dobrze jest mieć ograniczony zakres tego, co można zrobić za pomocą tego narzędzia” — zauważa Al-Dhubaib.
Wskazuje rzeczywisty przykład ze swojej pracy z firmą Behr Paint, gdzie celem było ograniczenie zmęczenia decyzyjnego podczas wyboru koloru. „Idziesz do Home Depot i widzisz dużą ekspozycję kolorów farb” — mówi, opisując sytuację, w której klienci, w tym on sam, mają problem z wyborem. „I bardzo się przytłaczasz, kiedy musisz wybrać”. Rozwiązaniem nie była większa ilość AI, lecz bardziej precyzyjnie i celowo określony zakres doświadczenia.
Filar 2: Projektowanie decyzji
Drugi filar dotyczy zabezpieczeń ograniczających wybory, których może dokonywać system AI. „Jak przekazać użytkownikom odpowiednią ilość informacji i zastosować właściwy poziom zabezpieczeń, aby wiedzieli, jak dobrze korzystać z systemu?” — pyta Al-Dhubaib.
W projekcie dotyczącym farb Behr oznaczało to wyraźne określenie, jakiego rodzaju porad AI może bezpiecznie udzielać. Wybór koloru był dozwolony, natomiast wszystko, co dotyczyło mieszania lub nakładania farby, wymagało przekazania sprawy człowiekowi. „Jeśli w dowolnym momencie rozmowa zaczyna zmierzać w tym kierunku, użytkownik szybko otrzymuje komunikat: oto nasza infolinia, pod którą można uzyskać pomoc w tej konkretnej sprawie” — mówi Al-Dhubaib.
Jeśli w dowolnym momencie rozmowa zaczyna zmierzać w tym kierunku, użytkownik szybko otrzymuje komunikat: oto nasza infolinia, pod którą można uzyskać pomoc w tej konkretnej sprawie.
System zaprojektowano również z uwzględnieniem zabezpieczeń reputacyjnych — „nie daje się też zastraszyć i zmusić do mówienia rzeczy, których nie chcesz, a następnie zrzut ekranu nie trafia do całego internetu”.
Filar 3: Zarządzanie
Trzeci filar dotyczy pytania, na które sami inżynierowie nie są w stanie odpowiedzieć: co właściwie oznacza „sprawiedliwe” lub „poprawne” w przypadku konkretnej firmy? Al-Dhubaib opisuje projekt obejmujący model rekrutacji studentów, w którym klient chciał zapewnić jakość w różnych grupach demograficznych. „Istnieją 22 różne sposoby obliczania sprawiedliwości” — mówi. „I szczerze mówiąc, to wykracza poza zakres obowiązków inżyniera. Mogę powiedzieć, jaki jest wzór i jak obliczać te wartości na różne sposoby. Będę jednak potrzebować twojego udziału w określeniu: jaka jest twoja polityka? Jak podchodzisz do tej definicji i co jest poprawne w twoim przypadku?”
Praca nad zarządzaniem nie kończy się na wewnętrznych decyzjach — trzeba ją również komunikować na zewnątrz. Jak ujmuje to Al-Dhubaib, wszystko to jest dokumentowane i udostępniane „w przyjaznej dla użytkownika karcie systemu”.
Filar 4: Infrastruktura zaufania
Ostatni filar obejmuje narzędzia i procesy, które pomagają utrzymać uczciwość systemu AI po jego uruchomieniu. Ilustruje ten filar, porównując dwie dobrze znane sieci restauracji szybkiej obsługi. Jedna z nich wycofała system głosowego składania zamówień oparty na AI, ponieważ nie był on w stanie konsekwentnie składać poprawnych zamówień.
Druga przyjęła inne podejście: „Z drugiej strony mamy Domino’s, gdzie 80% zamówień składanych telefonicznie jest obecnie obsługiwanych przez system AI”, przy czym ludzcy nadzorcy monitorują rozmowy na żywo i w razie potrzeby interweniują, a także stosowane są „odpowiednie środki audytowe, aby upewnić się, że zamówienia nadal odpowiadają temu, co powiedział użytkownik”. Zdaniem Al-Dhubaiba różnica nie dotyczyła podstawowej technologii. „Nie sądzę, by był to błąd technologii jako takiej, lecz raczej błąd polegający na niezastosowaniu odpowiednich zabezpieczeń wokół tej technologii”.
Nie sądzę, by był to błąd technologii jako takiej, lecz raczej błąd polegający na niezastosowaniu odpowiednich zabezpieczeń wokół tej technologii.
Trzy pytania, które powinien zadać każdy zespół projektowy
Oprócz czterech filarów Al-Dhubaib proponuje zespołom projektowym prostą metodę oceny w każdej rozmowie dotyczącej zarządzania AI — trzy pytania zadawane w określonej kolejności.
Po pierwsze: „Co zrobiliście na początku, aby sprawdzić i potwierdzić, że ograniczyliście potencjalne szkody lub potencjalne ryzyko związane z tym rozwiązaniem AI?” Po drugie, gdy system już działa: „Skąd będziecie wiedzieć, że popełnia błąd?” I po trzecie — pytanie, które, jak mówi, jest najczęściej pomijane — „Co wtedy zrobicie? Jak sobie z tym poradzicie? Czy rzeczywiście przeprowadziliście testy obciążeniowe tego planu?”
More Articles
- Wycofywanie się z AI: prawdziwe historie liderów
- Rzeczywiste przepływy pracy z AI stosowane przez szefa realizacji w agencji wdrażającej Asanę
- Menedżer projektów i edukator wspomagany przez AI przedstawia prosty przepływ pracy AI, który zasadniczo zmienia sposób realizacji projektów
- 3 alternatywy dla zastąpienia ludzkich kierowników projektów agentami sztucznej inteligencji
- Najlepsze modele AI do zadań związanych z zarządzaniem projektami
Jak sprawdzić, czy to działa
Zaufanie to nie tylko zasada projektowa — można je mierzyć. Al-Dhubaib wskazuje zachowania użytkowników jako jeden z najbardziej wyraźnych sygnałów dostępnych zespołowi. „Czy użytkownik osiąga twój cel?” — pyta, ponownie posługując się przykładem Behr: czy ludzie rzeczywiście docierają do momentu, w którym dowiadują się więcej o specyfikacji farby, kończą interakcję i wracają do narzędzia.
Ostatecznie bezpośrednio łączy użyteczność z samym zaufaniem: „Po prostu nie jesteśmy użyteczni — bo to również jest częścią zaufania”.
Najważniejsze wnioski
Inżynieria zaufania nie jest listą kontrolną dołączaną na końcu projektu — to seria decyzji projektowych podejmowanych na każdym etapie, dotyczących tego, co system będzie robić, a czego nie, oraz tego, kto odpowiada za każdą decyzję. Jak ujmuje to Al-Dhubaib: „Trzeba określić, co jest poprawne, i wskazać, jakie założenia zamierza się przyjąć. Wszystko to są decyzje projektowe, które mogą być częścią inżynierii zaufania”.
Chcesz poznać więcej takich spostrzeżeń? Zarejestruj się na bezpłatne konto DPM, aby poznać opinie kolejnych ekspertów.
