AI i praksis: Slik gjorde 3 team AI til reelle driftsgevinster
Menneskelig kontrollpunkt: Vellykkede AI-casestudier bevarer menneskelig gjennomgang og flytter tilsynet mot unntak i stedet for å fjerne ansvaret.
Klassifisering av henvendelser: Chime automatiserte klassifisering og revisjon av samtaler, slik at medarbeiderne kunne fokusere på kundene samtidig som modellens nøyaktighet og tilbakefall ble overvåket.
Gevinster innen prognoser: Amazons agentbaserte AI reduserte tiden brukt på etterspørselsplanlegging med 80 prosent og prognosefeilen med 40 prosent gjennom renere og synlige data.
Integrasjon av arbeidsflyt: ACV Auctions reduserte gjennomføringstiden for bilsalg med to tredjedeler ved å koble sammen mottak, verdivurdering, salgspresentasjon, transaksjoner og oppfyllelse.
Bygging av tillit: Teamene oppnådde bruk ved å starte i det små, vise målbare resultater, forenkle uoversiktlige data og holde interessentene ansvarlige gjennom hele utrullingen.
AI-casestudier kommer vanligvis i to varianter: vage suksesshistorier uten tall, eller hypetekster som hopper rett forbi den vanskelige delen.
DPMs nylige arrangement, AI i praksis, ble laget for å unngå begge deler. Tre ledere – én fra en finansteknologiorganisasjon innen kundeservice, én fra Amazons område for etterspørselsplanlegging og én fra en nettbasert markedsplass der bilforhandlere kjøper og selger brukte biler – gikk gjennom AI-systemene de faktisk hadde bygget, problemene de støtte på, og tallene som kom ut på den andre siden.
Chris Hernandez, seniorleder for AI-drift i Chime, åpnet sesjonen med å fortelle hvordan teamet hans automatiserte klassifisering av kontaktårsaker for kundeservicesamtaler. Aniket Ghonge, seniorleder for forsyningskjede i Amazon, fulgte opp med den agentbaserte AI-plattformen han bygget alene for å løse problemer med etterspørselsplanlegging. Og Anika Banakh, direktør for teknologisk programstyring i ACV Auctions, avsluttet med den ende-til-ende-motoren for digital drift teamet hennes bygget for å modernisere bilsalg.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
De tre prosjektene har lite til felles på overflaten. Men ett tema gikk igjen i dem alle: Ingen av teamene behandlet AI som noe man kunne sette opp og deretter forlate. Alle systemene beholdt et menneskelig kontrollpunkt, selv etter at det manuelle arbeidet forsvant.
Frigjør fokus i førstelinjen med AI
Hernandez' team begynte med å undersøke hva kundesenteragentene faktisk gjorde under en kundesamtale, og det var mer enn å løse kundens problem. Agentene tok notater og forsøkte også å merke samtalen med riktig kontaktårsak – blant mer enn 1 500 mulige kategorier – samtidig som samtalen pågikk.
«Vi hadde over 1 500 ulike varianter av kontaktårsaker de skulle velge mellom», sa Hernandez. «Og det var alltid vanskelig å vite hvilken som var riktig.» Prosessen var manuell, inkonsekvent og feilutsatt, og den trakk oppmerksomheten bort fra medlemmet på linjen.
Teamet bygget en klassifikator som brukte en LLM til å gjennomgå transkripsjoner av samtaler og automatisk bruke riktig kontaktårsak. Dette arbeidet førte til et annet, uplanlagt prosjekt: Hernandez' team brukte nå betydelig tid på å kontrollere at klassifikatoren ikke fantaserte, og at den fungerte som forventet. Derfor bygget de en ny AI-pipeline bare for å kontrollere den første. Dette systemet «grupperer de tilbakevendende feilene, fanger opp feilene, utfører også testingen og presenterer funnene for teamet mitt» i stedet for at en person må gjennomgå hver enkelt sak.
Det var ikke enkelt å komme dit. Hernandez sa at hver modellbeslutning handler om tre faktorer: hastighet, nøyaktighet og kostnad. En mindre og billigere modell ga raske resultater, men svakere nøyaktighet; en større modell som kunne håndtere kompleksiteten, innebar en høyere pris. Da promptutvikling nådde en grense, gikk teamet over til gjenfinningsbaserte metoder og batchbehandling for å kontrollere kostnadene. De måtte også bygge og kontinuerlig vedlikeholde et «gullstandarddatasett» – en pålitelig kilde til sannheten som kunne brukes til å måle klassifikatorens nøyaktighet mot, selv om de underliggende kontaktårsakene stadig endret seg.
Forankringen kom gjennom å stille spørsmål ved selve taksonomien, ikke bare modellen. «Noen ganger tenker vi at man kan slenge AI på enhver løsning, og at det skal være den endelige løsningen på alt», sa Hernandez. «Men gode data inn gir gode data ut. Og hvis du har dårlige data inn, får du dårlige data ut.» Det førte til at teamet forenklet listen over mer enn 1 500 kontaktårsaker, i stedet for å be modellen om å omgå den.
Resultatene omfattet tidsbesparelser i samtalehåndteringen og forbedret arbeid etter samtalene, men Hernandez var tydelig på hva som betydde mest: å gi agentene tid tilbake, slik at de kunne fokusere på medlemmet, ikke papirarbeidet. «Hver gang vi automatiserer oppgaver, fjerner vi egentlig ikke kontrollpunktet, vi flytter det», sa han. «AI er en multiplikator for å rydde unna rutinearbeid, men mennesket i loopen er det som gjør multiplikatoren virkelig pålitelig.»
Denne balansen kommer tydelig til syne i hvordan kontrollpipen fungerer i dag. I stedet for å stole på at systemet sender endringer direkte til produksjon, genererer det en ukentlig rapport som markerer hvor regresjoner eller testfeil har oppstått, slik at Hernandez' team vet nøyaktig hvor de skal rette oppmerksomheten. «Det er der vi finner balansen», sa han, «ved å forsøke å bruke LLM som dommer og ulike funksjoner for å kunne utvide og ta på oss mer uten å introdusere noen risiko for virksomheten.»
Automatisering av planlegging i forsyningskjeden med agentbasert AI
Ghonges team samarbeider med tusenvis av leverandører og partnere, og dataene som trengtes for å forutsi etterspørselen for hver av dem, var spredt på tvers av CRM-programvare, verktøy for prosjektstyring og Excel-ark – uten noen enhetlig måte å merke dem på fra det ene systemet til det neste. «Det var ingen kontroll over dataene fordi datapipelinene kom fra ulike programmer, med ulike eiere og brukere», sa han.
Å avstemme alt manuelt tok Ghonge 16 til 20 timer i uken, på et tidspunkt da virksomheten fortsatt var relativt liten. «Det var helt vanvittig for meg», sa han. Derfor begynte han å eksperimentere, først med en Excel-prototype for å teste om fremgangsmåten kunne fungere. Det hjalp, men ikke fullstendig. Det var da han vendte seg til agentisk KI og bygget systemet selv, med bakgrunn innen instrumentpaneler og produktkrav, men uten formell ingeniørutdanning.
Innføringen startet i det små — Ghonge var den eneste brukeren — og vokste gjennom uformelle kanaler: gjennomganger av virksomheten, lunsjseminarer og jungeltelegrafen. Fire måneder senere hadde plattformen mer enn 75 brukere og tusenvis av visninger.
Resultatene var betydelige. Det som tidligere tok 20 timer, tar nå to, en reduksjon på 80 % i tiden det tar å lage en etterspørselsprognose, i tillegg til en reduksjon på 40 % i prognosefeilen. «Den største effekten er en reduksjon på rundt 80 % i tiden som kreves for å beregne etterspørselen, samtidig som nøyaktigheten er høy», sa Ghonge. «Vi så også en reduksjon på rundt 40 % i [prognosefeilen].» Systemet ga også teamet innsikt de aldri hadde hatt tidligere — muligheten til å bryte ned nøyaktig hvilke leverandørattributter som førte til tusenvis av månedlige endringer, i stedet for å gjette.
Tilliten kom ikke fra KI-merkelappen. Den kom fra åpenhet. Da data fra prosjektstyringen ble eksportert som 18 000 rader som i realiteten bare representerte 600 til 700 faktiske saker, analyserte og konsoliderte Ghonges system dette rotet til en ryddig tabell som brukerne kunne gjennomgå direkte, i stedet for å lete gjennom kildeverktøyet sak for sak. «I stedet for å gå til verktøyet hver gang for hver sak, kan de nå enkelt se alt i ett system», sa han. Brukerne kunne også hente frem en hvilken som helst tidligere uke og sammenligne den med den nåværende, og følge hvordan prognosefeilene gikk ned over tid — et bevis på at systemet faktisk fungerte, og ikke bare automatiserte.
Ghonge ga også KI æren for noe han ikke opprinnelig hadde planlagt: dokumentasjon. Da han begynte å be KI-en om å spore sine egne utrullinger og tidsbruken, kunne han i ettertid tallfeste sin egen utviklingsprosess — helt ned til antallet ledetekster det tok å komme dit.
Å bygge en KI-drevet motor for digital drift
Banakhs team satte seg fore å tenke nytt om hele salgsreisen for kjøretøy — hvordan kjøretøy bringes ut på markedet, verdsettes, presenteres, matches med kjøpere, selges, leveres og transporteres — som én sammenhengende digital prosess, i stedet for bransjens tradisjonelle modell: at en kunde tar med en bil til en fysisk auksjon én gang i uken og håper at den blir solgt samme dag.
«Vi har nylig bygget en komplett, intelligent digital ende-til-ende-arbeidsflyt for en av våre viktigste partnere, inkludert mottak av kjøretøydata, inspeksjon, verdsettelse, presentasjon, identifisering av kjøpere, transaksjon og leveranse», sa Banakh. «Alt har egentlig blitt omformet til én kontinuerlig prosess.»
Det vanskeligste var ikke teknologien. Det var selve bransjen. «Den menneskelige faktoren er beryktet for å være digitalt motvillig i denne bransjen», sa Banakh. «Jeg ser fortsatt forhandlere gå rundt med penn og papir for å dokumentere.» Det betydde at prosjektet krevde mer enn en prosessendring — det innebar det Banakh kalte et paradigmeskifte i grunnleggende atferd, noe det er lett å gjøre feil.
Med en stram tidsplan brukte Banakhs team KI til å simulere en rekke interessentpersonligheter og diskutere hvordan arbeidsflyten burde settes sammen. «Vi endte i praksis med å samskape et utkast til arbeidsflyten», sa hun. «Deretter ble det presentert for partneren vår for validering. Og det fremskyndet virkelig samtalene» — og erstattet langsomme valideringsmøter én etter én med et utkast som partneren kunne reagere direkte på.
Prosjektet er fortsatt i en tidlig pilotfase, så Banakh kunne bare dele begrensede tall, men hovedresultatet var tydelig: gjennomløpstiden har allerede gått ned med to tredeler, før systemet i det hele tatt er ferdig optimalisert. «Gjennomløpstiden er redusert med to tredeler akkurat nå, og vi har ikke engang optimalisert fullt ut», sa hun, og la til at reduksjoner i kostnader, verdifall på eiendeler og menneskelig arbeidskraft forventes å følge.
Det krevde ingen hard salgspitch å få skeptiske interessenter med på laget. «Du snakker til begrunnelsen og avkastningen på investeringen, og ekte forretningsfolk blir overbevist når de ser resultatet», sa Banakh. For forhandlere som foretrekker å fortsette å gjøre ting på den gamle måten, er det også helt greit — systemet er bygget for partnere som ønsker å skalere nasjonalt, ikke for å erstatte enhver arbeidsflyt som allerede fungerer for noen.
Den røde tråden
Ulike bransjer, ulike verktøy, ulik skala — men den samme underliggende disiplinen. Hernandez' team bygget et nytt KI-system bare for å holde det første systemet ærlig. Ghonge bygget inn synlighet i plattformen sin, slik at brukerne kunne kontrollere dataene selv i stedet for å ta resultatet på tro. Banakhs team sørget for «en varm overlevering gjennom hvert trinn», med en programleder som hadde ansvar for å fange opp avvik som menneskelig gjennomgang ellers kunne ha oversett.
Ingen av disse teamene fikk oppslutning ved å presentere KI som et konsept. De oppnådde det ved å levere noe lite, bevise at det fungerte og la resultatene tale for seg. Som Banakh sa det: «ekte forretningsfolk blir overbevist når de ser resultatet». Det er mønsteret bak alle de tre casestudiene: Det handler mindre om selve KI-en og mer om disiplinen med å bygge tillit inn i systemet samtidig.
Vil du ha flere innsikter som dette? Registrer deg for en gratis DPM-konto for å høre fra flere eksperter som disse og være blant de første som får vite om kommende arrangementer.
