AI in het wild: hoe 3 teams AI omzetten in echte operationele successen
Menselijk controlepunt: Succesvolle AI-casestudy's behouden menselijke controle en verschuiven het toezicht naar uitzonderingen in plaats van verantwoordelijkheid af te schaffen.
Contactclassificatie: Chime automatiseerde de classificatie en controle van telefoongesprekken, zodat medewerkers zich op klanten konden richten terwijl de nauwkeurigheid en terugval van het model werden gemonitord.
Verbeteringen in prognoses: De agentische AI van Amazon verkortte de tijd voor vraagplanning met 80 procent en verminderde de prognosefout met 40 procent dankzij schonere, zichtbare gegevens.
Workflowintegratie: ACV Auctions verkortte de doorlooptijd van voertuigverkoop met twee derde door intake, waardebepaling, merchandising, transacties en uitvoering met elkaar te verbinden.
Vertrouwen opbouwen: Teams wisten adoptie te bereiken door klein te beginnen, meetbare resultaten te tonen, rommelige gegevens te vereenvoudigen en belanghebbenden gedurende de hele implementatie verantwoordelijk te houden.
AI-casusstudies komen meestal in twee varianten: vage succesverhalen zonder cijfers, of opgeklopte stukken die het moeilijke deel volledig overslaan.
Het recente evenement van DPM, AI in het wild, was opgezet om beide te vermijden. Drie leiders — één van een fintechorganisatie voor klantenservice, één uit de ruimte van vraagplanning bij Amazon en één van een online marktplaats waar autodealers gebruikte auto's kopen en verkopen — liepen door de AI-systemen die ze daadwerkelijk hadden gebouwd, de problemen waar ze tegenaan liepen en de cijfers die daaruit voortkwamen.
Chris Hernandez, senior manager AI-operaties bij Chime, opende de sessie met de manier waarop zijn team de classificatie van contactredenen voor telefoongesprekken met de klantenservice automatiseerde. Aniket Ghonge, senior supplychainmanager bij Amazon, volgde met het agentische AI-platform dat hij in zijn eentje bouwde om de vraagplanning te verbeteren. En Anika Banakh, directeur technologisch programmamanagement bij ACV Auctions, sloot af met de digitale operationele motor voor het volledige proces die haar team bouwde om de verkoop van voertuigen te moderniseren.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Op het eerste gezicht hebben de drie projecten weinig met elkaar gemeen. Maar in alle drie liep dezelfde gedachte als rode draad: geen van deze teams behandelde AI als iets dat je instelt en daarna kunt achterlaten. Elk systeem behield een menselijke controle, zelfs nadat het handmatige werk was verdwenen.
Meer aandacht voor eerstelijnswerk met AI
Het team van Hernandez begon met onderzoek naar wat medewerkers van het callcenter daadwerkelijk deden tijdens een klantgesprek, en dat was meer dan alleen het probleem van de klant oplossen. Medewerkers maakten ook aantekeningen en probeerden het gesprek van de juiste contactreden te voorzien — uit meer dan 1.500 mogelijke categorieën — terwijl het gesprek nog gaande was.
"We hadden meer dan vijftienhonderd verschillende varianten van contactredenen waaruit ze konden kiezen," zei Hernandez. "En weten welke de juiste was, was altijd lastig." Het proces was handmatig, inconsistent en foutgevoelig, en leidde de aandacht af van het lid aan de lijn.
Het team bouwde een classificatiemodel dat een LLM gebruikte om transcripties van gesprekken te beoordelen en automatisch de contactreden toe te wijzen. Dat werk leidde tot een tweede, ongepland project: het team van Hernandez besteedde nu veel tijd aan het controleren of het classificatiemodel niet hallucineerde en naar verwachting presteerde. Daarom bouwden ze een tweede AI-pijplijn om de eerste te controleren. Dat systeem "groepeert de terugkerende fouten, vangt de fouten op, voert ook de tests uit en presenteert de bevindingen aan mijn team" in plaats van dat iemand elke casus moet beoordelen.
Daar komen was niet eenvoudig. Hernandez zei dat elke modelbeslissing neerkomt op drie knoppen: snelheid, nauwkeurigheid en kosten. Een kleiner, goedkoper model leverde snel resultaten op, maar was minder nauwkeurig; een groter model dat de complexiteit aankon, betekende een hoger prijskaartje. Toen promptengineering tegen een plafond aanliep, schakelde het team over op benaderingen op basis van informatie ophalen en batchverwerking om de kosten te beheersen. Ze moesten ook een "gouden dataset" bouwen en voortdurend onderhouden — een betrouwbare bron van waarheid om de nauwkeurigheid van het classificatiemodel aan te meten, zelfs terwijl de onderliggende contactredenen bleven veranderen.
Draagvlak ontstond door de taxonomie zelf ter discussie te stellen, niet alleen het model. "Soms denken we dat je AI op elke oplossing kunt plakken en dat het daarmee klaar is," zei Hernandez. "Maar goede gegevens erin leveren goede gegevens op. En als je slechte gegevens invoert, krijg je slechte gegevens terug." Dat bracht het team ertoe hun lijst van meer dan 1.500 contactredenen te vereenvoudigen, in plaats van het model te vragen eromheen te werken.
De resultaten omvatten besparingen op de afhandeling van gesprekken en verbeterd werk na het gesprek, maar Hernandez maakte duidelijk wat het belangrijkst was: medewerkers tijd teruggeven zodat ze zich konden richten op het lid, niet op het papierwerk. "Elke keer dat we taken automatiseren, verwijderen we de controle niet echt, we verplaatsen die," zei hij. "AI is een vermenigvuldigingsfactor voor het wegwerken van routinewerk, maar de mens in de lus maakt die vermenigvuldigingsfactor daadwerkelijk betrouwbaar."
Die balans komt rechtstreeks naar voren in de manier waarop de controlepijplijn tegenwoordig werkt. In plaats van erop te vertrouwen dat het systeem wijzigingen rechtstreeks naar productie doorvoert, genereert het een wekelijks rapport waarin wordt aangegeven waar regressies of testfouten zijn opgetreden, zodat het team van Hernandez precies weet waarop het zich moet richten. "Daar vinden we de balans," zei hij, "door te proberen een LLM als beoordelaar en verschillende mogelijkheden te benutten om uit te breiden en meer op ons te nemen zonder risico's voor het bedrijf te introduceren."
Supplychainplanning automatiseren met agentische AI
Het team van Ghonge werkt met duizenden leveranciers en partners, en de gegevens die nodig waren om de vraag voor elk van hen te voorspellen, waren verspreid over CRM-software, projectmanagementtools en Excel-bestanden — zonder consistentie in de manier waarop ze van het ene systeem tot het andere waren gelabeld. "Er was geen controle over de gegevens, omdat de gegevenspijplijnen afkomstig waren uit verschillende softwareprogramma's, met verschillende eigenaars en gebruikers," zei hij.
Alles handmatig met elkaar in overeenstemming brengen kostte Ghonge 16 tot 20 uur per week, in een periode waarin het bedrijf nog relatief klein was. "Dat was waanzinnig voor mij," zei hij. Daarom begon hij te experimenteren, eerst met een Excel-prototype om te testen of de aanpak kon werken. Het hielp, maar niet volledig. Toen richtte hij zich op agentische AI en bouwde hij het systeem zelf, met een achtergrond in het maken van dashboards en productvereisten, maar zonder formele technische opleiding.
De adoptie begon kleinschalig — Ghonge was de enige gebruiker — en groeide via informele kanalen: bedrijfsbeoordelingsgesprekken, lunchsessies en mond-tot-mondreclame. Vier maanden later had het platform meer dan 75 gebruikers en duizenden weergaven.
De resultaten waren aanzienlijk. Wat vroeger 20 uur kostte, kost nu twee uur: een vermindering van 80% in de tijd die nodig is om een vraagvoorspelling te genereren, naast een vermindering van 40% in de voorspellingsfout. "De grootste winst is een vermindering van 80% in de tijd die nodig is om de vraag te genereren, met een hoge nauwkeurigheid," zei Ghonge. "We zagen ook een vermindering van ongeveer 40% in de [voorspellingsfout]." Het systeem gaf het team ook inzicht dat het daarvoor nooit had gehad — de mogelijkheid om precies te achterhalen welke kenmerken van leveranciers duizenden maandelijkse veranderingen veroorzaakten, in plaats van te gissen.
Vertrouwen kwam niet voort uit het AI-label. Het kwam voort uit transparantie. Toen projectmanagementgegevens werden geëxporteerd als 18.000 rijen die in werkelijkheid slechts 600 tot 700 echte tickets vertegenwoordigden, parseerde en consolideerde het systeem van Ghonge die rommel tot een overzichtelijke tabel die gebruikers rechtstreeks konden bekijken, in plaats van ticket voor ticket door de brontool te moeten gaan. "In plaats van elke keer voor elk ticket naar de tool te gaan, kunnen ze nu alles eenvoudig in één systeem zien," zei hij. Gebruikers konden ook elke eerdere week openen en die vergelijken met de huidige week, terwijl ze zagen hoe voorspellingsfouten in de loop van de tijd afnamen — bewijs dat het systeem daadwerkelijk werkte en niet alleen automatiseerde.
Ghonge schreef AI ook iets toe waar hij oorspronkelijk niet op had gerekend: documentatie. Toen hij de AI eenmaal begon te vragen zijn eigen implementaties en bestede tijd bij te houden, kon hij achteraf zijn eigen bouwproces kwantificeren — tot aan het aantal prompts dat nodig was om het systeem te bouwen.
Een door AI aangedreven digitale operationele motor bouwen
Het team van Banakh wilde het volledige verkooptraject van voertuigen opnieuw vormgeven — hoe voertuigen op de markt worden gebracht, gewaardeerd, gepresenteerd, aan kopers gekoppeld, verkocht, geleverd en vervoerd — als één samenhangend digitaal proces, in plaats van het traditionele model in de sector: een klant die eenmaal per week een auto naar een fysieke veiling brengt en hoopt dat die die dag wordt verkocht.
"We hebben onlangs een volledige intelligente digitale end-to-endworkflow gebouwd voor een van onze kernpartners, met onder meer: het verzamelen van voertuiggegevens, inspectie, waardering, presentatie, het vinden van kopers, de transactie en de afhandeling," zei Banakh. "Het is echt allemaal samengesmolten tot één doorlopend proces."
Het moeilijkste onderdeel was niet de technologie. Het was de sector zelf. "De menselijke factor is in deze sector berucht vanwege zijn afkeer van digitalisering," zei Banakh. "Ik zie nog steeds dealers rondlopen met pen en papier voor hun documentatie." Dat betekende dat het project meer vereiste dan alleen een proceswijziging — het had een wat Banakh een paradigmaverschuiving in kerngedrag noemde nodig, en dat is gemakkelijk verkeerd aan te pakken.
Vanwege de korte planning gebruikte het team van Banakh AI om verschillende persoonlijkheden van belanghebbenden te simuleren en te bespreken hoe de workflow moest worden opgebouwd. "Uiteindelijk hebben we de eerste versie van de workflow in feite samen gecreëerd," zei ze. "Daarna werd die ter validatie aan onze partner voorgelegd. En dat heeft de gesprekken echt versneld" — trage validatiegesprekken één voor één werden vervangen door een concept waarop de partner rechtstreeks kon reageren.
Het project bevindt zich nog in een vroeg pilotstadium, dus Banakh kon slechts beperkte cijfers delen, maar het belangrijkste resultaat viel op: de cyclustijd is al met twee derde afgenomen, nog voordat het systeem volledig is geoptimaliseerd. "De cyclustijd is momenteel met twee derde verminderd en we hebben nog niet eens volledig geoptimaliseerd," zei ze, eraan toevoegend dat naar verwachting ook de kosten, de afschrijving van activa en de menselijke arbeid zullen afnemen.
Het was niet nodig om sceptische belanghebbenden met een harde verkooppresentatie over de streep te trekken. "Je legt de rationale en ROI uit, en echte zakenmensen zijn overtuigd wanneer ze het resultaat zien," zei Banakh. Voor dealers die dingen liever op de oude manier blijven doen, is dat ook prima — het systeem is gebouwd voor partners die nationaal willen opschalen, niet om elke workflow die voor iemand al goed werkt te vervangen.
De gemeenschappelijke noemer
Verschillende sectoren, verschillende tools, verschillende schaalgroottes — maar dezelfde onderliggende discipline. Het team van Hernandez bouwde een tweede AI-systeem om ervoor te zorgen dat het eerste betrouwbaar bleef. Ghonge bouwde inzicht in zijn platform in, zodat gebruikers de gegevens zelf konden verifiëren in plaats van de uitvoer op goed vertrouwen aan te nemen. Het team van Banakh zorgde voor een "warme overdracht bij elke stap", met een programmamanager die verantwoordelijk was voor het opsporen van afwijkingen die anders aan menselijke controle zouden ontsnappen.
Geen van deze teams kreeg draagvlak door AI als concept te presenteren. Ze kregen dat draagvlak door iets kleins op te leveren, te bewijzen dat het werkte en de resultaten voor zich te laten spreken. Zoals Banakh het verwoordde: "echte zakenmensen raken overtuigd wanneer ze het resultaat zien." Dat is het patroon achter alle drie de casestudy's: het gaat minder om AI zelf en meer om de discipline om tegelijkertijd vertrouwen in het systeem op te bouwen.
Wil je meer inzichten zoals deze? Meld je aan voor een gratis DPM-account om van meer experts zoals deze te horen en als eerste op de hoogte te zijn van aankomende evenementen.
