A landmark field experiment at Alibaba has produced what may be the most rigorous evidence yet on how generative AI reshapes human work — and the findings cut against the prevailing optimism in boardrooms eager to deploy these tools at scale.
The study, conducted across Alibaba’s e-commerce after-sales customer service operations, randomly assigned human agents access to a generative AI assistant capable of diagnosing customer issues and drafting response messages in real time. Agents retained full discretion over whether to use, modify, or ignore the AI’s suggestions. The results reveal a picture that is neither uniformly positive nor negative — it is stratified, and that stratification carries profound implications for how organizations should think about AI deployment.
The headline finding is that generative AI meaningfully improved service speed and customer satisfaction ratings overall, while also reducing communication burden on customers. These gains are real and significant. But they mask a critical divergence: low-performing agents captured the largest improvements across both speed and quality, while top performers saw little speed benefit and actually experienced declines in service quality on both subjective and objective measures.
What explains this counterintuitive result? The evidence points to behavioral adaptation. When given AI assistance, high-performing agents increased multitasking — handling more concurrent conversations and shifting attention across chats more frequently. The AI, in effect, created a false sense of capacity. The consequence was slower individual response times, higher customer abandonment rates, and more customers returning with unresolved issues. The AI did not make top agents worse at their jobs; it changed how they allocated their attention, and that change proved costly.
This finding reframes a core assumption in enterprise AI strategy. Most deployment frameworks treat AI as a uniform productivity lever — install it broadly and capture gains across the workforce. Alibaba’s data suggests that approach is operationally naïve. The same tool can be simultaneously a competency equalizer for junior talent and a behavioral distractor for expert practitioners.
For executives and investors evaluating AI-enabled workforce transformation, the practical implication is clear: deployment strategy must be segmented by skill tier. High performers likely require guardrails against over-reliance and distraction, not just access. The organizations that extract durable value from generative AI will be those disciplined enough to recognize that better tools do not automatically produce better outcomes — human behavioral responses remain the decisive variable.
Source: Raw/trigger-generative-ai-in-action-alibaba-customer-service.md
Een baanbrekend veldexperiment bij Alibaba heeft mogelijk het meest rigoureuze bewijs tot nu toe opgeleverd over hoe generatieve AI menselijk werk hervormt — en de bevindingen staan haaks op het heersende optimisme in bestuurskamers die gretig deze tools op grote schaal willen uitrollen.
Het onderzoek, uitgevoerd binnen de klantenservice voor e-commerce naverkoop bij Alibaba, wees menselijke medewerkers willekeurig toegang toe tot een generatieve AI-assistent die klantproblemen kon diagnosticeren en responsberichten in real time kon opstellen. Medewerkers hielden volledige vrijheid om de suggesties van de AI te gebruiken, aan te passen of te negeren. De resultaten onthullen een beeld dat noch uniform positief noch uniform negatief is — het is gelaagd, en die gelaagdheid heeft verstrekkende gevolgen voor hoe organisaties over AI-inzet moeten nadenken.
De belangrijkste bevinding is dat generatieve AI de servicesnelheid en klanttevredenheidsscores overall significant verbeterde, terwijl ook de communicatielast voor klanten afnam. Deze winst is reëel en substantieel. Maar zij maskeert een cruciale tweedeling: laagpresterende medewerkers boekten de grootste verbeteringen in zowel snelheid als kwaliteit, terwijl toppresteerders nauwelijks snelheidsvoordeel ondervonden en zelfs teruggang in servicekwaliteit lieten zien op zowel subjectieve als objectieve maatstaven.
Wat verklaart dit tegendraadse resultaat? Het bewijs wijst op gedragsaanpassing. Wanneer toppresterende medewerkers AI-ondersteuning kregen, namen ze meer tegelijk aan — ze handelden meer gesprekken parallel af en verdeelden hun aandacht vaker over meerdere chats. De AI wekte feitelijk een vals gevoel van capaciteit. Het gevolg: tragere individuele responstijden, hogere percentages klanten die het gesprek verbraken, en meer klanten die terugkwamen met onopgeloste problemen. De AI maakte de beste medewerkers niet slechter in hun werk; het veranderde hoe ze hun aandacht verdeelden — en die verandering bleek kostbaar.
Deze bevinding herkaart een kernveronderstelling in de enterprise AI-strategie. De meeste implementatieraamwerken behandelen AI als een uniforme productiviteitshefboom: breed uitrollen en winst boeken in de hele organisatie. Alibaba’s data suggereert dat deze aanpak operationeel naïef is. Hetzelfde instrument kan tegelijkertijd een competentiegelijkmaker zijn voor junior talent en een gedragsafleider voor ervaren professionals.
Voor bestuurders en investeerders die AI-gedreven personeelstransformatie beoordelen, is de praktische conclusie helder: de inzetsstrategie moet worden gesegmenteerd op vaardigheidsniveau. Toppresteerders hebben waarschijnlijk geen simpele toegang nodig, maar juist waarborgen tegen overmatig vertrouwen en afleiding. De organisaties die duurzame waarde uit generatieve AI halen, zijn die welke de discipline opbrengen om te erkennen dat betere tools niet automatisch betere resultaten opleveren — de menselijke gedragsreactie blijft de doorslaggevende variabele.
Bron: Raw/trigger-generative-ai-in-action-alibaba-customer-service.md