For years, the foundational question of AI development has gone largely unanswered: which pieces of training data actually made the model good? A new technique published at ICLR 2025 by researchers from Princeton, UC Berkeley, and Virginia Tech offers the first computationally tractable answer at scale — and the implications extend far beyond academic interest into intellectual property law, data markets, and the economics of foundation model development.
The method, called In-Run Data Shapley, resolves a long-standing tension between fairness theory and practical AI development. The Shapley value, borrowed from cooperative game theory, has been the gold standard for fair attribution since 1953 — it uniquely satisfies conditions of equal treatment, proportional accounting, and additive decomposition. Applied to machine learning, it should theoretically tell you exactly how much each data source contributed to a model’s performance. The problem has always been computational: traditional approaches require retraining the model hundreds or thousands of times on different data subsets, making them completely impractical for foundation models that cost millions of dollars to train once.
In-Run Data Shapley sidesteps this entirely. Rather than looking backward through expensive reruns, it computes attribution scores incrementally at each gradient update step during a single training run, using first-order Taylor approximations that introduce negligible runtime overhead. The result is not an approximation of some hypothetical average model, but attribution specific to the actual model being deployed — a conceptually important distinction that prior methods quietly elided.
The economic stakes here are significant. The New York Times lawsuit against Microsoft and OpenAI is merely the visible tip of a much larger iceberg. If foundation model developers can now quantifiably demonstrate — or are legally compelled to demonstrate — the marginal contribution of specific data sources, the entire structure of how training data is acquired, licensed, and compensated becomes negotiable in new ways. Data markets could emerge where content creators are paid in proportion to measurable model impact rather than flat licensing fees.
For enterprise AI teams, the immediate application is data curation: identifying which sources actively degrade model quality and which drive disproportionate gains. At the scale of trillion-token pretraining runs, even marginal improvements in data quality translate into substantial savings in compute. Attribution is no longer just a legal defense — it is becoming a competitive capability.
Source: Raw/trigger-data-shapley-in-one-training-run.md
Jarenlang is de fundamentele vraag bij AI-ontwikkeling grotendeels onbeantwoord gebleven: welke stukken trainingsdata maakten het model nu eigenlijk goed? Een nieuwe techniek gepubliceerd op ICLR 2025 door onderzoekers van Princeton, UC Berkeley en Virginia Tech biedt het eerste rekenkundig haalbare antwoord op schaal — en de implicaties reiken ver voorbij academisch belang naar intellectueel-eigendomsrecht, datamarkten en de economie van de ontwikkeling van basismodellen.
De methode, In-Run Data Shapley genaamd, lost een langdurige spanning op tussen eerlijkheidstheorie en praktische AI-ontwikkeling. De Shapley-waarde, ontleend aan de coöperatieve speltheorie, is de gouden standaard voor eerlijke toerekening geweest sinds 1953 — het voldoet op unieke wijze aan voorwaarden van gelijke behandeling, proportionele verantwoording en additieve ontleding. Toegepast op machine learning, zou het theoretisch precies moeten vertellen hoeveel elke databron heeft bijgedragen aan de prestaties van een model. Het probleem is altijd rekenkundig geweest: traditionele benaderingen vereisen het opnieuw trainen van het model honderden of duizenden keren op verschillende subsets van data, waardoor ze volledig onpraktisch zijn voor basismodellen die miljoenen dollars kosten om één keer te trainen.
In-Run Data Shapley omzeilt dit volledig. In plaats van achteruit te kijken door dure hertrainingen, berekent het toerekenningscores incrementeel bij elke gradiëntbijwerkstap tijdens een enkele trainingsrun, met behulp van eerste-orde Taylor-benaderingen die verwaarloosbare runtime-overhead introduceren. Het resultaat is geen benadering van een hypothetisch gemiddeld model, maar toerekening specifiek voor het daadwerkelijk geïmplementeerde model — een conceptueel belangrijk onderscheid dat eerdere methoden stilzwijgend weglieten.
De economische inzet is aanzienlijk. De rechtszaak van de New York Times tegen Microsoft en OpenAI is slechts het zichtbare topje van een veel grotere ijsberg. Als ontwikkelaars van basismodellen nu kwantificeerbaar kunnen aantonen — of wettelijk verplicht zijn aan te tonen — wat de marginale bijdrage van specifieke databronnen is, wordt de gehele structuur van hoe trainingsdata wordt verworven, gelicenseerd en vergoed op nieuwe manieren onderhandelbaar. Er kunnen datamarkten ontstaan waarbij contentmakers worden betaald in verhouding tot meetbare modelimpact in plaats van vaste licentiekosten.
Voor enterprise AI-teams is de directe toepassing datacuratie: het identificeren van welke bronnen de modelkwaliteit actief verlagen en welke onevenredige winsten opleveren. Op de schaal van voortrainingsruns met biljoen tokens vertalen zelfs marginale kwaliteitsverbeteringen in data zich in aanzienlijke besparingen in rekenkracht. Toerekening is niet langer alleen een juridische verdediging — het wordt een concurrentievoordeel.
Bron: Raw/trigger-data-shapley-in-one-training-run.md