LinMix: il mix di dati come attribuzione lineare ai domini

Abstract degli autori

Le prestazioni dei modelli linguistici dipendono fortemente dal mix di domini nel corpus di dati usato per il preaddestramento. I metodi più diffusi per definire questo mix scelgono i pesi dei domini addestrando numerosi piccoli modelli proxy su mix casuali e adattando poi un modello di regressione che predica le prestazioni in base al mix. Interpretiamo questa pratica come un problema di attribuzione ai domini, in cui la regressione misura il contributo di ciascun dominio alla metrica obiettivo. Da questa prospettiva, il consueto campionamento dei mix di dati proxy secondo la distribuzione di Dirichlet è una scelta poco adatta alla regressione: richiede una messa a punto e non consente un adattamento lineare per centinaia di domini. Basandoci sulla teoria classica della progettazione ottimale degli esperimenti, introduciamo LinMix, che campiona i mix ai vertici di un simplesso con limiti superiori, in modo che ogni dominio sia presente al proprio limite massimo oppure assente. Questo campionamento dei vertici, privo di iperparametri, rende non correlati gli effetti dei domini e consente di ottenere un modello lineare interpretabile, i cui coefficienti rappresentano i contributi attribuiti ai domini. È dimostrato che il mix ottimale individuato da LinMix mantiene solo i domini con valori di attribuzione positivi e non richiede di cercare tra mix candidati. Dimostriamo inoltre l’ottimalità del campionamento dei vertici e che il campionamento secondo la distribuzione di Dirichlet aumenta l’errore di attribuzione quando i mix si concentrano attorno al mix di dati a priori. Esperimenti di preaddestramento con i modelli linguistici OLMo2 da 1 miliardo di parametri e Qwen3.5 da 4 miliardi di parametri mostrano che LinMix supera i metodi basati sulla distribuzione di Dirichlet nei benchmark di ragionamento, codice e matematica, con miglioramenti relativi del 46% su MBPP e del 14% su GSM8K. Con 288 domini a grana fine, solo il campionamento dei vertici consente un adattamento lineare, e LinMix migliora l’accuratezza nei benchmark in media dell’11% rispetto al migliore metodo di riferimento non lineare.