AutoSFT: un sistema agentico per automatizzare la ricerca sui dati nel fine-tuning supervisionato

Abstract degli autori

Gli agenti basati su modelli linguistici automatizzano sempre più spesso le fasi successive all’addestramento, ma, quando hanno accesso all’intera infrastruttura di addestramento, finiscono per concentrarsi sul fine-tuning supervisionato e dedicano la maggior parte degli sforzi a rivedere i dati di addestramento. I sistemi esistenti offrono all’agente un solo tipo di controllo: selezionare righe da un insieme fisso oppure ricorrere a un generatore. Un esperto che lavora sui dati, invece, modifica le proporzioni, elimina, corregge, sostituisce e sintetizza i dati. Progettiamo uno spazio di azioni sui dati che comprenda queste modifiche e ci chiediamo se un sistema automatizzato possa compierle tutte anziché limitarsi a una sola, e quale struttura sia necessaria a questo scopo. Per prima cosa eseguiamo questo ciclo con un solo agente: riesce a compiere un solo tipo di operazione, modificare le proporzioni tra categorie, mentre il suo contesto si riempie degli output dell’esecuzione e viene scartato a metà della ricerca. Introduciamo quindi \textbf{AutoSFT}, un sistema multiagente in cui un meta-agente separa l’esecuzione dall’analisi, raccoglie proposte da prospettive indipendenti e ricorre a un sottoagente di sintesi per le capacità che l’insieme di dati non può coprire. Il modello, la procedura di addestramento e il budget restano fissi all’interno di ciascun confronto. Ogni componente aggiunto contribuisce al miglioramento: l’esecutore dimezza la perdita di contesto, i sottoagenti di analisi aumentano di $+6.5$ il miglior risultato su IFEval e la sintesi aggiunge $+3.4$ su IFEval e $+2.9$ su IFBench. Lo stesso ciclo si applica anche al codice: l’analisi porta un miglioramento di $+3.7$ su MBPP+ rispetto a un singolo agente che non migliora. Ogni risultato proviene da esecuzioni in cui, a ogni ciclo, il modello viene riaddestrato a partire dal modello di base; l’effetto di ciascun componente è quindi attribuibile individualmente. I nostri risultati suggeriscono che automatizzare la ricerca sui dati per il fine-tuning supervisionato dipenda più dalla capacità di coprire una varietà di azioni sui dati che dal rendere più efficace una singola azione.