The Pulse
TabFM-Auto conquista i primi cinque posti di TabArena
Un gruppo di ricerca guidato da Google Research afferma che cinque configurazioni del suo sistema TabFM-Auto occupano i primi cinque posti della classifica di TabArena, basata su 51 dataset. Il sistema usa agenti basati su modelli linguisti
AI.info Team · Scritto con l’IA ·
Cinque configurazioni, cinque primi posti
Cinque versioni di un unico sistema assistito dall’IA occupano i primi cinque posti in un benchmark di apprendimento automatico su dati tabulari basato su 51 dataset, secondo un articolo sottoposto ad arXiv il 29 settembre. Il sistema, TabFM-Auto, porta il punteggio complessivo del modello TabFM su cui si basa da 1.785 a 2.013 Elo usando un agente basato su un modello linguistico per migliorare la pipeline dei dati attorno al modello, anziché riaddestrare il modello stesso.
Gli autori scrivono: «Nelle 8 competizioni su dati tabulari di MLE-Bench, TabFM-Auto è al primo posto assoluto tra gli agenti MLE». Deqing Fu, Huangyuan Su, Rajat Sen, Taman Narayan, Sujay Sanghavi, Abhimanyu Das and Weihao Kong
Il set di test di TabArena comprende 38 dataset di classificazione e 13 di regressione. L’articolo confronta le cinque configurazioni di TabFM-Auto con 66 metodi, tra cui altri modelli fondazionali per dati tabulari ed ensemble AutoGluon ottimizzati; nella valutazione degli autori, le configurazioni ottengono i cinque punteggi Elo complessivi più alti. Elo è un punteggio relativo basato su confronti a coppie, non una percentuale di accuratezza.
L’agente cambia la tabella, non il modello
I modelli fondazionali per dati tabulari come TabFM formulano previsioni a partire da valori numerici e codici di categoria, ma non comprendono direttamente i nomi delle colonne né le descrizioni delle attività. Questo può lasciare inutilizzate informazioni utili contenute nello schema di un dataset: un modello può vedere una colonna di numeri senza sapere che rappresenta la pressione sanguigna, una misura fisica o un codice diagnostico.
TabFM-Auto dà a un agente di programmazione accesso ai metadati e ai risultati della validazione, poi gli chiede di rivedere quattro parti della pipeline: pulizia dei dati, feature engineering, selezione delle righe usate come contesto e post-elaborazione delle previsioni. Il modello TabFM da 400 milioni di parametri resta invariato durante tutta la ricerca. L’agente valuta le pipeline candidate con una validazione incrociata a tre partizioni sui dati di addestramento e, secondo l’articolo, una ricerca può durare fino a 96 valutazioni o sei ore su una GPU H100.
Le modifiche possono andare dalla ricodifica dei valori che indicano dati mancanti alla costruzione, a partire dai nomi delle colonne, di formule specifiche per il dominio. Nei dataset più grandi o sbilanciati, l’agente può anche selezionare righe di contesto per preservare le classi minoritarie e adeguare le probabilità in uscita alla distribuzione delle classi nei dati. L’articolo riferisce che gli agenti hanno modificato la tabella delle caratteristiche in 97 delle 102 esecuzioni esaminate per due configurazioni.
Risultati solidi, ma una ricerca costosa
I miglioramenti variavano a seconda dell’attività. Sui 13 dataset di regressione, la configurazione migliore raggiunge 2.512,9 Elo, 467 punti sopra il risultato di TabFM di base; sui 38 dataset di classificazione, il punteggio migliore è di 1.966,3 Elo, circa 198 punti sopra TabFM. Gli autori riferiscono inoltre che le pipeline individuate hanno migliorato i risultati quando sono state trasferite ad altri modelli fondazionali per dati tabulari mantenuti invariati, aggiungendo tra 69 e 143 punti Elo senza un’altra ricerca.
Una seconda valutazione ha riguardato otto competizioni su dati tabulari di MLE-Bench. I ricercatori hanno assegnato a TabFM-Auto un budget di 24 ore per competizione e lo hanno confrontato con le soluzioni pubblicate di altri agenti per l’ingegneria dell’apprendimento automatico. In quel confronto, la configurazione Claude Code e Opus 5 si è classificata prima, con 1.827 Elo, mentre la configurazione Antigravity e Gemini 3.8 Flash si è classificata seconda, con 1.734 Elo. Secondo l’articolo, altri agenti erano in testa in alcune singole competizioni, anche se le due varianti di TabFM-Auto guidavano la classifica aggregata.
Per ottenere questi risultati sono serviti un notevole impiego di risorse di calcolo e un uso consistente delle API. Gli autori stimano che le loro cinque sessioni di ricerca su TabArena siano costate circa 17.600 dollari in tariffe per le API dei modelli linguistici, calcolate ai prezzi di listino di Vertex AI; ripetere la ricerca in modo indipendente per tutte le partizioni di valutazione moltiplicherebbe per 16 i costi dei token e delle GPU. I risultati del sistema in classifica mostrano quindi ciò che il lavoro sulle pipeline guidato da agenti può ottenere con un ampio budget di ricerca, non che gli stessi miglioramenti si ottengano a basso costo su ogni nuovo dataset.
La conoscenza dello schema resta il fattore discriminante
I miglioramenti più marcati riportati nell’articolo si sono avuti quando i nomi delle colonne o le descrizioni delle attività rivelavano che cosa rappresentassero i dati. Su 17 dataset con schemi informativi, gli agenti potevano scrivere formule legate al dominio; nei dataset con nomi di colonna anonimi o generici, si affidavano maggiormente a trasformazioni statistiche e relazionali, e le riduzioni dell’errore riportate erano minori.
Gli autori indicano nella validazione ripetuta un altro limite: ogni nuovo dataset richiede una ricerca della pipeline e gli esperimenti non eliminano questo costo. I loro risultati sostengono una tesi più circoscritta di «un agente di IA sostituisce gli ingegneri dell’apprendimento automatico». TabFM-Auto mantiene invariato uno specifico modello predittivo e affida a un agente il compito di rendere più utili gli input e gli output di quel modello: una strategia che ha portato le configurazioni testate ai primi cinque posti di TabArena.