The Pulse
I piccoli modelli scendono sotto il 4% nel trasferimento ad ARC-AGI
Tre piccoli modelli linguistici hanno raggiunto punteggi fino al 54,4% su famiglie di compiti già incontrate, ma sull’ARC-AGI si sono fermati a punteggi massimi compresi tra il 2% e il 3,5%, secondo uno studio sulle trasformazioni di grigli
AI.info Team · Scritto con l’IA ·
Tre piccoli modelli linguistici hanno ottenuto punteggi fino al 54,4% sulle famiglie di compiti su cui erano stati addestrati, ma sull’insieme di valutazione separato ARC-AGI hanno raggiunto punteggi massimi di appena il 2%–3,5%. I risultati provengono da uno studio pubblicato su arXiv il 6 ottobre, che verifica se i modelli apprendano regole astratte di trasformazione o ottengano buoni risultati soprattutto su distribuzioni di compiti familiari.
Il divario è notevole, ma il confronto non è un test puro della novità: ARC-AGI differisce dal benchmark di addestramento sia per la novità sia per la difficoltà dei compiti. I ricercatori descrivono questi risultati come trasferimento tra benchmark e affermano che i soli punteggi basati sulla corrispondenza esatta non permettono di stabilire quali operazioni un modello compia internamente.
Le dimensioni delle griglie hanno rivelato un secondo divario nel trasferimento
Nel test più controllato dell’articolo, i ricercatori hanno mantenuto le stesse famiglie di trasformazioni, cambiando la scala delle griglie. Dopo l’addestramento su griglie piccole, Qwen3-1.7B, un modello con solo decoder, ha ottenuto il 68,5% nella valutazione su griglie piccole e il 24,3% su griglie grandi. Qwen1.5-MoE-A2.7B-Chat, un modello mixture-of-experts, è sceso dal 53,1% al 12,7%; il modello con encoder–decoder T5Gemma è passato dal 64,4% al 5,9%.
Questi confronti mantengono invariata la regola di fondo, cambiando la scala spaziale dei rompicapi. I cali indicano quindi una difficoltà nel trasferire una trasformazione appresa a griglie di dimensioni diverse, anche se lo studio non può isolare le ragioni delle difficoltà di ciascun modello: i tre modelli considerati differiscono anche per preaddestramento, tokenizzazione, lunghezza del contesto e capacità.
Più addestramento non ha aiutato tutte le famiglie di compiti
I ricercatori hanno condotto oltre 1.000 esperimenti di addestramento e valutazione usando ARC-TGI, un benchmark che genera varianti di trasformazioni di griglie astratte. I loro modelli rappresentavano tre architetture: con solo decoder, con encoder–decoder e mixture-of-experts. Tutti sono stati sottoposti a fine-tuning supervisionato e il gruppo ha verificato l’effetto delle scelte di addestramento, delle dimensioni delle griglie, dei formati dei prompt e del numero di esempi mostrati nel contesto.
Aggiungere famiglie di compiti all’addestramento ha migliorato i punteggi su un insieme di valutazione comune, ma i progressi non sono stati uniformi. Quando il numero di generatori usati nell’addestramento è salito da 60 a 193, l’accuratezza del modello con solo decoder è aumentata dal 39,3% al 51,6%, mentre quelle degli altri due sono passate rispettivamente dal 39,1% al 45,0% e dal 7,5% al 13,0%. I risultati sono migliorati per alcune famiglie di compiti, mentre altre sono rimaste difficili.
Anche il formato del prompt ha cambiato i risultati. In un confronto, chiedere ai modelli di scrivere regole Python eseguibili anziché produrre direttamente una griglia ha portato il punteggio del modello mixture-of-experts dal 33,7% al 59,0%. Quattro esempi nel prompt hanno aiutato i due modelli basati su decoder, ma l’accuratezza del modello con encoder–decoder è scesa dal 43,6% con un esempio al 23,4% con quattro.
Gli autori precisano che cosa possono mostrare i punteggi
Gli esperimenti usano un modello preaddestrato per ciascuna famiglia di modelli, quindi i risultati non possono dimostrare che le differenze siano dovute alla sola architettura. Il gruppo, inoltre, non ha stimato la variabilità tra diversi semi casuali di addestramento e i punteggi massimi su ARC-AGI sono sintesi a posteriori dei risultati ottenuti in diversi checkpoint. Questi limiti rendono i risultati un monito a non considerare un punteggio elevato su compiti familiari come prova della capacità di trasferimento, non un giudizio su ogni piccolo modello o su ogni forma di ragionamento.
«Questi dati sono compatibili con un adattamento specifico alla distribuzione, ma non dimostrano l’assenza di ragionamento astratto, perché il solo comportamento misurato tramite corrispondenza esatta non permette di determinare quali operazioni vengano compiute internamente.»
Nur A Zarin Nishat, Jens Lehmann, Andrei Aioanei e Sahar Vahdati, autori dell’articolo
L’articolo propone di misurare la copertura delle famiglie di compiti, le traiettorie di addestramento e le prestazioni in presenza di cambiamenti controllati, oltre all’accuratezza finale. Il risultato ottenuto nel trasferimento tra benchmark resta difficile da interpretare come misura a sé stante della generalizzazione; il confronto tra griglie di dimensioni diverse offre un test più mirato, in cui le stesse regole di trasformazione producono punteggi molto più bassi quando le griglie diventano più grandi.