Sui limiti della scala: scaling inverso nei modelli visione-linguaggio

Abstract degli autori

Le leggi di scala suggeriscono che aumentare le dimensioni dei modelli, i dati di addestramento e la capacità di calcolo produca, in generale, miglioramenti costanti delle prestazioni. Sebbene ciò valga spesso a livello aggregato, presentiamo prove sistematiche del fatto che i modelli visione-linguaggio (VLM) mostrano uno scaling inverso a livello di sottocompito: esistono categorie specifiche di domande a cui i modelli più grandi rispondono peggio di quelli più piccoli della stessa famiglia. Valutiamo 19 modelli di quattro famiglie distinte su otto benchmark multimodali (nove suddivisioni di valutazione), con 29.386 domande per modello, per un totale di 558.334 valutazioni di risposte dei modelli alle domande. Analizzando, domanda per domanda, tutte le coppie di modelli di ciascuna famiglia, individuiamo 375 combinazioni di sottocompito e coppia di modelli che mostrano uno scaling inverso. Queste comprendono 4.342 domande distinte a cui un modello più piccolo risponde correttamente mentre uno più grande sbaglia; riscontriamo inoltre che questi schemi si ripresentano in architetture sviluppate indipendentemente. Individuiamo 13 coppie di sottocompito e dataset che mostrano uno scaling inverso in più famiglie, un risultato coerente con l’ipotesi che il fenomeno dipenda dal compito anziché dal modello. Gli ambiti più colpiti nel nostro studio comprendono il ragionamento spaziale su più immagini, la percezione visiva e le conoscenze STEM di livello universitario, con differenze di accuratezza superiori a 20 punti percentuali in diversi casi; la comprensione dei diagrammi appare invece relativamente resistente. Questi risultati mettono in discussione l’ipotesi che aumentare le dimensioni dei modelli migliori uniformemente le capacità multimodali e suggeriscono che la scelta del modello debba tenere conto del compito.