Studiare gli effetti della diversità dei compiti con piccoli mondi matematici

Abstract degli autori

Compiti matematici di base come l’addizione modulare si sono rivelati uno strumento prezioso per mettere in luce aspetti del comportamento delle reti neurali difficili da osservare in contesti reali, su larga scala, rumorosi e non verificabili. Questi studi si sono in genere concentrati su un solo compito. I moderni modelli linguistici, tuttavia, sono esposti a un numero enorme di compiti, pur essendo addestrati con l’obiettivo di prevedere il token successivo. In questo lavoro presentiamo due ecosistemi di compiti matematici, IntWorld e PermWorld, costruiti a partire da compiti distinti ma correlati sui numeri interi e sulle permutazioni. Entrambi sono progettati per simulare la diversità dei compiti all’interno di un «mondo» matematico coerente, in cui i compiti sono distinti ma correlati. Poiché i dataset sono generati proceduralmente, possiamo variare con precisione il numero di compiti e iniziare così a distinguere il ruolo della varietà dei compiti da quello di altri fattori nell’addestramento. Dopo aver descritto i dataset, presentiamo alcuni primi risultati ottenuti utilizzandoli, che avvalorano l’idea che una maggiore diversità dei compiti accresca la ricchezza delle rappresentazioni interne di un modello.