Leggi di scaling ottimali rispetto al calcolo per modelli linguistici a impulsi

Abstract degli autori

Le reti neurali a impulsi puntano a rendere efficiente dal punto di vista energetico la modellazione linguistica attraverso attivazioni sparse e binarie, ma il compromesso tra efficienza e accuratezza dei modelli linguistici a impulsi non è stato caratterizzato su larga scala. Presentiamo il primo studio di scaling IsoFLOP in stile Chinchilla su un modello linguistico a impulsi, esplorando modelli della famiglia SpikeGPT (con backbone RWKV) con larghezze da 384 a 1536 e budget di calcolo da $3\times10^{17}$ a $10^{19}$ FLOPs su FineWeb-EDU. Riportiamo due risultati. Primo, la frontiera ottimale rispetto al calcolo è $N_{opt} \propto C^{0.56}$, un valore vicino a 0,50, riportato da Hoffmann et al. per i Transformer densi; ciò significa che lo spiking non cambia il modo in cui parametri e dati dovrebbero essere bilanciati entro un budget di calcolo. Secondo, rispetto alle baseline RWKV e Transformer non a impulsi, addestrate allo stesso modo, il divario di loss si scompone in un costo dovuto al backbone di circa 0,16 nats, invariato al variare del calcolo, e in un costo dovuto allo spiking che scende da 0,34 a circa 0,23 nats, per poi stabilizzarsi. Questi risultati forniscono la prima ricetta ottimale rispetto al calcolo per i modelli linguistici a impulsi e quantificano il costo in termini di accuratezza della loro sparsità.