Scalare il fine-tuning efficiente in termini di parametri per la codifica cerebrale

Abstract degli autori

I modelli di codifica cerebrale mirano a prevedere le risposte neurali agli stimoli. L’approccio più diffuso consiste nell’addestrare moduli di lettura a partire da backbone preaddestrati i cui parametri restano congelati. Addestrare da zero modelli di grandi dimensioni con dati neurali, oppure sottoporli a un fine-tuning completo dopo il preaddestramento su un compito, si è rivelato difficile perché i dati neurali sono costosi e limitati. Mostriamo che il fine-tuning efficiente in termini di parametri (PEFT) ci permette di adattare efficacemente backbone preaddestrati molto grandi alla codifica cerebrale con un numero ridotto di parametri addestrabili. Per rendere questo approccio praticabile dal punto di vista computazionale, sfruttiamo la struttura causale del backbone per prevedere più istanti temporali in un’unica passata, anziché usare finestre scorrevoli, riducendo significativamente il costo dell’estrazione delle caratteristiche. Questo consente un fine-tuning efficiente di backbone multimodali con un massimo di 104 miliardi di parametri: per quanto ne sappiamo, si tratta del modello più grande mai adattato alla codifica cerebrale. Addestrato con un adattatore a basso rango (LoRA) e un modulo di lettura leggero, il nostro approccio migliora sistematicamente le prestazioni nella codifica cerebrale su nove diversi backbone multimodali. Usando lo stesso backbone Qwen3-Omni del precedente modello allo stato dell’arte (SoTA), il nostro metodo BrainLoRA ottiene le migliori prestazioni pubblicate per l’Algonauts 2025 Challenge. Mostriamo inoltre che i backbone multimodali adattati restano interpretabili: l’attribuzione alle modalità permette di ricostruire la topografia sensoriale canonica, che gli studi precedenti ottengono spesso per costruzione usando encoder unimodali separati; l’adattamento ai dati neurali aumenta inoltre il contributo degli input audio e il mescolamento tra modalità all’interno del backbone. Per aumentare il numero di modelli adattati, sviluppiamo un kernel multi-LoRA che accelera l’addestramento congiunto di più LoRA su un backbone condiviso. Questo consente di creare un ensemble di 200+ modelli adattati che, al momento della stesura, è al primo posto nella classifica pubblica successiva all’Algonauts Challenge. Nel complesso, i nostri risultati indicano che il PEFT è un paradigma efficiente e potente per la codifica cerebrale.