Ripensare l’addestramento del proiettore negli LLM multimodali

Abstract degli autori

Gli LLM multimodali vengono generalmente addestrati allineando prima un encoder visivo a un modello linguistico mediante l’addestramento di un proiettore su grandi dataset di coppie immagine-didascalia, e addestrando poi congiuntamente l’intero modello multimodale. Nonostante il suo largo impiego, il ruolo della fase di addestramento del proiettore resta poco chiaro. Osserviamo che (i) usare solo dal $10$ al $20\%$ dei dati per addestrare il proiettore consente già di ottenere la maggior parte dei miglioramenti delle prestazioni nei compiti a valle e (ii) i proiettori addestrati su dataset diversi possono essere interpolati linearmente, mantenendo sostanzialmente le prestazioni. Questi risultati suggeriscono che l’addestramento del proiettore serva soprattutto a realizzare un allineamento grossolano, che molti proiettori diversi riescono a ottenere altrettanto bene. Sulla base di questi risultati, proponiamo PORTAL, un metodo per inizializzare il proiettore senza addestramento che non richiede né dati appaiati di immagini e didascalie né un’ottimizzazione basata sul gradiente, ma soltanto statistiche riassuntive per ciascuna modalità. PORTAL calcola una mappatura basata sul trasporto ottimale tra approssimazioni gaussiane delle distribuzioni delle caratteristiche visive e linguistiche in un sottospazio principale condiviso, consentendo di saltare del tutto la fase di addestramento del proiettore. Senza alcun dato appaiato, PORTAL eguaglia le prestazioni della pipeline standard addestrata su 558k coppie immagine-didascalia, considerando sei backbone LLM, due encoder visivi e 16 benchmark. Supera quella pipeline in $3$ delle $7$ configurazioni (encoder visivo, LLM) e, nelle altre quattro, raggiunge in media il $98\%$ del suo punteggio.