SD-LoRA: distillazione strutturale durante l’addestramento in LoRA per l’adattamento few-shot dei modelli di visione-linguaggio

Abstract degli autori

L’adattamento few-shot dei modelli di visione-linguaggio deve conciliare due obiettivi in competizione: apprendere distinzioni visive dettagliate da una supervisione molto limitata e preservare l’efficienza che rende interessanti per la distribuzione i modelli congelati simili a CLIP. I metodi di adattamento leggero esistenti, tra cui il prompt tuning, LoRA e gli adattatori basati su cache, in genere supervisionano gli embedding globali delle immagini e sfruttano quindi poco la struttura a livello di token. Al contrario, i metodi che tengono conto della struttura utilizzano evidenze locali, ma spesso introducono calcoli aggiuntivi in fase di inferenza. Proponiamo SD-LoRA, un framework di distillazione strutturale che usa il ragionamento su grafi a livello di token solo durante l’addestramento e ne trasferisce gli effetti a un modello CLIP adattato con LoRA leggero. Durante l’addestramento, un modello docente basato su un grafo eterogeneo rappresenta le relazioni tra patch, quelle globali-locali e quelle visivo-testuali sui token ViT ad alta risoluzione. Invece di mantenere il grafo al momento del test, SD-LoRA ne trasferisce il bias strutturale al backbone CLIP-LoRA condiviso attraverso la distillazione implicita e la Prototype Predictive Alignment, che allinea le rappresentazioni condizionate dal grafo ai prototipi di classe ricavati dai dati di supporto. In fase di inferenza, il modello docente basato sul grafo viene scartato; per effettuare una previsione basta un singolo passaggio in avanti di CLIP-LoRA e un classificatore basato su cache. Su 11 benchmark few-shot, SD-LoRA supera un solido baseline CLIP-LoRA di 2,4/1,8/3,0/2,4/2,0 punti percentuali, rispettivamente nelle configurazioni 1/2/4/8/16-shot, senza calcoli aggiuntivi sui grafi al momento del test. I risultati sulla generalizzazione dalle classi base a quelle nuove, sul trasferimento tra dataset, sulla robustezza fuori distribuzione e sulla calibrazione mostrano inoltre che la supervisione strutturale durante l’addestramento migliora sia l’accuratezza sia l’affidabilità del trasferimento. Il codice è disponibile su https://github.com/MR-Sherif/SD-LoRA.git.