Ripristino, mantenimento e intervento semantico: misurare il contenuto funzionale delle variazioni dei pesi dovute al fine-tuning di CLIP

Abstract degli autori

Il fine-tuning adatta i modelli preaddestrati a nuovi compiti, ma resta difficile individuare quali variazioni dei pesi sostengano il comportamento che ne deriva. L’interpretabilità nello spazio dei pesi attribuisce descrizioni semantiche a queste variazioni, dette *delta di fine-tuning*. Tali descrizioni non chiariscono quanto le prestazioni nel compito dipendano dagli aggiornamenti individuati, soprattutto quando altri aggiornamenti possono sostenere le stesse predizioni. Affrontiamo questo problema combinando il ripristino, che riporta parametri selezionati ai valori precedenti al fine-tuning, con il mantenimento, che conserva soltanto aggiornamenti selezionati del fine-tuning. Valutiamo modelli Contrastive Language-Image Pretraining (CLIP) su grafici finanziari sintetici, Flowers102, EuroSAT e FGVCAircraft con ViT-L/14, e su Flowers102 con ViT-B/16, usando una procedura comune che sottopone a fine-tuning gli ultimi sei blocchi visivi. I nostri contributi sono tre. Primo, i soli aggiornamenti value-output (VO) dell’attenzione recuperano il 43–87% del miglioramento dell’accuratezza, sebbene riportarli ai valori precedenti al fine-tuning lasci invariata l’accuratezza sui grafici. La perdita di entropia incrociata mantiene questo contrasto su Charts ed EuroSAT, mentre i margini dei punteggi della classe corretta rivelano contributi ulteriori. Secondo, in ogni configurazione i pesi VO recuperano un miglioramento della perdita maggiore rispetto a ciascuno dei dieci sottoinsiemi casuali di pari dimensioni e corrispondenti per livello. Il mantenimento congiunto degli aggiornamenti VO e di quelli del percettrone multistrato (MLP) corregge il 25–81% degli errori del modello preaddestrato, mostrando una sovrapposizione nei comportamenti recuperati che chiamiamo ridondanza operativa. Terzo, in tutte e cinque le configurazioni, la rimozione di direzioni selezionate semanticamente riduce il recupero ottenuto mantenendo gli aggiornamenti VO più della rimozione di direzioni casuali comparabili. Nel complesso, questi risultati distinguono l’allineamento semantico, il costo della rimozione e il recupero ottenuto con il mantenimento come prove complementari del ruolo funzionale degli aggiornamenti di fine-tuning nella procedura CLIP valutata.