Ancoraggi semantici condizionati dal batch per un adattamento transduttivo robusto dei modelli visione-linguaggio

Abstract degli autori

L’adattamento transduttivo migliora i modelli visione-linguaggio al momento del test, perfezionando le previsioni su un batch non etichettato, ma i metodi attuali presentano un compromesso fondamentale. Gli approcci aggressivi sfruttano la struttura del batch, ma possono deviare quando i batch sono radi, presentano uno spostamento delle distribuzioni a priori o coprono una porzione ridotta dello spazio delle etichette. I metodi conservativi preservano meglio la semantica testuale di CLIP, ma riferimenti semantici fissi possono portare a un adattamento insufficiente anche quando il batch fornisce forti evidenze correttive. Proponiamo JPTA (Joint Prior and Transport Adaptation), un framework che tiene conto delle distribuzioni a priori e formula l’adattamento transduttivo dei VLM come una stima di riferimenti semantici condizionata dal batch. Invece di trattare i prototipi testuali di CLIP come prior fisse o liberamente sostituibili, JPTA li considera riferimenti semantici che si spostano verso la struttura del batch sul versante delle immagini solo in presenza di evidenze calibrate. Stima le distribuzioni a priori del batch e prototipi morbidi sul versante delle immagini per formare riferimenti semantici trasportati, il cui impatto è modulato in base all’affidabilità del batch. Nei benchmark standard, nei regimi con poche classi effettive, nelle valutazioni su tutte le classi e nei flussi online, JPTA supera sistematicamente TransCLIP e StatA, con i maggiori guadagni sui batch radi e con distribuzioni a priori spostate. Le diagnostiche della deriva degli ancoraggi, del supporto attivo e della massa delle classi assenti mostrano che JPTA corregge il disallineamento delle classi effettive senza una deriva transduttiva non vincolata, indicando che un adattamento transduttivo robusto dei VLM dovrebbe ricalibrare i riferimenti semantici usando evidenze affidabili del batch, anziché scegliere tra una transduzione senza restrizioni e prototipi fissi. Il codice è disponibile all’indirizzo https://github.com/MR-Sherif/JPTA.git.