Che cosa funziona davvero per gli embedding multimodali universali? Uno studio controllato delle strategie di addestramento contrastivo

Abstract degli autori

L’apprendimento contrastivo è diventato l’approccio standard per l’apprendimento di rappresentazioni multimodali: avvicina le coppie semanticamente corrispondenti e allontana quelle non corrispondenti in uno spazio di embedding condiviso. Sono state proposte diverse strategie di addestramento contrastivo per la selezione degli esempi negativi, la costruzione dei batch e la modulazione dei gradienti, ma la loro effettiva efficacia in condizioni controllate e riproducibili resta poco chiara. Da qui una domanda fondamentale: le strategie contrastive più sofisticate producono sistematicamente miglioramenti significativi nelle prestazioni sui compiti successivi nell’apprendimento di embedding multimodali? Per rispondere, valutiamo sistematicamente alcune strategie rappresentative su MMEB, usando un quadro di benchmarking unificato. Sorprendentemente, le valutazioni dirette mostrano che la maggior parte delle strategie esistenti offre miglioramenti marginali rispetto a una baseline standard allineata, e che diverse peggiorano persino le prestazioni complessive. Per individuare le cause di questi risultati, introduciamo un quadro diagnostico MLLM-as-a-Judge che suddivide i risultati del recupero top-1 in esempi positivi etichettati, falsi negativi (corrispondenze valide non etichettate) ed errori relativi a esempi negativi difficili o facili. La nostra analisi sistematica porta a tre conclusioni principali: (1) Distorsione dei gradienti: aumentare il peso dei gradienti prodotti da esempi negativi ad alta similarità danneggia sistematicamente la generalizzazione sui compiti successivi; (2) Illusione delle distribuzioni: una maggiore separazione tra le distribuzioni di similarità degli esempi positivi e negativi non si traduce necessariamente in migliori prestazioni di recupero; e (3) Addestramento sinergico: mentre la mitigazione dei falsi negativi o la costruzione di batch difficili, prese singolarmente, producono miglioramenti limitati, combinare la selezione di esempi negativi difficili, la mitigazione dei falsi negativi e la costruzione di batch difficili consente di ottenere prestazioni ottimali, con un miglioramento medio del 6,0% su MMEB con Qwen2-VL-2B. Nel complesso, i nostri risultati fanno chiarezza sulle strategie contrastive più diffuse e forniscono indicazioni pratiche per addestrare modelli di embedding multimodali universali.