Dalla frammentazione alla fusione: una rassegna e una roadmap per gli embedding omnimodali

Abstract degli autori

I modelli di embedding sono alla base di praticamente tutti i moderni sistemi di IA, dai motori di ricerca ai sistemi di raccomandazione. Nonostante condividano le stesse fondamenta matematiche, la ricerca sui modelli di embedding resta frammentata per modalità: le diverse comunità lavorano perlopiù in isolamento e si scambiano di rado le proprie intuizioni. Sosteniamo che questa frammentazione nasconda una convergenza più profonda. Spinta dall’apprendimento contrastivo, dalle architetture Transformer e da un cambiamento di granularità, la ricerca sugli embedding nelle diverse modalità converge verso un insieme comune di principi, mentre le sfide specifiche di ciascuna modalità restano poco esplorate. Per ragionare su questa convergenza senza confondere i diversi aspetti, proponiamo un quadro di tre capacità, via via più difficili: copertura, comparabilità e composizionalità. Tre percorsi verso l’unificazione le soddisfano, nell’ordine: la trasformazione amplia la copertura, l’allineamento rende possibile la comparabilità e l’embedding congiunto, traguardo finale che sosteniamo, punta alla composizionalità. Questo position paper ripercorre l’evoluzione che ne deriva e offre la prima trattazione unificata e trasversale della ricerca sugli embedding omnimodali.