Allineare o non allineare: controlla il tuo COMPASS prima di addestrare

Abstract degli autori

Combinare modelli preaddestrati è una strategia comune per costruire sistemi di IA, sia allineando un encoder visivo con un modello linguistico, sia fondendo checkpoint sottoposti a fine-tuning. Trovare coppie compatibili, però, richiede in genere una costosa ricerca empirica, perché la compatibilità è nota solo dopo l’allineamento o la fusione. Proponiamo COMPASS (COMPatibility ASsessment Score), uno strumento diagnostico fondato su basi teoriche che stima, prima dell’allineamento o della fusione, se una coppia di modelli sarà compatibile. Partendo dall’osservazione che la convergenza delle rappresentazioni è più robusta a livello dei vicinati locali, COMPASS scompone la compatibilità tra modelli in due dimensioni poco costose da calcolare: una facilità specifica della coppia, definita come la sovrapposizione $k$-NN tra i due encoder, e un limite massimo legato ai paradigmi di addestramento, che esprime la massima sovrapposizione consentita da tali paradigmi. Insieme, queste due dimensioni permettono di classificare le coppie di modelli candidate e indicano come procedere per ciascuna: (i) dare priorità alle coppie che mostrano già una buona concordanza e i cui paradigmi sono compatibili, (ii) investire ulteriori risorse di calcolo nelle coppie con paradigmi compatibili ma scarsa concordanza iniziale, (iii) cambiare paradigma di preaddestramento quando non consente una concordanza sufficiente, oppure (iv) ridurre la priorità delle coppie che ottengono punteggi bassi in entrambe le dimensioni. Applichiamo COMPASS a $72$ esperimenti di allineamento tra modalità diverse e a $392$ fusioni di modelli mediante aritmetica dei task, e mostriamo che le stime di compatibilità fornite da COMPASS sono fortemente correlate al successo nelle attività a valle, con una correlazione media di Pearson pari a $0.91$ nei compiti di allineamento tra modalità diverse e a $0.70$ nella fusione di modelli.