I vettori di steering cross-modale esistono sia nella generazione di immagini sia in quella di testo

Abstract degli autori

Nei modelli di IA attuali, concetti e meccanismi sono unificati tra le diverse modalità oppure sono implementati separatamente per ciascuna? Per affrontare questa ampia questione, studiamo lo steering cross-modale: 1) individuiamo vettori che orientano efficacemente la generazione quando vengono applicati ai token di una modalità e che poi 2) si trasferiscono senza addestramento specifico, orientando la generazione quando vengono aggiunti ai token di un’altra modalità. Il nostro studio va oltre la semplice corrispondenza correlazionale, per esempio la somiglianza delle rappresentazioni, perché lo steering è fondamentalmente causale. Studiamo lo steering cross-modale in diversi modelli multimodali unificati (UMMs), che condividono i parametri per la generazione di linguaggio e immagini, concentrandoci su queste due modalità. Per diversi concetti su cui interveniamo, come l’emozione e le dimensioni degli oggetti, mostriamo che i vettori di steering si trasferiscono senza addestramento specifico in entrambe le direzioni (text-to-image & image-to-text). Anche per concetti molto specifici di una modalità, per esempio il linguaggio formale rispetto a quello colloquiale, i vettori di steering producono spesso nell’altra modalità un effetto coerente e interpretabile, come abbigliamento e design formali. Questo trasferimento ha anche una caratteristica geometrica: nonostante una netta separazione tra le rappresentazioni del testo e quelle delle immagini, i vettori di steering con una forte capacità di trasferimento cross-modale tendono a puntare in direzioni simili per lo stesso concetto. I nostri risultati fanno luce su come visione e linguaggio interagiscono all’interno dei modelli multimodali unificati e indicano la strada verso approcci più generali, indipendenti dalla modalità, per controllarne il comportamento.