Gli LLM multimodali senza encoder apprendono encoder impliciti

Abstract degli autori

Analizziamo empiricamente due LLM multimodali senza encoder proposti di recente, Gemma-4 12B e Inkling-Small. A differenza dei precedenti LLM multimodali, questi modelli non usano encoder specifici per modalità per estrarre embedding tokenizzati che rappresentano input audio e immagini; inviano invece direttamente finestre di campioni, pixel o caratteristiche spettrali al modello linguistico Transformer. Analizziamo se i primi strati di questi modelli imparino a funzionare in modo simile a encoder audio e visivi dedicati. Riscontriamo che questi primi strati agiscono effettivamente come «encoder impliciti», codificando gli input audio e visivi in modo in larga misura invariante rispetto al loro contesto cross-modale. Inoltre, mostriamo che, nei compiti di ragionamento multimodale, codificare le modalità in modo indipendente attraverso questi primi strati del modello consente di ottenere la stessa accuratezza che si ottiene codificandole congiuntamente fin dal primo strato. Infine, usiamo sonde applicate strato per strato per analizzare le informazioni salienti catturate dagli encoder impliciti e riscontriamo che il loro comportamento è simile a quello di diversi modelli encoder molto diffusi.