Prima il grounding visivo, poi l’apprendimento multimodale in contesto

Abstract degli autori

I LLM hanno mostrato una notevole capacità di apprendimento in contesto (ICL), ma estenderla ai LLM multimodali (MLLM) resta difficile. I precedenti metodi di ICL multimodale si basano spesso su dataset specifici per l’ICL, usati per un ulteriore addestramento o per estrarre vettori di compito. Questo può migliorare le prestazioni sullo stesso benchmark ICL usato per l’adattamento. Tuttavia, tali metodi non si generalizzano bene ad altri benchmark e spesso causano una perdita delle capacità acquisite in compiti che prima venivano svolti bene. Per questo individuiamo nel «grounding visivo» il principale ostacolo all’ICL multimodale: spesso i MLLM non prestano attenzione agli elementi visivi pertinenti al compito negli esempi dimostrativi, ma si affidano eccessivamente agli indizi testuali e producono risultati inventati. Per affrontare il problema, proponiamo ProCoRe, che rafforza il grounding visivo tramite apprendimento per rinforzo contrastivo su dati multimodali contrastivi, con l’obiettivo di migliorare l’ICL multimodale. ProCoRe genera didascalie per coppie di immagini contrastive, le scompone in proposizioni e ottimizza ricompense contrastive che favoriscono l’allineamento con le immagini corrispondenti e scoraggiano quello con immagini non corrispondenti. Pur non avendo mai visto esempi di addestramento nel formato ICL, ProCoRe migliora, rispetto al modello Qwen-VL-3-8B pronto all’uso, l’accuratezza media della classificazione tramite ICL multimodale del 5,6% e il punteggio ROUGE-L nella generazione di didascalie del 13,8%, superando su diversi benchmark i metodi allo stato dell’arte che dipendono da dati ICL. Infine, presentiamo PICL, un benchmark personalizzato per la generazione di didascalie tramite ICL multimodale, che verifica se i MLLM comprendano davvero gli esempi visivi anziché affidarsi a conoscenze semantiche pregresse acquisite durante il preaddestramento.