MMSearch-OPD: il facile reso difficile, il difficile reso apprendibile per agenti di ricerca multimodale su orizzonti lunghi

Abstract degli autori

La ricerca approfondita multimodale sta passando dalle interrogazioni brevi a indagini di lungo respiro che acquisiscono continuamente nuove evidenze. L’addestramento di questi agenti, tuttavia, resta limitato dalla scarsità di domande impegnative per l’addestramento e da un feedback insufficiente sul processo. Presentiamo MMSearch-OPD, che combina un perfezionamento controllabile dei dati con l’apprendimento per rinforzo (RL) e la distillazione on-policy (OPD) congiunti. La nostra pipeline Refine espande in modo mirato catene di ragionamento derivate da semplici domande multimodali già esistenti. Trasformazioni parametrizzate controllano la profondità della ricerca e i requisiti relativi alle evidenze provenienti da diverse modalità, riutilizzando le coppie immagine-domanda esistenti. Durante l’addestramento, ricompense per le risposte e leggere penalità comportamentali guidano l’RL, mentre il divario tra le ricompense modula la guida del modello insegnante a livello di token sulle traiettorie imperfette del modello studente. Un coefficiente di distillazione che decresce esponenzialmente riduce la dipendenza dal modello insegnante man mano che l’addestramento procede. Gli esperimenti mostrano miglioramenti dovuti al perfezionamento dei dati e ulteriori progressi grazie all’addestramento congiunto dopo l’SFT, indicando capacità più solide di ricerca approfondita multimodale su orizzonti lunghi.