SciGen-Verifier: un modello multimodale di ragionamento per la verifica spiegabile nella generazione di immagini scientifiche

Abstract degli autori

Nella pratica didattica, una soluzione è spesso espressa non solo a parole, ma anche con un disegno — un circuito, una costruzione geometrica, il grafico di una funzione — e un insegnante deve valutare il disegno con la stessa attenzione riservata al testo. I recenti progressi dei modelli multimodali unificati hanno reso possibile la generazione di immagini scientifiche, ma verificarne la correttezza resta un ostacolo cruciale: gli errori derivano spesso da conoscenze specialistiche complesse, ragionamento strutturale e istruzioni articolate in più passaggi, anziché da difetti superficiali. I verificatori esistenti si concentrano soprattutto sulle immagini naturali e riducono la valutazione a un punteggio numerico, lasciando poco esplorate sia la copertura degli ambiti scientifici sia la possibilità di fornire spiegazioni utili a correggere gli errori. Per colmare questa lacuna, presentiamo tre contributi principali. (1) Realizziamo SciGen-Verify, un benchmark dedicato alla verifica spiegabile della generazione di immagini scientifiche, che comprende il rispetto delle istruzioni, il ragionamento multidisciplinare e la conoscenza del mondo. Include un protocollo gerarchico a tre livelli: un giudizio binario, una spiegazione a sostegno del giudizio e un’istruzione per la modifica correttiva. (2) Sviluppiamo SciGen-Verifier, un verificatore multimodale basato sul ragionamento, addestrato con un fine-tuning supervisionato iniziale seguito da un percorso di apprendimento per rinforzo in due fasi basato su un curriculum. Le ricompense relative al processo, guidate da una rubrica di valutazione, rafforzano dapprima l’esplorazione del ragionamento scientifico; successivamente, le ricompense basate sul risultato allineano l’output all’annotazione di riferimento. (3) Su SciGen-Verify, SciGen-Verifier ottiene prestazioni competitive rispetto a modelli proprietari molto più grandi. Può inoltre fungere da valutatore online per la correzione iterativa delle immagini.