SAUCE: analisi dei riassunti mediante implicazione conversazionale

Abstract degli autori

Con la crescente necessità di valutare i modelli linguistici di grandi dimensioni (LLM) e le loro applicazioni al parlato, restano difficoltà nel riassumere e valutare conversazioni prive di un obiettivo finale chiaro. Presentiamo SAUCE, una pipeline di valutazione senza riferimenti e basata sui fatti per la sintesi di conversazioni orali interlinguistiche. Misura l’accuratezza e la copertura fattuale di un riassunto attraverso la relazione di implicazione tra conversazione e testo. Confrontiamo SAUCE con diverse metriche di sintesi diffuse e dimostriamo la sua efficacia nel rilevare la perdita di informazioni dovuta a errori di trascrizione e traduzione e nell’identificare riassunti difettosi. Soprattutto, a differenza dei valutatori LLM a scatola nera o delle metriche basate su embedding densi, SAUCE è intrinsecamente spiegabile: associa i punteggi dei riassunti a fatti discreti e verificabili, consentendo agli utenti di individuare le allucinazioni o le omissioni precise. Mostriamo come questa interpretabilità aiuti gli sviluppatori a profilare sistematicamente i comportamenti degli LLM e fornisca agli utenti finali uno strumento concreto per verificare l’accuratezza dei riassunti in condizioni rumorose del mondo reale. Le indagini preliminari mostrano che SAUCE è fortemente in accordo con il giudizio umano.