Cosa si rompe quando i fatti diventano storie? Le distorsioni che le metriche di accordo con la fonte non rilevano quando i modelli raccontano eventi reali

Abstract degli autori

I modelli linguistici sono ormai ampiamente usati per trasformare fatti registrati in contenuti destinati al pubblico, eppure la valutazione di questi contenuti continua a basarsi sull’accordo con la fonte come misura del successo. Nella ricostruzione, dove discostarsi dalla fonte può essere proprio l’obiettivo, questo criterio misura la cosa sbagliata: applicato così com’è, considera errori gli scostamenti intenzionali; se accantonato, lascia passare le distorsioni reali. Abbiamo chiesto a tre famiglie di modelli di riscrivere 2.000 articoli di cronaca sotto forma di riassunti e di storie, abbiamo misurato che cosa cambiava lungo ciascuna delle dimensioni del chi, che cosa, quando, dove, perché e come, e per ogni distorsione rilevata abbiamo valutato se la prospettiva assegnata la giustificasse, escludendone così un terzo. Il tempo e il modo non sono andati perduti, ma sono stati sostituiti, mentre il luogo e la causalità hanno perso le espressioni che li veicolano. La distorsione nell’attribuzione di responsabilità si è comportata diversamente. Quasi assente nei riassunti, è aumentata fino a sette volte nelle storie e, tra le distorsioni di cui era possibile determinare la direzione, in due casi su tre la responsabilità dell’autore veniva attenuata. Queste distorsioni resistono al fact-checking delle singole affermazioni e rendono il racconto grammaticalmente più pulito della fonte. Nei casi in cui i nostri valutatori erano in disaccordo, tre autori che rietichettavano gli stessi casi concordavano sul fatto che si fosse verificata una distorsione, ma non sul fatto che fosse giustificata: un confine controverso, non semplicemente difficile da rilevare. Per sostenere il lavoro volto a rilevarle e ridurle, pubblichiamo ReTold-2k, un corpus ricostruibile corredato dal protocollo di valutazione e dalle baseline per ciascun valutatore, mantenute separate.(https://github.com/Retold2K/retold2k).