Gli LLM sanno raccontare storie fuori ordine? Un corpus e un benchmark per la generazione di narrazioni non lineari

Abstract degli autori

Ogni storia ha due ordini: quello in cui accadono gli eventi e quello in cui vengono raccontati. Una storia è non lineare quando i due ordini differiscono. Presentiamo un benchmark basato su 83 opere pubblicate che misura se i modelli linguistici sanno raccontare storie non lineari. Per ogni opera, annotiamo un elenco di eventi in entrambi gli ordini, insieme a un grafo della storia che rappresenta le dipendenze causali, ciò che sanno i personaggi e le domande che la narrazione solleva e a cui dà risposta. Quando ricevono gli eventi in ordine cronologico, tutti e 19 i modelli li raccontano, in media, in un ordine più cronologico rispetto alle opere pubblicate; quando viene chiesto loro di seguire una struttura specifica, rientrano nell’intervallo dei risultati umani circa la metà delle volte. Confrontiamo poi le storie che un modello scrive sugli stessi eventi in condizioni diverse, ricorrendo sia a un valutatore automatico sia a 71 lettori. Entrambi preferiscono la storia cronologica che il modello scrive per impostazione predefinita a quella non lineare che scrive su richiesta; nell’81% dei giudizi decisivi, i lettori trovano quest’ultima più difficile da seguire. I lettori preferiscono inoltre le storie scritte a partire dal grafo della storia a quelle vincolate all’ordine narrativo dell’opera pubblicata (72% dei giudizi decisivi), una differenza che il valutatore automatico non rileva. I nostri risultati suggeriscono che seguire un’istruzione di riordinare una storia non equivale ancora a saperla raccontare bene fuori ordine.