WORTH Benchmark: scoperta delle prove in presenza di informazioni non del tutto cooperative — uno studio pilota su due episodi

Abstract degli autori

Le valutazioni del ragionamento esistenti forniscono di solito ai modelli le informazioni pertinenti al compito come premesse già disponibili. Raramente esaminano, nello stesso tempo, come i modelli scoprano autonomamente le prove e come la presentazione delle informazioni nei racconti orienti o offuschi il giudizio. Questo articolo propone il WORTH Benchmark: i modelli leggono racconti gialli originali senza annotazioni sugli indizi, selezionano autonomamente le frasi contenenti gli indizi chiave, identificano le persone coinvolte nel caso e spiegano il proprio ragionamento. I racconti sono progettati da autori professionisti in modo che le prove utili al ragionamento coesistano con scelte narrative che ritardano la rivelazione della verità. Presentiamo un esperimento pilota condotto con la storia completa a disposizione per due episodi: in totale, 70 esecuzioni formali sui modelli, di cui 67 valutabili in base al contenuto. La valutazione registra separatamente le frasi contenenti indizi chiave, designate dagli autori, che vengono individuate e le persone selezionate come coinvolte nel caso; le spiegazioni in linguaggio naturale sono usate per la diagnosi del caso e non ricevono un punteggio indipendente. I risultati mostrano che l’individuazione degli indizi e i giudizi sulle persone coinvolte non procedono di pari passo: nelle 37 esecuzioni valutabili in base al contenuto dell’Episodio 02, 31 hanno selezionato lo stesso insieme di persone sbagliate, mentre due frasi adiacenti, una che orientava verso il sospetto e l’altra verso la discolpa, sono state selezionate rispettivamente 25 e 0 volte. Questi fenomeni illustrano il valore diagnostico di un’analisi per componenti e suggeriscono che relazioni informative non del tutto cooperative possano influenzare la selezione delle prove e il giudizio. Lo studio prende in esame soltanto condizioni in cui è disponibile la storia completa, limitandosi a due episodi, e su questa base non stabilisce classifiche stabili dei modelli né deduce meccanismi generali; i dati dei giocatori umani non sono ancora stati ripuliti e questa versione non presenta confronti tra esseri umani e modelli.