CoBe: un benchmark per la revisione controfattuale dei testi in forma conversazionale

Abstract degli autori

La revisione controfattuale di un testo consiste nel modificare un testo dato alla luce di un cambiamento ipotetico, preservando i fatti che quel cambiamento non influenza sul piano causale. Se si chiede che cosa sarebbe successo se un medico non avesse raccomandato un intervento chirurgico, la risposta del modello dovrebbe conservare la storia clinica del paziente e modificare soltanto le conseguenze della decisione. Questo richiede una comprensione causale: il modello deve stabilire, senza istruzioni esplicite al riguardo, quali eventi sono interessati dal cambiamento ipotetico e quali devono rimanere invariati. È una capacità centrale nel ragionamento umano, soprattutto in ambiti in cui la sicurezza è cruciale, come la sanità o il diritto. La generazione associativa di testi, invece, si limita a produrre testi statisticamente associati alla condizione modificata. Nell’esempio medico, una risposta associativa potrebbe rendere meno gravi i sintomi del paziente, perché i casi meno gravi sono correlati all’assenza di un intervento chirurgico. Risposte del genere producono uno scenario plausibile, ma non la versione controfattuale di quello fornito. I precedenti dataset di testi controfattuali non distinguono chiaramente queste modalità di ragionamento. Presentiamo il Counterfactual Benchmark (CoBe), un banco di prova della capacità dei modelli di modificare in modo controfattuale uno scenario testuale dato, in modalità zero-shot, quando viene chiesto loro di farlo in modo naturale, come in una conversazione. CoBe contiene 2000 domande su scenari relativi alla sanità, alla scienza e all’ingegneria, alle attività economiche e alla vita quotidiana. Mettiamo alla prova una serie di modelli di frontiera e di modelli più piccoli: i sistemi di frontiera ottengono un punteggio medio di $58.05\%$. I nostri risultati indicano che i modelli ricorrono spesso alla generazione associativa anziché preservare la struttura causale dello scenario originale. Inoltre, le prestazioni non crescono in modo coerente né con le dimensioni del modello né con la lunghezza dell’output in token: ciò suggerisce che il problema possa dipendere dagli obiettivi di addestramento dei modelli, più che da una capacità insufficiente.