Verifica delle ipotesi di identificazione nelle valutazioni causali delle politiche climatiche basata sulle evidenze

Abstract degli autori

Gli studi basati sul metodo delle differenze nelle differenze (DID) sono ampiamente usati per valutare le politiche climatiche, ma resta difficile esaminare le evidenze a sostegno delle loro ipotesi di identificazione. Presentiamo ARGUS, una pipeline strutturata basata su modelli linguistici che verifica le evidenze riportate usando una griglia a undici dimensioni — ipotesi, implicazioni ed evidenze — e si astiene dal formulare una valutazione quando non riesce a reperire evidenze pertinenti. Valutiamo ARGUS usando difetti inseriti artificialmente, articoli di economia e un piccolo studio pilota con etichette concordate. Nel benchmark con 11 difetti, ARGUS individua il 73% dei difetti inseriti, contro il 18% di una pipeline basata su parole chiave. Su 26 articoli di economia, ARGUS si astiene in circa il 40% delle valutazioni relative alle coppie articolo-dimensione per mancanza di evidenze reperibili. In uno studio pilota su cinque articoli, con etichette concordate da due annotatori, assegna un livello di rischio superiore a quello indicato dalle etichette in 25 delle 33 valutazioni che porta a termine. Una regola fissata prima di ricevere le etichette elimina in gran parte questa sovrastima nel campione; la concordanza ponderata resta bassa. ARGUS produce rapporti sul rischio collegati alle evidenze, che individuano potenziali punti deboli da sottoporre all’esame degli esperti, senza pronunciarsi sulle affermazioni causali. Codice e dati: https://github.com/yonghongzhang-io/ARGUS