Estrazione delle menzioni di dataset nei documenti su sfollamenti forzati e FCV: un framework a supervisione debole con perfezionamento delle etichette basato su LLM

Abstract degli autori

Le organizzazioni umanitarie e di sviluppo producono e sostengono indagini, registri amministrativi e altre risorse di dati per orientare la ricerca, le politiche e le attività operative; tuttavia, individuare sistematicamente i riferimenti a questi dataset resta difficile. Tali riferimenti sono dispersi tra articoli di ricerca, documenti di progetto, rapporti umanitari e altri testi non strutturati, limitando sia la possibilità di tracciare l’uso dei dati sia quella di individuare potenziali lacune nella loro disponibilità o diffusione. Presentiamo un framework a supervisione debole per adattare l’estrazione di dataset ai documenti sugli sfollamenti forzati e sulla fragilità, i conflitti e la violenza (FCV), senza dover prima costruire un ampio corpus di addestramento etichettato manualmente. Un modello leggero, addestrato sulla letteratura scientifica generale, genera menzioni candidate di dataset a partire da documenti di settore non etichettati; un modello linguistico di grandi dimensioni (LLM) di frontiera le esamina nel contesto, convalidando o scartando le candidate e correggendo i confini dell’estrazione. Le annotazioni risultanti vengono integrate con esempi sintetici e contrastivi mirati e utilizzate per perfezionare il modello leggero, così da consentire l’estrazione su larga scala. Valutiamo il modello risultante su un benchmark indipendente di riferimento, composto da 1.706 estratti testuali provenienti da documenti di ricerca, umanitari e operativi. Sull’intero benchmark, il modello raggiunge una precisione del 74,1\% e un richiamo del 70,5\% a livello di menzione; tra gli estratti che contengono riferimenti a dataset, la precisione arriva all’89,5\%. A livello di estratto, il modello raggiunge un’accuratezza dell’88,2\% e una specificità dell’88,6\% nel distinguere gli estratti con riferimenti a dataset da quelli che ne sono privi. Questi risultati dimostrano un approccio pratico per costruire una supervisione specifica per un dominio quando i dati etichettati sono limitati e offrono una base tecnica per analisi su più ampia scala dell’uso dei dati e delle potenziali lacune nel panorama dei dati sugli sfollamenti.