RegExtract: un benchmark per l’estrazione di informazioni normative sui PFAS con gli LLM

Abstract degli autori

L’estrazione di informazioni strutturate dai documenti normativi è un’attività fondamentale, ma complessa. I fatti rilevanti sono disseminati in testi lunghi e densi dal punto di vista giuridico, e poter risalire alla fonte dei fatti estratti è essenziale per verificarli. Con la crescente consapevolezza degli effetti ambientali e sanitari delle sostanze per- e polifluoroalchiliche (PFAS), i documenti normativi si sono ampliati notevolmente e variano per ambito e rilevanza rispetto ai prodotti, rendendo difficile l’interpretazione per i produttori e i decisori politici. Presentiamo RegExtract, un benchmark per l’estrazione strutturata di informazioni dai documenti normativi sui PFAS, che comprende 488 istanze di campi annotate da esseri umani in 20 documenti di stati degli Stati Uniti e 46 regolamenti. Ogni istanza di campo include un valore e una voce relativa alla provenienza, per un totale di 976 voci. Definiamo uno schema tipizzato e multi-campo, incentrato su elementi chiave come le definizioni dei materiali, gli usi consentiti e le esenzioni per i prodotti, e proponiamo metriche di valutazione che tengono conto della provenienza e sono pensate per i testi normativi. Attraverso esperimenti con LLM open source e closed source, condotti con diverse strategie di prompting, metodi di condensazione dei documenti e approcci di suddivisione dello schema, rileviamo che i campi di identificazione dei documenti restano difficili da estrarre e che gli esempi few-shot specifici per campo migliorano l’estrazione. Questo lavoro getta le basi per strumenti di IA volti a identificare sostanze pericolose, rispondere a domande e monitorare la conformità normativa. Il codice e i dati sono disponibili all’indirizzo https://github.com/IBM/PFAS-regulations.