Decisioni tipizzate e calibrate per l’estrazione di entità, relazioni ed eventi

Abstract degli autori

I modelli di estrazione delle informazioni ottengono spesso buoni risultati sui dataset su cui sono addestrati, ma trasferirli a nuovi domini e a nuove linee guida per l’annotazione resta difficile. Il solo supporto ai tipi specificati dall’utente non risolve il problema. Presentiamo CalOn, un codificatore unificato da 0,6 miliardi di parametri per l’estrazione di entità, relazioni ed eventi su dataset e schemi diversi. Il modello codifica congiuntamente il testo e le definizioni dei tipi, quindi individua direttamente i segmenti di testo corrispondenti alle entità, le relazioni tra questi segmenti, i trigger degli eventi e i loro argomenti. Le sue decisioni di estrazione considerano insieme i tipi richiesti e sfruttano le evidenze combinate per individuare i candidati pertinenti prima di assegnare un tipo. Questo offre ai tre compiti una formulazione probabilistica comune, mantenendo ogni menzione estratta ancorata al testo di input. Addestriamo il modello su fonti diverse e affianchiamo all’apprendimento supervisionato una ricompensa che incentiva le estrazioni corrette e penalizza quelle errate. Su 40 benchmark, CalOn supera i modelli di riferimento valutati nella maggior parte dei casi. Ottiene i risultati migliori in tutti i benchmark di estrazione di relazioni riportati e il valore medio di F1 più alto per i trigger degli eventi e per gli argomenti quando i trigger sono quelli di riferimento. Grazie alla sua formulazione basata su coppie di segmenti di testo, lo stesso modello ottiene buoni risultati anche nell’estrazione di triplette aspetto-sentiment e nella risoluzione dei pronomi. Una correzione del bias nelle probabilità introdotto durante l’addestramento migliora, dopo la calibrazione, le stime di confidenza per entità, relazioni e argomenti degli eventi, con variazioni minime nel valore di F1.