Potenziare il ragionamento giuridico nei modelli linguistici preaddestrati con un preaddestramento multitask guidato da un grafo della conoscenza

Abstract degli autori

La comprensione del linguaggio giuridico richiede di ragionare su documenti normativi semistrutturati, ma gli obiettivi standard del preaddestramento non mirano esplicitamente a questa capacità di coglierne la struttura. Poiché gli attuali modelli linguistici giuridici si basano esclusivamente sulla modellazione del linguaggio con mascheramento, trattano i testi di legge come sequenze piatte di token e ignorano i vincoli gerarchici sottostanti. Per colmare questa lacuna, presentiamo un approccio di preaddestramento multitask per il diritto della circolazione stradale tedesco (StVO). Il nostro approccio combina tre obiettivi complementari: previsione della frase successiva (NSP), clustering guidato dal grafo della conoscenza (KG) (CLU) e classificazione dei paragrafi che tiene conto del grafo della conoscenza (KG) (CLS). L’approccio codifica esplicitamente la conoscenza giuridica strutturata direttamente nei pesi del modello. Questa codifica consente il ragionamento giuridico zero-shot durante l’inferenza ed elimina la necessità di percorrere il grafo in modo esplicito. Valutiamo il nostro approccio su nove encoder basati su transformer e in 324 esecuzioni sperimentali. Nella risposta a domande sintetiche sulla StVO, i nostri modelli mostrano miglioramenti relativi costanti compresi tra il 10,3% e il 155,0% rispetto ai modelli di riferimento. Inoltre, rispetto ai risultati di riferimento consolidati di LexGLUE (Chalkidis et al., 2022), i nostri modelli migliorano i risultati precedenti in quattro dei sette benchmark giuridici. Il nostro approccio ottiene anche miglioramenti costanti nel trasferimento zero-shot, compresi tra il 3,4% e il 15,8%, sulle norme austriache sulla guida. Questi risultati sperimentali indicano che il nostro approccio di addestramento si generalizza con successo al di là dell’ambito giuridico dell’addestramento iniziale.