Quanto vale un diritto umano? ECtHR-NPD: un benchmark per prevedere i risarcimenti per danno non patrimoniale

Abstract degli autori

I benchmark giuridici esistenti coprono compiti diversi, mentre i risarcimenti pecuniari con importi continui sono relativamente poco esplorati. Presentiamo ECtHR-NPD, che, a quanto ci risulta, è il primo benchmark per prevedere gli importi dei risarcimenti per danno non patrimoniale (NPD) presso la Corte europea dei diritti dell’uomo (ECtHR), sulla base delle informazioni sui casi, quando l’importo non è determinato da una formula prevista dalla legge o da una regola di calcolo esplicita. ECtHR-NPD comprende 14.575 casi con importi stabiliti per ciascun caso in euro nominali, suddivisioni cronologiche e un protocollo che separa la costruzione del target dai dati forniti al modello. Valutiamo un’ampia gamma di metodi, tra cui predittori costanti, alberi potenziati con gradienti, metodi di recupero delle informazioni, modelli linguistici (LM) encoder sottoposti a fine-tuning, LM decoder sollecitati con prompt e agenti arricchiti con conoscenze. I risultati mostrano che gli approcci più sofisticati basati su LM e agenti non superano sistematicamente la baseline più efficace basata su caratteristiche. Tutte le famiglie di modelli faticano a individuare gli importi pari a zero e a calibrare le previsioni per gli importi elevati; le prestazioni peggiorano ulteriormente nella vista di test Challenging. ECtHR-NPD costituisce quindi un banco di prova impegnativo per gli attuali LM open-weight e proprietari allo stato dell’arte.