The Pulse
Scale e IMDA di Singapore pubblicano un benchmark sul ragionamento giuridico
SG-LegalClarify valuta 19 modelli di IA su 1.860 scenari disciplinati dal diritto di Singapore, comprese domande a cui mancano deliberatamente alcuni fatti. I risultati mostrano che spesso i modelli non chiedono le informazioni necessarie e possono comunque arrivare a una conclusione errata anche dopo averle ottenute.

Scale AI e l’Infocomm Media Development Authority (IMDA) di Singapore hanno presentato SG-LegalClarify, un benchmark che valuta 19 modelli di IA in termini di ragionamento giuridico e riconoscimento delle ambiguità nell’ambito del diritto di Singapore. La valutazione comprende 1.860 scenari giuridici in 10 ambiti e include domande a cui mancano fatti necessari per formulare una risposta.
Mettere alla prova le domande giuridiche a cui mancano informazioni
Molti benchmark giuridici esistenti verificano se un modello sa rispondere correttamente quando sono già state fornite tutte le informazioni necessarie. SG-LegalClarify esamina anche se un modello riconosce di aver bisogno di altre informazioni e le chiede prima di arrivare a una conclusione.
Il benchmark comprende 1.100 domande originali formulate da professionisti del settore legale esperti di diritto di Singapore. Le domande riguardano, tra gli altri ambiti, il diritto penale, il lavoro, la proprietà, il diritto di famiglia e i procedimenti giudiziari. Delle domande originali, 760 omettono deliberatamente informazioni necessarie per determinare la risposta corretta. Ognuna è abbinata a una versione che include i fatti mancanti, per un totale di 1.860 scenari di valutazione.
I modelli possono chiedere quei fatti a un utente simulato. Per esempio, per determinare la possibile sanzione per eccesso di velocità su una superstrada di Singapore può essere necessario conoscere il tipo di veicolo, la velocità e i punti di penalità già accumulati dal conducente. Una risposta fornita senza questi dettagli può sembrare autorevole, ma essere giuridicamente errata.
Un panel di valutazione composto da tre modelli di IA, selezionato tramite un confronto con le valutazioni di esperti umani, esamina le risposte in base a 12.546 criteri formulati da esperti. I criteri riguardano quattro dimensioni: individuare le questioni giuridiche pertinenti, richiamare le norme applicabili, applicare la legge ai fatti e arrivare a una conclusione.
Risultati con e senza ricerca sul web
Lo studio ha testato modelli di sviluppatori tra cui OpenAI, Anthropic, Google DeepMind e DeepSeek, con e senza accesso alla ricerca sul web. Senza ricerca, il modello con le prestazioni migliori ha soddisfatto il 69,8% dei criteri obbligatori di valutazione, mentre la media dei 19 modelli è stata del 53,8%.
La ricerca sul web ha portato la media al 63,0%; il modello con le prestazioni migliori dotato di ricerca ha soddisfatto il 77,8% dei criteri obbligatori. Il richiamo delle norme è rimasto un punto debole: anche con accesso al web, i modelli hanno soddisfatto il 56,5% dei criteri applicabili al richiamo delle norme. Un modello può riconoscere la questione generale posta da una domanda giuridica e arrivare comunque alla risposta sbagliata se si basa su una comprensione errata o incompleta della legge.
Fare domande non garantisce una risposta corretta
Senza ricerca sul web, in circa il 39% degli scenari con fatti mancanti non è stata posta alcuna domanda di chiarimento. I modelli hanno anche posto domande non necessarie in circa il 28% degli scenari in cui erano già state fornite informazioni sufficienti. Quando mancavano informazioni, hanno chiesto in media informazioni su circa il 39% dei fatti pertinenti individuati dagli esperti legali.
Anche chiedere tutti i fatti pertinenti mancanti non garantiva una conclusione corretta. Nelle prove con ricerca sul web attivata che riguardavano fatti mancanti, i modelli che avevano chiesto tutti i fatti pertinenti sono arrivati alla conclusione giuridica corretta nel 55,6% dei casi. Un altro 32,1% è arrivato a una conclusione errata e il 12,3% non ha formulato alcuna conclusione.
Collaborazione e prossimi passi
SG-LegalClarify è la prima iniziativa di ricerca nell’ambito della collaborazione di Scale con IMDA, annunciata nel luglio 2026. Il lavoro si concentra sulla valutazione dell’IA in un contesto giuridico nazionale: il sistema di Singapore si basa sulla common law inglese e incorpora anche norme legislative e principi giuridici specifici di Singapore.
Scale sta valutando ulteriori attività nell’ambito dell’IA agentica, dei metodi di valutazione dei modelli e della sicurezza dell’IA. L’azienda intende inoltre pubblicare una parte del benchmark per consentire ulteriori ricerche e analisi indipendenti. L’attenzione del benchmark alle leggi locali riflette la difficoltà di valutare i sistemi rispetto ai requisiti giuridici e istituzionali dei diversi paesi.
Fonte
Aziende in questa notizia
Notizie correlate
- noyb presenta cinque reclami contro Scale AI ai sensi del GDPR
- Singapore lancia un kit per testare gli agenti e accredita cinque società di test dell’IA
- Singapore chiede alle aziende di IA di segnalare gli incidenti in tempo reale
- La MAS di Singapore definisce le aspettative sulla gestione dei rischi dell’IA per gli istituti finanziari
- Waymo prevede un servizio commerciale di robotaxi a Singapore per il 2028