The Pulse
Z.ai lancia GLM-Legal con un tasso di superamento completo del 19,2% nel benchmark Harvey LAB
Z.ai ha presentato GLM-Legal, un modello per il lavoro legale basato su GLM-5.3-Flash, e ha comunicato un tasso di superamento di tutti i criteri del 19,2% nel benchmark Harvey LAB. L’azienda afferma che il modello sarà disponibile in beta
AI.info Team · Scritto con l’IA ·
GLM-Legal ha superato tutti i criteri di valutazione nel 19,2% delle esecuzioni del benchmark Harvey LAB, afferma Z.ai, che ha presentato un modello progettato per i flussi di lavoro legali anziché per le conversazioni generiche. Secondo l’azienda, il tasso di superamento completo è aumentato di 12,5 punti percentuali rispetto al modello di base GLM-5.3-Flash. Il risultato significa comunque che la maggior parte delle esecuzioni del benchmark non ha soddisfatto tutti i criteri.
Z.ai presenta il modello come un agente in grado di portare a termine un incarico, dai documenti di partenza all’analisi giuridica fino al prodotto finale. Nel post di lancio, l’azienda afferma che GLM-Legal eguaglia i modelli a codice chiuso all’avanguardia su LegalBench e su PLawBench, incentrato sulla Cina, pur impiegando un numero inferiore di parametri. L’annuncio non fornisce punteggi esatti per questi due benchmark né specifica il numero di parametri del modello.
Harvey LAB valuta l’intero flusso di lavoro
Secondo Z.ai, Harvey LAB valuta i flussi di lavoro degli studi legali in 24 aree di attività. L’azienda mette in evidenza il tasso di superamento completo come misura della capacità di un sistema di portare a termine un incarico senza tralasciare alcuna parte richiesta. Il dato del 19,2% è quindi diverso dal punteggio di un test più circoscritto basato su domande e risposte: un’esecuzione deve soddisfare i criteri del benchmark nell’intero incarico.
L’azienda descrive il lavoro a cui è destinato GLM-Legal come l’individuazione delle questioni chiave nei documenti, l’applicazione delle norme giuridiche, la costruzione di argomentazioni e la formattazione dei risultati secondo i requisiti della pratica. «La pratica legale richiede una catena ininterrotta tra fatti, principi di legge, ragionamento analitico e un elaborato pronto per il cliente», scrive Z.ai nell’annuncio. Il post presenta questa catena, non la semplice capacità di richiamare nozioni giuridiche isolate, come la prova che il modello è progettato per affrontare.
Nel materiale di lancio, le affermazioni di Z.ai su LegalBench e PLawBench sono meno precise. L’azienda sostiene che il modello raggiunge il livello dei principali sistemi a codice chiuso su contratti specialistici, atti depositati relativi a fusioni e decisioni giudiziarie, e prestazioni equivalenti nella consulenza legale, nell’analisi dei casi e nella redazione di testi giuridici in cinese. Senza punteggi, modelli di confronto indicati per nome o una descrizione più completa delle modalità di test nel post, i lettori non possono valutare questi confronti con la stessa precisione del risultato su Harvey LAB.
GLM-5.3-Flash riceve un addestramento giuridico e un’infrastruttura per l’agente
GLM-Legal è basato su GLM-5.3-Flash. Z.ai afferma di aver ampliato i dati giuridici usati per addestrare il modello nella fase intermedia dell’addestramento, per poi impiegare l’apprendimento per rinforzo in «decine di migliaia di ambienti giuridici realistici» nella fase successiva. Secondo l’azienda, queste fasi insegnano al modello a esaminare i documenti, applicare i principi giuridici, organizzare le argomentazioni e produrre elaborati nel formato richiesto.
L’addestramento abbina inoltre al modello un’infrastruttura software che gestisce il contesto dell’incarico, collega gli strumenti e smista i feedback. Z.ai afferma di sviluppare questa infrastruttura insieme al modello: i problemi emersi durante l’addestramento possono segnalare punti deboli del sistema in esecuzione, mentre le modifiche all’infrastruttura offrono al modello condizioni di apprendimento più realistiche. Il post non indica i dataset giuridici né spiega come siano stati costruiti gli ambienti di addestramento.
Per raccogliere feedback sull’uso in produzione, l’azienda afferma di verificare se i risultati affrontano le questioni chiave, sostengono le argomentazioni con riferimenti giuridicamente fondati, rispettano le istruzioni relative alla pratica e possono essere utilizzati senza rielaborazione manuale. Z.ai descrive queste verifiche come segnali tecnici per i successivi cicli di addestramento. Il post di lancio non fornisce una convalida indipendente degli elaborati prodotti né spiega come i professionisti li esaminino.
Gli esempi di AutoClaw mostrano attività su contratti, prove e conformità normativa
Z.ai afferma che GLM-Legal sarà presto disponibile tramite AutoClaw, la sua piattaforma di agenti desktop, e invita studi legali, aziende di tecnologia legale, team legali interni e professionisti indipendenti a partecipare a una beta. Il post non indica una data di disponibilità generale né un prezzo.
Gli incarichi di esempio comprendono la revisione di un contratto per servizi software, l’analisi di 40 documenti relativi a una controversia su un progetto e la pianificazione della conformità alle norme sulla privacy per il lancio di un sito web a Singapore, in Malaysia e in Indonesia. Nell’esempio del contratto, il modello propone modifiche ai diritti di recesso e a una clausola sul passaggio di consegne. Nell’esempio della controversia, mette in relazione un rapporto sullo stato di avanzamento, una stima interna del completamento e alcune email, avvertendo che gli elementi restanti della pretesa devono ancora essere verificati.
Questi esempi illustrano il flusso di lavoro che Z.ai propone, ma sono dimostrazioni selezionate dall’azienda, non valutazioni indipendenti. Restano da chiarire se i risultati dei benchmark reggeranno a test esterni, con quale frequenza i riferimenti giuridici forniti dall’agente supereranno una verifica e quando gli utenti della beta potranno accedervi tramite AutoClaw.