The Pulse
OpenAI addestra GPT-6 Astra sui flussi di lavoro contrattuali di Ironclad
OpenAI e Ironclad hanno messo a punto 11 attività contrattuali per addestrare e valutare l’agente GPT-6 Astra di OpenAI. Nella valutazione di ricerca, Astra ha ottenuto il 55%, contro il 41,6% di GPT-5.6 Sol, ma OpenAI afferma che i risulta
AI.info Team · Scritto con l’IA ·
OpenAI afferma che GPT-6 Astra ha ottenuto il 55% in una serie di 11 attività legate ai flussi di lavoro contrattuali, contro il 41,6% di GPT-5.6 Sol, nell’ambito di una collaborazione di ricerca con Ironclad, azienda che sviluppa software per la gestione dei contratti, annunciata il 6 ottobre. Astra ha inoltre completato i tentativi in un tempo medio stimato di 19,2 minuti, contro i 37 minuti di Sol. OpenAI avverte che si tratta di tempi simulati, non di risparmi misurati per i clienti.
Undici attività basate sul lavoro contrattuale
La collaborazione si concentra su attività che coinvolgono diverse funzioni del software aziendale per la gestione dei contratti: predisporre accordi, configurare i percorsi di approvazione e modificare clausole legali riutilizzabili. Le attività comprendevano la creazione di accordi di riservatezza, la definizione di processi di approvazione degli acquisti e l’aggiornamento di una clausola in base alla giurisdizione selezionata da chi aveva presentato la richiesta. Secondo OpenAI, un utente esperto impiegherebbe in media circa 30-40 minuti per attività.
Ogni attività è stata valutata sulla base di un numero di criteri compreso tra 8 e 50, a seconda della complessità. Questo ha permesso ai ricercatori di valutare non solo se un agente completasse i singoli passaggi, ma anche se il flusso di lavoro finale rispettasse le regole aziendali indicate. Per esempio, un processo di acquisto potrebbe richiedere l’approvazione del reparto Finanza oltre una certa soglia di spesa, una verifica da parte del reparto Sicurezza per determinate richieste e una revisione del reparto Legale per le clausole non standard.
Dipendenti di Ironclad e persone di OpenAI che usano Ironclad hanno contribuito a individuare le attività. Ironclad ha inoltre fornito ambienti ospitati del proprio software perché il modello potesse esercitarsi. OpenAI afferma di aver creato attività sintetiche per l’addestramento a partire da contratti disponibili pubblicamente nel database EDGAR della SEC, dopo averli filtrati per rimuovere le informazioni personali, e di aver usato l’apprendimento per rinforzo con esercitazioni e feedback.
Una stima più rapida, non un benchmark sui clienti
OpenAI ha confrontato Astra con l’impostazione di ragionamento Max e Sol con l’impostazione High, quelle con cui ciascun modello ha ottenuto il punteggio migliore. Nelle 11 attività, Astra ha raggiunto una media del 55,0%, contro il 41,6% di Sol. Il tempo stimato per tentativo riportato è stato di 19,2 minuti per Astra e 37,0 minuti per Sol.
In due esempi mostrati da OpenAI, Astra ha soddisfatto circa il 94% dei criteri in un tempo stimato di 20 minuti; Sol ne ha soddisfatti circa l’85% in un tempo stimato di 32 minuti. Queste dimostrazioni illustrano le prestazioni in singole attività di ricerca, non costituiscono un test separato del lavoro dei clienti nell’uso effettivo. Secondo OpenAI, un modello interno usato durante lo sviluppo di Astra ha ottenuto il 63,7% sulla stessa serie di attività, ma l’azienda non ha detto che quel punteggio fosse raggiungibile con Astra.
La precisazione dell’azienda è importante: i dati sui tempi sono stime simulate, basate su velocità ipotizzate di elaborazione e generazione del modello. OpenAI afferma che la valutazione riguarda le 11 attività di ricerca, non tutti i flussi di lavoro di Ironclad. I risultati mostrano quindi un divario in una valutazione circoscritta e costruita appositamente, non quanto tempo i clienti risparmieranno nelle operazioni quotidiane.
Quali dati sono inclusi e quali no
OpenAI afferma di non aver usato, per l’addestramento o la valutazione, dati dei propri clienti, i propri contratti interni né dati o contratti non pubblici dei clienti di Ironclad. La distinzione è importante per quanto sostiene la collaborazione: le attività rappresentano il lavoro professionale sui contratti, ma il set di addestramento è stato costruito sinteticamente a partire da contratti pubblici, anziché ricavato da accordi privati dei clienti.
Sunita Verma, direttrice tecnologica di Ironclad, ha descritto un obiettivo più ampio dell’automazione di singoli clic: «Per essere davvero utile negli ambiti complessi del lavoro contrattuale, l’IA deve fare più che completare singole azioni. Gli agenti devono comprendere l’intero ciclo di vita dei contratti, compreso il modo in cui i flussi di lavoro aziendali si collegano tra loro, preservando al contempo i controlli su cui i team fanno affidamento. La nostra collaborazione con OpenAI porta queste sfide del mondo reale nel processo di ricerca e contribuisce a far progredire la tecnologia.»
Ironclad porta i controlli nella valutazione
Il lavoro offre a OpenAI un contesto di addestramento e valutazione basato su un software in cui le regole aziendali governano il percorso dei contratti all’interno di un’organizzazione. Un flusso di lavoro può fallire anche quando un agente esegue correttamente ogni singola azione, se indirizza un’eccezione al team sbagliato o perde una regola nel corso del processo. OpenAI indica questo come un motivo per cui la supervisione umana e i controlli della piattaforma contrattuale restano importanti.
OpenAI afferma di essere alla ricerca di un numero limitato di ulteriori partner tra le aziende di software per individuare attività professionali che gli agenti non riescono ancora a completare in modo affidabile. Per queste collaborazioni, chiede ai partner esempi concreti di errori, persone con una conoscenza approfondita del lavoro, un ambiente di test sicuro e dati che possano sostenere la ricerca in sicurezza. Nella valutazione con Ironclad, il risultato misurabile è il 55,0% su 11 attività; la stessa azienda precisa che i tempi di completamento stimati non rappresentano tempo risparmiato dai clienti.