The Pulse
GPT-6 Astra di OpenAI supera l’87,4% dei test in 20 linguaggi di programmazione
Secondo OpenAI, GPT-6 Astra ha superato in media l’87,4% dei test di MultiLangBench, che misura la capacità di sviluppare software in 20 linguaggi di programmazione. L’azienda segnala anche risultati migliori nella migrazione di programmi C
AI.info Team · Scritto con l’IA · verificato ·
Secondo OpenAI, il suo modello GPT-6 Astra ha superato in media l’87,4% dei test in una nuova valutazione di programmazione che comprende 20 linguaggi, tra cui COBOL, Fortran e Visual Basic. L’azienda ha pubblicato i risultati il 19 ottobre, insieme a una valutazione separata dei modelli impegnati a migrare programmi COBOL verso linguaggi più recenti. I test riguardano due tipi di attività: sviluppare software in linguaggi meno usati e preservare il comportamento dei programmi aziendali esistenti.
Test basati su SQLite in 20 linguaggi
MultiLangBench di OpenAI chiede ai modelli di costruire da zero, in un linguaggio specificato, un motore di database compatibile con SQLite. Il modello deve organizzare una base di codice, gestire lo stato, trattare gli errori e aggiungere funzionalità senza compromettere il comportamento esistente. Test adattati dalla suite di test di SQLite verificano l’output, fornendo a OpenAI una misura comune per tutti i linguaggi.
Al massimo livello di ragionamento, GPT-6 Astra ha superato in media l’87,4% dei test, contro il 26,8% di GPT-5.6 Sol. OpenAI afferma che Astra è migliorato in tutti i linguaggi esaminati, superando l’83% in 19 dei 20; COBOL è stato il più difficile, con il 72%. I risultati comprendono sia linguaggi ampiamente utilizzati sia altri meno diffusi: la media, quindi, non riguarda soltanto i linguaggi con meno risorse.
GPT-6 Luna offre un’alternativa meno costosa nello stesso benchmark. Al massimo livello di ragionamento, ha superato in media il 40,3% dei test, con un costo API medio stimato di 0,77 dollari per campione, contro i 3,48 dollari di GPT-5.6 Sol. OpenAI afferma inoltre che sta pubblicando su GitHub la configurazione del benchmark, la suite di test e i risultati per ciascun linguaggio, consentendo agli sviluppatori di esaminare i compiti e confrontare i risultati dei singoli linguaggi.
I test sulla migrazione da COBOL verificano il comportamento, non solo la sintassi
Nella seconda valutazione, i modelli traducono programmi COBOL in C++, Java, Kotlin, Python o Rust. OpenAI verifica se i programmi riscritti preservano il comportamento osservabile mediante test nascosti che richiedono output identici byte per byte. Una migrazione è considerata riuscita solo se supera tutti i test.
GPT-6.1 Sol ha raggiunto un’accuratezza dell’86,6% con un basso livello di ragionamento, contro il 5,4% di GPT-5.6 Sol alla stessa impostazione; secondo OpenAI, in questa valutazione il modello più recente è costato il 39% in meno. Con un livello di ragionamento più elevato, GPT-6.1 Sol ha raggiunto il 97,9%, vicino al limite massimo della valutazione. I risultati riguardano il test di OpenAI e non stabiliscono come il modello si comporterebbe sulla base di codice di una specifica azienda.
OpenAI segnala la distanza tra un benchmark e un sistema in esercizio
L’azienda inquadra il lavoro nei problemi di manutenzione segnalati da sviluppatori e clienti aziendali: documentazione incompleta, sviluppatori originali che hanno lasciato il progetto e regole aziendali documentate soltanto nel codice. Nel software finanziario, un programma riscritto può funzionare ma produrre risultati diversi se gestisce male dettagli come l’aritmetica a virgola fissa di COBOL. Il test di OpenAI considera la conservazione di questi dettagli parte del successo della migrazione.
OpenAI afferma che i modelli più recenti sono disponibili tramite la sua API per attività di programmazione. L’annuncio avverte però che le migrazioni in produzione richiedono ancora la revisione di esperti e test rispetto alle regole aziendali e alle dipendenze del sistema. Il benchmark misura i progressi su compiti definiti; non elimina la necessità di verificare che un sistema riscritto si comporti correttamente nel suo ambiente operativo.