The Pulse

Cognition aggiunge GPT-6 Astra ai test autonomi di Devin

Cognition ha aggiunto GPT-6 Astra di OpenAI a Devin Desktop, Devin CLI e Devin Cloud. Secondo l’azienda, Astra migliora i test autonomi del software svolti da Devin, con una copertura più ampia, rapporti più chiari e prove video.

AI.info Team · Scritto con l’IA · verificato · 2026-09-12

«Il futuro dello sviluppo asincrono è verificato.»

Ido Pesok, ingegnere, Cognition

Cognition sta integrando GPT-6 Astra di OpenAI nel flusso di lavoro di test di Devin, fornendo al suo ingegnere software autonomo un nuovo modello per verificare se il codice generato funziona nelle applicazioni reali.

L’azienda ha annunciato l’integrazione il 3 settembre. GPT-6 Astra è ora disponibile in Devin Desktop e Devin CLI e fa anche parte della combinazione di modelli usata da Devin Cloud.

GPT-6 Astra arriva in tre prodotti Devin

Astra può essere usato direttamente in Devin Desktop e Devin CLI, mentre Devin Cloud può selezionarlo come parte della combinazione di modelli del sistema. L’azienda presenta il rilascio sia come un aggiornamento del modello per la scrittura di codice sia come un miglioramento dei test.

Secondo Cognition, su FrontierCode 1.1, il benchmark proprietario dell’azienda per compiti di sviluppo in contesti reali, Astra supera Fable 5.1 di Anthropic e si colloca a non più di 0,4 punti da Fable 5. L’azienda afferma inoltre che Astra costa il 64% in meno di Fable 5.1 nelle configurazioni presentate nel suo annuncio.

FrontierCode 1.1 valuta più della sola capacità di un modello di produrre codice funzionante. Secondo Cognition, il benchmark misura la qualità e la facilità di integrazione del codice, rendendo il risultato rilevante per i team interessati a sapere se le modifiche apportate da un agente possano essere integrate in una base di codice esistente senza un lungo lavoro di sistemazione.

Il miglioramento riguarda soprattutto i test

L’affermazione più specifica riguarda le capacità di test di Devin. Secondo Cognition, GPT-6 Astra raggiunge risultati allo stato dell’arte nel suo benchmark interno di test, producendo test più completi, rapporti più chiari e prove video più utilizzabili.

La modalità di test di Devin è progettata per usare un’applicazione, anziché fermarsi dopo aver scritto o esaminato il codice sorgente. L’agente può creare un piano di test, avviare il software in un ambiente cloud, interagire con l’interfaccia, acquisire schermate e registrare l’esecuzione. Il risultato finale include un rapporto che individua i momenti importanti e indica quali asserzioni hanno superato il test, quali non lo hanno superato e quali non sono state verificate.

Questo flusso di lavoro è importante perché una pull request generata da un agente può apparire plausibile e al tempo stesso non funzionare nel prodotto in esecuzione. Un precedente resoconto tecnico di Cognition descrive come Devin verifichi le modifiche avviando l’applicazione, navigando tra i flussi principali e controllando se si verifica il comportamento previsto. Gli ingegneri di Cognition hanno eseguito da 10 a 20 Devin in parallelo, ciascuno con il proprio server di sviluppo.

Perché Cognition affida la verifica a un modello distinto

Scrivere codice e testare software richiedono comportamenti diversi da parte di un modello. La generazione di codice premia la navigazione nei repository, la pianificazione e l’implementazione. I test richiedono all’agente di leggere schermate, tenere traccia dello stato dell’interfaccia, riconoscere se una modifica ha prodotto il risultato desiderato e decidere quale azione intraprendere successivamente.

Ido Pesok di Cognition ha scritto che l’azienda ha iniziato ad affidare la fase di test a modelli diversi perché «i test si basano su punti di forza diversi rispetto alla scrittura di codice». Nello stesso resoconto, Pesok descrive problemi che comprendevano il test di parti non pertinenti di un prodotto, blocchi durante la configurazione e la mancata verifica del comportamento che una pull request avrebbe dovuto modificare.

Per ridurre questi problemi, Devin scrive prima un piano di test basato sul codice sorgente. L’agente annota poi la propria sequenza di attività con note sulla configurazione, test identificati per nome e asserzioni esplicite superate, non superate o non verificate. Secondo Cognition, queste annotazioni riducono la tendenza a considerare un risultato inatteso come un test riuscito.

Il problema delle prove nella scrittura autonoma di codice

Il rilascio di Cognition inserisce GPT-6 Astra in un tentativo più ampio di rendere più affidabile il lavoro asincrono sul software. Devin può già essere attivato da eventi, automazioni, attività pianificate e altre sessioni di Devin. Con l’aumento del lavoro svolto senza che un ingegnere ne osservi ogni passaggio, una pull request da sola fornisce meno informazioni sul corretto funzionamento della modifica nella pratica.

Le prove video non eliminano la necessità di una revisione. Una registrazione può mostrare che un agente ha seguito un percorso visibile, senza dimostrare che abbia coperto ogni caso importante, gestito input insoliti o evitato regressioni al di fuori del flusso mostrato. L’annuncio di Cognition non pubblica le dimensioni, la composizione o la ripartizione dei punteggi del benchmark interno di test, quindi le sue affermazioni sulle prestazioni di Astra nei test non possono essere riprodotte in modo indipendente sulla base del comunicato.

I risultati pubblici chiariscono però la scelta di prodotto: Cognition assegna a GPT-6 Astra un ruolo che si colloca dopo l’implementazione e prima dell’approvazione umana. L’azienda scommette che un modello con maggiori capacità di utilizzo del computer possa rendere più utili i rapporti di test di Devin, senza richiedere a un ingegnere di ripercorrere manualmente ogni modifica.

Cosa cambia davvero con l’annuncio

GPT-6 Astra non elimina la revisione umana dal flusso di lavoro di Devin. L’annuncio di Cognition afferma che il modello è disponibile nella suite di prodotti e migliora la qualità dei test automatizzati; non sostiene che Devin possa certificare il proprio codice senza supervisione.

Il cambiamento immediato è più pratico. Devin può usare Astra per mettere alla prova un’applicazione, produrre un resoconto più chiaro di ciò che è accaduto e allegare prove visive al risultato. Per i team che già usano Devin per generare pull request, questo sposta parte dell’onere della revisione dall’ispezione del solo codice all’esame di un’esecuzione strutturata dei test e alla valutazione dell’adeguatezza delle prove per procedere all’integrazione.

Questa distinzione è la sostanza del rilascio di Cognition: GPT-6 Astra non è semplicemente un’altra opzione di modello nell’editor di Devin. Cognition lo usa per rafforzare il punto in cui la scrittura autonoma di codice incontra la verifica, portando come prove il proprio benchmark e i risultati dei test interni pubblicati finora.