The Pulse
Cognition integra GPT-6 Astra nei test autonomi di Devin
Cognition ha integrato GPT-6 Astra di OpenAI in Devin Desktop, Devin CLI e Devin Cloud. L’azienda afferma che Astra migliora i test autonomi del software di Devin grazie a una copertura più ampia, report più chiari e prove video.
AI.info Team ·
«Il futuro dello sviluppo asincrono è verificato.»
Ido Pesok, ingegnere, Cognition
Cognition sta integrando GPT-6 Astra di OpenAI nel flusso di lavoro di test di Devin, offrendo al suo ingegnere software autonomo un nuovo modello per verificare se il codice generato funziona nelle applicazioni reali.
L’azienda ha annunciato l’integrazione il 3 settembre. GPT-6 Astra è ora disponibile in Devin Desktop e Devin CLI e, secondo Cognition, fa anche parte del mix di modelli utilizzato da Devin Cloud.
GPT-6 Astra arriva in Devin su tre prodotti
Cognition afferma che Astra può essere utilizzato direttamente in Devin Desktop e Devin CLI, mentre Devin Cloud può selezionarlo come parte del mix di modelli del sistema. L’azienda presenta il rilascio sia come un aggiornamento del modello di coding sia come un miglioramento dei test.
Nel benchmark proprietario di Cognition FrontierCode 1.1, che valuta attività di ingegneria in contesti reali, Astra supera Fable 5.1 di Anthropic e si colloca a meno di 0,4 punti da Fable 5. Cognition afferma inoltre che, nelle configurazioni mostrate nell’annuncio, Astra costa il 64% in meno di Fable 5.1.
FrontierCode 1.1 valuta più della semplice capacità di un modello di produrre codice funzionante. Cognition afferma che il benchmark misura la qualità e la possibilità di integrare le modifiche, rendendo il risultato rilevante per i team interessati a capire se le modifiche di un agente possano entrare in una codebase esistente senza richiedere un’ampia revisione.
L’obiettivo più circoscritto: i test
L’affermazione più specifica riguarda le capacità di test di Devin. Cognition afferma che GPT-6 Astra ottiene risultati allo stato dell’arte nel suo benchmark interno dedicato ai test, producendo test più completi, report più chiari e prove video più fruibili.
La modalità di test di Devin è progettata per interagire con un’applicazione, anziché fermarsi alla scrittura o alla revisione del codice sorgente. L’agente può creare un piano di test, avviare il software in un ambiente cloud, interagire con l’interfaccia, acquisire schermate e registrare l’esecuzione. Il risultato finale include un report che individua i momenti importanti e indica quali asserzioni sono state superate, non superate o non testate.
Questo flusso di lavoro è importante perché una pull request generata da un agente può sembrare plausibile pur non funzionando nel prodotto in esecuzione. In un precedente resoconto tecnico, Cognition descrive come Devin testa le modifiche avviando l’applicazione, facendo clic sui passaggi chiave e verificando che si comporti come previsto. L’azienda afferma che i suoi ingegneri hanno eseguito da 10 a 20 Devin in parallelo, ciascuno con il proprio server di sviluppo.
Perché Cognition assegna un modello distinto alla verifica
Scrivere codice e testare software richiede comportamenti diversi da parte del modello. La generazione di codice premia la capacità di orientarsi nei repository, pianificare e implementare. I test richiedono che l’agente legga le schermate, tenga traccia dello stato dell’interfaccia, riconosca se una modifica ha prodotto il risultato desiderato e decida quale azione intraprendere successivamente.
Ido Pesok di Cognition ha scritto che l’azienda ha iniziato a indirizzare la fase di test verso modelli diversi perché «i test si basano su capacità diverse da quelle richieste per scrivere codice». Nello stesso resoconto, Pesok descrive alcuni problemi, tra cui testare parti del prodotto non pertinenti, bloccarsi durante la configurazione e non rilevare il comportamento che una pull request avrebbe dovuto modificare.
Per ridurre questi problemi, Devin scrive prima un piano di test basato sul codice sorgente. L’agente aggiunge quindi alla propria cronologia annotazioni con note sulla configurazione, test nominati e indicazioni esplicite sulle asserzioni superate, non superate o non testate. Cognition afferma che queste annotazioni riducono la tendenza a considerare un risultato inatteso come un test superato.
Il problema delle prove nel coding autonomo
Con il rilascio, Cognition inserisce GPT-6 Astra in un tentativo più ampio di rendere più affidabile il lavoro asincrono sul software. Devin può già essere attivato da eventi, automazioni, pianificazioni e altre sessioni di Devin. Quando arriva altro lavoro senza che un ingegnere segua ogni passaggio, una pull request da sola offre meno informazioni sul corretto funzionamento pratico della modifica.
Le prove video non eliminano la necessità di una revisione. Una registrazione può mostrare che un agente ha seguito un percorso visibile senza dimostrare che abbia coperto tutti i casi importanti, gestito input insoliti o evitato regressioni al di fuori del flusso mostrato. L’annuncio di Cognition non rende pubblici dimensioni, composizione o punteggi dettagliati del benchmark interno dedicato ai test, quindi le sue affermazioni sulle prestazioni di Astra nei test non possono essere verificate in modo indipendente sulla base del rilascio.
I risultati pubblici chiariscono comunque la scelta sul prodotto: Cognition assegna GPT-6 Astra a un ruolo successivo all’implementazione e precedente all’approvazione umana. L’azienda punta sul fatto che un modello con capacità più avanzate di interazione con il computer possa rendere più utili i report di test di Devin, senza richiedere a un ingegnere di ripetere manualmente ogni modifica.
Cosa cambia davvero con l’annuncio
GPT-6 Astra non elimina la revisione umana dal flusso di lavoro di Devin. Nell’annuncio, Cognition afferma che il modello è disponibile all’interno della suite di prodotti e migliora la qualità dei test automatizzati; non sostiene che Devin possa certificare il proprio codice senza supervisione.
Il cambiamento immediato è più concreto. Devin può usare Astra per provare un’applicazione, fornire un resoconto più chiaro di quanto accaduto e allegare prove visive al risultato. Per i team che già usano Devin per generare pull request, ciò sposta parte del carico di revisione: non ci si limita più a esaminare il codice, ma si può valutare un’esecuzione strutturata dei test e decidere se le prove siano sufficienti per integrare la modifica.
È questo il senso del rilascio di Cognition: GPT-6 Astra non è semplicemente un’altra opzione tra i modelli disponibili nell’editor di Devin. Cognition lo usa per rafforzare il punto d’incontro tra coding autonomo e verifica, basandosi finora sui risultati del proprio benchmark e dei test interni come prove pubblicate.