The Pulse
Emergence dichiara il 19,16% nel test di codice verificato di VeriContest
Emergence afferma che il suo sistema Craft ha superato sia le verifiche delle dimostrazioni formali sia i test nascosti sul 19,16% dei problemi del set LeetCode di VeriContest. L’azienda riporta inoltre il 100% su VERINA e fino al 100% su u
AI.info Team · Scritto con l’IA ·
Il 6 ottobre Emergence ha dichiarato che la sua piattaforma Craft ha superato sia le verifiche delle dimostrazioni formali sia i test nascosti sul 19,16% dei problemi del set LeetCode usato dal benchmark VeriContest. L’azienda ha riportato anche risultati quasi perfetti in due valutazioni della generazione di dimostrazioni con Lean 4, ma i dati provengono da test condotti dall’azienda e non stabiliscono come il sistema si comporti con software in produzione.
Due verifiche, non solo codice funzionante
VeriContest valuta se il codice generato sia conforme a una specifica formale, come verificato da una dimostrazione, e superi i test nascosti che ne confrontano l’output con i risultati attesi. Secondo l’azienda, il componente Verified Code Generation di Emergence ha soddisfatto entrambi i requisiti sul 19,16% dei problemi. Per la stessa misura, l’azienda ha indicato il 15,36% per Claude Opus 4.7, il 7,10% per GPT-5.5, il 6,67% per Claude Sonnet 4.6 e il 4,78% per Gemini 3.1 Pro.
Queste percentuali si riferiscono al compito che combina dimostrazione e test, non ai normali tassi di superamento nella generazione di codice. La distinzione conta: il codice che supera i test di un benchmark non è necessariamente stato dimostrato corretto, mentre una dimostrazione stabilisce la correttezza solo rispetto alla specifica formale ricevuta. In un precedente articolo su VCG, Emergence presenta un confronto separato sui punteggi ottenuti nei benchmark funzionali e afferma che il suo sistema resta indietro rispetto a una baseline Claude Opus 4.7 non verificata in diversi test; l’azienda attribuisce il divario in parte agli scostamenti delle specifiche e alla possibile familiarità con i benchmark.
Lean 4 verifica la dimostrazione stessa
Emergence ha testato il suo sistema VCG/Tiny Prover anche su VERINA e su una parte selezionata di VeriSoftBench, dove Lean 4 verifica che ogni dimostrazione segua le sue regole formali. L’azienda ha riferito che il sistema ha risolto tutti i problemi di VERINA al primo tentativo. Sul sottoinsieme valutato di VeriSoftBench, ne ha risolto il 99% al primo tentativo e il 100% dopo un secondo tentativo.
Il post tecnico dell’azienda del 14 settembre precisa che la valutazione su VeriSoftBench ha usato il sottoinsieme Aristotle di 100 dimostrazioni, anziché il benchmark completo su scala di repository. Descrive VERINA come un insieme di 189 compiti, in cui il sistema è stato valutato sulla generazione di codice e di dimostrazioni rispetto a una specifica fornita. Questi limiti della valutazione rendono i punteggi più informativi di un’affermazione senza riserve sulla perfetta verifica del software.
Una dimostrazione può comunque formalizzare il requisito sbagliato
Lean 4 può stabilire se un’implementazione soddisfa un enunciato matematico. Non può stabilire se quell’enunciato rispecchia ciò che un utente intendeva davvero. I ricercatori di Emergence riconoscono esplicitamente questo limite: «Nel contesto dei benchmark che studiamo qui, una specifica formale viene fornita come fonte di verità.» Nghia Nguyen, Aditya Vempaty, Ashish Jagmohan, Prasenjit Dey e Ravi Kokku, Emergence
Questa precisazione delimita la portata dei risultati. Una dimostrazione verificata da una macchina può escludere alcuni errori di implementazione rispetto a una specifica, ma non certifica che la specifica sia completa, fedele agli obiettivi aziendali o adatta a un impiego reale. Anche il resoconto separato di Emergence su VCG individua nella fedeltà alle specifiche un problema centrale per l’affidabilità.
Benchmark aziendali, non prove dell’efficacia nell’impiego reale
Emergence presenta i punteggi come prova a sostegno del suo approccio «Neuroformal AI»: i modelli neurali generano codice e dimostrazioni candidati, mentre gli strumenti formali verificano se i requisiti dichiarati sono soddisfatti. Il comunicato dell’azienda non descrive una riproduzione indipendente delle valutazioni, né mostra che i punteggi dei benchmark si traducano in meno malfunzionamenti nei sistemi dei clienti.
I risultati segnano quindi un progresso in compiti circoscritti, non una garanzia generale per il lavoro autonomo sul software. Per il risultato principale su VeriContest, il criterio concreto è impegnativo: Craft ha superato sia la verifica della dimostrazione formale sia i test nascosti sul 19,16% dei problemi del set LeetCode.