The Pulse
Momentic presenta Mo come agente di IA per il controllo qualità end-to-end
Momentic afferma che il suo agente Mo ha trovato 269 bug etichettati in un benchmark di 60 minuti, contro gli 86 di Codex, ma a un costo maggiore per bug. I risultati dell’azienda mostrano un recall più elevato per Mo, accompagnato da una p
AI.info Team · Scritto con l’IA · verificato ·
Mo di Momentic ha trovato 269 bug etichettati in un benchmark di 60 minuti, contro gli 86 di Codex, ma le stesse cifre di Momentic indicano per Mo un costo di 2,67 dollari per bug, contro gli 0,80 dollari di Codex. È questo il contrasto alla base del post di lancio dell’azienda: Mo ha trovato più bug nel tempo assegnato, ma ogni bug individuato è costato di più e la sua precisione è stata leggermente inferiore. Momentic presenta l’agente come uno strumento per individuare errori che i team non hanno già rilevato con test basati su script.
«Pensiamo che il futuro del controllo qualità siano gli agenti che si testano da soli, non che scrivono script.»
Wei-Wei e Jeff, Momentic
Mo ottiene un recall più alto a un costo maggiore
Momentic ha messo Mo a confronto con Codex, Claude Code e Devin su quattro applicazioni open source: Gitea, Metabase, Twenty e Saleor. L’azienda afferma che il set di test conteneva 1.396 bug etichettati da esseri umani. Ogni agente ha ricevuto le stesse istruzioni e una sandbox nuova, senza accesso al codice sorgente delle applicazioni.
Nei risultati a 60 minuti, Momentic riporta per Mo un recall del 19,3% e una precisione dell’84%. Codex, con GPT-6.1 Sol e Playwright MCP, ha ottenuto un recall del 6,2% e una precisione dell’86%; Claude Code con Opus 5.5 e Playwright MCP ha trovato 59 bug, mentre Devin ne ha trovati 27. Momentic afferma che il numero di bug trovati da Mo è salito da 177 a 269 quando il tempo di test è raddoppiato da 30 a 60 minuti.
Agenti paralleli esplorano le app in rami separati
Secondo Momentic, Mo costruisce un grafo aciclico diretto mentre esplora un’applicazione. Le aree più ampie di un prodotto possono essere suddivise tra agenti paralleli, ciascuno dei quali opera su un browser o un dispositivo separato. Gli agenti di pianificazione ragionano su screenshot e video, mentre gli agenti di localizzazione esaminano la struttura delle pagine per trovare i controlli descritti in linguaggio naturale.
L’esecuzione di test in parallelo può creare conflitti quando gli agenti intervengono sugli stessi dati di test o sullo stesso account. Momentic afferma che i suoi agenti si coordinano tramite concessioni temporanee delle risorse: più agenti possono dichiarare di usare una risorsa, ma solo uno alla volta può avere un diritto attivo di modifica. L’azienda afferma inoltre che un tunnel consente ai suoi agenti ospitati di raggiungere siti privati e applicazioni locali.
Il benchmark è un test condotto dall’azienda
Momentic ha usato GPT-6.1 Sol come LLM valutatore, affiancato da un revisore umano, per valutare i risultati. I dati provengono da quattro prodotti open source e da un test di un’ora senza accesso al codice sorgente, non da una valutazione ampia delle applicazioni commerciali o da un confronto con team umani di controllo qualità. Si tratta di una valutazione condotta dalla stessa Momentic, quindi le cifre mostrano le prestazioni nella configurazione scelta dall’azienda, anziché risultati verificati in modo indipendente.
Anche i numeri del post di lancio pongono un limite all’affermazione principale: il recall dichiarato del 19,3% significa che Mo ha individuato meno di un bug etichettato su cinque. La sua precisione dell’84% era vicina all’86% di Codex, mentre il suo costo per bug individuato era più di tre volte superiore. Un ingegnere di Momentic ha descritto questo come il compromesso attuale:
«Attualmente, il compromesso per ottenere un recall migliore è un costo più alto.»
Henry, ingegnere di Momentic
Anteprime delle PR e 250 dollari di credito alla registrazione
Momentic afferma che Mo può testare app web, iOS e Android, mentre il supporto per desktop deve ancora arrivare. Secondo l’azienda, una sessione può eseguire centinaia di browser e dispositivi contemporaneamente. Il post di lancio afferma che è stata rilasciata la funzionalità di test delle PR per le anteprime di distribuzione di Vercel e Cloudflare, che permette ai team di usare Mo sulle build di anteprima.
Momentic offre a ogni nuovo iscritto 250 dollari di credito da utilizzare su Mo. I piani a pagamento includono maggiore capacità infrastrutturale e maggiori possibilità di utilizzo, con opzioni per aggiungerne altre; il post di lancio non indica un prezzo standard per l’abbonamento. Per ora, il confronto più chiaro offerto dall’azienda è il suo stesso benchmark: Mo ha trovato più bug etichettati di Codex in un’ora, a un costo maggiore per ogni bug individuato.