The Pulse
Vals AI rileva che i team di agenti costano fino a 5,1 volte di più
Vals AI ha messo alla prova GPT 6 Sol e Claude Opus 5.5 come agenti singoli e in team nella realizzazione di 50 app web. I team sono costati fino a 5,1 volte di più, ma solo uno dei quattro confronti dei punteggi ha mostrato un migliorament
AI.info Team · Scritto con l’IA ·
«I team costano da 1,8 a 5,1 volte quanto gli agenti singoli, e solo per Sol con un livello di impegno medio la differenza di punteggio è risultata statisticamente significativa.»
Katrina Drozdov, autrice del post di Vals AI
Lo studio di Vals AI del 9 ottobre ha rilevato che suddividere il lavoro di sviluppo software tra agenti di IA spesso aumentava i costi senza migliorare i risultati in modo affidabile. Nei test condotti su GPT 6 Sol di OpenAI e Claude Opus 5.5 di Anthropic, solo uno dei quattro confronti tra i punteggi dei team e quelli degli agenti singoli ha mostrato un miglioramento statisticamente significativo.
Lo studio ha utilizzato Vibe Code Bench di Vals AI, in cui gli agenti realizzano app web complete a partire dalle specifiche di prodotto. Agenti che operano nel browser hanno valutato le app finite eseguendone i test dell’interfaccia utente. Il lavoro poteva essere suddiviso in attività relative a database, API, interfaccia e deployment, permettendo ai team di realizzare le diverse parti in parallelo.
Un miglioramento significativo su quattro confronti
Vals AI ha testato 50 app con due impostazioni dello sforzo di ragionamento, medio e massimo. In ogni configurazione, il coordinatore del team ha ricevuto la stessa istruzione: suddividere il lavoro, delegare le parti indipendenti, quindi integrare e verificare il risultato. Ciascuna delle otto configurazioni è stata eseguita una sola volta, quindi i test statistici misurano la variabilità tra le app, non quella tra tentativi ripetuti.
Il team di GPT 6 Sol con sforzo medio ha superato l’84,9% dei test dell’interfaccia utente, contro il 77,6% dell’agente singolo: un miglioramento di 7,3 punti percentuali. Vals AI ha indicato la differenza come statisticamente significativa, con p = 0,005. Il team è costato in media 3,07 dollari per app, contro 1,22 dollari per l’agente singolo, e ha terminato in un tempo mediano di 11,9 minuti, circa mezzo minuto prima.
Le altre variazioni di punteggio non erano statisticamente significative: il team di Sol con sforzo massimo ha guadagnato 1,4 punti, quello di Opus con sforzo medio ne ha persi 0,3 e quello di Opus con sforzo massimo ne ha guadagnati 3,4. Il team di Opus con sforzo massimo ha ottenuto il punteggio più alto, il 93,2%, ma il corrispondente agente singolo ha raggiunto l’89,8%; secondo lo studio, quella differenza di 3,4 punti non era significativa.
Il team di Opus con sforzo massimo è costato 122 dollari per app
I costi dei team sono stati da 1,8 a 5,1 volte quelli degli agenti singoli comparabili. Per Opus con sforzo massimo, il team è costato in media 122 dollari per app, mentre l’agente singolo è costato in media 23,77 dollari. Il team ha inoltre impiegato un tempo mediano di 174,1 minuti per terminare, contro i 74,7 minuti dell’agente singolo.
Vals AI ha ricondotto gran parte della spesa aggiuntiva alla ripetizione degli input. Ogni subagente aveva un proprio contesto di lavoro, che includeva le specifiche dell’app e veniva inviato di nuovo nelle successive chiamate al modello. Secondo il post, i subagenti di Opus con sforzo massimo hanno letto una mediana di 224 milioni di token memorizzati nella cache per app, contro i 55 milioni dell’agente singolo. Un’esecuzione in team ha raggiunto il limite di tempo mentre la verifica era ancora in corso; Vals AI ne ha stimato il costo in circa 189 dollari sulla base del numero di token e ha incluso la stima nella media del team.
Le cifre dei costi sono stime basate sui prezzi di listino: Claude Code ha riportato i totali per Opus, mentre quelli per Sol sono stati calcolati usando i prezzi della fascia base di OpenAI e l’utilizzo di token dichiarato. Vals AI afferma di non aver potuto valutare gli addebiti più elevati per le richieste oltre la soglia di 272.000 token per il contesto lungo, perché l’utilizzo era riportato per esecuzione anziché per richiesta.
Il lavoro in parallelo ha aiutato Sol più di Opus
I due sistemi hanno anche organizzato i team in modo diverso. Il coordinatore di Sol in genere delegava presto il lavoro e testava personalmente l’app assemblata; con sforzo massimo, il tempo di esecuzione mediano del team è sceso a 27,6 minuti, rispetto ai 38,4 minuti dell’agente singolo. Il coordinatore di Opus di solito redigeva un contratto condiviso che descriveva lo schema dell’app, le route API e la responsabilità dei file, poi delegava il lavoro in ondate successive di agenti incaricati dello sviluppo e dei test.
Questa sequenza ha comportato un costo in termini di tempo. Dopo il primo deployment, il team di Opus con sforzo massimo ha dedicato ai test una mediana di 67,8 minuti-agente, contro i 9,6 dell’agente singolo. Nelle esecuzioni in team di Opus, il tempo mediano di completamento è stato più del doppio di quello dell’agente singolo.
Il risultato riguarda un solo benchmark
Vals AI avverte che i risultati provengono da un unico insieme di attività di sviluppo di app web full-stack e potrebbero non valere per altri tipi di lavoro. Il confronto, inoltre, combina l’uso di subagenti con un prompt di delega, anziché isolare l’effetto dei soli subagenti. E poiché Sol e Opus sono stati eseguiti tramite infrastrutture software diverse, lo studio non può attribuire con certezza le differenze ai modelli stessi.
Per i team che valutano sistemi di agenti per attività simili di sviluppo di app, il compromesso misurato è preciso: il team di Sol con sforzo medio ha guadagnato 7,3 punti a fronte di 1,85 dollari in più per app e di un tempo di esecuzione leggermente inferiore. Il team di Opus con sforzo massimo è costato 98,23 dollari in più per app rispetto al corrispondente agente singolo, ha impiegato circa 99 minuti in più in termini di tempo mediano e non ha ottenuto un miglioramento del punteggio statisticamente significativo.