The Pulse
Artificial Analysis mette alla prova i modelli di frontiera su un vero braccio robotico
Artificial Analysis ha lanciato AA-Robotics v0.1, un benchmark che mette alla prova cinque modelli di frontiera in otto compiti usando un braccio robotico fisico. GPT-6 Astra ha ottenuto il punteggio medio più alto, 69,4, ma ha impiegato ci
AI.info Team · Scritto con l’IA ·
Cinque modelli di frontiera hanno ottenuto punteggi compresi tra 46,3 e 69,4 in un nuovo benchmark con un robot fisico, impiegando circa 30 minuti per ciascun compito che una persona ha completato in media in 20 secondi. Artificial Analysis ha pubblicato AA-Robotics v0.1 il 14 ottobre, mettendo alla prova modelli che controllavano direttamente un vero braccio robotico a sei assi, anziché rispondere a prompt in un ambiente simulato.
GPT-6 Astra si è classificato primo con un punteggio medio di 69,4 su 100, seguito da GPT-6.1 Sol con 64,6, Gemini 4 Argon con 55,3, Claude Opus 5.5 con 48,8 e Claude Fable 5.1 con 46,3. I risultati offrono un primo confronto su come i modelli linguistici generalisti affrontano compiti fisici, mentre i lunghi tempi di esecuzione e le prestazioni disomogenee mostrano quanto i sistemi testati siano ancora lontani da una manipolazione rapida e utilizzabile nella pratica.
Otto compiti, un braccio robotico fisico
Il benchmark dà a ciascun modello accesso a un Hiwonder NexArm tramite una semplice API HTTP. I modelli operano in container isolati, possono scrivere ed eseguire codice per pianificare i movimenti e osservare l’area di lavoro attraverso quattro telecamere: tre attorno al tavolo e una montata sul polso del braccio. Ogni tentativo è zero-shot e lo stato finale viene valutato in base ai criteri di superamento dichiarati per il compito.
Gli otto compiti vanno dal premere un pulsante rosso e spostare un coccodrillo giocattolo in un rettangolo contrassegnato al versare una bevanda in una tazza, smistare blocchi in una scatola, abbinare forme, scrivere «hello world», costruire una torre e misurare una scatola. Un compito completato interamente vale 100 punti; il completamento parziale riceve punti per i progressi compiuti. I modelli GPT sono stati eseguiti in Codex, i modelli Claude in Claude Code e Gemini 4 Argon in Antigravity, tutti con l’impostazione di impegno elevato.
GPT-6 Astra è in testa, ma di poco
I punteggi riflettono punti di forza molto diversi da un compito all’altro. Tutti e cinque i modelli hanno completato interamente la pressione del pulsante e il posizionamento del coccodrillo. Nel più impegnativo compito di misurazione della scatola, nessuno ha ottenuto il punteggio pieno: GPT-6 Astra e Gemini 4 Argon hanno ottenuto zero, mentre GPT-6.1 Sol e Claude Opus 5.5 hanno ricevuto 17 punti ciascuno; Claude Fable 5.1 ha ottenuto zero.
Artificial Analysis scrive: «Abbiamo riscontrato che, di recente, i modelli linguistici di frontiera inseriti in ambienti per agenti di programmazione sono effettivamente diventati capaci di manipolare direttamente bracci robotici per compiti semplici». Gli esempi del benchmark mostrano anche che completare un compito una volta non significa sempre sapere quando fermarsi: un modello potrebbe raggiungere uno stato che soddisfa i criteri di superamento, continuare a spostare un oggetto e poi vanificare i progressi compiuti.
Tempi e costi restano il divario maggiore
Artificial Analysis riporta un tempo medio di completamento di 20 secondi per compito per una persona, contro circa mezz’ora per quattro dei cinque modelli. Gemini 4 Argon ha impiegato in media 52 minuti. L’organizzazione descrive i modelli come circa 100 volte più lenti rispetto al riferimento umano, anche se la media nasconde grandi differenze tra i compiti e tra le singole esecuzioni.
GPT-6 Astra ha impiegato circa 30 minuti ed è costato in media 16,36 dollari per compito. GPT-6.1 Sol è costato 1,93 dollari per compito, oltre otto volte meno, mentre il suo punteggio medio è stato inferiore di soli cinque punti circa. L’azienda afferma che il 70% della spesa per i modelli è andato al contesto di input, a causa della quantità di informazioni visive elaborate dai sistemi.
La presa fallisce ancora più spesso di quanto riesca
Nei sei compiti che prevedevano la presa di oggetti, i modelli con le prestazioni migliori sono riusciti ad afferrare e trattenere l’oggetto previsto in circa il 45% dei tentativi: GPT-6 Astra ha raggiunto il 45% e Claude Fable 5.1 il 44%. Claude Opus 5.5 ha ottenuto il 40%, Gemini 4 Argon il 36% e GPT-6.1 Sol il 28%. Il benchmark considera riuscita una presa solo quando l’oggetto previsto rimane afferrato durante il sollevamento o il trasporto; i tentativi a vuoto, gli oggetti lasciati cadere e le prese di oggetti sbagliati non contano.
Questi risultati rendono concreti i limiti pratici evidenziati dal benchmark. I modelli riescono a compiere azioni semplici con un braccio fisico, ma spesso mancano gli oggetti, spostano involontariamente i pezzi vicini o continuano ad agire dopo aver già completato un compito. In questa prima versione, l’indicatore più chiaro di tale divario resta il tempo: circa 30 minuti per un modello, contro 20 secondi per una persona.