The Pulse
Agent S4 di Simular evolve le interfacce per gli agenti che usano il computer
Simular ha presentato Agent S4 il 21 ottobre 2026: un sistema che evolve le interfacce su cui si basano gli agenti che usano il computer. Su OSWorld V2, l’azienda afferma che Qwen3.8-27B, con le interfacce evolute da S4, ha ottenuto un punt
AI.info Team · Scritto con l’IA · verificato ·
Simular ha presentato Agent S4 il 21 ottobre, descrivendolo come un sistema che studia gli agenti che usano il computer ed evolve le interfacce software attraverso cui operano. L’obiettivo è cambiare ciò che un agente può fare con un computer, non soltanto renderlo più abile a cliccare una serie predefinita di pulsanti. Secondo Simular, il modello e l’infrastruttura operativa dell’agente che svolge le attività restano invariati, mentre un meta-agente separato modifica un repository di interfacce e istruzioni.
Agent S4 cambia gli strumenti, non il modello
Gli agenti che usano il computer ricevono comunemente schermate e agiscono tramite clic del mouse e pressioni di tasti. Questo può costringere un agente a modificare un foglio di calcolo una cella alla volta, oppure ad aprire un terminale dal desktop e digitare i comandi un carattere alla volta. L’approccio di Simular permette all’agente di acquisire modalità di lavoro più dirette, per esempio modificando un blocco di celle di un foglio di calcolo in un’unica operazione e restituendo i valori modificati.
Il sistema esegue un agente che svolge le attività e un meta-agente. Il primo tenta di completare attività sintetiche di addestramento usando il repository di cui dispone; il meta-agente ne esamina le sequenze di azioni, senza etichette che indichino se abbia avuto successo, e propone modifiche alle interfacce o alle istruzioni. Può modificare un repository o combinare elementi di due repository; l’agente che svolge le attività verifica poi il risultato su attività di addestramento e su attività di validazione separate. Il meta-agente non vede le attività di validazione, le relative sequenze di azioni né i punteggi.
«Sosteniamo che la progettazione delle interfacce dovrebbe essere essa stessa una capacità dell’agente.»
Saaket Agashe et al., “Evolving Agent Interfaces”
Qwen3.8-27B ottiene il 21,3% su OSWorld V2
Su OSWorld V2, Simular riferisce che Qwen3.8-27B, con un repository di interfacce evoluto, ha completato il 21,3% delle 108 attività del benchmark secondo il suo criterio binario di successo. Lo stesso modello con interfacce fisse ha ottenuto il 5,56%: il risultato della configurazione con interfacce evolute è quindi circa 3,8 volte superiore. Nei risultati riportati dall’azienda, Simular confronta il punteggio del 21,3% con il 20,6% di Claude Opus 4.8 e il 13,0% di GPT-5.5.
Le stime dei costi nella tabella di Simular indicano per la configurazione con Qwen 1,10 dollari per attività, contro 72,40 dollari per Claude Opus 4.8 e 25,50 dollari per GPT-5.5. Questi confronti non sono semplici test modello contro modello: i risultati elencati per Claude e GPT utilizzano azioni raggruppate, mentre quello di Qwen utilizza il repository evoluto senza una macchina virtuale di appoggio. Le cifre sono risultati del benchmark e stime dei costi riportati da Simular, non una valutazione indipendente.
Le nuove interfacce vanno oltre le attività sul desktop
Secondo Simular, i repository evoluti hanno aggiunto strumenti per azioni a livello di sistema, applicazioni specifiche, lavoro condiviso tra applicazioni e procedure per singole attività. Tra gli esempi ci sono l’esecuzione di più azioni nell’interfaccia grafica con un’unica richiesta, la lettura del testo e delle pagine visualizzate di un file senza aprirlo nell’applicazione originale e la verifica della compilazione di una dimostrazione in Lean. Nell’esecuzione su OSWorld V2 senza una macchina virtuale di appoggio, il sistema ha aggiunto quattro interfacce e ne ha estese 127 già esistenti; nell’esecuzione con una macchina virtuale di appoggio ha aggiunto 12 interfacce e 253 estensioni.
L’azienda ha testato Agent S4 anche su ScienceBoard, un benchmark di 169 attività che coinvolge sei applicazioni scientifiche. Con lo stesso agente che svolge le attività e lo stesso repository iniziale, la versione evoluta ha risolto 99 attività, contro le 93 della versione iniziale. Simular afferma che il meta-agente ha appreso da 48 attività sintetiche di addestramento e non ha visto le attività del benchmark.
Il risultato del benchmark ha una portata limitata
Agent S4 non usa un desktop per completare l’attività di un utente: il suo ruolo è sviluppare e selezionare le interfacce usate da un altro agente. Questa distinzione fa dei miglioramenti ottenuti dal sistema un argomento a favore del potenziamento delle azioni e delle osservazioni a disposizione di un agente, oltre che del modello su cui si basa. Simular ha pubblicato il codice, mentre il paper che descrive il metodo è stato inviato ad arXiv il 20 ottobre 2026.
Il dato principale di OSWorld indica anche che la maggior parte delle attività resta irrisolta: con il punteggio binario, un’attività è considerata completata con successo solo se supera la verifica, senza punti per i risultati parziali. I risultati di Simular mostrano un netto miglioramento rispetto allo stesso modello con interfacce fisse, ma non stabiliscono con quale affidabilità il metodo si trasferirà ad altri software, insiemi di attività o modelli. Il codice e il paper offrono ai ricercatori un modo per verificare direttamente questa ipotesi.