The Pulse
Sakana AI mette alla prova un processo in due cicli per l’automiglioramento degli agenti
Sakana AI presenta MASS, un sistema che usa un modello condiviso per coordinare agenti virtuali, valutarne il lavoro e addestrarsi su esecuzioni selezionate. Dopo due cicli, il modello ha migliorato il proprio punteggio per token di output
AI.info Team · Scritto con l’IA ·
Nell’ottobre 2026, Sakana AI ha pubblicato i risultati di un sistema che chiede a un modello linguistico di migliorare il modo in cui lavora con una squadra di agenti virtuali e poi di apprendere dalle esecuzioni migliori della squadra. Il metodo, chiamato Multi-Agent Self-Supervision (MASS), ha completato due cicli di addestramento con Qwen3.6-27B. Su quattro benchmark di ricerca, il modello risultante ha ottenuto, secondo l’azienda, un punteggio per token di output pari a 1,2-1,6 volte quello del modello di base.
Il risultato è un test su piccola scala dell’automiglioramento ricorsivo, non un modello che riscrive il proprio codice o addestra un successore interamente nuovo. MASS modifica il flusso di lavoro degli agenti, seleziona le esecuzioni in base ai giudizi del modello stesso e sottopone il modello condiviso a fine-tuning su quelle esecuzioni. Il paper è stato inviato ad arXiv l’8 ottobre 2026.
Un modello ricopre tre ruoli
MASS assegna allo stesso modello tre compiti: risolvere un problema, proporre come una squadra di agenti debba suddividere e coordinare il lavoro e giudicare quali risultati siano migliori. Nella ricerca del flusso di lavoro, gli agenti eseguono un piano proposto; un valutatore confronta i risultati con il migliore ottenuto fino a quel momento; un ottimizzatore usa quel riscontro per rivedere il piano. Il modello classifica poi le esecuzioni completate e viene addestrato sulle conversazioni degli agenti e sull’uso degli strumenti selezionati.
Lo studio ha testato il metodo su 12 compiti di ricerca sintetici riguardanti finanza, robotica e farmacia. Nove compiti sono stati destinati all’addestramento e tre tenuti da parte; uno dei compiti di addestramento non ha prodotto un flusso di lavoro migliore del suo riferimento, lasciando otto compiti da cui ricavare dati di addestramento. Gli autori affermano inoltre che le descrizioni dei compiti sono state generate da GPT-5.5. L’esperimento mette quindi alla prova un contesto definito di compiti di ricerca, non la scoperta scientifica autonoma senza vincoli.
«Tuttavia, una singola istanza del modello fatica a criticare e migliorare il proprio ragionamento complesso all’interno di questo processo omogeneo.»
Scrivono Hyunin Lee et al., autori di «Recursive Self-Improvement through Multi-Agent Self-Supervision»
Progressi nella ricerca, risultati disomogenei negli altri ambiti
Su tre compiti di test sintetici, valutatori esterni hanno preferito il modello dopo due cicli di MASS a quello di base nel 69,9% dei confronti, rispetto al 53,9% dopo un ciclo. Per i benchmark pubblici di ricerca, Sakana AI riferisce rapporti tra i punteggi per token di output pari a 1,60 su MLR-Bench, 1,35 su DSBench, 1,20 su ScienceAgentBench e 1,28 su AstaBench E2E-Hard. Il paper afferma che GPT-5.5 e Claude Opus 4.8 hanno fornito queste valutazioni esterne e che i loro giudizi non hanno guidato il processo di addestramento di MASS.
Il miglioramento non si è esteso a tutti i test. Il modello dopo il secondo ciclo ha raggiunto un punteggio per token di output pari a 0,96 volte quello del modello di base su Terminal-Bench 2.0 e a 0,94 volte su SWE-bench Verified. Questi risultati delimitano i progressi più evidenti: i miglioramenti maggiori emergono nei compiti di ricerca più vicini alla configurazione usata per addestrare il sistema, mentre i benchmark software mostrano una minore capacità di trasferire i risultati.
Il valutatore non è l’unico ostacolo
Il paper esamina anche dove il processo può bloccarsi. In un confronto sulla ricerca del flusso di lavoro, sostituire con GPT-5.5 soltanto il valutatore è stato meno utile che sostituire sia il valutatore sia l’ottimizzatore; gli autori interpretano il risultato come un’indicazione del fatto che un ottimizzatore può faticare ad agire in base al riscontro ricevuto anche quando il riscontro stesso è migliore. Il processo interamente omogeneo ha infine trovato flussi di lavoro vincenti per 11 compiti su 12, ma ha richiesto più tempo.
Sakana AI avverte che l’autovalutazione crea un problema di sicurezza: se il valutatore del modello condivide un punto cieco con il modello che si sta migliorando, potrebbe accettare un risultato errato come un progresso e rafforzarlo attraverso l’addestramento. I progressi riportati sono risultati ottenuti sui benchmark dopo due cicli, non prove che il metodo possa migliorare indefinitamente o valutare in modo affidabile scoperte aperte. Il limite più evidente del paper emerge dalla stessa suddivisione dei benchmark: risultati pari a 1,2-1,6 volte quelli del modello di base su quattro misure di ricerca, ma inferiori a quelli del modello di base sulle due misure software.