The Pulse
Gli agenti di ricerca hanno migliorato i risultati del 10% dimenticando la cronologia delle ricerche
Un team di quattro agenti basati su modelli linguistici ha migliorato i risultati in media del 10% rispetto a quattro agenti che lavoravano in parallelo, in quattro compiti di ricerca automatizzata. Lo studio ha rilevato che cancellare peri
AI.info Team · Scritto con l’IA ·
Quattro agenti hanno migliorato i risultati del 10% ripartendo da zero
Un team di agenti basati su modelli linguistici ha migliorato i risultati in media del 10% rispetto a quattro agenti che lavoravano in parallelo, in quattro compiti di ricerca automatizzata, secondo un articolo inviato ad arXiv il 14 ottobre. Il team ha cancellato periodicamente le sessioni di conversazione e la cronologia delle soluzioni candidate, per poi ripartire dal miglior risultato trovato fino a quel momento. Secondo gli autori, l’approccio ha superato anche un singolo agente, in media del 22% nei quattro compiti.
Lo studio, «Scaling Discovery Requires Forgetting», esamina cicli di programmazione e ottimizzazione in cui un agente propone una soluzione, riceve un punteggio da un valutatore e riprova. Gli autori sostengono che, man mano che questi cicli accumulano una cronologia, gli agenti diventano più prudenti: apportano modifiche più piccole e i progressi rallentano, anche quando non hanno esaurito le risorse di calcolo a disposizione.
«Ciò che un agente può ricordare conta quanto le risorse di calcolo che gli vengono assegnate.»
Shangyin Tan et al., «Scaling Discovery Requires Forgetting»
Il reset conserva la soluzione migliore, non il percorso seguito
Dimenticare non significa buttare via tutti i progressi. A ogni reset, il sistema salva la soluzione candidata con il punteggio più alto ottenuto dal team, ma cancella le conversazioni degli agenti e l’insieme più ampio di soluzioni candidate, punteggi e feedback. Le nuove sessioni ripartono dalla soluzione salvata. Nei team di quattro, gli agenti possono esaminare le soluzioni candidate e i punteggi degli altri durante ogni turno, ma non comunicano direttamente all’interno delle loro sessioni.
I ricercatori hanno testato il metodo su AtCoder Heuristic Contest 014, un problema di ottimizzazione Frontier-CS, una sfida sui kernel che utilizza una macchina VLIW simulata e un compito di addestramento di un piccolo modello linguistico. Hanno usato l’agente Pi con DeepSeek V4.1 Flash, assegnato a ogni configurazione lo stesso costo totale in token ed eseguito ogni configurazione tre volte per compito. Il team ha dimenticato tre volte, dividendo il lavoro in quattro turni.
I punteggi sono migliorati in quattro compiti diversi
Il team con i reset ha ottenuto il miglior risultato medio in tutti e quattro i compiti. Nell’AHC014 di AtCoder, la media del suo miglior punteggio è stata di 1,103 milioni, contro 964.000 per quattro agenti che lavoravano in parallelo e 795.000 per un solo agente. Nel compito sul kernel VLIW, dove un numero inferiore di cicli indica prestazioni migliori, il team ha registrato in media 1.097 cicli contro i 1.220 degli agenti che lavoravano in parallelo.
Su Frontier-CS Q171, il team ha ottenuto un punteggio di 80,8 contro 70,2 per gli agenti che lavoravano in parallelo. Nel compito di addestramento del modello linguistico, ha registrato 0,961 bit di validazione per byte, contro 0,980 sia per la configurazione con agenti in parallelo sia per quella con un solo agente; per questa misura, un valore più basso è migliore. L’articolo riporta un miglioramento medio del 10% rispetto agli agenti che lavoravano in parallelo e del 22% rispetto a un singolo agente nei quattro compiti, mentre l’abstract indica miglioramenti fino al 15% e al 39%, rispettivamente.
Un test con lo stesso punto di partenza indica il reset come causa
Per verificare se i miglioramenti dipendessero semplicemente dall’aver concesso agli agenti più tentativi, gli autori hanno confrontato la prosecuzione delle sessioni e la cancellazione della cronologia a partire dallo stesso stato di stallo in AHC014. In entrambe le condizioni, ogni agente ha potuto formulare altre 30 proposte. Per il team di quattro agenti, cancellare la cronologia ha migliorato il punteggio in media del 9,2%, con una deviazione standard del 6,9%, mentre proseguire le sessioni esistenti lo ha migliorato dell’1,4%, con una deviazione standard dell’1,3%.
La condizione con reset è costata 15,32 dollari per replica, contro 24,67 dollari per la prosecuzione delle sessioni. L’articolo analizza anche il comportamento degli agenti: prima del primo reset, le modifiche mediane del team sono scese da circa 150 righe a 30 e l’uso di token di ragionamento è calato da circa 28.000 a 7.000. Entrambe le misure sono risalite dopo un reset, ma non permettono di stabilire se i miglioramenti siano dovuti alla cancellazione della conversazione, della cronologia delle soluzioni candidate o di entrambe.
I risultati lasciano aperta la questione delle regole sulla memoria
I risultati si limitano a quattro compiti, tre esecuzioni per configurazione e un’unica combinazione di agente e modello. Non dimostrano che i reset periodici aiuteranno ogni agente di ricerca o in ogni problema di ricerca, e gli autori non confrontano direttamente il loro metodo con un approccio correlato che riparte da zero mantenendo l’ambiente di lavoro più ampio. Le domande che si pongono per il futuro sono di ordine pratico: quando dovrebbe dimenticare un agente e quali informazioni dovrebbe conservare?