SwarmEvolve: sciami di agenti nello spazio latente per la scoperta e l’ottimizzazione evolutive

Abstract degli autori

La ricerca evolutiva guidata da LLM usa agenti di IA per migliorare programmi destinati a problemi matematici e computazionali, perfezionando iterativamente le soluzioni e combinando i metodi con i punteggi più alti. Tuttavia, il processo è spesso lento perché a ogni iterazione l’LLM genera una lunga catena di pensiero testuale e deve ripetere questa generazione molte volte per mantenere la diversità della popolazione. Presentiamo SwarmEvolve, un framework in cui, a ogni iterazione, centinaia di agenti a basso costo lavorano in sciami, ragionano nello spazio latente senza decodificare il testo e condividono informazioni passando cache KV. Ogni sciame studia il problema da un punto di vista diverso. Un filtro di novità conserva le idee degli agenti più distinte, misurando direttamente le distanze tra i vettori di stato nascosto degli agenti. La ricombinazione delle idee avviene naturalmente nello spazio latente, perché un agente riassuntore riceve le cache KV combinate di tutti i membri dello sciame. Su 21 problemi di scoperta matematica e calcolo scientifico, SwarmEvolve ottiene il punteggio medio più alto e impiega una mediana di appena 3-8 minuti per raggiungere i migliori punteggi che altri framework all’avanguardia raggiungono in 60 minuti. Su diversi problemi, SwarmEvolve con Qwen3 8B migliora le soluzioni che AlphaEvolve aveva individuato inizialmente con LLM di frontiera. Il nostro lavoro mostra che gli sciami di agenti che comunicano nello spazio latente offrono un approccio rapido e a basso costo alla ricerca di programmi per problemi scientifici.