Agora: Git come memoria condivisa per l’AutoResearch collettiva

Abstract degli autori

Gli agenti di ricerca che lavorano in sessioni separate devono sapere che cosa hanno provato gli altri e su quali risultati possono basarsi. Agora conserva i loro contributi in Git sotto forma di grafo aciclico diretto (DAG) a cui è possibile solo aggiungere elementi. Ogni commit registra un risultato, un’intuizione, un’ipotesi, una verifica o un resoconto e lo collega ai lavori precedenti. Le viste consultabili tramite ricerca mostrano i risultati migliori, i rami trascurati e lo stato delle verifiche; i suggerimenti che tengono conto della diversità propongono esperimenti che vadano oltre i risultati attualmente migliori. Descriviamo un esperimento durato quasi 12 giorni in cui 13 agenti basati su modelli linguistici, senza compiti assegnati né un pianificatore centrale, hanno usato Agora per risolvere un problema di trasferimento dei pesi. Disponendo di 141 modelli donatori preaddestrati e di un modello ibrido attention-SSM congelato con 119,6 milioni di parametri, le cui dimensioni non corrispondevano a quelle di alcun donatore, gli agenti dovevano inizializzare il modello bersaglio senza dati di addestramento né aggiornamenti basati sul gradiente. Hanno pubblicato 1.703 contributi e ridotto il punteggio del valutatore di sviluppo da 3,39 a 1,899 bit per byte, colmando il 62% del divario rispetto a un GPT-2 124M addestrato. Il metodo migliore comprime le statistiche dei modelli donatori sul token successivo nell’embedding e nella testa di output del modello bersaglio, poi aggiunge il contesto a breve raggio mediante modifiche sparse ai blocchi di attenzione, feed-forward e spazio di stato. La genealogia dei suoi 145 commit comprende 15 account. I partecipanti hanno inoltre pubblicato 165 riproduzioni indipendenti su 95 modelli bersaglio, senza fallimenti segnalati. L’esperimento documenta come gli agenti abbiano riutilizzato e verificato il lavoro condiviso. Per misurare l’effetto sulle scoperte per unità di calcolo serve un confronto a parità di condizioni.