AgentDiscover: scoperta autonoma con una struttura di supporto minima per la ricerca

Abstract degli autori

I framework che usano grandi modelli linguistici per la scoperta scientifica si affidano di solito a un algoritmo fisso, progettato da esseri umani, che decide cosa mostrare al modello a ogni passo, lasciandogli soltanto il compito di proporre. Il modello non sa nulla della ricerca oltre a ciò che gli viene mostrato. Man mano che i modelli diventano più capaci, sorge una domanda: una strategia di ricerca scelta da un essere umano prima dell’esecuzione scala meglio rispetto a dare al modello il ruolo di pianificatore, anziché di semplice proponente, e lasciargli gestire la ricerca? The Bitter Lesson suggerisce che scegliere la strategia in anticipo sia proprio il genere di struttura progettata a mano che i metodi generali finiscono per superare. Presentiamo AgentDiscover, in cui un agente di programmazione pianifica la ricerca usando il proprio contesto come memoria di lavoro, conduce esperimenti e registra ogni tentativo in un database di idee, candidati e relazioni tra loro. Il database funge da memoria a lungo termine dell’agente ed è strutturato in modo che le regole di selezione di algoritmi classici come MAP-Elites e Monte Carlo tree search si riducano ciascuna a una singola query, che l’agente è libero di usare, combinare o sostituire. Un server gestisce il database e orienta l’agente dopo ogni invio, mantenendolo sulla giusta rotta anche nelle esecuzioni lunghe. Nei nostri esperimenti, AgentDiscover è più efficiente in termini di costi rispetto ai framework esistenti e raggiunge punteggi migliori a costi inferiori. In compiti di ingegneria dei kernel, biologia, progettazione di algoritmi e matematica, AgentDiscover supera i precedenti framework per la scoperta. I suoi programmi si sarebbero classificati al primo posto tra i partecipanti umani in sette precedenti contest euristici di AtCoder e, in undici compiti di ottimizzazione matematica e dei sistemi, eguaglia o supera tutti i metodi di riferimento che usano lo stesso modello. Il nostro codice è disponibile all’indirizzo https://github.com/mhdfb/AgentDiscover.