DuoDiscover: ampliare la scoperta autonoma oltre il collo di bottiglia della valutazione

Abstract degli autori

La valutazione ha avuto un ruolo centrale nei progressi dell’IA ed è altrettanto cruciale per la scoperta autonoma. Ma applicare la scoperta autonoma su scala più ampia ai problemi ingegneristici del mondo reale incontra un ostacolo fondamentale: il costo di valutare i progressi. In contesti reali, una singola valutazione effettiva, come un benchmark completo o una traccia di serving, può richiedere ore; una ricerca può quindi permettersene solo una manciata. Presentiamo DuoDiscover, un sistema di ricerca che individua insieme che cosa ottimizzare e come valutare i progressi in modo efficiente, attraverso tre meccanismi. Primo, ciascun agente di una flotta di agenti di programmazione individua congiuntamente un obiettivo di ottimizzazione e un valutatore proxy rapido e su misura, che chiamiamo yardstick. L’agente conduce poi una ricerca in salita sullo yardstick anziché sulla valutazione effettiva. Secondo, poiché la ricerca può sfruttare le discrepanze tra uno yardstick e l’obiettivo reale, test di fedeltà verificano continuamente le classifiche prodotte da ciascuno yardstick e invalidano quelli che si discostano. Terzo, la flotta opera dal basso verso l’alto, senza una scomposizione centrale del problema. Un orchestratore leggero avvia e termina gli agenti, aggiorna quelli in attività e fornisce ai nuovi agenti come punto di partenza il lavoro confermato degli altri. DuoDiscover rende possibile l’ottimizzazione autonoma, dal software all’architettura dei chip. Lo dimostriamo su due benchmark a livello di repository e quattro suite di kernel per GPU e TPU, che comprendono centinaia di kernel. Su SWE-fficiency, raddoppia l’accelerazione media ottenuta dagli esperti umani. Su SOL-Exec, si classifica al primo posto per 121 dei 235 kernel e tra i primi tre per 212. Sui motori vLLM e SQLite, già fortemente ottimizzati, DuoDiscover ottiene miglioramenti di 1,92$\times$ e 1,38$\times$ rispetto al codice di base. In un compito di ottimizzazione della microarchitettura di una CPU, con valutazioni che richiedono fino a 28 ore, DuoDiscover supera sia ArchAgent v2, basato su AlphaEvolve, sia il miglior progetto umano: in 16,7 giorni ottiene un miglioramento pari a 1,65$\times$ quello di ArchAgent v2, contro oltre 40 giorni, spostando in avanti la frontiera della progettazione autonoma di chip.