DAGLoop: allineare la progettazione dei metodi ai risultati sperimentali nella ricerca automatizzata sull’IA

Abstract degli autori

Gli agenti di ricerca automatizzata sull’IA puntano a migliorare i metodi di apprendimento automatico proponendo, implementando e valutando iterativamente metodi candidati. I lavori esistenti usano il risultato di ogni valutazione per stabilire come modificare il candidato successivo allo scopo di migliorarne le prestazioni. Un candidato, però, combina spesso più scelte progettuali, e il suo risultato complessivo non rivela, da solo, quali scelte abbiano prodotto gli effetti attesi, se siano state soddisfatte le condizioni necessarie per ciascuna di esse o quali scelte vadano mantenute o riviste. Ispirandoci agli studi di ablazione nella comunità dell’apprendimento automatico, proponiamo DAGLoop per verificare l’effetto atteso di una scelta progettuale confrontando implementazioni che la includono e che la escludono, mantenendo le altre scelte da cui dipende. Nello specifico, DAGLoop traduce la motivazione di ogni scelta progettuale in un’aspettativa verificabile e la associa a un esperimento mirato, formando una specifica sperimentale per valutare l’effetto atteso alle condizioni richieste. Usando queste specifiche, formuliamo la pianificazione degli studi di ablazione come la costruzione di un grafo aciclico orientato (DAG) a partire dalla progettazione del metodo candidato: i nodi associano le scelte ai test, mentre gli archi codificano le dipendenze. Il DAG specifica quali scelte ogni esperimento debba mantenere e consente test congiunti quando un effetto atteso richiede che più scelte agiscano insieme. I risultati vengono registrati insieme alle scelte sottoposte a test, alle aspettative e alle condizioni, formando una memoria di ricerca strutturata. Questa memoria guida l’agente nel mantenere le scelte corroborate dagli esperimenti, rivedere quelle che non lo sono e pianificare ulteriori esperimenti quando le evidenze non sono conclusive. Esperimenti condotti su decine di compiti di ricerca dimostrano i sostanziali miglioramenti delle prestazioni ottenuti da DAGLoop in diversi contesti di ricerca eseguibili. Il codice e gli script di valutazione sono disponibili all’indirizzo https://github.com/deng34567/DAGLoop.