AIM: gestione agentica delle idee per la ricerca automatizzata

Abstract degli autori

I modelli linguistici di frontiera sono sempre più utilizzati per automatizzare la ricerca scientifica attraverso ricerche iterative. Distinguiamo la ricerca guidata dalle idee da quella guidata dalle soluzioni e individuiamo tre sfide fondamentali: organizzare idee di ricerca in evoluzione, selezionare le direzioni più promettenti e mantenere la coerenza tra le idee e le loro implementazioni. Per affrontarle, presentiamo Agentic Idea Manager (AIM), un framework completamente autonomo per gestire ed esplorare le direzioni di ricerca nella ricerca automatizzata guidata dalle idee. Ispirato all’ottimizzazione bayesiana, AIM usa Agentic Surrogate e un meccanismo Agentic Acquisition per organizzare le idee individuate e orientarne la selezione. Solution Auditor mantiene la coerenza tra idee e soluzioni, mentre Resource Planner ripartisce in modo adattivo il budget sperimentale rimanente tra rami di ricerca paralleli. Esperimenti su 10 attività del benchmark AutoLab mostrano che AIM supera la migliore baseline di 1,6 punti percentuali nelle attività System Optimization e di 4,9 punti percentuali nelle attività Model Development & CUDA di lunga durata. AIM raggiunge inoltre le prestazioni della migliore baseline fino a 3,1 volte più rapidamente in termini di tempo effettivo. Forniamo anche un’analisi teorica delle condizioni in cui la ricerca tra le idee diventa vantaggiosa. La nostra analisi mostra che un’allocazione esplicita a livello delle idee rende direttamente controllabile la copertura semantica e che una copertura più ampia acquista sempre più valore quando le direzioni di ricerca competitive sono rare tra molte alternative plausibili. Pagina del progetto: https://imhgchoi.github.io/agentic-idea-manager/