Gli scienziati basati sull’IA possono coordinarsi durante l’esecuzione?

Abstract degli autori

Gli scienziati basati sull’IA e composti da più agenti hanno mostrato prestazioni in miglioramento in una varietà di compiti. Un approccio comune, però, è l’orchestrazione degli agenti definita in fase di progettazione, che in genere si basa su flussi di lavoro fissi. Gli scienziati umani, invece, si coordinano e modificano la ripartizione del lavoro durante l’esecuzione. Ci chiediamo quindi: anche gli scienziati basati sull’IA possono coordinarsi durante l’esecuzione? A questo scopo, introduciamo Runtime Agent Coordination (RAC), che seleziona agenti dagli host esistenti di scienziati basati sull’IA durante l’esecuzione, assegna contratti operativi con un ambito definito e fornisce una verifica basata sugli artefatti. La verifica fornisce informazioni agli agenti successivi senza bloccare i passaggi né scartare gli artefatti. Conduciamo una valutazione esplorativa con un solo seed su Agent Laboratory, EvoScientist e ARK, usando ResearchClawBench e mantenendo i modelli, gli strumenti e le autorizzazioni di ciascun host entro budget calibrati per l’host. Quattro condizioni cumulative distinguono l’esecuzione nativa, la comunicazione durante l’esecuzione, la selezione durante l’esecuzione e l’aggiunta congiunta di contratti e verifica. La selezione durante l’esecuzione produce il punteggio medio osservato più alto per ciascun host; l’aggiunta di contratti e verifica riduce queste medie, con esiti che variano a seconda dell’host rispetto all’esecuzione nativa. Questi risultati sostengono il coordinamento durante l’esecuzione, ma mettono anche in luce i limiti di ulteriori meccanismi di coordinamento con budget limitati. Il codice è disponibile all’indirizzo https://github.com/systemind-team/Runtime-AI-Scientist.