Costruire team di ricercatori IA per la scoperta autonoma di architetture di attenzione lineare

Abstract degli autori

Gli agenti autonomi sono sempre più in grado di proporre idee, modificare codice e condurre esperimenti, aprendo la possibilità di accelerare la scoperta scientifica con team di ricercatori IA che collaborano tra loro. Per uscire dai minimi locali nel processo di scoperta, proponiamo di favorire un’esplorazione ortogonale formando team di agenti con competenze diverse. Per realizzare questo approccio, tuttavia, non bastano formazioni diverse. Quando gli esperimenti sono costosi, un team può mettere alla prova solo un numero limitato di idee: nella scelta del sottoinsieme di ricercatori che proporranno e condurranno nuovi esperimenti, occorre quindi bilanciare esplorazione e sfruttamento. Inoltre, ogni risultato dovrebbe orientare i tentativi successivi del team. Ci chiediamo dunque come ricercatori IA con formazioni scientifiche diverse possano basarsi sui risultati gli uni degli altri e continuare a progredire con un budget sperimentale limitato. Per affrontare queste sfide, formiamo un team stabile di ricercatori IA, ciascuno radicato in una disciplina diversa, che conservano cronologie private delle proprie ricerche, condividono evidenze sperimentali e ricevono opportunità di ricerca attraverso un’assegnazione adattiva. Dimostriamo l’efficacia di questo approccio impiegando il team nella ricerca di architetture di attenzione lineare: su una scala di 1,3B, il team supera GDN2 nella modellazione del linguaggio, nel ragionamento basato sul senso comune e nei compiti di recupero delle informazioni, sia sintetici sia del mondo reale. Nei confronti controllati, la rimozione di un qualsiasi singolo componente organizzativo del nostro approccio porta a scoperte nettamente più deboli: senza formazioni disciplinari diverse, la ricerca raggiunge presto un punto di stallo; senza cronologie private, i ricercatori compiono meno progressi pur disponendo delle stesse evidenze condivise; e, a parità di budget, la selezione uniforme ottiene risultati inferiori all’assegnazione adattiva. Questi risultati suggeriscono che la scoperta autonoma duratura dipende non solo da agenti più capaci, ma anche da chi esplora, da ciò che ricorda e da come viene ripartito l’impegno di ricerca.