La scalabilità verso l’AGI dipende da ciò che System-1 consente a System-2 di eseguire?

Abstract degli autori

I progressi verso l’intelligenza artificiale generale (AGI) si sono basati in larga misura sullo scaling di un esecutore ad alto consumo di risorse, System-2, attraverso modelli più grandi, più dati e capacità di calcolo, ragionamenti più lunghi e un numero maggiore di agenti. Ci chiediamo se la fase successiva possa derivare invece dalla progettazione congiunta di System-2 e System-1, un predittore leggero e consapevole del significato, che valuta le interazioni candidate prima dell’esecuzione, in modo che System-2 agisca solo su quelle che valgono il costo. La nostra risposta è sì, con alcune riserve. Studiamo l’\textit{interazione condizionale}, un ciclo di predizione--filtro--esecuzione--aggiornamento: System-1 stima l’utilità di ciascuna interazione candidata, System-2 esegue quelle ammesse da una soglia adattiva e i risultati aggiornano System-1. Il ciclo si applica all’addestramento, al ragionamento in fase di test, al processo decisionale adattivo e all’uso agentico degli strumenti, con utilità e costo definiti dall’applicazione. In condizioni di selezione ideale e a parità di costi di esecuzione, il calcolo dedicato all’esecuzione diminuisce di un fattore che si avvicina a $1/ρ_u$, dove $ρ_u$ è la densità delle interazioni rilevanti per l’utilità (ponderata per i costi quando questi differiscono); gli errori di previsione, l’esplorazione e il cambiamento della distribuzione riducono il risparmio. Poniamo un limite superiore al regret di selezione in funzione dell’errore del predittore e del margine di utilità. Questi risultati motivano la nostra ipotesi centrale: $ρ_u$ è una coordinata misurabile dell’efficienza di scaling e fa del calcolo informativo una descrizione della scalabilità più efficace rispetto al calcolo totale.