Verso l’automiglioramento ricorsivo nell’IA fisica

Abstract degli autori

L’automiglioramento ricorsivo (RSI) descrive un sistema che migliora non solo il proprio comportamento, ma anche il processo con cui si migliora. Recenti agenti digitali mettono alla prova questa idea riscrivendo il proprio codice e verificando ogni versione con test eseguibili. Portare questi meccanismi nel mondo fisico richiede di apprendere da osservazioni parziali attraverso prove costose, tenendo conto delle variazioni delle condizioni operative e di conseguenze potenzialmente irreversibili. Collochiamo l’RSI nell’ambito dell’apprendimento robotico e tracciamo i percorsi che portano dal miglioramento delle capacità dei robot al miglioramento dei processi che le generano. Esaminiamo come l’esperienza fisica possa rafforzare questi meccanismi di miglioramento e quando i progressi che ne derivano possano sostenere un ulteriore automiglioramento dei meccanismi stessi. I progressi si trasferiscono alle fasi successive solo se il feedback risponde alle esigenze di apprendimento ancora presenti, il componente che riceve il cambiamento è in grado di utilizzarlo, il suo valore si mantiene al variare dei compiti o dell’hardware e continuare a fare pratica rimane sicuro e sostenibile nei costi. Gli studi esistenti, concentrati sulla manipolazione, documentano miglioramenti del comportamento, benefici per l’apprendimento successivo e miglioramenti delle procedure. Alcuni sistemi modificano anche le conoscenze o gli strumenti di chi attua il miglioramento, ma gli studi sul mondo fisico qui esaminati non hanno ancora isolato progressi attribuibili alla ricorsione. Sintetizziamo questi risultati in principi di valutazione e direzioni di ricerca per macchine che, prova dopo prova, migliorino in sicurezza il modo in cui si migliorano.