RSI-Anything: sbloccare l’automiglioramento ricorsivo con i modelli del mondo

Abstract degli autori

L’automiglioramento ricorsivo (RSI) mira a trasformare l’esperienza acquisita attraverso le interazioni in miglioramenti duraturi, ma ottenere feedback esterno è costoso e le previsioni dei modelli del mondo possono diventare inaffidabili man mano che le policy evolvono. Presentiamo RSI-Anything, un framework applicabile a diversi ambiti, basato su JEPA-Anything, che usa modelli predittivi del mondo per guidare le azioni e la selezione dei dati per l’apprendimento. Il feedback osservato guida il miglioramento della policy o del flusso di lavoro e, a determinate condizioni, l’adattamento del modello del mondo; le verifiche dei componenti e della compatibilità determinano invece se conservare le coppie policy-modello aggiornate. RSI-Anything mostra miglioramenti sostanziali in diversi ambiti computazionali e scientifici. Nella correzione del codice, mantenendo invariato il componente che scrive il codice, la percentuale di successo passa dal 26,3% con un verificatore statico al 29,2% grazie alla selezione predittiva e al 31,2% dopo l’adattamento del modello del mondo, con un utilizzo dei test comparabile. Nelle valutazioni delle interfacce grafiche (GUI), il completamento delle attività aumenta, mentre il numero medio di azioni diminuisce del 39,4%. Nell’arco di cinque versioni successive della policy, i punteggi nella pianificazione di laboratorio più che raddoppiano, passando dal 21,80% al 46,01%. Nell’ottimizzazione delle reazioni, RSI-Anything raggiunge una media delle migliori rese osservate del 96,15%, contro l’82,16% dell’ottimizzazione bayesiana con lo stesso limite di 40 esperimenti. Un’applicazione end-to-end nelle scienze immunitarie collega inoltre l’evoluzione del flusso di lavoro e la modellazione predittiva alla generazione di ipotesi terapeutiche. Questi risultati mostrano come i modelli predittivi del mondo e gli aggiornamenti del sistema conservati consentano un miglioramento ricorsivo in ambienti diversi.