TinyAstral: trasferire harness autoevolutivi a piccoli agenti generalisti per la manipolazione

Abstract degli autori

Gli agenti robotici basati su modelli visione-linguaggio dipendono sia dal pianificatore sia dal suo harness: dagli strumenti, dal feedback, dalla memoria e dalla logica di recupero che lo circondano. È possibile trasferire i miglioramenti apportati all’harness di un grande modello insegnante a un agente compatto, con un costo computazionale inferiore in inferenza? Presentiamo TinyAstral, un approccio in due fasi. Per prima cosa, manteniamo congelato un modello insegnante a pesi aperti e ne miglioriamo l’harness tramite auto-miglioramento ricorsivo (RSI): agenti LLM di frontiera esaminano le traiettorie del modello insegnante e propongono modifiche all’harness, accettate solo se superano un test statistico appaiato. Congeliamo poi l’harness finale, raccogliamo le traiettorie del modello insegnante con il ragionamento e il recupero dagli errori e distilliamo un piccolo modello student che sostituisce l’insegnante nello stesso harness. Su RoboTwin, l’evoluzione dell’harness porta il tasso di successo del modello insegnante dal 33,4% al 63,6%; il modello student finale da 4B raggiunge il 62,8%. Nelle quattro versioni dell’harness, i modelli student distillati da 4B ottengono punteggi vicini a quelli dei rispettivi modelli insegnanti, e le versioni successive producono modelli student più forti: un risultato che mostra come i vantaggi dell’evoluzione dell’harness si trasferiscano ai modelli compatti. I vantaggi dell’harness si trasferiscono anche ad altri pianificatori congelati, senza riaddestramento. Sugli stessi episodi, il modello student finale da 4B supera gli agenti open da 4B, il modello open da 27B con harness-RSI SenseNova-RoboRSI e il nostro stesso modello insegnante inserito negli harness di tre concorrenti. Mantiene prestazioni vicine a quelle del modello insegnante su tutti e tre i benchmark di addestramento e, su tre benchmark mai usati per RSI o per l’addestramento, ottiene un punteggio vicino a quello di un pianificatore da 552B che esegue lo stesso harness. Negli episodi di deployment misurati, usa circa un quinto del tempo di acceleratore del modello insegnante.