The Pulse

LG AI Research usa gli LLM per riprogettare le interfacce dell’apprendimento per rinforzo

LG AI Research ha presentato LOAM, un framework che usa modelli linguistici di grandi dimensioni per generare modelli di osservazione e di azione per agenti di apprendimento per rinforzo. Nei compiti robotici simulati, il team riferisce che

AI.info Team · Scritto con l’IA · verificato · 2026-10-27

Il 26 ottobre, LG AI Research ha descritto un sistema che chiede a modelli linguistici di grandi dimensioni di progettare l’interfaccia tra un agente di apprendimento per rinforzo e il suo ambiente simulato. Il framework, chiamato LOAM, genera le funzioni che determinano quali informazioni riceve un agente e come le sue decisioni diventano comandi per un robot. Il lavoro affronta una parte dell’apprendimento per rinforzo che spesso resta progettata manualmente, anche mentre i ricercatori automatizzano la progettazione delle ricompense.

LOAM cambia ciò che l’agente vede e controlla

Gli agenti di apprendimento per rinforzo imparano agendo in un ambiente e usando il feedback per migliorare le proprie decisioni. Le loro prestazioni dipendono non solo dall’algoritmo di apprendimento o dalla ricompensa, ma anche dallo spazio delle osservazioni — le informazioni a disposizione dell’agente — e dallo spazio delle azioni, che definisce le decisioni che può prendere. Nei compiti complessi, spesso sono le persone a scegliere manualmente questi input e controlli.

LOAM usa gli obiettivi e le condizioni di conclusione di un compito, la struttura del robot e le descrizioni delle variabili disponibili per generare funzioni Python per l’osservazione e l’azione. Una funzione trasforma i dati grezzi del simulatore in caratteristiche che la policy può utilizzare; l’altra traduce l’output della policy in comandi che l’ambiente può eseguire. Le funzioni generate si innestano sull’ambiente esistente, consentendo ai ricercatori di mantenere il proprio algoritmo di apprendimento per rinforzo.

LG AI Research fa risalire il lavoro a un progetto di pianificazione industriale avviato nel 2022 presso il centro di cracking della nafta di LG Chem a Daesan. Il team afferma che comprendere l’impianto e tradurre le decisioni degli operatori in osservazioni, azioni e ricompense ha richiesto più lavoro che implementare e addestrare l’algoritmo di apprendimento per rinforzo. L’esperienza ha messo in luce un problema di progettazione ricorrente: decidere di quali variabili operative abbia bisogno un agente e quali scelte gli debba essere consentito compiere.

Oltre tre volte più rapido nei test di locomozione

LG AI Research ha valutato LOAM con FastTD3, un algoritmo di apprendimento per rinforzo, su HumanoidBench e su compiti in Isaac Lab. Nei compiti stand, walk e run di HumanoidBench, LOAM ha raggiunto ricompense elevate oltre tre volte più rapidamente rispetto all’ambiente FastTD3 del benchmark progettato manualmente, afferma l’azienda. Il suo blog riferisce inoltre un apprendimento più rapido o prestazioni finali superiori nella maggior parte degli altri compiti esaminati, senza sostenere che LOAM abbia prevalso in tutti.

Gli autori dell’articolo riassumono così il risultato più generale: Le valutazioni empiriche su HumanoidBench e Isaac Lab dimostrano che LOAM supera sistematicamente i modelli di riferimento progettati manualmente sia nella velocità di apprendimento sia nelle prestazioni asintotiche. Deunsol Yoon et al., “Designing Observation and Action Models for Efficient Reinforcement Learning with LLMs,” Proceedings of Machine Learning Research.

Gli esperimenti hanno riguardato 12 compiti di HumanoidBench, dalla locomozione alla manipolazione di oggetti, e tre compiti di manipolazione in Isaac Lab. I test in Isaac Lab includevano un braccio robotico Franka che sollevava un cubo e apriva un cassetto, oltre a una mano Allegro che riorientava un cubo. I risultati riportati provengono da simulazioni; il post non presenta un’implementazione su un robot fisico.

LOAM-Race dedica il tempo di addestramento ai progetti promettenti

Gli LLM possono produrre funzioni di osservazione e di azione diverse a partire dallo stesso prompt, e queste differenze di progettazione possono influire sull’apprendimento di una policy. Testare ogni candidato fino alla convergenza della relativa policy richiederebbe molto tempo di simulazione e addestramento. LOAM-Race affronta questo costo mettendo in competizione i progetti candidati durante un processo di addestramento condiviso.

Dopo brevi prove iniziali, LOAM-Race usa le prestazioni e la curva di apprendimento di ciascun candidato per stimarne il potenziale successivo. La regressione ridge bayesiana aiuta il sistema a tenere conto dell’incertezza oltre che delle prestazioni previste, orientando la scelta dei candidati a cui assegnare la successiva quota di risorse per l’addestramento. L’approccio può limitare le risorse spese per progetti poco promettenti, preservandole per candidati che potrebbero migliorare in seguito.

Questa ripartizione comporta un compromesso: poiché LOAM-Race suddivide l’addestramento tra i candidati, all’inizio può apprendere più lentamente di un singolo progetto LOAM. Secondo quanto riferisce LG, il metodo di competizione ha aiutato in compiti come Cube e Insert_small, nei quali la qualità dei progetti generati variava, mentre il compito Package è rimasto difficile per tutti i metodi testati. L’azienda indica la manipolazione complessa su orizzonti temporali lunghi come un ambito che richiede ulteriore lavoro.

L’uso su robot reali resta un obiettivo dichiarato

LG AI Research afferma di voler estendere LOAM ai robot domestici e a quelli impiegati nella produzione. Tra i prossimi passi proposti figurano la preparazione delle specifiche dei robot, delle API degli ambienti e dei documenti relativi ai compiti in formati utilizzabili da un LLM, seguita dalla verifica in simulazione dei modelli generati quanto a eseguibilità del codice, plausibilità fisica e sicurezza.

Per ora, le evidenze relative a LOAM sostengono la progettazione automatizzata delle interfacce nei benchmark simulati esaminati, non una sostituzione generale degli esperti di robotica né un percorso dimostrato verso un impiego sicuro su robot fisici. Il risultato immediato è più circoscritto e misurabile: in tre compiti di locomozione umanoide, le funzioni di osservazione e di azione generate da un modello linguistico hanno aiutato FastTD3 a raggiungere ricompense elevate in meno di un terzo del tempo di apprendimento del modello di riferimento.