The Pulse
NVIDIA addestra gli agenti a riprendersi dagli errori iniziali con PivotOPD
NVIDIA ha presentato PivotOPD, un metodo di addestramento che insegna agli agenti di IA impegnati in compiti a più turni a evitare gli errori decisivi e a riprendersi quando si verificano. Nei test, il metodo ha permesso di recuperare dal 7
AI.info Team · Scritto con l’IA ·
«Questi errori decisivi restano spesso recuperabili: guidare il modello per appena pochi turni dopo quello decisivo può consentire di portare a termine il compito».
Yinghui He et al., «PivotOPD»
Il 9 ottobre NVIDIA AI ha presentato PivotOPD su LinkedIn, descrivendolo come un metodo progettato per insegnare agli agenti linguistici sia a evitare un errore iniziale sia a riprendersi qualora si verifichi. L’articolo di ricerca alla base del post è apparso su arXiv il 30 settembre. Gli autori sono affiliati alla Princeton University, a NVIDIA e alla University of Maryland.
PivotOPD affronta uno schema di errore nei compiti a più turni: un agente compie un’azione dannosa, l’ambiente cambia e le decisioni successive si basano sul nuovo stato. Anziché addestrare il modello soltanto sui risultati positivi o sulle risposte campionate dall’agente stesso, il metodo aggiunge indicazioni di un modello insegnante al momento dell’errore e nei turni successivi.
Come PivotOPD insegna a riprendersi
Un modello insegnante esamina la traiettoria completata da un agente e individua i turni in cui un’azione migliore avrebbe potuto mantenere il compito sulla strada giusta. Per prevenire l’errore, il metodo addestra il modello studente a scegliere l’azione proposta dall’insegnante in quel turno. Per il recupero, un «modello auto-insegnante privilegiato» — il modello studente a cui viene fornito un suggerimento nel prompt — genera risposte che insegnano allo studente come procedere dallo stato creato dall’errore.
I due tipi di distillazione usano segnali di addestramento diversi e si integrano nell’aggiornamento tramite apprendimento per rinforzo. La distinzione conta perché un’azione di recupero può essere così improbabile che lo studente non la sceglie mai durante il normale addestramento. Secondo gli autori, nella loro analisi la distillazione on-policy standard ha ridotto gli insuccessi complessivi, ma ha inciso appena su quelli successivi a un errore decisivo.
Molti insuccessi in ALFWorld dipendevano da errori iniziali
In un’analisi condotta con l’oracolo simbolico di ALFWorld, il 59% delle esecuzioni fallite di tre modelli Qwen3 conteneva un errore decisivo: un’azione che allungava il percorso ottimale rimanente o rendeva il compito irrisolvibile. Il primo errore di questo tipo compariva generalmente tra il turno 8 e il turno 12, in termini di mediana, in un episodio di 30 turni, lasciando ancora gran parte dell’esecuzione. In 72 traiettorie fallite di Qwen3-8B, correggere l’azione decisiva nella riproduzione ha portato il tasso di successo dall’8% al 59%; guidare soltanto i due turni successivi ha permesso di raggiungere il 58%.
PivotOPD ha consentito di recuperare dal 72,7% di quei 72 errori riprodotti, contro l’8,3% del modello di base e il 20,3% della distillazione on-policy standard. Secondo il gruppo di ricerca, ha migliorato il recupero in 60 dei 72 casi senza peggiorarlo in nessuno. Il risultato misura le prestazioni su errori riprodotti intenzionalmente ed etichettati dall’oracolo, non la quota di errori da cui un agente si riprenderà in compiti dal vivo di qualsiasi tipo.
I miglioramenti nei benchmark includono un test più circoscritto sul software
Su ALFWorld, WebShop e Search-based QA, i ricercatori riportano i migliori risultati medi rispetto a 13 baseline sia per il modello studente Qwen3-1.7B sia per Qwen3-8B. Con il modello più piccolo, PivotOPD ha superato la baseline più forte del 5,5% su ALFWorld e del 5,9% su Search-based QA. Il gruppo riferisce inoltre un miglioramento del 14,1% nel tasso di completamento dei compiti di WebShop rispetto a RLSD, insieme a un incremento più contenuto, dell’1,2%, nel punteggio.
Gli autori hanno verificato il trasferimento all’ingegneria del software con un modello studente Nemotron-3.5-SFT su SWE-Bench Verified. Il suo tasso di risoluzione è salito dal 62,8% al 66,0% con PivotOPD, mentre la distillazione standard dallo stesso modello insegnante lo ha portato al 63,0%. I ricercatori precisano però che l’esperimento su SWE-Bench ha usato soltanto la distillazione preventiva: il risultato dimostra quindi il trasferimento della capacità di evitare gli errori, non di riprendersi da essi; la pagina del progetto di NVIDIA indica che il codice arriverà prossimamente.