La tua policy è segretamente un harness: la geometria decisionale delle interfacce degli agenti

Abstract degli autori

Gli agenti basati su modelli linguistici sono sottoposti a post-training e impiegati tramite un harness: l’insieme di prompt, strumenti e logica di controllo che presenta un compito al modello e ne esegue gli output. Gli harness vengono spesso modificati e valutati in base alle prestazioni di un modello già addestrato, presupponendo che ciò che il modello ha imparato con un harness valga anche per il successivo. Ci chiediamo che cosa una policy impari dal proprio harness e che cosa resti quando l’harness cambia. Nel controllo regolarizzato tramite KL, mostriamo che i log-odds di una policy ottimale rivelano quanto il suo harness favorisca ciascuna azione rispetto alle altre: una policy addestrata porta quindi con sé le preferenze del proprio harness. Il ritorno ottenuto nell’impiego è pari al limite massimo dell’harness, ossia il miglior ritorno che offre, meno il disallineamento della policy, cioè il ritorno perso a causa delle sue decisioni subottimali. L’addestramento modifica soltanto il disallineamento, mentre cambiare harness modifica entrambi i termini. Confrontare gli harness usando un modello fisso mescola dunque ciò che ciascun harness offre con la capacità del modello di sfruttarlo. In MiniWoB++, il post-training rende le preferenze di un modello specifiche dell’harness usato per addestrarlo. Invertire l’ordine dei campi dell’osservazione lascia invariate tutte le decisioni ottimali, ma riduce il tasso di successo di un modello addestrato dall’85,0% al 19,2%. Viceversa, ogni nuovo harness scartato da un confronto a modello fisso ma capace di innalzare il limite massimo supera l’agente originale dopo un ulteriore addestramento con quell’harness; il limite massimo e il disallineamento misurati in precedenza permettono di prevedere questi miglioramenti. Per gli harness di agenti di programmazione su Terminal-Bench Lite, la differenza tra il limite massimo e il disallineamento, stimata usando un modello più potente come sostituto dell’ottimo, riproduce la classifica per accuratezza, mentre nessuno dei due termini, da solo, ci riesce. Il codice è disponibile all’indirizzo https://github.com/2020-qqtcg/HRP.