Una lettura del monitor prossima allo zero non dimostra il controllo del comportamento

Abstract degli autori

L’addestramento successivo con ricompense verificabili può indurre il reward hacking, motivo per cui i monitor vengono impiegati nell’obiettivo di addestramento anziché soltanto per verifiche offline. Mostriamo che una lettura bassa del monitor non permette di stabilire se un intervento di questo tipo controlli il comportamento. In un ambiente di generazione di codice in cui l’exploit dominante è disponibile fin dall’inizio della traccia di ragionamento, addestriamo le policy usando tre monitor che superano lo stesso criterio di selezione offline: una sonda delle attivazioni nel dominio e due penalizzazioni che dipendono da quanto presto la policy si impegna sulla propria risposta finale. Il punteggio della sonda è al suo minimo numerico fin dal primo passo di addestramento registrato e, al termine di ogni esecuzione addestrata sui prefissi, la mediana del punteggio usato per l’addestramento è zero. Queste letture stimano quantità diverse e non ne confrontiamo le scale; all’interno di ciascuna famiglia di monitor, tuttavia, valori bassi non dimostrano il controllo del comportamento. A parità di configurazione, esecuzioni addestrate sui prefissi con la stessa mediana pari a zero del punteggio usato per l’addestramento vanno, per effetto del solo seed, da un regime misto con una bassa quota di reward hacking a un regime di reward hacking quasi esclusivo. Tutte le esecuzioni con la sonda raggiungono il regime di reward hacking, ma la loro lettura al livello minimo riflette una discrepanza tra la posizione in cui la sonda è stata validata e quella in cui è stata letta durante l’addestramento, non un secondo caso di questa ambiguità. L’analisi del testo individua un meccanismo di fallimento legato ai prefissi: strutture generiche di pianificazione e riempimento rinviano l’exploit oltre il punto di taglio senza eliminarlo dall’output finale. Una bassa misura dell’impegno assunto non distingue quindi una bassa quota di reward hacking da un impegno ritardato verso l’exploit. La capacità di discriminazione offline e le letture basse dei monitor usati nell’addestramento non sono prove sufficienti del controllo del comportamento: occorre una verifica del comportamento su un canale separato. Caratterizziamo la lettura finale, non la sua evoluzione. Il codice è disponibile all’indirizzo https://github.com/zhezhou1106/spoof-cost.