Il feedback autogenerato destabilizza l’addestramento in fase di test: una scomposizione causale dell’adattamento su lunghi orizzonti

Abstract degli autori

L’addestramento in fase di test (TTT) permette a un modello di memorizzare informazioni nei propri pesi durante l’inferenza. Quando però il modello apprende dai propri output, ogni aggiornamento modifica anche il modello che genera l’esempio di addestramento successivo. Su flussi di 128K token, conservare gli aggiornamenti basati sul testo generato peggiora la capacità di predire testo indipendente scritto da esseri umani in tre configurazioni del modello TTT-E2E (etichettate 125M, 760M e 3B). Lo stesso problema si verifica quando Adam aggiorna i pesi esistenti di Qwen3-4B. Gli stessi meccanismi di aggiornamento possono migliorare le prestazioni su testo reale: non è quindi la scrittura in sé a causare il problema. Tre confronti a parità di condizioni ne ricostruiscono il percorso causale. Fixed Generation elimina oltre il 98% del danno a 125M e 760M usando un modello con pesi congelati per generare porzioni di testo destinate all’addestramento. Recorded Replay distingue la perdita causata dalla lettura di testo deteriorato dalla perdita aggiuntiva incorporata nei pesi aggiornandoli su quel testo. Un confronto tra due casi appaiati, ciascuno con un solo aggiornamento, mostra poi il conflitto locale: l’aggiornamento migliora la predizione del testo da cui deriva, ma peggiora quella di nuovo testo reale. Questo costo aumenta dopo l’adattamento Closed Loop, e poche traiettorie sono responsabili della maggior parte dei fallimenti più gravi. Infine, Settlement valuta lo stato candidato su testo reale indipendente prima di adottarlo. Gli scarti medi al termine sono di 0,07 e -0,02 nat a 125M e 760M, pur mantenendo l’adattamento al testo reale. Questi risultati suggeriscono di verificare la capacità di predizione su dati indipendenti prima di conservare un aggiornamento.