Intervention-Certified Amplification: un filtro di validità per il post-training pesato con $σ$

Abstract degli autori

Il post-training ibrido combina spesso il fine-tuning supervisionato (SFT) e l’apprendimento per rinforzo (RL), usando segnali ricavati dall’addestramento per stabilire il peso di ciascuno dei due metodi per ogni campione. Questi segnali descrivono i dati dell’ancora e la policy, ma non indicano se il comportamento a cui si dà più peso sia utile nel compito e nel contesto di valutazione previsti. Questa discrepanza può riattivare e amplificare un comportamento appreso durante il preaddestramento anche dopo che la sua forma letterale è stata rimossa dalla supervisione. Lo dimostriamo con DIAA (Dual-Implicit Adversarial Amplification), un metodo ibrido SFT/RL pesato con $σ$ per ogni campione. Anche dopo la rimozione dall’ancora di tutti i delimitatori letterali dei blocchi Python, DIAA genera Tool-Integrated Reasoning (TIR) non eseguito per il $29%$ dei prompt di MATH-500, una frequenza tripla rispetto a GRPO standard. Interventi appaiati mostrano un recupero di $10.6$ punti percentuali di accuratezza quando il TIR viene soppresso, e contributi comparabili da parte dell’imitazione SFT e dell’amplificazione tramite $σ$; un modello studente addestrato su un’ancora del modello insegnante con $0%$ di TIR lo genera nel $45.8%$ dei casi. Intervention-Certified Amplification (ICA) subordina l’uso di $σ$ alle evidenze relative al compito bersaglio ricavate da rollout appaiati. Le versioni statica e online di ICA riducono il TIR rispettivamente al $13.8%$ e all’$11.2%$, dimezzano l’impatto negativo residuo, portano l’accuratezza dal $47.5%$ al $48.7%$ e al $49.3%$ e si trasferiscono a GSM8K, tenuto da parte, senza ulteriori aggiustamenti.