Aggiungi rumore al tuo prompt: token di condizionamento rumorosi nei modelli linguistici a diffusione continua

Abstract degli autori

Riesaminiamo una prassi consolidata nella letteratura sui modelli linguistici a diffusione continua: mantenere privi di rumore, durante l’addestramento, i token del prompt usati per il condizionamento. Introduciamo una modifica molto semplice: aggiungere rumore anche a questi token durante l’addestramento. Mostriamo che, con questa funzione obiettivo modificata, otteniamo una migliore capacità di generalizzazione in compiti di ragionamento combinatorio come Sudoku e N-Queens, con i miglioramenti maggiori nelle varianti più difficili (percentuale di problemi risolti su Sudoku Hard: $3.73\% \to 24.65\%$), e una maggiore diversità delle soluzioni generate (copertura su N-Queens 10x10: $50.60\% \to 73.79\%$). Mostriamo inoltre miglioramenti misurabili nella qualità della generazione di linguaggio naturale, usando Gigaword per la sintesi di testi in contesti con dataset di dimensioni contenute. Dimostriamo però anche che i miglioramenti non si estendono a tutti i compiti di linguaggio naturale, per esempio alla generazione di dialoghi aperti. Il nostro metodo richiede la modifica di una sola riga nella funzione obiettivo di addestramento, non comporta per impostazione predefinita costi aggiuntivi in fase di inferenza e offre la flessibilità di un campionamento guidato ispirato alla classifier-free guidance. Il nostro \href{https://github.com/LateralIntelligence/noise-your-prompt} {code} è disponibile pubblicamente.