Controllo della lunghezza in caratteri senza addestramento nella sintesi con modelli linguistici di diffusione

Abstract degli autori

La sintesi con una lunghezza fissa in caratteri è importante per attività come la generazione di titoli e anteprime di articoli, in cui il testo deve rientrare in uno spazio preciso. I modelli linguistici autoregressivi (LM) faticano a controllare con precisione la lunghezza in caratteri: i metodi basati sull’addestramento richiedono un fine-tuning specifico per l’attività, mentre le strategie di prompting zero-shot ottengono solo un rispetto approssimativo dei vincoli. Proponiamo DELTA (Diffusion Expected Length Targeting Algorithm), un metodo senza addestramento applicato in fase di inferenza per i modelli linguistici a diffusione mascherati, che stima la lunghezza attesa in caratteri a ogni passaggio di denoising e inserisce o rimuove dinamicamente posizioni mascherate per orientare il testo verso una lunghezza obiettivo. DELTA non richiede fine-tuning ed è progettato per modelli linguistici a diffusione mascherati disponibili senza modifiche. Su tre benchmark di sintesi, riduce di un ordine di grandezza gli errori nella lunghezza in caratteri rispetto ai metodi di base, mantenendo al contempo una qualità delle sintesi competitiva sia nelle valutazioni automatiche sia in quelle umane.