X-AuT: compressione progressiva dell’encoder audio per i modelli linguistici di grandi dimensioni per il parlato mediante distillazione tra scale

Abstract degli autori

Ridurre la profondità dell’encoder audio abbassa il costo dell’inferenza nei modelli linguistici di grandi dimensioni per il parlato, ma rimuovere interi blocchi altera gli embedding utilizzati dal decoder e può causare errori di cancellazione e di fine sequenza prematura. Presentiamo X-AuT, un metodo progressivo che seleziona combinazioni di livelli mediante brevi test comportamentali e recupera le prestazioni del modello potato attraverso l’allineamento delle rappresentazioni, la distillazione tra scale, la supervisione programmata basata sulla policy dello studente e il fine-tuning con LoRA. La struttura portante del modello linguistico rimane congelata, mentre gli adattatori LoRA dell’attenzione e l’embedding di output con pesi condivisi si adattano durante la distillazione. L’addestramento utilizza la fascia con il più alto grado di concordanza di una procedura di verifica della coerenza delle trascrizioni, seguita da una riponderazione delle fonti durante il fine-tuning. Su dieci benchmark pubblici per il cinese e l’inglese, comprimere Qwen3-ASR-0.6B da 18 a 16 livelli dell’encoder audio riduce l’errore macro-medio dal 5,61% al 5,27%. Il modello a 14 livelli raggiunge il 5,75% con il 20,7% di parametri in meno nella componente audio. A parità di procedura, il modello insegnante 1.7B ottiene un errore medio del 5,55%, contro l’8,45% della self-distillation, e la potatura progressiva 18$\rightarrow$14 supera quella diretta (5,75% contro 6,73%). Questi risultati, ottenuti da una singola esecuzione, individuano due opzioni pratiche e mostrano che gli effetti sull’accuratezza variano da un benchmark all’altro. Sito web del progetto: https://xpeng-ai.github.io/x-aut