Rapporto tecnico su Fish Audio Drama 3

Abstract degli autori

Presentiamo Fish Audio Drama 3, un modello open source per la generazione vocale che trasforma il testo in interpretazioni guidate da indicazioni registiche. Si basa su un’architettura mixture-of-experts da 35 miliardi di parametri, di cui ne attiva 3 miliardi per token. Clona voci a partire da più riferimenti, segue indicazioni in linguaggio naturale, rivede una registrazione quando nel turno successivo riceve un’indicazione, dà voce a scene con più personaggi, modifica il parlato esistente completandone le parti mancanti e sintetizza audio di lunga durata e in streaming. La revisione su più turni, il doppiaggio di scene, la modifica tramite completamento delle parti mancanti e l’input di testo in streaming sono tutte novità di Drama 3, riunite in un unico modello. Drama 3 abbina l’architettura di base ibrida con attenzione lineare a un nuovo decoder audio con predizione multi-token dei codebook, che predice i codebook acustici di ciascun frame in livelli dedicati che prestano attenzione all’intera sequenza. Il modello viene addestrato con una procedura di pre-addestramento in tre fasi, fine-tuning sulle istruzioni e apprendimento per rinforzo con batch di grandi dimensioni, la cui unica ricompensa proviene da un singolo modello appreso delle preferenze umane. Su una sola H200, il suo motore di inferenza decodifica un singolo flusso a 271 frame al secondo, contro i 177 di Fish Audio S2, benché Drama 3 abbia oltre sette volte più parametri. I pesi del modello sono disponibili su GitHub (https://github.com/fishaudio/fish-speech) e Hugging Face (https://huggingface.co/fishaudio/drama-3), mentre l’inferenza è disponibile tramite SGLang-Omni (https://github.com/sgl-project/sglang-omni). Invitiamo vivamente i lettori a visitare https://fish.audio per dirigere le proprie interpretazioni.