Un’introduzione ai modelli generativi per l’audio musicale

Abstract degli autori

La generazione di audio musicale comprende clip strumentali, canzoni complete con parti vocali, modifiche a registrazioni esistenti e sistemi che suonano in tempo reale insieme a un musicista. Questa monografia illustra i metodi alla base di questi sistemi per lettori che conoscono l’addestramento delle reti neurali ma sono alle prime armi con la generazione musicale. Presenta codec audio neurali e autoencoder, modelli autoregressivi e di token mascherati, diffusione e flow matching, accelerazione del campionamento e ottimizzazione basata sulle preferenze, usando una notazione comune. Esempi svolti collegano gli obiettivi di addestramento e le procedure di campionamento ai sistemi descritti nelle pubblicazioni. Le sezioni sulle applicazioni mettono in relazione i requisiti musicali della generazione strumentale, delle canzoni, dell’editing e delle esibizioni dal vivo con la progettazione dei modelli. Le tabelle comparative riportano rappresentazioni, metodi, input, compiti e informazioni sul rilascio documentati in articoli e fonti ufficiali. La composizione simbolica, il parlato e gli effetti sonori sono inclusi quando hanno un legame con l’audio musicale. Spieghiamo come interpretare le metriche automatiche e i valutatori appresi, progettare e descrivere test di ascolto e valutare le prove relative alla provenienza dei dati, alla memorizzazione, all’attribuzione e al rilevamento degli output. Una selezione di decisioni giudiziarie e controversie illustra le implicazioni per l’addestramento e il rilascio. I sistemi esaminati combinano paradigmi generativi consolidati con nuove rappresentazioni, fasi di pianificazione e procedure successive all’addestramento. Le differenze nei dati, nella scala e nella valutazione limitano ciò che i confronti tra sistemi possono stabilire sulle origini dei miglioramenti riportati.