FLOMSS: separazione generativa delle sorgenti musicali mediante flow matching

Abstract degli autori

La separazione delle sorgenti musicali (MSS) è stata tradizionalmente affrontata con metodi discriminativi. Di recente, il flow matching si è affermato come un efficace paradigma generativo per modellare distribuzioni complesse dei dati, con applicazioni riuscite in diversi ambiti. Questi progressi ci spingono a studiare sistematicamente il flow matching per la MSS in stereo a banda intera, con quattro sorgenti (Vocals, Bass, Drums, Other). In particolare, esaminiamo gli obiettivi di predizione, i percorsi del flusso, la modellazione di una singola sorgente rispetto a quella di più sorgenti e i vincoli di coerenza della miscela. Oltre alle metriche a livello di segnale comunemente usate per la MSS, come il rapporto segnale-distorsione, valutiamo i metodi di MSS anche con metriche basate sugli embedding e con un test di ascolto, offrendo un benchmark completo. Su MUSDB18-HQ, il modello che proponiamo mostra prestazioni competitive sia nei test oggettivi sia in quelli soggettivi, evidenziando il potenziale del flow matching per la MSS generativa. Demo: https://ik4sumii.github.io/FLOMSS/