SheetSage2: trascrizione coerente di lead sheet con supervisione sintetica

Abstract degli autori

Trascrivere musica in uno spartito leggibile richiede una comprensione coerente del ritmo, dell’armonia, della melodia e della forma. Due ostacoli limitano questo obiettivo: le registrazioni annotate sono rare e anche previsioni locali accurate possono produrre sequenze musicali incoerenti. Presentiamo SheetSage2, un sistema unificato per la trascrizione musicale che combina dati sintetici, decodifica strutturata specifica per ciascun compito e distillazione autoregressiva. I file MIDI annotati automaticamente e convertiti in audio forniscono una supervisione applicabile su larga scala a diversi compiti di comprensione musicale. I decodificatori strutturati specifici per ciascun compito integrano indizi musicali complementari e le loro dipendenze temporali per produrre spartiti musicalmente coerenti. La distillazione autoregressiva consente inoltre di mantenere l’accuratezza della trascrizione senza ricorrere, durante l’inferenza, a una programmazione dinamica specifica per il compito. Su otto raccolte di benchmark, un unico modello SheetSage2-AR supera i sistemi precedenti elencati in 12 delle 15 coppie benchmark-metrica della nostra valutazione, migliorando sensibilmente i risultati di SheetSage1 e superando modelli specifici per il compito in diversi benchmark. I pesi del modello e il codice per l’inferenza sono disponibili pubblicamente.