I modelli linguistici audio ascoltano prima di agire? Analisi del controllo basato sul contesto acustico negli agenti vocali

Abstract degli autori

I modelli linguistici audio sanno riconoscere i comandi vocali e richiamare strumenti, ma un agente deve prima stabilire se il contesto acustico e conversazionale giustifichi un’azione. Presentiamo VGBench, un benchmark diagnostico di 1.018 elementi che valuta, a livello di azione, se il parlato sia rivolto all’agente in scenari di conversazioni collaterali, parlato rivolto a sé stessi e cambi di parlante. Ogni elemento prevede le stesse azioni possibili: restare in silenzio, richiamare uno strumento o fornire una risposta in linguaggio naturale. Nelle coppie con cambio di parlante, le parole pronunciate restano identiche, mentre la sorgente, la resa della distanza e un confine temporale definiscono un passaggio controllato da chi indossa il dispositivo a un’altra persona presente. Sei modelli linguistici audio non adattati e tre adattamenti senza addestramento individuano spesso lo strumento corretto, ma di rado si astengono dall’agire dopo questo passaggio; il tasso più alto di mancata risposta nei casi di cambio di parlante tra i modelli non adattati è del 14%. Usiamo quindi VoxGate come caso di studio sul post-addestramento. L’addestramento supervisionato lascia senza risposta il 91,3% dei comandi nei casi di cambio di parlante, scegliendo al contempo lo strumento corretto per tutti i comandi pronunciati da vicino da chi indossa il dispositivo e per tutti i controlli solo testuali. Una fase esplorativa di GRPO ottiene risultati simili nei casi di cambio di parlante; l’accuratezza nelle conversazioni collaterali sale dal 68,4% al 70,9% e il tasso di mancata risposta al parlato rivolto a sé stessi dal 52,0% al 60,0%. Controlli fattorizzati individuano un effetto indipendente del cambio di sorgente, mentre la sensibilità alla manipolazione del campo lontano varia tra le diverse rese acustiche. Il benchmark misura quindi il controllo basato su più indizi del contesto acustico, anziché sulla sola identità del parlante.