The Pulse
Apple sperimenta un rilevatore basato su Whisper per il parlato che mescola due lingue
Secondo i ricercatori di Apple, un rilevatore che usa le rappresentazioni del parlato di Whisper-small ha raggiunto un punteggio F1 medio di 0,798 su 14 coppie di lingue con alternanza linguistica. Il risultato sul benchmark dipende da un p
AI.info Team · Scritto con l’IA ·
I ricercatori di Apple riferiscono un punteggio F1 medio di 0,798 per un rilevatore che individua il parlato in cui si mescolano due lingue, senza prima trascriverlo. Il risultato riguarda Whisper-small, valutato su 14 coppie formate dall’inglese e da un’altra lingua nel benchmark CS-FLEURS. Il paper è stato presentato ad arXiv il 13 ottobre 2026 e afferma che questo approccio potrebbe aiutare i ricercatori a trovare registrazioni con alternanza linguistica in grandi raccolte di parlato.
Whisper-small trova indizi sulla lingua nei suoi stati nascosti
Il metodo cerca, nelle rappresentazioni interne di un encoder del parlato, dimensioni la cui attività differisce tra due lingue. I ricercatori individuano queste dimensioni usando registrazioni monolingui, poi ne seguono le attivazioni a livello di frame per verificare se un enunciato contenga tracce di entrambe le lingue. Il rilevatore lavora direttamente sul parlato, evitando di dover produrre una trascrizione multilingue prima di esaminare una raccolta audio.
Per Whisper-small, il gruppo usa otto dimensioni — circa l’1% di un livello dell’encoder a 768 dimensioni — e combina i loro segnali su brevi finestre audio. Un piccolo insieme di esempi etichettati con alternanza linguistica serve a calibrare la regola decisionale. Il rilevatore segnala un enunciato come mistilingue; non trascrive le parole né individua ogni punto di passaggio da una lingua all’altra.
Il punteggio di 0,798 si basa su una calibrazione oracle
Il risultato principale è un punteggio oracle: i ricercatori scelgono le impostazioni della regola decisionale usando lo stesso insieme di valutazione. In queste condizioni, il punteggio F1 medio di Whisper-small, pari a 0,798, supera quello di un modello di riferimento CNN, pari a 0,776, e quello di un classificatore lineare HuBERT, pari a 0,751. Il punteggio F1 bilancia precisione e richiamo, ma il confronto oracle non mostra come si comporti il rilevatore quando le impostazioni devono essere scelte in anticipo.
In un test di calibrazione più pratico, il gruppo ha usato il 10% degli esempi etichettati di CS-FLEURS per calibrare la regola e ha condotto la valutazione sul restante 90%. Il punteggio F1 medio di Whisper-small è sceso a 0,784, contro 0,760 per la CNN e 0,733 per il modello di riferimento lineare HuBERT. Il paper osserva che, per alcune coppie, il campione di calibrazione può essere molto piccolo: la coppia italiano-inglese, per esempio, conta 176 esempi con alternanza linguistica nel benchmark, il che ne lascia circa 18 in un campione casuale del 10%.
La conversazione costituisce un test diverso
I ricercatori hanno valutato il rilevatore anche su SEAME, un corpus di parlato spontaneo in mandarino e inglese proveniente da Singapore e Malesia. Whisper-small ha ottenuto 0,733 nel test con calibrazione, mentre il modello di riferimento lineare HuBERT ha raggiunto 0,769. Il risultato complessivo migliore del paper proviene quindi da parlato letto del benchmark, non dai dati di conversazione.
Tra le 14 coppie di CS-FLEURS, Whisper-small ha ottenuto il risultato migliore in 11, ma il modello in testa variava a seconda della coppia di lingue. MMS-1B, per esempio, ha raggiunto il punteggio più alto per una singola coppia, 0,918, per telugu-inglese; i punteggi di Whisper-small andavano da 0,754 per tedesco-inglese a 0,870 per telugu-inglese. Le medie nascondono differenze significative tra le lingue.
L’estrazione dai corpora resta da testare
I ricercatori presentano il rilevatore come un filtro preliminare per trovare registrazioni candidate, non come un prodotto vocale finito. La loro motivazione è che le raccolte multilingui usate per l’addestramento contengono troppo pochi esempi di persone che passano da una lingua all’altra all’interno di un enunciato, mentre raccogliere ed etichettare questo tipo di parlato è difficile. Come scrivono gli autori, «I nostri risultati suggeriscono che gli encoder del parlato preaddestrati codifichino già le informazioni necessarie per individuare gli enunciati con alternanza linguistica; offrono uno strumento leggero per costruire corpora multilingui più rappresentativi». Jie Chi et al., “Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models”
I limiti del paper sono chiari: il rilevatore non è stato testato nell’ambito di una pipeline di estrazione su audio non etichettati raccolti in contesti reali e ha ancora bisogno di alcuni esempi etichettati con alternanza linguistica per calibrare la propria regola decisionale. Resta aperta la questione se possa esaminare in modo affidabile grandi raccolte audio eterogenee senza quel campione etichettato.