Un benchmark per la comprensione dei dialoghi orientati a compiti in bangla

Abstract degli autori

La comprensione dei dialoghi orientati a compiti è ancora poco studiata per il bangla, soprattutto in contesti multilingue che coinvolgono l’inglese e il bangla romanizzato (Banglish). Presentiamo BanglaTOD, un benchmark trilingue parallelo composto da 209 dialoghi a più turni in nove ambiti di servizi specifici del Bangladesh, con 64 intenti. Ogni turno della conversazione è allineato tra bangla, inglese e Banglish, per un totale di 4.689 record di turno specifici per lingua, annotati con intenti, slot a livello di token, aggiornamenti dello stato e stati del dialogo accumulati. Definiamo baseline che tengono conto del contesto per la classificazione congiunta degli intenti e l’identificazione degli slot, usando mBERT, BERT-base-uncased e BanglaBERT. L’analisi interlinguistica rivela differenze sostanziali nelle prestazioni tra modelli e rappresentazioni linguistiche, mentre la rimozione della cronologia del dialogo riduce l’accuratezza nella classificazione degli intenti di 19,0–25,7 punti percentuali. BanglaTOD offre una base per la comprensione dei dialoghi multilingue e per la ricerca futura sul tracciamento dello stato del dialogo nelle applicazioni conversazionali specifiche del Bangladesh. Il dataset è disponibile pubblicamente su \href{https://huggingface.co/datasets/afri7here/BanglaTOD}{Hugging Face}.