Allineare i comportamenti culturali nei modelli linguistici arabi attraverso le preferenze

Abstract degli autori

I modelli linguistici di grandi dimensioni per l’arabo sono migliorati rapidamente, ma l’allineamento alle preferenze relative ai comportamenti culturali specifiche di ciascun paese resta poco studiato. I lavori precedenti si sono concentrati soprattutto sull’instruction-tuning per le conoscenze fattuali, trascurando le sfumature dei comportamenti culturali. Proponiamo ArabPref, che, per quanto ne sappiamo, è il primo dataset panarabo di preferenze su larga scala per allineare i comportamenti culturali in funzione del paese. Il nostro contributo comprende due risorse in inglese e in arabo standard moderno: un dataset di preferenze fondato sui contesti culturali, destinato all’addestramento e alla valutazione, e un benchmark a scelta multipla progettato per valutare i comportamenti culturalmente allineati nei diversi paesi. Tutti i dati di test sono convalidati da parlanti madrelingua per garantirne l’autenticità. Per ottimizzare l’allineamento culturale, sperimentiamo metodi di post-training su modelli linguistici multilingue e modelli incentrati sull’arabo, valutandone le prestazioni sia nei compiti di generazione sia nel nostro benchmark culturale a scelta multipla. Con la pubblicazione di un benchmark di valutazione, poniamo le basi per studiare e migliorare sistematicamente i comportamenti culturalmente allineati nei modelli linguistici.