Quale lingua dovrebbe parlare uno scheletro? La scelta della lingua nel ragionamento multilingue

Abstract degli autori

Il prompting del ragionamento basato su scheletri è un approccio promettente per strutturare il ragionamento dei modelli linguistici di grandi dimensioni senza addestramento, ma gli studi precedenti presuppongono in gran parte un contesto incentrato sull’inglese. Proponiamo il Language-Aware Skeleton Exploration Framework (LASEF) per studiare la scelta della lingua dello scheletro nel ragionamento matematico multilingue. Esaminando benchmark matematici, modelli di diverse dimensioni e varie lingue, mostriamo che gli scheletri in inglese presentano in media una lieve tendenza positiva, più evidente nei modelli più piccoli e nelle lingue con poche risorse. Tuttavia, dopo la correzione, pochi miglioramenti a livello di singola lingua restano significativi e l’inglese non è sempre la scelta ottimale. Combinando decodifica greedy, valutazione su più rollout, studio di ablazione della traduzione e convalida tra benchmark, individuiamo inoltre tre tipi di effetti legati alla lingua dello scheletro: coerenti nella direzione, dipendenti dalla valutazione e dal benchmark, e negativi asimmetrici. Questi effetti non possono essere spiegati interamente dalla sola qualità della generazione. Nel complesso, la lingua dello scheletro è una variabile di progettazione dipendente dal contesto che richiede un’esplorazione a più livelli. Tutte le risorse sono disponibili all’indirizzo https://github.com/lhsstn/LASEF.