Il ruolo dell’allineamento tra le lingue del ragionamento e dei testi nella generazione aumentata dal recupero monolingue

Abstract degli autori

Le tracce di ragionamento migliorano i modelli linguistici di grandi dimensioni (LLM), ma i modelli attuali sono addestrati a ragionare prevalentemente in inglese. È stato dimostrato che obbligare un modello a ragionare in un’altra lingua ne riduce l’accuratezza, anche quando la lingua del ragionamento coincide con quella del prompt. Questo risultato, però, riguarda soltanto un contesto in cui il modello ragiona su un prompt breve. Qui ci chiediamo se valga lo stesso per la generazione aumentata dal recupero (RAG), in cui il modello deve leggere e integrare una grande quantità di informazioni recuperate nella lingua di destinazione. Per studiare la questione, costruiamo un ambiente di test RAG per domande e risposte interamente monolingue in tedesco, basato sul mondo immaginario del gioco di ruolo da tavolo The Dark Eye. Questo mondo è ampiamente documentato in tedesco, ma è troppo di nicchia perché il modello possa rispondere attingendo alla memoria: deve quindi affidarsi al recupero delle informazioni. Variando la lingua in cui un sistema RAG agentico è obbligato a ragionare in questo ambiente di test, riscontriamo che allinearla alla lingua della domanda e dei documenti recuperati aiuta. Il ragionamento forzato in tedesco ottiene risultati migliori di quello forzato in francese, benché il modello registri risultati più alti nei benchmark in francese: il vantaggio deriva quindi dall’allineamento, non dalla competenza linguistica. Il vantaggio aumenta quando il contesto recuperato è più ricco e tiene conto della struttura. Tuttavia, il ragionamento forzato in tedesco si limita a raggiungere il livello del ragionamento spontaneo e senza vincoli in inglese del modello, senza superarlo: ciò mostra che è necessario un ragionamento multilingue nativo. Rendiamo pubblici l’ambiente di test e il benchmark di domande e risposte.