Costruire ponti multilingue: la combinazione dei dati come pilastro della generalizzazione del ragionamento nella lingua del prompt

Abstract degli autori

I modelli linguistici capaci di ragionare hanno compiuto notevoli progressi in una varietà di compiti complessi, ma le loro capacità restano fortemente incentrate sull’inglese: i modelli ragionano principalmente in inglese, indipendentemente dalla lingua del prompt. Questo modo di ragionare è inaccessibile agli utenti che non parlano inglese, rischia di far perdere l’intento della domanda originale e rinuncia a conoscenze più facilmente esprimibili nella lingua di destinazione. In questo lavoro sviluppiamo il ragionamento L2, ossia la capacità di un modello di ragionare sistematicamente nella lingua del prompt dell’utente, creando così un ponte nella stessa lingua tra il prompt e la risposta. Affrontiamo il problema partendo dai dati e studiamo come ottimizzarne la composizione e la pianificazione nell’SFT per generalizzare il ragionamento. Con Tiny Aya L2-Thinker, un modello da 3,35 miliardi di parametri, raggiungiamo un tasso di ragionamento L2 superiore al 93% in 60 lingue su 6 benchmark che coprono matematica, ragionamento basato sul senso comune, rispetto delle istruzioni, generazione a risposta aperta e ragionamento culturale, mantenendo prestazioni elevate. Mostriamo che la generalizzazione del ragionamento L2 alle lingue tenute da parte passa per una copertura linguistica più ampia, dati multilingue facilmente reperibili che non riguardano il ragionamento e una base sufficiente di ragionamento in inglese. Questi risultati indicano che il ragionamento è un comportamento indipendente dalla lingua, trasferibile tra lingue tipologicamente diverse attraverso un’attenta combinazione dei dati, senza richiedere dati supervisionati sul ragionamento in ogni lingua di destinazione. Rendiamo disponibili i pesi del modello e i dati multilingue sul ragionamento per sostenere ulteriori ricerche sul ragionamento accessibile nella lingua del prompt.