Ragionamento sulla memoria non parametrica negli LLM multilingui: un’analisi cognitiva della conoscenza relazionale

Abstract degli autori

La generazione aumentata dal recupero (RAG) presuppone che i modelli linguistici sappiano ragionare sulle relazioni esplicitate nel contesto, invece di ricorrere ad associazioni memorizzate durante il pretraining. Studiamo isolatamente questo ragionamento relazionale condizionato dalle evidenze, fornendo i fatti direttamente nel prompt anziché recuperarli. \textsc{Rel-Bloom} è un test diagnostico multilingue controllato, composto da 450 domande a scelta multipla basate su 30 relazioni di Wikidata; le stesse relazioni di partenza sono declinate in cinque livelli ispirati alla tassonomia di Bloom (Ricordare, Comprendere, Applicare, Analizzare, Valutare) e in tre condizioni di veridicità (Fattuale, Controfattuale, Neutralizzata). Da 43 modelli, sei lingue e due configurazioni multilingui (226.800 predizioni) emergono tre risultati. Primo, l’accuratezza cala bruscamente passando da Applicare ad Analizzare in tutte le serie di modelli open-weight valutate, fino a raggiungere 47,2 punti percentuali per la fascia Large Granite, ma non per nessuno dei due modelli Gemini. Secondo, le domande di livello Valutare restano un collo di bottiglia anche per i modelli che sfiorano il punteggio massimo negli altri tipi di compito: Gemini~3.1 Pro ottiene in media il 99,5\% negli altri quattro livelli, ma il 60,7\% in Valutare. Terzo, le classifiche di difficoltà a livello di domanda e di relazione si mantengono costanti tra le lingue, a indicare una struttura della difficoltà in parte condivisa tra le lingue all’interno di questo benchmark. Nelle diverse condizioni di conoscenza, i contesti Controfattuali sono in genere più difficili di quelli Fattuali, mentre la rimozione delle identità delle entità può migliorare le prestazioni nei livelli più alti in alcuni regimi di modelli. Una maggiore capacità del modello, quindi, non garantisce di per sé un ragionamento affidabile sulle evidenze relazionali fornite. Le risorse pertinenti sono disponibili all’indirizzo: https://huggingface.co/spaces/QCRI/non-parametric-memory-relational-reasoning.