Modelli linguistici che giocano a scacchi e spiegano le proprie mosse

Abstract degli autori

I moderni motori scacchistici sono esperti silenziosi: giocano a un livello sovrumano, ma non spiegano le proprie mosse. I modelli linguistici (LM), invece, possono generare spiegazioni plausibili, ma la loro scarsa forza di gioco ne limita l’utilità. Presentiamo Queen, un modello linguistico per gli scacchi da 4 miliardi di parametri che sa spiegare le proprie mosse e i propri piani mentre gioca al livello di un tipico Grande Maestro. Il nostro nuovo approccio consente il ragionamento specifico per il dominio grazie a due componenti complementari: un’architettura encoder-decoder e un algoritmo di distillazione iterativa. L’architettura integra un encoder scacchistico esperto ma silenzioso con un LM addestrato a seguire istruzioni mediante cross-attention. Addestriamo il modello attraverso un percorso basato su domande e risposte, così da estrarre concetti scacchistici dalle rappresentazioni dell’encoder. A partire da questo modello adattato al dominio, miglioriamo iterativamente le sue spiegazioni con un analogo in linguaggio naturale dell’aggiornamento di Bellman: il modello analizza le posizioni risultanti dalle sue migliori mosse candidate e le sintetizza in una spiegazione della posizione attuale, che viene poi distillata nuovamente nel modello. Nell’arco di sette iterazioni, il nostro modello guadagna oltre 900 punti Elo (da 1782 a 2697), superando nettamente tutti i modelli di frontiera sia per forza di gioco sia per accuratezza nella risoluzione dei problemi, pur avendo un numero di parametri inferiore di tre ordini di grandezza. Inoltre, le valutazioni basate su LM mostrano che le nostre spiegazioni sono scorrevoli e, per coerenza, si avvicinano a GPT-5.6-Sol (high). La generalità della nostra architettura e della procedura di addestramento suggerisce un metodo per applicare i modelli linguistici a domini in cui sono disponibili encoder esperti ma silenziosi, come i giochi, la robotica e l’uso del computer.