I fatti non parlano più forte delle parole: l’essenza comportamentale della distillazione Long-CoT

Abstract degli autori

Sebbene la distillazione di lunghe catene di pensiero (CoT) migliori notevolmente le capacità di ragionamento dei modelli linguistici, il meccanismo alla sua base resta poco compreso. Le procedure attuali si affidano in genere al rejection sampling per raccogliere tracce di ragionamento a partire da prompt diversi, presupponendo che la correttezza dei fatti e un’ampia copertura dei problemi siano indispensabili. Sorprendentemente, osserviamo che l’addestramento basato esclusivamente su traiettorie di ragionamento errate o su un insieme ristretto di prompt produce prestazioni quasi comparabili. Spinti da questo risultato controintuitivo, proponiamo l’ipotesi comportamentale: l’essenza della distillazione Long-CoT è l’allineamento comportamentale a schemi di ragionamento strutturati, non la memorizzazione di conoscenze fattuali. La convalidiamo poi mostrando miglioramenti sostanziali nel ragionamento anche quando i modelli vengono sottoposti a fine-tuning esclusivamente su problemi già padroneggiati, isolando di fatto l’allineamento comportamentale dall’introduzione di nuove conoscenze. Stabilito che il vero collo di bottiglia sono gli schemi di ragionamento, esaminiamo come apprenderli in modo ottimale a diversi livelli di complessità. Mettiamo in luce un’interazione cruciale: mentre la recente funzione di perdita basata sulla probabilità eccelle nell’apprendimento di schemi semplici, la funzione di perdita standard a entropia incrociata è essenziale per passare a CoT complessi. Riteniamo che questi risultati chiariscano i meccanismi della distillazione CoT e offrano una base fondata su principi per il futuro sviluppo dei modelli di ragionamento. Il codice è disponibile su https://github.com/yuyongcan/Long-CoT-Distillation.