La fragilità dei compiti quando vengono combinati: budget implicito nei modelli linguistici

Abstract degli autori

Ai modelli linguistici moderni viene chiesto sempre più spesso di svolgere più compiti all’interno di un unico prompt. Per farlo, devono risolvere correttamente ciascun compito e integrare le risposte in un risultato coerente. In questo studio individuiamo un limite fondamentale di questo processo: quando i compiti vengono combinati, i modelli commettono molti più errori, anche se sono in grado di risolvere in modo affidabile ciascun compito separatamente. Questo peggioramento non si spiega interamente con l’accumulo di errori indipendenti. I nostri risultati, ottenuti sia con modelli a pesi aperti sia con il modello di frontiera Claude Opus 5, indicano invece che alla base del fenomeno vi è un budget di ragionamento implicito. In particolare, quando i compiti sono combinati, i modelli usano molti meno token per ciascuno rispetto a quando lo affrontano separatamente, anche se l’intera sequenza rimane ampiamente entro i limiti della finestra di contesto. Di conseguenza, i compiti che, affrontati separatamente, richiedono percorsi di soluzione più lunghi sono più $\textit{fragile}$ quando vengono combinati: i modelli commettono cioè più errori nei prompt che li contengono. Quando vengono affrontati separatamente, i compiti non fragili ricevono più ragionamento del necessario, con uno spreco di risorse di calcolo. Tuttavia, raggruppando i compiti in base alla loro fragilità, si può intervenire sul budget implicito e ridurre l’uso di token del $43$\% in una serie di compiti matematici e linguistici, mantenendo al contempo l’accuratezza.