Non serve un contesto lungo

Abstract degli autori

I token successivi costano più da generare rispetto a quelli precedenti. Nei modelli open-weight di frontiera, il divario di costo può arrivare fino a 7 volte. Mostriamo che, con frequenti compattazioni, su un’ampia gamma di task con orizzonte lungo e input lunghi, i modelli linguistici di frontiera perdono poco o nulla in accuratezza quando mantengono contesti brevi. Dimostriamo inoltre che le prestazioni degli LLM non crollano nei task di ingegneria del software con orizzonte lungo, anche quando compiono al massimo un’azione per contesto; sulla base di ciò, delineiamo il concetto di modelli a spazio di stato semantico (SSSM). I nostri risultati mettono in dubbio la necessità di modelli linguistici con contesto lungo.