Highlight-Then-Summarize: imparare a comprimere le evidenze per comprendere contesti lunghi

Abstract degli autori

Comprendere contesti lunghi richiede ai modelli linguistici di grandi dimensioni (LLM) di ragionare su documenti, conversazioni e codice estesi. Le evidenze rilevanti per il compito, però, sono spesso scarse e disperse tra molti contenuti irrilevanti e ridondanti. Proponiamo Highlight-Then-Summarize (H2S), un approccio che comprime prima di ragionare: individua le evidenze pertinenti alla domanda e fondate sulle fonti, poi le integra in un riepilogo conciso costruito in funzione della domanda, prima di produrre la risposta finale. Per addestrare questo comportamento, creiamo H2S-Dataset, che comprende 6.647 esempi tratti da 11 famiglie di benchmark, con una lunghezza media del contesto di 43,9K token, e introduciamo H2S-RL, che assegna ricompense a livello di processo per la selezione delle evidenze e la costruzione del riepilogo, oltre che per la correttezza della risposta finale. Effettuiamo la valutazione su H2S-Bench, una suite di sette compiti per contesti lunghi. Con un budget comune di 128K in input e 4K in output, H2S-14B ottiene un punteggio medio di 32,60, superando Qwen3.8-27B di 10,17 punti e conseguendo il miglior risultato complessivo tra i modelli open source valutati. H2S-14B ottiene anche il punteggio più alto per Evidence-Summary Quality e conserva il 97,1% delle prestazioni raggiunte con un budget di 16K pur avendo un budget di soli 4K in output. Questi risultati mostrano che selezionare e integrare esplicitamente le evidenze migliora il ragionamento su contesti lunghi e consente al tempo stesso di generare risposte più concise.