Infrathon: valutazione comparativa degli agenti linguistici per l’ottimizzazione delle infrastrutture di IA nel mondo reale e su orizzonti temporali lunghi

Abstract degli autori

In questo lavoro studiamo se un agente di frontiera possa migliorare continuamente le infrastrutture di IA del mondo reale su orizzonti temporali lunghi. Presentiamo Infrathon, un benchmark composto da diversi task di ottimizzazione delle infrastrutture di IA a lungo orizzonte e a diversi livelli. Valutiamo sei modelli in 150 esecuzioni con budget di 24 ore, per un totale di oltre 10.000 GPU-ore. I nostri risultati mostrano che la classifica dei modelli varia a seconda dell’orizzonte di valutazione, mentre 135 delle 150 esecuzioni ottengono ulteriori miglioramenti nella seconda metà del budget. Questi risultati indicano che valutazioni più brevi possono non cogliere né i miglioramenti nell’ottimizzazione né i cambiamenti nelle prestazioni relative dei modelli. Rileviamo inoltre che gli agenti possono trovare soluzioni che superano le baseline progettate da esseri umani: Claude Opus 5.5 porta il rapporto medio di compressione della cache KV dal 6,82% ottenuto con il codec Quant-VideoGen progettato da esseri umani al 19,86%. L’analisi delle traiettorie degli agenti individua nelle violazioni dei task, nei test inaffidabili e nel completamento prematuro alcuni ostacoli a un miglioramento duraturo. Nel complesso, il nostro framework Infrathon fornisce risorse per creare task a lungo orizzonte, valutare gli agenti di frontiera e trovare buone soluzioni per le infrastrutture.