Valutare le capacità agentiche prima del post-addestramento: un approccio end-to-end

Abstract degli autori

Le capacità agentiche sono sempre più importanti per i moderni LLM, ma restano difficili da valutare durante il pre-addestramento. Gli approcci esistenti si basano in genere su compiti statici derivati da traiettorie o su indicatori indiretti basati sulla verosimiglianza: sono poco onerosi, ma offrono una visibilità limitata sul comportamento dei modelli di base negli ambienti interattivi. Presentiamo ASAP (Agent Scaffold Adaptation for Pretraining Evaluation), un framework poco oneroso per far emergere e valutare il comportamento agentico dei modelli di base pre-addestrati in compiti end-to-end. Anziché trasformare i modelli di base in agenti in stile chat, ASAP conserva l’interfaccia di completamento e adatta le strutture di supporto esistenti per gli agenti tramite la continuazione strutturata delle traiettorie, brevi prefissi di riferimento e meccanismi di recupero minimi. Nei benchmark di ingegneria del software e di ricerca approfondita, ASAP produce risultati end-to-end che distinguono i diversi modelli di base e i checkpoint del pre-addestramento. Oltre ai punteggi aggregati, ASAP rende visibili le traiettorie di esecuzione generate dai modelli, consentendo di analizzare l’esplorazione, la modifica, i test, il recupero e il completamento dei compiti nelle diverse fasi dell’addestramento. Queste traiettorie offrono una prospettiva sul comportamento che mostra come cambiano durante il pre-addestramento le capacità rilevanti per gli agenti e come differiscono i processi di esecuzione dopo il post-addestramento. I nostri risultati suggeriscono che la valutazione end-to-end degli agenti può integrare i benchmark convenzionali del pre-addestramento, offrendo uno strumento diagnostico pratico per il comportamento interattivo dei modelli.