The Pulse
Harvard pubblica tracce di agenti relative a 209 miliardi di token di input
Harvard MaDSys ha pubblicato le tracce di FreeInference relative a 12.002 sessioni di agenti, 1,19 milioni di richieste ai modelli e 1,21 milioni di chiamate agli strumenti. Il dataset conserva dati sui tempi e metadati sulla cache per la r
AI.info Team · Scritto con l’IA ·
«L’esecuzione degli strumenti domina i tempi di latenza delle sessioni attive, eppure l’esecuzione in parallelo degli strumenti resta poco comune».
William Nixon, Muxin Tian, Yunjia Zheng, Haryadi S. Gunawi e Juncheng Yang, autori di «From Requests to Sessions»
Harvard MaDSys ha pubblicato una raccolta di dati su come gli agenti di programmazione e gli assistenti usano i modelli linguistici: 12.002 sessioni, 1.186.582 richieste ai modelli e 1.213.347 chiamate agli strumenti, raccolte attraverso il suo gateway FreeInference. Le tracce coprono 16 settimane, dal 17 maggio al 5 settembre 2026, e riguardano 209,2 miliardi di token di input. Invece di pubblicare le conversazioni, il gruppo mette a disposizione dati sui tempi, conteggi dei token, attività degli strumenti e metadati relativi alla cache.
Che cosa misurano i 209 miliardi di token
La raccolta comprende richieste provenienti da 267 account. I ricercatori hanno ricostruito le sessioni dalle cronologie delle richieste; nel sottoinsieme degli strumenti per agenti che forniscono ID di sessione espliciti, il 95% delle sessioni ricostruite corrispondeva uno a uno a quegli ID. L’articolo descrive 13 harness per agenti e, nelle statistiche sulle tracce, elenca separatamente un replay di SWE-Bench; la scheda del dataset raggruppa la raccolta in 14 harness.
La cifra di 209,2 miliardi indica l’input cumulativo elaborato nelle varie richieste, non una raccolta di 209 miliardi di token di testo distinti. L’articolo conta 197,1 miliardi di token presenti nella cache e 552,5 milioni di token di output. La distinzione è importante nelle sessioni degli agenti, in cui lo stesso contesto, via via più ampio, può accompagnare molte chiamate successive al modello.
Le tracce conservano la struttura, non le conversazioni
Ogni sessione registra una sequenza ordinata di richieste ai modelli e chiamate agli strumenti, inclusi i tempi delle richieste, la latenza del servizio, il nome del modello, il fornitore anonimizzato, l’utilizzo dei token e le modifiche del contesto. Gli input sono rappresentati come catene di blocchi da 16 token generati con il tokenizzatore o200k_base, che consentono ai ricercatori di studiare il riutilizzo dei prefissi senza vedere il testo contenuto in quei blocchi. Le chiamate agli strumenti possono includere categorie normalizzate, esiti e latenza; le sessioni dei sottoagenti sono annidate sotto le chiamate che le hanno avviate.
La raccolta esclude il testo dei messaggi, i prompt, le risposte dei modelli, il testo dei risultati degli strumenti e gli identificativi originali. I valori sensibili degli argomenti degli strumenti sono sostituiti con segnaposto tipizzati, mentre i nomi degli strumenti o i comandi rari, usati da meno di tre account, sono generalizzati. Il gruppo afferma che lo studio sottostante utilizza il traffico di persone che hanno acconsentito alla raccolta e alla condivisione dei dati per la ricerca. Il dataset è pubblicato con licenza Creative Commons Attribution 4.0; le tracce grezze in formato JSONL e le tabelle Parquet appiattite sono disponibili su Hugging Face.
Le letture dalla cache dominano il modello dei costi dell’articolo
I ricercatori rilevano che le richieste contengono contesti ampi, ma aggiungono relativamente poco input nuovo o output generato. Nella loro analisi, una richiesta mediana contiene circa 129.000 token di input, circa 500 token non presenti nella cache e circa 200 token di output. Con i prezzi ipotizzati nell’articolo — 1 dollaro per milione di token di input presenti nella cache, 10 dollari per milione di token di input non presenti nella cache e 50 dollari per milione di token di output — l’input presente nella cache rappresenta il 72,9% del costo delle API tra le richieste per cui è riportato l’uso della cache.
Il risultato riguarda questa ipotesi sui prezzi, non la fattura di ogni fornitore. Mostra però perché contare soltanto i nuovi token del prompt può far perdere di vista gran parte dei costi di inferenza di una sessione di un agente: anche i grandi prefissi riutilizzati hanno un costo, persino quando il loro prezzo unitario è scontato.
Le attese degli strumenti cambiano il calcolo della velocità
Nella simulazione della latenza presentata nell’articolo, dimezzare il tempo degli strumenti accelera le sessioni di 1,38×, contro 1,09× se si dimezza il tempo di prefill e 1,16× se si dimezza il tempo di decodifica. Gli autori riferiscono inoltre che il 4% delle richieste che modificano parti precedenti del contesto è responsabile del 62% dei token sottoposti a prefill ex novo, nell’ipotesi di conservazione illimitata della cache. Entrambi i risultati indicano che il comportamento delle sessioni, e non solo le singole chiamate ai modelli, è un’utile unità di analisi per testare i sistemi di erogazione dei modelli.
Le tracce non possono rivelare se una modifica del contesto fosse necessaria o se un agente abbia svolto bene il proprio compito: i dati pubblicati omettono il testo necessario per giudicare entrambi gli aspetti. Le sessioni che attraversano il confine tra due settimane sono suddivise nella raccolta e la maggior parte dei risultati riportati proviene da un unico servizio pubblico di inferenza. I ricercatori possono scaricare le tabelle Parquet, riprodurre le figure dell’articolo ed esaminare le richieste registrate, ma i file pubblicati non contengono conversazioni leggibili degli agenti.