L’ultimo miglio verso il mondo reale: primitive native agli agenti come elementi costitutivi riutilizzabili per risolvere compiti del mondo reale

Abstract degli autori

Come può un agente gestire un compito del mondo reale dall’inizio alla fine? I modelli di frontiera, anche con i propri harness, non raggiungono ancora buoni risultati sui benchmark del mondo reale: su Terminal-Bench 4.0, GPT-5.6 Sol con Codex risolve il 37,3% dei compiti e Claude Opus 5 con Claude Code il 51,8%. Questi compiti falliscono nel passaggio dall’accesso a una risorsa alla sua applicazione: è quello che chiamiamo l’ultimo miglio verso il mondo reale. Gli approcci esistenti rendono accessibile la risorsa, ma lasciano al chiamante la competenza necessaria per applicarla, così ogni harness deve ricostruire tale competenza. Introduciamo le primitive native agli agenti, unità riutilizzabili che dotano una risorsa di un LLM residente, capace di applicarla nel contesto e di comunicare con altre primitive, e HEELO (ingegneria degli harness attorno a primitive native agli agenti in evoluzione per l’ultimo miglio verso compiti del mondo reale), un framework di ingegneria degli harness che costruisce l’harness di ogni compito a partire da una libreria di queste primitive. HEELO combina le primitive necessarie a un compito in un grafo specifico per quel compito, verifica il risultato rispetto alle evidenze provenienti dall’ambiente, rivede le primitive indicate da un fallimento e integra primitive nuove o migliorate dopo averle convalidate. Implementiamo HEELO con otto famiglie di primitive, ciascuna progettata per un tipo di compito, e le valutiamo su oltre venti benchmark. Le Dev-Primitives portano il tasso di risoluzione su Terminal-Bench 4.0 dal 37,3% ottenuto con Codex al 55,5%, sulla stessa architettura di base; le Harness Primitives, combinate per ciascun compito, portano il Pass@1 su Terminal-Bench 2.0 dal 60,0% dell’harness iniziale al 72,2%; le Tool Primitives portano il tasso di superamento su ToolBench dal 55,8% al 75,1%; le Navigation Primitives portano l’accuratezza su GAIA-Text-103 dal 45,6% al 58,3%. Sui 46 compiti del mondo reale della nostra piattaforma heelo.dev, Claude Opus 5.5 con Claude Code e GPT-6.1 Sol con Codex ne completano 9 ciascuno autonomamente e, quando sono collegati a HEELO tramite il nostro server MCP, rispettivamente 39 e 35, impiegando 1.9$\times$ e 2.3$\times$ meno tempo e sostenendo un costo per compito completato inferiore di 1.55$\times$.