OR-License: valutare gli agenti basati su LLM come professionisti della ricerca operativa in contesti reali

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) possono produrre soluzioni di ricerca operativa (OR) di livello esperto direttamente dai materiali originali dei clienti, senza una precedente riformulazione da parte di esperti? I benchmark di OR esistenti partono in genere da descrizioni autosufficienti o da compiti di ottimizzazione predefiniti, dando poco spazio al lavoro necessario per trasformare i materiali aziendali originali in soluzioni convalidate professionalmente. Presentiamo OR-License, un benchmark end-to-end composto da 31 casi relativi a 10 scenari industriali, tratti da incarichi retribuiti di ricerca operativa per un valore complessivo di 3,68 milioni di dollari statunitensi. Dopo la rimozione degli elementi identificativi, il benchmark conserva i requisiti originali, i dati di input, i formati dei risultati da consegnare e i limiti di accesso alle informazioni. Per studiare l’acquisizione delle informazioni, presentiamo ORSim, un simulatore controllato del cliente che comunica informazioni aziendali senza fornire competenze di ricerca operativa. La valutazione non visibile verifica la fattibilità e confronta la qualità della funzione obiettivo con quella delle soluzioni originali degli esperti, accettate dai clienti prima della costruzione del benchmark. La Deployment-Adjusted Quality (DAQ) calcola la media, tra i casi, della qualità relativa alle soluzioni degli esperti, assegnando zero ai risultati consegnati non fattibili. Tra 11 LLM di frontiera utilizzati con infrastrutture per agenti di programmazione, diversi superano il riferimento degli esperti nella qualità condizionale della funzione obiettivo, ma nessuno ne eguaglia la DAQ. La configurazione principale più efficace di Claude Code raggiunge l’88,39% di fattibilità rigorosa e una DAQ di 0,87, contro il valore di riferimento degli esperti pari a 1. L’acquisizione di informazioni dal cliente non si limita ai chiarimenti, ma prosegue durante lo sviluppo e la validazione della soluzione; in alcune fasi successive, la quota di problemi la cui risoluzione è stata confermata è più alta. L’analisi delle traiettorie individua errori nella formulazione e nell’implementazione, mentre i tassi di completamento delle catene di ricerca, uniformati per attività, variano dal 24% al 45% tra i modelli nelle attività valutabili. Questi risultati indicano l’importanza di colmare con continuità le lacune informative, formulare fedelmente i problemi e migliorarsi sulla base di evidenze per ottenere agenti affidabili capaci di operare su orizzonti lunghi.