GraphDecisionBench: un benchmark per i modelli System One nei compiti sui grafi

Abstract degli autori

I grandi modelli linguistici (LLM) sono sempre più studiati per comprendere i grafi e prendere decisioni, mentre i modelli System One, come Jev, scelgono direttamente tra le opzioni fornite. Tuttavia, le capacità dei modelli System One nei compiti relativi ai grafi restano poco chiare. Presentiamo GraphDecide, un benchmark indipendente dal modello che combina profili dei compiti strutturali, confronti appaiati tra input grafici e testuali e controlli basati su proposte euristiche per valutare le prestazioni decisionali sui grafi. Valutiamo Jev e altri modelli basati sulla scelta, insieme a modelli linguistici usati come riferimento, per un totale di quattordici configurazioni modello-interfaccia. I risultati di Jev illustrano le distinzioni centrali del benchmark: riconoscere accuratamente le adiacenze non garantisce una correttezza strutturale più ampia, l’input congiunto grafico e testuale non migliora sistematicamente le previsioni e costruire soluzioni ammissibili non ne dimostra l’elevata qualità. Le specifiche dei compiti, le interfacce per i candidati e le regole di valutazione del benchmark consentono di confrontare i selettori nativi con gli adattatori per modelli linguistici. Il codice e i risultati aggregati sono disponibili all’indirizzo https://github.com/VictorYXL/JevGraphBench.