Coerenza tra primitive in Jev

Abstract degli autori

Jev consente di prendere decisioni in modo efficiente con i modelli linguistici di grandi dimensioni (LLM) attraverso primitive di interrogazione tipizzate, che permettono di esprimere lo stesso stato semantico in formati diversi, per esempio con query binarie e a scelta multipla. Tuttavia, la coerenza delle decisioni tra le diverse primitive non è stata valutata sistematicamente. Questo lavoro introduce PrimaCons, un benchmark a quattro assi per valutare la coerenza tra primitive preservando la semantica della query. Le valutazioni condotte su tre dimensioni di Jev rivelano violazioni della coerenza lungo tutti e quattro gli assi. La nostra analisi mostra che queste violazioni seguono schemi sistematici e che le discrepanze tra primitive predicono il fallimento delle decisioni con un ROC-AUC di 0,91. Per mitigare queste incoerenze, proponiamo il Cross-Primitive Residual Calibrator (CPRC), che affianca una rete residua leggera a un backbone congelato e ottimizza congiuntamente l’accuratezza predittiva e la coerenza tra primitive. Con un protocollo leave-one-domain-out, CPRC riduce l’incoerenza tra primitive del 58,57% e migliora l’accuratezza di +2,97%, dimostrando la propria efficacia sia in contesti in-domain sia out-of-domain. I nostri risultati stabiliscono la coerenza tra primitive come una dimensione chiave per valutare Jev e forniscono un approccio pratico per migliorare l’affidabilità delle sue decisioni. Il codice e il benchmark sono disponibili all’indirizzo https://github.com/67L1/PrimaCons-CRPR.