DecisionPivot: un benchmark diagnostico per i modelli decisionali nei sistemi LLM

Abstract degli autori

I modelli decisionali supportano l’instradamento, i meccanismi di protezione e la verifica degli output nei sistemi LLM. Tuttavia, l’accuratezza sui singoli elementi non basta a stabilire se i modelli prendano decisioni corrette al variare controllato delle condizioni o attribuiscano alle proprie previsioni livelli di confidenza affidabili. Presentiamo DecisionPivot, un benchmark diagnostico che comprende 48 compiti e 40.033 elementi distribuiti su sette ruoli decisionali. Il percorso principale contiene 7.800 elementi appartenenti a 13 famiglie di compiti generati, organizzati in gruppi di contrasto con risposte calcolate e verificate da risolutori implementati in modo indipendente. Il percorso di riferimento complementare contiene 32.233 elementi provenienti da 35 set di test pubblici, di cui conserva le metriche di valutazione originali. Valutiamo 40 modelli decisionali e 14 modelli generalisti mediante protocolli documentati e specifici per ciascun modello, misurando l’accuratezza sui singoli elementi e sui gruppi di contrasto, l’ordinamento delle probabilità, la calibrazione e la copertura selettiva empirica. I risultati rivelano differenze sostanziali che i punteggi aggregati nascondono: due modelli da 27B, distanti appena 2,6 punti nel percorso di riferimento, raggiungono accuratezze sui gruppi di contrasto rispettivamente del 70,1% e del 44,2%. Su 2.400 coppie binarie di contrasto, Perplexity Decider colloca correttamente il membro positivo sopra quello negativo nel 92,3% delle coppie, ma risponde correttamente per entrambi i membri solo nel 74,1% dei casi: emerge così uno scarto tra l’ordinamento delle probabilità e la correttezza delle decisioni. Modelli con un’accuratezza simile sui singoli elementi differiscono anche per l’affidabilità delle previsioni a cui attribuiscono un’elevata confidenza. Su un sottoinsieme separato di 1.296 elementi, GLM-5.3 raggiunge un’accuratezza sui gruppi di contrasto del 93,5\% con un’impostazione di ragionamento più elevata, contro l’81,5% con il livello di sforzo minimo. Collegando gli errori ai dettagli decisivi e ai livelli di difficoltà, DecisionPivot offre una diagnosi dettagliata degli errori decisionali che la sola valutazione aggregata non può fornire.