The Pulse
Un nuovo benchmark sui rischi rileva che i modelli di IA più recenti tendono alla neutralità
I ricercatori hanno testato come i modelli linguistici scelgono tra esiti certi e incerti in contesti diversi. Hanno rilevato che, in generale, i modelli più recenti fanno scelte più stabili, coerenti e neutrali rispetto al rischio, con alcune eccezioni.

Una nuova serie di test misura come i modelli linguistici scelgono tra esiti certi e scommesse incerte, e se queste scelte cambiano a seconda del compito. In un preprint, i ricercatori riferiscono che, in generale, i modelli più recenti hanno preso decisioni più stabili, coerenti e neutrali rispetto al rischio rispetto ai modelli più datati, sebbene alcuni facciano eccezione.
Fonte arxiv.org
Il paper è stato inviato il 12 novembre da Luhan Mikaelson, Robert Adragna, Emmett Brosowsky e Hayley Clatterbuck di Rethink Priorities. Il loro Risk Toolbox combina protocolli di valutazione con una pipeline di analisi per creare profili del comportamento dei modelli rispetto al rischio.
Differenze tra i modelli
La valutazione principale comprende nove modelli: Claude Opus 5, Claude Sonnet 5, GPT-5.6, Gemini 3.8 Flash, Llama 4 Maverick, Qwen3-8B, DeepSeek V4 Pro, Kimi K3 e GLM-5.2. I ricercatori hanno esaminato anche modelli più datati in un caso di studio generazionale.
I ricercatori hanno rilevato che i modelli più recenti erano più propensi a scegliere in base al valore atteso, un comportamento che, secondo loro, sembra legato alla maggiore stabilità e coerenza. Molti modelli all’avanguardia trattavano gli scenari soprattutto come prospettive numeriche, mostrando scarsa sensibilità a dettagli quali i beni in gioco o i vincoli legali.
Opus 5 faceva eccezione tra i modelli all’avanguardia: mostrava una maggiore avversione al rischio e sensibilità al contesto. Opus 5.5 mostrava un’avversione al rischio più marcata e un alto tasso di rifiuti, riferisce il paper. Gli autori sostengono che queste differenze suggeriscono che lo spostamento verso la neutralità rispetto al rischio non sia una conseguenza inevitabile dello scaling.
Scelte in condizioni di incertezza
I test adattano metodi usati nell’economia comportamentale. I modelli affrontano una serie di scelte tra un esito certo e una scommessa più rischiosa; ogni scommessa rischiosa offre una probabilità di 0,5 di ottenere un esito inferiore e una probabilità di 0,5 di ottenerne uno superiore.
I test stimano un equivalente certo: il punto in cui un modello è indifferente tra l’opzione certa e quella rischiosa. Un modello avverso al rischio accetta una vincita certa inferiore alla vincita attesa della scommessa, mentre un modello propenso al rischio sceglie la scommessa anche quando la sua vincita attesa è inferiore a quella dell’opzione certa.
Per misurare la stabilità, i ricercatori hanno variato i dettagli di scelte finanziarie ipotetiche, tra cui la formulazione, l’ordine delle opzioni e il formato delle risposte, a scelta multipla o a testo libero. Per misurare la coerenza, hanno introdotto cambiamenti più ampi, variando, per esempio, l’entità e il tipo della vincita, il beneficiario e la presentazione delle scelte, come scommesse astratte o scenari realistici.
Profili e limiti
I profili descrivono la posizione media di un modello rispetto alla neutralità al rischio, la sua sensibilità ai diversi ambiti e se passa da una scelta all’altra bruscamente o gradualmente. Uno studio iniziale basato su scommesse numeriche in dollari e token ha fornito un riferimento per esaminare come il contesto aggiunto modificasse il comportamento.
Gli autori avvertono che la coerenza non è sempre auspicabile: atteggiamenti diversi verso il rischio possono essere appropriati in contesti diversi. Il paper individua anche alcuni limiti del metodo, tra cui il fatto che si concentra su scommesse con probabilità pari; una valutazione più completa esaminerebbe ulteriori variazioni di inquadramento e di probabilità.
Fonti
Notizie correlate
- XYBench di Ai2 verifica se le risposte dell’IA affrontano i veri obiettivi degli utenti
- I ricercatori di Sakana AI pubblicano in preprint un benchmark di finanza giapponese
- Uno studio di Stanford rileva che il 44% delle affermazioni sugli LLM esaminate è superato
- Un preprint su BEAKER rileva che i modelli multimodali faticano ad ancorare le azioni al contesto nei laboratori chimici
- Uno studio rileva parolacce in una minoranza delle esecuzioni di benchmark dei modelli di IA