The Pulse

Un benchmark di Ai2 rileva che i punteggi di novità degli LLM cambiano radicalmente con i prompt

Ai2 ha messo alla prova sei modelli linguistici come valutatori di idee per la ricerca scientifica e ha scoperto che piccole modifiche ai prompt potevano cambiare nettamente i loro giudizi. In un test, l’accuratezza di GPT-5.4 è scesa dal 9

AI.info Team · Scritto con l’IA · verificato · 2026-10-27

L’accuratezza di GPT-5.4 nell’individuare l’idea più originale di una coppia è crollata dal 93,5% al 40,9% dopo una modifica del prompt, secondo un benchmark pubblicato da Ai2 il 27 ottobre. Nei due test il modello ha esaminato le stesse coppie; a cambiare era la formulazione, che gli indicava o meno che i revisori avevano identificato una delle idee come originale. Con il 40,9%, il suo risultato è sceso sotto il 50% atteso da una scelta casuale fra due opzioni.

Il risultato indica un problema per i sistemi di ricerca automatizzati che usano modelli linguistici per valutare se un’idea proposta apporti qualcosa di nuovo. Ai2 ha testato sei modelli e ha scoperto che i loro giudizi potevano variare in base alla formulazione del prompt, alle risorse dedicate al ragionamento e all’accesso a ricerche pertinenti. I risultati sono presentati in uno studio intitolato Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation, insieme a un benchmark, ai dati e al codice.

Le valutazioni di ICLR hanno fornito le etichette di originalità

Ai2 ha costruito il suo benchmark a partire dalle revisioni tra pari degli articoli di ICLR 2026, usando i commenti espliciti dei revisori sull’originalità anziché considerare l’accettazione di un articolo una prova della sua originalità. L’insieme delle idee giudicate più originali comprende 154 idee tratte da articoli accettati e collocati nel 10% con le valutazioni più alte nelle rispettive aree di ricerca: i revisori ne avevano lodato l’originalità e nessuno l’aveva messa in dubbio. L’insieme delle idee giudicate meno originali comprende 145 idee tratte da articoli respinti e collocati nell’ultimo 10%, per i quali i revisori avevano sollevato dubbi sull’originalità senza che nessuno la lodasse.

Per un secondo test, i ricercatori hanno abbinato le 154 idee umane giudicate più originali a 154 idee prodotte da un semplice generatore basato su un modello linguistico. Hanno considerato le idee generate meno originali, ma definiscono questi confronti basati su etichette deboli: i ricercatori non hanno verificato l’originalità di ogni idea generata. Al generatore sono stati forniti un’area di ricerca e l’istruzione di proporre un’idea, senza ricerche nella letteratura, strumenti, iterazioni o feedback.

Ai2 ha inoltre chiesto a un esperto di valutare 30 coppie composte da un’idea umana e una generata, selezionando casi in larga parte corrispondenti a errori del modello valutatore più efficace. L’esperto ha preferito l’idea umana in tutti e 30 i casi e non ha giudicato originale nessuna delle idee generate. Questa verifica sostiene il confronto condotto dai ricercatori, ma il campione, piccolo e selezionato deliberatamente, non costituisce una valutazione indipendente estesa di tutte le etichette del benchmark.

Poche parole hanno cambiato più della metà delle scelte di GPT-5.4

Per i sei valutatori—GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6—i ricercatori hanno variato i prompt, le risorse dedicate al ragionamento, l’accesso ad articoli pertinenti, la formattazione e il numero di giudizi usati per arrivare a un verdetto. Le variazioni più ampie nelle prestazioni sono derivate dalle modifiche ai prompt. Nel test di GPT-5.4, il modello ha cambiato risposta su più della metà delle stesse coppie di idee umane e generate quando il prompt non specificava più che i revisori avevano giudicato originale esattamente una delle due idee.

Il cambiamento è stato più contenuto per le coppie di idee scritte da esseri umani con evidenze più forti e più deboli di originalità: la stessa modifica del prompt ha spostato l’accuratezza complessiva di circa sette punti percentuali. Su quell’insieme, il risultato di Claude Opus 4.6 è comunque variato di 21 punti. Ai2 non ha inoltre trovato alcun prompt che migliorasse i risultati di tutti i valutatori: eliminare un’avvertenza a non considerare originali i contributi incrementali ha migliorato i risultati di alcuni modelli e peggiorato quelli di altri.

Gli autori scrivono: «Il recupero di informazioni e maggiori risorse dedicate al ragionamento aiutano poco, e due valutatori dell’originalità progettati appositamente ottengono risultati peggiori della nostra soluzione di base più economica, basata su un prompt». Il risultato mette in luce un limite centrale dello studio: aggiungere strumenti o più risorse per il ragionamento non garantisce giudizi più stabili.

I valutatori più costosi hanno ottenuto risultati inferiori

Sull’insieme delle coppie di idee umane e generate, un prompt di Claude Opus 4.6 con poche risorse dedicate al ragionamento e una decisione a maggioranza su tre chiamate ha ottenuto un macro-F1 di 0,854, a un costo complessivo di valutazione di 2,59 dollari. Ai2 lo ha confrontato con Idea Novelty Checker, un sistema che recupera articoli dalla letteratura e li riordina, che ha ottenuto 0,642 a un costo di 30,66 dollari, e con il valutatore dell’originalità di AI Scientist di Sakana AI, che ha ottenuto 0,772 a un costo di 82,05 dollari. Entrambi i sistemi progettati appositamente usavano anch’essi Claude Opus 4.6, con una chiamata per decisione.

Il macro-F1 misura le prestazioni nelle categorie delle idee originali e non originali. I costi si riferiscono alle valutazioni riportate nello studio e ai prezzi delle API dell’epoca, non a un prezzo universale per l’uso dei sistemi. La conclusione più generale di Ai2 è più circoscritta dell’affermazione che i modelli non possano valutare l’originalità: i risultati possono dipendere molto da come viene formulato il compito, e i sistemi specializzati e di recupero delle informazioni testati non hanno risolto il problema in modo affidabile.

Le etichette del benchmark hanno dei limiti

I giudizi dei revisori forniscono elementi per valutare l’originalità, ma non misurano direttamente se un’idea sia davvero senza precedenti nella letteratura. Nel secondo dataset di Ai2, l’incertezza è ancora più marcata perché si presume che idee generate con un metodo semplice siano meno originali di idee umane tratte da articoli di ICLR che hanno ricevuto valutazioni molto positive. Secondo i ricercatori, il disaccordo tra prompt ragionevoli può rivelare di per sé un’instabilità, anche quando la risposta corretta è incerta.

La distinzione conta quando i punteggi di originalità vengono usati per confrontare sistemi che generano idee o per filtrare le proposte prima che i ricercatori vi dedichino tempo. Un punteggio che cambia per poche parole nel prompt può riflettere la configurazione del valutatore tanto quanto l’idea esaminata. Nel confronto di Ai2 su GPT-5.4, le stesse coppie hanno prodotto un’accuratezza del 93,5% con un prompt e del 40,9% con un altro.