The Pulse

Piccoli set di test hanno fatto apparire l’auto-miglioramento dei LLM migliore di 13–20 punti

Uno studio preregistrato ha rilevato che i cicli di auto-miglioramento dei LLM basati su 16 elementi di valutazione sovrastimavano l’accuratezza finale di 13–20 punti percentuali. I ricercatori hanno anche testato set di valutazione più amp

AI.info Team · Scritto con l’IA · 2026-10-08

Con appena 16 esempi di valutazione, i cicli di auto-miglioramento dei LLM sovrastimavano la propria accuratezza finale di 13–20 punti percentuali, secondo uno studio preregistrato pubblicato su arXiv il 7 ottobre. Quando i ricercatori hanno usato 256 esempi, lo scarto è sceso a 1–5 punti. I risultati mostrano come un sistema possa sembrare in miglioramento se sceglie ripetutamente il prompt che ottiene il punteggio migliore sullo stesso piccolo set di test.

Lo studio esamina cicli in cui a un modello viene chiesto di rivedere le istruzioni, valutare le revisioni su un set di selezione e conservare la modifica con il punteggio più alto. Litao Hu di Meta e Yutong Tang di Microsoft hanno confrontato quei punteggi con l’accuratezza su esempi separati, tenuti da parte. «I sistemi LLM che si auto-migliorano propongono modifiche a sé stessi e conservano quelle che ottengono un punteggio migliore su un piccolo set di valutazione», scrivono gli autori nell’abstract dello studio.

«I sistemi LLM che si auto-migliorano propongono modifiche a sé stessi e conservano quelle che ottengono un punteggio migliore su un piccolo set di valutazione».

Litao Hu e Yutong Tang, autori dello studio

Sedici esempi hanno amplificato il punteggio del candidato vincente

Il problema statistico è la selezione in presenza di rumore: i punteggi dei test variano e un ciclo che conserva il candidato con il punteggio più alto tende a scegliere quello che ha beneficiato di fluttuazioni casuali. Riutilizzare gli stessi esempi aggrava il problema, perché le modifiche successive vengono valutate rispetto a un candidato già scelto in parte per il buon punteggio ottenuto su quel set. Il punteggio misurato può salire anche quando l’istruzione rivista non funziona meglio su nuovi esempi.

Negli esperimenti di conferma, i ricercatori hanno testato modelli Qwen2.5 sulla classificazione delle domande TREC, sulla classificazione degli intenti Banking77 e sui problemi matematici GSM8K. Hanno confrontato set di selezione da 16, 64 o 256 esempi con un set separato di 600 elementi tenuti da parte. Dopo 11–20 generazioni, il punteggio sul set di selezione superava l’accuratezza sugli esempi tenuti da parte in media di 13,6 punti con 16 elementi, 7,2 punti con 64 e 1,7 punti con 256.

Test più ampi hanno aiutato su TREC, ma non in ogni compito

Il set di selezione più ampio ha migliorato anche i risultati sugli esempi tenuti da parte per TREC. Per il modello Qwen2.5 da 1,5 miliardi di parametri, i guadagni medi rispetto all’istruzione iniziale sono saliti da 13,7 punti con 16 esempi a 24,2 punti con 256. Per il modello da 7 miliardi di parametri, sono saliti da 14,0 a 20,4 punti.

Lo stesso andamento non si è osservato su GSM8K: i ricercatori non hanno riscontrato un aumento dei guadagni sugli esempi tenuti da parte al crescere del set di selezione, e nessuna configurazione sperimentale ha ottenuto più di 3,1 punti. Su Banking77, il ciclo greedy con 16 elementi si è concluso in media 0,6 punti sotto l’istruzione iniziale, mentre il punteggio sul set di selezione è salito di 12,5 punti. Quattro esecuzioni su otto hanno perso accuratezza sugli esempi tenuti da parte; lo studio precisa che un precedente risultato esplorativo che mostrava perdite su quel compito non si è riprodotto nello studio di conferma.

Regole di accettazione più severe non hanno migliorato le esecuzioni complete

I ricercatori hanno testato anche un filtro bayesiano calibrato in una fase pilota e una regola di selezione seguita da conferma, che verifica un candidato scelto su esempi non usati per selezionarlo. Nessuno dei due ha migliorato le esecuzioni complete rispetto all’approccio greedy di base quando veniva riutilizzato lo stesso set di selezione. Su 32 coppie di esecuzioni, il filtro bayesiano ha concluso in media 2,1 punti sotto l’accettazione greedy, mentre la selezione seguita da conferma ha concluso 1,6 punti sotto.

Ulteriori test hanno esteso la questione oltre il ciclo di riscrittura dei prompt sviluppato dai ricercatori. In GEPA, un ottimizzatore di prompt, il punteggio di validazione di un programma restituito sulla base di 16 elementi suggeriva un miglioramento di 38,8 punti su TREC, mentre il guadagno sugli esempi tenuti da parte era di 19,2 punti. Gli autori sottolineano che questo misura la sovrastima del punteggio di validazione, non un errore nei risultati pubblicati di GEPA, che usano set di test separati.

Lo studio non verifica i compiti degli agenti e di scrittura del codice

Gli esperimenti si concentrano sulle modifiche alle istruzioni, sui modelli Qwen e su compiti con punteggi deterministici. Gli autori non hanno testato compiti di scrittura del codice o svolti da agenti, nei quali gli esiti possono comportare esecuzioni stocastiche e ulteriore rumore di misurazione. Avvertono inoltre che le regole di accettazione testate non sono una soluzione generale al riutilizzo dei dati di valutazione.

Come verifica pratica, i ricercatori hanno valutato le istruzioni iniziali e finali su 64 esempi mai usati per la selezione. Quella verifica ha eliminato la distorsione media nei guadagni riportati e ridotto l’errore quadratico medio da 15,5 a 5,7 punti percentuali, anche se l’errore residuo poteva ancora essere pari a un guadagno tipico. La loro raccomandazione è di riportare l’accuratezza sugli esempi tenuti da parte e il relativo errore standard insieme al punteggio usato per selezionare le modifiche.