The Pulse
Gli scienziati IA faticano a riprodurre la ricerca quantistica
Uno studio sugli agenti di ricerca basati sull’IA ha rilevato insuccessi in diversi ambiti della scienza quantistica computazionale, compresi casi in cui articoli, codice e risultati erano in contraddizione. Il suo sistema Residual Agents h
AI.info Team · Scritto con l’IA · verificato ·
Gli agenti di IA non riescono a riprodurre in modo affidabile i risultati pubblicati nell’ambito del calcolo quantistico, ma gli articoli non sono sempre una guida attendibile: alcuni sono in contraddizione con il proprio codice o con i risultati riportati. Uno studio presentato ad arXiv il 2 novembre da Yuxuan Du e altri cinque autori esamina entrambe le fonti di insuccesso, mettendo alla prova gli agenti su ricerche di ambito quantistico computazionale e usando correzioni verificate da esperti per migliorare un sistema.
Il benchmark degli autori, OmniQ, trasforma gli studi pubblicati in attività nelle quali un agente deve ricostruire un metodo e riprodurre un risultato riportato. Il sistema successivo, Residual Agents, memorizza le correzioni verificate dei flussi di lavoro come esperienza riutilizzabile. Secondo i ricercatori, l’approccio porta il tasso di riproduzione di un modello dal 68% a circa l’85%.
OmniQ rileva problemi sia negli articoli sia negli agenti
OmniQ valuta se un agente sia in grado di ricostruire il metodo di uno studio, implementarlo e riprodurre un risultato bersaglio con un budget computazionale comparabile. Gli autori hanno inizialmente raccolto 60 studi che coprono la simulazione classica, gli algoritmi quantistici e la caratterizzazione delle proprietà quantistiche. La revisione degli esperti ha individuato incongruenze in 18 studi: alcune potevano essere risolte grazie al codice o all’interpretazione degli esperti, mentre altre rendevano impossibile riprodurre il risultato riportato sulla base della documentazione disponibile.
I ricercatori hanno corretto i problemi che potevano risolvere, poi hanno escluso dalla valutazione degli agenti un caso irrisolto, lasciando 59 studi. Hanno testato cinque sistemi di ricerca basati sull’IA e sei framework per agenti di terze parti. La distinzione è importante per la conclusione centrale dell’articolo: una riproduzione fallita può riflettere i limiti di un agente, un difetto nelle istruzioni di un articolo o una discrepanza tra l’articolo, il codice e i risultati.
Un’impostazione del codice cambia un risultato pubblicato
Un esempio riguarda un articolo sulla mitigazione degli errori quantistici. Il metodo descritto nel testo afferma che un modello seleziona la sua migliore suddivisione usando una sola caratteristica, ma il codice rilasciato utilizza tutte le caratteristiche disponibili. Seguendo le istruzioni dell’articolo si perde il vantaggio riportato; seguendo il codice lo si recupera.
Un altro caso ha mostrato un limite più difficile da superare. In uno studio su un kernel quantistico, l’articolo descrive una figura come una misura della varianza di un kernel, mentre il codice calcola la varianza di una quantità usata per formare quel kernel. Gli autori affermano che l’esame degli esperti ha individuato l’errore statistico, ma non ha potuto stabilire quale configurazione avesse generato i dati archiviati, lasciando il risultato irrisolto.
Residual Agents impara dalle correzioni verificate
Residual Agents, o RA, suddivide le attività in sottopiani, li affida a esecutori e usa un agente critico per verificare i loro risultati rispetto all’articolo. Quando un passaggio fallisce, il sistema può correggerlo o riformulare il piano. Esperti umani esaminano gli aggiornamenti proposti prima che RA li aggiunga alla propria esperienza memorizzata, mentre il modello sottostante e l’orchestrazione rimangono invariati.
Per lo sviluppo, RA ha utilizzato cinque attività impegnative; le altre 54 sono state riservate alla valutazione. Su queste attività, il gruppo ha confrontato DeepSeek V4.1 Flash con e senza RA, usando lo stesso DeepSeek Harness e un budget di 24 ore per attività. Il sistema di riferimento è riuscito nel 68% dei casi; RA ha raggiunto circa l’85% con un costo di inferenza di 5,6 dollari per attività. L’articolo afferma che questo risultato eguaglia quello di Claude Code con Opus 5, che ha raggiunto circa l’85% a un costo di 16 dollari per attività.
La riproduzione non è ancora scoperta
Gli autori scrivono: «Il nostro studio stabilisce la riproduzione dei risultati a partire dagli articoli come base per lo sviluppo di scienziati IA autonomi». Yuxuan Du, Hanqing Zhao, Xinbiao Wang, Yiming Lu, Kaining Zhang e Dacheng Tao, «Reimagining computational quantum research with AI scientists»
L’articolo presenta RA come un sistema per migliorare la riproduzione, non come prova che abbia scoperto nuovi algoritmi quantistici. I suoi autori indicano come direzione per la ricerca futura l’estensione del metodo dalle correzioni verificate per la riproduzione ai progressi algoritmici verificati.