The Pulse
Auto-Research Arena: la ricerca semplice si classifica seconda
Nei risultati di Auto-Research Arena con Opus 5, GEAR ha prodotto il modello più piccolo, mentre AutoScientists si è classificato primo nella graduatoria complessiva e Sequential Search secondo. Con GPT-6 Astra, GEAR si è classificato primo
AI.info Team · Scritto con l’IA · verificato ·
Un modello più piccolo nei test con Opus 5
GEAR ha ridotto un modello linguistico da 50,33 milioni di parametri a 13,20 milioni in Auto-Research Arena, un benchmark progettato per verificare se i sistemi di ricerca basati sull’IA siano in grado di apportare modifiche utili al codice di addestramento dei modelli. Il risultato riguarda il programma completo prodotto da GEAR, non l’effetto di una singola tecnica. Il confronto valuta sette metodi di ricerca rispetto a nove obiettivi di efficienza, tra cui le dimensioni del modello, il costo dell’addestramento e la latenza dell’inferenza.
L’articolo è apparso su arXiv il 26 ottobre 2026. Gli autori scrivono:
«Arena distingue chiaramente i sistemi esistenti tra i diversi obiettivi di ricerca: diversi metodi sofisticati sono superati dalla nostra semplice baseline di ricerca sequenziale, il che indica ampi margini di miglioramento per gli attuali sistemi di ricerca automatizzata».
La qualità è un requisito, non il punteggio
Ogni ricerca parte da un programma condiviso per l’addestramento di modelli linguistici e dispone di un massimo di 100 esperimenti conteggiati per ciascun compito. Anziché chiedere a ogni metodo soltanto di ridurre la perdita di validazione, Arena assegna a ogni esecuzione un obiettivo relativo alle risorse. Una modifica proposta viene presa in considerazione solo se rispetta i limiti di qualità e di risorse del benchmark.
Nei test sui modelli linguistici, i candidati dovevano mantenere il valore di bit per byte in validazione sotto 1,05, una soglia leggermente superiore al punteggio del modello di partenza. I nove obiettivi riguardano il numero totale di parametri; i token di addestramento necessari per raggiungere la soglia di qualità; i FLOP, la memoria, il tempo e gli aggiornamenti necessari per l’addestramento; e, per l’inferenza, le dimensioni della cache chiave-valore sulla GPU, la latenza di decodifica e la latenza delle richieste. Un sistema ottiene un punteggio per l’efficienza solo se il modello risultante rispetta il requisito di qualità stabilito.
Sequential Search si classifica secondo
AutoScientists ha guidato la classifica complessiva nei risultati con Opus 5, con un punteggio Elo di 1729,4. Sequential Search si è classificato secondo con 1687,6, davanti ad Arbor con 1632,4. L’articolo riferisce che, con GPT-6 Astra, GEAR si è classificato primo e Sequential Search secondo.
Questo risultato mette in discussione l’idea che un flusso di lavoro più elaborato per gli agenti produca necessariamente risultati di ricerca migliori. Tra i metodi testati figuravano il coordinamento tra più agenti, un albero delle ipotesi, la ricerca evolutiva e un archivio che preserva la diversità. Eppure il metodo sequenziale, più semplice, ha superato diversi di questi sistemi nella classifica complessiva. Nessun metodo ha ottenuto il valore migliore per tutti gli obiettivi: GEAR ha prodotto il modello più piccolo nel confronto con Opus 5, mentre AutoScientists ha primeggiato in entrambe le misure di latenza.
Obiettivi diversi hanno prodotto soluzioni diverse
I programmi vincenti hanno modificato più dei soli parametri di configurazione. L’articolo descrive soluzioni individuate tra cui Transformer iterativi, attenzione grouped-query e multi-query, rappresentazioni condivise dei token, modifiche alla memoria usata per le attivazioni e ottimizzazioni dell’inferenza. Nella discussione sull’efficienza in termini di parametri, l’articolo descrive la condivisione ricorrente dei pesi, che trasforma un modello in un Transformer iterativo, insieme a fattori di amplificazione delle connessioni residue specifici per profondità. Il catalogo del benchmark descrive il programma completo, non un test controllato di ciascun componente.
Le regole di valutazione di Arena stabiliscono quali risultati siano validi. Un candidato deve rispettare la soglia di qualità BPB e i limiti di risorse applicabili; il benchmark misura i progressi rispetto all’obiettivo selezionato tra i risultati validi. Ciò significa che un valore più basso per una risorsa, da solo, non costituisce un risultato positivo se il candidato non soddisfa il requisito di qualità.
Un test sui modelli linguistici, non una prova generale
Le evidenze dello studio provengono da una sola applicazione del benchmark alla modellazione linguistica. I risultati mostrano come si comportano i metodi di ricerca con questi obiettivi e vincoli; non dimostrano che le stesse classifiche o soluzioni si ritroveranno in altri campi di ricerca. Gli autori presentano Arena come un framework per futuri test con obiettivi e contesti di ricerca diversi.
Per ora, il confronto è limitato a nove percorsi di efficienza per i modelli linguistici e a un massimo di 100 esperimenti conteggiati per compito. Entro questi limiti, il risultato principale è concreto: AutoScientists si è classificato primo nella graduatoria complessiva del confronto con Opus 5, mentre una semplice ricerca sequenziale è arrivata seconda; con GPT-6 Astra, GEAR ha guidato la classifica e Sequential Search si è nuovamente classificato secondo.