The Pulse
Uno studio su Atria Dawn rileva che sono ancora gli esseri umani a scegliere i metodi di ricerca sull’IA
Un articolo su Atria Dawn Preview esamina come ricercatori e agenti di IA si siano suddivisi il lavoro durante lo sviluppo del modello. Gli agenti proponevano spesso dei metodi, ma gli esseri umani prendevano la maggior parte delle decision
AI.info Team · Scritto con l’IA · verificato ·
«Ancora più sorprendentemente, gli agenti propongono spesso metodi e apportano modifiche, mentre gli esseri umani conservano la maggior parte delle decisioni finali e orientano l’esplorazione con il proprio giudizio e i propri riscontri.»
Honglin Guo et al., autori di «Atria Dawn: The Dawn of Agentic Superintelligence»
I ricercatori che hanno sviluppato Atria Dawn Preview hanno usato l’IA in quasi tutte le attività esaminate, ma hanno mantenuto il controllo delle scelte che determinavano la direzione del progetto. L’articolo, presentato per la prima volta ad arXiv il 14 settembre e rivisto il 17 settembre, esamina le registrazioni relative allo sviluppo del modello. I risultati distinguono il lavoro svolto dagli agenti dalle decisioni prese dai ricercatori su quali attività intraprendere.
Gli agenti proponevano i metodi; i ricercatori li sceglievano
Gli autori hanno analizzato le registrazioni di 769 attività svolte da 56 partecipanti, insieme ai log degli agenti. Nei 567 casi segnalati relativi a metodi e decisioni, gli agenti hanno proposto un’opzione nel 64,6% dei casi, secondo l’articolo. Questa cifra complessiva comprende sia i metodi sia le decisioni; per le decisioni su metodi e parametri, nello specifico, lo schema più comune è stato «l’IA propone, l’essere umano sceglie», pari al 55,4%.
Gli esseri umani hanno preso la decisione finale nell’85,5% delle scelte su metodi e parametri, contro il 9,2% dell’IA. I ricercatori hanno inoltre deciso in ultima istanza gli obiettivi o l’ambito del progetto nel 93,4% dei casi. Anche tra le 151 attività che, secondo i partecipanti, sarebbe stato impossibile completare senza IA mantenendo lo stesso ambito e la stessa qualità, gli esseri umani hanno scelto l’obiettivo nel 95,4% dei casi.
Una maggiore attività degli agenti non significava una maggiore autorità
L’IA è stata usata in 713 delle 739 attività per le quali era chiaro se fosse stata impiegata, pari al 96,5%. In un’analisi separata che ha seguito 22 partecipanti, la mediana giornaliera è salita da 11 azioni degli agenti per prompt umano il 7 agosto a 28,5 il 4 settembre. Gli autori avvertono che una sequenza più lunga di azioni degli agenti non dimostra che questi abbiano preso più decisioni: un solo prompt umano poteva avviare una catena di attività.
La distinzione è importante perché il conteggio delle attività può far apparire un flusso di lavoro più autonomo di quanto non sia la sua struttura decisionale. Gli agenti possono condurre esperimenti, preparare materiali e rivedere i risultati, mentre le persone continuano a scegliere gli obiettivi e a valutare le evidenze. L’articolo presenta lo sviluppo di Atria Dawn come un caso di studio, non come una misura del modo in cui lavorano tutti i gruppi di ricerca sull’IA.
L’intervento umano spesso consisteva nel fornire contesto
Per 588 attività, i partecipanti hanno descritto una difficoltà specifica e la relativa risposta. L’intervento umano ha aiutato a far progredire il 76% delle attività; nel 23% dei casi gli agenti sono riusciti a riprendersi da soli e l’1% è rimasto irrisolto. La maggior parte dell’aiuto umano consisteva nel fornire informazioni: l’aggiunta di contesto o il chiarimento dei requisiti rappresentavano il 35,2% delle risposte, mentre l’individuazione dei problemi o il cambiamento dei metodi ne rappresentavano il 34,7%.
Le modifiche dirette al lavoro erano meno frequenti. Le modifiche parziali rappresentavano il 3,2% delle risposte e la presa in carico completa dello 0,7%. Gli autori riferiscono inoltre che gli agenti hanno gestito il 75,4% delle revisioni dopo aver ricevuto riscontri dagli esseri umani, a conferma della distinzione tra la direzione impartita dalle persone e l’esecuzione affidata agli agenti.
Il problema della supervisione emerge nelle sequenze di lavoro prolungate
La questione sollevata dall’articolo non riguarda soltanto chi compie la scelta finale. Quando ogni decisione innesca una lunga catena di lavoro degli agenti, avvertono gli autori, una persona può avere difficoltà a esaminare tutto ciò che ha portato al risultato. Secondo gli autori, molti ricercatori hanno utilizzato gli agenti in modalità autonome per evitare che le attività lunghe si interrompessero in attesa di approvazioni ripetute: a stabilire il confine operativo era la comodità, non una deliberata attribuzione dell’autorità.
Lo studio offre quindi un quadro circoscritto ma utile dello sviluppo di modelli assistito dall’IA: gli agenti hanno ampliato la gamma di attività che i ricercatori potevano intraprendere e proposto molti metodi possibili, mentre le persone hanno mantenuto la maggior parte delle decisioni registrate sull’indirizzo da seguire e sulle scelte da compiere. La possibilità che questa divisione regga man mano che le sequenze di lavoro degli agenti si allungano dipende, in parte, dalla capacità dei ricercatori di continuare a valutare il lavoro alla base della scelta finale.