Evoluzione non supervisionata degli strumenti per agenti di programmazione nell’analisi dei data lake

Abstract degli autori

Gli agenti di programmazione possono rispondere a domande analitiche su un data lake individuando, pulendo e unendo i dati pertinenti. Tuttavia, dopo ogni domanda scartano il lavoro svolto e lo ricominciano da zero per la successiva. L’evoluzione degli strumenti, che crea e perfeziona automaticamente strumenti riutilizzabili da un compito all’altro, si presta a evitare questa ripetizione. Poiché ottenere un’etichetta di riferimento per una domanda su un data lake richiede che un esperto la risolva prima, consideriamo un contesto non supervisionato. Proponiamo TEAL (Tool Evolution for Analytics over data Lakes), che fa evolvere senza etichette una libreria di strumenti e competenze per il loro utilizzo destinata a un determinato agente Worker. Due agenti propongono strumenti sulla base di evidenze complementari: un Explorer attinge al data lake stesso e un Critic alle traiettorie del Worker. Una modifica proposta viene mantenuta solo se, in una nuova esecuzione, il Worker adotta lo strumento senza passaggi aggiuntivi e ogni risposta modificata è supportata da evidenze tratte dalle traiettorie. Introduciamo inoltre TEAL-Q, che genera domande sintetiche per l’evoluzione degli strumenti quando non sono disponibili domande reali. Valutiamo il metodo su KramaBench e LakeQA con quattro LLM nel ruolo di Worker, imponendo limiti al numero di passaggi che il Worker può compiere per domanda. Con un limite restrittivo di 10 o 15 passaggi, TEAL migliora le prestazioni di ogni Worker su entrambi i benchmark, aumentando il punteggio di Sonnet-5 con 15 passaggi di 9,3 punti su KramaBench e di 21,7 punti su LakeQA. Un limite più restrittivo produce anche feedback migliori per l’evoluzione. Per esempio, la libreria di Sonnet-5 per LakeQA, fatta evolvere con un limite di 20 passaggi e utilizzata senza modifiche con un limite di 30 passaggi, ottiene 68,3 punti, superando sia il risultato di riferimento (59,6) sia quello di una libreria fatta evolvere direttamente con un limite di 30 passaggi (64,2). Inoltre, una libreria fatta evolvere su domande sintetiche ottiene risultati comparabili a quelli di una libreria fatta evolvere su domande reali. Questi risultati mostrano che è possibile far evolvere strumenti utili senza etichette e, ci auguriamo, stimoleranno futuri studi su cosa far evolvere e su come ottenere feedback nell’evoluzione non supervisionata degli agenti.