BI-Agent e BI-Bench: verso l’automazione dell’intero processo di business intelligence

Abstract degli autori

La business intelligence (BI) è un pilastro delle decisioni aziendali ed è ampiamente utilizzata dagli utenti aziendali in software come Power BI e Tableau. Nei flussi di lavoro tradizionali della BI, prima di poter (4) rispondere alle proprie domande di business, gli utenti devono preparare i dati: (1) individuare le tabelle pertinenti, (2) trasformare i dati e (3) creare le relazioni di join. Questi passaggi possono essere complessi e richiedere molto tempo, rendendo difficile il lavoro di BI. Date le notevoli capacità dei modelli linguistici di grandi dimensioni (LLM) nel lavorare con i dati, studiamo la loro capacità di rispondere alle domande di BI dall’inizio alla fine, senza che gli utenti debbano svolgere manualmente le laboriose fasi di preparazione. A questo scopo raccogliamo da fonti pubbliche un’ampia serie di progetti di BI reali ed estraiamo manualmente coppie di (domande, risposte corrette di riferimento) dalle dashboard di utenti reali. Il benchmark che ne risulta, BI-Bench, è il primo a studiare sistematicamente la capacità degli LLM di gestire l’intero processo di BI. Rileviamo che anche gli LLM più avanzati ottengono risultati scarsi su BI-Bench, con un’accuratezza inferiore al 50%. Per affrontarne i limiti, progettiamo BI-Agent, un agente dotato di strumenti che scompone i flussi di lavoro della BI in sottoattività su dati strutturati, come la ricerca, i join e la trasformazione, e coordina metodi specializzati di gestione dei dati nelle diverse fasi della BI. Sviluppiamo inoltre un framework di post-addestramento che sintetizza traiettorie di addestramento a partire da progetti di BI reali, consentendo di sottoporre BI-Agent a ulteriore post-addestramento sia mediante fine-tuning supervisionato (SFT) sia mediante apprendimento per rinforzo (RL). Usando LLM standard, BI-Agent ottiene incrementi sostanziali dell’accuratezza, fino a 40 punti percentuali; BI-Agent sottoposto a post-addestramento ottiene incrementi fino a 30 punti. I nostri risultati evidenziano l’importanza di combinare il ragionamento supportato da strumenti con un post-addestramento specifico per il dominio nei complessi flussi di lavoro della BI e indicano direzioni promettenti per la ricerca futura.