FALCON: un framework indipendente da modelli e dataset per generare dati sintetici per coppie NL2SQL

Abstract degli autori

I database relazionali sono tra le forme più diffuse di conoscenza strutturata. Per accedervi tramite il linguaggio naturale occorre collegare le espressioni linguistiche alle entità e alle relazioni dello schema, gestendo al tempo stesso l’ambiguità insita nel modo in cui le persone formulano le richieste. I metodi esistenti per generare dati sintetici NL-to-SQL ignorano in larga misura questa ambiguità e producono query eccessivamente semplici, che non preparano i modelli alla complessità dell’accesso a conoscenze strutturate nel mondo reale. Presentiamo FALCON, un framework che genera, a basso costo e usando modelli aperti compatti, dati NL-to-SQL realistici e capaci di rappresentare l’ambiguità, con una complessità pari a quella di benchmark impegnativi basati su casi reali. Il nostro approccio combina la generazione iniziale di SQL a partire da parole riservate e prompt basati su profili di persona per produrre query strutturalmente complesse. Un filtro basato sull’allineamento ne preserva la difficoltà distinguendo gli esempi effettivamente errati dalle query complesse ma valide. La valutazione umana conferma una qualità costantemente elevata per modelli di diverse dimensioni, e i dati che generiamo superano i benchmark esistenti sia per complessità dell’SQL sia per ricchezza del linguaggio naturale. Un’analisi stratificata per difficoltà mostra che, all’aumentare della complessità delle query, i modelli addestrati sui dati di FALCON superano con un margine crescente quelli addestrati sui dati di riferimento, confermando che la nostra pipeline riesce a generare dati di addestramento impegnativi. Quando si aggiunge una piccola quota di dati tratti da benchmark esistenti, l’addestramento misto recupera le prestazioni sulle query più semplici, mantenendo questi vantaggi su quelle complesse. La struttura indipendente da modelli e database consente alle organizzazioni di generare localmente dati di addestramento NL-to-SQL ad alta complessità senza API esterne.