ARCS: verso una conversione precisa da testo a SQL mediante disambiguazione strutturata

Abstract degli autori

Man mano che i sistemi text-to-SQL passano dalle dimostrazioni all’impiego nel mondo reale, le ambiguità nelle domande degli utenti diventano una delle principali fonti di errore. Spesso sono sottili e specifiche di un dominio o dei dati, e possono far sì che le risposte del sistema si discostino dall’effettivo intento dell’utente senza che ciò sia evidente. Tradizionalmente, le ambiguità vengono risolte chiedendo chiarimenti nel corso di una conversazione: un approccio spesso inefficiente, impegnativo sul piano cognitivo e poco adatto ai flussi di lavoro reali degli utenti. Proponiamo la disambiguazione strutturata, un nuovo paradigma in cui le ambiguità vengono risolte attraverso interazioni esplicite e vincolate, anziché mediante un dialogo libero. Abbiamo costruito ARCS (Ambiguity Resolution Corpus for SQL), il primo benchmark text-to-SQL che comprende ambiguità emerse naturalmente e non soggette a vincoli su database reali, con annotazioni complete di tutti i punti di ambiguità validi, delle interpretazioni e delle query SQL. I risultati sperimentali mostrano che il text-to-SQL resta difficile in presenza di ambiguità: gpt-6-sol raggiunge un’accuratezza di esecuzione end-to-end di appena il 51% e nessun modello open source supera il 27%.