Sostituire l’addestramento con la memoria: selezione listwise per Text-to-SQL

Abstract degli autori

I moderni sistemi Text-to-SQL seguono spesso pipeline che generano più query candidate, le eseguono e poi selezionano la migliore. La selezione listwise, che confronta congiuntamente più candidate, è ampiamente adottata, ma il fine-tuning dei selettori listwise è costoso. Proponiamo quindi un selettore listwise che non richiede fine-tuning. Sostituiamo due obiettivi principali del fine-tuning con strategie applicate in fase di inferenza: (1) apprendere i criteri di selezione come ordinamento e (2) attenuare il bias posizionale. Anzitutto, costruiamo memorie strutturate riutilizzabili invece di incorporare il comportamento di selezione nei parametri del modello. Data una domanda, MaP-SQL recupera memorie ricavate dai dati di addestramento che codificano il modo in cui il linguaggio naturale si associa agli elementi dello schema, alle operazioni SQL e agli output attesi. Queste memorie fungono da criteri decisionali espliciti per valutare le candidate in modo listwise. Inoltre, per attenuare il bias dovuto all’ordine nei selettori listwise, aggreghiamo le classifiche ottenute da più permutazioni dell’input, ottimizzando il costo dell’inferenza mediante i risultati dell’esecuzione e l’attribuzione di punteggi pointwise. Il nostro approccio migliora l’accuratezza della selezione mantenendo efficienza e compatibilità con i modelli linguistici di grandi dimensioni esistenti. Nei benchmark Text-to-SQL produce una selezione più stabile senza fine-tuning e richiede meno confronti superflui rispetto ai metodi esistenti. Su BIRD-dev supera R^3-SQL, il precedente metodo basato su un selettore allo stato dell’arte, di 2,02 punti di accuratezza dell’esecuzione in media, usando gli stessi insiemi di candidate e 2,92 volte meno token.