Gap Detection: ridurre l’omogeneizzazione attraverso Demand e Defensibility

Abstract degli autori

I modelli linguistici producono spesso risposte semanticamente simili a domande aperte, anche quando esistono molte alternative plausibili. Per generare alternative utili occorre individuare sia ciò che la domanda richiede sia ciò che le risposte esistenti già coprono. Presentiamo Gap Detection, un framework che cerca direzioni pertinenti ma non ancora occupate in uno spazio condiviso di embedding testuali. La sua funzione obiettivo, GapScore, combina la pertinenza rispetto alla domanda (Demand) con la dissimilarità rispetto all’elemento esistente più vicino (Defensibility). Il framework ottimizza il prodotto di queste due componenti sulla sfera unitaria, associa le direzioni candidate a parole che esprimono concetti mediante un modello linguistico e usa filtri specifici per il compito e prompt vincolati per trasformare quei concetti in testo. Su cinque argomenti selezionati e 90 domande di INFINITY-CHAT, le riduzioni relative medie riportate per Collision degli output sono rispettivamente del 12,8% e del 10,8%. Applichiamo inoltre il framework all’ottimizzazione per i motori generativi in quattro mercati di prodotti e all’ampliamento iterativo dei dati sintetici. In quest’ultimo contesto, con 100 esempi di addestramento per metodo, Gap Detection riduce Collision da 0,324 a 0,298 rispetto all’accumulo non guidato e aumenta il Vendi Score da 27,16 a 29,20; la differenza di accuratezza equivale a un esempio su un set di test di 40 esempi. Gli studi di ablazione delle componenti mettono in luce il compromesso tra separazione semantica e pertinenza, mostrando anche che punteggi migliori per le direzioni non producono uniformemente metriche migliori nelle fasi successive. Questi risultati indicano che la ricerca esplicita delle lacune è un meccanismo pratico per diversificare i contenuti, verificando la validità rispetto al compito separatamente dalla novità geometrica.