TextReg: mitigare l’overfitting distribuzionale dei prompt mediante l’ottimizzazione regolarizzata nello spazio del testo

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) sono molto sensibili ai prompt usati per definire gli obiettivi dei compiti e i vincoli comportamentali. Molti metodi recenti di ottimizzazione dei prompt li riscrivono iterativamente sulla base del feedback generato dagli LLM, ma i prompt risultanti spesso si allungano, accumulano regole ristrette e specifiche per i singoli esempi e generalizzano poco al di fuori della distribuzione dei dati di addestramento. Studiamo questo problema come una forma di overfitting distribuzionale dei prompt e sosteniamo che rifletta una mancanza di controllo della rappresentazione nell’ottimizzazione dello spazio testuale discreto. Formalizziamo questa prospettiva attraverso l’inefficienza rappresentazionale, una misura a due fattori che scompone l’inefficienza dei prompt nel costo in termini di capacità e nella ristrettezza dell’ambito, attribuendo l’overfitting distribuzionale dei prompt alla crescita congiunta di questi fattori durante l’ottimizzazione. Proponiamo TextReg, un framework di regolarizzazione che realizza un obiettivo con penalità soft mediante gradienti testuali regolarizzati, combinando Dual-Evidence Gradient Purification, Semantic Edit Regularization e Regularization-Guided Prompt Update. Su diversi benchmark di ragionamento, TextReg migliora sostanzialmente la generalizzazione fuori distribuzione (OOD), con incrementi dell’accuratezza fino al +11,8% rispetto a TextGrad e al +16,5% rispetto a REVOLVE.