Prefix-tuning per sequenze di output arbitrarie su Transformer preaddestrati

Abstract degli autori

Il prefix-tuning è un metodo di fine-tuning efficiente in termini di parametri per i modelli linguistici di grandi dimensioni (LLM), che orienta gli output del modello anteponendo alla sequenza di input rappresentazioni di prefisso specifiche per il task. Nonostante il successo pratico, la comprensione teorica dell’espressività dei prefissi è ancora incompleta. In particolare, resta aperta la seguente domanda: dato un Transformer autoregressivo preaddestrato, per ogni coppia di sequenze di input e output $(\mathtt{x},\mathtt{y})$, esiste sempre un prefisso $\mathcal{S}$ tale che anteporre $\mathcal{S}$ a $\mathtt{x}$ induca il modello a generare l’output desiderato $\mathtt{y}$? In questo lavoro dimostriamo che, supponendo che $\mathtt{y}$ appartenga all’immagine del Transformer preaddestrato, tale prefisso $\mathcal{S}$ esiste e può essere calcolato esplicitamente risolvendo più sistemi lineari. Mostriamo inoltre che questa ipotesi è necessaria, nel senso che, se non è soddisfatta, un prefisso del genere potrebbe non esistere; forniamo così una risposta completa alla domanda. La nostra analisi è costruttiva e i risultati teorici ottenuti valgono sotto ipotesi piuttosto generali sull’architettura del modello. Esperimenti approfonditi su GPT-2 e Qwen3-4B dimostrano che il nostro algoritmo produce prefissi che esercitano un forte controllo sugli output del modello.