Un teorema no-hair condizionale per i transformer: come i modelli linguistici dimenticano il proprio prompt

Abstract degli autori

Ci chiediamo quanto un transformer autoregressivo conservi del proprio prompt dopo aver generato $t$ token. Consideriamo due prompt diversi seguiti dallo stesso testo di continuazione, così che ogni differenza tra i loro stati nascosti dipenda soltanto dal prompt, e osserviamo che la distanza tra questi stati diminuisce approssimativamente secondo una legge di potenza $t^{-α}$, dove $α=1$ è il tasso a cui si riduce la quota di attenzione uniforme assegnata a un prompt fisso, mentre valori più piccoli indicano una memoria più duratura. I modelli addestrati dimenticano rapidamente ($α\approx0.55$--$0.7$), quelli non addestrati lentamente ($α\approx0.2$--$0.5$). Dimostriamo che questa differenza è $O\big(P(\log t)^{L-1}/t\big)$ per un prompt di lunghezza $P$ e una profondità $L$. Il limite vale per i transformer softmax pre-LN a profondità finita con logit di attenzione limitati, a un’ulteriore condizione: che le attivazioni precedenti alla normalizzazione restino lontane da zero. Il meccanismo è geometrico: l’influenza diretta del prompt si diluisce man mano che il contesto cresce, e il \emph{relay} --- i token della continuazione che trasmettono ciò che i token precedenti hanno letto nel prompt --- può aggiungere soltanto fattori logaritmici. È ciò che chiamiamo \emph{conditional no-hair theorem}: dato il testo generato fino a quel momento, l’influenza del prompt sul token successivo svanisce al crescere di $t$, quindi qualsiasi proprietà del prompt che persista, come la sua lingua, deve essere veicolata dal testo stesso. Un modello lineare di relay risolvibile esattamente mostra che il limite non può essere migliorato e riproduce l’aumento dell’esponente locale verso $1$ osservato nelle reti non addestrate. Compensare la diluizione con un bias dei logit arresta il decadimento nelle prime fasi dell’addestramento e in seguito lo inverte: la diluizione è dunque necessaria per la perdita di memoria che misuriamo; le reti non addestrate e il modello risolvibile mostrano che è anche sufficiente.