Riutilizzo tra prompt delle risposte alla sostituzione di entità

Abstract degli autori

A pesi del modello fissi, misuriamo quanto della risposta alla sostituzione di un’entità si trasferisca tra domande fattuali in inglese, al di là del semplice fatto che le risposte cambino. Aggiungiamo a una domanda bersaglio sulla stessa entità la variazione dello stato nascosto ricavata da due domande sorgente e confrontiamo lo spostamento previsto della log-probabilità tra le risposte pubblicate per due relazioni, dati prefissi noti delle risposte, con quello misurato. Il riutilizzo dello stato nascosto inietta la variazione allineata al 50% della profondità, prima dei layer rimanenti della domanda bersaglio; il riutilizzo diretto aggiunge le variazioni dei punteggi di output della domanda sorgente. Usando domande sorgente su altre relazioni, il riutilizzo dello stato nascosto riduce del 45% e del 49% l’errore del caso senza cambiamento su Qwen e Llama da 0,5-1B. Gemma-2-2B lo riduce del 22% e supera uno dei tre confronti in formato testo semplice, senza il suo token predefinito di inizio sequenza (BOS). Un protocollo successivo che lo ripristina raggiunge il 58-68% e supera tutti i confronti su tre coorti. I checkpoint più grandi, il formato chat e le nuove entità mostrano replicabilità e insuccessi che dipendono dal formato o dalla coorte. Sui piccoli checkpoint in formato semplice, il riutilizzo dello stato nascosto da domande su altre relazioni riproduce soprattutto lo spostamento condiviso dalle domande sulle due relazioni, senza ridurre in modo affidabile l’errore selettivo rispetto alla relazione. Con domande sorgente sulla relazione bersaglio, il vantaggio a posteriori del riutilizzo dello stato nascosto rispetto al riutilizzo diretto è di 0,2-0,9 nat al di fuori del formato chat: non è confermato e non è specifico della sostituzione. La stessa variazione, neutra rispetto alla relazione, applicata ai token dell’entità di entrambe le domande riduce l’errore selettivo rispetto alla relazione più delle variazioni casuali o di altre sostituzioni, indicando una dipendenza dalla domanda ricevente.