Il mixing conta: il bias legato alla posizione delle evidenze nei diversi mixer di sequenza per le domande e risposte su contesti lunghi

Abstract degli autori

I modelli per contesti lunghi spesso sfruttano meno efficacemente le evidenze che contengono la risposta quando queste si trovano lontano dalle estremità del prompt. Confrontiamo questo bias di posizione tra architetture Transformer, a spazio di stato e Mamba ibride, spostando un documento che contiene la risposta all’interno di un insieme fisso di nove documenti distrattori. I Transformer valutati mostrano un vantaggio per le evidenze poste all’inizio che manca nei modelli a spazio di stato valutati, mentre entrambe le famiglie favoriscono le evidenze vicine alla fine. Un confronto a parità di condizioni tra Mamba puro e ibrido indica la stessa tendenza, ma resta statisticamente incerto. La differenza tra le famiglie emerge tra i modelli capaci di rispondere alle domande del compito. Il vantaggio per le evidenze iniziali dei Transformer ricompare in un compito di recupero sintetico, dove le prestazioni dei modelli a spazio di stato raggiungono un limite massimo che impedisce il confronto tra famiglie. Sostituire il corpus all’interno di una stessa architettura a spazio di stato modifica l’accuratezza complessiva senza produrre cambiamenti rilevabili nella forma della curva. Modifiche al prompt possono creare o quasi eliminare un vantaggio per le evidenze iniziali. La posizione resta decodificabile nelle diverse architetture anche quando le curve delle risposte differiscono, e la concentrazione dell’attenzione vicino ai token iniziali varia insieme alla sensibilità alle evidenze iniziali nella famiglia Transformer esaminata. Questi risultati esplorativi mostrano che l’uso efficace del contesto dipende dalla famiglia di architetture valutata, dalle capacità del modello, dal compito e dal prompt, senza individuare nel mixer di sequenza l’unica causa.