Perlopiù lettura: che cosa misurano i punteggi a libro aperto degli adattatori LoRA a livello di documento

Abstract degli autori

Gli adattatori LoRA addestrati su singoli documenti sono stati proposti come unità di conoscenza da recuperare e fondere. Tuttavia, la valutazione a libro aperto, che include il documento nel prompt, può attribuire all’adattatore di quel documento (lo specialista) il merito di saperlo leggere con la stessa facilità con cui gli attribuisce quello di conservarne il contenuto. Addestrando su Llama-3.1-8B-Instruct un adattatore per ciascuno di 150 articoli di Wikipedia, riscontriamo che i punteggi a libro aperto misurano soprattutto un comportamento di lettura comune a tutti gli adattatori: un adattatore scelto a caso, addestrato su un altro documento, recupera l’82 % del vantaggio dello specialista rispetto al modello di base nella valutazione a libro aperto, ma solo il 2 % del suo vantaggio in una prova cloze che chiede gli stessi fatti contenuti nel documento senza fornire il testo originale; una quota che non riusciamo a distinguere da zero. Parte del contenuto arriva effettivamente nei pesi, poiché gli specialisti superano il modello di base di 0,094 nel richiamo dei fatti nella prova cloze e la geometria dei loro aggiornamenti rispecchia i documenti che leggono. Tuttavia, in un test su 30 query, gli adattatori scelti in base alla vicinanza nello spazio dei pesi o agli embedding testuali non si distinguono da quelli scelti a caso in nessuna delle due prove, sebbene il test non possa escludere un vantaggio pari a circa quattro quinti di quello che l’adattatore proprio di una query ottiene rispetto a uno scelto a caso. Con 16 documenti o più, le fusioni con fattore di scala corretto recuperano dall’87 % all’89 % del vantaggio degli specialisti nella valutazione a libro aperto, ma solo dal 12 % al 16 % del loro vantaggio nella prova cloze, con intervalli che partono da valori inferiori a zero e arrivano al massimo al 32 %, contro il 94 % dell’addestramento congiunto. Segnaliamo inoltre quattro errori silenziosi, ciascuno dei quali ha prodotto un risultato netto ma errato.