Prevedere vettori di steering e pesi degli adapter per trasferire lo stile di un autore con pochi esempi

Abstract degli autori

Adattare i modelli linguistici di grandi dimensioni allo stile di un singolo autore partendo da pochi esempi è difficile, e la scrittura scientifica rende il compito ancora più arduo: le convenzioni formali lasciano poco spazio a variazioni superficiali e gli autori scrivono dei propri argomenti, perciò lo «stile» estratto si intreccia facilmente con il contenuto. Studiamo la generazione di abstract condizionata dallo stile, a partire da pochi abstract di esempio per autore, e proponiamo tre metodi: (1) steering contrastivo delle attivazioni, (2) una rete che predice vettori di steering e (3) una iperrete che predice adapter LoRA. Riscontriamo un compromesso costante tra imitazione dello stile e qualità dell’output: il fine-tuning cattura gran parte del segnale stilistico disponibile, ma sacrifica la scorrevolezza, mentre l’iperrete offre il miglior compromesso sia per gli autori già visti sia per quelli mai visti. Il nostro metodo di steering opera a livello di autore, mettendo a confronto gli abstract di un autore con generazioni stilisticamente neutre degli stessi contenuti. Questo mantiene fisso l’argomento, elimina la necessità di un inventario predefinito degli stili e supera lo steering basato su tale inventario. % [EDIT 1a] attenuata l’affermazione «non esiste un unico asse ottimale» Inoltre, le nostre analisi mostrano che i vettori di steering estratti manualmente e quelli predetti sono quasi ortogonali, pur ottenendo punteggi comparabili: ciò indica che, in questo caso, il condizionamento stilistico può ammettere almeno due direzioni non correlate, anziché richiedere un unico asse specifico.