Controllo interno sparso dei modelli linguistici

Abstract degli autori

I modelli linguistici sono usati sempre più spesso per la generazione di testi, il supporto alle decisioni e le interazioni automatizzate, rendendo necessario un controllo del loro comportamento localizzato, reversibile e selettivo. Lo steering delle attivazioni dimostra che gli interventi interni possono modificare il comportamento dei modelli congelati, ma resta aperta la questione di come selezionare e valutare interfacce di controllo compatte e multi-sito. Presento il controllo interno sparso, un framework per orientare il comportamento bersaglio applicando interventi al momento dell’inferenza a un piccolo insieme di nodi interni del modello. Una formulazione locale della controllabilità del bersaglio caratterizza le coppie sito-direzione candidate in base ai loro effetti sul comportamento e definisce vincoli sul recupero del comportamento bersaglio, sul mantenimento dei comportamenti non bersaglio e sull’energia dell’intervento. Due selettori complementari concretizzano questa formulazione: Driver-OMP seleziona nodi per ricostruire in modo sparso uno spostamento comportamentale desiderato, mentre Coverage-Driver privilegia una copertura stabile tra i prompt. Propongo un protocollo di valutazione del controllo su sei assi, che misura raggiungibilità, inversione con segno, risposta alla dose, controllabilità tramite feedback, mantenimento dei comportamenti non bersaglio e riutilizzo su dati tenuti fuori. Esperimenti esplorativi sull’identificazione dell’oggetto indiretto, sulla risposta a domande a scelta multipla di MMLU, sull’orientamento del sentiment e sull’orientamento del rifiuto forniscono evidenze della fattibilità di orientare comportamenti definiti dal compito mediante interventi interni sparsi. La valutazione sui sei assi caratterizza questi interventi al di là dello spostamento del bersaglio e rivela proprietà di controllo distinte, che dipendono dal compito e dalle informazioni sulle direzioni disponibili. Nel loro insieme, la formulazione, gli algoritmi di riferimento e il protocollo di valutazione costituiscono una base per lo studio sistematico e lo sviluppo di metodi di controllo interno per i modelli linguistici.