Allineare i modelli linguistici di grandi dimensioni al feedback umano: fondamenti matematici e progettazione degli algoritmi

Abstract degli autori

Questo articolo offre un’introduzione ai fondamenti matematici e ai quadri algoritmici impiegati per allineare i modelli linguistici di grandi dimensioni (LLM) alle intenzioni, alle preferenze e ai valori umani. Esaminiamo tecniche standard di allineamento, come il fine-tuning (SFT), l’apprendimento per rinforzo con feedback umano (RLHF) e l’ottimizzazione diretta delle preferenze (DPO). Esploriamo inoltre i fondamenti teorici dell’apprendimento dalle preferenze umane, mettendoli in relazione con l’apprendimento per rinforzo inverso (IRL) e i modelli a scelta discreta. Presentiamo algoritmi allo stato dell’arte in stile tutorial, ne discutiamo vantaggi e limiti e offriamo spunti per l’implementazione pratica. La nostra esposizione intende essere una risorsa completa per ricercatori e professionisti, fornendo sia una comprensione di base delle metodologie di allineamento sia un quadro per sviluppare tecniche di allineamento più robuste e scalabili.