Dinamiche di addestramento e inferenza dei PLDR-LLMs: collasso della mappa per righe, rinormalizzazione e riduzione predittiva

Abstract degli autori

Questa monografia presenta un quadro unitario dell’addestramento e dell’inferenza nei modelli linguistici Power Law Decoder Representation (PLDR-LLMs). Identità esatte per il lavoro finito scompongono le variazioni dell’energia assoluta della mappa appresa, centrata per riga, in contributi dei parametri, interazioni con segno e difetti numerici di osservazione. L’aggregazione affine positiva conserva i riavvii sulla faccia delle righe costanti, mentre lo stato aumentato di AdamW fornisce una descrizione dinamica completa. La rinormalizzazione predittiva agisce sull’intera legge condizionale dell’addestramento per una singola passata su blocchi distinti di target del corpus, conservando la memoria dell’ottimizzatore, i dati rimanenti, la schedulazione e la politica numerica. Le riduzioni autonome richiedono una proprietà di chiusura; quelle approssimate comportano errori di successione e di emissione. La covarianza di popolazione finita, gli orologi fisici allineati, i flussi matriciali e l’energia temporale con segno collegano le dinamiche per riga alle osservazioni sull’intero modello. Si distinguono il collasso assoluto delle righe, la concentrazione relativa delle righe, la stabilizzazione dell’operatore e l’accuratezza predittiva. Gli esperimenti rivelano una dipendenza dall’osservatore e dall’ottimizzatore, escludono i candidati esaminati per uno stato autonomo delle righe e corroborano la previsione condizionale finita e la riduzione dell’operatore specifica per stato. Famiglie indipendenti con una singola passata mostrano regioni finite di fluttuazione che si spostano, senza stabilire l’esistenza di una classe critica termodinamica. Simmetria condizionale, limiti delle teste, flussi di covarianza e bilanci degli errori di lettura precisano le ipotesi necessarie per trasferire le leggi di scala all’inferenza. La teoria distingue tra identità esatte, affermazioni dinamiche condizionali e risultati empirici su casi finiti, corredandoli di dimostrazioni, verifiche formali selezionate e risultati numerici sintetici.