Addestramento, apprendimento e inferenza: dinamiche unificate dei sistemi neurali

Abstract degli autori

Definiamo un fatto atomico di generazione f=(u,tau,omega,z;rho), che registra l’origine, la trasformazione effettivamente realizzata, l’occorrenza concreta, il risultato generato e il ruolo relazionale. Organizzati in un Generation-Fact Graph (GFG), questi fatti costituiscono una base compilabile di fatti scientifici, nativa per l’IA, che conserva la storia dei processi di generazione. Definiamo un processo scientifico ricorsivo basato sul GFG, nel quale analisi, intervento, riproduzione e convalida producono fatti per i cicli successivi. Usando nanoGPT, descriviamo dinamiche unificate dell’addestramento e dell’apprendimento. L’addestramento è l’evoluzione di un sistema di parametri e ottimizzatore dotato di stato e memoria: ogni azione effettiva di addestramento entra nello stato ricevente e produce una risposta funzionale non lineare di ampiezza finita, condizionata da quello stato e dalla geometria dell’aggiornamento specifica per l’obiettivo. L’apprendimento è la riorganizzazione persistente del supporto funzionale distribuito attraverso queste risposte; la formazione, il mantenimento, il declino o il recupero di una capacità diventano osservabili quando gli stati specifici per l’obiettivo vengono valutati rispetto alle rispettive soglie di lettura. Tre coordinate principali — lo stato rispetto alla soglia dell’obiettivo, la geometria dell’aggiornamento specifica per l’obiettivo e lo stato ricevente dei parametri e di Adam — consentono di costruire un predittore di secondo ordine che opera prima della lettura degli output successivi all’aggiornamento. Nelle esecuzioni tenute da parte, ha raggiunto un’accuratezza del 91,43% e una recall macro-mediata del 91,49% su quattro transizioni. Stabiliamo inoltre che l’inferenza è una proiezione congelata delle dinamiche dell’addestramento e dell’apprendimento. Il gating e il rollback dei componenti mostrano il reclutamento causale e la combinazione non additiva del supporto condizionato dalla query formatosi durante l’addestramento, da cui ricaviamo le condizioni organizzative realizzate da Attention. Un feedback controllato indica possibili effetti di rinforzo a doppio taglio. Esperimenti con ResNet/CIFAR-100 e diffusion/CIFAR-10 confermano, anche al di là di nanoGPT, risposte condizionate dallo stato ricevente, una riorganizzazione persistente del supporto e la proiezione congelata nell’inferenza.