The Pulse

Uno studio individua un limite matematico alla riproducibilità dell’IA

Uno studio propone che l’intreccio tra bacini di addestramento possa rendere difficili da prevedere i risultati del deep learning, anche quando la casualità esterna è controllata. I test rilevano esponenti di incertezza prossimi allo zero i

AI.info Team · Scritto con l’IA · verificato · 2026-11-06

In un modello minimale di rete neurale, l’esponente di incertezza era pari a 0,0126 ± 0,0002. Secondo lo studio, questo valore prossimo allo zero significa che aumentare la precisione di un’inizializzazione produce solo miglioramenti marginali nella previsione del risultato dell’addestramento. Pubblicata il 5 novembre 2026 su Nature Machine Intelligence, la ricerca propone la geometria dei bacini crivellati come spiegazione, nell’ambito dei sistemi dinamici, dell’imprevedibilità e dell’irriproducibilità nel deep learning.

Perché ridurre le variazioni nell’inizializzazione potrebbe non aiutare

I risultati dell’addestramento sono spesso difficili da prevedere e riprodurre, anche quando le fonti esterne di casualità sono controllate. Ricerche precedenti hanno esaminato effetti come l’inizializzazione casuale, l’ordine dei mini-batch, l’augmentation dei dati e gli errori numerici introdotti dalle piattaforme di calcolo. L’articolo segnala evidenze secondo cui modificare un parametro anche di un solo bit può produrre una variabilità paragonabile a quella associata a più fonti di rumore combinate. Si chiede quali limiti intrinseci alla prevedibilità possano rimanere dopo l’eliminazione di queste fonti esterne.

Il meccanismo proposto riguarda i bacini di attrazione associati a diversi risultati dell’addestramento. Questi bacini sono intrecciati, cosicché un’inizializzazione che porta a una soluzione si trova arbitrariamente vicina a inizializzazioni che ne producono un’altra. Gli autori descrivono la struttura risultante come un frattale «grasso», con dettagli a scale arbitrariamente piccole.

L’articolo distingue questa incertezza sul risultato dal caos. Nelle dinamiche caotiche, piccoli errori nelle condizioni iniziali crescono nel tempo e limitano la previsione di una traiettoria. Il fenomeno dei bacini crivellati riguarda invece la destinazione qualitativa raggiunta dall’addestramento: l’incertezza può persistere anche con variazioni arbitrariamente piccole delle condizioni iniziali.

Una rete a due livelli rivela il meccanismo

Per esaminare come il fenomeno dei bacini crivellati possa emergere nelle dinamiche di apprendimento, i ricercatori utilizzano una rete a due livelli, descritta come la più piccola architettura che ammette una simmetria non banale. La rete usa una funzione di attivazione tangente iperbolica ed è addestrata su un compito di regressione con otto coppie input-output, i cui input e output sono estratti da una distribuzione normale standard. Il modello viene addestrato mediante discesa del gradiente deterministica per minimizzare l’errore quadratico medio.

Lo studio individua analiticamente nel modello sottospazi invarianti indotti dalla simmetria. Tra questi figurano piani in cui i due neuroni nascosti hanno pesi identici o che differiscono per il segno, così come piani in cui i pesi di un neurone si annullano. I ricercatori rilevano che, tra le inizializzazioni casuali, due destinazioni concorrenti di rilievo sono i due piani invarianti rispetto alla permutazione. Con tassi di apprendimento elevati, l’addestramento può anche divergere, un risultato che lo studio considera come un attrattore all’infinito.

Con un tasso di apprendimento di 2,5, un piano invariante contiene un attrattore caotico. Lo studio riporta un esponente di Lyapunov longitudinale massimo positivo, che indica la presenza di caos all’interno del piano, mentre gli esponenti trasversali sono nel complesso negativi. Rileva inoltre fluttuazioni positive negli esponenti trasversali a tempo finito, evidenza della presenza di punti periodici trasversalmente instabili. Insieme alla presenza di attrattori concorrenti, queste caratteristiche soddisfano condizioni teoriche sufficienti per il fenomeno dei bacini crivellati.

Una mappa delle destinazioni campiona una griglia di 2047 × 2047 inizializzazioni e mostra i percorsi verso i due piani invarianti rispetto alla permutazione o verso l’infinito. La mappa rivela destinazioni intrecciate, anche a ingrandimenti maggiori di aree che appaiono uniformi a scale meno dettagliate. L’esponente di incertezza misurato, 0,0126 ± 0,0002, quantifica quanto lentamente diminuisca la frazione dei risultati incerti al ridursi della perturbazione ammessa.

Segnali simili nelle reti profonde

Lo studio estende l’analisi alle reti profonde, rilevando destinazioni dell’addestramento intrecciate ed esponenti di incertezza nello spazio dei parametri prossimi allo zero in tutte le configurazioni testate. I ricercatori introducono anche esponenti di incertezza funzionale, che valutano le variazioni nelle funzioni apprese anziché soltanto quelle nei parametri della rete. I risultati mostrano esponenti funzionali anch’essi prossimi allo zero, indicando che l’incertezza insensibile alla scala emerge nello spazio delle funzioni.

I segnali riportati sono coerenti tra le architetture, gli ottimizzatori, i metodi di regolarizzazione e le funzioni di attivazione testati. Lo studio presenta inoltre il fenomeno dei bacini crivellati come un quadro teorico in grado di spiegare osservazioni tra cui la variabilità irriducibile dei modelli e i compromessi tra prestazioni e riproducibilità. Propone la geometria dei bacini crivellati come possibile principio organizzatore dell’irriproducibilità nel deep learning, con implicazioni per l’ottimizzazione e l’impiego affidabile dell’IA.