The Pulse
Il framework «sleep» di Google punta a una memoria da 10 milioni di token per i modelli linguistici di grandi dimensioni
Google Research propone di alternare l’apprendimento attivo al consolidamento offline, così che i modelli linguistici possano conservare nuove informazioni anche dopo la fine di una conversazione. Il team riferisce prestazioni quasi perfett
AI.info Team · Scritto con l’IA · verificato ·
Google Research afferma che il suo framework «sleep» ha conservato informazioni apprese da contesti lunghi fino a 10 milioni di token nel benchmark BABILong, usando fasi di lavoro offline programmate per trasformare il contesto temporaneo in parametri del modello. La proposta, pubblicata il 27 ottobre 2026, prevede per i modelli linguistici di grandi dimensioni un’alternanza tra periodi di «veglia», in cui elaborano nuovi input, e periodi di «sonno», in cui consolidano ciò che hanno appreso.
L’idea affronta un compromesso dei modelli già in uso: le informazioni contenute in un prompt possono scomparire alla fine di una sessione, mentre l’aggiornamento dei pesi del modello può fargli dimenticare capacità precedenti. I ricercatori di Google Ali Behrouz e Vahab Mirrokni descrivono un ciclo pensato per conservare i nuovi fatti e migliorare le prestazioni senza sovrascrivere le conoscenze precedenti. Il loro post presenta i risultati di una ricerca comparsa per la prima volta in un paper a giugno.
Dal contesto temporaneo ai parametri del modello
Durante la fase attiva, il modello acquisisce nuove informazioni e le memorizza in componenti rapidi a breve termine. Nella fase offline, interrompe l’acquisizione di nuovi input e si dedica al consolidamento della memoria e al miglioramento delle proprie capacità. Secondo il post di Google, l’approccio usa blocchi di memoria Mixture-of-Experts preallocati, i cui pesi vengono aggiornati durante il sonno con esempi di esercitazione generati dal modello stesso.
Il paper chiama questo processo di trasferimento «knowledge seeding». Una versione più piccola del modello funge da insegnante e trasmette informazioni a una versione più grande, dotata di capacità appena attivata. Il modello allievo apprende dal feedback sul testo che genera e da un obiettivo di apprendimento per imitazione; secondo i ricercatori, durante questo aggiornamento i parametri precedenti restano invariati per limitare le interferenze.
Due fasi, con compiti diversi
Il consolidamento trasferisce le informazioni dalle componenti di memoria che cambiano più rapidamente a quelle più persistenti. Una seconda fase, che i ricercatori chiamano «dreaming», genera esempi sintetici per ripassare le nuove informazioni e affinare le capacità esistenti. Il sistema valuta gli esempi candidati in base al loro potenziale valore, ne seleziona alcuni per l’addestramento e usa l’apprendimento per rinforzo per favorire quelli associati a un miglioramento delle prestazioni nei compiti.
Gli autori descrivono l’ambito del paper nel suo abstract:
«I nostri esperimenti su compiti di apprendimento su lunghi orizzonti temporali, apprendimento continuo, acquisizione di conoscenze e generalizzazione con pochi esempi confermano l’importanza della fase di sonno».
Ali Behrouz, Farnoosh Hashemi e Vahab Mirrokni, autori di “Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories”
Risultati su contesti lunghi e nuovi fatti
Secondo il paper, su BABILong il modello Hope, potenziato con il consolidamento durante il sonno, ha ottenuto un punteggio quasi perfetto con una lunghezza del contesto fino a 10 milioni di token. I ricercatori hanno inoltre testato l’apprendimento sequenziale su due lingue mai incontrate durante il preaddestramento. Dopo l’esposizione alle due lingue in sequenza, la loro configurazione Hope-3 ha quasi recuperato le prestazioni ottenute con una sola lingua, mentre il normale apprendimento nel contesto ha perso gran parte dei miglioramenti.
Per l’acquisizione di conoscenze fattuali, il paper riporta per il modello Sleep a quattro livelli un’accuratezza su SQuAD senza contesto di 48,9 in una configurazione con un solo brano e di 46,2 dopo un ulteriore preaddestramento su 200 brani. Il sistema usato per il confronto, SEAL, ha ottenuto rispettivamente 46,7 e 43,2. Nel ragionamento matematico, Qwen3-8B potenziato con la fase di sonno ha ottenuto 79,2 su AIME-24, 69,0 su AIME-25 e 46,1 su HMMT-25; la tabella riporta i punteggi medi di 16 tentativi.
Un risultato di ricerca, non apprendimento continuo in produzione
I test non dimostrano che un prodotto Google esistente apprenda ora continuamente dai propri utenti. Valutano un metodo di ricerca su benchmark e configurazioni di modello diversi, e il post non specifica tempi di implementazione, costi operativi o misure di salvaguardia per decidere quali informazioni fornite dagli utenti debbano diventare un aggiornamento permanente del modello. Sono questioni importanti perché il consolidamento offline modifica i pesi del modello, anziché limitarsi a conservare una nota recuperabile.
Il paper è apparso su arXiv il 2 giugno 2026, prima del post di Google Research del 27 ottobre. I suoi risultati sostengono l’utilità di separare l’uso attivo dai successivi aggiornamenti del modello, ma lasciano a lavori futuri le questioni pratiche relative al controllo dei dati, alla verifica degli aggiornamenti e all’affidabilità. Per ora, il risultato riportato più chiaro riguarda un benchmark: prestazioni quasi perfette su BABILong con una lunghezza del contesto di 10 milioni di token.