The Pulse
Una rete del MIT sviluppa un algoritmo di apprendimento a partire da connessioni casuali
Secondo i ricercatori del MIT, modifiche locali alle connessioni possono organizzare una rete neurale con connessioni casuali in un sistema che approssima la discesa del gradiente. Il modello informatico ha raggiunto prestazioni paragonabil
AI.info Team · Scritto con l’IA ·
Una rete neurale che parte da connessioni casuali può organizzarsi in un sistema che approssima la discesa del gradiente, riferiscono i ricercatori del MIT in un articolo pubblicato online il 9 ottobre. Secondo gli autori, le prestazioni del modello hanno raggiunto il livello dei risultati ottenuti con la backpropagation, offrendo una spiegazione computazionale di come i meccanismi dell’apprendimento potrebbero emergere da interazioni locali, anziché essere definiti in anticipo da un progettista. Il lavoro non dimostra che il cervello usi questo meccanismo. MIT News ha descritto lo studio il 13 ottobre.
Dalle connessioni casuali ai circuiti di apprendimento
La maggior parte delle reti neurali artificiali parte da un’architettura e da un metodo di addestramento scelti dalle persone. Il gruppo del MIT si chiede invece se semplici regole per modificare le connessioni possano aiutare una rete a sviluppare i meccanismi di cui ha bisogno per apprendere. Il modello parte da unità simili a neuroni, collegate casualmente e disposte in strati, poi consente a queste unità di regolare le proprie connessioni attraverso interazioni locali.
L’articolo chiama l’elemento fondamentale Self-Assembling Motif, o SAM. In base a regole di plasticità eterosinaptica, un motivo emerge da connessioni inizialmente casuali; le reti formate da questi motivi si organizzano poi gerarchicamente secondo dinamiche che approssimano una forma generalizzata di discesa stocastica del gradiente. La discesa del gradiente migliora un modello regolando i parametri in risposta agli errori, mentre la backpropagation è il metodo comunemente usato per calcolare queste regolazioni nell’intera rete.
«Questo suggerisce che l’apprendimento biologico non debba necessariamente essere prescritto, ma possa emergere da regole locali, e in misura molto maggiore di quanto si pensasse in precedenza», scrivono Qianli Liao et al., autori di «How biological synapses self-assemble gradient learning».
Prestazioni comparabili, non una prova sul funzionamento del cervello
Secondo il MIT, la rete ha imparato a riconoscere schemi e a classificare immagini, raggiungendo un livello di prestazioni simile a quello delle reti addestrate con la backpropagation. Il confronto è importante perché i neuroscienziati ritengono generalmente improbabile che la backpropagation standard descriva il modo in cui apprendono i cervelli biologici: richiede un calcolo coordinato a livello globale, mentre le sinapsi cambiano attraverso processi locali.
La proposta dei ricercatori offre un possibile collegamento tra queste due scale. Ripetute modifiche locali potrebbero assemblare motivi che, nel loro insieme, svolgono un processo di apprendimento simile alla discesa del gradiente. Il risultato è una dimostrazione basata su un modello, non la prova che siano stati osservati circuiti biologici assemblare SAM o usarli per apprendere.
Qianli Liao, ricercatore post-dottorato presso il K. Lisa Yang Integrative Computational Neuroscience Center del MIT e co-primo autore, ha spiegato a MIT News che di solito sono gli ingegneri a progettare le regole che governano i cambiamenti delle connessioni nelle reti artificiali. «Il cervello non ha un progettista o un architetto esterno», ha detto. «Il cervello deve organizzarsi da sé. E dobbiamo capire come semplici regole lo porteranno a organizzarsi».
La verifica nei circuiti biologici
Questa distinzione definisce il prossimo ostacolo scientifico dello studio: stabilire se si possano individuare motivi o dinamiche di apprendimento comparabili nei circuiti neurali viventi. L’articolo presenta il suo quadro teorico come una fonte di previsioni verificabili sull’organizzazione corticale, non come un risultato che risolva la questione di come apprende il cervello. Anche il resoconto del MIT sottolinea che una rete capace di organizzarsi da sé non apprende necessariamente esattamente come un cervello.
Secondo i ricercatori, una migliore comprensione delle regole alla base delle interazioni tra neuroni potrebbe contribuire a chiarire questioni neuroscientifiche sull’apprendimento e, in prospettiva, allo sviluppo di interfacce cervello-computer. Per ora, il risultato concreto è più circoscritto: una rete computazionale costruita sulla base di regole di plasticità locale può assemblare motivi che approssimano l’apprendimento basato sul gradiente e raggiungere prestazioni paragonabili a quelle dei sistemi che usano la backpropagation.