Il neurone spiking dormiente: un meccanismo guidato dallo stato per reti neurali spiking efficienti

Abstract degli autori

Le reti neurali spiking (SNN) offrono una strada promettente verso un’IA efficiente dal punto di vista energetico, fondata sulla sparsità indotta dagli input presinaptici. Tuttavia, persiste una fonte considerevole di costo computazionale, da tempo trascurata: le dinamiche sottosoglia continue dei neuroni postsinaptici. Un’analisi quantitativa rivela che fino al 44% dei neuroni di un modello ResNet-18 addestrato su ImageNet si trova in uno stato di profonda inibizione e comporta un costo computazionale persistente, pur avendo una probabilità trascurabile di emettere impulsi. Per affrontare questa inefficienza, viene introdotto il modello Dormant Spiking Neuron (DSN). Incorporando un gate dinamico guidato dallo stato, il DSN consente a un neurone di entrare in uno stato dormiente quando il suo potenziale di membrana scende sotto una soglia negativa predefinita, eliminando dinamicamente i calcoli ridondanti a livello della singola istanza. È fondamentale che questo meccanismo di dormienza sia integrato direttamente nelle dinamiche neuronali e addestrato end-to-end mediante retropropagazione nel tempo con gradienti surrogati: la rete può così apprendere attivamente una strategia di dormienza robusta, che preserva in modo adattivo il flusso delle informazioni essenziali. Ampi esperimenti su dataset statici e neuromorfici dimostrano che il framework DSN riduce sistematicamente l’energia impiegata per il calcolo dal 40% a oltre il 70%. In particolare, sul dataset ImageNet, di grandi dimensioni, il DSN supera le tecniche più avanzate di pruning statico a parità di riduzioni dei costi dichiarate e, al tempo stesso, migliora dell’1,34% l’accuratezza della corrispondente SNN di riferimento. Definendo un paradigma di sparsità addestrabile, guidato dallo stato e indipendente dai metodi convenzionali basati sugli input, il DSN consente di ottenere guadagni sinergici in termini di efficienza e offre un approccio efficace per far progredire il calcolo neuromorfico.