Quando la quantizzazione compromette la memoria: la scrittura in memoria dello stato ricorrente nell’inferenza temporale a bassa precisione

Abstract degli autori

La quantizzazione è ampiamente usata per ridurre le risorse di calcolo e di memoria necessarie all’inferenza delle reti neurali. Nelle reti ricorrenti, però, lo stato quantizzato viene memorizzato e restituito al passo temporale successivo: la regola con cui viene memorizzato può quindi modificare i calcoli successivi. Qui chiamiamo questa regola «scrittura in memoria dello stato ricorrente» e ne isoliamo l’effetto in un encoder-decoder GRU compatto per l’imaging del tempo di vita della fluorescenza, una modalità di imaging molecolare usata nell’imaging biologico quantitativo. Un compito centrale consiste nello stimare due parametri del tempo di vita, la componente di breve durata τ1 e quella di lunga durata τ2, a partire da segnali di fluorescenza risolti nel tempo e molto rumorosi. Mantenendo fisso il modello addestrato, la sostituzione della propagazione continua dello stato con la sua memorizzazione deterministica a 4 bit aumenta gli errori di stima di τ1 e τ2 rispettivamente di circa 70 e 300 volte. Il problema si verifica quando piccoli aggiornamenti ripetuti restano al di sotto della soglia di scrittura: lo stato memorizzato rimane quasi invariato, mentre la rete continua a proporre modifiche. Il feedback dell’errore, la memoria residua e la memoria della direzione conservano nel tempo le informazioni contenute in questi aggiornamenti soppressi e ripristinano l’accuratezza senza riaddestramento. Le prove a diversi livelli di precisione mostrano che aumentare la precisione dello stato può peggiorare una soluzione ricorrente fissata, mentre l’addestramento in condizioni corrispondenti mostra che la compatibilità con l’interfaccia dello stato può essere appresa. Per verificare se questo comportamento si estenda oltre la GRU, ripetiamo l’intervento successivo all’addestramento in una LSTM addestrata indipendentemente: la scrittura in memoria a bassa precisione riproduce il problema, il feedback dell’errore ripristina l’accuratezza e gli interventi specifici sui singoli stati rivelano una maggiore sensibilità dello stato della cella rispetto allo stato nascosto. I nostri risultati mostrano che la scrittura in memoria dello stato ricorrente è un fattore determinante delle dinamiche ricorrenti a bassa precisione e individuano nell’interfaccia di memorizzazione dello stato un aspetto centrale nella progettazione dell’inferenza ricorrente quantizzata.