Le BNN per l’elaborazione rapida degli eventi

Abstract degli autori

Le reti neurali binarie (BNN) consentono di utilizzare in modo efficiente il deep learning su dispositivi con risorse limitate: pesi e attivazioni sono ridotti a un bit, con una sostanziale diminuzione delle dimensioni del modello e del costo dell’inferenza. Le fotocamere a eventi offrono vantaggi complementari, tra cui bassa latenza, ampia gamma dinamica e bassi consumi, acquisendo flussi asincroni di eventi anziché sequenze di immagini complete. Nonostante la comune attenzione all’efficienza, la combinazione di queste tecnologie resta in gran parte inesplorata. Questo lavoro mira ad adattare e valutare moderne architetture di BNN profonde sui dati degli eventi. Mostriamo inoltre che il preaddestramento cross-modale su dati RGB può migliorare l’accuratezza delle BNN nella classificazione di dataset neuromorfici. Introduciamo il Polar-wise Binary Event Volume (PBEV), una rappresentazione binaria che consente alle BNN di elaborare direttamente i dati delle fotocamere a eventi e costituisce un passo verso sistemi di visione basati sugli eventi completamente binarizzati. La migliore BNN valutata nei benchmark di classificazione N-Caltech101 raggiunge un’accuratezza del 90,58% con un numero di operazioni 7,5 volte inferiore rispetto alle corrispondenti versioni a piena precisione.