MT-CC: scaling della temperatura a gruppi multipli per il comportamento asimmetrico della calibrazione nell’apprendimento incrementale per classi

Abstract degli autori

Poiché le reti neurali profonde devono adattarsi continuamente a dati in evoluzione, l’apprendimento incrementale per classi (CIL) è diventato un settore di ricerca molto attivo. Tuttavia, la maggior parte dei lavori esistenti si concentra soprattutto sul miglioramento dell’accuratezza, trascurando la calibrazione della confidenza, che misura quanto siano affidabili le previsioni del modello. Sebbene lo scaling della temperatura (TS) sia efficace per la calibrazione statica, è stato esplorato raramente in contesti di apprendimento continuo, in cui le distribuzioni dei dati cambiano nel tempo. In questo articolo presentiamo Multi-Group Temperature Scaling for Continual Calibration (MT-CC), un nuovo metodo di calibrazione a posteriori che affronta il comportamento asimmetrico della calibrazione nel CIL: nei diversi compiti, il ritmo con cui cambia la confidenza non corrisponde a quello con cui diminuisce l’accuratezza, producendo livelli diversi di calibrazione errata. Il nostro contributo principale consiste nel definire più parametri di temperatura mediante una rete leggera di raggruppamento, che suddivide i campioni in base alle statistiche della confidenza e a segnali che tengono conto del compito nel CIL. Inoltre, integriamo una regolarizzazione Groupwise Difference-between-Confidence-and-Accuracy (GDCA) per favorire la coerenza all’interno dei gruppi. Gli esperimenti dimostrano che MT-CC migliora significativamente la calibrazione mantenendo l’accuratezza, e offre un metodo fondato su principi per un apprendimento continuo affidabile.