Non servono rappresentazioni allineate: distillazione della conoscenza tramite spazi di prototipi casuali

Abstract degli autori

Un’assunzione ampiamente diffusa nella distillazione della conoscenza è che le rappresentazioni del teacher e dello student debbano occupare uno spazio delle feature compatibile o esplicitamente allineato. Proponiamo RPKD (Random Prototype Knowledge Distillation), che abbandona questa assunzione confrontando entrambe le reti con una banca condivisa di vettori prototipo inizializzati casualmente e congelati. L’allineamento avviene quindi in uno spazio di riferimento esterno, anziché nelle coordinate native delle feature del teacher: il lato del teacher viene proiettato tramite mappe casuali fisse, prive di parametri addestrabili, mentre solo lo student si adatta. Il trasferimento è gestito da due rami: un ramo dei logit, che allinea le distribuzioni globali di similarità con i prototipi, e un ramo delle feature, che abbina mappe di attivazione dei prototipi con risoluzione spaziale. Entrambi operano nello stesso spazio fisso di prototipi, interpretabile come un embedding di feature casuali che preserva approssimativamente la struttura di similarità tra i campioni; di conseguenza, la banca di prototipi e l’obiettivo di distillazione restano invariati tra le diverse coppie teacher-student, mentre vengono istanziate per ogni architettura solo le proiezioni dell’input. Nei contesti con poche categorie, separare il vocabolario dei prototipi dallo spazio delle etichette del compito fornisce una supervisione più ricca rispetto al solo spazio delle etichette; questo vantaggio manca ai metodi basati sui logit, il cui segnale di supervisione collassa quando diminuisce il numero di classi. Il vantaggio è particolarmente rilevante negli scenari reali, in cui lo spazio delle etichette è generalmente limitato. Esperimenti approfonditi dimostrano l’efficacia di RPKD, con un guadagno massimo rispetto a OFA di +7,98% su CIFAR-100, +12,44% su ImageNet-100 e +1,28% su ImageNet-1K. Il codice sorgente è disponibile all’indirizzo https://github.com/HamzaEtcibasi/RPKD