Fino a che punto si possono distillare i modelli fondazionali per classificare i jet in modo efficiente?

Abstract degli autori

Il tagging dei jet è una delle applicazioni più importanti del machine learning al Large Hadron Collider. I modelli recenti incorporano maggiori conoscenze di fisica o si basano su un preaddestramento su larga scala, ma gli esperimenti impongono limiti rigorosi al loro costo di inferenza. La distillazione della conoscenza può trasferirne le prestazioni a piccoli modelli studenti, poco costosi da eseguire. Ci chiediamo quali caratteristiche di un modello insegnante aiutino lo studente, quanto piccolo possa diventare uno studente e quanto possa avvicinarsi allo stato dell’arte. Su un benchmark di tagging dei jet, distilliamo sei modelli insegnanti, diversi per architettura, simmetria e preaddestramento, tra cui due modelli fondazionali, in cinque piccoli modelli studenti. Ogni modello insegnante migliora le prestazioni di ogni studente, e il guadagno dipende soprattutto dalla forza del modello insegnante. Riduciamo poi la larghezza e la profondità dei nostri due studenti distillati più efficaci, Transformer e L-GATr-slim. Con 20 mila parametri, un L-GATr-slim distillato supera ogni modello di tagging dei jet pubblicato e addestrato da zero, a una frazione del costo di inferenza di ciascun modello insegnante. Persino con duemila parametri, eguaglia ParT, un modello con mille volte più parametri. Studiamo anche che cosa gli studenti apprendono dai loro modelli insegnanti. Il nostro benchmark del costo di inferenza mostra che studenti delle stesse dimensioni possono differire in velocità di quasi un ordine di grandezza. Rendiamo disponibili il codice e i pesi di tutti i modelli addestrati.