Apprendimento di alberi decisionali sparsi mediante autoencoder variazionali basati su transformer

Abstract degli autori

Gli alberi decisionali sono tra i modelli più utilizzati nell’apprendimento automatico, soprattutto grazie alla trasparenza della loro logica decisionale, che li rende adatti ai contesti in cui le decisioni hanno conseguenze rilevanti. Tuttavia, la maggior parte degli algoritmi di apprendimento esistenti si concentra sulle prestazioni predittive, trascurando l’ottimizzazione congiunta di altre proprietà desiderabili, come la sparsità strutturale. In questo lavoro proponiamo TREVIS, un approccio per apprendere alberi decisionali in funzione di obiettivi complessi, basato sull’esplorazione dello spazio latente di un Tree Transformer Variational Auto-Encoder (TTVAE). Mappando gli alberi decisionali in rappresentazioni latenti, TREVIS sostituisce lo spazio di ricerca discreto con uno continuo, consentendo l’ottimizzazione basata sul gradiente tramite un modello surrogato differenziabile. Sperimentiamo TREVIS per apprendere alberi decisionali che ottimizzino congiuntamente le prestazioni predittive e la sparsità. I risultati mostrano che TREVIS trova alberi decisionali con prestazioni predittive pari a quelle degli algoritmi esistenti quasi ottimali, ma con una maggiore sparsità strutturale.