Dai prompt agli alberi: generazione efficace di alberi guidata da LLM per la classificazione di dati tabellari con pochi esempi

Abstract degli autori

Sebbene i grandi modelli linguistici (LLM) possiedano vaste conoscenze del mondo e notevoli capacità di generalizzazione, la loro applicazione diretta alla classificazione di dati tabellari è ostacolata dagli elevati costi di inferenza e dalla limitata interpretabilità. Gli alberi decisionali, al contrario, sono rapidi e trasparenti, ma spesso ottengono risultati inferiori quando i dati disponibili sono pochi. In questo lavoro proponiamo un nuovo approccio che collega i due paradigmi, distillando le conoscenze degli LLM in alberi decisionali interpretabili in un contesto di apprendimento con pochi esempi. Anziché chiedere direttamente all’LLM, tramite prompt, di generare alberi completi — un processo spesso instabile e inefficiente — sviluppiamo un approccio in tre fasi che lo induce a generare regole e a organizzarle in un albero. Esperimenti condotti su diversi dataset tabellari reali mostrano che il nostro metodo raggiunge livelli superiori di accuratezza e interpretabilità, con un sovraccarico legato ai prompt significativamente inferiore rispetto ai metodi di riferimento esistenti.