TopicMerge: un approccio divide et impera alla modellazione dei temi

Abstract degli autori

I recenti progressi nella modellazione dei temi hanno seguito due strade principali: i metodi efficienti basati sugli embedding, che offrono scalabilità ma spesso ottengono risultati inferiori secondo le metriche standard del clustering, e gli approcci basati sui modelli linguistici di grandi dimensioni (LLM), che raggiungono prestazioni all’avanguardia nel clustering, ma a prezzo di costi computazionali proibitivi e di una scarsa scalabilità. Questo articolo presenta TopicMerge, una nuova pipeline in più fasi che unisce i due approcci per ottenere sia prestazioni all’avanguardia nel clustering sia efficienza computazionale. TopicMerge utilizza dapprima una pipeline di clustering efficiente per suddividere deliberatamente un corpus di documenti in un gran numero di micro-cluster dettagliati e semanticamente omogenei, ai quali vengono poi assegnate etichette semantiche iniziali. Introduce quindi un nuovo algoritmo iterativo di accorpamento in cui un LLM, guidato dal contesto del vicinato locale, decide se accorpare le coppie candidate. Gli accorpamenti approvati vengono poi eseguiti in modo selettivo e rietichettati semanticamente dall’LLM, costruendo per via gerarchica temi più ampi e coerenti. Ampi esperimenti sui dataset Bills e Wiki mostrano che TopicMerge raggiunge prestazioni all’avanguardia nel clustering, riducendo di oltre il 92% le chiamate all’LLM necessarie rispetto ai metodi che operano a livello di documento e offrendo una soluzione pratica e scalabile.