Il campionamento softmax a due livelli fatto bene: correggere le distorsioni dovute allo squilibrio nelle dimensioni e alla dispersione

Abstract degli autori

Campionare da una distribuzione softmax è un’operazione fondamentale nell’apprendimento automatico, ma la sua complessità lineare rispetto al numero di elementi rende impraticabile il campionamento esatto su larga scala. Il campionamento softmax a due livelli (2LS) è un’alternativa diffusa che consente di campionare in tempo sublineare. Supponendo che gli elementi siano suddivisi in cluster, il 2LS campiona prima un cluster e poi un elemento al suo interno. In questo articolo mostriamo che, nonostante i suoi vantaggi, il 2LS introduce distorsioni sistematiche e indesiderate nel campionamento, dovute all’attribuzione di pesi errati ai cluster perché trascura sia lo squilibrio nelle dimensioni dei cluster sia la dispersione della similarità al loro interno. Proponiamo due metodi di campionamento, Size-Corrected 2LS (S-2LS) e Size- and Dispersion-Corrected 2LS (SD-2LS), che correggono queste distorsioni e forniscono approssimazioni della distribuzione softmax dimostrabilmente migliori, con un costo computazionale aggiuntivo trascurabile o nullo. Esperimenti approfonditi su cinque dataset di grandi dimensioni confermano le migliori proprietà di campionamento dei nostri metodi. Raccomandiamo di usarli sistematicamente al posto del 2LS standard nei lavori futuri.