Pesatura basata sullo stacking per Large Language Bayes in contesti M-open

Abstract degli autori

Large Language Bayes (LLB) trasforma la descrizione di un problema in linguaggio naturale in una raccolta di programmi probabilistici candidati ed esegue inferenza all’interno di ciascun modello, combinandone le previsioni tramite la media bayesiana dei modelli. Sebbene offra un quadro flessibile per l’inferenza probabilistica senza specificare manualmente i modelli, nella pratica l’insieme dei modelli candidati risultante è spesso mal specificato e l’aggregazione basata sulla verosimiglianza può concentrarsi su un unico modello, sottorappresentando l’incertezza tra i modelli campionati. Proponiamo per LLB un metodo di aggregazione basato sullo stacking, che seleziona i pesi dei modelli ottimizzando le prestazioni predittive anziché la verosimiglianza marginale, preservando al contempo la pipeline originale di generazione dei modelli guidata dal modello linguistico e di inferenza all’interno dei singoli modelli. Poiché le quantità predittive leave-one-out sono intrattabili nei modelli a variabili latenti, ricaviamo un limite inferiore variazionale che fornisce un obiettivo di stacking basato sull’ELBO trattabile. In compiti di inferenza probabilistica del mondo reale, il nostro metodo ottiene prestazioni predittive paragonabili alla media bayesiana dei modelli, producendo al contempo pesi dei modelli più dispersi e riducendo la concentrazione su un unico modello candidato in caso di errata specificazione.