Rapporto tecnico su Hunyuan-A13B

Abstract degli autori

Presentiamo Hunyuan-A13B, un modello linguistico open source di grandi dimensioni basato su un’architettura Mixture-of-Experts. Contiene 80 miliardi di parametri complessivi, ma ne attiva solo 13 miliardi durante l’inferenza, bilanciando capacità del modello, efficienza computazionale e costi di implementazione. Il modello è stato preaddestrato su un corpus di 20T token, filtrato con criteri rigorosi e arricchito da una selezione più accurata dei dati STEM, migliorando l’affidabilità fattuale e le capacità di ragionamento. Il fine-tuning supervisionato di alta qualità e l’apprendimento per rinforzo su larga scala ne migliorano ulteriormente le prestazioni complessive. Hunyuan-A13B introduce anche un framework Chain-of-Thought a doppia modalità, che adatta la profondità del ragionamento alla complessità del compito: pensiero rapido per le richieste di routine e pensiero lento per i problemi complessi e articolati in più passaggi. Le valutazioni mostrano prestazioni competitive in matematica, scienze, programmazione, comprensione generale del linguaggio e compiti degli agenti, spesso vicine a quelle di modelli molto più grandi. L’elevato throughput in inferenza lo rende adatto alle applicazioni sensibili alla latenza. Rilasciamo Hunyuan-A13B per sostenere la ricerca aperta e l’implementazione pratica di LLM.