Chinese-Jev: portare un modello System One ai compiti in lingua cinese

Abstract degli autori

I modelli System One come Jev offrono un’alternativa efficiente ai modelli linguistici generativi per i compiti che richiedono decisioni anziché risposte aperte. Tuttavia, i modelli Jev esistenti hanno un’accuratezza limitata nelle decisioni in lingua cinese, il che ne riduce l’utilità sia in contesti generali sia in quelli specialistici. In questo articolo presentiamo Chinese-Jev, un modello System One che affronta questo limite attraverso una pipeline unificata di elaborazione dei dati e addestramento. Il nostro protocollo di elaborazione converte annotazioni eterogenee in lingua cinese in probabilità obiettivo per le opzioni candidate, consentendo di adottare una formulazione comune dell’addestramento per diversi ambiti e formati di domanda. Per rendere efficiente l’inferenza, Chinese-Jev adotta un’architettura di base leggera, composta solo da un encoder, per codificare il testo e impara ad assegnare un punteggio alle risposte candidate attraverso un addestramento orientato alle decisioni. Per affrontare il disallineamento tra la distribuzione dei dati di pre-addestramento e gli scenari d’uso successivi in lingua cinese, addestriamo prima il modello su un corpus generalista di 10 milioni di esempi, poi lo sottoponiamo a fine-tuning separatamente per gli ambiti medico, giuridico e finanziario. Per valutare l’accuratezza e la calibrazione delle decisioni in contesti in lingua cinese sia generali sia specifici di un ambito, presentiamo Chinese-Jev Bench (CJ-Bench). Dopo la prima fase di pre-addestramento, Chinese-Jev supera dell’1,24% l’accuratezza del modello Jev a codice chiuso nei compiti di ambito generale, con una velocità 20,3 volte maggiore. Il successivo fine-tuning specifico per ambito produce un miglioramento dell’accuratezza del 4,0% rispetto a Jev in medicina e raggiunge il 92% dell’accuratezza media di Jev negli ambiti specialistici, con una velocità 17 volte maggiore e una latenza media di soli 15 ms per esempio. Dimostriamo inoltre la possibilità di eseguire direttamente su dispositivi mobili un modello quantizzato in INT8, ottenendo una latenza di inferenza di circa 1,0 secondo per decisione. Il progetto è disponibile all’indirizzo https://gulucaptain.github.io/Chinese-Jev/.