Ricerca
IQuest-Q1: rafforzare le capacità di base dei sistemi CLI agentici
Presentiamo IQuest-Q1, un modello di base agentico basato su una Mixture-of-Experts (MoE) sparsa, con 320 miliardi di parametri totali (15 miliardi attivati). IQuest-Q1 è sviluppato in tre fasi: (1) u
- arXiv
- 2610.30949
- Pubblicato
- 2026-10-22
- Autori
- A. Jian Yang, An Huang, Bo Dan, Chen Mu, Chengran Yang, Chuan Shi, Feng Chang, Hongxin Li, Hongyuan Tao, Jinxing Zhang, Jujie He, Kun Wang, Lin Jing, Ming Yang, Qicheng Hu, Renyuan Li, Shark Liu, Shawn Guo, Shi Qing, Shi Zhong, Tianyu Zheng, Wei Liu, Wei Zhang, Wenrui Cai, Wenxiao Chen, Xuxing Chen, Yan Xing, Yi Xing, Yifan Luo, Yiran Xing, Yizhi Li, Yongsheng Kang, Yucheng Ding, Yue Song, Yun Qing, Yunqi Liu, Zelong Huang, Zhengmao Ye, Zhentao Fan, Zhiteng Li, Ziling Huang, Bihong Tang, Bingli Wang, Ce Jun, Changhao Chen, Chen Hu, Chen Xiao, Chi Liu, Chunjiang Ge, Danyang Li, Deyang Kong, Dian Qi, Ding Tan, Evan Yang, Fanglin Xu, Fei Bai, Gang Liu, Guochang Li, Hao Tang, Haoran Feng, Haowen Wang, Huahao Hu, Huanjin Yao, Huatong Song, Jia Deng, Jiajun Wu, Jialiang Cheng, Jiayi Liang, Jiayi Wu, Jie Deng, Jiejun Tan, Jing Yang, Jingda Xu, Junhang Cheng, Junxiao Liu, Kai Lv, Kaixiang Pan, Kecheng Lu, Kun Zeng, Kun Zheng, Kunbo Ding, Liang Qiu, Lingyi Sun, Luan Zhang, Mengxiao Lv, Ning Dong, Pei Wang, Peng Zhang, Qingsong Cai, Qixiang Yin, Qiyao Wang, Renbiao Liu, Renfei Dang, Ruihang Li, Ruirui Huang, Shanhui Yin, Shen Jian, Shengjie Fang, Shikai Li, Shinan Zhang, Shiqi Chen, Shuai Liu, Shuangqi Li, Shuo Tang, Shuqing Deng, Sijin Hao, Siwei Wu, Siyue Wang, Tao Hai, Tao Ren, TingYang Chen, Wei Shao, Weicheng Gu, Weihan Peng, Wenlong Miao, Xavier Yu, Xiangyuan Ji, Xiaocheng Li, Xiaodong Huang, Xiaohan Ge, Xiaoxiang Shi, Xiaoyang Zhang, Xiaoyu Yang, Xidong Wang, Xin Li, Xinyu Tang, Xiyuan Yang, Xudong Ma, Ya Tong, Yachao Wang, Yang Tian, Yaxin Du, Yeli Ruan, Yi Wang, Yi Yu, Yibin Feng, Yibo Tan, Yihang Wang, Yiming Ju, Yinda Chen, Yinda Chen, Yingjie Du, Yiwei Liu, Yizhi Zhou, Yuan Wei, Yuli Chen, Yuqi Zhu, Yuwen Li, Yuxi Dong, Yuxuan Zhang, Yuyang Song, Zhange Zhang, Zhaohan Zhang, Zhaoyi Li, Zhen Zhang, Zhengbo Zhang, Zhihang Hu, Zhiwei Yu, Zhixin Xie, Zhiyu Chen, Zhizhao Luo, Zhongyuan Wu, Zhou Fang, Zhu Lin, Zhuocheng Gong, Zixi Zhao, Ziyang Zeng, Ziyi Wang, Ziyu Zhao, Ran Tao, Mingjie Tang, Chuan Hao, Peihao Wu, Jianzhou Wang, Nan Jiang, Yuan Zhi, Bryan Dai
Abstract degli autori
Presentiamo IQuest-Q1, un modello di base agentico basato su una Mixture-of-Experts (MoE) sparsa, con 320 miliardi di parametri totali (15 miliardi attivati). IQuest-Q1 è sviluppato in tre fasi: (1) un pre-addestramento stabile ed efficiente, che combina Stable SplitNorm, Muon e muP con un percorso di addestramento in due fasi, la seconda delle quali aumenta la componente di dati di programmazione nella miscela, mantenendo un ampio margine di stabilità tra i tassi di apprendimento sicuri e quelli ottimali; (2) un addestramento intermedio a grana fine, che amplia la miscela di dati a diversi ambiti e formati ed estende progressivamente il contesto; e (3) un post-addestramento su più scaffold e con più versioni, che combina SFT, RL specializzato per ambito e MOPD su vari scaffold per integrare segnali di addestramento complementari e rafforzare le capacità di programmazione agentica. Inoltre, la fusione dei modelli combina esperti e checkpoint differenti provenienti da fasi diverse, attenuando i conflitti tra i rispettivi aggiornamenti dei parametri. IQuest-Q1 dimostra così capacità sia nella programmazione sia in compiti generali. Rendiamo disponibile IQuest-Q1 come modello open source per sostenere la ricerca e lo sviluppo della comunità.