该模型具有极致压缩和超凡性能两大优势,采用稀疏激活技术,效果超越多个业界顶流模型,并接近超大模型。元象 MoE 技术自研创新,研发高效融合算子、细粒度专家设计、负载均衡损失项等,最终采用实验4对应的架构设置。
Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A4.2B
ModelScope魔搭:https://modelscope.cn/models/xverse/XVERSE-MoE-A4.2B
Github:https://github.com/xverse-ai/XVERSE-MoE-A4.2B
(举报)