昆仑万维宣布开源2千亿稀疏大模型天工MoE

tamoadmin 0

快讯摘要

【昆仑万维宣布开源2千亿稀疏大模型天工MoE】证券时报网讯,6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE是基于之前昆仑万维开源的Skywork-1...

快讯正文

【昆仑万维宣布开源2千亿稀疏大模型天工MoE】证券时报网讯,6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE是基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoEUpcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿MoE大模型。据介绍,本次开源的Skywork-MoE模型隶属于天工3.0的研发模型系列,是其中的中档大小模型(Skywork-MoE-Medium),模型的总参数量为146B,激活参数量22B,共有16个Expert,每个Expert大小为13B,每次激活其中的2个Expert。基于目前各大主流模型评测榜单评测Skywork-MoE,在相同的激活参数量20B(推理计算量)下,Skywork-MoE能力在行业前列,接近70B的Dense模型。使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3,用更小的参数规模做到了相近的能力。Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存,在FP8量化下(weight占用146GB),使用公司首创的非均匀TensorParallel并行推理方式,Skywork-MoE可以在合适的batchsize内达到2200tokens/s的吞吐。天工团队完整开源了相关的推理框架代码和安装环境。昆仑万维表示,希望本次开源的Skywork-MoE模型、技术报告和相关的实验结果可以给开源社区贡献更多的MoE训练经验和Know-how,包括模型结构、超参选择、训练技巧、训练推理加速等各方面,探索用更低的训练推理成本训更大更强的模型,在通往***I的道路上贡献一点力量。(燕云)校对:冉燕青

昆仑万维宣布开源2千亿稀疏大模型天工MoE
(图片来源网络,侵删)

标签: #模型

上一篇中国来骑哦(08039.HK)已达成复牌指引 拟6月4日复牌

下一篇当前文章已是最新一篇了