AI热点 5小时前 121 阅读 0 评论

华为盘古 Ultra-MoE-718B-V1.1 正式开源并开放下载,模型权重与技术细节全面公开

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

感谢IT之家网友 蛋炒鱼、Autumn_Dream、软媒新友2543710、HH_KK 的线索投递!

IT之家 10 月 16 日消息,今年 9 月,华为盘古 718B 大模型凭借不堆数据、专注思考的训练哲学,在 SuperCLUE 榜单中一举冲至开源模型第三,成为业界焦点。

华为官方昨日宣布,openPangu-Ultra-MoE-718B-V1.1 正式在 GitCode 平台开源,模型权重与技术细节全面公开。

  • 硬件要求:Atlas 800T A2 (64GB,>=32 卡),支持裸机或 Docker 部署。

  • 特色功能:通过 / no_think 标记切换快慢思考模式,支持多轮工具调用。

华为官方介绍称,openPangu-Ultra-MoE-718B-V1.1 是基于昇腾 NPU 训练的大规模混合专家(MoE)语言模型,总参数规模达 718B,激活参数量为 39B。该模型在同一架构下融合了“快思考”与“慢思考”两种能力,实现更高效、更智能的推理与决策。

在 9 月最新 SuperCLUE 榜单中,openPangu-718B 稳居开源模型总榜第三,在数学推理、科学推理、代码生成等六大核心维度均表现优异。尤其值得关注的是,其幻觉控制项得分高达 81.28,甚至超过部分闭源巨头,凸显出其在输出可靠性上的技术优势。

相比上一版本 openPangu-Ultra-MoE-718B-V1.0,V1.1 在 Agent 工具调用能力上显著增强,幻觉率进一步降低,模型的综合表现与稳定性也全面提升。

华为采用了业界先进的 Multi-head Latent Attention(MLA)、Multi-Token Prediction (MTP) 以及高稀疏比混合专家架构,并在此基础上引入多项创新设计,以实现更优的性能与训练效率:

  • Depth-Scaled Sandwich-Norm 与 TinyInit:通过改进层归一化结构和参数初始化方式,显著提升模型训练的稳定性与收敛速度。

  • 基于 EP-Group 的负载均衡策略:优化负载均衡损失函数,有效增强专家路由的分布均衡性,提升专家特化与协同能力。

本次开源的 V1.1 版本在多个关键维度实现显著提升:

  • 综合能力优化:在 MMLU-Pro、GPQA 等高难度测评中,快慢思考双模式成绩全面超越 V1.0;

  • 幻觉率大幅降低:通过“批判内化”机制,幻觉率从 V1.0 的 10.11% 降至 3.85%(快思考模式);

  • 工具调用能力增强:升级 ToolACE 框架,在 Tau-Bench 等多工具协同任务中表现亮眼;

  • 首推 Int8 量化版本:显存占用减少约一半,吞吐提升 20%,精度损失不足 1%。

IT之家附官方地址:

  • 模型地址:
    https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1

  • Int8 量化版本:
    https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!