AI热点 7小时前 164 阅读 0 评论

英特尔升级多显卡 AI 推理,Battlematrix 整体性能最高提升 80%

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

IT之家 8 月 12 日消息,科技媒体 WccfTech 昨日(8 月 11 日)发布博文,报道称英特尔为其锐炫 Pro 系列 GPU 的 Battlematrix 项目,发布首个重磅软件更新 LLM Scaler v1.0,重点优化了 AI 推理能力。

IT之家曾于 5 月报道,英特尔在 COMPUTEX 2025 台北国际电脑展上,推出锐炫 Arc Pro B50 和 B60 两张显卡之外,还推出了 Project Battlematrix 推理工作站平台,支持最多 8 张锐炫 Pro 显卡并具备软件包支持,能运行高达 150B 参数的中等规模且精度高的 AI 模型。

Battlematrix 平台集成硬件与定制化软件栈,优化推理性能和企业部署体验;而 LLM Scaler 是基于 vLLM 框架开发的 AI 大模型推理容器,支持多 GPU 扩展、长序列高效推理及多模态任务。

LLM Scaler v1.0 重点优化了 vLLM 推理框架,对于 32B KPI 模型,40K 序列长度下性能提升可达 1.8 倍;70B KPI 模型同条件下提升高达 4.2 倍,8B 至 32B 规模模型输出吞吐量较上版提升约 10%。

该版本还引入分层在线量化,有效降低显存占用,并支持管道并行、数据并行、多模态模型及嵌入、重排序等功能,提升模型适应性与扩展性。

为便于企业级运维,LLM Scaler v1.0 集成了 XPU Manager 工具,支持 GPU 电源管理、固件升级、诊断及显存带宽检测。

新容器基于 Linux 平台,充分利用多 GPU 扩展和 PCIe 点对点数据传输,实现最高 80% 的整体性能提升,系统同时具备 ECC、SRIOV、遥测与远程固件更新等可靠性与可管理性特性,满足企业级部署需求。

英特尔强调,新软件栈遵循行业标准,兼容主流开发流程,OneCCL 基准测试工具的集成也为开发者调优和性能评测提供了便利,进一步丰富了 Battlematrix 平台的生态支持。

根据英特尔路线图,本季度内还将发布更为稳固的容器版本,进一步优化 vLLM 服务能力。预计到今年第四季度,Battlematrix 项目将实现全功能版本落地,推动大模型推理平台的持续升级,为专业领域用户带来更高效、更易用的 AI 解决方案。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!