AI热点 3天前 71 阅读 0 评论

AI 生成游戏,昆仑万维发布并开源 Matrix-Game 2.0、Matrix-3D 模型

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

IT之家 8 月 12 日消息,昆仑万维 SkyWork AI 技术发布周于 8 月 11 日启动,连续五天每天发布一款模型,覆盖多模态 AI 核心场景。

今日,昆仑万维带来了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升级版本 ——「Matrix-Game 2.0」,号称是实现了通用场景下的交互式实时长序列生成的世界模型。

并且为促进交互式世界模型领域的发展,「Matrix-Game 2.0」全面开源,号称是业内首个在通用场景上实现实时长序列交互式生成的世界模型开源方案。

「Matrix-Game 2.0」号称在实时生成和长序列能力上实现了“质的飞跃”。相较于上一版本,2.0 版本更加侧重低延迟、高帧率的长序列交互性能,能够以 25 FPS 的速度,在多种复杂场景中稳定生成连续视频内容,且生成时长可扩展至分钟级,大幅提升了连贯性与实用性。

在推理速度显著提升的同时,模型依然保持了对物理规律与场景语义的“精准理解”,支持用户通过简单指令,自由探索、操控并实时构建结构清晰、细节丰富、规则合理的虚拟环境。

昆仑万维还开源了 Matrix-3D 大模型,从单图像出发,生成高质量、轨迹一致的全景视频,并直接还原可漫游的三维空间,对标李飞飞 WorldLabs 的生成效果,可实现更大范围的探索空间。

Matrix-3D 由以下核心部分组成:

  • 轨迹引导的全景视频生成模块:利用场景 Mesh 渲染图作为条件输入,训练视频扩散模型生成符合给定相机轨迹的全景视频。提升生成视频在空间结构上的一致性,缓解遮挡错误与图像伪影问题。

  • 双路径可选择的全景 3D 重建模块:优化路径,对生成的视频进行超分与 3DGS 优化,获取高质量 3D 结构。前馈网络路径:基于 Transformer 直接回归,从生成视频 Latent 特征快速预测 3D 几何属性,实现高效重建。

  • Matrix-Pano 数据集:大规模高质量合成数据集,包含 116K 条带有相机轨迹、深度图和文本注释的静态全景视频序列。

IT之家附两个模型的开源地址如下:

https://github.com/SkyworkAI/Matrix-Game

https://github.com/SkyworkAI/Matrix-3D

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!