开源项目 23小时前 61 阅读 0 评论

国产开源版Genie 3:昆仑万维开源交互世界模型Matrix-Game 2.0!

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

昆仑万维于8月12日重磅开源自研世界模型 Matrix-Game 2.0,成为业内首个支持通用场景实时长序列交互生成的开源方案。

此举填补了DeepMind未开源模型Genie 3留下的技术空白,为具身智能、游戏开发、影视制作及元宇宙领域提供了高开放性的生产力工具。

功能特点

Matrix-Game 2.0的创新在于彻底摒弃语言提示依赖,采用纯视觉驱动的交互建模方案:

物理逻辑深度理解:通过动作指令即可自由操控虚拟环境,角色在台阶、障碍物等复杂地形中展现出符合物理规律的运动轨迹;

高帧率实时交互长序列生成:支持前后左右移动和视角转动,用户可通过指令操控角色在场景中自由行动,系统以 25 FPS 实时生成连续画面,单次交互可生成分钟级别长交互视频,动作自然流畅,响应精准。

跨场景泛化能力:适配从GTA街头飙车到Minecraft方块世界的多样环境,支持城市、荒野等空间类型及油画、写实等视觉风格。

核心技术创新

3D因果VAE压缩引擎:高效压缩时空维度数据,计算复杂度降低90%,支撑实时生成;

多模态扩散Transformer:融合视觉编码与动作指令,逐帧生成物理合理的动态序列;

KV缓存滚动生成:通过键值缓存维护注意力上下文,实现单GPU上无限时长25 FPS生成,突破传统双向模型的时序延迟。

应用场景

游戏开发:实时生成可交互场景,降低人工建模成本70%。

虚拟现实:动态环境实时渲染,提升用户沉浸感,自由探索油画风格虚拟空间。

影视与元宇宙:快速搭建复杂场景,缩短制作周期,分钟级生成电影级动态背景。

GitHub:https://github.com/SkyworkAI/Matrix-Game

#AI开源项目推荐##github##AI技术##AI虚拟世界生成#昆仑万维#

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!