Загрузка...

【燊燚AI频道】昆仑万维放大招!Matrix Game 开源#人工智能 #aigc #ai领域 #agent #Matrix Game#开源

大家好,我是刘燊燚,欢迎来到本期视频!昆仑万维正式开源了(17B+)Matrix - Game 大模型,这是 Matrix - Zero 世界模型里的可交互视频生成大模型。
这 Matrix - Game 到底有多牛。
它是 Matrix系列在交互式世界生成方向的首次正式落地,而且是工业界首个开源的 10B + 空间智能大模型,专为开放式环境中的高质量生成与精确控制设计。
空间智能这个概念,现在在 AI 领域那可是相当热门,它融合了视频生成、三维建模与交互控制等技术,让我们在虚拟世界里有更自然、直观、沉浸的体验,在具身智能、影视制作、游戏开发这些领域,空间智能的潜力巨大,而 Matrix - Game在这个赛道上的一个重大突破。
那 Matrix - Game 的核心竞争力体现在哪儿呢?就在于它把视频生成和用户交互深度融合了。用户只要通过简单直观的指令,就能在虚拟世界里自由探索、操控,甚至创造出细节丰富、物理规则合理的虚拟世界。
它主要由三大核心部分构成。第一个是 Matrix - Game - MC 数据集,这可是昆仑万维自己精心打造的大规模交互世界数据集。这里面有两类数据,一类是大规模无标签的 Minecraft 游戏视频,另一类是带有键盘与鼠标控制信号的 Minecraft与 Unreal可控视频数据,而且这些数据还有精细的动作注释。这丰富的数据就像是给 Matrix - Game 提供了充足的 “养分”,让它能够高效地学习复杂环境动态与交互模式。
第二个核心部分是 Matrix - Game 主模型,它是基于先进扩散模型技术开发的图像到世界生成框架。这个主模型就像一个神奇的魔法师,能够根据用户输入的键盘指令、鼠标移动等信息,瞬间生成连贯、可控的互动视频,而且生成的视频在视觉质量、时序一致性与物理合理性方面都表现得相当出色。
第三个核心就是 Game World Score 评测体系,昆仑万维提出了这个统一的游戏交互世界评估标准,从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度,全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。
通过两阶段训练策略,也就是无标签数据预训练加上标注数据可控训练,参数规模达 17B 的 Matrix - Game 世界基座模型在空间理解、用户指令响应以及物理交互建模等方面都取得了显著提升。
知名创业公司 Decart 的开源方案 Oasis 以及微软开源模型 Mine World 相比,Matrix - Game 在 Minecraft世界生成任务的各项指标上都实现了全面超越,尤其是在交互可控性和物理一致性理解方面,特别明显。因为融入了 Unreal数据,它在泛化到更广泛的通用游戏场景方面也展现出了很大的优势。
在实际应用方面,Matrix - Game 的前景非常广阔。在虚拟游戏世界里,它能帮助开发者低成本、高效率地创建多样化、结构合理的游戏地图与交互环境,以后我们玩的游戏说不定很多都是用 Matrix - Game 开发的;在影视与元宇宙内容生产方面,它支持高保真、物理一致的动态场景合成,为沉浸式体验开发与创意内容生成提供了通用世界建模基础,在具身智能体训练与数据生成方面,虽然目前还未直接应用,但潜力巨大,说不定未来能让智能体在虚拟环境中更好地学习和执行任务。
昆仑万维这次开源 Matrix - Game ,在它的推动下,交互式世界生成技术会迈向一个新的高度,未来的虚拟世界也会变得更加精彩。好了,如果有什么想要说的欢迎在评论区留言讨论。感谢大家观看,我们下期视频再见!

Видео 【燊燚AI频道】昆仑万维放大招!Matrix Game 开源#人工智能 #aigc #ai领域 #agent #Matrix Game#开源 канала AI脑洞社
Страницу в закладки Мои закладки
Все заметки Новая заметка Страницу в заметки