谷歌DeepMind于周二推出最新世界模型Genie 4,目前处于研究预览阶段。该模型能够生成迄今拟真度最高、可交互的虚拟世界,用户可在模拟运行过程中输入提示词实时修改场景,并首次实现与虚拟世界同步的实时音频生成,涵盖音乐、环境音及可交互对话。
与前代模型Genie 3相比,Genie 4在画面拟真度上大幅提升,并新增音频能力。模型支持自由形式的编辑操作,包括实时调整天气、镜头角度,或新增人物与物体。其最长可维持两分钟连贯不变的场景,时长为前代模型的两倍,物理效果表现更好,虚拟人物也更加贴近真人。谷歌研究总监特贾斯·库尔卡尼在简报会上表示,未来将越来越多地出现这类混合式世界模型,由Gemini编写代码和文本,Genie 4实时读取这些内容,在不同抽象层级上对现实进行仿真。
Gemini与Genie 4的集成度进一步提高。在这一架构中,Gemini承担导演角色,负责规划步骤、校验画面帧,Genie 4则负责生成视觉内容。在一项与Gemini机器人项目相关的研究实验中,Gemini 4 Argon模型将任务拆解为多个步骤,再由Genie 4进行实时仿真,展示了在真实世界开展机器人测试前,先在仿真环境中验证相关场景的可行方案。
商业化落地场景方面,Genie 4与其他世界模型一致,主推游戏、交互式学习及机器人领域。交互式学习的一个设想案例是,用户进入描绘历史场景的画作当中,与画中人物交流画里记载的事件。首批体验谷歌前沿产品的可信测试者则发现了潜在新用途——电影原型制作。谷歌DeepMind工程师迭戈·里瓦斯在媒体简报会上表示,实时特性的价值在需要维持连贯创作思路的场景里体现得尤为突出,比如创意构思阶段、分镜脚本阶段,所有需要快速迸发创意的环节都适用。
谷歌此前推出的AI视频生成模型Veo可根据文本、图片或视频提示词生成高清短片,自带同步音频,在影视创作者群体中热度持续上升。里瓦斯补充说,用户未来有望借助多模态大模型Gemini Omni,把原型素材转化为正式创作资产,Gemini全模态可基于图片、音频和文本来生成视频,但这些能力距离落地还有一段距离。
里瓦斯在整场简报会上反复强调,Genie 4仍处在发展早期,完整产品最终会呈现何种体验尚无定论。团队也承认该模型仍存在短板:仿真运行时间越长,细节和物体越容易出现偏移,团队尚未找到稳妥办法,在保证音频准确无误的同时让虚拟世界里的文字清晰可辨。
Genie 4的发布正值世界模型赛道竞争加剧与整合并行。数月前,AI视频初创公司Runway推出第二款世界模型GWM Worlds 2,可交互运行并对用户输入做出动态响应,同时支持音频生成。与此同时,李飞飞创立的世界实验室被AMD收购,亚马逊正在洽谈收购Decart,Rivian则刚刚收购Third Dimension,在内部搭建用于自动驾驶测试的仿真能力。谷歌一年多前以研究预览形式发布Genie 3,此次推出Genie 4是其在该赛道保持领先的最新举措。
目前Genie 4已面向可信测试者开放研究预览。未来几周内,该模型将陆续向谷歌AI Ultra订阅用户及Genie项目开放,Gemini应用程序接口和谷歌AI Studio的早期合作方也将获得使用权限。从行业角度看,世界模型正从单一的视觉生成工具向集视觉、音频与实时交互于一体的仿真平台演进,其在机器人训练、内容创作等场景的验证进度,将决定这一赛道下一阶段的商业化节奏。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。