世界模型 · 视频生成模拟器

规模化像素预测, 能「涌现」出对物理的理解吗?

2024 — 至今代表:Sora · GameNGen · Oasis · Genie 1–3 · LingBot-World
2026 年 11 月 11 日 · 这条路线的变化
新增模型 2:Genie 4、GR00T 2;新填证据格子 3 个
读这一期动态 →
起源

2024 年 2 月,OpenAI 发布 Sora,技术报告里写下一个大胆的说法:视频生成模型是「世界模拟器」。争论立刻爆发——生成的视频里杯子会凭空消失、手指会穿过桌面,这算「理解世界」吗?LeCun 的回应尖锐:「看起来对 ≠ 理解。」

同月,DeepMind 的 Genie 给出另一种答案:不追求电影感,而是让模型从无标注游戏视频里自己学出「动作 → 后果」的映射——生成的世界是可玩的。8 月 GameNGen 用 Stable Diffusion 以 20fps 实时跑起 DOOM,10 月 Oasis 成为首个公开可玩的 AI 游戏。到 Genie 3(2025.8,720p/24fps、数分钟一致性)与国内蚂蚁灵波 LingBot-World 的开源对标(720p/60fps、小时级生成,官方口径),这条路线已从争议走向产品。

原理
无标注视频
互联网 + 游戏引擎
→
时空 tokenizer
视频压缩成 token 序列
→
潜在动作推断
无监督学出「按键」空间
→
帧预测
自回归 / 扩散生成下一帧
→
用户动作条件化
实时注入操控与事件
→
可玩世界
边生成边交互
视频生成式模拟器(Genie 系范式):从无标注视频学出「动作 → 后果」,把生成变成可玩
代表模型
GR00T 2
NVIDIA · 2026-11-09
NVIDIA 基于 Cosmos 的「世界动作模型」:同一个扩散 Transformer 同时预测未来视频与机器人动作,用 40 万小时人类第一视角视频预训练。
5 个演示成功率 95%官方口径
Genie 4
Google DeepMind · 2026-10-27
DeepMind 第四代可交互世界模型:实时生成可探索的世界,用自然语言随时改镜头、天气与角色,并同步生成环境音、音乐与对话。
实时交互 + 原生音频官方口径
万相 Wan3.0
阿里通义 · 2026-08
单次 30 秒生成、支持文档输入;能力上去了,权重不再开放。
单次 30 秒官方口径
LingBot-World 2
蚂蚁灵波 · 2026-07
因果预训练 + MoBA,开源对标 Genie 3,主打帧率与时长。
720p / 60fps 实时流arXiv:2607.07534
Cosmos 3
NVIDIA · 2026-05
把视觉推理、世界生成与动作预测放进同一个模型的全模态物理 AI 基座。
全模态物理 AI 基座官方口径
Seedance 2.0
字节跳动 Seed · 2026-02
论文标题写着「面向世界复杂性」,摘要里没有一句世界建模。
480p/720p · 4–15 秒arXiv:2604.14148
旧版本与更早的 14 个
LingBot-World
蚂蚁灵波 · 2026-01
基于 Wan2.2 的开源世界模拟器:16fps、<1s 延迟、近 10 分钟稳定生成。
16fps 实时arXiv:2601.20540
LingBot-VA
蚂蚁灵波 · 2026-01
视频预测 + 逆动力学出动作(RSS 2026)。
150Hz(官方)arXiv:2601.21998
Genie 3
Google DeepMind · 2025-08
无标注视频学出可交互世界,文本事件注入。
720p / 24fps 实时官方口径
万相 Wan2.2
阿里通义 · 2025-07
首个 MoE 架构的开源视频生成模型,也是 LingBot-World 的底座。
首个 MoE 开源视频模型官方口径
Hunyuan-GameCraft
腾讯混元 · 2025-06
面向游戏场景的可交互视频生成。
游戏场景arXiv:2506.17201
GAIA-2
Wayve · 2025-03
多视角潜在扩散,结构化条件控制。
多相机一致arXiv:2503.20523
Cosmos
NVIDIA · 2025-01
世界基础模型平台:预训练 + 后训练管线。
WFM 平台arXiv:2501.03575
Oasis
Decart / Etched · 2024-10
首个公开可玩的 AI 生成游戏(Minecraft 风)。
公开可玩官方口径
GameNGen
Google DeepMind · 2024-08
扩散模型 20fps 实时跑 DOOM。
20fps DOOMarXiv:2408.14837
Sora
OpenAI · 2024-02
「世界模拟器」争议起点,分钟级视频生成。
最长 1 分钟视频官方口径
Genie 1
Google DeepMind · 2024-02
从无标注视频无监督学出潜在动作与可玩 2D 世界。
潜在动作模型arXiv:2402.15391
Kling 可灵
快手可灵 · 2024
国内视频生成代表,向世界模型方向演进。
视频生成官方口径
1X World Model
1X Technologies · 2024
为全身人形预测接触密集未来:评估比特而非原子。
策略评估官方口径
GAIA-1
Wayve · 2023-09
9B 自动驾驶生成式世界模型:视频+文本+动作。
9B 驾驶场景arXiv:2309.17080
完整档案与筛选见 模型库 →
视频
YouTube ▶
DeepMind 官方 Genie 3 访谈
访谈 · 英语 · 看点:Shlomi Fruchter & Jack Parker-Holder 亲述无标注视频如何学出可玩世界
✓ 已核验 2026-07-19
视频链接均已核验。
这条路线的术语
世界模型潜在动作模型自监督学习扩散模型自回归生成时序一致性帧率与分辨率的口径问题神经网络游戏引擎场景持久性
引擎带来的

通用大模型那一侧发生的事,有一部分会传导到这条路线上。每条都标了关联强度—— 大多数目前还停在论证层面。

基础设施有实测数据
同一个基准,两个都算数的分数
同一个模型、同一套题,换一层评测外壳分数从 62.7% 跳到 99.9%——世界模型的官方数字经不起同样这一问。
能力有论证,无实验
从压缩摘要到可检索的持久上下文
对照组这个月在补「长程记忆」,但补的是自己会话历史的记忆,不是环境状态的记忆——两件事只共享一个名字。
赌注与软肋
赌注
规模化的像素预测能「涌现」物理理解——就像语言模型规模化后涌现推理。数据(互联网视频)近乎无限,飞轮已经转起来。
软肋
LeCun 批评「看起来对 ≠ 理解」;几何一致性与长时稳定性存疑——绕场一周回来,世界还是原来那个吗?