世界模型 · 潜空间规划(MBRL)

在自己的梦境里 训练一个智能体

2018 — 至今代表:World Models · PlaNet · Dreamer V1–V4 · DIAMOND
起源

2018 年,Google Brain 的 David Ha 与 Schmidhuber 合写了一篇论文,标题就叫《World Models》(arXiv:1803.10122)。方案是一个优雅的三件套:V-M-C——用 VAE(V)把游戏画面压缩成低维隐向量 z,用带混合密度网络的 RNN(M)预测下一个 z 的分布,再让一个小得惊人的控制器(C)在隐空间里做决策。真正的创举是:智能体可以完全在模型自己的「梦境」里训练,再把学到的策略搬回真实环境。配套的交互式论文网页 worldmodels.github.io 能在浏览器里直接玩,让这个 1990 年的老词一夜之间重回聚光灯下。

接棒的是 DeepMind 的 Danijar Hafner:PlaNet(2019)引入 RSSM 循环状态空间模型,DreamerV1《Dream to Control》(2019)把「梦境训练」做成通用配方,DreamerV2(2020)改用离散隐变量、成为首个在 Atari 上达到人类水平的世界模型内训练智能体。到 DreamerV3(arXiv:2301.04104),一套超参数跑遍 150+ 任务,并在无人类数据、无课程设计的前提下从零在 Minecraft 里采到钻石——2025 年 4 月正式登上 Nature。2024 年的 DIAMOND(arXiv:2405.12399)则用扩散模型替代离散隐变量做世界建模,Atari 100k 拿下 1.46 的人类归一化分。这是六条路线里最有耐心、证据链最扎实的一条。

原理
像素帧
游戏画面
→
VAE 编码 (V)
压缩成隐向量 z
→
RNN 预测 (M)
预测下一个 z 的分布
→
梦境 rollout
在隐空间里想象未来
→
控制器 (C)
在梦境中学策略
→
真实环境
策略迁移回现实
V-M-C 三件套(Ha & Schmidhuber 2018):压缩 → 预测 → 在想象中学习
代表模型
DIAMOND
日内瓦大学 / 爱丁堡大学 · 2024-05
用扩散模型做世界建模的 RL 智能体。
Atari 100k SOTAarXiv:2405.12399
DreamerV3
Google DeepMind · 2023-01
单套超参跨 150+ 任务,Nature 2025,从零采到钻石。
150+ 任务单套超参arXiv:2301.04104
PlaNet
Google DeepMind · 2018-11
RSSM 循环状态空间模型,纯隐空间规划。
RSSM 开山arXiv:1811.04551
World Models
Google Brain · 2018-03
VAE + MDN-RNN + 梦境训练,让「世界模型」重回聚光灯。
CarRacing 906 分arXiv:1803.10122
旧版本与更早的 2 个
DreamerV2
Google DeepMind · 2020-10
离散隐变量,首个 Atari 达人类水平的世界模型内智能体。
Atari 人类水平arXiv:2010.02193
DreamerV1
Google DeepMind · 2019-12
《Dream to Control》:把梦境训练做成通用配方。
梦境策略学习arXiv:1912.01603
完整档案与筛选见 模型库 →
视频
YouTube ▶
David Ha:World Models(NeurIPS 2018 口头报告)
13 分钟 · 英语 · 看点:第一作者亲述 VAE + MDN-RNN + 梦境训练
✓ 已核验 2026-07-19
延伸:交互式论文网页 worldmodels.github.io(可在浏览器里直接玩) →
视频链接均已核验。
这条路线的术语
世界模型循环状态空间模型梦境训练模型驱动强化学习隐空间变分自编码器混合密度网络扩散模型递归自我改进验证器
引擎带来的

通用大模型那一侧发生的事,有一部分会传导到这条路线上。每条都标了关联强度—— 大多数目前还停在论证层面。

方法有实测数据
递归自我改进
方向和直觉相反:不是 RSI 顺带产生世界模型,而是世界模型是 RSI 走出数字域的前置条件——因为物理世界没有便宜的验证器。
赌注与软肋
赌注
在隐空间的想象里训练,比在真实环境里试错的样本效率高几个量级——世界模型的价值在于规划,不在于画面好看。
软肋
紧凑隐空间的容量有限,难以扩到开放世界的视觉复杂度;当视频生成路线用海量数据轰出惊艳演示时,这条路线的成果显得「朴素」。DreamerV4 转向离线设定,正是对规模问题的回应。