世界模型 · 3D 空间智能

语言之外的下一个前沿: 空间智能

2020 — 至今代表:NeRF · 3DGS · World Labs Marble · HunyuanWorld
起源

这条路线的地基是两项 3D 表征技术:NeRF(2020,神经辐射场)用神经网络隐式编码三维场景,3D Gaussian Splatting(2023)改用数百万半透明高斯粒子显式表示体积、实现实时渲染。它们的共同点是几何忠实——世界不只是看起来对,而是位置、距离、遮挡都可以被程序计算。

2024 年 9 月,李飞飞联合 Justin Johnson、Ben Mildenhall(NeRF 作者之一)、Christoph Lassner 创立 World Labs,两轮累计融资约 12.3 亿美元。她在宣言《From Words to Worlds》中主张:空间智能是语言之外的下一个前沿——语言模型再强,也没见过三维世界。旗舰产品 Marble(2025.11)从文本/图像生成可探索、持久的 3D 世界,同时输出 3DGS 与网格两种表征:像素好看,几何也可算。2026 年 6 月 3 日她在个人 Substack(drfeifei.substack.com)再发《A Functional Taxonomy of World Models》,用「渲染器 / 模拟器 / 规划器」三分法给混乱的行业立尺——World Labs 押注的正是被低估的「模拟器」一格。

原理
文本 / 图像 / 视频
生成条件
→
3D 表征
NeRF 隐式 / 3DGS 显式
→
可探索世界
持久、几何一致
→
双表征输出
渲染像素 + 可算网格
→
下游应用
编辑 / 仿真 / 具身训练场
空间智能路线:先把 3D 几何做对,再谈生成——世界不只要好看,还要可计算
代表模型
Atlas
World Labs · 2026-09-01
从零预训练的「全模态」世界模型:文本、图像、视频、3D 深度图进同一个空间上下文。
自回归扩散 Transformer官方口径
Marble
World Labs · 2025-11
文本/图像生成可探索持久 3D 世界,双表征输出。
高斯泼溅 + 碰撞网格官方口径
HunyuanWorld
腾讯混元 · 2025-07
视频渲染 + 3D 模拟融合的世界生成。
双表征arXiv:2507.21809
3DGS
Inria 等 · 2023-08
高斯泼溅:实时渲染的显式 3D 表征。
实时渲染arXiv:2308.04079
NeRF
加州大学伯克利分校 · 2020-03
神经辐射场:3D 表征革命的起点。
3D 表征革命arXiv:2003.08934
完整档案与筛选见 模型库 →
视频
YouTube ▶
李飞飞 TED:有了空间智能,AI 将理解真实世界
TED 演讲 · 15 分钟 · 英语 · 看点:从三叶虫的第一只眼睛讲到空间智能宣言
✓ 已核验 2026-07-20
视频链接均已核验。
这条路线的术语
世界模型3D 高斯泼溅神经辐射场新视角合成点云与网格场景持久性空间上下文真实到仿真
引擎带来的

通用大模型那一侧发生的事,有一部分会传导到这条路线上。每条都标了关联强度—— 大多数目前还停在论证层面。

基础设施有实测数据
同一个基准,两个都算数的分数
同一个模型、同一套题,换一层评测外壳分数从 62.7% 跳到 99.9%——世界模型的官方数字经不起同样这一问。
能力有论证,无实验
从压缩摘要到可检索的持久上下文
对照组这个月在补「长程记忆」,但补的是自己会话历史的记忆,不是环境状态的记忆——两件事只共享一个名字。
赌注与软肋
赌注
几何与物理忠实的「模拟器」是被业界低估的最大价值——渲染器人人会做,可计算的世界才稀缺(李飞飞的判断)。
软肋
3D 数据远比视频稀缺,生成世界的多样性与规模暂时追不上视频路线;「可探索的房间」离「可交互的世界」还有距离。