关于 · 方法

怎么判断,凭什么判断

结论会变,方法不变:什么算证据、什么只算主张、谁说的、在什么条件下说的。

怎么读

  1. 页面上的每个结论(「约两年内成熟」「行业早期」)都来自判断台账,点进去能看到支持证据、反方,以及出现什么事实会推翻它。
  2. 每条证据标三件事:有几分(有实测数据 / 有演示无数据 / 有论证 / 仅有主张)、谁说的(厂商官方口径 / 论文 / 第三方 / 媒体)、别人能不能查(独立复现到不可查六档)。三件事分开看,不合成总分。
  3. 标着「判断」「预测」的是编者的看法,不是事实;预测都写了对账月份和「算数」的标准。
  4. 厂商自报的跑分只在同一基准、同一测法下可比。表格里写明了基准版本和测法,不同的不要横比。

追踪什么:两个引擎,两条前沿

大模型最先接手的是编程,其次是办公;下一站是科研(AI4S),更远处是物理世界(世界模型)。 推着它们往前走的有两个引擎:大模型本身(GPT、Claude、Gemini 与国产开源),以及递归自我改进(RSI)——AI 参与改进 AI 自己,让研发本身加速。 「AI 科学家」用在 AI 身上就是 RSI,用在生物和材料上就是 AI4S。

大模型
引擎 · 通用大模型本身
RSI
引擎 · 让模型研发自己加速
AI4S
前沿 · 辅助或替代科学家
世界模型
前沿 · 理解并操控物理世界

每一期动态回答三个问题:

  1. 引擎走到哪了?RSI 推进到第几阶段、有什么新证据(目前 12 条);大模型又往前走了多少。
  2. 引擎递了什么过来?协议、方法、评测口径这类挂不到某个模型上、却真实在传导的东西,收在传导(目前 6 条),同时挂在起点和终点的页面上。
  3. 两条前沿各自走到哪了?新的药物进了几期临床、新的世界模型在哪个能力维度上有了数字。

主轴假说:谁先被接手,看验证有多便宜

一个领域多快被 AI 接手,取决于验证一个结果对不对要花多少时间和钱。 这不是新说法:Jason Wei 称之为「验证者定律」——任务越容易验证,AI 越快学会。编程最先被接手,RSI 最先在代码上发生,都是同一个原因。 它是一条研究假说,不是定律:数据多少、出错的代价、部署门槛同样影响先后,验证成本只是其中最能解释现有顺序的一个。出现什么反例会推翻它,写在对应的判断页里。

台阶验证器验证一次现在
编程测试与编译器秒级 · 几乎免费已进入生产
办公人工评审分钟到小时 · 要专家看进行中
科研(AI4S)模拟与湿实验几天到几年 · 昂贵约两年内
物理世界(世界模型)只有真机慢、贵、不可重复行业早期

这些成熟时间都是判断,不是预言,每次更新都拿新证据复核。最容易推翻它的是两件事:自动实验室把湿实验的成本大幅压低,科研会比预想快; 世界模型真的成为物理世界的「廉价验证器」,物理世界这一级会被提前。反过来,如果开放式研究的判断力迟迟上不去,科研也可能比预想慢。 每条判断的推翻条件与变动历史都在判断台账里。

四把尺子

每把尺子的名字是这里起的,刻度尽量对标外部已有的分级;对不上的地方,写明是判断。

RSI:被改进的对象由外到内

上下文与记忆 → 脚手架 → 权重与训练流程 → 整个研发。前两阶段对标翁荔的五级梯子;后两阶段对标 Anthropic《负责任扩展政策》、OpenAI《Preparedness Framework》、 Google DeepMind《Frontier Safety Framework》里共同设下的 AI 研发台阶——三家都在「加速」与「完全自动化」之间设了一级,所以阶段 3 拆成 3a、3b。对标表在 RSI 页。 阶段状态只描述有没有公开证据表明它在发生,不预测何时完成:

1 经验自进化
同一个模型只靠自己积累的经验(而不是人写的新提示词),在同一类任务上可测地变好。
2 Harness 自进化
智能体改写自己的脚手架代码,改写后的版本在留出的基准上稳定优于人工设计的版本。
3 AI 加速 AI 研究
有公开数字表明 AI 系统的产出直接缩短了下一代模型的研发周期或训练成本。
4 AI 端到端训练下一代 AI
有实验室公开承认,某个已部署的模型主要是由上一代模型自主研发并训练出来的。

AI4S:角色 × 检验

两个相互独立的轴。角色说 AI 在科研闭环里做到哪一步,对标 arXiv:2508.14111 的四级自主性;检验说结果经受过什么样的检验。只做预测的 AlphaFold 2 经过了盲测和上万个实验结构的对照,是被检验得最彻底的一个; 而刚进临床的药,角色只到「设计」。两件事不能用一个等级表达。

L1 预测
给出结构、性质或响应的预测;做什么实验仍由人决定。
L2 设计
生成自然界没有的分子、序列或材料,交给实验去检验。
L3 闭环
AI 提出假设、设计实验、分析结果并迭代;实验可以由机器人或人按 AI 的设计执行。
L4 自主
AI 自己决定研究什么问题,并提出新的方法或理论框架,人只做监督。
未公开
没有公开发表的结果,只有公司口径。
基准评测
在已有的实验数据或计算基准上评测,没有做新的实验。
作者实验
作者自己做了新的湿实验或合成,结果与设计吻合。
独立检验
被第三方复现,或在别人组织的盲测中取胜。
临床试验
进入了注册的临床试验。开始接受检验,不等于已经通过。

世界模型:技术路线 × 落地场景

四条技术路线回答「怎么建模世界」:潜空间规划(MBRL)、联合嵌入预测(JEPA)、视频生成模拟器、3D 空间智能。 四个场景回答「拿去做什么」:机器人、自动驾驶、游戏与交互、通用,取自 arXiv:2411.14499 的应用划分。 只输出动作、不预测世界状态的具身策略(VLA)是世界模型的下游,单列,不计入世界模型。 能力矩阵的六个维度记录的是证据的强度,不是能力的强弱:

时序一致性
画面/状态在时间上是否连贯,长序列会不会崩坏。
动作可控性
能否按外部动作指令改变后续演化,而不只是被动生成。
物理合理性
碰撞、重力、物体恒存等物理约束是否被遵守。
长程记忆
离开视野的东西再回来时,是否还是原样。
规划与反事实
能否用于推演「如果换个动作会怎样」并据此做决策。
真机迁移
有没有在真实机器人或真实环境上跑通的公开证据。

证据强度:四档

「引擎那一侧的某件事影响了某条前沿」这类命题,绝大多数只停在论证层面。把它塞进「有演示无数据」是撒谎,塞进「未涉及」是抹掉,所以单列两档。 能力矩阵只用前两档和「未涉及」。绝大多数传导目前只到「有论证,无实验」,不会为了好看往上抬。

有实测数据
有公开的量化结果直接支持这条关联。
有演示无数据
有可看的演示或案例,但没有量化结果。
有论证,无实验
有清晰的因果论证或严肃文献支持,但还没有人跑过验证实验。
仅有主张
目前只是有人这样主张,缺乏论证与证据。

证据的三个轴

在证据库里,所有证据并到同一张表上,拆成三个相互独立的轴:强度回答「这条主张离证据有多远」,来源回答「是谁说的」, 可核验性回答「别人能不能自己去查」。三个轴不互相换算,也不合成总分。来源由来源字段自动归类,一条证据可以同时属于几类:

第三方
独立于作者的评测、复现、临床注册或同行研究
论文
作者发表的论文或预印本,有方法可核对,但数字是作者自报
官方口径
厂商、机构或作者自行发布的材料(官网、新闻稿、博客、模型卡、代码仓库、项目页),没有外部核对
媒体
新闻报道或媒体实测,转述的数字只作线索
独立复现
站外团队用自己的实现重新跑出了结果,逐条人工确认,附复现出处。
第三方评测
独立机构按自己的测试集或规则打过分(挑战赛、第三方评测),但没有人重新实现一遍。
注册记录
临床试验在注册库里有记录:试验存在、方案公开,不代表结果已经出来。
媒体实测
记者或媒体上手试过,样本小、条件不受控,只作线索。
可自查
材料公开到任何人可以自己验证:开源代码、开放权重,或有完整方法的论文与预印本;但还没有人独立跑过。
不可查
只有结论和数字,没有可执行、可核对的材料。

两条守则。其一:开源代码与开放权重只抬高可核验性,永远不抬高证据强度——公开代码是复现的必要条件,不是充分条件, 这也是 ACM 把「制品已公开」与「结果已被独立跑通」做成两个徽章的原因。其二:评为「实测」但只有厂商或作者自己口径的条目,一律标「自报数字」。立场单独标:RSI 证据分「支持 / 反方」,其余凡有反方研究或口径之争的都标「有争议」,在证据库里可以单独筛出来。

怎么更新

固定信源。大模型:OpenAI、Anthropic、Google DeepMind 的官方发布与系统卡,国产开源模型的 Hugging Face 模型卡。 RSI:arXiv 的 cs.AI / cs.LG、METR 与 Epoch AI 的测量、各实验室关于自动化研究的披露。AI4S:《自然》《科学》及子刊、bioRxiv 与各机构官方发布,药物进展以 clinicaltrials.gov 为准。 世界模型:arXiv 的 cs.RO、Hugging Face Daily Papers、主要机构的官方博客。中文科技媒体只作线索,数字都回到一手来源核对。

不按日历更新,按事件更新:有关键发布(新的旗舰模型、RSI 的新证据、新药进入下一期临床、新的世界模型)就更新一期。 每一期同时做三件事:把全站数据换到最新;逐条复核判断台账;写一期动态说明动了什么。 主列表只留当前最有代表性的——大模型每个阵营展示最强与最新的两个,国产开源展示最强的一个;被取代的撤进「往期」,数据和链接都保留,因为判断和证据还在引用它们。 每条内容都带收录的期号,所以每一期能自动列出自己的全部新增。已更新 4 期(2026 年 11 月 11 日、2026 年 9 月 24 日、2026 年 9 月、2026 年 8 月),其中 4 期写了正文。

红线

厂商宣称一律标「官方口径」
论文实测标 arXiv 号,厂商自己发布的数字标「官方口径」,二手报道标出处与日期。一个数字是谁测的、在什么条件下测的,比数字本身更重要。
视频先核验再上线
路线页里嵌的每一段视频,都要先确认真实存在、且确实是它声称的那个东西,才会进内容文件。没核验的宁可不放。
争议呈现双方论点
Sora 到底算不算世界模型、LeCun 与生成派之争、RSI 会不会很快到来、自动实验室的「新材料」算不算新——这类问题这里不给结论,两边的理由都写出来,把判断留给读者。
不排总榜
大模型、AI4S 条目、世界模型用的不是同一套坐标,路线之间、方向之间也不是。强行排成一张榜只会失真,所以只有按维度的证据与刻度,没有名次。
开源不等于已验证
代码或权重公开,意味着任何人可以自己去跑,但不意味着有人跑过、跑出了一样的结果。所以它只记进「可核验性」,不抬高证据强度;评为「实测」却只有自报来源的条目,页面上一律标「自报数字」。
药物只按临床阶段记
「AI 设计的药」是 AI4S 里宣传最多、验证最慢的一块。这里只按一个硬指标记:分子走到了临床几期、数据是否公开发表。融资额与合作公告不算进展。

已知的局限

官方口径之间不可比
厂商自选评测环境、自选对手、自选提示方式。2026 年 9 月 ARC Prize 对同一个模型给出 62.7% 与 99.9% 两个都算数的分数,见传导《同一个基准,两个都算数的分数》。
矩阵是稀疏的
只有重点模型逐格填满了六个维度(共 64 个模型)。空白表示「还没查」,不表示「没有」。
检索层会出错
搜索结果曾给出具体数字并归给某篇论文,回查原文却没有。关键数字都回到一手来源核对;如果仍有错,欢迎指出。
分类本身是判断
把模型归到某条路线、某个场景,把条目定在某个角色与检验上,都是编者的判断而非客观事实。
来源归类按规则推出
「第三方评测」「注册记录」「媒体实测」由来源文字按规则推出;只有「独立复现」是逐条人工确认的,并附复现出处。注册记录只说明试验存在,媒体实测只作线索。

站点

纯静态站点:没有后端、没有登录、不调用大模型,每一句话都是人写进内容文件的。收录大模型 19 个、世界模型 36 个、 AI4S 条目 20 个、RSI 证据 12 条。2026 年 8 月以「世界模型志」之名上线,9 月扩展为现在的四条线;那时的两期原样保留。