公司

AI几乎拿到满分答卷，接下来要测试什么？

GPT-6 Astra在ARC-AGI-3半私有测试集中取得了99.9%的成绩。

OpenAI方面表示，这一结果已经“完全饱和”。

这一表现直接导致ARC-AGI原有计划被彻底推翻。

预先设计的ARC系列评测方案需要重新制定。

今天，ARC Prize创始人François Chollet公布了下一代评测路线图：

ARC-AGI-4确定在明年第一季度推出，而被称为“人类最终考题”的ARC-AGI-5也已开始全面规划。

ARC 4将重点关注更长周期内的持续学习与课程学习；ARC 5则完全围绕“发明”展开。

Chollet表示，“当AI的学习效率与人类之间不再存在可测量的差距时，那就是真正的AGI时刻。”

GPT-6刷爆ARC-AGI-3，靠的是工程手段

GPT-6 Astra在ARC-AGI-3上的表现，成为2026年AI领域最令人意外的事件。

在ARC Prize的“标准测试框架”下，Astra获得了62.7%的成绩。

这一结果已是历史最高，但距离满分仍有较大差距。

然而，当OpenAI使用自家的Provider Adapter时，同一模型的得分直接升至99.9%。

这是一种上下文管理适配器，能够在多次调用之间保留模型的隐藏推理状态，让AI以更接近生产环境的方式接入能力插件。

结果是：相同权重、相同题目，得分相差36个百分点。

ARC-AGI-3排行榜的可靠性因此受到质疑，讨论焦点从“哪个模型泛化能力更强”转向“哪个测试框架更公平”。

这不是个例。Claude Opus的相同权重在ARC-AGI-3私有集上验证为30%，使用更好的测试框架后达到95.5%。

英伟达的AVO在公开演示集上甚至获得了100%。

ARC-AGI-3的“饱和”更像是一个评测工程学事件。

ARC-AGI 3测试的是什么

前两代ARC-AGI-1和ARC-AGI-2的核心仍是“看图找规律”。

系统提供几组“输入→输出”的小方格图，AI推测规则，然后绘制新一组的输出。

这是静态题目，答案唯一，依赖“从少量例子中归纳规则”的能力。

ARC-AGI-3的测试方式被彻底改变。

它直接将AI放入一个游戏世界，在1000多个关卡中，让AI自行探索、尝试并寻找规则。

每个游戏都有独特的内在逻辑、隐藏规则和通关条件。

没有说明文档、没有自然语言提示、没有“收集三个红色方块就能过关”的信息。

AI只能看到当前画面，选择一个动作，观察结果，再决定下一步。

像盲人摸索一样，逐步试探，在大脑中构建出“这个世界可能如何运作”的模型。

ARC Prize团队明确列出了该基准测试的四个目标：探索；建模；目标获取；规划与执行。

GPT-6 Astra在96%的关卡中以少于人类中位数的步数完成任务，平均每关少用51.7%的动作。

ARC Prize称这是“阶跃式的能力变化”，但强调基准饱和并不等同于AGI的证明。

因为这些环境是“有界”且确定性的，并非开放式的。

下一张考卷，开始要求AI“发明”

按原计划，ARC 4将延续ARC 3的理念，但更偏向更长时间尺度上的持续学习和课程学习。

每个游戏的关卡数量大幅增加，且关卡具有“复利”效应，每一关都需要复用前面关卡学到的知识。

现在，Chollet将“开放式发明”作为ARC 4和ARC 5共同的研发基础。

那么，“考发明”具体如何出题？

ARC 1到3都有一个共同前提：存在一个“正确”答案或“胜利”状态，且人类首次尝试即可完成，这样才能以人类为基准。

ARC 3的完整人类基线，正是由486人、2893次尝试测量得出。

发明的定义本身就包含“以前不存在”，没有标准答案，因此也没有现成的人类基线可供参考。

无法说“人类发明这个东西用了多少步”。那么，具体如何衡量？

一条可能的路径是回归Chollet对智能的“定义”：智能不是掌握多少技能，而是获取新技能的效率。

如果沿着这条思路，发明可以衡量为——AI创造的新工具、新规则、新符号，是否能让后续问题解决得更快。

Astra为游戏创建速记符号，已是这一行为的雏形。它发明了一种中间表示，并借此节省了一半的步数。

下一张考卷，ARC 5很可能将这件事变成“考题本身”。

ARC 5直指终极目标，人类还能出几张考卷？

值得注意的是，ARC系列的考题大约会在第6代、第7代终结。

Chollet曾表示，只要还能提出“人类能做、AI不能做”的事情，就会继续出题；

等到提不出来，等到人类的学习效率与前沿AI之间的差距无法测量，那一刻就是AGI。

AI进步太快，留给一张评测证明自己“足够难”的时间正在被压缩。

一道难关刚被攻克，出题人就得寻找下一道。

分数接近天花板后，原有考卷也越来越难以区分：AI究竟又强了多少，人类还领先在哪里？

沿着这一趋势看，ARC 5瞄准“发明”，很可能是在提前寻找一道更难被刷穿的考题：

让AI走出预设解法，创造出能被验证、并能继续复用的新东西。

这道题能守住多久，目前无人知晓。

但如果连开放式发明也无法再拉开人机差距，“考无可考”将从一句感叹，变成AGI讨论中无法回避的问题。

AI仍在加速，人类还能出几张考卷？

参考资料： https://x.com/FakePsyho/status/2099086728963207537?s=20 本文来自微信公众号“新智元”，作者：桃子，36氪经授权发布。