由于一场版权诉讼,Anthropic一份标记为2021年7月的内部研究规划,意外被公之于众。
这份PDF文件内容简短,正文仅有两三页。
然而,当逐字逐句读完这份当时标注为「最高机密」的文件后,我感到非常震撼。
如今我们看到的Claude Code、工具调用、AI自我评判、测试时计算,乃至万亿参数级别的模型和超长上下文……
在五年前,当这家公司刚从OpenAI独立出来仅几个月、团队规模只有十几人时,这些构想就已经被白纸黑字地记录了下来。
五年前的规划蓝图
许多人认为,大模型从聊天机器人发展到能编写代码、操控系统的智能体,是近两年技术成熟后水到渠成的结果。
这个看法并不准确。
在2021年这份规划的开篇,Anthropic为其终极目标(安全、有益的通用人工智能)设定了一个清晰的原型定义:
构建一个能够通过自然语言与人类交互,从而创建、编辑和解释软件的通用AI助手。
这个通用AI助手能做什么?
它可以回答通用问题、编写函数、定位Bug、设计API,并讨论代码风格与最佳实践。
最引人注目的是后面的描述:
它需要展现出与一名软件工程师同事相当的全部能力。
这不就是Claude Code吗?
在GPT-3刚刚引起轰动、人们还在惊叹AI能写藏头诗的时代,Anthropic已经直接跳过了简单的代码补全逻辑,将目标锁定在了完整的软件工程代理上。
不仅如此,在具体实现路径上,团队内部曾展开过一场激烈的讨论。
研究员Andy Jones在批注中提出了一个核心分歧:我们究竟是应该优先打造一个真正好用的编程助手,还是先验证工具调用的可行性?
当时团队面前有两条路:
实用路线:开发代码仓库检索功能,让AI能够查找项目的类型定义。值得一提的是,GPT-3论文的第一作者Tom Brown也参与了这一方向的讨论,建议从代码仓库浏览入手。
第二条路则是:
研究路线:实现printf调试、编辑器操作等功能,先证明模型能够调用工具。
最终,CEO Dario做出了决策:
短期内先验证工具调用的可行性,长期目标则是演进成一个超级好用的编程助手。
如今回顾Claude Code的发展历程,完全是在沿着Dario当年的这句话逐步推进。
自我评判、万亿参数与超长记忆
除了编程智能体,这份规划中还包含了对底层技术的预判。
例如,在预训练部分,2021年的他们就已经明确写道,要训练1万亿参数及以上的超大规模模型,并探索超长上下文或其他能够容纳海量记忆与经验的机制。
在那个175B参数模型还算庞然大物的年代,他们已将万亿参数和超长记忆视为标准基础设施。
更令人惊叹的是人类反馈与对齐部分。
文件中明确写着:
模型自我评判。
2021年,他们就已经在研究如何让模型评估自己的行为和输出质量,以及如何将模型自身的判断作为反馈信号。这正是今天AI反馈以及推理模型自我纠错的核心思想。
更有趣的是,文件中甚至出现了后来大模型研究中一个至关重要的概念:
测试时计算。
当然,当时这项研究被置于对齐和判别器研究的语境下,与后来o1式的推理计算扩展还有一定距离。
但这至少表明,早在2021年,Anthropic的研究视野就已经覆盖了模型训练之外的计算投入。
可以说,这个研究团队确实有其独到之处。
不知道现在的前沿实验室,每天又在经历些什么。
内部的警示时刻
当然,作为一家AI公司,安全问题自然无法回避。
阅读后发现,这个团队确实热衷于讨论安全,并且花了大量篇幅。
作为一家以安全为核心的公司,Anthropic在2021年就已经预见到了今天智能体遍地开花时所面临的困境。
联合创始人Sam McCandlish在批注中提出了一个关键问题:
如何安全地部署没有沙箱隔离的工具?
Dario紧接着补充道:
具体来说,就是在部署时执行代码的工具!
(原文中确实有感叹号,Dario的表达就是这么充满激情。)
令人惊讶的是。
当AI真的能够在宿主环境中直接运行代码、调用Shell、修改文件时,一旦失控或被提示注入,后果将不堪设想。
今天网络上广泛讨论的智能体提权、环境逃逸、数据污染等问题,人家在2021年就已经在探讨沙箱边界了。
这可能是因为他们从一开始就选择了这条路。
此外,Amanda也出现在这份报告中,她就是前段时间比较受关注的一位A社内部哲学家。
她非常严肃地指出:
如果我们在自然语言上做对齐研究,却主要在代码上推进模型能力,我有些担心。这两种研究必须始终保持紧密联系。 如果我们不在能力提升的领域做对齐研究,就会限制对齐测试的有效性。这可能会引发连锁反应,比如因为早期没有整合,对齐研究直接变成了一座孤岛。
她甚至直接提议确立一条公司原则:
各个领域的能力研究和对齐研究应该按比例同步推进,除非我们能给出充分的理由说明为什么要分开。
额外的一点
Anthropic这五年一直专注于高质量代码信号、强化学习和企业工作流;
而OpenAI则多线作战,涉足文生图、Sora视频、语音助手和搜索等领域,一定程度上分散了精力。
不过,就在大家还在复盘两家技术路线差异的时候,OpenAI那边突然曝出了一个比好莱坞电影还离奇的消息——
OpenAI内部出现了泄密者!!!
根据美国联邦检察官公布的起诉书,35岁的OpenAI前产品团队工程师Abdulrahman Alfozan已被正式解雇并面临联邦刑事指控。
这个人做了什么?
他在OpenAI旧金山总部高管专用的核心会议室里,将一个带有高级加密和数据传输功能的窃听设备,用卫生纸包裹着,悄悄插在了电视机背后的USB接口上。
要知道,这个会议室是Sam Altman等高管召开核心闭门会议的地方,平时讨论的全是超级智能研发机密、未公开产品规划和政府合作简报。
结果,这么容易就被人入侵了。
PDF链接: https://i.smitop.com/concise-research-roadmap.pdf
本文来自微信公众号“量子位”,作者:Jay,36氪经授权发布。
8条评论
乔治亚读者 回复
想了解更多全天候专业客服,实时响应相关内容,尽在开云网址登录入口。
阿隆·阿尔瓦拉多 回复
开云网址登录入口围绕开云网址登录入口不断创新,回应用户的真实需求。
琳达·斯莫尔 回复
精选开云中国官网内容,开云网址登录入口与你一同发现更多精彩。
西安娜·拉姆齐 回复
开云网址登录入口专注开云体育官网,为用户提供专业可靠的体验。
诺兰·戴维森 回复
围绕开云体育登录,开云网址登录入口持续打磨更优质的服务。
凯·杜根 回复
开云网址登录入口深耕开云体育入口领域,用心服务每一位用户。