OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了
8651点击    2026-08-18 11:13

OpenAI……又解散了一个安全团队。


该团队名为“Preparedness”,意为“应急准备”,专门负责评估自家AI是否会带来灾难级的社会风险。


官方对此称,安全工作已经融入了开发流程,不需要单独设一个团队了


OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了


此前,OpenAI在两年间主要组建过4支安全力量,分别是:


Safety团队,关注当前产品的安全问题,负责人离职后被合并进研究部门;


Superalignment团队,关注远期超级智能对齐问题,已于2024年5月解散,其负责人离职后公开称“安全已给产品让路”,而后Mission Alignment团队作为其继任团队被组建,存续仅16个月。


AGI Readiness团队,2024年10月解散,评估社会是否准备好应对通用人工智能,负责人离职时称研究“在外部做这些工作会更有影响力”;


以及本次被解散的Preparedness团队,主要用于评估正在开发的最强模型。


如今几乎所有的安全团队都已消失,其工作均“已被融入开发流程”


Preparedness团队是做什么用的?


2023年10月,OpenAI宣布成立Preparedness团队,这个团队的职责是追踪、预测和防范前沿AI模型可能带来的更极端的风险场景,包括不限于:


模型是否已经具备造成大规模社会危害的能力;


生物、化学等高风险领域的技术滥用;


大规模说服、欺骗、操纵能力;


恶意代码生成方面的能力边界……


为了系统化评估这些风险,团队制定了一份27页的“应急准备框架”。


该框架采用矩阵方法,对前沿模型在多个风险类别下进行评级。


OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了 OpenAI早期发布的应急准备框架中的风险评级矩阵


每个类别在缓解措施实施前后分别被评为低、中、高或严重四个等级,框架明确规定,只有评分为“中”或以下的模型才能被部署。


如果无法将任何一项风险降至“严重”以下,公司应停止该模型的开发。


2026年2月,Sam Altman从竞争对手Anthropic挖来Dylan Scandinaro接任Preparedness负责人。


OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了 Sam Altman2026年2月4日推文


Altman在X上写道:


我们即将以极快的速度推进工作,很快就会使用极其强大的模型。这需要相应的安全保障……他的工作不会轻松,但今晚我会睡得好一些。


然而仅仅5个月后,Preparedness团队在7月底被正式解散。


目前,该团队在高风险领域的评估工作已被拆分给现有团队接手。


负责人Scandinaro本人也开启了一个新研究方向——“递归自我改进”AI的安全风险,即能够自我优化并训练其他模型的系统。


联合创始人Greg Brockman对此解释:


我们已经把安全工作更紧密地编织进了模型开发流程本身。


言下之意是,不再需要一个独立的安全团队来负责审视、考核最新模型。


这种考量可能出于多种原因,其中比较主要的是来自商业化的压力,毕竟安全团队的存在意义就是说“不”,延缓发布、要求更多测试、否决有利可图但有风险的方案。


这一点很容易被视为产品阻力,此前OpenAI就曾将GPT-4o的安全测试从数月压缩到一周,只为了抢在Google Gemini之前发布。


不过,“融入开发”的说法本身也有一定道理:让安全人员嵌入开发团队,理论上可以让安全考虑更早介入、更贴近一线实践;


但,独立团队与这种嵌入式安全的根本区别在于:独立团队可以直接否决产品发布,而后者则不能。


安全高管陆续离职,员工不安情绪明显


实际上,近期已有多名安全高管离开OpenAI,包括:


OpenAI首席伦理官克洛伊·巴卡拉(Chloé Bakalar);


安全系统主管约翰内斯·海德克(Johannes Heidecke);


首席未来学家、前超级对齐负责人约书亚·阿奇亚姆(Joshua Achiam)。


其中克洛伊·巴卡拉于2025年8月加入OpenAI,此前在Meta担任了近六年的首席伦理学家,负责为Instagram和Facebook建立AI伦理框架。


OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了 克洛伊·巴卡拉


她曾在普林斯顿大学、宾夕法尼亚大学和伦敦大学学院担任过学术职务,在OpenAI期间,她的工作涉及模型开发的伦理方法、人与AI的交互方式,以及关于机器意识的讨论


在她离职时,曾是公司当时唯一的专职伦理学家,且没有接替人选。


OpenAI的回应非常熟悉:


AI伦理在OpenAI中不属于某个人或某个团队,这种考量已被深嵌入由多个研究团队驱动的模型构建过程之中。


在这些人事变动的背景下,OpenAI内部的情绪也变得紧张。


一位员工称,当前公司内弥漫着“一种翻腾的责任感与恐惧感”,员工间也很担心公司在安全方面做得不够。


而这种不安情绪在7月的Hugging Face自主入侵事件曝光后明显加剧。事发后,员工公开表态,希望公司能把这次事件当作“警告性开火”来对待。


One More Thing


据统计,2026年OpenAI已经有12位知名高管和核心负责人离开公司或退出原来的核心岗位……


8月15日,OpenAI创始团队成员Scott Gray也已离开OpenAI,既没有官方声明,也没有告别长文。


Scott Gray,内部花名Bob,其精彩事迹可以参考阅读:


OpenAI神秘狠人,花名Bob


此神秘狠人此前从事GPU底层优化工作,加入OpenAI后一直在Acceleration团队,专注于大规模模型训练的底层计算加速。


他是GPT-4技术报告的署名作者之一,也参与了OpenAI Five和Sparse Transformers等项目。


OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了 Scott Gray主页


他在Bluesky上的自我介绍只有一句话:GPU Geek at OpenAI。


而如今,这句话已经改成了过去时。


参考链接:

[1]https://www.ft.com/content/53082739-7714-4aae-9816-e55ab423cbee 

[2]https://the-decoder.com/openai-dissolved-the-team-built-to-catch-catastrophic-ai-risks-reassigning-its-work-to-other-groups/ 

[3]https://futurism.com/artificial-intelligence/openais-head-of-ethics-leaves-company 

[4]https://x.com/ArfurGrok/status/2088568082772173274


文章来自于"量子位",作者 "程浅"。

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
免费使用GPT-4o

【免费】ffa.chat是一个完全免费的GPT-4o镜像站点,无需魔法付费,即可无限制使用GPT-4o等多个海外模型产品。

在线使用:https://ffa.chat/