OpenAI再度拉响安全警报:又一高层离职揭示巨大风险

2024-05-27 12:06
摘要:OpenAI最近面临了安全团队成员的连续离职,其中包括AI策略研究员Gretchen Krueger(简称格姐)。她在2019年加入OpenAI,参与了GPT-4和DALL·E2的开发,并在2020年领导了OpenAI第一个全公司范围的“红队”测试。现在..

OpenAI最近面临了安全团队成员的连续离职,其中包括AI策略研究员Gretchen Krueger(简称格姐)。她在2019年加入OpenAI,参与了GPT-4和DALL·E2的开发,并在2020年领导了OpenAI第一个全公司范围的“红队”测试。现在,她也成为了发出警告的离职员工之一。

格姐在社交媒体上表达了她的担忧,认为OpenAI在决策流程、问责制、透明度、文档、策略执行等方面需要改进,并应采取措施减轻技术对社会不平等、权利和环境的影响。她提到,科技公司有时会通过制造分裂来剥夺那些寻求追究责任的人的权力,她非常关心防止这种情况发生。

格姐的离职是OpenAI安全团队内部动荡的一部分。在她之前,OpenAI首席科学家Ilya Sutskever和超级对齐负责人Jan Leike也已经宣布离职。这些离职事件引发了外界对OpenAI安全问题决策过程的质疑。

OpenAI的安全团队主要分为三大块:

超级对齐团队:专注于控制还不存在的超级智能。

Safety Systems团队:专注于减少现有模型和产品的滥用。

Preparedness团队:绘制前沿模型的新兴风险。

尽管OpenAI拥有多个安全团队,但风险评估的最终决策权仍然掌握在领导层手中。董事会拥有推翻决策的权利,目前董事会成员包括了来自不同领域的专家和高管。

格姐的离职和她的公开言论,以及OpenAI安全团队的其他变动,引起了社区对AI安全性和公司治理的广泛关注。这些问题现在对人们和社区都很重要,它们影响着未来的各个方面如何以及由谁来规划。

更新于:5个月前