怎样保证你不是AGI独裁者？马斯克为何退出OpenAI？早期邮件公开了
今年，OpenAI 可以说是大事不断:内斗、离职等等一系列事件吸引着大家的眼球。
其中，OpenAI 与马斯克的诉讼、纠纷也一直备受大家关注。
今年3月份，马斯克这位前 OpenAI 联合创始人在一份长达46页、总字数超过1.4万字的诉讼文件中，指控 OpenAI 不计后果地开发人类级别的人工智能。（参见:《马斯克起诉 OpenAI:他们做出了 AGI 还授权给微软，这是对创始协议赤裸裸的背叛》）
后来，OpenAI 自曝8年间邮件往来截图，用一篇长文《OpenAI and Elon Musk》，正式驳斥了马斯克的所有指控。（参见:《刚刚，OpenAI 官方发文驳斥马斯克，自曝8年间邮件往来截图》）
其中，OpenAI 反驳称马斯克承诺投资10亿美元，但实际只投了不到4500万美元，双方都认识到需要一个营利性实体支持烧钱的 AI 训练，但马斯克希望完全控制 OpenAI 或将其并入特斯拉而被拒绝。
数月过去，大家以为风波已平。
谁料到，这个瓜还在继续。
当地时间11月14日，马斯克针对 OpenAI 的起诉升级，增加了新的原告和被告。
随着起诉文件的更新， Elon Musk、Sam Altman、Ilya Sutskever 和 Greg Brockman 之间的往来邮件已经作为法庭诉讼程序的一部分公开。
马斯克为了证明 OpenAI 违反反垄断法，才有这些邮件的曝光。同时，他也在某种程度上表达了他对 OpenAI 背离最初愿景 —— 以非营利为宗旨，且由特斯拉 CEO 担任领导的背叛感。
论坛 LessWrong 整理了2015年5月25日到2019年3月11日的约50篇邮件。从中，我们可以窥见这个这个声称要保护人类福祉的非营利组织在诞生之初便埋下的裂痕与分歧。
链接:https://www.lesswrong.com/posts/5jjk4CDnj9tA7ugxr/openai-email-archives-from-musk-v-altman
一致的「敌人」，一致的目标
在第一批曝光的邮件中，引起最大讨论的要数马斯克发给 Ilya 和 Greg 的这封邮件:
在这封主题为「我觉得有必要重申一下的邮件中」，马斯克说道:
「我对 OpenAI 的资源没有重大变化的情况下，与 DeepMind/Google 相抗衡的可能性评估是:0%。不是1%。
即便筹集到几亿美元也不够。这需要每年数十亿美元的投入，否则就别想了。
不幸的是，人类的未来掌握在■■■手中。」
众多网友纷纷猜测■■■中是谁?谷歌吗?
从第二批曝光的邮件来看，这个答案大概可以锁定了。
从开始筹建 OpenAI 开始，Google 与 DeepMind 就是马斯克最担心的竞争者。
在2016年的一封邮件中，他直言「DeepMind 正在给我带来极大的精神压力。如果他们赢了，凭借他们一个思想统治世界的理念，这将非常糟糕。」
2015年7月，YC 总裁 Sam Altman 举办了一场晚宴，在那里，Elon Musk、Greg Brockman、Ilya Sutskever 相聚在一起。
当时谷歌在 AI 技术上遥遥领先，具有断层式的先发者优势，AI 可能会被科技巨头垄断，并使其发展停滞不前。
这些即将改变世界的人超前地意识到了:人工智能需要一个非营利组织，让 AI 普惠世人。这个组织不需要任何竞争性的激励措施，需要的只是世界上最好的 AI 研究人员。
于是，他们聚集在了一起，开始设计非营利组织，但很快，他们就发现了各种各样的困难:特别是，由于 OpenAI 不赚钱，给人才提供的薪水没有别的公司高。
2015年底，DeepMind 开出了高价工资，在 NIPS 会场「抢夺」OpenAI 看中的人才，「Sam Altman 担心「OpenAI 会这么被扼杀在摇篮里。」他主动给每个人每年增加了10-20万的薪酬，这引来了马斯克的疑问。
马斯克以开放的姿态拥抱了涨薪计划，他回复:
「我们需要尽一切努力来获得顶尖人才。让我们更上一层楼。如果在某个时候我们需要重新审视现有员工的薪酬，那也没关系。要么我们能找到世界上最优秀的人才，要么我们就会被 Deepmind 打败。无论需要做什么，只要能培养出顶尖人才，我都愿意。Deepmind 让我精神压力很大。如果他们赢了，那对他们一心一意统治世界的理念来说将是一个坏消息。他们显然正在取得重大进展，而且他们应该取得进展，因为那里的人才水平很高。」
AGI 的「独裁者」
但在2017年秋天，OpenAI 创始团队一开始融洽的关系好像出现了裂痕。
根据 Shivon Zilis（现 Neuralink 的总监）发给马斯克的邮件，Greg 和 Ilya 开了一个小会，最终汇总为7个问题:
1. 公司的绝对控制权
是否有人有公司的绝对控制权?他们希望知道，如果未来在方向上出现分歧（不仅限于三人，也可能涉及更广泛的董事会成员），是否会设立某种具有创造性的否决机制?
2. 控制权和过渡时间
Greg 和 Ilya 提出了「不可协商」的条款，即 AGI 出现时，不会让任何一个人拥有绝对控制权。这一条件的满足意味着，无论这三人之间发生什么，权力分配都将在最初的2-3年阶段之后平稳过渡。
3. 马斯克愿意花多少时间?
马斯克愿意花多少时间在 OpenAI?实际上又能花多少时间?具体的时间范围是什么?是每周一小时，十小时，还是介于两者之间
4. 马斯克具体如何分配时间?
OpenAI 的团队并不清楚马斯克在其他公司如何分配时间，也不确定他希望如何在 OpenAI 中投入时间。Greg 和 Ilya 相信他们在软件 / 机器学习方面可以很好地推进工作，但对硬件方面缺乏信心。他们希望马斯克能够在硬件领域投入一些时间，这是他们的薄弱环节，同时也希望他能在感兴趣的所有领域提供帮助。
5. 时间与控制权的比例
OpenAI 的团队倾向于谁花的时间多就有更多控制权的模式，而不希望花一点时间就有很多控制权。他们担心如果分给 OpenAI 的时间太少，就没有足够的时间讨论相关背景信息，从而做出正确的决定。
6. 股权分割
Greg 坚持平等分配。Greg 指出，Ilya 通过在 Google 的工作已经证明了自己的经济潜力，从某种程度上说，Ilya 已经贡献了价值数百万美元。
他们担心能获得的股权的员工数量太少。
7. 融资目标
他们倾向于在初期筹集超过1亿美元的资金，认为仅数据中心的需求就需要这么多，因此他们更愿意筹集更多资金。最后，他们给出了自己心目中的解决方案:
马斯克每周为 OpenAI 花费5-10小时，获得完全掌控权，如果时间更少，那么控制权更少花费。
针对 AGI 的极端情况（不仅仅是 Greg / Sam / Ilya）设计短期过渡协议。
制定一项严格的少数股权控制协议，确保2-3年的过渡期内权力平稳分配，不受（Greg / Sam / Ilya）个人命运影响。
初始融资目标设定在2亿至10亿美元之间。
Greg 和 Ilya 的股份最终比马斯克高出1/10，但差距不宜过大（这一部分仍需进一步明确）。
增加员工数量以满足项目需求。
马斯克的回复是:「这太烦人了。请让他们去创业。我受够了。」
于是 Ilya Sutskever 在这封主题为「Honest Thoughts」的邮件中进一步提出了对马斯克担任公司领导者的顾虑:
当前的公司结构使您有可能最终对 AGI 拥有单方面的绝对控制权。您曾表示自己并不想控制最终的 AGI，但在此次谈话中，您向我们展示了绝对控制权对您来说极为重要。
举个例子，您曾表示自己必须成为新公司的 CEO。这样，每个人都能知道您是负责人。同时，您也表示过讨厌当 CEO，更不愿意担任此职。
因此，我们担心，尽管您当前并无此意，但随着公司在通往 AGI 的道路上取得实际进展，您可能会选择继续保留对公司的绝对控制权。
OpenAI 的目标是创造一个美好的未来，并避免 AGI 独裁。您担心哈萨比斯（Demis Hassabis，谷歌 DeepMind CEO）可能会建立一个 AGI 独裁政权，这一点我们也同样忧虑。
因此，构建一个可能让您成为独裁者的公司结构，无疑是糟糕的选择，尤其在完全可以设计出能够避免此风险的另一种结构的情况下。
这不仅仅是关于谁是 CEO，谁能控制公司的问题;Ilya 担忧的是，如果 AI 威胁人类之时，可能只有一个人能够左右事件的走向。
Ilya 还和 Greg 一起对奥特曼表达了类似的疑问，用词与去年 OpenAI「宫斗事件」中，董事会指责阿尔特曼「不够坦诚」时如出一辙:
在整个过程中，我们始终无法完全信任您的判断，因为我们无法理解您的动机。
我们不明白为什么 CEO 这个头衔对您如此重要。您给出的理由一再改变，让人难以真正理解背后的动机。
AGI 真的是您的主要动力吗?它与您的政治目标有何关联?
结合后来的事件发展，奥特曼正在将 OpenAI 引向更传统的企业级 SaaS（软件即服务）方向来看，他的目标似乎更多偏向商业，而非哲学。
Elon 回复表示对目前的谈判彻底失望，称不再为 OpenAI 提供资金，要求团队做出明确承诺。
Sam Altman 强调自己仍支持非营利结构，同时对 Greg 和 Ilya 的不一致行为表示不满，他随后宣布需要10天时间来「思考是否能够继续信任他们」。
这件事发生在 OpenAI 为了解决没钱的问题，要不要改变非营利组织的架构，为此，他们也考虑过 ICO 上市。
同时，在谷歌在谷歌「一骑绝尘」的状态下，OpenAI 的努力在当时看上去就像是「以卵击石」。
Andrej Karpathy 给出了几份对标谷歌的详细分析:
DeepMind 在2016年的运营支出约2.5亿美元 （不含计算成本）
Google 在 AI 领域拥有压倒性优势，包括 Google Brain、Research、Cloud 等多个部门
在 ICLR 会议上，Google 提交了83篇论文，远超其他机构。
Karpathy 认为，如果不能在规模上与 Google 竞争，OpenAI 的开放研究可能反而在「免费」帮助竞争对手。
马斯克并不赞同 ICO 方案，这相当于直接宣告「非营利」破产
OpenAI 在与谷歌的竞争中正走向必然的失败。如果不立即采取重大而果断的行动，除了谷歌之外的所有人都将被边缘化。
我考虑过 ICO 方案，但不会支持它。在我看来，这只会让 OpenAI 和所有与 ICO 相关的人严重失去信誉。如果某件事看起来好得难以置信，那它通常就是错误的。在我看来，这是一次不明智的偏离初心的尝试。
我目前能想到的唯一出路是 OpenAI 进行大规模扩张，以及 Tesla AI 的大规模扩张，或许两者可以同时进行。前者需要大幅增加捐赠资金，并让非常有公信力的人加入我们的董事会。目前的董事会状况非常薄弱。
我将安排时间明天与大家讨论。需要明确的是，我对你们的能力和成就非常尊重，但对目前的管理方式感到不满。这也是为什么最近几个月我很难积极参与 OpenAI 的原因。如果我们能够解决这些问题，我将大大增加我的参与度;如果不能，我将几乎完全退出，并公开减少与 OpenAI 的关联。我不会让自己置身于一种影响力和实际投入的时间不匹配的局面。
而 Karpathy 给出了他理想的解决方案。在他单独发给马斯克的邮件中，Karpathy 认为最有希望的选择是 OpenAI 把特斯拉作为摇钱树。他相信，与其他大型科技巨头（例如苹果、亚马逊）的合作会因为公司 DNA 不兼容而失败。
马斯克随即表示:
Andrej 完全正确。虽然我们可能希望情况并非如此，但在我和 Andrej 看来，Tesla 是唯一有可能与 Google 相抗衡的路径。即便如此，成为 Google 的对手的可能性依然很小，只是并非完全为零。
这可能也解释了为什么 Karpathy 选择了接马斯克的 offer，成为特斯拉人工智能和自动驾驶部门负责人。
与此同时，为了拯救 OpenAI 的困境，Sam Altman 正在设计另一套模式「让4-5家有兴趣的大型企业投资的方式，该工具的回报上限为50倍」。由于缺少上下文，只能从这封邮件中得知，马斯克被要求正式从董事会辞职:
「您在技术上仍然是董事会成员，需要向 Sam Altman 发送一句简单的邮件，比如:通过此邮件，我在此正式辞去 OpenAI 董事职务，自2018年2月20日起生效。」
后面的故事我们就很熟悉了，在 Sam Altman 的亲自设计之下，OpenAI Inc. 搭建了一家「有收益上限」的有限合伙企业 ——OpenAI LP，并以此为主体对外融资，根据协议安排，创始人团队收益上限为100倍，微软的收益上限为5-10倍，其他投资人的收益上限为20倍，员工为10倍。
而马斯克退出了 OpenAI 董事会，并在公开场合表示，离开的原因是利益冲突:当时特斯拉正在开发自动驾驶人工智能，他们需要与 OpenAI 争夺人才。
然而不到六个月后，OpenAI 就获得了微软10亿美元的投资，微软还提供了基础设施技术，二者一起搭建了一台超级计算机来训练 ChatGPT 以及图像生成器 DALL-E 的大型模型，如 GPT-4有1万亿个参数。
ChatGPT 一经推出，OpenAI 立即成为最热门的新兴技术创业公司，甚至给谷歌造成了压力。据知情人士透露，马斯克对此非常愤怒。
虽然马斯克发起的这场诉讼才刚开始，但目前披露的诉讼材料已经够商战电视剧演上一季了。至于未来还会有什么更精彩剧情上演，让我们一起见证!
更新于：2小时前