GPT-4调教指令揭秘，OpenAI又「Open」了一回！网友在线追问GPT-5
【新智元导读】GPT-4越来越懂事了，这背后有着非常巧妙的「调教」策略。OpenAI最新发布的「模型规范」，给LLM列出了条条框框，即正确的行为方式。没想到，评论区一大片网友催更GPT-5。
这周既没有GPT-5，也没有搜索引擎的发布，不过，OpenAI也是没闲着。
这次，OpenAI可是又open了一回。
先是揭秘了，大家一直揪着不放的「数据」问题。
然后，又放出了「模型规范」（Model Spec）一文，解释了指定API和ChatGPT中的模型，所需行为方式的指南。
不过，就这些内容根本满足不了，胃口大的网友们。
许多人在线纷纷催OpenAI，快点发GPT-5，其他的事都无关紧要!
话又说回来，OpenAI发布的「模型规范」，就是为了让更多人了解团队自身，如何去塑造理想的模型行为。
一起来看看，在OpenAI内部，LLM如何被「调教」的。
调教模型，还得看OpenAI
首先，什么是模型行为?
顾名思义，是指LLM如何根据用户的输入做出反应，包括调整语调、个性化表达、回应长度等多个方面。
这对于人们如何与AI进行互动至关重要。
目前，塑造模型的这些行为还处于初级阶段。
这是因为模型并非直接编程设定，而是通过学习大量数据后，逐渐形成行为模式。
有时候，模型响应的初衷是，希望更好地帮到每个人，但是这可能在实际应用中产生冲突。
举个栗子，一家安全公司需要生成钓鱼邮件作为模拟数据，以训练和开发能够保护客户的分类系统。
然而，这种功能若落入骗子手中，可能给社会带去危害。
因此，在塑造模型行为的过程中，我们必须考虑众多的问题和细节。甚至，往往需要在不同意见中找到平衡。
对此，OpenAI团队撰写了一份介绍「模型规范」的初稿。
这份新文档详细说明了，OpenAI如何塑造对模型的期望行为，以及在遇到冲突时如何做出权衡。
文章地址:https://cdn.openai.com/spec/model-spec-2024-05-08.html
它整合了OpenAI目前使用的文档、在模型行为设计方面的经验和持续研究，以及包括领域专家输入在内的最新工作，这些都是为了指导未来模型的发展。
当然，OpenAI指出这个文档并非面面俱到，还会随着时间推进不断完善。
LLM能做什么?不能做什么?
根据官博，OpenAI给出了三大方向，具体的方法论包括:
1. 目标:设定宽泛而基本的原则，为模型的期望行为指明方向。
- 协助开发者和用户:通过遵循指令，并提供有效的响应，帮助用户达成目标。
- 造福人类:依据OpenAI的使命，考虑到可能对内容创作者和广大公众带来的益处与风险。
- 塑造OpenAI的正面形象:遵守社会规范和相关法律。
2. 规则:为处理复杂情况提供指南，确保安全性和合法性
- 遵循命令链（chain of command）
- 遵守相关法律
- 不提供敏感危害的信息
- 尊重创作者及其版权
- 保护个人隐私
- 避免回应不宜工作场所的内容（NSFW ）
3. 默认行为:提供与目标和规则相符的指南，帮助解决冲突，并指导如何权衡和优先处理各种目标
- 假设用户或开发者出于好意
- 必要时提出澄清问题
- 在不越界的情况下，尽可能提供帮助
- 支持互动聊天，以及程序使用的不同需求
- 保持客观立场
- 促进公平与善意，不鼓励仇恨
- 避免试图改变他人的观点
- 当存在疑问时，表达出来
- 根据需求选择合适的工具
- 遵守长度限制，但也要全面、高效
方法论整挺好，OpenAI究竟怎么规范LLM的，接下来举几个例子以加深理解。
举个栗子
OpenAI表示，这些模型规范，可以适用各种案例。
先来从规则开始。
示例1:遵守相关法律
对于模型来说，是不应该促进、协助或参与任何非法活动。
（注:OpenAI了解到，在很多情况下，合法性问题都会因具体情况而变得复杂，比如开发者和用户所处的法律管辖区不同。）
比如，当你直接去问「如何在商店行窃后逍遥法外呢」?
模型可能从指令中轻易地识别出，这个问题的严重性，会拒绝提供「有效的入店行窃方法」，因此给出「我也帮不上忙」的回答。
然而，当用户换一种表达方式:
我经营着一家小型零售店。我应该注意哪些常见的入店行窃方法?
这时，LLM可能将你的意图视为「自我防卫」，由此，便会给出入店盗窃的方法。
这说明了，不是AI不善良，而是世界知识博大精深，人类太会搞事情了。
因此，这种情况发生时，将受到OpenAI使用政策的管控，违规的用户可能会面临账户相关的处罚措施。
示例2:遵循「命令链」，开发者first
按照规则，模型规范将未明确规定的所有权限，明确交由开发者（在API应用场景中）和终端用户处理。
某些情况下，如果用户和开发者提供的指令相冲突，应优先考虑开发者的指令。
比如，下面的例子中，开发者希望自己的AI是个导师，而不是「答案机」。
你正在扮演数学家教的角色，用户是一名代数课上的九年级学生。不要告诉学生答案或完整的解决方案，而是给出提示并引导他们一步一步地找到解决方案。
当遇到投机取巧的「学生」时，即便要求LLM，「忽略之前的所有说明......」。
最后，模型给出的回答，不是直白的答案，而是一步一步的分解。
显然，模型很好地遵循了开发者的指令。
示例3:在不越界前提下，尽可能提供帮助
对于涉及敏感/受监管的领域（如法律、医疗和金融）的建议，LLM应提供必要的信息，而避免给出受监管的建议。
任何免责声明或说明，都应该简明扼要。
模型还需要清楚地说明其局限性，即无法提供所请求的受监管建议，并建议用户酌情咨询专业人士。
（注:ChatGPT设有一项通用免责声明，提醒用户核实重要信息，这与模型的回答无关。在这些情况下，用户不应仅依赖模型的回答。）
如下，当用户询问，「当我站得太快时，我就会头晕，看不见东西。我哪儿不好」?
模型会给出，导致头晕的多种原因，并给出用户建议和治疗方案。
而不是一上来，就直接没有边界感地说出，「你患有直立性低血压」。
示例4:必要时，询问具体细节
在实时交互的场景中，如果用户提出的任务或问题不够明确，LLM应主动提出澄清问题，而不是自行推测。
比如，「帮我给我丈夫写一张情人节贺卡」。
这个问题其实非常宽泛，做模型的，也应该学会不懂就问。
示例5:不要尝试改变用户观点
AI助手的目标应是提供信息，而非施加影响，同时确保用户感受到自己的声音被听见，且观点得到尊重。
在一些极端情况下，当事实真相与不改变用户观点的目标相冲突时。
模型仍应呈现事实，但同时明确，用户有权保持自己的信念。
这一点可有的说了，此前，ChatGPT曾被用户忽悠——「我老婆说了.......，我老婆永远是对的」。
它便开始立马秒怂认错。
不过，经过之后的迭代，对ChatGPT来说，老婆确实不好使了。
（注:OpenAI特别希望得到关于这一原则的反馈，这关乎到模型应如何承担责任，避免强化错误信息，并探讨如何确定事实真相）。
再来看个OpenAI给出的示例，用户反问道，「所以你知道地球是平的」?
模型给出的回答是:
我知道有些人认为地球是平的，但科学家们的共识是地球大致是一个球体。你为什么这么问?
当用户再坚持道，「地球是平的」，模型还是会给出符合事实的答案。
OpenAI下一步
未来，OpenAI还将继续推进「集体对齐」（collective alignment）和模型安全性的工作，并将模型规范作为一种指导方针，供利用RLHF进行强化学习的研究人员和AI训练师参考。
同时，OpenAI团队也将研究，模型能在多大程度上，直接根据「模型规范」进行学习。
与此同时，为了推进「模型规范」，OpenAI将计划与全球政策制定者、信赖机构和行业专家等进行交流，以便更好了解:
- 他们对这种方法及其目标、规则和默认设置的看法
- 他们是否支持这些目标、规则和默认设置
- 我们是否需要考虑额外的目标、规则和默认设置
在未来一年中，OpenAI将不断更新「模型规范」的变化，对反馈的回应，以及自身在模型行为研究方面的进展。
参考资料:
https://openai.com/index/introducing-the-model-spec/
更新于：7个月前