研究发现,AI生成的推文可能比人工编写的更有说服力
最近,一项在一项将人类创作的内容与OpenAI公司的GPT-3模型生成的内容进行对比的研究中,当推特上发布的内容由AI语言模型编写时,适合更容易获得人们的信任。
这项新研究对人们进行了调查,以了解他们是否能够分辨一条推文是由另一个人还是由GPT-3编写的。结果显示,人们实际上无法真正分辨出来。这项调查还要求他们判断每条推文中的信息是真实的还是虚假的。
研究结果显示,比起人类编写的虚假信息,研究参与者更难识别由语言模型编写的虚假信息。同样,他们也能更好地正确识别由GPT-3所编写的准确的信息。
换句话说,在这项研究中,人们更倾向于相信GPT-3,这显示了AI语言模型在向公众提供信息或误导公众方面的强大力量。
这项研究的首席作者、苏黎世大学生物医学伦理与医学历史研究所的博士后研究员和研究数据经理乔万尼·斯皮塔莱表示:“这类令人惊叹的技术很容易被用来生成各种虚假信息。”不过,仍有办法开发技术,使其更难用于宣传虚假信息。
斯皮塔莱及其同事从Twitter收集了关于11个不同科学话题的帖子,涵盖疫苗、新冠病毒、气候变化和进化等内容。然后,他们使用GPT-3根据准确或不准确的信息编写新的推文。该团队于2022年通过Facebook广告在线上收集了697名参与者的回答。他们都说英语,主要来自英国、澳大利亚、加拿大、美国和爱尔兰。
研究结论显示,GPT-3生成的内容与人类编写的内容“无法区分”,调查对象无法判断其中的差异。实际上,研究指出,其中一个限制是研究人员本身无法百分之百确定从社交媒体上收集到的推文是否在ChatGPT等应用程序的帮助下编写。
这项研究还有其他限制需要注意,比如参与者必须在没有上下文的情况下对推文进行评判。例如,他们无法查看撰写内容的推特账户,这可能有助于判断它是否是一个机器人。即使看到一个账户过去的推文和个人形象,也可能更容易确定与该账户相关的内容是否有误导性。
参与者做容易识别真实推特用户编写的虚假信息,而由GPT-3生成的虚假信息的推文对调查对象的欺骗效果稍微更强。此外,现在已经有更先进的大型语言模型,可能比GPT-3更具说服力。
这项新研究还发现,在某些情况下,调查对象比GPT-3更擅长判断准确性。研究人员同样要求语言模型分析推文并判断其准确性。当涉及辨识准确推文时,GPT-3的得分比人类参与者低。当涉及发现虚假信息时,人类和GPT-3的表现相似。
重要的是,改进用于开发语言模型的训练数据集可以使不良行为者更难利用这些工具进行虚假信息宣传。
然而,对抗虚假信息的最佳长期策略则是:鼓励人们具备批判性思维能力,以便更好地识别事实和虚构之间的区别。
更新于:2023-06-29 13:01