UC 伯克利分校研究展示机器学习系统可达到接近人类水平的预测能力
**划重点:**
1. ???? UC Berkeley研究团队开发的语言模型系统在预测领域取得重大突破，接近甚至超越了人类平均水平。
2. ???? 该系统利用大规模数据和LM的快速处理能力，自动化了关键的预测过程，包括信息检索、基于数据的推理和个别预测的综合。
3. ???? 研究显示，在全面的测试集上，该系统平均Brier分数为0.179，接近人类集合分数0.149，为预测精度和效率提供了显著潜力。
在预测分析不断演变的领域，预测的艺术和科学成为决策的关键工具，涵盖从政府政策到企业战略的各个领域。传统上，预测主要依赖统计方法，依靠丰富的数据和潜在模式的微小变化。然而，判断性预测引入了一种微妙的方法，利用人类直觉、领域知识和多样的信息来源，在数据稀缺和不确定性下预测未来事件。
预测的挑战在于其固有的复杂性以及现有方法的局限性。统计模型虽然强大，但在数据稀缺或数据分布显著变化的情况下往往需要赶上发展。然而，判断性预测引入了人的因素，将人的洞察力和偏见引入方程式。这种方法依赖于预测者从各种来源综合信息，包括历史数据和当前事件，以对未来结果进行明智预测。
加利福尼亚大学伯克利分校的研究团队开发了一种新型语言模型管道，一种专为预测而设计的检索增强语言模型系统。该系统自动化了预测过程的关键组成部分，包括从新闻来源检索相关信息、基于收集的数据进行推理以及将个别预测聚合成全面的预测。这一创新的核心在于它能够利用Web规模的数据和LM的快速解析能力，为传统预测方法提供可扩展和高效的替代方案。
该系统采用不同方法综合应对，通过将问题分解为子问题并使用搜索查询来实现全面的预测覆盖。文章从新闻API中检索并根据GPT-3.5-Turbo提供的相关性分数进行过滤。然后，文章被总结以适应语言模型的上下文窗口。推理是准确预测的重要方面，系统使用草稿本提示引导模型的推理过程。它通过集成不同模型的预测来提高准确性，并通过超参数调整来优化检索和推理系统，包括优化提示、文章摘要和集成方法。这一复杂的过程允许更为明智和微妙的预测方法，利用语言模型丰富的知识和快速处理能力。
研究人员对研究结果表示乐观。在全面的测试集上，该系统平均Brier分数为0.179，接近人类集合分数0.149，表明基于语言模型的预测系统在某些情况下接近甚至超越了从竞争平台聚合的人类预测者的准确性。这一发现表明语言模型有望在规模上提供准确的预测，促进更为明智的决策过程。
该研究为将语言模型整合到预测领域提出了强有力的论点，突显了这些工具增强预测准确性和效率的潜力。虽然从研究到实际应用的过程涉及许多挑战和考虑，但加利福尼亚大学伯克利分校团队的基础工作标志着可靠和可访问的预测方法的不断努力迈出的重要一步。这项研究的影响超越学术兴趣，有望在我们探索未来不确定性的过程中影响政府、企业等决策过程。
论文:https://arxiv.org/abs/2402.18563
更新于：9个月前