英伟达发布HelpSteer：一个用于构建有用LLM的开源数据集

摘要：英伟达最近宣布了NVIDIA NeMo SteerLM技术作为英伟达 NeMo框架的一部分。这项技术使用户能够在推断过程中控制大型语言模型（LLM）的响应。英伟达 NeMo团队现在正在开源一个名为HelpSteer的多属性数据集。这个新资源..

英伟达最近宣布了NVIDIA NeMo SteerLM技术作为英伟达 NeMo框架的一部分。这项技术使用户能够在推断过程中控制大型语言模型（LLM）的响应。

英伟达 NeMo团队现在正在开源一个名为HelpSteer的多属性数据集。这个新资源使开发人员能够快速开始使用SteerLM技术并构建最先进的自定义模型。HelpSteer是我们团队与Scale AI合作的成果。结合SteerLM技术，它提高了响应的事实性和连贯性。开发人员现在可以在复杂性和冗长度等其他属性上引导LLM的响应，增强响应对最终用户的整体可控性。

项目地址:https://huggingface.co/datasets/nvidia/HelpSteer

通过使用这个新的数据集和SteerLM技术，英伟达训练了一个名为Llama270B的基础模型，其表现优于Llama2-70B聊天模型。

为了构建这个数据集，NeMo团队收集了约10，000个高质量提示，并使用内部LLM为每个提示生成了四个响应。然后，团队请人工专家根据0-4的评分来评估每个响应。Scale的生成式AI数据引擎将自动化和人工智能相结合，快速生成与特定AI目标和数据需求相适应的训练数据。

数据集中的所有响应都以五个属性进行了注释，包括:响应在整体上满足了提示的要求程度、响应是否包含事实准确、相关的信息而没有幻觉或虚假信息、响应的清晰度、逻辑性和自洽性以及响应的词汇和句子结构的复杂程度（从基础到专家级）、响应相对于提示所要求的是简洁还是冗长。

通过这个数据集和SteerLM技术的应用，英伟达取得了令人满意的结果，为构建自定义的LLM提供了更大的灵活性和可控性。这个新的开源数据集为开发人员提供了一个有用的工具，帮助他们更好地理解和应用NVIDIA NeMo框架中的SteerLM技术。