英伟达AI Workbench正式发布,大幅度简化大模型开发流程

2024-03-23 12:49
摘要:3月22日,英伟达在官网宣布,正式发布NVIDIA AI Workbench。AI Workbench是一款面向AI大模型开发人员的工具包,可以帮助开发人员消除很多繁琐、复杂的部署、开发流程。无论你的技术水平如何,开发人员都可以体验快速..

3月22日,英伟达在官网宣布,正式发布NVIDIA AI Workbench

AI Workbench是一款面向AI大模型开发人员的工具包,可以帮助开发人员消除很多繁琐、复杂的部署、开发流程。

无论你的技术水平如何,开发人员都可以体验快速可靠的 GPU 环境设置以及跨异构平台工作、管理和协作。

免费下载地址:https://www.nvidia.com/en-us/deep-learning-ai/solutions/data-science/workbench/

AI Workbench主要功能介绍:

快速安装、设置和配置基于GPU的开发环境。

基于最新模型的预构建、即插即用的生成式人工智能和机器学习示例项目。

使用NVIDIA API目录中的云端端点或本地NVIDIA NIM微服务部署生成式AI模型。

直观的用户体验加上命令行界面(CLI)。

易于在不同开发环境中复现和移植。

基于 Git 和容器的开发环境自动化。

容器和Git仓库的版本控制和管理。

与GitHub、GitLab和NVIDIA NGC目录的集成。

凭证、秘密和文件系统变更的透明处理。

自Beta版发布以来,AI Workbench还增加了几个新的关键功能:

Visual Studio (VS) Code支持:直接集成到VS Code中,以在GPU环境中编排容器化项目。

基础镜像选择:用户在创建项目时可以选择自己的容器镜像作为项目的基础镜像。容器镜像必须使用符合基础镜像规范的镜像标签。

改进的软件包管理:用户可以通过Workbench用户界面直接管理和添加软件包到容器中。

安装改进:Windows和MacOS用户有更简单的安装路径。Docker容器运行时也得到了改进的支持。

AI Workbench 可以将生成式人工智能开发引入任何支持 GPU 的环境,提供统一界面,适用于数亿台现代 NVIDIA RTX 驱动的工作站和个人电脑,也适用于数据中心和云端。

Mac 用户可以安装 AI Workbench,并将项目迁移到 NVIDIA 驱动的系统,以便进行协作和获得更强大的计算能力。

NVIDIA提供一系列免费的Workbench项目示例,以帮助开发者入门:

使用混合检索增强生成(RAG)与你的文档进行交流。在你的系统上运行嵌入模型,将文档存储在私人向量数据库中。使用NVIDIA API在云端配置推理,或者在RTX系统上使用NIM推理微服务本地运行。

在任何规模上定制LLMs。从在本地运行量化模型到进行全面微调以优化精度。进行微调并在任何地方运行——在RTX系统上本地运行,或者扩展到数据中心或云端。在GitHub上查看Llama-2或Mistral-7B项目。

在RTX PC或云端上运行Stable Diffusion XL,通过文本提示生成定制图像。轻松在你选择的GPU启用环境中重现,以便用你的图像对模型进行微调。

除了快速的GPU工作站设置外,AI Workbench还提供示例项目作为一个即插即用的起点,帮助开发人员更快地开始他们的数据和用例。Workbench项目整合了所有需要的资源和元数据,以简化跨各种基础设施的工作流管理,同时促进无缝移植和可在任何地方再现性。

更新于:7个月前