专业的食品图像分割技术FoodSAM开源

摘要：FoodSAM 是一种用于食物图像分割的创新框架，结合了 Segment Anything Model（SAM）、语义分割器和物体检测器。它能够生成类别无关的二进制掩码，通过与掩码 - 类别匹配获取食物类别标签，并为背景掩码提供非食物类..

FoodSAM 是一种用于食物图像分割的创新框架，结合了 Segment Anything Model（SAM）、语义分割器和物体检测器。它能够生成类别无关的二进制掩码，通过与掩码 - 类别匹配获取食物类别标签，并为背景掩码提供非食物类别。通过合并策略增强语义掩码，实现实例和全景分割，并具备可提示的分割能力。

虽然段落任意模型（SAM）在各种数据集的分割任务中表现优异，但在面具的特定类别细节上存在疏漏。FoodSAM 成功克服了这一问题。它结合了 SAM 的优势和新的特性，有效地分割食品图像，甚至识别出场景中的单个食品和其他物体。FoodSAM 是首个在食物图像上实现实例、全景和可提示分割的工作。

核心功能:

语义分割:能够将食物图像进行语义分割，生成类别标签和语义掩码。

实例分割:通过合并策略，将语义掩码增强为实例分割结果，能够分割出不同的食物实例。

全景分割:结合物体检测器，将 FoodSAM 的零样本能力扩展到全景分割，有效捕捉非食物对象信息。

可提示分割:集成了无缝提示 - 优先选择机制，实现可提示的分割，提供更灵活的分割结果。