专业的食品图像分割技术FoodSAM开源

2023-08-17 13:19
摘要:FoodSAM 是一种用于食物图像分割的创新框架,结合了 Segment Anything Model(SAM)、语义分割器和物体检测器。它能够生成类别无关的二进制掩码,通过与掩码 - 类别匹配获取食物类别标签,并为背景掩码提供非食物类..

FoodSAM 是一种用于食物图像分割的创新框架,结合了 Segment Anything Model(SAM)、语义分割器和物体检测器。它能够生成类别无关的二进制掩码,通过与掩码 - 类别匹配获取食物类别标签,并为背景掩码提供非食物类别。通过合并策略增强语义掩码,实现实例和全景分割,并具备可提示的分割能力。

虽然段落任意模型(SAM)在各种数据集的分割任务中表现优异,但在面具的特定类别细节上存在疏漏。FoodSAM 成功克服了这一问题。它结合了 SAM 的优势和新的特性,有效地分割食品图像,甚至识别出场景中的单个食品和其他物体。FoodSAM 是首个在食物图像上实现实例、全景和可提示分割的工作。

核心功能:

语义分割:能够将食物图像进行语义分割,生成类别标签和语义掩码。

实例分割:通过合并策略,将语义掩码增强为实例分割结果,能够分割出不同的食物实例。

全景分割:结合物体检测器,将 FoodSAM 的零样本能力扩展到全景分割,有效捕捉非食物对象信息。

可提示分割:集成了无缝提示 - 优先选择机制,实现可提示的分割,提供更灵活的分割结果。

更新于:2023-08-17 13:19