字节推图像分割项目UniRef++ 提高图像分割效率和精确度

摘要：字节公司最新推出了一个名为UniRef++的图像分割项目，该项目将现有的即参考图像分割（RIS）、少镜头图像分割(FSS)、参考视频对象分割(RVOS)和视频对象分割(VOS)四种分割方式整合到一个架构下进行处理，从而能够自动..

字节公司最新推出了一个名为UniRef++的图像分割项目，该项目将现有的即参考图像分割（RIS）、少镜头图像分割(FSS)、参考视频对象分割(RVOS)和视频对象分割(VOS)四种分割方式整合到一个架构下进行处理，从而能够自动判断应该使用哪种方式来分割内容。

论文地址:https://arxiv.org/pdf/2312.15715.pdf

这一项目中的UniFusion模块还可以与SAM模型结合使用，进一步提高图像分割的效率和精确度。这一项目的推出将为图像分割领域带来新的突破，为用户提供更加便捷和高效的图像处理解决方案。

功能:

UniRef++ 的核心部分是 UniFusion 模块，用于进行多路融合，处理与指定参考相关的不同任务。这使得语言和注释掩码能够无缝集成，适用于不同的分割任务。

采用统一的 Transformer 架构实现实例级分割。这种设计选择增强了模型在不同基于参考的对象分割任务中泛化的能力。

UniRef++ 允许在广泛的基准上进行联合训练，消除了任务特定模型的需要。这导致资源的更有效利用和整体性能的提高。

该模型在运行时表现出灵活性，能够通过指定相应的参考完成多个任务。这种适应性对于具有不同分割要求的实际应用至关重要。

实验结果表明，UniRef++ 在引用图像分割和引用视频对象分割方面取得了最先进的性能。此外，它在少样本图像分割和视频对象分割中与参数共享网络相比表现出竞争力。