本文作者来自北京大学和阿里通义万相实验室。其中论文第一作者是汤昊，北京大学 2022 级博士生，目前主要关注统一的多模态任务建模算法。指导教授是王立威老师，北京大学智能学院教授，曾获 NeurIPS 2024 最佳论文奖、ICLR 2023 杰出论文奖及 ICLR 2024 杰出论文提名奖。
无需 SAM 和 Grounding DINO，MLLM 也能做分割和检测！统一细粒度感知的多模态大模型 UFO 来了！
- 论文标题：UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface
- 论文链接：https://arxiv.org/abs/2503.01342
- 开源代码：https://github.com/nnnth/UFO
- 开源模型：https://huggingface.co/kanashi6/UFO
具体来说，UFO 提出了一种基于特征检索的分割方法，将分割任务重新定义为计算 token 特征和图像特征的相似度，无需 SAM，最多仅需输出 16 个 token 即可实现 MLLM 的精细分割。UFO 还支持文本格式的目标框输出，通过并行解码高效支持密集检测和分割。
背景介绍
多模态大模型（MLLM）统一了视觉-语言任务，但在细粒度感知任务中（如检测、分割）仍依赖任务解码器（如 SAM、Grounding DINO），结构和训练非常复杂。
基于文本的方法采用粗糙的多边形表示，表达能力不足，且在密集场景（如 COCO 数据集）中性能不佳。因此，亟需开发无需额外解码器、与视觉-语言任务统一且性能优异的细粒度感知方法。
为此，研究团队提出了基于特征检索的方式来支持分割：模型通过预测。
标记，计算其特征与图像特征的相似度实现分割
这种方式有效地挖掘了多模态大模型的图像表征能力。研究团队认为，既然多模态大模型可以回答物体的类别和位置，那么图像特征中已经包含物体的分割信息。
对于检测任务，UFO 将目标框转换成文本格式的坐标，使得检测和分割的任务输出都可以通过文本统一。
针对密集感知场景，研究团队提出了一种并行解码策略，将多个预测拆分成多个单目标的子任务，通过局部图像特征进行区分。这种方式可以大大简化任务难度，同时加速推理。
方法细节
基于特征检索的分割方式
通过多个掩码标记上采样
多任务数据模版
对于单一预测的任务，任务模板为：
对于多预测任务，比如目标检测和实例分割，UFO 将其拆分为多个单一预测的独立子任务，使得他们能在同一个批处理内并行。模板结构是：。其中
指局部图像特征，作为局部视觉提示，用于区分不同子任务。
如上图右侧所示，UFO 在整个图像上均匀采样网格点，并在每个网格位置插值局部图像特征。每个网格点预测最近的目标，如果没有则预测结束标记。
实验结果
多任务训练
UFO 在 GiT 提出的多任务基准上取得显著提升，在 COCO 实例分割上相比 GiT-H 提升 12.3 mAP，在 ADE20K 语义分割上提升 3.3 mIoU。
视觉定位
无需任务解码器，UFO 在引用表达式理解（REC）和分割（RES）两种任务展现出优越的性能。
推理分割
推理分割要求模型进行深层推理得出分割目标，更加困难。UFO 可以深度融合文本推理和分割能力，性能超过基于 SAM 的 LISA。
视网膜血管分割
视网膜血管形状不规则且狭窄，难以用多边形表示。UFO 在 DRIVE 上进行了训练，取得了 77.4 的 Dice 系数，验证了在极细粒度结构上的有效性。
深度估计
UFO 可以用类似分割的方式支持深度估计，取得具有竞争力的性能。
可视化结果
UFO 可以适应任意数量的预测和任意形式的描述。
采用 4 个
标记时，每个掩码标记能捕捉不同细节，使得融合的掩码更精细。
结论
UFO 提出了一种统一的细粒度感知框架，通过开放式语言界面处理各种细粒度的视觉感知任务，无需修改架构即可在多模态大模型上实现出色的性能。
UFO 的核心创新是一种新颖的特征检索方法用于分割，有效利用了模型的图像表征能力。
UFO 的统一方式完全对齐视觉-语言任务，提供了一种灵活、有效且可扩展的解决方案，以增强多模态大模型的细粒度感知能力，为构建更通用的多模态模型铺平了道路。
