【Crowd-SAM: SAM as a Smart Annotator for Object Detection in Crowded Scenes】

本篇文章是个人看文献的一些总结和个人的想法，都是个人看过文章之后的理解，不保证一定是对的，如果我的理解有错，欢迎纠正。

（2024.7.19）

对象检测在自动驾驶和视频监控等领域是一个基本任务，主要关注识别和定位密集分布的常见对象（如行人和车辆），其中遮挡问题尤为突出。现有方法（如两阶段方法和基于查询的方法）主要依赖监督学习，需要大量标注数据，标注成本高昂。

在处理拥挤场景中的对象时，SAM 及其变种的准确性和效率常常受到影响。本文提出了 Crowd-SAM，一种基于 SAM 的框架，旨在通过引入少量可学习参数和最小量的标注图像来提高 SAM 在拥挤场景中的性能。

与SAM的原方法相比，Crowd-SAM需要更少的人工处理，只需要很少一部分图像标签就可以自动识别目标物体。

在拥挤场景中，由于对象的密集分布和相互遮挡，传统的对象检测和分割方法面临巨大挑战。自监督学习通过生成伪标签来减少对大量标注数据的依赖，SAM展示了在零样本或少样本条件下的强大性能。结合自监督学习和提示驱动分割的方法有望显著提升性能。

Crowd-SAM 的创新之处在于通过引入新组件和自提示机制，有效克服了在拥挤场景中对象检测和分割的困难。下面是Crowd-SAM模型的框架：

DINO（Distillation with No Labels）也是Facebook团队提出的一种无监督学习方法。

DINO 的核心思想是使用一种教师-学生（teacher-student）框架进行训练，其中教师网络和学生网络具有相同的架构，但教师网络的参数更新稍有延迟，训练过程中，学生网络学习如何预测与教师网络相似的输出，尽管输入图像经过不同的数据增强。

这里的DINO指的是一系列的ViT编码器。

Crowd-SAM主要有两个部分：高效提示采样器（Efficient Prompt Sampler, EPS）和部分-整体辨别网络（Part-Whole Discrimination Network, PWD-Net）。

DINOv2 编码器：提取图像特征。

提示生成：使用EPS生成密集的提示。

EPS的设计目标是覆盖尽可能多的对象，同时减少冗余提示。主要分为密集网格生成（初始生成覆盖整个图像的密集提示网格）和冗余提示修剪（通过计算提示之间的相似度，去除冗余提示，保留具有代表性的提示）。

SAM：利用生成的提示进行初始分割。

掩码选择：使用PWD-Net对初始分割结果进行精细化选择。

自提示机制：通过生成新的提示进一步优化分割结果。

两个Binary Classifier：总框架上的二元分类主要用来分类目标和背景；PWD-Net中的二元分类主要用来选择高质量掩码。

PWD-Net利用初始分割结果，进一步细化和优化这些结果，以提高在拥挤和遮挡场景中的分割性能。

PWD-Net有三个主要的token：

掩码Token：用于学习和表示分割掩码的形状特征。通过这种方式，PWD-Net能够理解和区分不同对象的形状，从而在选择最优掩码时更加准确。

IoU Token：IoU Token用于预测分割掩码与真实标签之间的重叠程度。通过这种方式，PWD-Net可以评估每个初始分割结果的质量，并选择那些与真实标签重叠度较高的掩码。

语义Token：用于捕捉分割对象的语义信息。通过结合形状和语义信息，PWD-Net能够更加全面地理解和区分不同的对象，从而在选择最优掩码时考虑更多的上下文信息。

实验部分：

使用的数据集有CityPersons、OCC-Human和COCO。

最后Crowd-SAM在仅使用10张标注图像的情况下，表现出与完全监督的对象检测器相当的性能。

在少样本对象检测器中，Crowd-SAM显著优于现有方法，特别是在拥挤和遮挡场景中表现出色。并且在稀疏的场景中任然具有竞争力。