【CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM】
本篇文章是个人看文献的一些总结和个人的想法，都是个人看过文章之后的理解，不保证一定是对的，如果我的理解有错，欢迎纠正。
（2024.7.9）
SAM模型在外科图像分割领域中的限制
SAM模型在外科图像分割领域中有以下两个主要的限制：
- 需要在测试的时候给图像提供提示输入，未做到全自动分割，影响分割效率。
- 自然图像和外科图像之间存在显著的差距，直接使用在自然图像中训练得到的SAM表现不佳。
CycleSAM模型
因此文章提出CycleSAM模型用于外科图像分割。
CycleSAM模型主要有三个部分，分别是特征提取、空间循环一致性约束和多尺度特征匹配。
CycleSAM使用一个预训练的图像编码器ResNet50作为特征提取器，从图像中提取多尺度特征，从而捕捉不同大小对象的细节。
CycleSelect模块
CycleSelect模块中进行特征匹配和空间循环一致性约束。主要的做法为：
- 计算参考图像和测试图像的特征之间的余弦相似性，得到相似性矩阵。
- 使用这个相似性矩阵来确定潜在的匹配点。
- 确保测试图像中的点在参考图像中匹配到的点也能重新匹配回原始测试图像中的前景区域。
- 通过这种双向的匹配来过滤掉不一致的点，提高匹配的准确性。
多尺度特征匹配
在不同的尺度上进行特征匹配，以应对不同大小的对象，增强模型的稳定性。
最后将多尺度的匹配结果进行聚合，以获得更加可靠的提示点。
SAM分割
利用CycleSelect模块生成提示点，从匹配到的特征点中选择一组具有代表性的点作为SAM的提示来指导SAM的分割，以生成最终的分割掩码。
训练部分
使用自监督的方式对ResNet50编码器进行预训练。
利用已标注的训练图像-掩码对，训练CycleSelect模块以学习如何有效地匹配特征点。
推理的时候，给定一个未标注的测试图像，CycleSelect模块会从已标注的参考图像中找到相似的特征点。通过空间循环一致性约束确保匹配点的准确性，并生成提示点。使用生成的提示点来指导SAM进行目标对象的分割。
实验部分
使用IoU和Dice系数来评估分割性能。
在Endoscapes-Seg50 数据集和CaDIS 数据集中将CycleSAM与其他传统分割方法以及基于SAM的分割方法进行对比，包括全监督方法和一次性分割方法。
