【How Segment Anything Model (SAM) Boost Medical Image Segmentation: A Survey】
本篇文章是个人看文献的一些总结和个人的想法，都是个人看过文章之后的理解，不保证一定是对的，如果我的理解有错，欢迎纠正。
（2023.5）
医学图像分割旨在从医学图像中区分特定的解剖结构，准确的分割可以提供可靠的目标结构的体积和形状信息，从而辅助疾病诊断、定量分析和手术计划等许多进一步的临床应用。
现有的深度模型通常是针对特定的模式和目标量身定制的，这限制了它们进一步泛化的能力。
随着SAM作为一种创新的图像分割基础模型的引入，SAM因其能够以全自动或交互式的方式生成准确的目标掩码而受到广泛关注。提示驱动的模式已经进入了图像分割领域，带来了一系列以前未开发的功能。
SAM在医学图像分割中的表现如何?
尽管SAM在自然图像上表现出色，但其在处理具有结构复杂性、低对比度和观察者间变异性的医学图像时可能表现不佳。
使用SAM进行病理图像分割、肝脏肿瘤分割、结肠镜图像中的息肉分割、脑MRI分割、腹部CT器官分割、内窥镜手术工具分割多中不同的任务，比较了U-Net相关模型与未经处理的SAM模型在医学图像当中的性能。
如下图所示，直接将SAM应用在医学图像当中的性能全方位不如U-Net系列模型。
如何更好地将SAM应用于医学图像分割?
扩展SAM的医学图像可用性：由于医学图像通常具有特定的格式，如NII和DICOM，因此需要对SAM进行扩展以适应这些格式。Liu等人将SAM集成到常用的医学图像查看器3D Slicer中，使研究人员能够在医学图像上进行分割，且延迟仅为0.6秒。
在医学数据集上微调SAM：由于更新SAM的所有参数耗时、计算量大且部署困难，大多数研究都集中在对SAM的一小部分参数进行微调。
Hu等评估了除图像编码器外直接应用和微调SAM用于皮肤癌分割任务的性能。通过在目标数据集上对SAM进行微调，该模型可以在Dice中获得81.25%到88.79%的显著性能提升。
Li等提出通过微调将SAM转移到息肉分割任务中。实验结果表明，与现有方法相比，该方法在5个公共数据集上具有优异的性能。
Ma等人通过管理包含超过20万个掩码和11种模式的多样化和全面的医学图像数据集，将MedSAM引入到通用图像分割中，并开发了微调方法，使SAM适应医学图像分割。提出的MedSAM进一步提高了SAM的性能，在21个三维分割任务上的平均骰子相似系数(DSC)为22.51%，在9个二维分割任务上的平均骰子相似系数(DSC)为17.61%。
Wu等人将医学SAM适配器(Medical SAM Adapter, MSA)引入到使用Adaption模块的参数高效微调范式中，对预训练的SAM进行微调，因为它可以通过更快的更新实现高效学习，并避免灾难性遗忘。
Zhang等将LoRA (lowrank-based)微调策略与提示编码器和掩码解码器一起应用于标记医学图像分割数据集上的SAM图像编码器。通过对多器官分割数据集进行微调，SAM可以获得与现有方法相比极具竞争力的分割性能。
增强对错误提示的鲁棒性：尽管在医学数据集上微调SAM可以提高性能，但它仍然需要使用手动给定的框或点，这使得完全自动化的医学图像分割难以实现。Gao等人提出了一种解耦的Segment Anything Model (DeSAM)，通过将SAM的掩模解码器解耦为两个子任务来最小化错误提示引起的性能下降，基于给定提示生成掩模嵌入的提示相关IoU模块(PRIM)，以及将图像编码器中的图像嵌入与PRIM中的掩模嵌入融合以生成掩模的提示不变掩模模块(PIMM)。
使用SAM进行输入增强：由于SAM在直接应用于需要特定领域知识的医学图像分割任务时性能不完美，Zhang等人提出了直接使用SAM生成的分割掩模来增强原始输入医学图像。
总结：尽管SAM在当前的医学图像分割任务中与特定领域的模型相比性能不够稳定，但研究表明它有潜力作为一个强大且有效的工具，进一步构建分割模型以协助临床应用。
