SAM在无人艇、历史地图、服装设计应用的个人理解

【基于SAM的无人艇多源图像分割研究、结合SAM大模型和数学形态学的历史地图水系信息提取方法、基于 SAM 模型的西装领设计尺寸测量方法】

本篇文章是个人看文献的一些总结和个人的想法，都是个人看过文章之后的理解，不保证一定是对的，如果我的理解有错，欢迎纠正。

基于SAM的无人艇多源图像分割研究

（2024.4）

无人艇使用的传感器，如红外相机和声呐，由于图像的高噪声、低分辨率和复杂物体形状等因素，使得图像分割任务在这些降质图像上变得十分困难。

结合图像分割大模型与大模型低成本微调技术的研究，增强感知大模型在无人系统上的实用性。

将分割大模型应用于无人艇可见光、红外和声学图像分割。经对比发现，分割大模型对可见光和红外图像分割效果好，但对声学图像的分割性能存在严重下降。

因为尽管SAM在许多分割任务中表现出色，但在特定场景下，其性能可能会明显退化。这主要是由于训练时缺少与特定场景相似的图像样本。

LoRA是一种在有限资源下高效微调大模型的方法。其核心思想是使用低秩近似来降低权重矩阵的维度，从而减少模型中可训练参数的规模，以解决微调大模型需要消耗大量算力资源的问题。

LoRA假设模型在任务适配中全参数微调中需要更新所有权重。LoRA的整体架构是在原

始预训练权重W的旁路上用低秩矩阵A和B来近似替代增量权重△W。即在原始预训练权重的基础上，通过低秩矩阵的乘积来近似增量权重，仅训练更新这些低秩矩阵的参数。

LoRA主要作用于Transformer模块中的查询向量Q和值向量V，通过在这些向量旁路添加LoRA层来优化模型的注意力区域。

最终损失：联合损失函数是交叉熵损失和Dice损失的总和，用于综合考虑分类准确性和分割相似度。

实验部分：

数据集：使用无人艇的海上实测数据集，包括可见光图像、红外图像和水下合成孔径声呐图像。

数据预处理：将声呐图像转换为RGB图像，并使用数据增强技术。使用自适应矩估计优化器，初始学习率设置为2×10^-4，并采用余弦衰减学习率和预热训练技巧。

评价指标：采用Dice相似系数和像素准确率（PA）来评估分割精度。

(2024.2.22)

(2024.6.20)

论文写作：

1.在计算机科学中，只有新奇的作品是不够的，它们还必须有用，就是让别人能通过论文里面的方法去延展到其它任务当中使用。

2.研究论文是用来传达思想的。

3. 建议不要依赖那些在50年后可能有用的高风险想法。

4. 每篇论文一个想法One idea per paper

5. 尽早开始写作，用论文来指导你在实验中应该做什么，并帮助理解。

6. 从一个简单的想法开始Start from a simple idea

7. 论文的结构和内容：

Abstract, title——摘要

Introduction：problem and contribution——引言：问题和文章贡献

Related work——相关工作

Main parts：ideas——主要思想方法

Conclusion and future work——结论和未来工作

综述：

文章引用：确保引用的文献是最新的、最有价值的原著，尽量选用核心期刊发表的文献，并注意引用近5年的文献。文献最好不要找一些出处是学校和一些说服力不高的，比如说：XXX职业学校、和一些没听说过的期刊，这个要注意。