引入自动提示编码器的SAM睑板腺统一密集分割方法

doi:10.11772/j.issn.1001-9081.2025050613

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (5): 1667-1676.DOI: 10.11772/j.issn.1001-9081.2025050613

• 前沿与综合应用 • 上一篇

引入自动提示编码器的SAM睑板腺统一密集分割方法

荆莹, 李然(), 蒋卓, 付子扬, 杜晶颐, 刘琪, 刘吉航

大连海洋大学信息工程学院，辽宁大连 116023

收稿日期:2025-06-13 修回日期:2025-09-16 接受日期:2025-09-25 发布日期:2025-10-17 出版日期:2026-05-10
通讯作者: 李然
作者简介:荆莹（2001—），女，山东临清人，硕士研究生，主要研究方向：深度学习、图像处理
蒋卓（2000—），女，辽宁沈阳人，硕士研究生，主要研究方向：文本语义理解增强、结构化知识融合、可解释推理
付子扬（2002—），女，辽宁沈阳人，硕士研究生，主要研究方向：深度学习、图像分级处理
杜晶颐（1999—），女，辽宁凌源人，硕士研究生，主要研究方向：人工智能、故障诊断
刘琪（1999—），男，江苏扬州人，硕士研究生，主要研究方向：人工智能、故障诊断
刘吉航（2000—），男，辽宁庄河人，硕士研究生，主要研究方向：基于计算机视觉的鱼类异常行为识别与分割。
基金资助:
中国医药教育协会2022重大科学攻关问题和医药技术难题重点课题(2022KTM036)

SAM Meibomian gland unified dense segmentation method with introduction of automatic prompt encoder

Ying JING, Ran LI(), Zhuo JIANG, Ziyang FU, Jingyi DU, Qi LIU, Jihang LIU

School of Information Engineering，Dalian Ocean University，Dalian Liaoning 116023，China

Received:2025-06-13 Revised:2025-09-16 Accepted:2025-09-25 Online:2025-10-17 Published:2026-05-10
Contact: Ran LI
About author:JING Ying， born in 2001， M. S. candidate. Her research interests include deep learning， image processing.
JIANG Zhuo， born in 2000， M.S. candidate. Her research interests include textual semantic comprehension enhancement， structured knowledge fusion， interpretable reasoning.
FU Ziyang， born in 2002， M. S. candidate. Her research interests include deep learning， image hierarchical processing.
DU Jingyi， born in 1999， M. S. candidate. Her research interests include artificial intelligence， fault diagnosis.
LIU Qi， born in 1999， M. S. candidate. His research interests include artificial intelligence， fault diagnosis.
LIU Jihang， born in 2000， M. S. candidate. His research interests include fish abnormal behavior recognition and segmentation based on computer vision.
Supported by:
Key Topics of Major Scientific Challenges and Pharmaceutical Technology Issues in 2022 by Chinese Medicine Education Association(2022KTM036)

摘要/Abstract

摘要：

针对传统SAM（Segment Anything Model）在睑板腺图像分割中依赖人工提示，难以应对腺体密集、形态不规则及边界模糊的问题，提出改进模型ResSAM。该模型引入自动提示编码器消除人工干预的依赖；针对骨干网络进行剪枝优化，进一步提升模型分割效率；采用Focal Loss和Smooth IoU Loss优化训练，并融合SE（Squeeze-and-Excitation）与交叉注意力机制降低个体差异和边界模糊的影响，提升模型分割精度。在2个自建数据集Lower Lid和Upper Lid上的实验结果显示，ResSAM的参数量和十亿次浮点运算次数（GFLOPs）指标表现最优；分割结果具有最高Dice值，分别为88.69%和87.75%，以及最高的交并比（IoU）值，分别为79.69%和78.58%。研究结果表明，ResSAM在效率与精度方面均实现了优化，可为睑板腺功能障碍（MGD）的早期预防和临床诊断提供支持。

关键词: SAM, 图像分割, 自动提示编码器, 骨干网络剪枝, SE, 交叉注意力机制, 睑板腺

Abstract:

The traditional Segment Anything Model （SAM） relies on manual prompts during segmentation of Meibomian gland images， making it difficult to handle issues such as dense glands， irregular shapes， and blurred boundaries. To address this， an improved model， namely ResSAM， was proposed. ResSAM eliminated the reliance on manual intervention by introducing an automatic prompt encoder. The backbone network was pruned and optimized to further enhance the model's segmentation efficiency. Focal Loss and Smooth IoU Loss were used for training optimization， and the SE （Squeeze-and-Excitation） and cross-attention mechanisms were integrated to reduce the impact of individual differences and blurred boundaries， thereby improving the model's segmentation accuracy. Experimental results on two self-built datasets， Lower Lid and Upper Lid， showed that ResSAM achieved the best performance in terms of the number of parameters and Giga FLoating-point OPerations （GFLOPs）； its segmentation results obtained the highest Dice scores （88.69% and 87.75%， respectively） and the highest Intersection-over-Union （IoU） values （79.69% and 78.58%， respectively）. The research results indicate that the ResSAM optimizes both efficiency and accuracy， supporting early prevention and clinical diagnosis of Meibomian Gland Dysfunction （MGD）.

Key words: Segment Anything Model (SAM), image segmentation, automatic prompt encoder, backbone network pruning, Squeeze-and-Excitation (SE), cross-attention mechanism, Meibomian gland

中图分类号:

TP391

荆莹, 李然, 蒋卓, 付子扬, 杜晶颐, 刘琪, 刘吉航. 引入自动提示编码器的SAM睑板腺统一密集分割方法[J]. 计算机应用, 2026, 46(5): 1667-1676.

Ying JING, Ran LI, Zhuo JIANG, Ziyang FU, Jingyi DU, Qi LIU, Jihang LIU. SAM Meibomian gland unified dense segmentation method with introduction of automatic prompt encoder[J]. Journal of Computer Applications, 2026, 46(5): 1667-1676.

图/表 16

参考文献 33

[1]	陈远远.基于深度学习的医学图像分割技术研究［D］.开封：河南大学，2024.
	CHEN Y Y. Research on medical image segmentation technology based on deep learning［D］. Kaifeng： Henan University， 2024.
[2]	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
[3]	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.
[4]	CHEN L C， PAPANDREOU G， SCHROFF F， et al. Rethinking atrous convolution for semantic image segmentation［EB/OL］. ［2025-09-15］..
[5]	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
[6]	曹玉红，徐海，刘荪傲，等.基于深度学习的医学影像分割研究综述［J］.计算机应用，2021，41（8）：2273-2287.
	CAO Y H， XU H， LIU S A， et al. Review of deep learning-based medical image segmentation［J］. Journal of Computer Applications， 2021， 41（8）： 2273-2287.
[7]	CHHADVA P， GOLDHARDT R， GALOR A. Meibomian gland disease： the role of gland dysfunction in dry eye disease［J］. Ophthalmology， 2017， 124（S11）： S20-S26.
[8]	YAN X， LI J， LIU Z， et al. Quantitative analysis of morphological and functional features in meibography for Meibomian Gland Dysfunction： diagnosis and grading［J］. Eye and Contact Lens， 2022， 48（1）： 32-39.
[9]	LIN J W， LIN L J， LU F， et al. Meibomian glands segmentation in infrared images with limited annotation［J］. International Journal of Ophthalmology， 2024， 17（3）： 401-407.
[10]	GHOSH S， DAS N， DAS I， et al. Understanding deep learning techniques for image segmentation［J］. ACM Computing Surveys， 2020， 52（4）： No.73.
[11]	AMANO S， SHIMAZAKI J， YOKOI N， et al. Meibomian gland dysfunction clinical practice guidelines［J］. Japanese Journal of Ophthalmology， 2023， 67（4）： 448-539.
[12]	MARUOKA S， TABUCHI H， NAGASATO D， et al. Deep neural network-based method for detecting obstructive meibomian gland dysfunction with in vivo laser confocal microscopy［J］. Cornea， 2020， 39（6）： 720-725.
[13]	LAI L， WU Y， FAN J， et al. Automatic meibomian gland segmentation and assessment based on TransUnet with data augmentation［C］// Proceedings of the 2024 International Conference on Intelligent Computing， LNCS 14863. Singapore： Springer， 2024： 154-165.
[14]	SHEN N， WANG Z， LI J， et al. Multi-organ segmentation network for abdominal CT images based on spatial attention and deformable convolution［J］. Expert Systems with Applications， 2023， 211： No.118625.
[15]	MAZUROWSKI M A， DONG H， GU H， et al. Segment anything model for medical image analysis： an experimental study［J］. Medical Image Analysis， 2023， 89： No.102918.
[16]	孙兴，蔡肖红，李明，等.视觉大模型SAM在医学图像分割中的应用综述［J］.计算机工程与应用，2024，60（17）：1-16.
	SUN X， CAI X H， LI M， et al. Review of application of the visual foundation model SAM in medical image segmentation［J］. Computer Engineering and Applications， 2024， 60（17）： 1-16.
[17]	XIE B， TANG H， CAI D， et al. Self-Prompt SAM： medical image segmentation via automatic prompt SAM adaptation［EB/OL］. ［2025-01-15］..
[18]	XIE Z， GUAN B， JIANG W， et al. PA-SAM： prompt adapter SAM for high-quality image segmentation［C］// Proceedings of the 2024 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2024： 1-6.
[19]	DONG G， WANG Z， CHEN Y， et al. An efficient segment anything model for the segmentation of medical images［J］. Scientific Reports， 2024， 14： No.19425.
[20]	CHENG Z， WEI Q， ZHU H， et al. Unleashing the potential of SAM for medical adaptation via hierarchical decoding［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2024： 3511-3522.
[21]	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2999-3007.
[22]	LEE Y， PARK J. CenterMask： real-time anchor-free instance segmentation［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 13903-13912.
[23]	戚翔宇，苏庆华，张智超，等. 改进YOLOv11的缺陷检测算法［J］.计算机科学与应用，2025，15（1）：108-116.
	QI X Y， SU Q H， ZHANG Z C， et al. Improvement of the YOLOv11 defect detection algorithm［J］. Computer Science and Application， 2025， 15（1）： 108-116.
[24]	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［EB/OL］. ［2024-12-15］..
[25]	HUANG S， LIANG H， WANG Q， et al. SEG-SAM： semantic-guided SAM for unified medical image segmentation［EB/OL］. ［2025-08-21］..
[26]	CHEN P， XIE L， HUO X， et al. SAM-CP： marrying SAM with composable prompts for versatile segmentation［EB/OL］. ［2025-03-11］..
[27]	MA J， HE Y， LI F， et al. Segment anything in medical images［J］. Nature Communications， 2024， 15： No.654.
[28]	周涛，刘赟璨，陆惠玲，等.ResNet及其在医学图像处理领域的应用：研究进展与挑战［J］.电子与信息学报，2022，44（1）：149-167.
	ZHOU T， LIU Y C， LU H L， et al. ResNet and its applications to medical image processing： research progress and challenges［J］. Journal of Electronics and Information Technology， 2022， 44（1）： 149-167.
[29]	ZHU K， HU F， DING Y， et al. A comprehensive review of network pruning based on pruning granularity and pruning time perspectives［J］. Neurocomputing， 2025， 626： No.129382.
[30]	PAN P， ZHANG C， SUN J， et al. Multi-scale Conv-Attention U‑Net for medical image segmentation［J］. Scientific Reports， 2025， 15： No.12041.
[31]	CHENG B， MISRA I， SCHWING A G， et al. Masked-attention mask transformer for universal image segmentation［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 1280-1289.
[32]	ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6230-6239.
[33]	XIE E， WANG W， YU Z， et al. SegFormer： simple and efficient design for semantic segmentation with Transformers［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2021： 12077-12090.

模型	Lower Lid					Upper Lid
模型	Dice/%	IoU/%	Sensitivity/%	Accuracy/%	Time/s	Dice/%	IoU/%	Sensitivity/%	Accuracy/%	Time/s
SAM（10 point）	47.83	31.46	73.32	92.31	20	39.24	24.66	71.29	91.12	19
SAM（20 point）	55.92	38.79	74.66	93.86	24	47.31	30.69	73.61	91.91	24
SAM（30 point）	60.77	43.72	76.72	94.02	25	54.87	37.15	74.78	92.72	26
SAM（40 point）	60.14	48.23	77.83	94.59	31	58.16	40.19	75.92	93.60	29
SAM（50 point）	67.95	51.48	79.25	94.93	38	61.73	43.42	76.45	94.13	34
ResSAM	88.69	79.69	88.75	98.85	8.7	87.75	78.58	88.09	98.63	8.4

模型	Lower Lid					Upper Lid
模型	Dice/%	IoU/%	Sensitivity/%	Accuracy/%	Time/s	Dice/%	IoU/%	Sensitivity/%	Accuracy/%	Time/s
SAM（10 point）	47.83	31.46	73.32	92.31	20	39.24	24.66	71.29	91.12	19
SAM（20 point）	55.92	38.79	74.66	93.86	24	47.31	30.69	73.61	91.91	24
SAM（30 point）	60.77	43.72	76.72	94.02	25	54.87	37.15	74.78	92.72	26
SAM（40 point）	60.14	48.23	77.83	94.59	31	58.16	40.19	75.92	93.60	29
SAM（50 point）	67.95	51.48	79.25	94.93	38	61.73	43.42	76.45	94.13	34
ResSAM	88.69	79.69	88.75	98.85	8.7	87.75	78.58	88.09	98.63	8.4

数据集	SEF-CAM	损失函数	密集提示编码器	Dice	IoU	Precision	Sensitivity	Accuracy
Lower Lid				30.25	17.57	33.66	28.12	95.66
Upper Lid				29.78	16.92	32.42	27.85	95.42
Lower Lid	√			77.52	63.65	82.15	78.34	96.95
Upper Lid	√			76.41	61.62	80.52	77.11	96.52
Lower Lid	√	√		83.35	75.79	88.94	84.79	97.94
Upper Lid	√	√		82.24	74.73	87.71	83.73	97.71
Lower Lid	√	√	√	88.69	79.69	88.71	88.75	98.85
Upper Lid	√	√	√	87.75	78.58	88.05	88.09	98.63

数据集	SEF-CAM	损失函数	密集提示编码器	Dice	IoU	Precision	Sensitivity	Accuracy
Lower Lid				30.25	17.57	33.66	28.12	95.66
Upper Lid				29.78	16.92	32.42	27.85	95.42
Lower Lid	√			77.52	63.65	82.15	78.34	96.95
Upper Lid	√			76.41	61.62	80.52	77.11	96.52
Lower Lid	√	√		83.35	75.79	88.94	84.79	97.94
Upper Lid	√	√		82.24	74.73	87.71	83.73	97.71
Lower Lid	√	√	√	88.69	79.69	88.71	88.75	98.85
Upper Lid	√	√	√	87.75	78.58	88.05	88.09	98.63

骨干网络	Lower Lid					Upper Lid
骨干网络	Params/10⁶	GFLOPs	FPS	Dice/%	IoU/%	Params/10⁶	GFLOPs	FPS	Dice/%	IoU/%
ResNet18	11.73	24.17	92.14	80.13	71.42	11.71	24.19	92.03	79.21	67.08
ResNet34	21.81	44.46	78.29	83.27	75.48	21.79	44.52	78.25	82.13	71.57
ResNet50	25.59	52.08	70.66	85.92	79.95	25.62	52.13	70.64	85.37	74.93
ResNet101	44.48	95.23	52.47	91.97	87.82	44.51	95.18	52.43	91.48	87.91
ResDenNet101-Pruned1	31.12	66.59	66.21	91.60	87.38	31.09	66.61	66.15	91.10	86.50
ResDenNet101-Pruned2	23.71	50.82	75.37	90.83	86.71	23.68	50.79	75.32	90.28	85.85
ResDenNet101-Pruned3	18.31	38.11	85.58	88.69	79.69	18.29	38.09	85.46	87.75	78.58

引入自动提示编码器的SAM睑板腺统一密集分割方法

SAM Meibomian gland unified dense segmentation method with introduction of automatic prompt encoder

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 33

相关文章 15

编辑推荐

Metrics

模型	Dice	IoU	Precision	Sensitivity
U-Net	72.79	60.22	76.50	71.62
DeepLabv3	76.54	64.13	81.02	74.62
Mask2Former	78.62	67.88	77.24	80.54
PSPNet	78.51	69.31	84.11	75.77
SegFormer	83.47	72.79	82.97	84.02
ResSAM	88.69	79.69	88.71	88.75

模型	Dice	IoU	Precision	Sensitivity
U-Net	71.56	58.92	75.25	69.82
DeepLabv3	75.21	62.80	80.19	73.45
Mask2Former	77.47	65.73	76.51	79.31
PSPNet	77.29	67.53	83.24	74.14
SegFormer	82.12	72.51	81.72	83.28
ResSAM	87.75	78.58	88.05	88.09

[1]	白翔, 李巨川, 王慧民, 景超, 钮键, 张兴忠, 程永强. 基于改进Swin Transformer的电力图像检索方法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1334-1343.
[2]	李亚男, 郭梦阳, 邓国军, 陈允峰, 任建吉, 原永亮. 基于多模态融合特征的并分支发动机寿命预测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 305-313.
[3]	许志雄, 李波, 边小勇, 胡其仁. 对抗样本嵌入注意力U型网络的3D医学图像分割[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3011-3016.
[4]	王芳, 胡静, 张睿, 范文婷. 内容引导下多角度特征融合医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3017-3025.
[5]	张硕, 孙国凯, 庄园, 冯小雨, 王敬之. 面向区块链节点分析的eclipse攻击动态检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2428-2436.
[6]	王艺涵, 路翀, 陈忠源. 跨模态文本信息增强的多模态情感分析模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2237-2244.
[7]	姜坤元, 李小霞, 王利, 曹耀丹, 张晓强, 丁楠, 周颖玥. 引入解耦残差自注意力的边界交叉监督语义分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1120-1129.
[8]	杨定木, 倪龙强, 梁晶, 邱照原, 张永真, 齐志强. 基于语义相似度的协议转换方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1263-1270.
[9]	令狐鑫瑶, 陈燕, 张鹏程, 刘祎, 桂志国, 赵伟, 董展豪. 基于多尺度引导滤波的宫颈细胞核图像分割[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1333-1339.
[10]	蒋占军, 李洋, 廉敬, 苗新法. 坐标增强与多源采样的脑肿瘤图像分割[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 996-1002.
[11]	袁宝华, 陈佳璐, 王欢. 融合多尺度语义和双分支并行的医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 988-995.
[12]	薛振华, 李强, 黄超. 视觉基础模型驱动的像素级图像异常检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 823-831.
[13]	邓酩, 徐锦凡, 肖洪祥, 谢晓兰. 改进TransUNet的高效通道注意力医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(12): 4037-4044.
[14]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[15]	姬张建, 杜娜. 基于改进VariFocalNet的微小目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2200-2207.