基于层次化聚合与提示增强的肾小球肾炎分类

doi:10.11772/j.issn.1001-9081.2025080954

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (9): 2996-3004.DOI: 10.11772/j.issn.1001-9081.2025080954

• 多媒体计算与计算机仿真 • 上一篇

基于层次化聚合与提示增强的肾小球肾炎分类

张桂滨¹^,²^,³, 米昀¹^,²^,³, 路艳蒙⁴, 耿舰⁵^,⁶, 周志涛⁴, 曹蕾¹^,²^,³()

^1.南方医科大学生物医学工程学院，广州 510515
^2.广东省医学图像处理重点实验室（南方医科大学），广州 510515
^3.广东省医学成像与诊断技术工程实验室（南方医科大学），广州 510515
^4.南方医科大学中心实验室，广州 510515
^5.南方医科大学基础医学院，广州 510515
^6.南方医科大学广州华银医学检验中心，广州 510515

收稿日期:2025-08-19 修回日期:2025-10-09 接受日期:2025-10-16 发布日期:2025-11-07 出版日期:2026-09-10
通讯作者: 曹蕾
作者简介:张桂滨（2002—），男，广东汕头人，硕士研究生，主要研究方向：医学图像处理、多模态学习
米昀（2001—），男，湖南怀化人，硕士研究生，主要研究方向：图像分类、医学人工智能
路艳蒙（1970—），女，内蒙古呼和浩特人，副教授，博士，主要研究方向：组织胚胎学
耿舰（1972—），男，广东广州人，副教授，博士，主要研究方向：肾活检病理诊断
周志涛（1975—），男，辽宁沈阳人，高级实验师，博士，主要研究方向：免疫学
曹蕾（1974—），女，湖南沅江人，教授，博士，主要研究方向：医学图像处理、深度学习。
基金资助:
国家自然科学基金资助项目(32071368)

Glomerulonephritis classification based on hierarchical aggregation and prompt enhancement

Guibin ZHANG¹^,²^,³, Yun MI¹^,²^,³, Yanmeng LU⁴, Jian GENG⁵^,⁶, Zhitao ZHOU⁴, Lei CAO¹^,²^,³()

^1.School of Biomedical Engineering，Southern Medical University，Guangzhou Guangdong 510515，China
^2.Guangdong Provincial Key Laboratory of Medical Image Processing （Southern Medical University），Guangzhou Guangdong 510515，China
^3.Guangdong Provincial Engineering Laboratory for Medical Imaging and Diagnostic Technology （Southern Medical University），Guangzhou Guangdong 510515，China
^4.Central Laboratory，Southern Medical University，Guangzhou Guangdong 510515，China
^5.School of Basic Medical Sciences，Southern Medical University，Guangzhou Guangdong 510515，China
^6.Guangzhou Huayin Medical Laboratory Center，Southern Medical University，Guangzhou Guangdong 510515，China

Received:2025-08-19 Revised:2025-10-09 Accepted:2025-10-16 Online:2025-11-07 Published:2026-09-10
Contact: Lei CAO
About author:ZHANG Guibin， born in 2002， M. S. candidate. His research interests include medical image processing， multimodal learning.
MI Yun， born in 2001， M. S. candidate. His research interests include image classification， medical artificial intelligence.
LU Yanmeng， born in 1970， Ph. D.， associate professor. Her research interests include histoembryology.
GENG Jian， born in 1972， Ph. D.， associate professor. His research interests include renal biopsy pathological diagnosis.
ZHOU Zhitao， born in 1975， Ph. D.， senior experimentalist. His research interests include immunology.
CAO Lei， born in 1974， Ph. D.， professor. Her research interests include medical image processing， deep learning.
Supported by:
National Natural Science Foundation of China(32071368)

摘要/Abstract

摘要：

肾小球肾炎（GN）亚型的精准判别是临床决策的关键依据，然而，GN的自动化诊断在建模包内非连续透射电子显微镜（TEM）图像间的内在关联与有效利用病理诊断报告中的细粒度专家知识方面存在挑战。因此，提出一种包含层次化Transformer聚合（HTA）模块与报告记忆增强（RME）模块的图文多模态模型CLIP-HaRe（CLIP framework with HTA and RME）。HTA模块采用“子图-示例-包”的分层聚合策略，即通过自注意力机制建模非连续TEM图像间的语义关联，并用最大池化提取关键病变特征；RME模块基于现代Hopfield网络构建病理报告记忆库，利用大语言模型（LLM）生成的类别提示进行查询，并融合报告的细粒度文本知识，增强提示的疾病特异性表征能力。在所构建的包含3种GN亚型的数据集上的实验结果显示，所提模型在疾病分类任务中的准确率、精确率、召回率、F1分数和受试者工作特征曲线下面积（AUC）分别为0.773 7、0.781 6、0.772 3、0.772 7和0.930 8，相较于基线模型线性探测（Linear-Probe），上述指标分别提升了11.01、10.68、10.69、11.04和9.85个百分点。CLIP-HaRe通过融合图文信息实现了GN亚型的自动分类，它的性能相较于基线明显提升，验证了它在辅助临床诊断中的应用潜力。

关键词: 层次化聚合, 提示增强, 图文多模态, 透射电子显微镜图像, 肾小球肾炎

Abstract:

Accurately distinguishing GlomeruloNephritis （GN） subtypes is crucial for clinical decision-making， however， GN automated diagnosis faces challenges in modeling the intrinsic relationships between non-consecutive Transmission Electron Microscopy （TEM） images within a bag and utilizing the fine-grained expert knowledge in pathology reports effectively. Therefore， an image-text multimodal model， CLIP-HaRe （CLIP framework with HTA and RME）， was proposed， comprising a Hierarchical Transformer Aggregation （HTA） module and a Report Memory Enhancement （RME） module. In HTA module， a hierarchical aggregation strategy “sub-image-instance-bag” was utilized， in which a self-attention mechanism was employed to model the semantic relationships among non-consecutive TEM images， and max-pooling was used to extract key lesion features. In RME module， the pathology report memory banks were constructed using modern Hopfield network， the class prompts generated by a Large Language Model （LLM） were employed for query， and fine-grained textual knowledge was integrated from the reports， thereby enhancing the disease-specific representation capability of the prompts. Experimental results in the disease classification task on a constructed dataset of three GN subtypes show that the proposed model achieves an accuracy of 0.773 7， a precision of 0.781 6， a recall of 0.772 3， an F1 score of 0.772 7， and an Area Under the receiver operating Characteristic curve （AUC） of 0.930 8. These metrics represent improvements of 11.01， 10.68， 10.69， 11.04， and 9.85 percentage points， respectively， over a baseline method Linear-Probe. CLIP-HaRe enables the automated classification of GN subtypes by fusing image and text information， with its significant performance enhancement over the baseline， validating its potential for application in assisting clinical diagnosis.

Key words: hierarchical aggregation, prompt enhancement, image-text multimodal, Transmission Electron Microscopy (TEM) image, GlomeruloNephritis (GN)

中图分类号:

TP391.4

张桂滨, 米昀, 路艳蒙, 耿舰, 周志涛, 曹蕾. 基于层次化聚合与提示增强的肾小球肾炎分类[J]. 计算机应用, 2026, 46(9): 2996-3004.

Guibin ZHANG, Yun MI, Yanmeng LU, Jian GENG, Zhitao ZHOU, Lei CAO. Glomerulonephritis classification based on hierarchical aggregation and prompt enhancement[J]. Journal of Computer Applications, 2026, 46(9): 2996-3004.

图/表 12

参考文献 40

[1]	Chadban S J， Atkins R C. Glomerulonephritis ［J］. The Lancet， 2005， 365（9473）： 1797-1806.
[2]	GBD Chronic Kidney Disease Collaboration. Global， regional， and national burden of chronic kidney disease， 1990-2017： a systematic analysis for the global burden of disease study 2017 ［J］. The Lancet， 2020， 395（10225）： 709-733.
[3]	Guo Q， Wu S， Xu C， et al. Global disease burden from acute glomerulonephritis 1990-2019 ［J］. Kidney International Reports， 2021， 6（8）： 2212-2217.
[4]	谢志勇，李志莲，董伟，等. 慢性肾小球疾病谱演变和膜性肾病流行病学特点［J］. 临床肾脏病杂志， 2019， 19（7）： 471-476， 492.
	Xie Zhiyong， Li Zhilian， Dong Wei， et al. Evolution of chronic glomerular disease spectrum and epidemiological characteristics of membranous nephropathy ［J］. Journal of Clinical Nephrology， 2019， 19（7）： 471-476， 492.
[5]	Anders H J， Kitching A R， Leung N， et al. Glomerulonephritis： immunopathogenesis and immunotherapy ［J］. Nature Reviews Immunology， 2023， 23（7）： 453-471.
[6]	Jennette J C， Falk R J. Diagnosis and management of glomerular diseases ［J］. The Medical Clinics of North America， 1997， 81（3）： 653-677.
[7]	倪海锋，杨旻宇，弓玉祥，等. 电镜检查在肾小球疾病病理诊断中的价值研究［J］. 现代医学， 2018， 46（5）： 477-483.
	Ni Haifeng， Yang Minyu， Gong Yuxiang， et al. Role of electron microscopy in pathological diagnosis of glomerular diseases ［J］. Modern Medical Journal， 2018， 46（5）： 477-483.
[8]	Ginley B， Lutnick B， Jen K Y， et al. Computational segmentation and classification of diabetic glomerulosclerosis ［J］. Journal of the American Society of Nephrology， 2019， 30（10）： 1953-1967.
[9]	Wang R， Liu X， Hao F， et al. Ada-CCFNet： classification of multimodal direct immunofluorescence images for membranous nephropathy via adaptive weighted confidence calibration fusion network ［J］. Engineering Applications of Artificial Intelligence， 2023， 117（Pt B）： No.105637.
[10]	Hacking S， Bijol V. Deep learning for the classification of medical kidney disease： a pilot study for electron microscopy ［J］. Ultrastructural Pathology， 2021， 45（2）： 118-127.
[11]	王艳茹，周晓霜，李荣山. 人工智能在肾脏病理中的应用［J］. 中华肾脏病杂志， 2023， 39（12）： 957-963.
	Wang Yanru， Zhou Xiaoshuang， Li Rongshan. Application of artificial intelligence in renal pathology ［J］. Chinese Journal of Nephrology， 2023， 39（12）： 957-963.
[12]	Abu Haeyeh Y， Ghazal M， El-Baz A， et al. Development and evaluation of a novel deep-learning-based framework for the classification of renal histopathology images ［J］. Bioengineering， 2022， 9（9）： No.423.
[13]	Ilse M， Tomczak J B， Welling M. Attention-based deep multiple instance learning ［J］// Proceedings of Machine Learning Research， 2018， 80： 2127-2136.
[14]	Li B， Li Y， Eliceiri K W. Dual-stream multiple instance learning network for whole slide image classification with self-supervised contrastive learning ［C］// CVPR 2021. Piscataway： IEEE， 2021： 14313-14323.
[15]	Shao Z， Bian H， Chen Y， et al. TransMIL： Transformer based correlated multiple instance learning for whole slide image classification ［C］// NeurIPS 2021. Red Hook： Curran Associates Inc.， 2021： 2136-2147.
[16]	Fillioux L， Boyd J， Vakalopoulou M， et al. Structured state space models for multiple instance learning in digital pathology ［C］// MICCAI 2023， LNCS 14220. Cham： Springer， 2023： 594-604.
[17]	Wang C W， Liu T C， Lai P J， et al. Ensemble transformer-based multiple instance learning to predict pathological subtypes and tumor mutational burden from histopathological whole slide images of endometrial and colorectal cancer［J］. Medical Image Analysis， 2025， 99： No.103372.
[18]	Gan L， Wu X， Wang Z， et al. SemaMIL： semantic-aware multiple instance learning with retrieval-guided state space modeling for whole slide images ［C］// ICASSP 2026. Piscataway： IEEE， 2026： 9067-9071.
[19]	Zhang Y， Gao J， Zhou M， et al. Text-guided foundation model adaptation for pathological image classification ［C］// MICCAI 2023， LNCS 14224. Cham： Springer， 2023： 272-282.
[20]	Gan L， Zhang J， Qu L， et al. Enhancing zero-shot brain tumor subtype classification via fine-grained patch-text alignment ［J］. Expert Systems with Applications， 2026， 300： No.130161.
[21]	Gou J， Ji L， Liu P， et al. Queryable prototype multiple instance learning with vision-language models for incremental whole slide image classification ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2025， 39（3）： 3158-3166.
[22]	Qu L， Luo X， Fu K， et al. The rise of AI language pathologists： exploring two-level prompt learning for few-shot weakly-supervised whole slide image classification ［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 67551-67564.
[23]	Tomar D， Vray G， Mahapatra D， et al. Slide-level prompt learning with vision language models for few-shot multiple instance learning in histopathology ［C］// ISBI 2025. Piscataway： IEEE， 2025： 1-5.
[24]	Huang Z， Bianchi F， Yuksekgonul M， et al. A visual-language foundation model for pathology image analysis using medical Twitter ［J］. Nature Medicine， 2023， 29（9）： 2307-2316.
[25]	Lu M Y， Chen B， Williamson D F K， et al. A visual-language foundation model for computational pathology ［J］. Nature Medicine， 2024， 30（3）： 863-874.
[26]	Jahanifar M， Raza M， Xu K， et al. Domain generalization in computational pathology： survey and guidelines ［J］. ACM Computing Surveys， 2025， 57（11）： No.285.
[27]	Qu L， Yang D， Huang D， et al. Pathology-knowledge enhanced multi-instance prompt learning for few-shot whole slide image classification ［C］// ECCV 2024， LNCS 15069. Cham： Springer， 2025： 196-212.
[28]	Radford A， Kim J W， Hallacy C， et al. Learning transferable visual models from natural language supervision ［J］// Proceedings of Machine Learning Research， 2021， 139： 8748-8763.
[29]	Zhou K， Yang J， Loy C C， et al. Learning to prompt for vision-language models ［J］. International Journal of Computer Vision， 2022， 130（9）： 2337-2348.
[30]	Zhou K， Yang J， Loy C C， et al. Conditional prompt learning for vision-language models ［C］// CVPR 2022. Piscataway： IEEE， 2022： 16795-16804.
[31]	Yao H， Zhang R， Xu C. Visual-language prompt tuning with knowledge-guided context optimization ［C］// CVPR 2023. Piscataway： IEEE， 2023： 6757-6767.
[32]	Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］// NeurIPS 2017. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[33]	Ramsauer H， Schäfl B， Lehner J， et al. Hopfield networks is all you need ［PP/OL］. V3. arXiv （2021-04-28）［2025-09-30］..
[34]	Zhang S， Xu Y， Usuyama N， et al. BiomedCLIP： a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs ［PP/OL］. V3. arXiv （2025-01-08）［2025-09-13］..
[35]	Misra D. Mish： a self regularized non-monotonic activation function ［C］// BMVC 2020. Durham： BMVA Press， 2020： No.928.
[36]	Hopfield J J. Neural networks and physical systems with emergent collective computational abilities ［J］. Proceedings of the National Academy of Sciences of the United States of America， 1982， 79（8）： 2554-2558.
[37]	Loshchilov I， Hutter F. SGDR： stochastic gradient descent with warm restarts［PP/OL］. V5. arXiv （2017-05-03）［2025-09-05］..
[38]	Liu L， Jiang H， He P， et al. On the variance of the adaptive learning rate and beyond［PP/OL］. V4. arXiv （2021-10-26）［2025-09-30］..
[39]	Gao P， Geng S， Zhang R， et al. CLIP-Adapter： better vision-language models with feature adapters ［J］. International Journal of Computer Vision， 2024， 132（2）： 581-595.
[40]	Zhang R， Isola P， Efros A A. Split-brain autoencoders： unsupervised learning by cross-channel prediction ［C］// CVPR 2017. Piscataway： IEEE， 2017： 645-654.

类别	模型	Acc	Pre	Rec	F1
MIL	ABMIL^［13］	0.737 0±0.021 2	0.738 4±0.020 0	0.738 0±0.021 0	0.736 7±0.021 5
	TransMIL^［15］	0.688 1±0.015 9	0.696 1±0.014 3	0.690 1±0.015 6	0.687 0±0.016 4
	DSMIL^［14］	0.718 7±0.005 3	0.722 1±0.009 0	0.719 9±0.005 3	0.718 5±0.005 6
	S4MIL^［16］	0.700 3±0.014 0	0.718 1±0.016 3	0.702 8±0.014 6	0.695 7±0.010 4
PL	CLIP-Adapter^［39］	0.758 4±0.014 0	0.759 6±0.013 5	0.758 5±0.014 2	0.758 2±0.013 9
	CoOp^［29］	0.743 1±0.024 3	0.747 9±0.026 5	0.743 6±0.024 0	0.742 8±0.024 2
	CoCoOp^［30］	0.712 5±0.014 1	0.717 2±0.012 5	0.713 6±0.014 4	0.711 1±0.014 4
	KgCoOp^［31］	0.749 2±0.023 1	0.752 5±0.023 6	0.749 6±0.022 5	0.749 5±0.023 1
PL-in-MIL	CITE^［19］	0.669 7±0.027 5	0.677 6±0.028 3	0.672 4±0.027 8	0.666 9±0.026 9
	SLIP^［23］	0.565 7±0.074 2	0.584 1±0.075 5	0.568 1±0.074 3	0.560 9±0.071 3
	TOP^［22］	0.642 2±0.027 5	0.648 1±0.023 5	0.643 8±0.027 0	0.641 2±0.028 3
Baseline	Linear-Probe^［40］	0.663 6±0.014 0	0.674 8±0.015 3	0.665 4±0.013 9	0.662 3±0.014 9
本文方法	CLIP-HaRe	0.773 7±0.005 3	0.781 6±0.008 7	0.772 3±0.004 6	0.772 7±0.004 2

类别	模型	Acc	Pre	Rec	F1
MIL	ABMIL^［13］	0.737 0±0.021 2	0.738 4±0.020 0	0.738 0±0.021 0	0.736 7±0.021 5
	TransMIL^［15］	0.688 1±0.015 9	0.696 1±0.014 3	0.690 1±0.015 6	0.687 0±0.016 4
	DSMIL^［14］	0.718 7±0.005 3	0.722 1±0.009 0	0.719 9±0.005 3	0.718 5±0.005 6
	S4MIL^［16］	0.700 3±0.014 0	0.718 1±0.016 3	0.702 8±0.014 6	0.695 7±0.010 4
PL	CLIP-Adapter^［39］	0.758 4±0.014 0	0.759 6±0.013 5	0.758 5±0.014 2	0.758 2±0.013 9
	CoOp^［29］	0.743 1±0.024 3	0.747 9±0.026 5	0.743 6±0.024 0	0.742 8±0.024 2
	CoCoOp^［30］	0.712 5±0.014 1	0.717 2±0.012 5	0.713 6±0.014 4	0.711 1±0.014 4
	KgCoOp^［31］	0.749 2±0.023 1	0.752 5±0.023 6	0.749 6±0.022 5	0.749 5±0.023 1
PL-in-MIL	CITE^［19］	0.669 7±0.027 5	0.677 6±0.028 3	0.672 4±0.027 8	0.666 9±0.026 9
	SLIP^［23］	0.565 7±0.074 2	0.584 1±0.075 5	0.568 1±0.074 3	0.560 9±0.071 3
	TOP^［22］	0.642 2±0.027 5	0.648 1±0.023 5	0.643 8±0.027 0	0.641 2±0.028 3
Baseline	Linear-Probe^［40］	0.663 6±0.014 0	0.674 8±0.015 3	0.665 4±0.013 9	0.662 3±0.014 9
本文方法	CLIP-HaRe	0.773 7±0.005 3	0.781 6±0.008 7	0.772 3±0.004 6	0.772 7±0.004 2

特征聚合方法	Acc	Pre	Rec	F1
AvgPool	0.764 5±0.014 0	0.768 0±0.016 9	0.764 7±0.013 3	0.764 9±0.014 6
Conv1d	0.733 9±0.024 3	0.737 1±0.020 9	0.735 1±0.023 8	0.734 0±0.025 0
Concat	0.740 0±0.005 3	0.741 5±0.006 1	0.740 9±0.005 1	0.740 2±0.005 7
MaxPool	0.773 7±0.005 3	0.781 6±0.008 7	0.772 3±0.004 6	0.772 7±0.004 2

特征聚合方法	Acc	Pre	Rec	F1
AvgPool	0.764 5±0.014 0	0.768 0±0.016 9	0.764 7±0.013 3	0.764 9±0.014 6
Conv1d	0.733 9±0.024 3	0.737 1±0.020 9	0.735 1±0.023 8	0.734 0±0.025 0
Concat	0.740 0±0.005 3	0.741 5±0.006 1	0.740 9±0.005 1	0.740 2±0.005 7
MaxPool	0.773 7±0.005 3	0.781 6±0.008 7	0.772 3±0.004 6	0.772 7±0.004 2

记忆库策略	Acc	Pre	Rec	F1
Mer-Attn	0.743 1±0.009 2	0.749 0±0.005 0	0.744 1±0.009 1	0.741 7±0.011 1
Sep-Attn	0.755 3±0.014 0	0.757 2±0.015 2	0.755 3±0.012 4	0.754 0±0.012 9
Mer-Hop	0.767 6±0.023 1	0.773 5±0.022 0	0.767 5±0.021 8	0.767 2±0.022 9
Sep-Hop	0.773 7±0.005 3	0.781 6±0.008 7	0.772 3±0.004 6	0.772 7±0.004 2

基于层次化聚合与提示增强的肾小球肾炎分类

Glomerulonephritis classification based on hierarchical aggregation and prompt enhancement

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 40

相关文章 1

编辑推荐

Metrics

HTA	RME	Acc	Pre	Rec	F1
—	—	0.574 9±0.005 3	0.571 9±0.005 5	0.577 4±0.005 2	0.573 3±0.005 5
√	—	0.752 3±0.024 2	0.754 2±0.023 6	0.752 5±0.023 1	0.751 1±0.023 7
—	√	0.718 6±0.023 1	0.720 7±0.022 1	0.719 8±0.022 9	0.718 1±0.023 8
√	√	0.773 7±0.005 3	0.781 6±0.008 7	0.772 3±0.004 6	0.772 7±0.004 2