基于选择性Softmax梯度的分层相关性传播解释方法

doi:10.11772/j.issn.1001-9081.2025070906

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (7): 2111-2118.DOI: 10.11772/j.issn.1001-9081.2025070906

基于选择性Softmax梯度的分层相关性传播解释方法

陈冲¹, 邹宏杨¹, 曹靖¹, 蒋文静¹, 陈杰¹, 高富民²()

^1.中国石油大学（北京）人工智能学院，北京 102249
^2.中国石油大学（北京）安全与海洋工程学院，北京 102249

收稿日期:2025-08-11 修回日期:2025-11-06 接受日期:2025-11-10 发布日期:2025-12-22 出版日期:2026-07-10
通讯作者: 高富民
作者简介:陈冲（1987—），男，河北衡水人，副教授，博士，CCF会员，主要研究方向：机器学习及其可解释性、数值模拟
邹宏杨（2001—），男，四川成都人，硕士研究生，主要研究方向：神经网络模型的可解释性
曹靖（2002—），男，北京人，硕士研究生，主要研究方向：神经网络模型的可解释性
蒋文静（2002—），女，湖南常德人，硕士，主要研究方向：数据同化
陈杰（1997—），女，山东菏泽人，硕士，主要研究方向：深度学习可解释性
基金资助:
国家重点研发计划项目(2022YFC2803700);油气重大专项(2024ZD1403305)

Interpretation method based on selective Softmax gradient for layer-wise relevance propagation

Chong CHEN¹, Hongyang ZOU¹, Jing CAO¹, Wenjing JIANG¹, Jie CHEN¹, Fumin GAO²()

^1.College of Artificial Intelligence，China University of Petroleum （Beijing），Beijing 102249，China
^2.College of Safety and Ocean Engineering，China University of Petroleum （Beijing），Beijing 102249，China

Received:2025-08-11 Revised:2025-11-06 Accepted:2025-11-10 Online:2025-12-22 Published:2026-07-10
Contact: Fumin GAO
About author:CHEN Chong， born in 1987， Ph. D.， associate professor. His research interests include machine learning and its interpretability， numerical modeling.
ZOU Hongyang， born in 2001， M. S. candidate. His research interests include interpretability of neural network models.
CAO Jing， born in 2002， M. S. candidate. His research interests include interpretability of neural network models.
JIANG Wenjing， born in 2002， M. S. Her research interests include data assimilation.
CHEN Jie， born in 1997， M. S. Her research interests include interpretability of deep learning models.
Supported by:
National Key Research and Development Program of China(2022YFC2803700);Oil&Gas Major Project(2024ZD1403305)

摘要/Abstract

摘要：

神经网络模型固有的“黑盒”性质导致它们的内部逻辑与行为决策不透明，限制了它们在关键领域的应用。针对该问题，基于分层相关传播（LRP）方法，对VGG16和ResNet50等图像分类模型的可解释性展开研究，并提出一种针对图像分类模型的可解释性方法SSGLRP （Selective Softmax Gradient for Layer-wise Relevance Propagation）。该方法在LRP中引入输出神经元正梯度的激活值与修正非目标类的初始相关性值，解决了LRP方法解释结果的热力图中含有噪声且缺乏类别区分性问题。以经典LRP、选择性分层相关传播（SLRP）、Softmax梯度分层相关传播（SGLRP）为基线方法，采用最大补丁遮掩和定点游戏实验对SSGLRP方法进行定量评估。最大补丁遮掩的实验结果表明，在VGG16上，SSGLRP的预测值变化量比LRP、SLRP和SGLRP分别平均高出91.8%、60.3%和34.2%；在ResNet50上则分别高出61.9%、64.9%和33.2%。SSGLRP方法具有更高的类别区别能力和更少的噪声，且解释VGG16和ResNet50模型的效果更好。

关键词: 神经网络, 解释方法, 类别区分性, 分层相关传播, 图像分类

Abstract:

The inherent “black-box” nature of neural network models leads to opaque internal logic and behavioral decision， restricting their application in critical areas. To address this issue， based on the Layer-wise Relevance Propagation （LRP） method， the interpretability of image classification models such as VGG16 and ResNet50 was researched， and an interpretation method for image classification models named SSGLRP （Selective Softmax Gradient for Layer-wise Relevance Propagation） was proposed. By introducing activation values for the positive gradients of output neurons and modifying the initial relevance values for non-target classes， the problem of LRP heatmaps containing noise and lacking class discrimination was effectively solved. The SSGLRP method was quantitatively evaluated using maximum patch masking and fixed-point game experiments， with classic LRP， Selective Layer-wise Relevance Propagation （SLRP）， and Softmax Gradient Layer-wise Relevance Propagation （SGLRP） as baseline methods. The results of the maximum patch masking experiments show that on VGG16， the prediction change obtained by SSGLRP is on average 91.8%， 60.3%， and 34.2% higher than those obtained by LRP， SLRP， and SGLRP， respectively； on ResNet50， the improvements are 61.9%， 64.9%， and 33.2%， respectively. The SSGLRP method has higher class discrimination ability and less noise with superior performance in interpreting VGG16 and ResNet50 models.

Key words: neural network, interpretation method, class discrimination, Layer-wise Relevance Propagation (LRP), image classification

中图分类号:

TP181

陈冲, 邹宏杨, 曹靖, 蒋文静, 陈杰, 高富民. 基于选择性Softmax梯度的分层相关性传播解释方法[J]. 计算机应用, 2026, 46(7): 2111-2118.

Chong CHEN, Hongyang ZOU, Jing CAO, Wenjing JIANG, Jie CHEN, Fumin GAO. Interpretation method based on selective Softmax gradient for layer-wise relevance propagation[J]. Journal of Computer Applications, 2026, 46(7): 2111-2118.

图/表 15

图1 SLRP的过程

Fig. 1 Process of SLRP

图2 SGLRP的过程

Fig. 2 Process of SGLRP

图3 ImageNet数据集示例

Fig. 3 Illustration of ImageNet dataset

图4 CUB-200-2011数据集示例

Fig. 4 Illustration of CUB-200-2011 dataset

图5 最大补丁遮掩评估

Fig. 5 Evaluation of maximum patch masking

图6 定点游戏评估中的“能量”概念

Fig. 6 Concept of “energy” in fix-point game evaluation

图7 VGG16网络模型结果的解释

Fig. 7 Interpretation of results of VGG16 model

图8 解释结果的类别区分性

Fig. 8 Class discrimination of interpretation results

图9 ResNet50网络模型结果的解释

Fig. 9 Interpretation of results of ResNet50 model

图10 VGG16模型的预测值变化量

Fig. 10 Prediction changes of VGG16 model

图11 ResNet50模型的预测值变化量

Fig. 11 Prediction changes of ResNet50 model

表1 不同解释方法的VGG16模型预测值变化量

Tab. 1 Prediction changes of VGG16 model using different interpretation methods

补丁大小	LRP	SLRP	SGLRP	SSGLRP
1	0.000 05	0.000 39	0.000 64	0.001 61
3	0.000 60	0.003 47	0.004 10	0.005 01
5	0.000 93	0.003 86	0.004 91	0.013 66
7	0.001 58	0.005 25	0.015 69	0.017 99
9	0.002 14	0.009 70	0.017 19	0.020 38

表2 不同解释方法的ResNet50模型预测值变化量

Tab. 2 Prediction changes of ResNet50 model using different interpretation methods

补丁大小	LRP	SLRP	SGLRP	SSGLRP
1	0.000 02	0.000 05	0.000 09	0.000 34
3	0.000 02	0.000 13	0.002 58	0.003 89
5	0.002 18	0.001 92	0.004 30	0.006 38
7	0.006 34	0.005 31	0.007 62	0.009 68
9	0.008 66	0.007 47	0.009 76	0.010 27

图12 VGG16模型在不同能量下的定点准确率

Fig. 12 Pointing accuracies of VGG16 model at different energies

图13 ResNet50模型在不同能量下的定点准确率

Fig. 13 Pointing accuracies of ResNet50 model at different energies

参考文献 22

[1]	刘广，李海旭，侯腾，等.基于检索任务和改进ResNet的机场跑道异物目标识别方法［J］.计算机应用， 2024， 44（）： 309-313.
	Liu Guang， Li Haixu， Hou Teng， et al. Foreign object debris target recognition method for airport runways based on retrieval task and improved ResNet ［J］. Journal of Computer Applications， 2024， 44（）： 309-313.
[2]	王璐，刘东，刘卫光.可变形卷积网络的解释性研究及其在蝴蝶物种识别模型中的应用［J］.计算机应用， 2025， 45（1）： 261-274.
	Wang Lu， Liu Dong， Liu Weiguang. Interpretability study on deformable convolutional network and its application in butterfly species recognition models ［J］. Journal of Computer Applications， 2025， 45（1）： 261-274.
[3]	Yang M， Jiao L， Liu F， et al. Transferred deep learning-based change detection in remote sensing images ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（9）： 6960-6973.
[4]	Wang Z， Liu J. A review of object detection based on convolutional neural network ［C］// CCC 2017. Piscataway： IEEE， 2017： 11104-11109.
[5]	周志华，陈世福.神经网络规则抽取［J］.计算机研究与发展， 2002， 39（4）： 398-405.
	Zhou Zhihua， Chen Shifu. Rule extraction from neural networks ［J］. Journal of Computer Research and Development， 2002， 39（4）： 398-405.
[6]	陈冲，陈杰，张慧，等.深度学习可解释性综述［J］.计算机科学， 2023， 50（5）： 52-63.
	Chen Chong， Chen Jie， Zhang Hui， et al. Review on interpretability of deep learning ［J］. Computer Science， 2023， 50（5）： 52-63.
[7]	Bach S， Binder A， Montavon G， et al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation ［J］. PLoS ONE， 2015， 10（7）： No.e0130140.
[8]	Jung Y J， Han S H， Choi H J. Explaining CNN and RNN using selective layer-wise relevance propagation ［J］. IEEE Access， 2021， 9： 18670-18681.
[9]	Iwana B K， Kuroki R， Uchida S. Explaining convolutional neural networks using softmax gradient layer-wise relevance propagation ［C］// ICCV Workshops 2019. Piscataway： IEEE， 2019： 4176-4185.
[10]	陈珂锐，孟小峰.机器学习的可解释性［J］.计算机研究与发展， 2020， 57（9）： 1971-1986.
	Chen Kerui， Meng Xiaofeng. Interpretation and understanding in machine learning ［J］. Journal of Computer Research and Development， 2020， 57（9）： 1971-1986.
[11]	Barredo Arrieta A， Díaz-Rodríguez N， Del Ser J， et al. Explainable Artificial Intelligence （XAI）： concepts， taxonomies， opportunities and challenges toward responsible AI ［J］. Information Fusion， 2020， 58： 82-115.
[12]	Simonyan K， Vedaldi A， Zisserman A. Deep inside convolutional networks： visualising image classification models and saliency maps ［PP/OL］. V2. arXiv （2014-04-19）［2025-06-20］. .
[13]	Shrikumar A， Greenside P， Kundaje A. Learning important features through propagating activation differences ［C］// ICML 2017. New York： JMLR.org， 2017： 3145-3153.
[14]	Zhou B， Khosla A， Lapedriza A， et al. Learning deep features for discriminative localization ［C］// CVPR 2016. Piscataway： IEEE， 2016： 2921-2929.
[15]	Selvaraju R R， Cogswell M， Das A， et al. Grad-CAM： visual explanations from deep networks via gradient-based localization ［C］// ICCV 2017. Piscataway： IEEE， 2017： 618-626.
[16]	Chattopadhay A， Sarkar A， Howlader P， et al. Grad-CAM++： generalized gradient-based visual explanations for deep convolutional networks ［C］// WACV 2018. Piscataway： IEEE， 2018： 839-847.
[17]	Montavon G， Lapuschkin S， Binder A， et al. Explaining nonlinear classification decisions with deep Taylor decomposition ［J］. Pattern Recognition， 2017， 65： 211-222.
[18]	Montavon G， Binder A， Lapuschkin S， et al. Layer-wise relevance propagation： an overview ［M］// Samek W， Montavon G， Vedaldi A， et al.Explainable AI： interpreting， explaining and visualizing deep learning， LNCS 11700. Cham： Springer， 2019： 119-134.
[19]	He K， Zhang X， Ren S， et al. Identity mappings in deep residual networks ［C］// ECCV 2016. Cham： Springer， 2016： 630-645.
[20]	Wah C， Branson S， Welinder P， et al. Caltech-UCSD birds-200-2011 dataset ［DS/OL］. ［2025-05-11］. .
[21]	Gu J， Yang Y， Tresp V. Understanding individual decisions of CNNs via contrastive backpropagation ［C］// ACCV 2018. Cham： Springer， 2019： 119-134.
[22]	Zhang J， Bargal S A， Lin Z， et al. Top-down neural attention by excitation backprop ［J］. International Journal of Computer Vision， 2018， 126（10）： 1084-1102.

基于选择性Softmax梯度的分层相关性传播解释方法

Interpretation method based on selective Softmax gradient for layer-wise relevance propagation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 22

相关文章 15

编辑推荐

Metrics

[1]	武湘怡, 叶海良, 曹飞龙. 基于平滑-锐化图卷积的点云补全方法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2267-2276.
[2]	肖海林, 曹清阳, 蒋海龙, 张中山, 胡智群. 基于深度神经网络的正交频分复用系统信道估计算法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2250-2258.
[3]	朱莉, 米路革麻, 朱春强, 徐婉茹, 高靖凯, 屈锦琪. 基于动态卷积分解和多尺度图的短期电力负荷预测模型[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2334-2346.
[4]	张玥, 王英. 基于邻域记忆的可扩展动态图表示学习[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2104-2110.
[5]	刘苗苗, 张郁红, 张强, 杜睿山. 基于改进GhostNet的岩石薄片岩性识别模型[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2355-2363.
[6]	卢敏, 周辉. 基于指派活动冲突图节点预测的机场停机位分配算法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1913-1921.
[7]	陈宇, 戚帅康, 许莉薇, 朱浩天. 融合多尺度小波增强与自监督学习的社交机器人检测框架[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1756-1766.
[8]	李冰清, 黄彬浩, 唐语蓓, 张柏礼. 面向数据稀疏性与冷启动问题的服务质量预测模型[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1829-1835.
[9]	戚航, 董婷婷, 乃永强, 莫先. 基于图扩散生成与自适应采样的对比协同过滤方法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1818-1828.
[10]	富坤, 魏昊宇, 刘伟静, 党兴, 刘泽政, 李建伟. 拓扑语义双域协同的图神经网络框架[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1378-1387.
[11]	祁晓博, 张晶, 史颖, 亓慧, 杜航原. 基于概念漂移检测的多重主动学习方法[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1388-1396.
[12]	刘馨瑶, 梁军, 龙嘉濠, 颜仁梁. 基于特征融合和通道信息补偿的中草药细粒度图像分类[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1677-1683.
[13]	程凤伟, 张槟淇, 徐国华, 王文剑. 竞争损失驱动的生成式不平衡节点分类[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1475-1481.
[14]	张驰, 孟宪静, 窦长昊, 王倩, 耿蕾蕾, 袭肖明. MD-FVR：基于多域特征融合的级联手指静脉识别网络[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1658-1666.
[15]	豆旭梦, 解滨, 张朝晖, 赵振刚, 段菡煜, 郭澳磊. 基于结构‒网络协同特征与网格注意力增强KAN的药物靶标相互作用预测[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1344-1353.