深度学习的可解释性研究综述

doi:10.11772/j.issn.1001-9081.2021091649

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (12): 3639-3650.DOI: 10.11772/j.issn.1001-9081.2021091649

所属专题：人工智能；综述

• 人工智能 • 下一篇

深度学习的可解释性研究综述

李凌敏, 侯梦然, 陈琨, 刘军民()

西安交通大学数学与统计学院，西安 710049

收稿日期:2021-09-22 修回日期:2022-01-15 接受日期:2022-01-20 发布日期:2022-12-21 出版日期:2022-12-10
通讯作者: 刘军民
作者简介:李凌敏（1998—），女，山西晋城人，硕士研究生，主要研究方向：神经网络可解释性
侯梦然（1999—），女，山西临汾人，硕士研究生，主要研究方向：神经网络可解释性
陈琨（1984—），男，陕西咸阳人，博士研究生，主要研究方向：人工智能、知识图谱及其应用
刘军民（1982—），男，陕西西安人，副教授，博士，CCF会员，主要研究方向：机器学习、图像处理、数据分析。
基金资助:
国家重点研发计划项目(2020AAA0105601)

Survey on interpretability research of deep learning

Lingmin LI, Mengran HOU, Kun CHEN, Junmin LIU()

School of Mathematics and Statistics，Xi’an Jiaotong University，Xi’an Shaanxi 710049，China

Received:2021-09-22 Revised:2022-01-15 Accepted:2022-01-20 Online:2022-12-21 Published:2022-12-10
Contact: Junmin LIU
About author:LI Lingmin， born in 1998， M. S. candidate. Her research interests include interpretability of neural networks.
HOU Mengran， born in 1999， M. S. candidate. Her research interests include interpretability of neural networks.
CHEN Kun，born in 1984， Ph. D. candidate. His research interests include artificial intelligence， knowledge graph and its application.
LIU Junmin，born in 1982， Ph. D.， associate professor. His research interests include machine learning， image processing， data analysis.3650
Supported by:
National key Research and Development Program of China(2020AAA0105601)

摘要/Abstract

摘要：

近年来，深度学习在很多领域得到广泛应用；然而，由于深度神经网络模型的高度非线性操作，导致其可解释性较差，并常常被称为“黑箱”模型，无法应用于一些对性能要求较高的关键领域；因此，对深度学习的可解释性开展研究是很有必要的。首先，简单介绍了深度学习；然后，围绕深度学习的可解释性，从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析；同时，展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用；最后，讨论了深度学习可解释性研究存在的问题及未来的发展方向。

关键词: 深度学习, 可解释性, 隐层可视化, 类激活映射, 频率原理, 可解释模块, 信息论

Abstract:

In recent years， deep learning has been widely used in many fields. However， due to the highly nonlinear operation of deep neural network models， the interpretability of these models is poor， these models are often referred to as “black box” models， and cannot be applied to some key fields with high performance requirements. Therefore， it is very necessary to study the interpretability of deep learning. Firstly， deep learning was introduced briefly. Then， around the interpretability of deep learning， the existing research work was analyzed from eight aspects， including hidden layer visualization， Class Activation Mapping （CAM）， sensitivity analysis， frequency principle， robust disturbance test， information theory， interpretable module and optimization method. At the same time， the applications of deep learning in the fields of network security， recommender system， medical and social networks were demonstrated. Finally， the existing problems and future development directions of deep learning interpretability research were discussed.

Key words: deep learning, interpretability, hidden layer visualization, Class Activation Mapping (CAM), frequency principle, interpretable module, information theory

中图分类号:

TP181

李凌敏, 侯梦然, 陈琨, 刘军民. 深度学习的可解释性研究综述[J]. 计算机应用, 2022, 42(12): 3639-3650.

Lingmin LI, Mengran HOU, Kun CHEN, Junmin LIU. Survey on interpretability research of deep learning[J]. Journal of Computer Applications, 2022, 42(12): 3639-3650.

图/表 10

表1 激活函数的形式

Tab. 1 Forms of activation functions

激活函数	基本形式
Sigmoid	$S x = 1 1 + e - x$
tanh	$t a n h x = e x - e - x e x + e - x$
ReLU	$R e L U (x) = m a x (0, x)$
Leaky ReLU	$f (x) = x, x > 0 λ x, x ≤ 0; λ ∈ (0,1)$
RReLU	$f (x) = x, x > 0 λ x, x ≤ 0; λ ∼ U (l, u), l < u, l, u ∈ [0,1)$
Noisy ReLU	$f (x) = m a x (0, x + Y); Y ∼ N (0, σ (x))$

表1 激活函数的形式

Tab. 1 Forms of activation functions

激活函数	基本形式
Sigmoid	$S x = 1 1 + e - x$
tanh	$t a n h x = e x - e - x e x + e - x$
ReLU	$R e L U (x) = m a x (0, x)$
Leaky ReLU	$f (x) = x, x > 0 λ x, x ≤ 0; λ ∈ (0,1)$
RReLU	$f (x) = x, x > 0 λ x, x ≤ 0; λ ∼ U (l, u), l < u, l, u ∈ [0,1)$
Noisy ReLU	$f (x) = m a x (0, x + Y); Y ∼ N (0, σ (x))$

表2 损失函数的基本形式

Tab. 2 Basic forms of loss functions

损失函数	基本形式
CrossEntropy	$l o s s = - ∑ i y i l o g y ̂ i$
MSE损失函数	$l o s s = ∑ i = 1 n y i - y ̂ i 2$
log损失函数	$l o s s = - l o g [p (1 / x)], y = 1 - l o g [1 - p (1 / x)], y = 0$
Adaboost	$l o s s = 1 n ∑ i = 1 n e x p (- y i y ̂ i)$
Hinge损失函数	$l o s s = m a x 0,1 - y y ̂; y = ± 1$

表2 损失函数的基本形式

Tab. 2 Basic forms of loss functions

损失函数	基本形式
CrossEntropy	$l o s s = - ∑ i y i l o g y ̂ i$
MSE损失函数	$l o s s = ∑ i = 1 n y i - y ̂ i 2$
log损失函数	$l o s s = - l o g [p (1 / x)], y = 1 - l o g [1 - p (1 / x)], y = 0$
Adaboost	$l o s s = 1 n ∑ i = 1 n e x p (- y i y ̂ i)$
Hinge损失函数	$l o s s = m a x 0,1 - y y ̂; y = ± 1$

图1 解池操作示意图

Fig.1 Schematic diagram of unpooling operation

图2 三种类激活映射方法的内部机制

Fig.2 Internal mechanisms of three class activation mapping methods

表3 基于类激活映射的5种方法优缺点对比

Tab.3 Advantages and disadvantages comparison among five methods based on class activation mapping

方法	优点	缺点
CAM^［15］	支持任意输入大小，参数少，鲁棒性强	需要修改原模型结构，重新训练
Grad-CAM^［16］	可以可视化任意结构的卷积神经网络	缺乏突出显示细微细节的能力
Grad-CAM++^［17］	更适用于同类多目标情况	视觉上不够干净，标记了大量背景信息
Score-CAM^［18］	摆脱了梯度依赖，背景中噪声减小	—
Ablation-CAM^［19］	直接对特征图进行掩码操作，定位更准确	需要遍历特征图，计算耗时长

表4 基于偏导的敏感性分析方法

Tab. 4 Sensitivity analysis methods based on partial derivatives

方法	隐层激活函数	输入变量对输出变量的敏感性系数	$f' n e t j$ 的值
文献［20］方法	$f x = 1 1 + e - x$	$s i = f 1 1 - f 1 ∑ j = 1 L ω i j ν j 1 f j 1 - f j$	$f j 1 - f j$
文献［21］方法	$f x = 1 - e - x 1 + e - x$	$s i = ∑ j = 1 L ω i j ν j 1 1 + f j 1 - f j$	$0.5 1 + f j 1 - f j$
文献［22］方法	$f x = e x p ∑ i = 1 N x i - u j i 2 / - 2 ν j 2$	$s i = ∑ j = 1 L ω j x i - u j i - ν j 2 e x p ∑ i = 1 N x i - u j i 2 / - 2 ν j 2$	$x i - u j i - ν j 2 e x p ∑ i = 1 N x i - u j i 2 / - 2 ν j 2$

表4 基于偏导的敏感性分析方法

Tab. 4 Sensitivity analysis methods based on partial derivatives

方法	隐层激活函数	输入变量对输出变量的敏感性系数	$f' n e t j$ 的值
文献［20］方法	$f x = 1 1 + e - x$	$s i = f 1 1 - f 1 ∑ j = 1 L ω i j ν j 1 f j 1 - f j$	$f j 1 - f j$
文献［21］方法	$f x = 1 - e - x 1 + e - x$	$s i = ∑ j = 1 L ω i j ν j 1 1 + f j 1 - f j$	$0.5 1 + f j 1 - f j$
文献［22］方法	$f x = e x p ∑ i = 1 N x i - u j i 2 / - 2 ν j 2$	$s i = ∑ j = 1 L ω j x i - u j i - ν j 2 e x p ∑ i = 1 N x i - u j i 2 / - 2 ν j 2$	$x i - u j i - ν j 2 e x p ∑ i = 1 N x i - u j i 2 / - 2 ν j 2$

图3 三种激活函数训练过程中的信息平面

Fig. 3 Information planes in training process of three activation functions

图4 Info-GAN的基本结构

Fig. 4 Basic structure of Info-GAN

表5 各类方法特点对比及结合方法描述

Tab. 5 Comparison of characteristics of various methods and description of combined methods

类别	方法	特点
被动解释	基于隐层可视化	运用可视化方法生成人类能理解的图像，解释隐层的含义
	基于类激活映射	对线型图线性加权获得类激活图，解释个体的分类决策
	基于敏感性分析	对输入变量施加扰动，评估特征的重要性
	基于鲁棒性扰动测试	解释精心设计过的新输入对模型预测的影响程度
	基于频率原理	研究频率信号的规律，解释神经网络训练过程中的偏好
主动解释	基于可解释模块	额外引入可解释的网络模块，修改原有网络结构
主动解释	基于优化方法	向损失函数中添加正则化项，利用相关的优化方法进行解释
补充解释	基于信息论	将信息论领域的相关概念或术语整合到神经网络中，获得更多信息的解释
结合方法	文献［64］提出了敏感神经元稳定（Sensitive Neuron Stabilizing， SNS）方法，结合了基于敏感性和鲁棒性扰动测试的解释方法，通过衡量神经元对良性和对抗例子的行为变化强度，从神经元敏感性的角度对深层模型的鲁棒性进行了解释；文献［33］结合了基于频率原理和优化方法的解释方法，利用 DNN低频占优的原则，加快求解泊松方程

表6 不同算法的IC指标的部分实验结果

Tab. 6 Some experimental results of IC index among different algorithms

数据集	DT	RobDT	LCPA	BBM-RS
adult	414.20	287.90	14.90	6.00
bank	30.70	26.80	8.90	8.00
bank2	30.00	30.70	13.80	4.50
breastcancer	15.20	7.40	6.00	11.00
Careval	59.30	28.20	10.10	8.70
Compasbin	67.80	33.70	5.40	7.60
diabetes	31.20	27.90	6.00	2.10
ficobin	30.60	59.60	6.40	11.80
heart	20.30	13.60	11.90	9.50
ionosphere	11.30	8.60	17.90	6.80

参考文献 80

1	ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8689. Cham： Springer， 2014： 818-833.
2	陈珂锐，孟小峰. 机器学习的可解释性［J］. 计算机研究与发展， 2020， 57（9）： 1971-1986. 10.7544/issn1000-1239.2020.20190456
	CHEN K R， MENG X F. Interpretation and understanding in machine learning［J］. Journal of Computer Research and Development， 2020， 57（9）： 1971-1986. 10.7544/issn1000-1239.2020.20190456
3	化盈盈，张岱墀，葛仕明. 深度学习模型可解释性的研究进展［J］. 信息安全学报， 2020， 5（3）： 1-12. 10.19363/J.cnki.cn10-1380/tn.2020.05.01
	HUA Y Y， ZHANG D C， GE S M. Research progress in the interpretability of deep learning models［J］. Journal of Cyber Security， 2020， 5（3）： 1-12. 10.19363/J.cnki.cn10-1380/tn.2020.05.01
4	曾春艳，严康，王志锋，等. 深度学习模型可解释性研究综述［J］. 计算机工程与应用， 2021， 57（8）： 1-9. 10.3778/j.issn.1002-8331.2012-0357
	ZENG C Y， YAN K， WANG Z F， et al. Survey of interpretability research on deep learning models［J］. Computer Engineering and Applications， 2021， 57（8）： 1-9. 10.3778/j.issn.1002-8331.2012-0357
5	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
6	KIM B， DOSHI-VELEZ F. Interpretable machine learning： the fuss， the concrete and the questions ［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2017： 1-13.
7	DOSHI-VELEZ F， KIM B. Towards a rigorous science of interpretable machine learning［EB/OL］. （2017-03-02）［2021-08-10］.. 10.1007/978-3-319-98131-4_1
8	MILLER T. Explanation in artificial intelligence： insights from the social sciences［J］. Artificial Intelligence， 2019， 267：1-38. 10.1016/j.artint.2018.07.007
9	MOLNAR C. Interpretable Machine Learning： A Guide for Making Black Box Models Explainable［M］. Morrisville： Lulu Press， 2020： 53-70.
10	BAU D， ZHOU B L， KHOSLA A， et al. Network dissection： quantifying interpretability of deep visual representations［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3319-3327. 10.1109/cvpr.2017.354
11	ZHANG Q S， CAO R M， SHI F， et al. Interpreting CNN knowledge via an explanatory graph［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 4454-4463. 10.1609/aaai.v32i1.11819
12	ZHANG Q S， WANG X， CAO R M， et al. Extraction of an explanatory graph to interpret a CNN［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（11）： 3863-3877. 10.1109/tpami.2020.2992207
13	AUBRY M， RUSSELL B C. Understanding deep features with computer-generated imagery［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 2875-2883. 10.1109/iccv.2015.329
14	RAUBER P E， FADEL S G， FALCÃO A X， et al. Visualizing the hidden activity of artificial neural networks［J］. IEEE Transactions on Visualization and Computer Graphics， 2017， 23（1）： 101-110. 10.1109/tvcg.2016.2598838
15	ZHOU B L， KHOSLA A， LAPEDRIZA A， et al. Learning deep features for discriminative localization［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2921-2929. 10.1109/cvpr.2016.319
16	SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： visual explanations from deep networks via gradient-based localization［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 618-626. 10.1109/iccv.2017.74
17	CHATTOPADHYAY A， SARKAR A， HOWLADER P， et al. Grad-CAM++： generalized gradient-based visual explanations for deep convolutional networks ［C］// Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2018： 839-847. 10.1109/wacv.2018.00097
18	WANG H F， WANG Z F， DU M N， et al. Score-CAM： score-weighted visual explanations for convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020：111-119. 10.1109/cvprw50498.2020.00020
19	DESAI S， RAMASWAMY H G. Ablation-CAM： visual explanations for deep convolutional network via gradient-free localization［C］// Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2020： 972-980. 10.1109/wacv45572.2020.9093360
20	DIMOPOULOS Y， BOURRET P， LEK S. Use of some sensitivity criteria for choosing networks with good generalization ability［J］. Neural Processing Letters， 1995， 2（6）： 1-4. 10.1007/bf02309007
21	RUCK D W， ROGERS S K， KABRISKY M. Feature selection using a multilayer perceptron［J］. Journal of Neural Network Computing， 1990， 2（2）： 40-48.
22	KOIKE K， MATSUDA S. New indices for characterizing spatial models of ore deposits by the use of a sensitivity vector and an influence factor［J］. Mathematical Geology， 2006， 38（5）： 541-564. 10.1007/s11004-006-9030-3
23	DOMBI G W， NANDI P， SAXE J M， et al. Prediction of rib fracture injury outcome by an artificial neural network［J］. The Journal of Trauma： Injury， Infection， and Critical Care， 1995， 39（5）： 915-921. 10.1097/00005373-199511000-00016
24	KOH P W， LIANG P. Understanding black-box predictions via influence functions［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 1885-1894.
25	RIBEIRO M T， SINGH S， GUESTRIN C. “Why should I trust you？”： explaining the predictions of any classifier［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1135-1144. 10.1145/2939672.2939778
26	HUI L Y W， SOH D W. Deep interpretation with sign separated and contribution recognized decomposition［C］// Proceedings of the 2021 International Work-Conference on Artificial Neural Networks， LNCS 12861. Cham： Springer， 2021： 395-406.
27	GOWAL S， DVIJOTHAM K， STANFORTH R， et al. Scalable verified training for provably robust image classification［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 4841-4850. 10.1109/iccv.2019.00494
28	PEZESHKPOUR P， TIAN Y F， SINGH S. Investigating robustness and interpretability of link prediction via adversarial modifications［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2019： 3336-3347. 10.18653/v1/n19-1337
29	MOSHKOVITZ M， YANG Y Y， CHAUDHURI K. Connecting interpretability and robustness in decision trees through separation［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 7839-7849.
30	KOO P K， PLOENZKE M. Improving representations of genomic sequence motifs in convolutional networks with exponential activations［J］. Nature Machine Intelligence， 2021， 3（3）： 258-266. 10.1038/s42256-020-00291-x
31	CHEN Z K， JIN S， LIU R Z， et al. A deep non-negative matrix factorization model for big data representation learning［J］. Frontiers in Neurorobotics， 2021， 15： No.701194. 10.3389/fnbot.2021.701194
32	XU Z Q J， ZHANG Y Y， XIAO Y Y. Training behavior of deep neural network in frequency domain［C］// Proceedings of the 2019 International Conference on Neural Information Processing， LNCS 11953. Cham： Springer， 2019： 264-274.
33	XU Z Q J， ZHANG Y Y， LUO T， et al. Frequency principle： Fourier analysis sheds light on deep neural networks［J］. Communications in Computational Physics， 2020， 28（5）： 1746-1767. 10.4208/cicp.oa-2020-0085
34	XU Z Q J， ZHOU H X. Deep frequency principle towards understanding why deeper learning is faster［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021：10541-10550. 10.1609/aaai.v35i12.17261
35	ZHANG Y Y， LUO T， MA Z， et al. A linear frequency principle model to understand the absence of overfitting in neural networks［J］. Chinese Physics Letters， 2021， 38（3）： No.038701 . 10.1088/0256-307x/38/3/038701
36	ZHANG Y Y， XU Z Q J， LUO T， et al. Explicitizing an implicit bias of the frequency principle in two-layer neural networks［EB/OL］. （2019-05-24）［2021-08-10］.. 10.1088/0256-307x/38/3/038701
37	LUO T， MA Z， XU Z Q J， et al. Theory of the frequency principle for general deep neural networks［J］. CSIAM Transactions on Applied Mathematics， 2021， 2（3）： 484-507. 10.4208/csiam-am.so-2020-0005
38	WANG H H， WU X D， HUANG Z Y， et al. High-frequency component helps explain the generalization of convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 8681-8691. 10.1109/cvpr42600.2020.00871
39	TISHBY N， PEREIRA F C， BIALEK W. The information bottleneck method［EB/OL］. （2000-04-24）［2021-08-10］..
40	TISHBY N， ZASLAVSKY N. Deep learning and the information bottleneck principle［C］// Proceedings of the 2015 IEEE Information Theory Workshop. Piscataway： IEEE， 2015： 1-5. 10.1109/itw.2015.7133169
41	SHWARTZ-ZIV R， TISHBY N. Opening the black box of deep neural networks via information［EB/OL］. （2017-04-29）［2021-08-10］..
42	ACHILLE A， SOATTO S. Emergence of invariance and disentanglement in deep representations［J］. Journal of Machine Learning Research， 2018， 19： 1-34. 10.1109/ita.2018.8503149
43	PIMENTEL T， VALVODA J， MAUDSLAY R H， et al. Information theoretic probing for linguistic structure［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 4609-4622. 10.18653/v1/2020.acl-main.420
44	HEWITT J， LIANG P. Designing and interpreting probes with control tasks［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2733-2743. 10.18653/v1/d19-1275
45	BANG S， XIE P T， LEE H， et al. Explaining a black-box by using a deep variational bottleneck approach［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 11396-11404. 10.1609/aaai.v35i13.17358
46	SABOUR S， FROSST N， HINTON G E. Dynamic routing between capsules［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 3859-3869.
47	WU T F， SUN W， LI X L， et al. Towards interpretable R-CNN by unfolding latent structures［EB/OL］. （2018-09-06）［2021-08-10］..
48	CHEN X， DUAN Y， HOUTHOOFT R， et al. InfoGAN： interpretable representation learning by information maximizing generative adversarial nets［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 2180-2188.
49	GU J D. Interpretable graph capsule networks for object recognition［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 1469-1477. 10.1609/aaai.v35i2.16237
50	DAUBECHIES I， DEFRISE M， DE MOL C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraint［J］. Communications on Pure and Applied Mathematics， 2004， 57（11）： 1413-1457. 10.1002/cpa.20042
51	ZHOU J T Y， DI K， DU J W， et al. SC2Net： sparse LSTMs for sparse coding［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 4588-4595. 10.1609/aaai.v32i1.11721
52	GREGOR K， LeCUN Y. Learning fast approximations of sparse coding［C］// Proceedings of the 27th International Conference on Machine Learning. Madison， WI： Omnipress， 2010： 399-406.
53	LIU J L， CHEN X H， WANG Z Y， et al. ALISTA： analytic weights are as good as learned weights in LISTA［EB/OL］. ［2021-08-10］..
54	ZHENG S， JAYASRMANA S， ROMERA-PAREDES B， et al. Conditional random fields as recurrent neural networks［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1529-1537. 10.1109/iccv.2015.179
55	WANG Z Y， LING Q， HUANG T S. Learning deep encoders［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 2194-2200. 10.1609/aaai.v30i1.10198
56	ZUO W M， REN D W， ZHANG D， et al. Learning iteration-wise generalized shrinkage-thresholding operators for blind deconvolution［J］. IEEE Transactions on Image Processing， 2016， 25（4）： 1751-1764.
57	E W. A proposal on machine learning via dynamical systems［J］. Communications in Mathematics and Statistics， 2017， 5（1）： 1-11. 10.1007/s40304-017-0103-z
58	LU Y P， ZHONG A X， LI Q Z， et al. Beyond finite layer neural networks： bridging deep architectures and numerical differential equations［C］// Proceedings of the 35th International Conference on Machine Learning. New York： JMLR.org， 2018： 3276-3285.
59	CHEN R T Q， RUBANOVA Y， BETTENCOURT J， et al. Neural ordinary differential equations［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 6572-6583.
60	GRATHWOHL W， CHEN R T Q， BETTENCOURT J， et al. FFJORD： free-form continuous dynamics for scalable reversible generative models［EB/OL］. （2018-10-22）［2021-08-10］..
61	LIN Z， ZHANG W， TANG X. Designing partial differential equations for image processing by combining differential invariants［R］. Beijing： Microsoft Research Asia， 2009： 1-26.
62	HABER E， RUTHOTTO L. Stable architectures for deep neural networks［J］. Inverse Problems， 2017， 34（1）： No.014004. 10.1088/1361-6420/aa9a90
63	RUTHOTTO L， HABER E. Deep neural networks motivated by partial differential equations［J］. Journal of Mathematical Imaging and Vision， 2020， 62（3）： 352-364. 10.1007/s10851-019-00903-1
64	ZHANG C Z， LIU A S， LIU X L， et al. Interpreting and improving adversarial robustness of deep neural networks with neuron sensitivity［J］. IEEE Transactions on Image Processing， 2021， 30： 1291-1304. 10.1109/tip.2020.3042083
65	CHEN H G， ZHANG H， BONING D， et al. Robust decision trees against adversarial examples［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 1122-1131.
66	USTUN B， RUDIN C. Learning optimized risk scores［J］. Journal of Machine Learning Research， 2019， 20： 1-75.
67	XIANG L Y， ZHANG H， MA H T， et al. Interpretable complex-valued neural networks for privacy protection［EB/OL］. （2020-01-14）［2021-08-10］..
68	郭文博，徐军. 利用LEMNA解释深度学习在网络安全的应用［J］. 中国教育网络， 2019， 2（3）： 40-43.
	GUO W B， XU J. Explain the application of deep learning to network security with LEMNA［J］. China Education Network， 2019， 2（3）： 40-43.
69	XU X， ZHENG Q H， YAN Z， et al. Interpretation-enabled software reuse detection based on a multi-level birthmark model［C］// Proceedings of the IEEE/ACM 43rd International Conference on Software Engineering. Piscataway： IEEE， 2021： 873-884. 10.1109/icse43902.2021.00084
70	LU Y C， DONG R H， SMYTH B. Why I like it： multi-task learning for recommendation and explanation［C］// Proceedings of the 12th ACM Conference on Recommender Systems. New York： ACM， 2018： 4-12. 10.1145/3240323.3240365
71	WANG X， HE X N， FENG F L， et al. TEM： tree-enhanced embedding model for explainable recommendation［C］// Proceedings of the 2018 World Wide Web Conference. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2018： 1543-1552. 10.1145/3178876.3186066
72	MA J X， ZHOU C， CUI P， et al. Learning disentangled representations for recommendation［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems. ［2021-08-10］..
73	YE L， YANG Y， ZENG J X. An interpretable mechanism for personalized recommendation based on cross feature［J］. Journal of Intelligent and Fuzzy Systems， 2021， 40（5）： 9787-9798. 10.3233/jifs-202308
74	BIFFI C， OKTAY O， TARRONI G， et al. Learning interpretable anatomical features through deep generative models： application to cardiac remodeling［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11071. Cham： Springer， 2018： 464-471.
75	SCHAUMBERG A J， JUAREZ-NICANOR W C， CHOUDHURY S J， et al. Interpretable multimodal deep learning for real-time pan-tissue pan-disease pathology search on social media［J］. Modern Pathology， 2020， 33（11）： 2169-2185. 10.1038/s41379-020-0540-1
76	WANG L F， NIE R， YU Z Y， et al. An interpretable deep-learning architecture of capsule networks for identifying cell-type gene expression programs from single-cell RNA-sequencing data［J］. Nature Machine Intelligence， 2020， 2（11）： 693-703. 10.1038/s42256-020-00244-4
77	PINTELAS E， LIASKOS M， LIVIERIS I E， et al. A novel explainable image classification framework： case study on skin cancer and plant disease prediction［J］. Neural Computing and Applications， 2021， 33（22）： 15171-15189. 10.1007/s00521-021-06141-0
78	WU L W， RAO Y， ZHAO Y Q， et al. DTCA： decision tree-based co-attention networks for explainable claim verification［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 1024-1035. 10.18653/v1/2020.acl-main.97
79	LU Y J， LI C T. GCAN： graph-aware co-attention networks for explainable fake news detection on social media［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 505-514. 10.18653/v1/2020.acl-main.48
80	NI L， CHEN Y W， DE BRUJIN O. Towards understanding socially influenced vaccination decision making： an integrated model of multiple criteria belief modelling and social network analysis［J］. European Journal of Operational Research， 2021， 293（1）： 276-289. 10.1016/j.ejor.2020.12.011

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[3]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[4]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[5]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[9]	杨莹, 郝晓燕, 于丹, 马垚, 陈永乐. 面向图神经网络模型提取攻击的图数据生成方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2483-2492.
[10]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[11]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[12]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[13]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[14]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[15]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.

深度学习的可解释性研究综述

Survey on interpretability research of deep learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 80

相关文章 15

编辑推荐

Metrics