基于多尺度多分类器卷积神经网络的混合失真类型判定方法

doi:10.11772/j.issn.1001-9081.2020121894

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (11): 3178-3184.DOI: 10.11772/j.issn.1001-9081.2020121894

所属专题：人工智能

基于多尺度多分类器卷积神经网络的混合失真类型判定方法

闫钧华¹^,²(), 侯平¹^,², 张寅¹^,², 吕向阳¹^,², 马越¹^,², 王高飞¹^,²

^1.空间光电探测与感知工业和信息化部重点实验室（南京航空航天大学），南京 211106
^2.南京航空航天大学航天学院，南京 211106

收稿日期:2020-12-04 修回日期:2021-07-25 接受日期:2021-08-03 发布日期:2021-07-25 出版日期:2021-11-10
通讯作者: 闫钧华
作者简介:闫钧华（1972—），女，陕西兴平人，教授，博士，主要研究方向：图像质量评价、多源信息融合、目标检测、跟踪与识别
侯平（1993—），男，江苏靖江人，硕士研究生，主要研究方向：图像质量评价
张寅（1986—），男，江苏镇江人，讲师，博士，主要研究方向：光电探测信息仿真与处理
吕向阳（1996—），男，河北景县人，硕士研究生，主要研究方向：图像质量评价
马越（1991—），男，江苏淮安人，硕士研究生，主要研究方向：图像质量评价
王高飞（1996—），女，河南新野人，硕士研究生，主要研究方向：遥感图像超分辨率重建。
基金资助:
国家自然科学基金资助项目(61705104);中央高校基本科研业务费专项基金资助项目(NJ2020021);江苏省自然科学基金资助项目(BK20170804)

Multiply distortion type judgement method based on multi-scale and multi-classifier convolutional neural network

Junhua YAN¹^,²(), Ping HOU¹^,², Yin ZHANG¹^,², Xiangyang LYU¹^,², Yue MA¹^,², Gaofei WANG¹^,²

^1.Key Laboratory of Space Photoelectric Detection and Perception of Ministry of Industry and Information Technology （Nanjing University of Aeronautics and Astronautics），Nanjing Jiangsu 211106，China
^2.College of Astronautics，Nanjing University of Aeronautics and Astronautics，Nanjing Jiangsu 211106，China

Received:2020-12-04 Revised:2021-07-25 Accepted:2021-08-03 Online:2021-07-25 Published:2021-11-10
Contact: Junhua YAN
About author:YAN Junhua，born in 1972，Ph. D.，professor. Her research interests include image quality assessment， multi-source information fusion，target detection，tracking and recognition
HOU Ping，born in 1993，M. S. candidate. His research interests include image quality assessment
ZHANG Yin， born in 1986， Ph. D.， lecturer. His research interests include simulation and processing of photoelectric detection information
LYU Xiangyang，born in 1996，M. S. candidate. His research interests include image quality assessment
MA Yue，born in 1991，M. S. candidate. His research interests include image quality assessment
WANG Gaofei，born in 1996，M. S. candidate. Her research interests include super-resolution reconstruction of remote sensing images.
Supported by:
the National Natural Science Foundation of China(61705104);the Fundamental Research Funds for the Central Universities(NJ2020021);the Natural Science Foundation of Jiangsu Province(BK20170804)

摘要/Abstract

摘要：

针对图像混合失真类型判定难的问题，在深度学习多标签分类思想的基础上，提出了一种基于多尺度多分类器卷积神经网络（CNN）的混合失真类型判定方法。首先，从图像中截取得到含有高频信息的图像块，将该图像块输入到不同感受野的卷积层中以提取图像的浅层特征图；其次，将浅层特征图输入到各子分类器结构中以进行深层次的特征提取和融合，将融合的特征通过Sigmoid分类器得到判定结果；最后，将各子分类器的判定结果进行融合得到图像的混合失真类型。实验结果表明，在自然场景混合失真数据库（NSMDID）上，所提方法对图像中存在的混合失真类型的平均判定准确率可以达到91.4%，且对大部分类型的判定准确率都在96.8%以上，可见所提方法能够对混合失真图像中的失真类型进行有效的判定。

关键词: 混合失真类型, 多标签分类, 卷积神经网络, 高频信息, Sigmoid分类器

Abstract:

It is difficult to judge the image multiply distortion type. In order to solve the problem， based on the idea of deep learning multi-label classification， a new multiply distortion type judgement method based on multi-scale and multi-classifier Convolutional Neural Network （CNN） was proposed. Firstly， the image block containing high-frequency information was obtained from the image， and the image block was input into the convolution layers of different receptive fields to extract the shallow feature maps of the image. Then， the shallow feature maps were input into the structure of each sub-classifier for deep feature extraction and fusion， and the fused features were judged by the Sigmoid classifier. Finally， the judgment results of different sub-classifiers were fused to obtain the multiply distortion type of image. Experimental results show that， on the Natural Scene Mixed Disordered Images Database （NSMDID）， the average judgment accuracy of the proposed method can reach 91.4% for different types of multiply distortion types in the images， and most of them are above 96.8%， illustrating that the proposed method can effectively judge the types of distortion in multiply distortion images.

Key words: multiply distortion type, multi-label classification, Convolutional Neural Network (CNN), high-frequency information, Sigmoid classifier

中图分类号:

TP391.41

闫钧华, 侯平, 张寅, 吕向阳, 马越, 王高飞. 基于多尺度多分类器卷积神经网络的混合失真类型判定方法[J]. 计算机应用, 2021, 41(11): 3178-3184.

Junhua YAN, Ping HOU, Yin ZHANG, Xiangyang LYU, Yue MA, Gaofei WANG. Multiply distortion type judgement method based on multi-scale and multi-classifier convolutional neural network[J]. Journal of Computer Applications, 2021, 41(11): 3178-3184.

图/表 9

参考文献 17

1	MOORTHY A K， BOVIK A C. A two-step framework for constructing blind image quality indices ［J］. IEEE Signal Processing Letters， 2010， 17（5）： 513-516. 10.1109/lsp.2010.2043888
2	MOORTHY A K， BOVIK A C. Blind image quality assessment： from natural scene statistics to perceptual quality ［J］. IEEE Transactions on Image Processing， 2011， 20（12）： 3350-3364. 10.1109/tip.2011.2147325
3	MITTAL A， MOORTHY A K， BOVIK A C. No-reference image quality assessment in the spatial domain ［J］. IEEE Transactions on Image Processing， 2012， 21（12）： 4695-4708. 10.1109/tip.2012.2214050
4	邬美银，陈黎，田菁.基于卷积神经网络的视频图像失真检测及分类［J］.计算机应用研究，2016，33（9）：2827-2830. 10.3969/j.issn.1001-3695.2016.09.061
	WU M Y， CHEN L， TIAN J. Video image distortion detection and classification based on CNN ［J］. Application Research of Computers， 2016， 33（9）： 2827-2830. 10.3969/j.issn.1001-3695.2016.09.061
5	李鹏程，吴涛，张善卿.基于Gabor小波和CNN的图像失真类型判定算法［J］.计算机应用研究，2019，36（10）：3179-3182.
	LI P C， WU T， ZHANG S Q. Image distortion judgement based on Gabor wavelet and CNN ［J］. Application Research of Computers， 2019， 36（10）： 3179-3182.
6	MA K D， LIU W T， ZHANG K， et al. End-to-end blind image quality assessment using deep neural networks ［J］. IEEE Transactions on Image Processing， 2018， 27（3）： 1202-1213. 10.1109/tip.2017.2774045
7	YUAN Y， SU H， LIU J H， et al. Locally and multiply distorted image quality assessment via multi-stage CNNs ［J］. Information Processing and Management， 2020， 57（4）： Article No.102175. 10.1016/j.ipm.2019.102175
8	LIANG D， GAO X B， LU W， et al. Deep multi-label learning for image distortion identification ［J］. Signal Processing， 2020， 172： Article No.107536. 10.1016/j.sigpro.2020.107536
9	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2818-2826. 10.1109/cvpr.2016.308
10	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. （2015-04-10）［2020-10-20］. . 10.5244/c.28.6
11	NAIR V， HINTON G E. Rectified linear units improve restricted Boltzmann machines ［C］// Proceedings of the 2010 27th International Conference on Machine Learning. Madison： Omnipress， 2010： 807-814.
12	IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］// Proceedings of the 2015 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 448-456.
13	ZHANG M L， ZHOU Z H. A review on multi-label learning algorithms ［J］. IEEE Transactions on Knowledge and Data Engineering， 2014， 26（8）： 1819-1837. 10.1109/tkde.2013.39
14	SHEIKH H R， WANG Z， CORMACK L， et al. Live image quality assessment database release 2 ［DB/OL］. ［2020-10-20］. . 10.1109/tip.2005.854492
15	LARSON E C， CHANDLER D M. Categorical Image Quality （CSIQ） database ［DB/OL］. ［2020-10-20］. . 10.1117/12.810071
16	JAYARAMAN D， MITTAL A， MOORTHY A K， et al. Objective quality assessment of multiply distorted images ［C］// Proceedings of the 2012 Conference Record of the 46th Asilomar Conference on Signals， Systems and Computers. Piscataway： IEEE， 2012： 1693-1697. 10.1109/acssc.2012.6489321
17	SUN W， ZHOU F， LIAO Q M. MDID： a multiply distorted image database for image quality assessment ［J］. Pattern Recognition， 2017， 61： 153-168. 10.1016/j.patcog.2016.07.033

混合失真类型	标签设定
混合失真类型	JPEG2000	JPEG	WN	Gblur	fast fading
fast fading+Gblur	0	0	0	1	1
fast fading+WN	0	0	1	0	1
fast fading+JPEG	0	1	0	0	1
fast fading+JPEG2000	1	0	0	0	1
Gblur +WN	0	0	1	1	0
JPEG+ Gblur	0	1	0	1	0
JPEG+WN	0	1	1	0	0
JPEG+JPEG2000	1	1	0	0	0
JPEG2000+ Gblur	1	0	0	1	0
JPEG2000+WN	1	0	1	0	0

混合失真类型	标签设定
混合失真类型	JPEG2000	JPEG	WN	Gblur	fast fading
fast fading+Gblur	0	0	0	1	1
fast fading+WN	0	0	1	0	1
fast fading+JPEG	0	1	0	0	1
fast fading+JPEG2000	1	0	0	0	1
Gblur +WN	0	0	1	1	0
JPEG+ Gblur	0	1	0	1	0
JPEG+WN	0	1	1	0	0
JPEG+JPEG2000	1	1	0	0	0
JPEG2000+ Gblur	1	0	0	1	0
JPEG2000+WN	1	0	1	0	0

序号	混合失真类型	对混合失真类型的判定
序号	混合失真类型	JPEG2000	JPEG	WN	Gblur	fast fading
1	｛JPEG2000，JPEG，WN，Gblur｝	0.990	0.020	0	1	—
2	｛JPEG2000，JPEG，WN，fast fading｝	0	1	0	—	0.060
3	｛JPEG2000，JPEG，Gblur，fast fading｝	0	1	—	0.992	0
4	｛JPEG2000，WN，Gblur，fast fading｝	0	—	0	1	0.030
5	｛JPEG，WN，Gblur，fast fading｝	—	1	0	1	0.030
平均概率		0.248	0.755	0	0.998	0.030
混合失真类型判定		0	1	0	1	0

序号	混合失真类型	对混合失真类型的判定
序号	混合失真类型	JPEG2000	JPEG	WN	Gblur	fast fading
1	｛JPEG2000，JPEG，WN，Gblur｝	0.990	0.020	0	1	—
2	｛JPEG2000，JPEG，WN，fast fading｝	0	1	0	—	0.060
3	｛JPEG2000，JPEG，Gblur，fast fading｝	0	1	—	0.992	0
4	｛JPEG2000，WN，Gblur，fast fading｝	0	—	0	1	0.030
5	｛JPEG，WN，Gblur，fast fading｝	—	1	0	1	0.030
平均概率		0.248	0.755	0	0.998	0.030
混合失真类型判定		0	1	0	1	0

混合失真类型	网络类型
混合失真类型	单尺度多分类网络	子分类器中无卷积层	多尺度多分类网络
平均准确率	82.540	78.56	91.36
JPEG+JPEG2000	90.630	92.71	89.58
WN+JPEG2000	97.020	97.92	86.50
Gblur+JPEG2000	81.250	80.21	98.95
WN+JPEG	87.500	57.29	83.33
Gblur+JPEG	65.830	69.38	96.88
WN+Gblur	79.170	72.92	97.92
fast fading+Gblur	66.875	61.04	97.92
fast fading+WN	97.920	94.79	100.00
fast fading+JPEG	90.625	89.58	85.42
fast fading+JPEG2000	67.710	69.79	77.08

基于多尺度多分类器卷积神经网络的混合失真类型判定方法

Multiply distortion type judgement method based on multi-scale and multi-classifier convolutional neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 17

相关文章 15

编辑推荐

Metrics

[1]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[4]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[5]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[6]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[7]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[8]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[9]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[10]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[11]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[12]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.
[13]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.
[14]	高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1471-1478.
[15]	王杰, 孟华. 基于点云整体拓扑结构的图像分类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1107-1113.