抗高强度椒盐噪声的鲁棒拼接取证算法

doi:10.11772/j.issn.1001-9081.2023101462

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3177-3184.DOI: 10.11772/j.issn.1001-9081.2023101462

• 多媒体计算与计算机仿真 • 上一篇下一篇

抗高强度椒盐噪声的鲁棒拼接取证算法

王朋博¹, 单武扬¹(), 李军¹, 田茂², 邹登¹, 范占锋³

^1.成都理工大学计算机与网络安全学院，成都 610059
^2.重庆邮电大学计算机科学与技术学院，重庆 400065
^3.成都大学建筑与土木工程学院，成都 610106

收稿日期:2023-11-10 修回日期:2024-04-12 接受日期:2024-04-15 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 单武扬
作者简介:王朋博（1998—），男，河南漯河人，硕士研究生，CCF会员，主要研究方向：图像取证、深度学习
单武扬（1988—），男，湖南岳阳人，讲师，博士，主要研究方向：多媒体取证、计算机视觉、数据隐藏 shanwuyang@cdut.edu.cn
李军（1973—），男，湖北潜江人，教授，博士，主要研究方向：高性能计算、计算机视觉、人工智能
田茂（1988—），男，四川德阳人，讲师，博士，CCF会员，主要研究方向：立体匹配、点云和影像融合、深度学习
邹登（1999—），男，湖北麻城人，硕士研究生，主要研究方向：图像取证、图像处理
范占锋（1985—），男，山西运城人，讲师，博士，主要研究方向：岩石动力学、隧道超前地质预报及监控量测、多场耦合数值计算。
基金资助:
国家自然科学基金资助项目(42001417);四川省科技计划项目(2021YFG0298);四川省非饱和土力学特性及工程技术工程研究中心项目(SC?FBHT2022?14)

Robust splicing forensic algorithm against high-intensity salt-and-pepper noise

Pengbo WANG¹, Wuyang SHAN¹(), Jun LI¹, Mao TIAN², Deng ZOU¹, Zhanfeng FAN³

^1.College of Computer Science and Cyber Security，Chengdu University of Technology，Chengdu Sichuan 610059，China
^2.College of Computer Science and Technology，Chongqing University of Posts and Telecommunications，Chongqing 400065，China
^3.School of Architecture and Civil Engineering，Chengdu University，Chengdu Sichuan 610106，China

Received:2023-11-10 Revised:2024-04-12 Accepted:2024-04-15 Online:2024-10-15 Published:2024-10-10
Contact: Wuyang SHAN
About author:WANG Pengbo， born in 1998， M. S. candidate. His research interests include image forensics， deep learning.
LI Jun， born in 1973， Ph. D.， professor. His research interests include high performance computing， computer vision， artificial intelligence.
TIAN Mao， born in 1988， Ph. D.， lecturer. His research interests include stereo matching， fusion of point cloud and image， deep learning.
ZOU Deng， born in 1999， M. S. candidate. His research interests include image forensics， image processing.
FAN Zhanfeng， born in 1985， Ph. D.， lecturer. His research interests include rock dynamics， advanced geological prediction and monitoring measurement for tunnel， numerical calculation of multi-field coupling.
Supported by:
National Natural Science Foundation of China(42001417);Sichuan Provincial Science and Technology Program(2021YFG0298);Open Fund of Sichuan Engineering Research Center for Mechanical Properties and Engineering Technology of Unsaturated Soils(SC-FBHT2022-14)

摘要/Abstract

摘要：

在图像取证领域，图像拼接检测技术可以通过分析图像内容识别拼接，并定位拼接区域。然而，在传输、扫描等常见场景中，椒盐（s&p）噪声会不可避免地随机出现，且随着噪声强度的增加，当前拼接取证方法的效力将逐渐减弱，甚至失效，极大地影响了现有拼接取证方法的效果。因此，提出一种能够抵御高强度椒盐噪声的拼接取证算法。所提算法分为2个主要部分：预处理部分和拼接取证部分。首先，预处理部分利用ResNet32与中值滤波器的融合，去除图像中的椒盐噪声，并通过卷积层恢复受损的图像内容，从而最大限度地消除椒盐噪声对拼接取证部分的影响并恢复图像细节；其次，拼接取证部分基于暹罗网络结构，提取与图像唯一性相关的噪声伪影，并通过不一致判断识别拼接区域。在通用篡改数据集上的实验结果表明，所提算法在RGB图像和灰度图像上均取得了良好的效果。在10%噪声场景下与FS （Forensic Similarity）和PSCC-Net （Progressive Spatio-Channel Correlation Network）取证算法相比，所提算法将马修斯相关系数（MCC）值提升超过50%，这验证了所提算法在被噪声干扰的篡改图像上取证的有效性和先进性。

关键词: 图像拼接, 伪造检测, 图像去噪, 椒盐噪声, 卷积神经网络

Abstract:

In the field of image forensics， image splicing detection technology can identify splicing and locate the splicing area through the analysis of image content. However， in common scenarios like transmission and scanning， salt-and-pepper （s&p） noise appears randomly and inevitably， and as the intensity of the noise increases， the current splicing forensic methods lose effectiveness progressively and might ultimately fail， thereby significantly impacting the effect of existing splicing forensic methods. Therefore， a splicing forensic algorithm against high-intensity s&p noise was proposed. The proposed algorithm was divided into two main parts： preprocessing and splicing forensics. Firstly， in the preprocessing part， a fusion of the ResNet32 and median filter was employed to remove s&p noise from the image， and the damaged image content was restored through the convolutional layer， so as to minimize the influence of s&p noise on splicing forensic part and restore image details. Then， in the splicing forensics part， based on the Siamese network structure， the noise artifacts associated with the image’s uniqueness were extracted， and the spliced area was identified through inconsistency assessment. Experimental results on widely used tampering datasets show that the proposed algorithm achieves good results on both RGB and grayscale images. In a 10% noise scenario， the proposed algorithm increases the Matthews Correlation Coefficient （MCC） value by over 50% compared to FS（Forensic Similarity） and PSCC-Net（Progressive Spatio-Channel Correlation Network） forensic algorithms， validating the effectiveness and advancement of the proposed algorithm in forensic analysis of tampered images with noise.

Key words: image splicing, forgery detection, image denoising, salt-and-pepper (s&p) noise, Convolutional Neural Network (CNN)

中图分类号:

TP751

王朋博, 单武扬, 李军, 田茂, 邹登, 范占锋. 抗高强度椒盐噪声的鲁棒拼接取证算法[J]. 计算机应用, 2024, 44(10): 3177-3184.

Pengbo WANG, Wuyang SHAN, Jun LI, Mao TIAN, Deng ZOU, Zhanfeng FAN. Robust splicing forensic algorithm against high-intensity salt-and-pepper noise[J]. Journal of Computer Applications, 2024, 44(10): 3177-3184.

图/表 12

参考文献 29

1	ZHU T， ZHENG J， LAI Y， et al. Image blind detection based on LBP residue classes and color regions［J］. PLoS ONE， 2019， 14（8）： No.e0221627.
2	HAO J， ZHANG Z， YANG S， et al. TransForensics： image forgery localization with dense self-attention［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 15035-15044.
3	HADWIGER B C， RIESS C. Deep metric color embeddings for splicing localization in severely degraded images［J］. IEEE Transactions on Information Forensics and Security， 2022， 17： 2614-2627.
4	颜普，苏亮亮，邵慧，等. 基于多支持区域局部亮度序的图像伪造检测［J］. 计算机应用， 2019， 39（9）：2707-2711.
	YAN P， SU L L， SHAO H， et al. Image forgery detection based on local intensity order and multi-support region［J］. Journal of Computer Applications， 2019， 39（9）： 2707-2711.
5	COZZOLINO D， VERDOLIVA L. Noiseprint： a CNN-based camera model fingerprint［J］. IEEE Transactions on Information Forensics and Security， 2020， 15： 144-159.
6	张新明，康强，程金凤，等. 采用自适应四点窗中点滤波的高椒盐噪声滤除方法［J］. 计算机应用， 2017， 37（3）：832-838.
	ZHANG X M， KANG Q， CHENG J F， et al. Adaptive four-dot midpoint filter for removing high density salt-and-pepper noise in images［J］. Journal of Computer Applications， 2017， 37（3）： 832-838.
7	LIANG L， DENG S， GUEGUEN L， et al. Convolutional neural network with median layers for denoising salt-and-pepper contaminations［J］. Neurocomputing， 2021， 442： 26-35.
8	BAMMEY Q， NIKOUKHAH T， GARDELLA M， et al. Non-semantic evaluation of image forensics tools： methodology and database［C］// Proceedings of the 2022 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2022： 2383-2392.
9	KWON M J， YU I J， NAM S H， et al. CAT-Net： compression artifact tracing network for detection and localization of image splicing［C］// Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2021： 375-384.
10	JANA M， JANA B， JOARDAR S. Local feature based self-embedding fragile watermarking scheme for tampered detection and recovery utilizing AMBTC with fuzzy logic［J］. Journal of King Saud University — Computer and Information Sciences， 2022， 34（10 Pt B）： 9822-9835.
11	GUO K， ZHU H， CAO G. Effective image tampering localization via enhanced Transformer and co-attention fusion［C］// Proceedings of the 2024 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2024： 4895-4899.
12	ZHU H， CAO G， HUANG X. Progressive feedback-enhanced Transformer for image forgery localization［EB/OL］. （2023-11-15）［2023-12-01］..
13	MAHDIAN B， SAIC S. Using noise inconsistencies for blind image forensics［J］. Image and Vision Computing， 2009， 27（10）： 1497-1503.
14	ZENG Y， ZHAO B， QIU S， et al. Toward effective image manipulation detection with proposal contrastive learning［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（9）： 4703-4714.
15	ZHOU P， HAN X， MORARIU V I， et al. Learning rich features for image manipulation detection［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 1053-1061.
16	SIOPI M， KORDOPATIS-ZILOS G， CHARITIDIS P， et al. A multi-stream fusion network for image splicing localization［C］// Proceedings of the 2023 International Conference on Multimedia Modeling， LNCS 13834. Cham： Springer， 2023： 611-622.
17	HWANG H， HADDAD R A. Adaptive median filters： new algorithms and results［J］. IEEE Transactions on Image Processing， 1995， 4（4）： 499-502.
18	FU B， ZHAO X， LI Y， et al. A convolutional neural networks denoising approach for salt and pepper noise［J］. Multimedia Tools and Applications， 2019， 78（21）： 30707-30721.
19	TIAN C， XU Y， LI Z， et al. Attention-guided CNN for image denoising［J］. Neural Networks， 2020， 124： 117-129.
20	TIAN C， ZHENG M， ZUO W， et al. A cross Transformer for image denoising［J］. Information Fusion， 2024， 102： No.102043.
21	NIU J， CHENG J， TAN S. Image denoising via style disentanglement［EB/OL］. （2023-09-26）［2023-10-01］..
22	DE CARVALHO T J， RIESS C， ANGELOPOULOU E， et al. Exposing digital image forgeries by illumination color classification［J］. IEEE Transactions on Information Forensics and Security， 2013， 8（7）： 1182-1194.
23	HSU Y F， CHANG S F. Detecting image splicing using geometry invariants and camera characteristics consistency［C］// Proceedings of the 2006 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2006： 549-552.
24	LIU W， SHEN X， PUN C M， et al. Explicit visual prompting for low-level structure segmentations［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 19434-19445.
25	LIU X， LIU Y， CHEN J， et al. PSCC-Net： progressive spatio-channel correlation network for image manipulation detection and localization［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（11）： 7505-7517.
26	MAYER O， STAMM M C. Forensic similarity for digital images［J］. IEEE Transactions on Information Forensics and Security， 2020， 15： 1331-1346.
27	IAKOVIDOU C， ZAMPOGLOU M， PAPADOPOULOS S， et al. Content-aware detection of JPEG grid inconsistencies for intuitive image forensics［J］. Journal of Visual Communication and Image Representation， 2018， 54： 155-170.
28	BIANCHI T， DE ROSA A， PIVA A. Improved DCT coefficient analysis for forgery localization in JPEG images［C］// Proceedings of the 2011 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2011： 2444-2447.
29	LYU S， PAN X， ZHANG X. Exposing region splicing forgeries with blind local noise estimation［J］. International Journal of Computer Vision， 2014， 110（2）： 202-221.

数据集	样本数	图像分辨率	图像格式
DSO-1（RGB）	500	2 048×1 536~1 536×2 048	PNG
DSO-1（灰度）	500	2 048×1 536~1 536×2 048	PNG
Columbia（RGB）	900	757×568~1 152×768	PNG
Columbia（灰度）	900	757×568~1 152×768	PNG

数据集	样本数	图像分辨率	图像格式
DSO-1（RGB）	500	2 048×1 536~1 536×2 048	PNG
DSO-1（灰度）	500	2 048×1 536~1 536×2 048	PNG
Columbia（RGB）	900	757×568~1 152×768	PNG
Columbia（灰度）	900	757×568~1 152×768	PNG

噪声强度/%	仅取证		本文算法
噪声强度/%	MCC	F1	MCC	F1
1	0.631	0.961	0.645	0.962
5	0.139	0.923	0.514	0.947
10	0.132	0.949	0.474	0.944
30	0.166	0.922	0.377	0.936
50	0.165	0.922	0.303	0.932

噪声强度/%	仅取证		本文算法
噪声强度/%	MCC	F1	MCC	F1
1	0.631	0.961	0.645	0.962
5	0.139	0.923	0.514	0.947
10	0.132	0.949	0.474	0.944
30	0.166	0.922	0.377	0.936
50	0.165	0.922	0.303	0.932

噪声强度/%	仅取证		本文算法
噪声强度/%	MCC	F1	MCC	F1
1	0.312	0.927	0.449	0.941
5	0.151	0.923	0.417	0.938
10	0.133	0.922	0.402	0.937
30	0.165	0.922	0.345	0.933
50	0.173	0.922	0.266	0.929

抗高强度椒盐噪声的鲁棒拼接取证算法

Robust splicing forensic algorithm against high-intensity salt-and-pepper noise

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 29

相关文章 15

编辑推荐

Metrics

噪声强度/%	仅取证		本文算法
噪声强度/%	MCC	F1	MCC	F1
1	0.556	0.673	0.736	0.800
5	0.324	0.499	0.660	0.741
10	0.257	0.465	0.635	0.722
30	0.282	0.481	0.563	0.672
50	0.284	0.444	0.459	0.597

噪声强度/%	仅取证		本文算法
噪声强度/%	MCC	F1	MCC	F1
1	0.556	0.674	0.709	0.782
5	0.305	0.495	0.661	0.742
10	0.271	0.467	0.609	0.702
30	0.281	0.476	0.550	0.657
50	0.287	0.450	0.450	0.589

噪声强度/%	EVP^［24］		CAGI^［27］		PSCC-Net^［25］		FS^［26］		NOI2^［29］		ADQ2^［28］		本文算法
噪声强度/%	MCC	F1	MCC	F1	MCC	F1	MCC	F1	MCC	F1	MCC	F1	MCC	F1
1	0.100	0.918	0.187	0.923	0.306	0.929	0.312	0.922	0.113	0.922	0.006	0.004	0.645	0.962
5	0.160	0.918	0.138	0.922	0.339	0.925	0.204	0.922	0.141	0.923	0.003	0.004	0.514	0.947
10	0.199	0.918	0.144	0.922	0.298	0.922	0.213	0.922	0.200	0.922	0.004	0.004	0.474	0.944

前提条件	噪声强度/%	CAGI^［27］		FS^［26］		CAT-Net^［9］		PSCC-Net^［25］
前提条件	噪声强度/%	MCC	F1	MCC	F1	MCC	F1	MCC	F1
无预处理	1	0.187	0.923	0.312	0.922	0.288	0.925	0.306	0.929
	5	0.138	0.922	0.204	0.922	0.241	0.923	0.339	0.925
	10	0.144	0.922	0.213	0.922	0.225	0.922	0.298	0.922
有预处理	1	0.404	0.936	0.484	0.925	0.452	0.937	0.568	0.952
	5	0.377	0.936	0.444	0.924	0.404	0.934	0.482	0.944
	10	0.397	0.936	0.454	0.924	0.389	0.933	0.443	0.940

[1]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[4]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[5]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.
[6]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[7]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[8]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[9]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[10]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[11]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[12]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[13]	高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1471-1478.
[14]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.
[15]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.