基于近邻监督局部不变鲁棒主成分分析的特征提取模型

doi:10.11772/j.issn.1001-9081.2022030329

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (4): 1013-1020.DOI: 10.11772/j.issn.1001-9081.2022030329

所属专题：人工智能

基于近邻监督局部不变鲁棒主成分分析的特征提取模型

葛孟婷¹, 万鸣华¹^,²()

^1.南京审计大学计算机学院(智能审计学院), 南京 211815
^2.江苏省社会安全图像与视频理解重点实验室(南京理工大学), 南京 210094

收稿日期:2022-03-21 修回日期:2022-06-18 接受日期:2022-06-27 发布日期:2023-04-11 出版日期:2023-04-10
通讯作者: 万鸣华
作者简介:葛孟婷（1998—），女，江苏连云港人，硕士研究生，CCF会员，主要研究方向：模式识别、特征提取、人脸识别、低秩学习；
基金资助:
国家自然科学基金资助项目(61876213);江苏省自然科学基金资助项目(BK20201397);江苏省社会安全图像与视频理解重点实验室项目(J2021?4);江苏省高校未来网络科研基金资助项目(SRFP?2021?YB?25);2021年江苏省研究生科研与实践创新计划项目(SJCX21_0885)

Feature extraction model based on neighbor supervised locally invariant robust principal component analysis

Mengting GE¹, Minghua WAN¹^,²()

^1.School of Computer Science （School of Intelligence Audit），Nanjing Audit University，Nanjing Jiangsu 211815，China
^2.Jiangsu Key Laboratory of Image and Video Understanding for Social Safety，Nanjing University of Science and Technology，Nanjing Jiangsu 210094，China

Received:2022-03-21 Revised:2022-06-18 Accepted:2022-06-27 Online:2023-04-11 Published:2023-04-10
Contact: Minghua WAN
About author:GE Mengting， born in 1998， M. S. candidate. Her research interests include pattern recognition， feature extraction， face recognition， low-rank learning.
Supported by:
National Natural Science Foundation of China(61876213);Natural Science Foundation of Jiangsu Province(BK20201397);Project of Jiangsu Key Laboratory of Image and Video Understanding for Siocial Safety(J2021-4);Qing Lan Project of Jiangsu University, Future Network Scientific Research Fund Project of Jiangsu Colleges and Universities(SRFP-2021-YB-25);2021 Postgraduate Research and Practice Innovation Program of Jiangsu Province(SJCX21_0885)

摘要/Abstract

摘要：

针对无监督的局部不变鲁棒主成分分析（LIRPCA）算法未考虑样本间的类别关系的问题，提出了一种基于近邻监督局部不变鲁棒主成分分析（NSLIRPCA）的特征提取模型。所提模型考虑了样本间的类别信息，并以此构建关系矩阵。对所提模型进行公式求解和公式的收敛性证明，并将所提模型应用于各种遮挡数据集。实验结果表明，在ORL、Yale、COIL-Processed和PolyU数据集上，与主成分分析（PCA）算法、基于L₁范数的主成分分析（PCA-L₁）算法、非负矩阵分解（NMF）算法、局部保持投影（LPP）算法和LIRPCA算法相比，所提模型在原始图像数据集上的识别率分别最高提升了8.80%、7.76%、20.37%、4.72%和4.61%，在遮挡图像数据集上的识别率分别最高提升了30.79%、30.73%、36.02%、19.65%和17.31%。可见，所提模型提高了算法的识别性能，降低了模型复杂度，明显优于对比算法。

关键词: 特征提取, 子空间学习, 无监督学习, 鲁棒性, 图像识别

Abstract:

Focused on the issue that the category relationship between samples is not considered in the unsupervised Locally Invariant Robust Principal Component Analysis （LIRPCA） algorithm， a feature extraction model based on Neighbor Supervised LIRPCA （NSLIRPCA） was proposed. The category information between samples was considered by the proposed model， and a relationship matrix was constructed based on this information. The formulas of the model were solved and the convergences of the formulas were proved. At the same time， the proposed model was applied to various occlusion datasets. Experimental results show that compared with Principal Component Analysis （PCA）， PCA based on L₁-norm （PCA-L₁）， Non-negative Matrix Factorization （NMF）， Locality Preserving Projection （LPP） and LIRPCA algorithms on ORL， Yale， COIL-Processed and PolyU datasets， the proposed model has the recognition rate improved by 8.80%， 7.76%， 20.37%， 4.72% and 4.61% at most respectively on the original image datasets， and the recognition rate improved by 30.79%， 30.73%， 36.02%， 19.65% and 17.31% at most respectively on the occluded image datasets. It can be seen that with the proposed model， the recognition performance of the algorithm is improved， and the complexity of the model is reduced， verifying that the model is obviously better than the comparison algorithms.

Key words: feature extraction, subspace learning, unsupervised learning, robustness, image recognition

中图分类号:

TP391.4

葛孟婷, 万鸣华. 基于近邻监督局部不变鲁棒主成分分析的特征提取模型[J]. 计算机应用, 2023, 43(4): 1013-1020.

Mengting GE, Minghua WAN. Feature extraction model based on neighbor supervised locally invariant robust principal component analysis[J]. Journal of Computer Applications, 2023, 43(4): 1013-1020.

图/表 9

参考文献 31

1	KIM W， LEE R， PARK M， et al. Low-light image enhancement using volume-based subspace analysis［J］. IEEE Access， 2020， 8： 118370-118379. 10.1109/ACCESS.2020.3005249
2	NAPOLÉON T， LFALOU A A. Pose invariant face recognition： 3D model from single photo［J］. Optics and Lasers in Engineering， 2017， 89： 150-161. 10.1016/j.optlaseng.2016.06.019
3	TURK M A， PENTLAND A P. Face recognition using eigenfaces［C］// Proceedings of the 1991 IEEE Computer Society on Computer Vision and Pattern Recognition. Piscataway： IEEE， 1991： 586-591.
4	BELHUMEUR P N， HESPANHA J P， KRIEGMAN D J. Eigenfaces vs. Fisherfaces： recognition using class specific linear projection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997， 19（7）： 711-720. 10.1109/34.598228
5	BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation［J］. Neural Computation， 2003， 15（6）： 1373-1396. 10.1162/089976603321780317
6	LEE D D， SEUNG H S. Learning the parts of objects by non-negative matrix factorization［J］. Nature， 1999， 401（6755）： 788-791. 10.1038/44565
7	王平，王宜怀，余文森，等. 基于非负矩阵分解和极限学习机分类的合成孔径雷达图像变化检测［J］. 科学技术与工程， 2020， 20（5）： 1959-1966. 10.3969/j.issn.1671-1815.2020.05.038
	WANG P， WANG Y H， YU W S， et al. Change detection in SAR images based on NMF and ELM classification［J］. Science Technology and Engineering， 2020， 20（5）： 1959-1966. 10.3969/j.issn.1671-1815.2020.05.038
8	JIAN Y， ZHANG D， FRANGI A F， et al. Two-dimensional PCA： a new approach to appearance-based face representation and recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2004， 26（1）： 131-137. 10.1109/tpami.2004.1261097
9	LUO D J， DING C， HUANG H. Symmetric two dimensional Linear Discriminant Analysis （2DLDA）［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 2820-2827. 10.1109/cvpr.2009.5206635
10	YANG J， ZHANG D， YONG X， et al. Two-dimensional discriminant transform for face recognition［J］. Pattern Recognition， 2005， 38（7）： 1125-1129. 10.1016/j.patcog.2004.11.019
11	胡姿岚，王海贤. L1-范数子空间技术的鲁棒建模综述［J］. 安徽大学学报（自然科学版）， 2017， 41（5）： 9-16. 10.3969/j.issn.1000-2162.2017.05.003
	HU Z L， WANG H X. L1-norm based subspace techniques for robust modelling： a brief review［J］. Journal of Anhui University （Natural Science Edition）， 2017， 41（5）： 9-16. 10.3969/j.issn.1000-2162.2017.05.003
12	KWAK N. Principal component analysis based on L1-norm maximization［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（9）： 1672-1680. 10.1109/tpami.2008.114
13	NIE F P， HUANG H， DING C， et al. Robust principal component analysis with non-greedy l₁-norm maximization［C］// Proceedings of the 22nd International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2011： 1433-1438.
14	NIE F P， TIAN L， HUANG H， et al. Non-greedy L21-norm maximization for principal component analysis［J］. IEEE Transactions on Image Processing， 2021， 30： 5277-5286. 10.1109/tip.2021.3073282
15	MARKOPOULOS P P， KARYSTINOS G N， PADOS D A. Optimal algorithms for L₁-subspace signal processing［J］. IEEE Transactions on Signal Processing， 2014， 62（19）： 5046-5058. 10.1109/tsp.2014.2338077
16	KWAK N. Principal component analysis by L_p-norm maximization［J］. IEEE Transactions on Cybernetics， 2014， 44（5）： 594-609. 10.1109/tcyb.2013.2262936
17	YE Q L， FU L Y， ZHANG Z， et al. Lp- and Ls-norm distance based robust linear discriminant analysis［J］. Neural Networks， 2018， 105： 393-404. 10.1016/j.neunet.2018.05.020
18	HASSAN R J， ABDULAZEEZ A M. Deep learning convolutional neural network for face recognition： a review［J］. International Journal of Science and Business， 2021， 5（2）： 114-127. 10.38007/nn.2021.020207
19	葛轶洲，刘恒，王言，等. 小样本困境下的深度学习图像识别综述［J］. 软件学报， 2022， 33（1）： 193-210.
	GE Y Z， LIU H， WANG Y， et al. Survey on deep learning image recognition in dilemma of small samples［J］. Journal of Software， 2022， 33（1）： 193-210.
20	FU J L， WU Y， MEI T， et al. Relaxing from vocabulary： robust weakly-supervised deep learning for vocabulary-free image tagging［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1985-1993. 10.1109/iccv.2015.230
21	BAI S， LI Y W， ZHOU Y Y， et al. Adversarial metric attack and defense for person re-identification［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（6）： 2119-2126. 10.1109/tpami.2020.3031625
22	刘会，赵波，郭嘉宝，等. 针对深度学习的对抗攻击综述［J］. 密码学报， 2021， 8（2）： 202-214.
	LIU H， ZHAO B， GUO J B， et al. Survey on adversarial attacks towards deep learning［J］. Journal of Cryptologic Research， 2021， 8（2）： 202-214.
23	BI P F， DU X. Application of locally invariant robust PCA for underwater image recognition［J］. IEEE Access， 2021， 9： 29470-29481. 10.1109/access.2021.3058761
24	郑宝玉，李昂. 基于快速稀疏低秩和鲁棒主成分分析的图像处理算法的研究［J］. 信号处理， 2020， 36（2）： 290-296.
	ZHENG B Y， LI A. Image processing algorithm based on fast sparse low rank and robust PCA［J］. Journal of Signal Processing， 2020， 36（2）： 290-296.
25	杨紫晴，姚加林，伍国华，等. 集成协方差矩阵自适应进化策略与差分进化的优化算法［J］. 控制理论与应用， 2021， 38（10）： 1493-1502. 10.7641/CTA.2021.10002
	YANG Z Q， YAO J L， WU G H， et al. Ensemble optimization algorithm from covariance matrix adaptive evolution strategy and differential evolution［J］. Control Theory and Applications， 2021， 38（10）： 1493-1502. 10.7641/CTA.2021.10002
26	KNOR M， ŠKREKOVSKI R. On the minimum distance in a k-vertex set in a graph［J］. Applied Mathematics and Computation， 2019， 356： 99-104. 10.1016/j.amc.2019.03.050
27	NEUMAYER S， NIMMER M， SETZER S， et al. On the robust PCA and Weiszfeld’s algorithm［J］. Applied Mathematics and Optimization， 2020， 82（3）： 1017-1048. 10.1007/s00245-019-09566-1
28	张悦，刘德山，王姗姗，等. 应用于人脸识别的改进局部保持投影算法［J］. 计算机测量与控制， 2019， 27（10）： 176-180.
	ZHANG Y， LIU D S， WANG S S， et al. Improved locality preserving projections for face recognition［J］. Computer Measurement and Control， 2016， 27（10）： 176-180.
29	唐吉深，覃少华. 稀疏表示系数下局部最优重构的SAR图像目标识别算法［J］. 探测与控制学报， 2021， 43（2）： 69-75， 80.
	TANG J S， QIN S H. SAR images recognition based on sparse coefficients optimal local reconstruction［J］. Journal of Detection and Control， 2021， 43（2）： 69-75， 80.
30	赵鹏，汪纯燕，张思颖，等. 一种基于融合重构的子空间学习的零样本图像分类方法［J］. 计算机学报， 2021， 44（2）： 409-421. 10.11897/SP.J.1016.2021.00409
	ZHAO P， WANG C Y， ZHANG S Y， et al. A zero-shot image classification method based on subspace learning with the fusion of reconstruction［J］. Chinese Journal of Computers， 2021， 44（2）： 409-421. 10.11897/SP.J.1016.2021.00409
31	ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding［J］. Science， 2000， 290（5500）： 2323-2326. 10.1126/science.290.5500.2323

算法	ORL						Yale						COIL-20-Processed
	原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块
	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	89.00	29	69.30	40	50.37	38	87.01	46	72.33	40	68.30	37	61.10	32	61.03	36	60.18	30
PCA-L₁	89.12	40	69.34	36	50.45	31	87.85	41	72.66	40	68.33	35	61.51	32	61.33	32	60.83	40
LPP	89.35	42	69.36	40	50.52	34	90.40	21	76.00	33	74.66	27	62.69	20	62.16	24	61.90	24
NMF	79.62	31	67.50	30	50.25	34	86.66	36	66.66	39	66.33	34	62.93	28	62.71	30	62.02	29
LIRPCA	89.36	22	69.37	14	50.62	28	90.50	12	89.67	12	88.33	11	63.18	13	63.02	12	62.80	12
NSLIRPCA（p=1.5）	89.38	29	69.38	27	50.63	31	91.50	22	89.78	26	88.80	29	63.19	16	63.10	20	63.03	18
NSLIRPCA（p=1.0）	90.63	29	69.40	29	51.25	28	92.00	22	89.93	26	89.24	30	63.33	18	63.26	19	63.11	21
NSLIRPCA（p=0.5）	91.25	31	81.25	57	59.38	51	94.67	22	90.67	27	89.33	26	63.41	19	63.33	20	63.18	22

算法	ORL						Yale						COIL-20-Processed
	原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块
	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	89.00	29	69.30	40	50.37	38	87.01	46	72.33	40	68.30	37	61.10	32	61.03	36	60.18	30
PCA-L₁	89.12	40	69.34	36	50.45	31	87.85	41	72.66	40	68.33	35	61.51	32	61.33	32	60.83	40
LPP	89.35	42	69.36	40	50.52	34	90.40	21	76.00	33	74.66	27	62.69	20	62.16	24	61.90	24
NMF	79.62	31	67.50	30	50.25	34	86.66	36	66.66	39	66.33	34	62.93	28	62.71	30	62.02	29
LIRPCA	89.36	22	69.37	14	50.62	28	90.50	12	89.67	12	88.33	11	63.18	13	63.02	12	62.80	12
NSLIRPCA（p=1.5）	89.38	29	69.38	27	50.63	31	91.50	22	89.78	26	88.80	29	63.19	16	63.10	20	63.03	18
NSLIRPCA（p=1.0）	90.63	29	69.40	29	51.25	28	92.00	22	89.93	26	89.24	30	63.33	18	63.26	19	63.11	21
NSLIRPCA（p=0.5）	91.25	31	81.25	57	59.38	51	94.67	22	90.67	27	89.33	26	63.41	19	63.33	20	63.18	22

算法	原始图像		5×5遮挡块		10×10遮挡块
算法	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	73.00	40	68.34	42	62.83	46
PCA-L₁	76.75	38	69.25	40	64.75	42
LPP	77.26	36	73.20	38	65.30	40
NMF	65.63	30	63.12	32	61.87	36
LIRPCA	77.70	17	74.80	29	65.81	45
NSLIRPCA（p=1.5）	78.00	20	75.00	37	66.00	45
NSLIRPCA（p=1）	78.50	24	76.00	39	67.03	46
NSLIRPCA（p=0.5）	79.00	29	76.50	38	68.00	47

算法	原始图像		5×5遮挡块		10×10遮挡块
算法	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	73.00	40	68.34	42	62.83	46
PCA-L₁	76.75	38	69.25	40	64.75	42
LPP	77.26	36	73.20	38	65.30	40
NMF	65.63	30	63.12	32	61.87	36
LIRPCA	77.70	17	74.80	29	65.81	45
NSLIRPCA（p=1.5）	78.00	20	75.00	37	66.00	45
NSLIRPCA（p=1）	78.50	24	76.00	39	67.03	46
NSLIRPCA（p=0.5）	79.00	29	76.50	38	68.00	47

算法	训练时间	算法	训练时间
PCA	0.24	LIRPCA	10.40
PCA-L₁	39.68	NSLIRPCA（p=1.5）	1.67
LPP	10.57	NSLIRPCA（p=1）	1.65
NMF	0.42	NSLIRPCA（p=0.5）	1.57

基于近邻监督局部不变鲁棒主成分分析的特征提取模型

Feature extraction model based on neighbor supervised locally invariant robust principal component analysis

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 31

相关文章 15

编辑推荐

Metrics

[1]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[2]	杨鑫, 陈雪妮, 吴春江, 周世杰. 结合变种残差模型和Transformer的城市公路短时交通流预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2947-2951.
[3]	付帅, 郭小英, 白茹意, 闫涛, 陈斌. 改进的CloFormer模型与有序回归相结合的年龄评估方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2372-2380.
[4]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[5]	龙伍丹, 彭博, 胡节, 申颖, 丁丹妮. 基于加强特征提取的道路病害检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2264-2270.
[6]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[7]	陈学斌, 任志强, 张宏扬. 联邦学习中的安全威胁与防御措施综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1663-1672.
[8]	吴郅昊, 迟子秋, 肖婷, 王喆. 基于元学习自适应的小样本语音合成[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1629-1635.
[9]	夏吾吉, 黄鹤鸣, 更藏措毛, 范玉涛. 基于无监督学习和监督学习的抽取式文本摘要综述[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1035-1048.
[10]	董炜娜, 刘佳, 潘晓中, 陈立峰, 孙文权. 基于编码-解码网络的大容量鲁棒图像隐写方案[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 772-779.
[11]	江锐, 刘威, 陈成, 卢涛. 非对称端到端的无监督图像去雨网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 922-930.
[12]	崔晨辉, 蔺素珍, 李大威, 禄晓飞, 武杰. 基于孪生网络和Transformer的红外弱小目标跟踪方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 563-571.
[13]	范艺扬, 张洋, 曾尚, 曾渝, 付茂栗. 基于分解和频域特征提取的多变量长时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3442-3448.
[14]	赵培, 乔焰, 胡荣耀, 袁新宇, 李敏悦, 张本初. 基于多域特征提取的多变量时间序列异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3419-3426.
[15]	黄杰, 武瑞梓, 李均利. 高效的自适应复杂网络鲁棒性优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3530-3539.