基于近邻监督局部不变鲁棒主成分分析的特征提取模型

doi:10.11772/j.issn.1001-9081.2022030329

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (4): 1013-1020.DOI: 10.11772/j.issn.1001-9081.2022030329

• 人工智能 • 上一篇

基于近邻监督局部不变鲁棒主成分分析的特征提取模型

葛孟婷¹, 万鸣华¹^,²()

^1.南京审计大学计算机学院(智能审计学院), 南京 211815
^2.江苏省社会安全图像与视频理解重点实验室(南京理工大学), 南京 210094

收稿日期:2022-03-21 修回日期:2022-06-18 接受日期:2022-06-27 发布日期:2023-04-11 出版日期:2023-04-10
通讯作者: 万鸣华
作者简介:葛孟婷（1998—），女，江苏连云港人，硕士研究生，CCF会员，主要研究方向：模式识别、特征提取、人脸识别、低秩学习；
基金资助:
国家自然科学基金资助项目(61876213);江苏省自然科学基金资助项目(BK20201397);江苏省社会安全图像与视频理解重点实验室项目(J2021?4);江苏省高校未来网络科研基金资助项目(SRFP?2021?YB?25);2021年江苏省研究生科研与实践创新计划项目(SJCX21_0885)

Feature extraction model based on neighbor supervised locally invariant robust principal component analysis

Mengting GE¹, Minghua WAN¹^,²()

^1.School of Computer Science （School of Intelligence Audit），Nanjing Audit University，Nanjing Jiangsu 211815，China
^2.Jiangsu Key Laboratory of Image and Video Understanding for Social Safety，Nanjing University of Science and Technology，Nanjing Jiangsu 210094，China

Received:2022-03-21 Revised:2022-06-18 Accepted:2022-06-27 Online:2023-04-11 Published:2023-04-10
Contact: Minghua WAN
About author:GE Mengting， born in 1998， M. S. candidate. Her research interests include pattern recognition， feature extraction， face recognition， low-rank learning.
Supported by:
National Natural Science Foundation of China(61876213);Natural Science Foundation of Jiangsu Province(BK20201397);Project of Jiangsu Key Laboratory of Image and Video Understanding for Siocial Safety(J2021-4);Qing Lan Project of Jiangsu University, Future Network Scientific Research Fund Project of Jiangsu Colleges and Universities(SRFP-2021-YB-25);2021 Postgraduate Research and Practice Innovation Program of Jiangsu Province(SJCX21_0885)

摘要/Abstract

摘要：

针对无监督的局部不变鲁棒主成分分析（LIRPCA）算法未考虑样本间的类别关系的问题，提出了一种基于近邻监督局部不变鲁棒主成分分析（NSLIRPCA）的特征提取模型。所提模型考虑了样本间的类别信息，并以此构建关系矩阵。对所提模型进行公式求解和公式的收敛性证明，并将所提模型应用于各种遮挡数据集。实验结果表明，在ORL、Yale、COIL-Processed和PolyU数据集上，与主成分分析（PCA）算法、基于L₁范数的主成分分析（PCA-L₁）算法、非负矩阵分解（NMF）算法、局部保持投影（LPP）算法和LIRPCA算法相比，所提模型在原始图像数据集上的识别率分别最高提升了8.80%、7.76%、20.37%、4.72%和4.61%，在遮挡图像数据集上的识别率分别最高提升了30.79%、30.73%、36.02%、19.65%和17.31%。可见，所提模型提高了算法的识别性能，降低了模型复杂度，明显优于对比算法。

关键词: 特征提取, 子空间学习, 无监督学习, 鲁棒性, 图像识别

Abstract:

Focused on the issue that the category relationship between samples is not considered in the unsupervised Locally Invariant Robust Principal Component Analysis （LIRPCA） algorithm， a feature extraction model based on Neighbor Supervised LIRPCA （NSLIRPCA） was proposed. The category information between samples was considered by the proposed model， and a relationship matrix was constructed based on this information. The formulas of the model were solved and the convergences of the formulas were proved. At the same time， the proposed model was applied to various occlusion datasets. Experimental results show that compared with Principal Component Analysis （PCA）， PCA based on L₁-norm （PCA-L₁）， Non-negative Matrix Factorization （NMF）， Locality Preserving Projection （LPP） and LIRPCA algorithms on ORL， Yale， COIL-Processed and PolyU datasets， the proposed model has the recognition rate improved by 8.80%， 7.76%， 20.37%， 4.72% and 4.61% at most respectively on the original image datasets， and the recognition rate improved by 30.79%， 30.73%， 36.02%， 19.65% and 17.31% at most respectively on the occluded image datasets. It can be seen that with the proposed model， the recognition performance of the algorithm is improved， and the complexity of the model is reduced， verifying that the model is obviously better than the comparison algorithms.

Key words: feature extraction, subspace learning, unsupervised learning, robustness, image recognition

中图分类号:

TP391.4

葛孟婷, 万鸣华. 基于近邻监督局部不变鲁棒主成分分析的特征提取模型[J]. 计算机应用, 2023, 43(4): 1013-1020.

Mengting GE, Minghua WAN. Feature extraction model based on neighbor supervised locally invariant robust principal component analysis[J]. Journal of Computer Applications, 2023, 43(4): 1013-1020.

图/表 9

参考文献 31

1	KIM W， LEE R， PARK M， et al. Low-light image enhancement using volume-based subspace analysis［J］. IEEE Access， 2020， 8： 118370-118379. 10.1109/ACCESS.2020.3005249
2	NAPOLÉON T， LFALOU A A. Pose invariant face recognition： 3D model from single photo［J］. Optics and Lasers in Engineering， 2017， 89： 150-161. 10.1016/j.optlaseng.2016.06.019
3	TURK M A， PENTLAND A P. Face recognition using eigenfaces［C］// Proceedings of the 1991 IEEE Computer Society on Computer Vision and Pattern Recognition. Piscataway： IEEE， 1991： 586-591.
4	BELHUMEUR P N， HESPANHA J P， KRIEGMAN D J. Eigenfaces vs. Fisherfaces： recognition using class specific linear projection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997， 19（7）： 711-720. 10.1109/34.598228
5	BELKIN M， NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation［J］. Neural Computation， 2003， 15（6）： 1373-1396. 10.1162/089976603321780317
6	LEE D D， SEUNG H S. Learning the parts of objects by non-negative matrix factorization［J］. Nature， 1999， 401（6755）： 788-791. 10.1038/44565
7	王平，王宜怀，余文森，等. 基于非负矩阵分解和极限学习机分类的合成孔径雷达图像变化检测［J］. 科学技术与工程， 2020， 20（5）： 1959-1966. 10.3969/j.issn.1671-1815.2020.05.038
	WANG P， WANG Y H， YU W S， et al. Change detection in SAR images based on NMF and ELM classification［J］. Science Technology and Engineering， 2020， 20（5）： 1959-1966. 10.3969/j.issn.1671-1815.2020.05.038
8	JIAN Y， ZHANG D， FRANGI A F， et al. Two-dimensional PCA： a new approach to appearance-based face representation and recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2004， 26（1）： 131-137. 10.1109/tpami.2004.1261097
9	LUO D J， DING C， HUANG H. Symmetric two dimensional Linear Discriminant Analysis （2DLDA）［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 2820-2827. 10.1109/cvpr.2009.5206635
10	YANG J， ZHANG D， YONG X， et al. Two-dimensional discriminant transform for face recognition［J］. Pattern Recognition， 2005， 38（7）： 1125-1129. 10.1016/j.patcog.2004.11.019
11	胡姿岚，王海贤. L1-范数子空间技术的鲁棒建模综述［J］. 安徽大学学报（自然科学版）， 2017， 41（5）： 9-16. 10.3969/j.issn.1000-2162.2017.05.003
	HU Z L， WANG H X. L1-norm based subspace techniques for robust modelling： a brief review［J］. Journal of Anhui University （Natural Science Edition）， 2017， 41（5）： 9-16. 10.3969/j.issn.1000-2162.2017.05.003
12	KWAK N. Principal component analysis based on L1-norm maximization［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（9）： 1672-1680. 10.1109/tpami.2008.114
13	NIE F P， HUANG H， DING C， et al. Robust principal component analysis with non-greedy l₁-norm maximization［C］// Proceedings of the 22nd International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2011： 1433-1438.
14	NIE F P， TIAN L， HUANG H， et al. Non-greedy L21-norm maximization for principal component analysis［J］. IEEE Transactions on Image Processing， 2021， 30： 5277-5286. 10.1109/tip.2021.3073282
15	MARKOPOULOS P P， KARYSTINOS G N， PADOS D A. Optimal algorithms for L₁-subspace signal processing［J］. IEEE Transactions on Signal Processing， 2014， 62（19）： 5046-5058. 10.1109/tsp.2014.2338077
16	KWAK N. Principal component analysis by L_p-norm maximization［J］. IEEE Transactions on Cybernetics， 2014， 44（5）： 594-609. 10.1109/tcyb.2013.2262936
17	YE Q L， FU L Y， ZHANG Z， et al. Lp- and Ls-norm distance based robust linear discriminant analysis［J］. Neural Networks， 2018， 105： 393-404. 10.1016/j.neunet.2018.05.020
18	HASSAN R J， ABDULAZEEZ A M. Deep learning convolutional neural network for face recognition： a review［J］. International Journal of Science and Business， 2021， 5（2）： 114-127. 10.38007/nn.2021.020207
19	葛轶洲，刘恒，王言，等. 小样本困境下的深度学习图像识别综述［J］. 软件学报， 2022， 33（1）： 193-210.
	GE Y Z， LIU H， WANG Y， et al. Survey on deep learning image recognition in dilemma of small samples［J］. Journal of Software， 2022， 33（1）： 193-210.
20	FU J L， WU Y， MEI T， et al. Relaxing from vocabulary： robust weakly-supervised deep learning for vocabulary-free image tagging［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1985-1993. 10.1109/iccv.2015.230
21	BAI S， LI Y W， ZHOU Y Y， et al. Adversarial metric attack and defense for person re-identification［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（6）： 2119-2126. 10.1109/tpami.2020.3031625
22	刘会，赵波，郭嘉宝，等. 针对深度学习的对抗攻击综述［J］. 密码学报， 2021， 8（2）： 202-214.
	LIU H， ZHAO B， GUO J B， et al. Survey on adversarial attacks towards deep learning［J］. Journal of Cryptologic Research， 2021， 8（2）： 202-214.
23	BI P F， DU X. Application of locally invariant robust PCA for underwater image recognition［J］. IEEE Access， 2021， 9： 29470-29481. 10.1109/access.2021.3058761
24	郑宝玉，李昂. 基于快速稀疏低秩和鲁棒主成分分析的图像处理算法的研究［J］. 信号处理， 2020， 36（2）： 290-296.
	ZHENG B Y， LI A. Image processing algorithm based on fast sparse low rank and robust PCA［J］. Journal of Signal Processing， 2020， 36（2）： 290-296.
25	杨紫晴，姚加林，伍国华，等. 集成协方差矩阵自适应进化策略与差分进化的优化算法［J］. 控制理论与应用， 2021， 38（10）： 1493-1502. 10.7641/CTA.2021.10002
	YANG Z Q， YAO J L， WU G H， et al. Ensemble optimization algorithm from covariance matrix adaptive evolution strategy and differential evolution［J］. Control Theory and Applications， 2021， 38（10）： 1493-1502. 10.7641/CTA.2021.10002
26	KNOR M， ŠKREKOVSKI R. On the minimum distance in a k-vertex set in a graph［J］. Applied Mathematics and Computation， 2019， 356： 99-104. 10.1016/j.amc.2019.03.050
27	NEUMAYER S， NIMMER M， SETZER S， et al. On the robust PCA and Weiszfeld’s algorithm［J］. Applied Mathematics and Optimization， 2020， 82（3）： 1017-1048. 10.1007/s00245-019-09566-1
28	张悦，刘德山，王姗姗，等. 应用于人脸识别的改进局部保持投影算法［J］. 计算机测量与控制， 2019， 27（10）： 176-180.
	ZHANG Y， LIU D S， WANG S S， et al. Improved locality preserving projections for face recognition［J］. Computer Measurement and Control， 2016， 27（10）： 176-180.
29	唐吉深，覃少华. 稀疏表示系数下局部最优重构的SAR图像目标识别算法［J］. 探测与控制学报， 2021， 43（2）： 69-75， 80.
	TANG J S， QIN S H. SAR images recognition based on sparse coefficients optimal local reconstruction［J］. Journal of Detection and Control， 2021， 43（2）： 69-75， 80.
30	赵鹏，汪纯燕，张思颖，等. 一种基于融合重构的子空间学习的零样本图像分类方法［J］. 计算机学报， 2021， 44（2）： 409-421. 10.11897/SP.J.1016.2021.00409
	ZHAO P， WANG C Y， ZHANG S Y， et al. A zero-shot image classification method based on subspace learning with the fusion of reconstruction［J］. Chinese Journal of Computers， 2021， 44（2）： 409-421. 10.11897/SP.J.1016.2021.00409
31	ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding［J］. Science， 2000， 290（5500）： 2323-2326. 10.1126/science.290.5500.2323

算法	ORL						Yale						COIL-20-Processed
	原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块
	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	89.00	29	69.30	40	50.37	38	87.01	46	72.33	40	68.30	37	61.10	32	61.03	36	60.18	30
PCA-L₁	89.12	40	69.34	36	50.45	31	87.85	41	72.66	40	68.33	35	61.51	32	61.33	32	60.83	40
LPP	89.35	42	69.36	40	50.52	34	90.40	21	76.00	33	74.66	27	62.69	20	62.16	24	61.90	24
NMF	79.62	31	67.50	30	50.25	34	86.66	36	66.66	39	66.33	34	62.93	28	62.71	30	62.02	29
LIRPCA	89.36	22	69.37	14	50.62	28	90.50	12	89.67	12	88.33	11	63.18	13	63.02	12	62.80	12
NSLIRPCA（p=1.5）	89.38	29	69.38	27	50.63	31	91.50	22	89.78	26	88.80	29	63.19	16	63.10	20	63.03	18
NSLIRPCA（p=1.0）	90.63	29	69.40	29	51.25	28	92.00	22	89.93	26	89.24	30	63.33	18	63.26	19	63.11	21
NSLIRPCA（p=0.5）	91.25	31	81.25	57	59.38	51	94.67	22	90.67	27	89.33	26	63.41	19	63.33	20	63.18	22

算法	ORL						Yale						COIL-20-Processed
	原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块		原始图像		5×5遮挡块		10×10遮挡块
	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	89.00	29	69.30	40	50.37	38	87.01	46	72.33	40	68.30	37	61.10	32	61.03	36	60.18	30
PCA-L₁	89.12	40	69.34	36	50.45	31	87.85	41	72.66	40	68.33	35	61.51	32	61.33	32	60.83	40
LPP	89.35	42	69.36	40	50.52	34	90.40	21	76.00	33	74.66	27	62.69	20	62.16	24	61.90	24
NMF	79.62	31	67.50	30	50.25	34	86.66	36	66.66	39	66.33	34	62.93	28	62.71	30	62.02	29
LIRPCA	89.36	22	69.37	14	50.62	28	90.50	12	89.67	12	88.33	11	63.18	13	63.02	12	62.80	12
NSLIRPCA（p=1.5）	89.38	29	69.38	27	50.63	31	91.50	22	89.78	26	88.80	29	63.19	16	63.10	20	63.03	18
NSLIRPCA（p=1.0）	90.63	29	69.40	29	51.25	28	92.00	22	89.93	26	89.24	30	63.33	18	63.26	19	63.11	21
NSLIRPCA（p=0.5）	91.25	31	81.25	57	59.38	51	94.67	22	90.67	27	89.33	26	63.41	19	63.33	20	63.18	22

算法	原始图像		5×5遮挡块		10×10遮挡块
算法	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	73.00	40	68.34	42	62.83	46
PCA-L₁	76.75	38	69.25	40	64.75	42
LPP	77.26	36	73.20	38	65.30	40
NMF	65.63	30	63.12	32	61.87	36
LIRPCA	77.70	17	74.80	29	65.81	45
NSLIRPCA（p=1.5）	78.00	20	75.00	37	66.00	45
NSLIRPCA（p=1）	78.50	24	76.00	39	67.03	46
NSLIRPCA（p=0.5）	79.00	29	76.50	38	68.00	47

算法	原始图像		5×5遮挡块		10×10遮挡块
算法	识别率/%	维度	识别率/%	维度	识别率/%	维度
PCA	73.00	40	68.34	42	62.83	46
PCA-L₁	76.75	38	69.25	40	64.75	42
LPP	77.26	36	73.20	38	65.30	40
NMF	65.63	30	63.12	32	61.87	36
LIRPCA	77.70	17	74.80	29	65.81	45
NSLIRPCA（p=1.5）	78.00	20	75.00	37	66.00	45
NSLIRPCA（p=1）	78.50	24	76.00	39	67.03	46
NSLIRPCA（p=0.5）	79.00	29	76.50	38	68.00	47

算法	训练时间	算法	训练时间
PCA	0.24	LIRPCA	10.40
PCA-L₁	39.68	NSLIRPCA（p=1.5）	1.67
LPP	10.57	NSLIRPCA（p=1）	1.65
NMF	0.42	NSLIRPCA（p=0.5）	1.57

基于近邻监督局部不变鲁棒主成分分析的特征提取模型

Feature extraction model based on neighbor supervised locally invariant robust principal component analysis

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 31

相关文章 15

编辑推荐

Metrics

[1]	杨有, 张汝荟, 许鹏程, 康慷, 翟浩. 面向民国档案印章分割的改进U-Net[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 943-948.
[2]	李海丰, 张凡, 朴敏楠, 王怀超, 李南莎, 桂仲成. 基于通道和空间注意力的机场道面地下目标自动检测[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 930-935.
[3]	范贤博俊, 陈立家, 李珅, 王晨露, 王敏, 王赞, 刘名果. 鲁棒的视觉机械臂联合建模优化方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 962-971.
[4]	贾晴, 王来花, 王伟胜. 基于独立循环神经网络与变分自编码网络的视频帧异常检测[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 507-513.
[5]	孙梦迪, 孙忠贵, 孔旭, 韩红燕. 针对多模态图像的自适应引导形态学设计[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 560-566.
[6]	张新宇, 丁胜, 杨治佩. 基于改进注意力机制的交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2378-2385.
[7]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.
[8]	郭一阳, 于炯, 杜旭升, 杨少智, 曹铭. 基于自编码器与集成学习的离群点检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2078-2087.
[9]	仇天昊, 陈淑荣. 基于EfficientNet的双分路多尺度联合学习行人再识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2065-2071.
[10]	丁行硕, 李翔, 谢乾. 基于标签分层延深建模的企业画像构建方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1170-1177.
[11]	季长清, 高志勇, 秦静, 汪祖民. 基于卷积神经网络的图像分类算法综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1044-1049.
[12]	李讷, 徐光柱, 雷帮军, 马国亮, 石勇涛. 交通道路行驶车辆车标识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 810-817.
[13]	向南, 潘传忠, 虞高翔. 融合优化特征提取结构的目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3558-3563.
[14]	杜宇, 严萌, 武昕. 基于上采样金字塔结构的卷积神经网络的非侵入负荷辨识算法[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3300-3306.
[15]	张谊, 万华, 涂淑琴. 基于计算机视觉的中药饮片分类技术综述与案例研究[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3224-3234.