基于邻域熵的高光谱波段选择算法

doi:10.11772/j.issn.1001-9081.2021020332

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (2): 485-492.DOI: 10.11772/j.issn.1001-9081.2021020332

• 数据科学与技术 • 上一篇

基于邻域熵的高光谱波段选择算法

翟东昌¹, 陈红梅²()

^1.西南交通大学唐山研究院，河北唐山 063000
^2.西南交通大学计算机与人工智能学院，成都 611756

收稿日期:2021-03-05 修回日期:2021-04-30 接受日期:2021-05-07 发布日期:2021-05-18 出版日期:2022-02-10
通讯作者: 陈红梅
作者简介:翟东昌（1993—），男，甘肃兰州人，硕士研究生，主要研究方向：数据挖掘；
陈红梅（1971—），女，四川成都人，教授，博士，CCF会员，主要研究方向：智能信息处理、数据挖掘。
基金资助:
国家自然科学基金资助项目(61976128);四川省国际科技创新合作重点项目(2019YFH0097)

Hyperspectral band selection algorithm based on neighborhood entropy

Dongchang ZHAI¹, Hongmei CHEN²()

^1.TangShan Institute，Southwest Jiaotong University，Tangshan Hebei 063000，China
^2.School of Computer and Artificial Intelligence，Southwest Jiaotong University，Chengdu Sichuan 611756，China

Received:2021-03-05 Revised:2021-04-30 Accepted:2021-05-07 Online:2021-05-18 Published:2022-02-10
Contact: Hongmei CHEN
About author:ZHAI Dongchang， born in 1993， M. S. candidate. His research interests include data mining.
CHEN Hongmei， born in 1971， Ph. D.， professor. Her research interests include intelligent information processing， data mining.
Supported by:
National Natural Science Foundation of China(61976182);Key Program for International Science and Technology Cooperation of Sichuan Province(2019YFH0097)

摘要/Abstract

摘要：

为了减少高光谱图像数据中的冗余信息，优化计算效率，并提升图像数据后续应用的有效性，提出一种基于邻域熵（NE）的高光谱波段选择算法。首先，为了高效计算样本的邻域子集，采用了局部敏感哈希（LSH）作为近似最近邻的搜索策略；然后，引入了NE理论来度量波段和类之间的互信息（MI），并把最小化特征集合与类变量之间的条件熵作为选取有效波段的方法；最后，采用两个数据集，通过支持向量机（SVM）和随机森林（RM）进行分类实验。实验结果表明，相较于四种基于MI的特征选择算法，从总体精度以及Kappa系数上看，所提算法能够在30个波段内较快地选取有效波段子集，并达到局部最优。该算法的部分实验结果的总体精度以及Kappa系数分别达到全局最优的92.99%以及0.860 8，表明所提算法能有效地处理高光谱波段选择问题。

关键词: 波段选择, 高光谱图像, 互信息, 邻域熵, 近似最近邻搜索

Abstract:

In order to reduce the redundant information of hyperspectral image data， optimize the computational efficiency and improve the effectiveness of subsequent applications of image data， a hyperspectral band selection algorithm based on Neighborhood Entropy （NE） was proposed. Firstly， in order to efficiently calculate the neighborhood subset of samples， the Local Sensitive Hashing （LSH） was used as the nearest neighbor search strategy. Then， the NE theory was introduced to measure the Mutual Information （MI） between bands and classes， and minimization of the conditional entropy between feature sets and class variables was used as a method to select effective bands. Finally， two datasets were used to carry out classification experiments through Support Vector Machine （SVM） and Random Forest （RM）. Experimental results show that， compared with four MI based feature selection algorithms， from the perspectives of overall accuracy and Kappa coefficient， the proposed algorithm can select effective band subset within 30 bands faster and achieve local optimization. Some experimental results of the proposed algorithm reach 92.99% and 0.860 8 at the global optimum on overall accuracy and Kappa coefficient respectively， verifying that the proposed algorithm can effectively deal with hyperspectral band selection problem.

Key words: band selection, hyperspectral image, Mutual Information (MI), Neighborhood Entropy (NE), approximate nearest neighbor search

中图分类号:

TP301.6

翟东昌, 陈红梅. 基于邻域熵的高光谱波段选择算法[J]. 计算机应用, 2022, 42(2): 485-492.

Dongchang ZHAI, Hongmei CHEN. Hyperspectral band selection algorithm based on neighborhood entropy[J]. Journal of Computer Applications, 2022, 42(2): 485-492.

图/表 10

图1 Indian Pines 三通道图像

Fig. 1 Three-channel image in Indian Pines

表1 Indian Pines数据集的类标以及相应的样本数

Tab. 1 Class labels and corresponding numbers of samples in Indian Pines dataset

类标	类名	样本数
1	Alfalfa	46
2	Corn-notill	1 428
3	Corn-mintill	830
4	Corn	237
5	Grass-pasture	483
6	Grass-trees	730
7	Grass-pasture-mowed	28
8	Hay-windrowed	478
9	Oats	20
10	Soybean-notill	972
11	Soybean-mintill	2 455
12	Soybean-clean	593
13	Wheat	205
14	Woods	1 265
15	Buildings-Grass-Trees-Drives	386
16	Stone-Steel-Towers	93

图2 Salinas数据集的三通道图像

Fig. 2 Three-channel image in Salinas dataset

表2 Salinas数据集的类标以及相应的样本数

Tab. 2 Class labels and corresponding numbers of samples in Salinas dataset

类标	类名	样本数
1	Brocoli_green_weeds_1	2 009
2	Brocoli_green_weeds_2	3 726
3	Fallow	1 976
4	Fallow_rough_plow	1 394
5	Fallow_smooth	2 678
6	Stubble	3 959
7	Celery	3 579
8	Grapes_untrain	11 271
9	Soil_vinyard_develop	6 203
10	Corn_senesced_green_weeds	3 278
11	Lettuce_romaine_4wk	1 068
12	Lettuce_romaine_5wk	1 927
13	Lettuce_romaine_6wk	916
14	Lettuce_romaine_7wk	1 070
15	Vinyard_untrain	7 268
16	Vinyard_vertical_trellis	1 807

表3 各个算法的时间复杂度

Tab. 3 Time complexity of each algorithm

算法	时间复杂度
NEFS/SINEFS	O（DN^αs²）
mRMR-MIFS	O（DNs²）
X-MIFS	O（DNs²）
NMI	O（DNs log N）
WaLuMI	O（LDN+L²D）

表4 CPU时间线性模型

Tab. 4 CPU time linear model

算法	系数	截距
SINEFS	1.02×10^-5	16.600
NEFS	2.61×10^-4	257.000
mRMR-MIFS	1.57×10^-6	-0.152
X-MIFS	4.8×10^-7	-0.144
NMI	3.8×10^-5	-0.521
WaLuMI	3.2×10^-6	-0.489

图3 Indian Pines数据集上采用SVM以及RF进行分类实验的OA值

Fig. 3 OA values of classification experiments using SVM and RF on Indian Pines dataset

图4 Indian Pines数据集上采用SVM以及RF进行分类实验的KC值

Fig. 4 KC values of classification experiments using SVM and RF on Indian Pines dataset

图5 在Salinas数据集上采用SVM以及RF进行分类实验的OA值

Fig. 5 OA values of classification experiments using SVM and RF on Salinas dataset

图6 Salinas数据集上采用SVM以及RF进行分类实验的KC值

Fig. 6 KC values of classification experiments using SVM and RF on Salinas dataset

参考文献 27

1	AMIGO J M， BABAMORADI H， ELCOROARISTIZABAL S. Hyperspectral image analysis. a tutorial［J］. Analytica Chimica Acta， 2015， 896： 34-51. 10.1016/j.aca.2015.09.030
2	GU Y F， LIU T Z， GAO G M， et al. Multimodal hyperspectral remote sensing： an overview and perspective［J］. Science China — Information Sciences， 2021， 64（2）： No.121301. 10.1007/s11432-020-3084-1
3	JANSE P V， DESHMUKH R R. Hyperspectral remote sensing for agriculture： a review［J］. International Journal of Computer Applications， 2017， 172（7）： 30-34.
4	TURPIE K， VERAVERBEKE S， WRIGHT R， et al. NASA 2014 the Hyperspectral Infrared Imager （HyspIRI） — science impact of deploying instruments on separate platforms： JPL Publication 14-13［R］. Pasadena， CA： Jet Propulsion Laboratory of California Institute of Technology， 2014.
5	HUGHES G. On the mean accuracy of statistical pattern recognizers［J］. IEEE Transactions on Information Theory， 1968， 14（1）： 55-63. 10.1109/tit.1968.1054102
6	BELLMAN R. Adaptive Control Processes： a Guided Tour［M］. Princeton： Princeton University Press， 2015： 3-257.
7	SUN W W， HALEVY A， BENEDETTO J J， et al. UL-Isomap based nonlinear dimensionality reduction for hyperspectral imagery classification［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2014， 89： 25-36. 10.1016/j.isprsjprs.2013.12.003
8	UDDIN M P， MAMUN M A， HOSSAIN M A. PCA-based feature reduction for hyperspectral remote sensing image classification［J］. IETE Technical Review， 2021， 38（4）： 377-396. 10.1080/02564602.2020.1740615
9	SUN W W， DU Q. Hyperspectral band selection： a review［J］. IEEE Geoscience and Remote Sensing Magazine， 2019， 7（2）： 118-139. 10.1109/mgrs.2019.2911100
10	张伍，陈红梅.基于核模糊粗糙集的高光谱波段选择算法［J］.计算机应用， 2019， 40（1）： 258-263.
	ZHANG W， CHEN H M. Hyperspectral band selection algorithm based on kernelized fuzzy rough set［J］. Journal of Computer Applications， 2019， 40（1）： 258-263.
11	MOSLEHI F， HAERI A. A novel hybrid wrapper-filter approach based on genetic algorithm， particle swarm optimization for feature subset selection［J］. Journal of Ambient Intelligence and Humanized Computing， 2020， 11（3）： 1105-1127. 10.1007/s12652-019-01364-5
12	ZHANG L F， ZHANG Q， ZHANG L P， et al. Ensemble manifold regularized sparse low-rank approximation for multiview feature embedding［J］. Pattern Recognition， 2015， 48（10）： 3102-3112. 10.1016/j.patcog.2014.12.016
13	CHANDRASHEKAR G， SAHIN F. A survey on feature selection methods［J］. Computers and Electrical Engineering， 2014， 40（1）： 16-28. 10.1016/j.compeleceng.2013.11.024
14	HU L， GAO W， ZHAO K， et al. Feature selection considering two types of feature relevancy and feature interdependency［J］. Expert Systems with Applications， 2018， 93： 423-434. 10.1016/j.eswa.2017.10.016
15	TAO H， HOU C P， NIE F P， et al. Effective discriminative feature selection with nontrivial solution［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， 27（4）： 796-808. 10.1109/tnnls.2015.2424721
16	KIRA K， RENDELL L A. A practical approach to feature selection ［C］// Proceedings of the 9th International Workshop on Machine Learning. San Francisco： Morgan Kaufmann Publishers Inc.， 1992： 249-256. 10.1016/b978-1-55860-247-2.50037-1
17	SHARMIN S， ALI A A， KHAN M A H， et al. Feature selection and discretization based on mutual information ［C］// Proceedings of the 2017 IEEE International Conference on Imaging， Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1-6. 10.1109/icivpr.2017.7890885
18	GUO B， GUNN S R， DAMPER R I， et al. Band selection for hyperspectral image classification using mutual information［J］. IEEE Geoscience and Remote Sensing Letters， 2006， 3（4）： 522-526. 10.1109/lgrs.2006.878240
19	AMANKWAH A. Spatial mutual information based hyperspectral band selection for classification［J］. The Scientific World Journal， 2015， 2015： No.630918. 10.1155/2015/630918
20	LIU Y， XIE H， CHEN Y H， et al. Neighborhood mutual information and its application on hyperspectral band selection for classification［J］. Chemometrics and Intelligent Laboratory Systems， 2016， 157： 140-151. 10.1016/j.chemolab.2016.07.009
21	FANO R M. Transmission of information： a statistical theory of communications［J］. American Journal of Physics， 1961， 29（11）： 793-794. 10.1119/1.1937609
22	JIANG Y， LI C Y. mRMR-based feature selection for classification of cotton foreign matter using hyperspectral imaging［J］. Computers and Electronics in Agriculture， 2015， 119： 191-200. 10.1016/j.compag.2015.10.017
23	KVÅLSETH T O. On normalized mutual information： measure derivations and properties［J］. Entropy， 2017， 19（11）： No.631. 10.3390/e19110631
24	BRUNATO M， BATTITI R. X-MIFS： exact mutual information for feature selection ［C］// Proceedings of the 2016 International Joint Conference on Neural Networks. Piscataway： IEEE， 2016： 3469-3476. 10.1109/ijcnn.2016.7727644
25	MARTÍNEZ-USÓ A， PLA F， SOTOCA J M， et al. Clustering-based hyperspectral band selection using information measures［J］. IEEE Transactions on Geoscience and Remote Sensing， 2007， 45（12）： 4158-4171. 10.1109/tgrs.2007.904951
26	SUN L， ZHANG X Y， QIAN Y H， et al. Feature selection using neighborhood entropy-based uncertainty measures for gene expression data classification［J］. Information Sciences， 2019， 502： 18-41. 10.1016/j.ins.2019.05.072
27	GIONIS A， INDYK P， MOTWANI R. Similarity search in high dimensions via hashing ［C］// Proceedings of the 25th International Conference on Very Large Data Base. San Francisco： Morgan Kaufmann Publishers Inc.， 1999： 518-529. 10.1109/icde.2000.839448

[1]	陈永波, 李巧勤, 刘勇国. 基于动态相关性的特征选择算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 109-114.
[2]	张伍, 陈红梅. 基于多核模糊粗糙集与蝗虫优化算法的高光谱波段选择[J]. 计算机应用, 2020, 40(5): 1425-1430.
[3]	张凯琳, 阎庆, 夏懿, 章军, 丁云. 基于焦点损失的半监督高光谱图像分类[J]. 计算机应用, 2020, 40(4): 1030-1037.
[4]	程玉胜, 宋帆, 王一宾, 钱坤. 基于专家特征的条件互信息多标记特征选择算法[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 503-509.
[5]	曾梦, 宁彬, 蔡之华, 谷琼. 使用深度对抗子空间聚类实现高光谱波段选择[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 381-385.
[6]	王煜, 徐建民. 用于网络新闻热点识别的热点新词发现[J]. 计算机应用, 2020, 40(12): 3513-3519.
[7]	雍菊亚, 周忠眉. 基于互信息的多级特征选择算法[J]. 计算机应用, 2020, 40(12): 3478-3484.
[8]	张伍, 陈红梅. 基于核模糊粗糙集的高光谱波段选择算法[J]. 计算机应用, 2020, 40(1): 258-263.
[9]	魏嘉旺, 王肖, 袁玉波. 人脸特征点定位的自适应窗回归方法[J]. 计算机应用, 2019, 39(5): 1459-1465.
[10]	毛莺池, 曹海, 平萍, 李晓芳. 基于最大联合条件互信息的特征选择[J]. 计算机应用, 2019, 39(3): 734-741.
[11]	胡健, 苏永东, 黄文载, 肖鹏, 刘玉婷, 杨本富. 基于互信息加权集成迁移学习的入侵检测方法[J]. 计算机应用, 2019, 39(11): 3310-3315.
[12]	徐洪峰, 孙振强. 多标签学习中基于互信息的快速特征选择方法[J]. 计算机应用, 2019, 39(10): 2815-2821.
[13]	梁志刚, 顾军华. 改进头脑风暴优化算法与Powell算法结合的医学图像配准[J]. 计算机应用, 2018, 38(9): 2683-2688.
[14]	唐小川, 邱曦伟, 罗亮. 基于交互作用的文本分类特征选择算法[J]. 计算机应用, 2018, 38(7): 1857-1861.
[15]	欧阳宁, 朱婷, 林乐平. 基于空谱融合网络的高光谱图像分类方法[J]. 计算机应用, 2018, 38(7): 1888-1892.

基于邻域熵的高光谱波段选择算法

Hyperspectral band selection algorithm based on neighborhood entropy

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 27

相关文章 15

编辑推荐

Metrics