基于模糊多尺度特征的遥感图像分割网络

doi:10.11772/j.issn.1001-9081.2023101540

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (11): 3581-3586.DOI: 10.11772/j.issn.1001-9081.2023101540

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于模糊多尺度特征的遥感图像分割网络

李子怡, 曲婷婷, 崇乾鹏, 徐金东()

烟台大学计算机与控制工程学院，山东烟台 264005

收稿日期:2023-11-09 修回日期:2023-12-25 接受日期:2023-12-26 发布日期:2024-01-04 出版日期:2024-11-10
通讯作者: 徐金东
作者简介:李子怡（2000—），女，山东新泰人，硕士研究生，主要研究方向：遥感图像分割、图像分类
曲婷婷（1996—），女，山东莱州人，硕士研究生，主要研究方向：遥感图像分割
崇乾鹏（1999—），男，山东临沂人，硕士研究生，主要研究方向：遥感图像分割、计算机视觉、机器学习
基金资助:
国家自然科学基金资助项目(62072391)

Remote sensing image segmentation network based on fuzzy multiscale features

Ziyi LI, Tingting QU, Qianpeng CHONG, Jindong XU()

School of Computer and Control Engineering，Yantai University，Yantai Shandong 264005，China

Received:2023-11-09 Revised:2023-12-25 Accepted:2023-12-26 Online:2024-01-04 Published:2024-11-10
Contact: Jindong XU
About author:LI Ziyi， born in 2000， M. S. candidate. Her research interests include remote sensing image segmentation， image classification.
QU Tingting， born in 1996， M. S. candidate. Her research interests include remote sensing image segmentation.
CHONG Qianpeng， born in 1999， M. S. candidate. His research interests include remote sensing image segmentation， computer vision， machine learning.
Supported by:
National Natural Science Foundation of China(62072391)

摘要/Abstract

摘要：

受成像距离、光照、地物特征、环境等因素影响，遥感图像中同一类别物体可能存在一定差异，而不同类别的物体反而显示相似的视觉特征，这导致在分割时存在着不确定性，即类内异质与类间模糊。为了解决此问题，提出一种用于遥感图像分割的模糊多尺度卷积神经网络（FMCNet）。该网络通过提取图像中不同尺度、大小和宽高比的感受野，充分表征遥感物体的细节信息，并利用模糊逻辑有效地表达像素与其相邻像素之间的关系，进而解决遥感图像分割中的不确定性问题。实验结果表明，FMCNet在ISPR Vaihingen和Potsdam数据集上的整体准确率（OA）分别为85.3%和86.3%，优于现有流行的语义分割方法。

关键词: 语义分割, 卷积神经网络, 模糊逻辑, 遥感图像, 多尺度特征

Abstract:

Affected by imaging distance， illumination， surface features， environment and other factors， objects of the same category in remote sensing images may have certain differences， while objects of different categories instead show similar visual features， which leads to uncertainty in segmentation， that is intra-class heterogeneity and inter-class ambiguity. To solve these problems， a Fuzzy Multiscale Convolutional Neural Network （FMCNet） was proposed for remote sensing image segmentation. By extracting receptive fields of different scales， sizes and aspect ratios， the detailed information in remote sensing objects was fully represented， and fuzzy logic was used to effectively express the relationship between pixels and their adjacent pixels， thus overcoming the uncertainty problem in remote sensing image segmentation. Experimental results show that the Overall Accuracy （OA） of FMCNet on ISPR Vaihingen and Potsdam datasets is 85.3% and 86.3% respectively， outperforming the existing state-of-the-art semantic segmentation methods.

Key words: semantic segmentation, convolutional neural network, fuzzy logic, remote sensing image, multiscale feature

中图分类号:

TP 391

李子怡, 曲婷婷, 崇乾鹏, 徐金东. 基于模糊多尺度特征的遥感图像分割网络[J]. 计算机应用, 2024, 44(11): 3581-3586.

Ziyi LI, Tingting QU, Qianpeng CHONG, Jindong XU. Remote sensing image segmentation network based on fuzzy multiscale features[J]. Journal of Computer Applications, 2024, 44(11): 3581-3586.

图/表 8

参考文献 20

1	CHEN B， XIA M， HUANG J. MFANet： a multi-level feature aggregation network for semantic segmentation of land cover［J］. Remote Sensing， 2021， 13（4）： No.731.
2	杨军，于茜子. 结合空洞卷积的FuseNet变体网络高分辨率遥感影像语义分割［J］. 武汉大学学报（信息科学版）， 2022， 47（7）： 1071-1080.
	YANG J， YU X Z. Semantic segmentation of high-resolution remote sensing images based on improved FuseNet combined with atrous convolution［J］. Geomatics and Information Science of Wuhan University， 2022， 47（7）： 1071-1080.
3	肖春姣，李宇，张洪群，等.深度融合网结合条件随机场的遥感图像语义分割［J］. 遥感学报， 2020， 24（3）： 254-264.
	XIAO C J， LI Y， ZHANG H Q， et al. Semantic segmentation of remote sensing image based on deep fusion networks and conditional random field［J］. Journal of Remote Sensing， 2020， 24（3）： 254-264.
4	CHEN L C， PAPANDREOU G， KOKKINOS I. Semantic image segmentation with deep convolutional nets and fully connected CRFs［EB/OL］. （2016-06-07）［2023-07-10］..
5	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）： 834-848.
6	CHEN L C， ZHU Y， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 833-851.
7	LIN J， JING W， SONG H. SAN： scale-aware network for semantic segmentation of high-resolution aerial images［EB/OL］. （2019-07-06）［2023-07-10］..
8	LI R， ZHENG S， ZHANG C， et al. Multiattention network for semantic segmentation of fine resolution remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： No.5607713.
9	WANG H， MIAO F. Building extraction from remote sensing images using deep residual U-Net［J］. European Journal of Remote Sensing， 2022， 55（1）： 71-85.
10	CHEN M， WU J， LIU L， et al. DRNet： an improved network for building extraction from high resolution remote sensing image［J］. Remote Sensing， 2021， 13（2）： No.294.
11	CHONG Q， XU J， JIA F， et al. A multiscale fuzzy dual-domain attention network for urban remote sensing image segmentation［J］. International Journal of Remote Sensing， 2022， 43（14）： 5480-5501.
12	GERKE M， ROTTENSTEINER F， WEGNER J D， et al. ISPRS semantic labeling contest［J］. Remote Sensing， 2020， 12（3）： 417-446.
13	SU Y， CHENG J， BAI H， et al. Semantic segmentation of very-high-resolution remote sensing images via deep multi-feature learning［J］. Remote Sensing， 2022， 14（3）： No.533.
14	WANG Q， ZHANG X， CHEN G， et al. Change detection based on Faster R-CNN for high-resolution remote sensing images［J］. Remote Sensing Letters， 2018， 9（10）： 923-932.
15	LI R， ZHENG S， DUAN C， et al. Multistage attention ResU-Net for semantic segmentation of fine-resolution remote sensing images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： No.8009205.
16	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 3431-3440.
17	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
18	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.
19	LI R， DUAN C， ZHENG S， et al. MACU-Net for semantic segmentation of fine-resolution remotely sensed images［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： No.8007205.
20	QU T， XU J， CHONG Q， et al. Fuzzy neighborhood neural network for high-resolution remote sensing image segmentation［J］. European Journal of Remote Sensing， 2023， 56（1）： No.2174706.

方法	Vaihingen								Potsdam
	F1					mF1	FWIoU	OA	F1					mF1	FWIoU	OA
	建筑物	低矮植被	汽车	不透明水表面	树木	mF1	FWIoU	OA	建筑物	低矮植被	汽车	不透明水表面	树木	mF1	FWIoU	OA
FCN	0.930	0.776	0.760	0.843	0.849	0.832	0.739	0.842	0.882	0.846	0.675	0.861	0.753	0.803	0.684	0.815
U-Net	0.913	0.777	0.819	0.832	0.856	0.840	0.728	0.841	0.854	0.856	0.738	0.853	0.748	0.810	0.697	0.822
SegNet	0.912	0.749	0.741	0.822	0.852	0.815	0.712	0.831	0.849	0.837	0.631	0.832	0.636	0.757	0.648	0.791
DeepLabV3+	0.932	0.772	0.775	0.825	0.861	0.833	0.733	0.844	0.929	0.878	0.804	0.882	0.772	0.853	0.753	0.859
MACU-Net	0.867	0.774	0.752	0.792	0.845	0.806	0.698	0.820	0.883	0.856	0.717	0.852	0.689	0.799	0.696	0.823
MaNet	0.938	0.771	0.825	0.848	0.856	0.848	0.737	0.847	0.930	0.878	0.805	0.789	0.893	0.859	0.755	0.860
FNNet	0.943	0.774	0.841	0.852	0.857	0.853	0.741	0.850	0.932	0.816	0.825	0.850	0.856	0.856	0.747	0.853
FMCNet	0.946	0.777	0.826	0.859	0.860	0.854	0.746	0.853	0.932	0.880	0.807	0.789	0.897	0.861	0.759	0.863

方法	Vaihingen								Potsdam
	F1					mF1	FWIoU	OA	F1					mF1	FWIoU	OA
	建筑物	低矮植被	汽车	不透明水表面	树木	mF1	FWIoU	OA	建筑物	低矮植被	汽车	不透明水表面	树木	mF1	FWIoU	OA
FCN	0.930	0.776	0.760	0.843	0.849	0.832	0.739	0.842	0.882	0.846	0.675	0.861	0.753	0.803	0.684	0.815
U-Net	0.913	0.777	0.819	0.832	0.856	0.840	0.728	0.841	0.854	0.856	0.738	0.853	0.748	0.810	0.697	0.822
SegNet	0.912	0.749	0.741	0.822	0.852	0.815	0.712	0.831	0.849	0.837	0.631	0.832	0.636	0.757	0.648	0.791
DeepLabV3+	0.932	0.772	0.775	0.825	0.861	0.833	0.733	0.844	0.929	0.878	0.804	0.882	0.772	0.853	0.753	0.859
MACU-Net	0.867	0.774	0.752	0.792	0.845	0.806	0.698	0.820	0.883	0.856	0.717	0.852	0.689	0.799	0.696	0.823
MaNet	0.938	0.771	0.825	0.848	0.856	0.848	0.737	0.847	0.930	0.878	0.805	0.789	0.893	0.859	0.755	0.860
FNNet	0.943	0.774	0.841	0.852	0.857	0.853	0.741	0.850	0.932	0.816	0.825	0.850	0.856	0.856	0.747	0.853
FMCNet	0.946	0.777	0.826	0.859	0.860	0.854	0.746	0.853	0.932	0.880	0.807	0.789	0.897	0.861	0.759	0.863

模型	FNL	MSFE	OA	FWIoU
Baseline			0.892	0.808
Baseline w/FNL	√		0.891	0.807
Baseline w/MSFE		√	0.893	0.810
FMCNet	√	√	0.915	0.848

模型	FNL	MSFE	OA	FWIoU
Baseline			0.892	0.808
Baseline w/FNL	√		0.891	0.807
Baseline w/MSFE		√	0.893	0.810
FMCNet	√	√	0.915	0.848

ID	方法	参数量/10⁶	运行时间/s
1	FCN	91.40	7.679
2	U-Net	51.16	6.107
3	SegNet	112.45	6.343
4	DeepLabV3+	229.19	7.118
5	MaNet	88.17	6.664
6	MACU-Net	19.74	6.084
7	FNNet	137.06	7.409
8	FMCNet	119.19	7.508

基于模糊多尺度特征的遥感图像分割网络

Remote sensing image segmentation network based on fuzzy multiscale features

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 20

相关文章 15

编辑推荐

Metrics

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	戎妍, 刘嘉雯, 李馨蕾. 面向学生课堂情感计算的自适应混合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2919-2930.
[3]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[4]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[5]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[6]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[7]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[8]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[9]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[10]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[11]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[12]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[13]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[14]	高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1471-1478.
[15]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.