基于分数阶网络和强化学习的图像实例分割模型

doi:10.11772/j.issn.1001-9081.2021020324

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (2): 574-583.DOI: 10.11772/j.issn.1001-9081.2021020324

• 多媒体计算与计算机仿真 • 上一篇

基于分数阶网络和强化学习的图像实例分割模型

李学明¹(), 吴国豪¹, 周尚波¹, 林晓然², 谢洪斌³

^1.重庆大学计算机学院, 重庆 400044
^2.河北经贸大学信息技术学院, 石家庄 050061
^3.外生成矿与矿山环境重庆市重点实验室(重庆地质矿产研究院), 重庆 400042

收稿日期:2021-03-04 修回日期:2021-04-29 接受日期:2021-04-30 发布日期:2021-07-29 出版日期:2022-02-10
通讯作者: 李学明
作者简介:李学明（1967—），男，重庆人，教授，博士，主要研究方向：深度学习、数据挖掘；
吴国豪（1997—），男，山东菏泽人，硕士研究生，主要研究方向：强化学习、分数阶非线性系统；
周尚波（1963—），男，广西宁明人，教授，博士，主要研究方向：视频图像信号处理、混沌控制理论；
林晓然（1983—），女，河北石家庄人，讲师，博士，主要研究方向：图像信号处理、非线性系统、图像处理；
谢洪斌（1985—），男，四川南部人，高级工程师，硕士，主要研究方向：遥感地质、遥感图像处理。
基金资助:
河北省高等学校科学技术研究项目(QN2019069);重庆市自然科学基金面上项目(cstc2019jcyj-msxmX0657)

Image instance segmentation model based on fractional-order network and reinforcement learning

Xueming LI¹(), Guohao WU¹, Shangbo ZHOU¹, Xiaoran LIN², Hongbin XIE³

^1.College of Computer Science，Chongqing University，Chongqing 400044，China
^2.School of Information Technology，Hebei University of Economics and Business，Shijiazhuang Hebei 050061，China
^3.Chongqing Key Laboratory of Exogenic Mineralization and Mine Environment （Chongqing Institute of Geology and Mineral Resources），Chongqing 400042，China

Received:2021-03-04 Revised:2021-04-29 Accepted:2021-04-30 Online:2021-07-29 Published:2022-02-10
Contact: Xueming LI
About author:LI Xueming， born in 1967， Ph. D.， professor. His research interests include deep learning， data mining.
WU Guohao， born in 1997， M. S. candidate. His research interests include reinforcement learning， fractional-order nonlinear system.
ZHOU Shangbo， born in 1963， Ph. D.， professor. His research interests include video and image signal processing， chaos control theory.
LIN Xiaoran， born in 1983， Ph. D.， lecturer. Her research interests include image signal processing， nonlinear system， image processing.
XIE Hongbin， born in 1985， M. S.， senior engineer. His research interests include remote sensing in geology， remote sensing image processing.
Supported by:
Science and Technology Research Project of Higher Education of Hebei Province(QN2019069);Surface Program of Chongqing Natural Science Foundation(cstc2019jcyj-msxmX0657)

摘要/Abstract

摘要：

针对目前的分数阶非线性模型图像特征提取能力不足导致分割精度较低的问题，提出一种基于分数阶网络和强化学习（RL）的图像实例分割模型，用来分割出图像中目标实例的高质量轮廓曲线。该模型共包含两层模块：1）第一层为二维分数阶非线性网络，主要采用混沌同步方法来获取图像中像素点的基础特征，并通过根据像素点间的相似性进行耦合连接的方式获取初步的图像分割结果；2）第二层通过RL思想将图像实例分割建立为一个马尔可夫决策过程（MDP），并利用建模过程中的动作-状态对、奖励函数和策略的设计来获取图像的区域结构和类别信息。最后将第一层获取到的像素特征和初步的图像分割结果与第二层获取到的区域结构和类别信息联合起来进行实例分割。在Pascal VOC2007 和Pascal VOC2012数据集上的实验结果表明，这种基于连续决策的图像实例分割模型与传统的分数阶模型相比，平均精度（AP）至少提升了15个百分点，不仅能够获取图像中目标物体的类别信息，而且进一步提升了对图像轮廓细节和细粒度信息的提取能力。

关键词: 强化学习, 分数阶网络, 混沌同步, 混沌吸引子, 马尔可夫决策过程, 像素-动作策略

Abstract:

Aiming at the low segmentation precision caused by the lack of image feature extraction ability of the existing fractional-order nonlinear models， an instance segmentation model based on fractional-order network and Reinforcement Learning （RL） was proposed to generate high-quality contour curves of target instances in the image. The model consists of two layers of modules： 1） the first layer was a two-dimensional fractional-order nonlinear network in which the chaotic synchronization method was mainly utilized to obtain the basic characteristics of the pixels in the image， and the preliminary segmentation result of the image was acquired through the coupling and connection according to the similarity among the pixels； 2） the second layer was to establish instance segmentation as a Markov Decision Process （MDP） based on the idea of RL， and the action-state pairs， reward functions and strategies during the modeling process were designed to extract the region structure and category information of the image. Finally， the pixel features and preliminary segmentation result of the image obtained from the first layer were combined with the region structure and category information obtained from the second layer for instance segmentation. Experimental results on datasets Pascal VOC2007 and Pascal VOC2012 show that compared with the existing fractional-order nonlinear models， the proposed model has the Average Precision （AP） improved by at least 15 percentage points， verifying that the sequential decision-based instance segmentation model not only can obtain the class information of the target objects in the image， but also further enhance the ability to extract contour details and fine-grained information of the image.

Key words: Reinforcement Learning (RL), fractional-order network, chaos synchronization, chaotic attractor, Markov Decision Process (MDP), pixel-action strategy

中图分类号:

TP 391.9

李学明, 吴国豪, 周尚波, 林晓然, 谢洪斌. 基于分数阶网络和强化学习的图像实例分割模型[J]. 计算机应用, 2022, 42(2): 574-583.

Xueming LI, Guohao WU, Shangbo ZHOU, Xiaoran LIN, Hongbin XIE. Image instance segmentation model based on fractional-order network and reinforcement learning[J]. Journal of Computer Applications, 2022, 42(2): 574-583.

图/表 11

图1 不同耦合力的相位方差

Fig. 1 Phase variance of different coupling force

图2 模型体系架构

Fig. 2 Model architecture

图3 自然图像“飞机”

Fig. 3 Natural image “plane”

图4 图3中不同目标物体对应的吸引子

Fig. 4 Attractors corresponding to different target objects in Fig. 3

图5 不同视角下不同坐标的振子相位图

Fig. 5 Phase diagrams of oscillators in different coordinates under different perspectives

图6 图3中代表不同目标物体的振子间相位方差随时间变化曲线

Fig. 6 Curves of phase standards between oscillators representing different objects in Fig. 3 varying with time

图7 本文模型与基准模型FCPSM的实验效果对比

Fig. 7 Comparison of experimental results between the proposed model and baseline model FCPSM

图8 不同图像实例分割模型的实验效果对比

Fig. 8 Comparisons of result of different image instance segmentation models

表1 各个模型的AP值 ( %)

Tab. 1 AP of each model

模型	AP
模型	Pascal VOC2007	Mixed dataset
LEGION	31.9	32.3
SMCS	47.2	47.4
CPS	49.8	49.6
FCPSM	54.5	53.7
NMVS	53.9	53.2
OVSF	60.4	64.3
本文模型	69.9	75.5

图9 本文模型部分实验效果

Fig. 9 Some experimental results for the proposed model

图10 不同数据集上的实验结果对比

Fig. 10 Comparison of experiment results on different datasets

参考文献 28

1	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）： 386-397. 10.1109/tpami.2018.2844175
2	DAI J F， HE K M， SUN J. Instance-aware semantic segmentation via multi-task network cascades ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 3150-3158. 10.1109/cvpr.2016.343
3	LAROCHELLE H， HINTON G. Learning to combine foveal glimpses with a third-order Boltzmann machine ［C］// Proceedings of the 23rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2010： 1243-1251.
4	HARIHARAN B， ARBELÁEZ P， GIRSHICK R， et al. Hyper-columns for object segmentation and fine-grained localization ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 447-456. 10.1109/cvpr.2015.7298642
5	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）： 640-651. 10.1109/tpami.2016.2572683
6	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Playing Atari with deep reinforcement learning［EB/OL］. （2013-12-20）［2020-12-15］. . 10.1038/nature14236
7	CHEN K， WANG D L. A dynamically coupled neural oscillator network for image segmentation［J］. Neural Networks， 2002， 15（3）： 423-439. 10.1016/s0893-6080(02)00028-x
8	SALEEM A B， LIEN A D， KRUMIN M， et al. Subcortical source and modulation of the narrowband Gamma oscillation in mouse visual cortex［J］. Neuron， 2017， 93（2）： 315-322. 10.1016/j.neuron.2016.12.028
9	BREVE F A， ZHAO L， QUILES M G， et al. Chaotic phase synchronization and desynchronization in an oscillator network for object selection［J］. Neural Networks， 2009， 22（5/6）： 728-737. 10.1016/j.neunet.2009.06.027
10	ZHAO L， BREVE F A. Chaotic synchronization in 2D lattice for scene segmentation［J］. Neurocomputing， 2008， 71（13/14/15）： 2761-2771. 10.1016/j.neucom.2007.09.011
11	禹思敏，林清华，丘水生.四维系统中多涡卷混沌与超混沌吸引子的仿真研究［J］.物理学报， 2003， 52（1）： 25-33. 10.7498/aps.52.25
	YU S M， LIN Q H， QIU S S. Simulation investigation on multi-scroll chaotic and hyperchaotic attractors for four-dimensional systems［J］. Acta Physica Sinica， 2003， 52（1）： 25-33. 10.7498/aps.52.25
12	OLDHAM K， SPANIER J. The Fractional Calculus Theory and Applications of Differentiation and Integration to Arbitrary Order ［M］. New York： Elsevier， 1974.
13	HUNGENAHALLY S. Neural basis for the design of fractional-order perceptual filters： applications in image enhancement and coding ［C］// Proceedings of the 1995 IEEE International Conference on Systems， Man and Cybernetics： Intelligent Systems for the 21st Century. Piscataway： IEEE， 1995： 4626-4631. 10.1109/icsmc.1995.538525
14	BAI J， FENG X C. Fractional-order anisotropic diffusion for image denoising［J］. IEEE Transactions on Image Processing， 2007， 16（10）： 2492-2502. 10.1109/tip.2007.904971
15	WANG D L， TERMAN D. Locally excitatory globally inhibitory oscillator networks［J］. IEEE Transactions on Neural Networks， 1995， 6（1）： 283-286. 10.1109/72.363423
16	ZHAO L， CUPERTINO T H， BERTINI J R， Jr. Chaotic synchronization in general network topology for scene segmentation［J］. Neurocomputing， 2008， 71（16/17/18）： 3360-3366. 10.1016/j.neucom.2008.02.024
17	BENICASA A X， QUILES M G， SILVA T C， et al. An object-based visual selection framework［J］. Neurocomputing， 2016， 180： 35-54. 10.1016/j.neucom.2015.10.111
18	QIAO Y H， LIU X J， MIAO J， et al. A neural network model for visual selection and shifting［J］. Journal of Integrative Neuroscience， 2016， 15（3）： 321-335. 10.1142/s0219635216500205
19	LIN X R， ZHOU S B， TANG H B， et al. A novel fractional-order chaotic phase synchronization model for visual selection and shifting［J］. Entropy， 2018， 20（4）： No.251. 10.3390/e20040251
20	DAS A， KOTTUR S， MOURA J M F， et al. Learning cooperative visual dialog agents with deep reinforcement learning ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2970-2979. 10.1109/iccv.2017.321
21	LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［EB/OL］. （2019-07-05）［2020-12-15］. .
22	CAICEDO J， LAZEBNIK S. Active object localization with deep reinforcement learning ［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 2488-2496. 10.1109/iccv.2015.286
23	KONG X Y， XIN B， WANG Y Z， et al. Collaborative deep reinforcement learning for joint object search ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 7072-7081. 10.1109/cvpr.2017.748
24	CHOI J， KWON J， LEE K M. Real-time visual tracking by deep reinforced decision making［J］. Computer Vision and Image Understanding， 2018， 171： 10-19. 10.1016/j.cviu.2018.05.009
25	KRULL A， BRACHMANN E， NOWOZIN S， et al. Poseagent： budget-constrained 6D object pose estimation via reinforcement learning ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2566-2574. 10.1109/cvpr.2017.275
26	刘全，翟建伟，章宗长，等.深度强化学习综述［J］.计算机学报， 2018， 41（1）： 1-27. 10.11897/SP.J.1016.2018.00001
	LIU Q， ZHAI J W， ZHANG Z Z， et al. A survey on deep reinforcement learning［J］. Chinese Journal of Computers， 2018， 41（1）： 1-27. 10.11897/SP.J.1016.2018.00001
27	ABEELB P， NG A Y. Apprenticeship learning via inverse reinforcement learning ［C］// Proceedings of the 21st International Conference on Machine Learning. New York： ACM， 2004： No.1. 10.1145/1015330.1015430
28	HAN J W， YANG L， ZHANG D W， et al. Reinforcement cutting-agent learning for video object segmentation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9080-9089. 10.1109/cvpr.2018.00946

[1]	曾柏森, 钟勇, 牛宪华. 基于因子分解机用于安全探索的Q表初始化方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 209-214.
[2]	周烁, 仇润鹤, 唐旻俊. 基于禁忌搜索和Q-learning的CR-NOMA系统的功率分配算法[J]. 计算机应用, 2021, 41(7): 2026-2032.
[3]	尚芳剑, 李信, 翟迪, 陆阳, 张东磊, 钱玉文. 智能电网中两阶段网络切片资源分配技术[J]. 计算机应用, 2021, 41(7): 2033-2038.
[4]	王宇, 刘燕丽, 陈劭武. 基于顶点冲突学习的最大公共子图算法[J]. 计算机应用, 2021, 41(6): 1756-1760.
[5]	王建平, 王刚, 毛晓彬, 马恩琪. 基于深度强化学习的二连杆机械臂运动控制方法[J]. 计算机应用, 2021, 41(6): 1799-1804.
[6]	杜嘻嘻, 程华, 房一泉. 基于优势演员-评论家算法的强化自动摘要模型[J]. 计算机应用, 2021, 41(3): 699-705.
[7]	刘思嘉, 童向荣. 基于强化学习的城市交通路径规划[J]. 计算机应用, 2021, 41(1): 185-190.
[8]	姚兴虎, 谭晓阳. 基于奖励高速路网络的多智能体强化学习中的全局信用分配算法[J]. 计算机应用, 2021, 41(1): 1-7.
[9]	傅魁, 梁少晴, 李冰. 基于改进的深度Q网络结构的商品推荐模型[J]. 计算机应用, 2020, 40(9): 2613-2621.
[10]	胡学敏, 成煜, 陈国文, 张若晗, 童秀迟. 基于深度时空Q网络的定向导航自动驾驶运动规划[J]. 计算机应用, 2020, 40(7): 1919-1925.
[11]	郑延斌, 樊文鑫, 韩梦云, 陶雪丽. 基于博弈论及Q学习的多Agent协作追捕算法[J]. 计算机应用, 2020, 40(6): 1613-1620.
[12]	任娜, 张楠, 崔妍, 张融雪, 庞新富. 面向无人机电力巡检的语义实体构建及航迹控制方法[J]. 计算机应用, 2020, 40(10): 3095-3100.
[13]	陈佳沣, 滕冲. 基于强化学习的实体关系联合抽取模型[J]. 计算机应用, 2019, 39(7): 1918-1924.
[14]	王甜甜, 于双元, 徐保民. 基于策略梯度算法的工作量证明中挖矿困境研究[J]. 计算机应用, 2019, 39(5): 1336-1342.
[15]	舒凌洲, 吴佳, 王晨. 基于深度强化学习的城市交通信号控制算法[J]. 计算机应用, 2019, 39(5): 1495-1499.

基于分数阶网络和强化学习的图像实例分割模型

Image instance segmentation model based on fractional-order network and reinforcement learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 28

相关文章 15

编辑推荐

Metrics