面向特定目标自识别的交通图像语义检索方法

doi:10.11772/j.issn.1001-9081.2019101795

《计算机应用》唯一官方网站 ›› 2020, Vol. 40 ›› Issue (2): 553-560.DOI: 10.11772/j.issn.1001-9081.2019101795

• 第七届CCF大数据学术会议 • 上一篇下一篇

面向特定目标自识别的交通图像语义检索方法

赵一¹^,², 段兴¹(), 谢仕义¹, 梁春林¹^,²

^1.广东海洋大学数学与计算机学院，广东湛江 524000
^2.湛江湾实验室南海渔业大数据中心，广东湛江 524000

收稿日期:2019-08-30 修回日期:2019-10-24 接受日期:2019-10-24 发布日期:2019-10-31 出版日期:2020-02-10
通讯作者: 段兴
作者简介:赵一（1984—），男，湖北武汉人，讲师，博士，CCF会员，主要研究方向：软件工程、人工智能
谢仕义（l963—），男，广东湛江人，教授，硕士，主要研究方向：软件工程
梁春林（l975—），男，广东湛江人，副教授，硕士，主要研究方向：软件工程。
基金资助:
南方海洋科学与工程广东省实验室自主立项重大项目(ZJW-2019-08);广东海洋大学创新强校重大科研项目(GDOU2017052501)

Traffic image semantic retrieval method based on specific object self-recognition

Yi ZHAO¹^,², Xing DUAN¹(), Shiyi XIE¹, Chunlin LIANG¹^,²

^1.College of Mathematics and Computer Science，Guangdong Ocean University，Zhanjiang Guangdong 524000，China
^2.Guangdong Zhanjiang Bay Laboratory，Fisheries Big Data Center of South China Sea，Zhanjiang Guangdong 524000，China

Received:2019-08-30 Revised:2019-10-24 Accepted:2019-10-24 Online:2019-10-31 Published:2020-02-10
Contact: Xing DUAN
About author:ZHAO Yi， born in 1984， Ph. D.， lecturer. His research interests include software engineering， artificial intelligence.
XIE Shiyi， born in 1963， M. S.， professor. His research interests include software engineering.
LIANG Chunlin， born in 1975， M. S.， associate professor. His research interests include software engineering.
Supported by:
the Guangdong Laboratory Autonomous Set Up Major Project for Southern Marine Science and Engineering(ZJW-2019-08);the Major Scientific Research Projects of Innovative and Strong University of Guangdong Ocean University(GDOU2017052501)

摘要/Abstract

摘要：

为了从海量的道路交通图像中检索出违反交通法规的图像，提出了一种特定目标自识别的语义图像检索方法。首先，通过交通领域专家建立交通领域本体及道路交通规则描述；然后，通过卷积神经网络（CNN）对交通图像的特征进行提取，并结合改进的支持向量机决策树（SVM-DT）算法对图像特征进行分类的策略，对交通图像中的特定目标及目标间空间位置关系进行自动识别，并映射成为相应的本体实例及其对象之间的关联关系（规则实例）；最后，利用本体实例和规则实例，通过推理得到语义检索结果。实验结果表明，相比关键字和本体交通图像语义检索方法，所提方法具有更高的准确率、召回率和检索效率。

关键词: 交通领域本体, 图像语义检索, 语义推理, 支持向量机决策树分类, 目标识别

Abstract:

In order to retrieve images of traffic violations from a large number of road traffic images， a semantic retrieval method based on specific object self-recognition was proposed. Firstly， road traffic domain ontology as well as road traffic rule description were established by experts in traffic domain. Secondly， traffic image features were extracted by Convolutional Neural Network （CNN）， and combined with the strategy for classifying image features which is based on the proposed improved Support Vector Machine based Decision Tree （SVM-DT） algorithm， the specific objects and the spatial positional relationship between the objects in the traffic images were automatically recognized and mapped into the association relationship （rule instance） between the corresponding ontology instance and its objects. Finally， the image semantic retrieval result was obtained by reasoning based on ontology instances and rule instances. Experimental results show that the proposed method has higher accuracy， recall and retrieval efficiency compared to keyword and ontology traffic image semantic retrieval methods.

Key words: traffic ontology, image semantic retrieval, semantic reasoning, Support Vector Machine Decision Tree (SVM-DT) classification, object recognition

中图分类号:

TP751

赵一, 段兴, 谢仕义, 梁春林. 面向特定目标自识别的交通图像语义检索方法[J]. 计算机应用, 2020, 40(2): 553-560.

Yi ZHAO, Xing DUAN, Shiyi XIE, Chunlin LIANG. Traffic image semantic retrieval method based on specific object self-recognition[J]. Journal of Computer Applications, 2020, 40(2): 553-560.

图/表 11

图1 基于领域知识的交通图像语义检索框架

Fig. 1 Traffic image semantic retrieval framework based on domain knowledge

表1 道路交通领域法规

Tab. 1 Rules in the domain of road traffic

法规#	法规描述
Rule1	当斑马线前方红灯亮起时，如果行人还处在斑马线上，则判定行人违规
Rule2	当机动车道前方红灯亮起时，如果机动车压在停车线上，则判定机动车违规
Rule3	非机动车驶入机动车道行驶，则判定非机动车违规
Rule4	驾驶摩托车时后座乘坐不满12岁小孩，则判定摩托车违规
Rule5	机动车压在双黄线上行驶，则判定机动车违规

图2 道路交通领域知识

Fig. 2 Road traffic domain knowledge

图3 交通图像实例的位置关系

Fig. 3 Local relationship of traffic graph instance

图4 图像目标及其关联与领域本体的映射

Fig. 4 Mapping of image objects and their associations with domain ontologies

图5 汽车与双实线之间位置关系实例

Fig. 5 Example of positional relationship between cars and double solid lines

表2 图像目标实例与本体关联属性的映射

Tab. 2 Mapping of image object instances and ontology-related attributes

序号	图像目标实例	本体实例间关联属性
1	$R 1$ 处于 $R 2$ 上面	在上面（？A，？B）
2	$R 1$ 处于 $R 2$ 下面	在下面（？A，？B）
3	$R 1$ 处于 $R 2$ 左边	在左边（？A，？B）
4	$R 1$ 处于 $R 2$ 右边	在右边（？A，？B）
5	$R 1$ 处于 $R 2$ 中	相交（？A，？B）
6	$R 1$ 与 $R 2$ 平行	平行（？A，？B）
7	$R 1$ 处于 $R 2$ 左上	在左上（？A，？B）
8	$R 1$ 处于 $R 2$ 右上	在右上（？A，？B）
9	$R 1$ 处于 $R 2$ 左下	在左下（？A，？B）
10	$R 1$ 处于 $R 2$ 右下	在右下（？A，？B）

表2 图像目标实例与本体关联属性的映射

Tab. 2 Mapping of image object instances and ontology-related attributes

序号	图像目标实例	本体实例间关联属性
1	$R 1$ 处于 $R 2$ 上面	在上面（？A，？B）
2	$R 1$ 处于 $R 2$ 下面	在下面（？A，？B）
3	$R 1$ 处于 $R 2$ 左边	在左边（？A，？B）
4	$R 1$ 处于 $R 2$ 右边	在右边（？A，？B）
5	$R 1$ 处于 $R 2$ 中	相交（？A，？B）
6	$R 1$ 与 $R 2$ 平行	平行（？A，？B）
7	$R 1$ 处于 $R 2$ 左上	在左上（？A，？B）
8	$R 1$ 处于 $R 2$ 右上	在右上（？A，？B）
9	$R 1$ 处于 $R 2$ 左下	在左下（？A，？B）
10	$R 1$ 处于 $R 2$ 右下	在右下（？A，？B）

图6 目标自识别的交通图像语义检索工具框架

Fig. 6 Traffic image semantic retrieval tool framework based on target self-recognition

图7 不同方法搜索交通违规图像的结果

Fig. 7 Results of different methods for searching traffic violation images

图8 各算法在不同指标上对比结果

Fig. 8 Result comparison of each algorithm on different indicators

图9 四个规则搜索的返回结果示例

Fig. 9 Results of retrieval by four rules

参考文献 22

1	郭雪梅. 中国工程院院士高文：城市多媒体大数据高效存储与处理技术［EB/OL］. ［2019-02-20］.［EB/OL］. ［2019-02-20］..
2	高隽，谢昭，张骏，等. 图像语义分析与理解综述［J］. 模式识别与人工智能， 2010， 23（2）：191-202. 10.3969/j.issn.1003-6059.2010.02.010
	GAO J， XIE Z， ZHANG J. et al. Image semantic analysis and understanding： a review［J］. Pattern Recognition and Artificial Intelligence， 2010， 23（2）：191-202. 10.3969/j.issn.1003-6059.2010.02.010
3	DESEMO T M， ANTANI S， LONG R. Ontology of gaps in content-based image retrieval［J］. Journal of Digital Imaging， 2009， 22（2）：202-215. 10.1007/s10278-007-9092-x
4	SCHOBER J P， HERMES T， HERZOG O. Content-based image retrieval by ontology-based object recognition［C/OL］// Ki-2004 Workshop on Applications of Description Logics. ［2019-02-20］.. 10.1109/icme.2005.1521735
5	ZHOU W， LI H， SUN J， et al. Collaborative index embedding for image retrieval［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（5）：1154-1166. 10.1109/tpami.2017.2676779
6	MEERSMAN R A. Semantic ontology tools in IS design［C］// Proceedings of the 1999 International Symposium on Methodologies for Intelligent Systems， LNCS1609. Berlin： Springer， 1999： 30-45.
7	KANIMOZHI T， CHRISTY A. Applications of ontology and semantic Web in image retrieval and research issues［J］. International Journal of Computer Science and Information Technologies， 2014， 5（1）：763-769
8	SCHREIBER A T， DUBBELDAM B， WIELEMAKER J， et al. Ontology-based photo annotation［J］. IEEE Intelligent Systems， 2001， 16（3）：66-74. 10.1109/5254.940028
9	HOLLINK L， SCHREIBER G， WIELEMAKER J， et al. Semantic annotation of image collections ［EB/OL］. ［2019-02-20］. . 10.2139/ssrn.3199367
10	POSLAD S， KESORN K. A Multi-Modal Incompleteness Ontology model （MMIO） to enhance information fusion for image retrieval［J］. Information Fusion， 2014， 20：225-241. 10.1016/j.inffus.2014.02.003
11	HAUBOLD A， NATSEV A， NAPHADE M R. Semantic multimedia retrieval using lexical query expansion and model-based reranking［C］// Proceedings of the 2006 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2006： 1761-1764. 10.1109/icme.2006.262892
12	DASIOPOULOU S， MEZARIS V， KOMPATSIARIS I， et al. An ontology-based framework for semantic image analysis and retrieval［M］// Semantic-Based Visual Information Retrieval. Hershey， PA： IRMA Press. 2007： 208-246. 10.4018/978-1-59904-370-8.ch010
13	KESORN K， POSLAD S. An enhanced bag-of-visual word vector space model to represent visual content in athletics images［J］. IEEE Transactions on Multimedia， 2012， 14（1）： 211-222. 10.1109/TMM.2011.2170665
14	NATSEV A， HAUBOLD A， TEŠIĆ J， et al. Semantic concept-based query expansion and re-ranking for multimedia retrieval［C］// Proceedings of the 15th ACM International Conference on Multimedia. New York： ACM， 2007： 991-1000. 10.1145/1291233.1291448
15	万华林， CHOWDHURY M U. 基于支持向量机的图像语义分类［J］. 软件学报， 2003， 14（11）：1891-1899.
	WAN H L， CHOWDHURY M U. Image semantic classification by using SVM［J］. Journal of Software， 2003， 14（11）：1891-1899.
16	DENG L. The MNIST database of handwritten digit images for machine learning research ［best of the Web］［J］. IEEE Signal Processing Magazine， 2012， 29（6）： 141-142. 10.1109/MSP.2012.2211477
17	MEZARIS V， KOMPATSIARIS I， STRINTZIS M G. An ontology approach to object-based image retrieval［C］// Proceedings of the 2003 International Conference on Image Processing. Piscataway： IEEE， 2003， 2： 511-514. 10.1109/icip.2003.1246729
18	AL-SMADI M， TALAFHA B， AL-AYYOUB M， et al. Using long short-term memory deep neural networks for aspect-based sentiment analysis of Arabic reviews［J］. International Journal of Machine Learning and Cybernetics， 2019， 10（8）：2163-2175. 10.1007/s13042-018-0799-4
19	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
20	KANG J， Y-J PARK， LEE J. Novel leakage detection by ensemble CNN-SVM and graph-based localization in water distribution systems［J］. IEEE Transactions on Industrial Electronics， 2018， 65（5）： 4279-4289. 10.1109/tie.2017.2764861
21	WANG X， WU C， QI Y， et al. HRRP classification by using improved SVM decision tree［C］// Proceedings of the 6th World Congress on Intelligent Control and Automation. Piscataway： IEEE， 2006： 10096-10100. 10.1109/wcica.2006.1713975
22	连可，黄建国，王厚军，等. 一种基于遗传算法的SVM决策树多分类策略研究［J］. 电子学报， 2008， 36（8）：1502-1507. 10.3321/j.issn:0372-2112.2008.08.006
	LIAN K， HUANG J G， WANG H J， et al. Study on a GA-based SVM decision-tree multi-classification strategy［J］. Acta Electronica Sinica， 2008， 36（8）： 1502-1507. 10.3321/j.issn:0372-2112.2008.08.006

[1]	黄学雨, 徐浩特, 陶剑文. 具有特征选择的多源自适应分类框架[J]. 计算机应用, 2020, 40(9): 2499-2506.
[2]	杨辉华, 张天宇, 李灵巧, 潘细朋. 基于MobileNet的移动端城管案件目标识别算法[J]. 计算机应用, 2019, 39(8): 2475-2479.
[3]	王鑫, 张鑫, 宁晨. 基于多特征降维和迁移学习的红外人体目标识别方法[J]. 计算机应用, 2019, 39(12): 3490-3495.
[4]	张文达, 许悦雷, 倪嘉成, 马时平, 史鹤欢. 基于多尺度分块卷积神经网络的图像目标识别算法[J]. 计算机应用, 2016, 36(4): 1033-1038.
[5]	陈彬彬, 邓新蒲, 杨俊刚. 基于U弦长曲率的抗旋转性广义Hough变换算法[J]. 计算机应用, 2015, 35(9): 2619-2623.
[6]	薄树奎荆永菊. 遥感影像目标识别中的多尺度分析[J]. 计算机应用, 2013, 33(11): 3190-3192.
[7]	刘振姜晖王粒宾. 基于加权两向二维线性鉴别分析的SAR目标识别方法[J]. 计算机应用, 2013, 33(02): 534-538.
[8]	刘敬赵峰刘逸. 基于散度比例准则的高分辨距离像特征提取[J]. 计算机应用, 2012, 32(04): 1025-1029.
[9]	张新征. 基于多小波子带加权判别熵的SAR目标ICA特征提取及识别[J]. 计算机应用, 2011, 31(09): 2468-2472.
[10]	米红妹邱天爽. 基于压缩传感特征提取的低分辨雷达目标识别[J]. 计算机应用, 2011, 31(08): 2105-2107.
[11]	陈方蒋云良许允喜. 改进的CenSurE特征和基于相加图像梯度的快速描述符[J]. 计算机应用, 2011, 31(07): 1818-1821.
[12]	丘柳东王牛李祖枢. 凸形目标的快速区域修正与标记算法[J]. 计算机应用, 2011, 31(05): 1214-1216.
[13]	雷阳华继学. 基于优先关系定序法的IFS非隶属度函数确定方法[J]. 计算机应用, 2008, 28(8): 2101-2102.
[14]	刘晓沐岳丽华陈博陈雁. 遥感图像目标识别的并行处理方法[J]. 计算机应用, 2007, 27(9): 2123-2125.
[15]	周代英张琰. 雷达目标一维像识别中的自适应特征子空间法[J]. 计算机应用, 2007, 27(8): 2044-2046.

面向特定目标自识别的交通图像语义检索方法

Traffic image semantic retrieval method based on specific object self-recognition

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 22

相关文章 15

编辑推荐

Metrics