基于深度图像信息的手语识别算法

计算机应用 ›› 2013, Vol. 33 ›› Issue (10): 2882-2885.

基于深度图像信息的手语识别算法

杨全,彭进业

西北大学信息科学与技术学院，西安 710127

收稿日期:2013-04-19 修回日期:2013-06-05 出版日期:2013-10-01 发布日期:2013-11-01
通讯作者: 杨全
作者简介:杨全（1980-），女，陕西西安人，讲师，博士研究生，主要研究方向:模式识别、数字图像处理；彭进业（1964-），男，陕西西安人，教授，博士生导师，主要研究方向：数字图像处理。
基金资助:
国家自然科学基金资助项目;高等学校博士学科点专项科研基金资助项目

Sign language recognition algorithm based on depth image information

YANG Quan,PENG Jinye

School of Information Science and Technology, Northwest University, Xi’an Shaanxi 710127, China

Received:2013-04-19 Revised:2013-06-05 Online:2013-11-01 Published:2013-10-01
Contact: YANG Quan

摘要/Abstract

摘要： 为了实现手语视频中手语字母的准确识别，提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息；然后通过计算获得深度图像中手语手势的主轴方向角和质心位置，计算搜索窗口对手势跟踪；进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征；最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%，平均识别率96.47%

关键词: DI_CamShift, 手语视觉单词, Kinect, 深度图像, 尺度不变特征转换, 手语识别

Abstract: In order to realize the accurate recognition of manual alphabets in the sign language video, this paper presented a sign language recognition algorithm based on DI_CamShift (Depth Image CamShift) and SLVW (Sign Language Visual Word). First, it used Kinect to obtain the video and depth image information of sign language gestures. Second, it calculated spindle direction angle and mass center position of the depth images to adjust the search window for gesture tracking. Third, an Ostu algorithm based on depth integral image was applied to gesture segmentation, then the Scale Invariant Feature Transform (SIFT) features was extracted. Finally, it built the SLVW bag of words and used SVM for recognition. The best recognition rate of single manual alphabet can reach 99.67%, and the average recognition rate is 96.47%.

Key words: DI_CamShift, Sign Language Visual Word (SLVW), Kinect, depth image, Scale Invariant Feature Transform (SIFT), sign language recognition

中图分类号:

TP391.41

杨全彭进业. 基于深度图像信息的手语识别算法[J]. 计算机应用, 2013, 33(10): 2882-2885.

YANG Quan PENG Jinye. Sign language recognition algorithm based on depth image information[J]. Journal of Computer Applications, 2013, 33(10): 2882-2885.

[1]	龙广玉, 陈益强, 邢云冰. 连续手语识别中的文本纠正和补全方法[J]. 计算机应用, 2021, 41(3): 694-698.
[2]	张豪, 张强, 邵思羽, 丁海斌. 深度学习在单图像三维模型重建的应用[J]. 计算机应用, 2020, 40(8): 2351-2357.
[3]	喻露, 胡剑锋, 姚磊岳. 基于人体骨架的非标准深蹲姿势检测方法[J]. 计算机应用, 2019, 39(5): 1448-1452.
[4]	邹承明, 罗莹, 徐晓龙. 基于多特征组合的细粒度图像分类方法[J]. 计算机应用, 2018, 38(7): 1853-1856.
[5]	张全贵, 蔡丰, 李志强. 基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别[J]. 计算机应用, 2018, 38(2): 454-457.
[6]	侯荣波, 魏武, 黄婷, 邓超锋. 基于ORB-SLAM的室内机器人定位和三维稠密地图构建[J]. 计算机应用, 2017, 37(5): 1439-1444.
[7]	王红霞, 王坤. 基于加锁机制的静态手势识别方法[J]. 计算机应用, 2016, 36(7): 1959-1964.
[8]	林陶, 黄国荣, 郝顺义, 沈飞. 尺度不变特征转换算法在图像特征提取中的应用[J]. 计算机应用, 2016, 36(6): 1688-1691.
[9]	王梅, 于远芳, 屠大维, 周华. 基于Kinect的环境平面特征提取与重构[J]. 计算机应用, 2016, 36(5): 1366-1370.
[10]	徐海宁, 陈恩庆, 梁成武. 三维动作识别时空特征提取方法[J]. 计算机应用, 2016, 36(2): 568-573.
[11]	蒋穗峰, 李艳春, 肖南峰. 基于手势识别的工业机器人操作控制方法[J]. 计算机应用, 2016, 36(12): 3486-3491.
[12]	陆中秋, 侯振杰, 陈宸, 梁久祯. 基于深度图像与骨骼数据的行为识别[J]. 计算机应用, 2016, 36(11): 2979-2984.
[13]	尚常军, 丁瑞. 基于曲率局部二值模式的深度图像手势特征提取[J]. 计算机应用, 2016, 36(10): 2885-2889.
[14]	谈家谱, 徐文胜. 基于Kinect的指尖检测与手势识别方法[J]. 计算机应用, 2015, 35(6): 1795-1800.
[15]	周东尧, 伍岳庆, 姚宇. 基于全局特征和尺度不变特征转换特征融合的医学图像检索[J]. 计算机应用, 2015, 35(4): 1097-1100.