虚拟现实大空间下多虚拟目标被动触觉交互方法

doi:10.11772/j.issn.1001-9081.2021122123

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (11): 3544-3550.DOI: 10.11772/j.issn.1001-9081.2021122123

所属专题：第二十一届中国虚拟现实大会

• 第二十一届中国虚拟现实大会 • 上一篇下一篇

虚拟现实大空间下多虚拟目标被动触觉交互方法

王杰科¹, 李琳¹^,²(), 张海龙¹, 郑利平²

^1.合肥工业大学计算机与信息学院，合肥 230601
^2.安全关键工业测控技术教育部工程研究中心（合肥工业大学），合肥 230009

收稿日期:2021-12-17 修回日期:2022-03-01 接受日期:2022-03-07 发布日期:2022-05-17 出版日期:2022-11-10
通讯作者: 李琳
作者简介:王杰科（1994—），男，河南许昌人人，硕士研究生，主要研究方向：虚拟现实、人机交互
李琳（1977—），女，安徽合肥人，副教授，博士，CCF会员，主要研究方向：虚拟现实、人机交互 lilin_julia@hfut.edu.cn
张海龙（1998—），男，安徽阜阳人，硕士研究生，主要研究方向：虚拟现实、人机交互
郑利平（1978—），男，湖北麻城人，教授，博士，CCF会员，主要研究方向：计算机图形学与仿真。
基金资助:
国家重点研发计划项目(2020YFC1523100);国家自然科学基金资助项目(61972128)

Passive haptic interaction method for multiple virtual targets in vast virtual reality space

Jieke WANG¹, Lin LI¹^,²(), Hailong ZHANG¹, Liping ZHENG²

^1.School of Computer Science and Information Engineering，Hefei University of Technology，Hefei Anhui 230601，China
^2.Engineering Research Center of Safety Critical Industrial Measurement and Control Technology，Ministry of Education （Hefei University of Technology），Hefei Anhui 230009，China

Received:2021-12-17 Revised:2022-03-01 Accepted:2022-03-07 Online:2022-05-17 Published:2022-11-10
Contact: Lin LI
About author:WANG Jieke， born in 1994， M. S. candidate. His research interests include virtual reality， human‑computer interaction.
LI Lin， born in 1977， Ph. D.， associate professor. Her research interests include virtual reality， human‑computer interaction.
ZHANG Hailong， born in 1998， M. S. candidate. His research interests include virtual reality， human‑computer interaction.
ZHENG Liping， born in 1978， Ph. D.， professor. His research interests include computer graphics and simulation.
Supported by:
National Key Research and Development Program of China(2020YFC1523100);National Natural Science Foundation of China(61972128)

摘要/Abstract

摘要：

针对虚拟现实（VR）大空间下为重定向行走的用户提供被动触觉时存在的虚实交互目标无法一一对应的问题，提出了一种用两个物理代理作为触觉代理为多个虚拟目标提供触觉反馈的方法，以在基于人工势场（APF）的重定向行走过程中，交替地满足用户被动触觉的需求。针对重定向行走算法本身以及标定不精确等原因造成的虚实不对齐的问题，对虚拟目标的位置及朝向进行设计并且在交互阶段引入触觉重定向。仿真实验表明对虚拟目标位置和朝向的设计可以大幅降低对齐误差；而用户实验结果证明触觉重定向的引入进一步提升了交互准确性，且能为用户带来更丰富、更具沉浸感的体验。

关键词: 虚拟现实大空间, 重定向行走, 多虚拟目标, 被动触觉, 触觉重定向

Abstract:

Focused on the issue that real interaction targets cannot be matched with the virtual interaction targets one by one when providing passive haptics for redirected walking users in a vast Virtual Reality （VR） space， a method with two physical proxies acting as haptic proxies to provide haptic feedback for multiple virtual targets was proposed， in order to meet the user’s passive haptic needs alternately during the redirected walking process based on Artificial Potential Field （APF）. Aiming at the misalignment of virtual and real targets caused by the redirected walking algorithm itself and inaccurate calibration， the position and orientation of the virtual target were designed and haptic retargeting was introduced in the interaction stage. Simulation experimental results show that the design of the virtual target position and orientation can reduce the alignment error greatly. User experiments prove that haptic retargeting further improves the interaction accuracy and can bring users a richer and more immersive experience.

Key words: vast Virtual Reality (VR) space, redirected walking, multi?virtual target, passive haptics, haptic retargeting

中图分类号:

TP391.9

王杰科, 李琳, 张海龙, 郑利平. 虚拟现实大空间下多虚拟目标被动触觉交互方法[J]. 计算机应用, 2022, 42(11): 3544-3550.

Jieke WANG, Lin LI, Hailong ZHANG, Liping ZHENG. Passive haptic interaction method for multiple virtual targets in vast virtual reality space[J]. Journal of Computer Applications, 2022, 42(11): 3544-3550.

图/表 14

图1 本文交互系统的设计

Fig. 1 Design of interaction system in this paper

图2 虚拟场景中的路线及交互点示意图

Fig. 2 Schematic diagram of route and interaction points in virtual world

图3 系统软件架构

Fig. 3 Architecture of system software

图4 虚拟交互区位置与朝向的设计

Fig. 4 Design of virtual interaction area position and orientation

图5 角度扩展前后对比

Fig. 5 Comparison before and after angle expansion

图6 重定向过程中Hp和Hv的位置变化

Fig. 6 Position changes of Hp and Hv in haptic retargeting process

图7 仿真场景俯视图

Fig. 7 Vertical view of simulation scene

图8 一次对齐过程

Fig. 8 Process of an alignment

表1 模拟器实验结果统计

Tab. 1 Statistics of experimental results of simulator

实验	EAA/（°）	EAM/（°）	EDA/m	EDM/m	DBR/m
一	111.20	87.20	4.240	4.310	9.3
二	101.80	127.60	0.048	0.044	15.5
三	0.23	0.12	0.049	0.045	17.1

图9 物理交互区与物理场景

Fig. 9 Physical interaction area and physical scene

图10 虚拟交互区与虚拟场景

Fig. 10 Virtual interaction area and virtual scene

图11 成功交互示例

Fig. 11 Example of successful interaction

表2 交互结果统计

Tab. 2 Statistics of interaction results

实验名称	成功率/%	p	交互时间/s
HRI	81.7	0.000 7	2.04
NHRI	38.3	0.000 7	1.68

图12 调查问卷结果

Fig. 12 Results of questionnaire

参考文献 21

1	BOWMAN D A， DAVIS E T， HODGES L F， et al. Maintaining spatial orientation during travel in an immersive virtual environment［J］. PRESENCE： Virtual and Augmented Reality， 1999， 8（6）：618-631. 10.1162/105474699566521
2	RAZZAQUE S， KOHN Z， WHITTON M C. Redirected walking［C/OL］// Proceedings of the 2001 Eurographics Conference ［2021-09-21］..
3	SRA M， GARRIDO‑JURADO S， SCHMANDT C， et al. Procedurally generated virtual reality from 3D reconstructed physical space［C］// Proceedings of the 22nd ACM Conference on Virtual Reality Software and Technology. New York： ACM， 2016： 191-200. 10.1145/2993369.2993372
4	SUN Q， WEI L Y， KAUFMAN A. Mapping virtual and physical reality［J］. ACM Transactions on Graphics， 2016， 35（4）： No.64. 10.1145/2897824.2925883
5	HINCKLEY K， PAUSCH R， GOBLE J C， et al. Passive real‑world interface props for neurosurgical visualization［C］// Proceedings of the 1994 SIGCHI Conference on Human Factors in Computing Systems. New York： ACM， 1994：452-458. 10.1145/191666.191821
6	BROOKS F P， Jr.， OUH‑YOUNG M， BATTER J J， et al. Project GROPE - haptic displays for scientific visualization［J］. ACM SIGGRAPH Computer Graphics， 1990， 24（4）：177-185. 10.1145/97880.97899
7	NILSSON N C， PECK T， BRUDER G， et al. 15 years of research on redirected walking in immersive virtual environments［J］. IEEE Computer Graphics and Applications， 2018， 38（2）：44-56. 10.1109/mcg.2018.111125628
8	HODGSON E， BACHMANN E. Comparing four approaches to generalized redirected walking： simulation and live user data［J］. IEEE Transactions on Visualization and Computer Graphics， 2013， 19（4）：634-643. 10.1109/tvcg.2013.28
9	THOMAS J， ROSENBERG E S. A general reactive algorithm for redirected walking using artificial potential functions［C］// Proceedings of the 2019 IEEE Conference on Virtual Reality and 3D User Interfaces. Piscataway： IEEE， 2019：56-62. 10.1109/vr.2019.8797983
10	BACHMANN E R， HODGSON E， HOFFBAUER C， et al. Multi‑ user redirected walking and resetting using artificial potential fields［J］. IEEE Transactions on Visualization and Computer Graphics， 2019， 25（5）：2022-2031. 10.1109/tvcg.2019.2898764
11	MESSINGER J， HODGSON E， BACHMANN E R. Effects of tracking area shape and size on artificial potential field redirected walking［C］// Proceedings of the 2019 IEEE Conference on Virtual Reality and 3D User Interfaces. Piscataway： IEEE， 2019：72-80. 10.1109/vr.2019.8797818
12	KOHLI L. Redirected touching： warping space to remap passive haptics［C］// Proceedings of the 2010 IEEE Symposium on 3D User Interfaces. Piscataway： IEEE， 2010： 129-130. 10.1109/3dui.2010.5444703
13	AZMANDIAN M， HANCOCK M， BENKO H， et al. Haptic retargeting： dynamic repurposing of passive haptics for enhanced virtual reality experiences［C］// Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. New York： ACM， 2016：1968-1976. 10.1145/2858036.2858226
14	KOHLI L， BURNS E， MILLER D， et al. Combining passive haptics with redirected walking［C］// Proceedings of the 2005 International Conference on Augmented Tele‑Existence. New York： ACM， 2005：253-254. 10.1145/1152399.1152451
15	THOMAS J， HUTTON POSPICK C， SUMA ROSENBERG E. Towards physically interactive virtual environments： reactive alignment with redirected walking［C］// Proceedings of the 26th ACM Symposium on Virtual Reality Software and Technology. New York： ACM， 2020： No.10. 10.1145/3385956.3418966
16	WILLIAMS B， NARASIMHAM G， RUMP B， et al. Exploring large virtual environments with an HMD when physical space is limited［C］// Proceedings of the 4th Symposium on Applied Perception in Graphics and Visualization. New York： ACM， 2007：41-48. 10.1145/1272582.1272590
17	姚寿文，栗丽辉，王瑀，等. 双Kinect自适应加权数据融合的全身运动捕捉方法［J］. 重庆理工大学学报（自然科学）， 2019， 33（9）：109-117.
	YAO S W， LI L H， WANG Y， et al. Full‑body motion capture method based on dual Kinect adaptive weighted data fusion［J］. Journal of Chongqing University of Technology （Natural Science）， 2019， 33（9）： 109-117.
18	曹力，吴小威，李琳. HMD‑VR环境下基于平面辅助物的人机交互系统［J］. 北京理工大学学报， 2021， 41（5）：548-557.
	CAO L， WU X W， LI L. Human‑computer interaction system based on Planar‑aid for head‑mounted virtual reality environment［J］. Transactions of Beijing Institute of Technology， 2021， 41（5）： 548-557
19	AZMANDIAN M， GRECHKIN T， BOLAS M， et al. The redirected walking toolkit： a unified development platform for exploring large virtual environments［C］// Proceedings of the IEEE 2nd Workshop on Everyday Virtual Reality. Piscataway： IEEE， 2016：9-14. 10.1109/wevr.2016.7859537
20	STEINICKE F， BRUDER G， JERALD J， et al. Estimation of detection thresholds for redirected walking techniques［J］. IEEE Transactions on Visualization and Computer Graphics， 2010， 16（1）： 17-27. 10.1109/tvcg.2009.62
21	KENNEDY R S， LANE N E， BERBAUM K S， et al. Simulator sickness questionnaire： an enhanced method for quantifying simulator sickness［J］. The International Journal of Aviation Psychology， 1993， 3（3）：203-220. 10.1207/s15327108ijap0303_3

[1]	闫文杰, 党东月. 基于特征自适应提取的宽度量子态层析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3861-3866.
[2]	王一帆, 林绍福, 李云江. 基于区块链和零知识证明的高速公路自由流收费方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3741-3750.
[3]	何长久, 杨婧涵, 周丕宇, 边昕烨, 吕明明, 董迪, 付岩, 王海鹏. 基于Transformer和门控循环单元的肽序列理论串联质谱图预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3958-3964.
[4]	刘哲旭张澳冰樊智勇. 飞机狭小空间虚拟维修姿态分层求解方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[5]	苗荣华孙奕程王森武燕婷杜明鲍劲松. DTOps：数字孪生系统开发运维一体化方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[6]	王中钰, 钱晓东. 基于改进期望最大化算法的供应链网络边连接规则优化[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3386-3395.
[7]	王昱, 关智慧, 李远鹏. 基于轨迹预测和分布式MADDPG的无人机集群追击决策[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3623-3628.
[8]	阚绪康, 史格非, 杨雪榕. 基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3185-3190.
[9]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[10]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[11]	符五久周林邓建杰游泳. 分数阶自治动力学系统初值问题的递推公式及其应用[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[12]	封筠, 毕健康, 霍一儒, 李家宽. 轻量化沥青路面裂缝图像分割网络PIPNet[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1520-1526.
[13]	沈涵, 王中生, 周舟, 王长元. 基于多应用场景的改进DV-Hop定位模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1219-1227.
[14]	马源源, 解蕾蕾, 董南, 刘娜. 考虑用户能动性和流动性的舆情传播模型[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 619-627.
[15]	郭呈史春秀梅顺峰张熠. 基于大数据的复杂系统智能建模方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.

虚拟现实大空间下多虚拟目标被动触觉交互方法

Passive haptic interaction method for multiple virtual targets in vast virtual reality space

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 21

相关文章 15

编辑推荐

Metrics