虚拟现实大空间下多虚拟目标被动触觉交互方法

doi:10.11772/j.issn.1001-9081.2021122123

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (11): 3544-3550.DOI: 10.11772/j.issn.1001-9081.2021122123

• 第二十一届中国虚拟现实大会 • 上一篇

虚拟现实大空间下多虚拟目标被动触觉交互方法

王杰科¹, 李琳¹^,²(), 张海龙¹, 郑利平²

^1.合肥工业大学计算机与信息学院，合肥 230601
^2.安全关键工业测控技术教育部工程研究中心（合肥工业大学），合肥 230009

收稿日期:2021-12-17 修回日期:2022-03-01 接受日期:2022-03-07 发布日期:2022-05-17 出版日期:2022-11-10
通讯作者: 李琳
作者简介:王杰科（1994—），男，河南许昌人人，硕士研究生，主要研究方向：虚拟现实、人机交互
李琳（1977—），女，安徽合肥人，副教授，博士，CCF会员，主要研究方向：虚拟现实、人机交互 lilin_julia@hfut.edu.cn
张海龙（1998—），男，安徽阜阳人，硕士研究生，主要研究方向：虚拟现实、人机交互
郑利平（1978—），男，湖北麻城人，教授，博士，CCF会员，主要研究方向：计算机图形学与仿真。
基金资助:
国家重点研发计划项目(2020YFC1523100);国家自然科学基金资助项目(61972128)

Passive haptic interaction method for multiple virtual targets in vast virtual reality space

Jieke WANG¹, Lin LI¹^,²(), Hailong ZHANG¹, Liping ZHENG²

^1.School of Computer Science and Information Engineering，Hefei University of Technology，Hefei Anhui 230601，China
^2.Engineering Research Center of Safety Critical Industrial Measurement and Control Technology，Ministry of Education （Hefei University of Technology），Hefei Anhui 230009，China

Received:2021-12-17 Revised:2022-03-01 Accepted:2022-03-07 Online:2022-05-17 Published:2022-11-10
Contact: Lin LI
About author:WANG Jieke， born in 1994， M. S. candidate. His research interests include virtual reality， human‑computer interaction.
LI Lin， born in 1977， Ph. D.， associate professor. Her research interests include virtual reality， human‑computer interaction.
ZHANG Hailong， born in 1998， M. S. candidate. His research interests include virtual reality， human‑computer interaction.
ZHENG Liping， born in 1978， Ph. D.， professor. His research interests include computer graphics and simulation.
Supported by:
National Key Research and Development Program of China(2020YFC1523100);National Natural Science Foundation of China(61972128)

摘要/Abstract

摘要：

针对虚拟现实（VR）大空间下为重定向行走的用户提供被动触觉时存在的虚实交互目标无法一一对应的问题，提出了一种用两个物理代理作为触觉代理为多个虚拟目标提供触觉反馈的方法，以在基于人工势场（APF）的重定向行走过程中，交替地满足用户被动触觉的需求。针对重定向行走算法本身以及标定不精确等原因造成的虚实不对齐的问题，对虚拟目标的位置及朝向进行设计并且在交互阶段引入触觉重定向。仿真实验表明对虚拟目标位置和朝向的设计可以大幅降低对齐误差；而用户实验结果证明触觉重定向的引入进一步提升了交互准确性，且能为用户带来更丰富、更具沉浸感的体验。

关键词: 虚拟现实大空间, 重定向行走, 多虚拟目标, 被动触觉, 触觉重定向

Abstract:

Focused on the issue that real interaction targets cannot be matched with the virtual interaction targets one by one when providing passive haptics for redirected walking users in a vast Virtual Reality （VR） space， a method with two physical proxies acting as haptic proxies to provide haptic feedback for multiple virtual targets was proposed， in order to meet the user’s passive haptic needs alternately during the redirected walking process based on Artificial Potential Field （APF）. Aiming at the misalignment of virtual and real targets caused by the redirected walking algorithm itself and inaccurate calibration， the position and orientation of the virtual target were designed and haptic retargeting was introduced in the interaction stage. Simulation experimental results show that the design of the virtual target position and orientation can reduce the alignment error greatly. User experiments prove that haptic retargeting further improves the interaction accuracy and can bring users a richer and more immersive experience.

Key words: vast Virtual Reality (VR) space, redirected walking, multi?virtual target, passive haptics, haptic retargeting

中图分类号:

TP391.9

王杰科, 李琳, 张海龙, 郑利平. 虚拟现实大空间下多虚拟目标被动触觉交互方法[J]. 计算机应用, 2022, 42(11): 3544-3550.

Jieke WANG, Lin LI, Hailong ZHANG, Liping ZHENG. Passive haptic interaction method for multiple virtual targets in vast virtual reality space[J]. Journal of Computer Applications, 2022, 42(11): 3544-3550.

图/表 14

图1 本文交互系统的设计

Fig. 1 Design of interaction system in this paper

图2 虚拟场景中的路线及交互点示意图

Fig. 2 Schematic diagram of route and interaction points in virtual world

图3 系统软件架构

Fig. 3 Architecture of system software

图4 虚拟交互区位置与朝向的设计

Fig. 4 Design of virtual interaction area position and orientation

图5 角度扩展前后对比

Fig. 5 Comparison before and after angle expansion

图6 重定向过程中Hp和Hv的位置变化

Fig. 6 Position changes of Hp and Hv in haptic retargeting process

图7 仿真场景俯视图

Fig. 7 Vertical view of simulation scene

图8 一次对齐过程

Fig. 8 Process of an alignment

表1 模拟器实验结果统计

Tab. 1 Statistics of experimental results of simulator

实验	EAA/（°）	EAM/（°）	EDA/m	EDM/m	DBR/m
一	111.20	87.20	4.240	4.310	9.3
二	101.80	127.60	0.048	0.044	15.5
三	0.23	0.12	0.049	0.045	17.1

图9 物理交互区与物理场景

Fig. 9 Physical interaction area and physical scene

图10 虚拟交互区与虚拟场景

Fig. 10 Virtual interaction area and virtual scene

图11 成功交互示例

Fig. 11 Example of successful interaction

表2 交互结果统计

Tab. 2 Statistics of interaction results

实验名称	成功率/%	p	交互时间/s
HRI	81.7	0.000 7	2.04
NHRI	38.3	0.000 7	1.68

图12 调查问卷结果

Fig. 12 Results of questionnaire

参考文献 21

1	BOWMAN D A， DAVIS E T， HODGES L F， et al. Maintaining spatial orientation during travel in an immersive virtual environment［J］. PRESENCE： Virtual and Augmented Reality， 1999， 8（6）：618-631. 10.1162/105474699566521
2	RAZZAQUE S， KOHN Z， WHITTON M C. Redirected walking［C/OL］// Proceedings of the 2001 Eurographics Conference ［2021-09-21］..
3	SRA M， GARRIDO‑JURADO S， SCHMANDT C， et al. Procedurally generated virtual reality from 3D reconstructed physical space［C］// Proceedings of the 22nd ACM Conference on Virtual Reality Software and Technology. New York： ACM， 2016： 191-200. 10.1145/2993369.2993372
4	SUN Q， WEI L Y， KAUFMAN A. Mapping virtual and physical reality［J］. ACM Transactions on Graphics， 2016， 35（4）： No.64. 10.1145/2897824.2925883
5	HINCKLEY K， PAUSCH R， GOBLE J C， et al. Passive real‑world interface props for neurosurgical visualization［C］// Proceedings of the 1994 SIGCHI Conference on Human Factors in Computing Systems. New York： ACM， 1994：452-458. 10.1145/191666.191821
6	BROOKS F P， Jr.， OUH‑YOUNG M， BATTER J J， et al. Project GROPE - haptic displays for scientific visualization［J］. ACM SIGGRAPH Computer Graphics， 1990， 24（4）：177-185. 10.1145/97880.97899
7	NILSSON N C， PECK T， BRUDER G， et al. 15 years of research on redirected walking in immersive virtual environments［J］. IEEE Computer Graphics and Applications， 2018， 38（2）：44-56. 10.1109/mcg.2018.111125628
8	HODGSON E， BACHMANN E. Comparing four approaches to generalized redirected walking： simulation and live user data［J］. IEEE Transactions on Visualization and Computer Graphics， 2013， 19（4）：634-643. 10.1109/tvcg.2013.28
9	THOMAS J， ROSENBERG E S. A general reactive algorithm for redirected walking using artificial potential functions［C］// Proceedings of the 2019 IEEE Conference on Virtual Reality and 3D User Interfaces. Piscataway： IEEE， 2019：56-62. 10.1109/vr.2019.8797983
10	BACHMANN E R， HODGSON E， HOFFBAUER C， et al. Multi‑ user redirected walking and resetting using artificial potential fields［J］. IEEE Transactions on Visualization and Computer Graphics， 2019， 25（5）：2022-2031. 10.1109/tvcg.2019.2898764
11	MESSINGER J， HODGSON E， BACHMANN E R. Effects of tracking area shape and size on artificial potential field redirected walking［C］// Proceedings of the 2019 IEEE Conference on Virtual Reality and 3D User Interfaces. Piscataway： IEEE， 2019：72-80. 10.1109/vr.2019.8797818
12	KOHLI L. Redirected touching： warping space to remap passive haptics［C］// Proceedings of the 2010 IEEE Symposium on 3D User Interfaces. Piscataway： IEEE， 2010： 129-130. 10.1109/3dui.2010.5444703
13	AZMANDIAN M， HANCOCK M， BENKO H， et al. Haptic retargeting： dynamic repurposing of passive haptics for enhanced virtual reality experiences［C］// Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. New York： ACM， 2016：1968-1976. 10.1145/2858036.2858226
14	KOHLI L， BURNS E， MILLER D， et al. Combining passive haptics with redirected walking［C］// Proceedings of the 2005 International Conference on Augmented Tele‑Existence. New York： ACM， 2005：253-254. 10.1145/1152399.1152451
15	THOMAS J， HUTTON POSPICK C， SUMA ROSENBERG E. Towards physically interactive virtual environments： reactive alignment with redirected walking［C］// Proceedings of the 26th ACM Symposium on Virtual Reality Software and Technology. New York： ACM， 2020： No.10. 10.1145/3385956.3418966
16	WILLIAMS B， NARASIMHAM G， RUMP B， et al. Exploring large virtual environments with an HMD when physical space is limited［C］// Proceedings of the 4th Symposium on Applied Perception in Graphics and Visualization. New York： ACM， 2007：41-48. 10.1145/1272582.1272590
17	姚寿文，栗丽辉，王瑀，等. 双Kinect自适应加权数据融合的全身运动捕捉方法［J］. 重庆理工大学学报（自然科学）， 2019， 33（9）：109-117.
	YAO S W， LI L H， WANG Y， et al. Full‑body motion capture method based on dual Kinect adaptive weighted data fusion［J］. Journal of Chongqing University of Technology （Natural Science）， 2019， 33（9）： 109-117.
18	曹力，吴小威，李琳. HMD‑VR环境下基于平面辅助物的人机交互系统［J］. 北京理工大学学报， 2021， 41（5）：548-557.
	CAO L， WU X W， LI L. Human‑computer interaction system based on Planar‑aid for head‑mounted virtual reality environment［J］. Transactions of Beijing Institute of Technology， 2021， 41（5）： 548-557
19	AZMANDIAN M， GRECHKIN T， BOLAS M， et al. The redirected walking toolkit： a unified development platform for exploring large virtual environments［C］// Proceedings of the IEEE 2nd Workshop on Everyday Virtual Reality. Piscataway： IEEE， 2016：9-14. 10.1109/wevr.2016.7859537
20	STEINICKE F， BRUDER G， JERALD J， et al. Estimation of detection thresholds for redirected walking techniques［J］. IEEE Transactions on Visualization and Computer Graphics， 2010， 16（1）： 17-27. 10.1109/tvcg.2009.62
21	KENNEDY R S， LANE N E， BERBAUM K S， et al. Simulator sickness questionnaire： an enhanced method for quantifying simulator sickness［J］. The International Journal of Aviation Psychology， 1993， 3（3）：203-220. 10.1207/s15327108ijap0303_3

[1]	侯守明, 贾超兰, 张明敏. 用于虚拟现实系统的眼动交互技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3534-3543.
[2]	李多芹, 方贤文, 王丽丽, 邵叱风. 基于感知成本的流程模型与事件日志有效对齐[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3154-3161.
[3]	马英杰肖靖赵耿曾萍杨亚涛. 可控网格多涡卷混沌系统族及其硬件电路实现[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[4]	李汉伦, 任建国. P2P网络中基于特征行为检测的恶意代码传播模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2125-2131.
[5]	陈海龙, 杨畅, 杜梅, 张颖宇. 基于边界自适应SMOTE和Focal Loss函数改进LightGBM的信用风险预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2256-2264.
[6]	刘亚平, 张惠珍, 张莉, 刘优优. 带时间窗同时送取货选址路径问题及其烟花算法求解[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2292-2300.
[7]	邓世权, 叶绪国. 基于深度Q网络的多目标任务卸载算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1668-1674.
[8]	孙海燕陈云博封丁惟王通蔡兴泉. 基于注意力模型和轻量化YOLOv4的林业害虫检测方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[9]	周玉清韩晓龙. 双循环策略下岸桥与跨运车的联合调度[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[10]	张斯, 张必山, 马忠军. 传染病在多层星型耦合网络上的资源控制[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1547-1553.
[11]	吴晴晴, 周丽华, 寸轩懿, 杜国王, 姜懿庭. 异质信息网络中基于有向无环图的影响力最大化算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 895-903.
[12]	蔡兴泉封丁惟王通孙辰孙海燕. 基于时间注意力机制和EfficientNet的视频暴力行为检测[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[13]	张京, 朱爱红. 基于遗传算法和粒子群优化的列车自动驾驶速度曲线优化方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 599-605.
[14]	申明尧, 韩萌, 杜诗语, 孙蕊, 张春砚. 融合XGBoost和Multi-GRU的数据中心服务器能耗优化算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 198-208.
[15]	李多芹, 方贤文. 基于行为轮廓定义目标规则的流程建模推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 223-229.

虚拟现实大空间下多虚拟目标被动触觉交互方法

Passive haptic interaction method for multiple virtual targets in vast virtual reality space

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 21

相关文章 15

编辑推荐

Metrics