Review of eye movement‑based interaction techniques for virtual reality systems

doi:10.11772/j.issn.1001-9081.2021122134

Journal of Computer Applications ›› 2022, Vol. 42 ›› Issue (11): 3534-3543.DOI: 10.11772/j.issn.1001-9081.2021122134

Special Issue: 第二十一届中国虚拟现实大会

• ChinaVR 2021 • Previous Articles Next Articles

Review of eye movement‑based interaction techniques for virtual reality systems

Shouming HOU¹, Chaolan JIA¹(), Mingmin ZHANG²

^1.School of Computer Science and Technology，Henan Polytechnic University，Jiaozuo Henan 454003，China
^2.College of Computer Science and Technology，Zhejiang University，Hangzhou Zhejiang 310027，China

Received:2021-12-21 Revised:2022-02-27 Accepted:2022-03-07 Online:2022-05-17 Published:2022-11-10
Contact: Chaolan JIA
About author:HOU Shouming， born in 1972， Ph. D.， professor. His research interests include engineering digitalization and simulation， virtual reality， augmented reality.
JIA Chaolan， born in 1995， M. S. Her research interests include computer vision， virtual reality， augmented reality.
ZHANG Mingmin， born in 1968， Ph. D.， senior engineer. Her research interests include virtual reality， human‑computer interaction.
Supported by:
National Key Research and Development Program of China(2018YFB1004900);National Key Technologies of Henan(172102210273);Training Program for Young Backbone Teachers in Higher Education Institutions in Henan Province(2018GGJS298)

用于虚拟现实系统的眼动交互技术综述

侯守明¹, 贾超兰¹(), 张明敏²

^1.河南理工大学计算机科学与技术学院，河南焦作 454003
^2.浙江大学计算机科学与技术学院，杭州 310027

通讯作者: 贾超兰
作者简介:侯守明（1972—），男，河南焦作人，教授，博士，CCF会员.主要研究方向：工程数字化与仿真、虚拟现实、增强现实
贾超兰（1995—），女，河南商丘人，硕士，主要研究方向：计算机视觉、虚拟现实、增强现实 932503728@qq.com
张明敏（1968—），女，浙江宁波人，高级工程师，博士，主要研究方向：虚拟现实、人机交互。
基金资助:
国家重点研发计划项目(2018YFB1004900);河南省科技攻关项目(172102210273);河南省高校青年骨干教师培养计划项目(2018GGJS298)

Abstract

Abstract:

Eye movement?based human?computer interaction can enhance the immersion and improve comfort of users by using eye?movement characteristics， and the incorporating of eye movement?based interaction techniques in Virtual Reality （VR） system plays a vital role in the popularity of VR systems， which has become a research hotspot in recent years. Firstly， the principles and categories of VR eye movement?based interaction techniques were described， the advantages of combining VR systems with eye movement?based interaction techniques were analyzed， and the current mainstream VR head?mounted display devices and typical application scenarios were summarized. Then， based on the analysis of experiments related to VR eye tracking， the research hotspots of VR eye movement were summarized， including miniaturized equipment， diopter correction， lack of high?quality content， blurring and distortion of eyeball images， positioning accuracy and near?eye display system， and the corresponding solutions were prospected for those related hot issues.

Key words: computer vision, Virtual Reality (VR) system, eye tracking, human?computer interaction

摘要：

眼动人机交互利用眼动特点可以增强用户的沉浸感和提高舒适度，在虚拟现实（VR）系统中融入眼动交互技术对VR系统的普及起到至关重要的作用，已成为近年来的研究热点。对VR眼动交互技术的原理和类别进行阐述，分析了将VR系统与眼动交互技术结合的优势，归纳了目前市面上主流VR头显设备及典型的应用场景。在对有关VR眼动追踪相关实验分析的基础上，总结了VR眼动的研究热点问题，包括微型化设备、屈光度矫正、优质内容的匮乏、晕屏与眼球图像失真、定位精度、近眼显示系统，并针对相关的热点问题展望相应的解决方案。

关键词: 计算机视觉, 虚拟现实系统, 眼动跟踪, 人机交互

CLC Number:

TP391.9

Shouming HOU, Chaolan JIA, Mingmin ZHANG. Review of eye movement‑based interaction techniques for virtual reality systems[J]. Journal of Computer Applications, 2022, 42(11): 3534-3543.

侯守明, 贾超兰, 张明敏. 用于虚拟现实系统的眼动交互技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3534-3543.

Figures/Tables 6

References 101

1	贾宏博，师国伟，姚钦. 眼动跟踪技术及其在军事领域的应用［J］. 航天医学与医学工程， 2016， 29（5）： 385-390. 10.16289/j.cnki.1002-0837.2016.05.015
	JIA H B， SHI G W， YAO Q. Eye tracking technology and its application in the military［J］. Space Medicine and Medical Engineering， 2016， 29（5）： 385-390. 10.16289/j.cnki.1002-0837.2016.05.015
2	ROBINSON R M， THOMAS M L， WETZEL P A. Eye tracker development on the fiber optic helmet mounted display［C］// Proceedings of the SPIE 1116， Helmet‑Mounted Displays. Bellingham， WA： SPIE， 1989： 102-109. 10.1117/12.960904
3	MORIMOTO C， MIMICA M R M. Eye gaze tracking techniques for interactive applications［J］. Computer Vision and Image Understanding， 2005， 98（1）： 4-24. 10.1016/j.cviu.2004.07.010
4	王丽萍，汪成，邱飞岳，等. 深度图像中的3D手势姿态估计方法综述［J］. 小型微型计算机系统， 2021， 42（6）： 1227-1235. 10.3969/j.issn.1000-1220.2021.06.016
	WANG L P， WANG C， QIU F Y， et al. Survey of 3D hand pose estimation methods using depth map［J］. Journal of Chinese Computer Systems， 2021， 42（6）： 1227-1235. 10.3969/j.issn.1000-1220.2021.06.016
5	RAYNER K. Eye movements in reading and information processing： 20 years of research［J］. Psychological Bulletin， 1998， 124（3）： 372-422. 10.1037/0033-2909.124.3.372
6	ROBERTS E O， PROUDLOCK F A， MARTIN K， et al. Reading in schizophrenic subjects and their nonsymptomatic first‑degree relatives［J］. Schizophrenia Bulletin， 2013， 39（4）： 896-907. 10.1093/schbul/sbr191
7	王文冠，沈建冰，贾云得. 视觉注意力检测综述［J］. 软件学报， 2019， 30（2）： 416-439. 10.13328/j.cnki.jos.005636
	WANG W G， SHEN J B， JIA Y D. Review of visual attention detection［J］. Journal of Software， 2019， 30（2）： 416-439. 10.13328/j.cnki.jos.005636
8	易琳，贾瑞双，刘然，等. 虚拟现实环境中视觉诱导晕动症的评估指标［J］. 航天医学与医学工程， 2018， 31（4）： 437-445. 10.16289/j.cnki.1002-0837.2018.04.008
	YI L， JIA R S， LIU R， et al. Evaluation indicators for visually induced motion sickness in virtual reality environment［J］. Space Medicine and Medical Engineering， 2018， 31（4）： 437-445. 10.16289/j.cnki.1002-0837.2018.04.008
9	周小龙，汤帆扬，管秋，等. 基于3D人眼模型的视线跟踪技术综述［J］. 计算机辅助设计与图形学学报， 2017， 29（9）： 1579-1589. 10.3969/j.issn.1003-9775.2017.09.001
	ZHOU X L， TANG F Y， GUAN Q， et al. A survey of 3D eye model based gaze tracking［J］. Journal of Computer‑Aided Design and Computer Graphics， 2017， 29（9）： 1579-1589. 10.3969/j.issn.1003-9775.2017.09.001
10	BADI H. A survey on recent vision‑based gesture recognition［J］. Intelligent Industrial Systems， 2016， 2（2）： 179-191. 10.1007/s40903-016-0046-9
11	黄进，张浩，田丰. 面向动态交互场景的计算模型［J］. 图学学报， 2021， 42（3）： 359-366. 10.11996/JG.j.2095-302X.2021030359
	HUANG J， ZHANG H， TIAN F. Computational model for dynamic interactive scenarios［J］. Journal of Graphics， 2021， 42（3）： 359-366. 10.11996/JG.j.2095-302X.2021030359
12	HANSEN D W， JI Q. In the eye of the beholder： a survey of models for eyes and gaze［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）： 478-500. 10.1109/tpami.2009.30
13	路雪，卫兵，吴小培. 基于连续眨眼的人‒机交互新模式［J］.计算机工程与应用，2018，54（20）：263-270.
	LU X， WEI B， WU X P. Novel human‑computer interaction model based on continuous eye‑blinks［J］. Computer Engineering and Applications， 2018， 54（20）： 263-270.
14	MA C F， BAEK S J， CHOI K A， et al. Improved remote gaze estimation using corneal reflection‑adaptive geometric transforms［J］. Optical Engineering， 2014， 53（5）： No.053112. 10.1117/1.oe.53.5.053112
15	吕文蕾，贺田潇，耿晓杰. 虚拟现实结合眼动追踪技术在家具设计中的应用前景［J］. 木材工业， 2019， 33（3）： 36-40.
	LYU W L， HE T X， GENG X J. Application prospect of virtual reality combining eye tracking technology in furniture design［J］. China Wood Industry， 2019， 33（3）： 36-40.
16	ARIKAWA M， HAYASHI K. Adaptive equalization of transmitter and receiver IQ skew by multi‑layer linear and widely linear filters with deepunfolding［J］. Optics Express， 2020， 28（16）： 23478-23494. 10.1364/oe.395361
17	朱博. 视线追踪技术及其在驾驶员与乘客监测系统中的应用研究［D］. 沈阳：东北大学， 2013：22-26.
	ZHU B. Gaze tracking and its application in driver and passenger monitoring systems［D］. Shenyang： Northeastern University， 2013：22-26.
18	程时伟，孙志强. 用于移动设备人机交互的眼动跟踪方法［J］. 计算机辅助设计与图形学报， 2014， 26（8）：1354-1361. 10.3969/j.issn.1003-9775.2014.08.020
	CHENG S W， SUN Z Q. An approach to eye tracking for mobile device based interaction［J］. Journal of Computer‑Aided Design and Computer Graphics， 2014， 26（8）：1354-1361. 10.3969/j.issn.1003-9775.2014.08.020
19	ZHU Y C， ZHAI G T， MIN X K. The prediction of head and eye movement for 360 degree images［J］. Signal Processing： Image Communication， 2018， 69： 15-25. 10.1016/j.image.2018.05.010
20	ZHU Y， ZHAI G， MIN X， et al. The prediction of saliency map for head and eye movements in 360 degree images［J］. IEEE Transactions on Multimedia， 2020， 22（9）： 2331-2344. 10.1109/tmm.2019.2957986
21	LEE K F， CHEN Y L， YU C W， et al. Gaze tracking and point estimation using low‑cost head‑mounted devices［J］. Sensors， 2020， 20（7）： No.1917. 10.3390/s20071917
22	Inc Apple.Eye tracking using low resolution images： 20210081040［P］. 2021-03-18.
23	CUI W， CHANG C L， GAO L. Development of an ultra‑compact optical combiner for augmented reality using geometric phase lenses［J］. Optics Letters， 2020， 45（10）： 2808-2811. 10.1364/ol.393550
24	Laep Magic， Inc. Content interaction driven by eye metrics： 20210181514［P］. 2021-06-17.
25	Technologies Facebook， LLC. Hybrid coupling diffractive optical element： 20210173210［P］. 2021-06-10. 10.1515/aot-2021-0007
26	Inc Apple. Optical alignment for head‑mounted device： 20210149203［P］. 2021-05-20.
27	YEH C H， LIN M H. Robust 3D reconstruction using HDR‑based SLAM［J］. IEEE Access， 2021， 9： 16568-16581. 10.1109/access.2021.3051257
28	LI H X， YU H Y， KIM Y K， et al. Computational model‑based estimation of mouse eyeball structure from two‑dimensional flatmount microscopy images［J］. Translational Vision Science and Technology， 2021， 10（4）： No.25. 10.1167/tvst.10.4.25
29	Microsoft Technology Licensing， LLC. Light field camera modules and light field camera module arrays： 20210021785［P］. 2021-01-21. 10.14341/serg12241-5084
30	Oculus VR， LLC. Eye tracking using a light field camera on a head‑mounted display： 20180173303［P］. 2018-06-21.
31	曹奕铖，蒋路茸，童基均. 基于瞳孔角膜反射法的视线估计系统设计与实现［J］. 浙江理工大学学报（自然科学版）， 2019， 41（2）： 201-207.
	CAO Y C， JIANG L R， TONG J J. Design and implementation of line of sight estimation system based on pupil corneal reflection method［J］. Journal of Zhejiang Sci‑Tech University （Natural Sciences Edition）， 2019， 41（2）： 201-207.
32	NAQVI R A， ARSALAN M， BATCHULUUN G， et al. Deep learning‑based gaze detection system for automobile drivers using a NIR camera sensor［J］. Sensors， 2018， 18（2）： No.456. 10.3390/s18020456
33	LIU C G， PAZZUCCONI B， LIU J， et al. A holographic waveguide based eye tracker［C］// Proceedings of the SPIE 10474， Ophthalmic Technologies XXVIII. Bellingham， WA： SPIE， 2018： No.104741T. 10.1117/12.2290065
34	LEE D E， YOON H S， HONG H G， et al. Fuzzy‑system‑based detection of pupil center and corneal specular reflection for a driver‑gaze tracking system based on the symmetrical characteristics of face and facial feature points［J］. Symmetry， 2017， 9（11）： No.267. 10.3390/sym9110267
35	MESTRE C， GAUTIER J， PUJOL J. Robust eye tracking based on multiple corneal reflections for clinical applications［J］. Journal of Biomedical Optics， 2018， 23（3）： No.035001. 10.1117/1.jbo.23.3.035001
36	EBISAWA Y， FUKUMOTO K. Head‑free， remote eye‑gaze detection system based on pupil‑corneal reflection method with easy calibration using two stereo‑calibrated video cameras［J］. IEEE Transactions on Biomedical Engineering， 2013， 60（10）： 2952-2960. 10.1109/tbme.2013.2266478
37	HENNESSEY C A， LAWRENCE P D. Improving the accuracy and reliability of remote system‑calibration‑free eye‑gaze tracking［J］. IEEE Transactions on Biomedical Engineering， 2009， 56（7）： 1891-1900. 10.1109/tbme.2009.2015955
38	OGAWA T， NAKAZAWA T， NISHIDA T. Point of gaze estimation using corneal surface reflection and omnidirectional camera image［J］. IEICE Transactions on Information and Systems， 2018， E101‑D（5）： 1278-1287. 10.1587/transinf.2017mvp0020
39	Leap Magic， Inc. Virtual and augmented reality systems and methods： 20210141237［P］. 2021-05-13.
40	BERTEL T， YUAN M Z， LINDROOS R， et al. OmniPhotos： casual 360° VR photography［J］. ACM Transactions on Graphics， 2020， 39（6）： No.266. 10.1145/3414685.3417770
41	Google LLC. Multi‑perspective eye‑tracking for VR/AR systems： 20190129174［P］. 2019-05-02.
42	Enterprise Disney， Inc. Adaptive VR/AR viewing based on a users eye condition profile： 20190056780［P］. 2019-02-21.
43	Microsoft Technology Licensing， LLC. Display with eye tracking and adaptive optics： 20210239971［P］. 2021-08-05. 10.1145/1743666.1743714
44	Inc Apple. Selecting a text input field using eye gaze： 20210240331［P］. 2021-08-05.
45	Corporation Valve. Eye tracking system for head‑mounted display devices： 20210232216［P］. 2021-07-29.
46	Leap Magic， Inc. Method and system for eye tracking using speckle patterns： 20210232221［P］. 2021-07-29.
47	Sony Interactive Entertainment Inc. Eye tracking system with holographic film decoder： 20190384386［P］. 2019-12-19. 10.1145/271897.274369
48	吴凤山，葛贤亮，王丽. 眼动人机交互技术的类别与特点［J］. 人类工效学， 2017， 23（4）： 80-86.
	WU F S， GE X L， WANG L. Categories and characteristics of eye movement‑based human‑ computer interaction technology［J］. Chinese Journal of Ergonomics， 2017， 23（4）： 80-86.
49	BROCKMOLE J R， LE‑HOA VÕ M. Semantic memory for contextual regularities within and across scene categories： evidence from eye movements［J］. Attention， Perception， and Psychophysics， 2010， 72（7）： 1803-1813. 10.3758/app.72.7.1803
50	KLEINKE C L. Gaze and eye contact： a research review［J］. Psychological Bulletin， 1986， 100（1）： 78-100. 10.1037/0033-2909.100.1.78
51	NAKANO Y I， ISHII R. Estimating user's engagement from eye‑ gaze behaviors in human‑agent conversations［C］// Proceedings of the 15th International Conference on Intelligent User Interfaces. New York： ACM， 2010： 139-148. 10.1145/1719970.1719990
52	ENGEL J， STURM J， CREMERS D. Scale‑aware navigation of a low‑cost quadrocopter with a monocular camera［J］. Robotics and Autonomous Systems， 2014， 62（11）： 1646-1656. 10.1016/j.robot.2014.03.012
53	MASSICETI D， HICKS S L， VAN RHEEDE J J. Stereosonic vision： exploring visual‑to‑auditory sensory substitution mappings in an immersive virtual reality navigation paradigm［J］. PLoS ONE， 2018， 13（7）： No.e0199389. 10.1371/journal.pone.0199389
54	GAO Y， ZHAO Y Y， XIE L， et al. A projector‑based augmented reality navigation system for computer‑assisted surgery［J］. Sensors， 2021， 21（9）： No.2931. 10.3390/s21092931
55	WADDINGHAM P E， BUTLER T K H， COBB S V， et al. Preliminary results from the use of the novel Interactive Binocular Treatment （I‑BiT™） system， in the treatment of strabismic and anisometropic amblyopia［J］. Eye， 2006， 20（3）： 375-378. 10.1038/sj.eye.6701883
56	FORLIM C G， BITTNER L， MOSTAJERAN F. Stereoscopic rendering via goggles elicits higher functional connectivity during virtual reality gaming［J］. Frontiers in Human Neuroscience， 2019， 13： No.365. 10.3389/fnhum.2019.00365
57	VANCLEEF K， SERRANO‑PEDRAZA I， SHARP C， et al. ASTEROID： a new clinical stereotest on an autostereo 3D tablet［J］. Translational Vision Science and Technology， 2019， 8（1）： No.25. 10.1167/tvst.8.1.25
58	LEE C C， CHIANG H S， HSIAO M H. Effects of screen size and visual presentation on visual fatigue based on regional brain wave activity［J］. Journal of Supercomputing， 2021， 77（5）： 4831-4851. 10.1007/s11227-020-03458-w
59	LIN S K V， SEIBEL E J， FURNESS T A F， III. Testing visual search performance using retinal light scanning as a future wearable low vision aid［J］. International Journal of Human‑ Computer Interaction， 2003， 15（2）： 245-263. 10.1207/s15327590ijhc1502_4
60	LIM C J， KIM D. Development of gaze tracking interface for controlling 3D contents［J］. Sensors and Actuators A： Physical， 2012， 185： 151-159. 10.1016/j.sna.2012.07.017
61	CHI J N， WANG D， LU N， et al. Cornea radius calibration for remote 3D gaze tracking systems［J］. IEEE Access， 2020， 8：187634-187647. 10.1109/access.2020.3029300
62	SKODRAS E， KANAS V G， FAKOTAKIS N. On visual gaze tracking based on a single low cost camera［J］. Signal Processing： Image Communication， 2015， 36： 29-42. 10.1016/j.image.2015.05.007
63	PAN C T， SUN P Y， WANG S Y， et al. Integration of multi‑axis platform with synchronous motion‑sensing and virtual reality imagery for the depth of immersion［J］. The International Journal of Advanced Manufacturing Technology， 2020， 108： 91-103. 10.1007/s00170-020-05360-4
64	才华，孙俊，王爽，等.一种基于多模态融合方法的VR/AR模型构建方法：CN202010248294.5［P］. 2020-07-28.
	CAI H， SUN J， WANG S， et al.A VR/AR model building method based on multimodal fusion method： CN202010248294.5 ［P］. 2020-07-28.
65	贺辉，黄君浩. 基于眼动跟踪的人机交互应用［J］. 山东大学学报（工学版）， 2021， 51（2）： 1-8.
	HE H， HUANG J H. Eye tracking in human‑computer interaction control［J］. Journal of Shandong University （Engineering Science）， 2021， 51（2）： 1-8.
66	冯成志，沈模卫. 视线跟踪技术及其在人机交互中的应用［J］. 浙江大学学报（理学版）， 2002， 29（2）： 225-232.
	FENG C Z， SHEN M W. Application of gaze tracking in human computer interaction［J］. Journal of Zhejiang University （Science Edition）， 2002， 29（2）： 225-232.
67	董士海. 人机交互的进展及面临的挑战［J］. 计算机辅助设计与图形学学报， 2004， 16（1）：1-13. 10.3321/j.issn:1003-9775.2004.01.001
	DONG S H. Progress and challenges of human‑computer interaction［J］. Journal of Computer‑Aided Design and Graphics， 2004， 16（1）：1-13. 10.3321/j.issn:1003-9775.2004.01.001
68	MAHALIL I， RUSLI M E， YUSOF A M， et al. Study of immersion effectiveness in VR‑based stress therapy［C］// Proceedings of the 6th International Conference on Information Technology and Multimedia. Piscataway： IEEE， 2014： 380-385. 10.1109/icimu.2014.7066663
69	HE Q， WU Y F， FENG Z P， et al. Triboelectric vibration sensor for a human‑machine interface built on ubiquitous surfaces［J］. Nano Energy， 2019， 59： 689-696. 10.1016/j.nanoen.2019.03.005
70	苗岭. 虚拟现实眼动系统在环境交互设计中的研究［J］. 包装工程， 2018， 39（22）： 274-281.
	MIAO L. Eye‑tracking virtual reality system in environmental interaction design［J］. Packaging Engineering， 2018， 39（22）： 274-281.
71	黄东军，伯斯科，陈斌华. 沉浸感显示技术研究［J］. 计算机系统应用， 2007， 16（3）： 43-46. 10.3969/j.issn.1003-3254.2007.03.011
	HUANG D J， BO S K， CHEN B H. Research on immersion display technology［J］. Computer Systems and Applications， 2007， 16（3）： 43-46. 10.3969/j.issn.1003-3254.2007.03.011
72	PARK J H， JEON H J， LIM E C， et al. Feasibility of eye tracking assisted vestibular rehabilitation strategy using immersive virtual reality［J］. Clinical and Experimental Otorhinolaryngology， 2019， 12（4）：376-384. 10.21053/ceo.2018.01592
73	KADHUM A， TAN E T C， LEVI D M， et al. Barriers to successful dichoptic treatment for amblyopia in young children［J］. Graefe's Archive for Clinical and Experimental Ophthalmology， 2021， 259（10）：3149-3157. 10.1007/s00417-021-05193-1
74	GESTEFELD B， KOOPMAN J， VRIJLING A， et al. Eye tracking and virtual reality in the rehabilitation of mobility of hemianopia patients： a user experience study［J］. International Journal of Orientation and Mobility， 2020， 11（1）：7-19. 10.21307/vri-2020-002
75	BAI Z C， YAO N M， MISHRA N， et al. Enhancing emotional experience by building emotional virtual characters in VR volleyball games［J］. Computer Animation and Virtual Worlds， 2021， 32（3/4）： No.e2008. 10.1002/cav.2008
76	FEN G， PAN Y. Research on home interior colour based on VR panoramic rendering experience［J］. Journal of the Ergonomics Society of Korea， 2020， 39（5）： 423-435. 10.5143/jesk.2020.39.5.423
77	贺田潇，吕文蕾，耿晓杰，等.基于虚拟现实结合眼动技术的图书馆家具设计研究［J］.家具与室内装饰，2018（12）：12-13. 10.16771/j.cn43-1247/ts.2018.12.003
	HE T X， LYU W L， GENG X J， et al. Research on library furniture design based on virtual reality combined with eye movement technique［J］. Furniture and Interior Design， 2018（12）： 12-13. 10.16771/j.cn43-1247/ts.2018.12.003
78	HOU K L， LIU Y H， TARNG W. Development of a virtual ecological environment for learning the Taipei tree frog［J］. Sustainability， 2021， 13（11）： No.5911. 10.3390/su13115911
79	KHAN N， MUHAMMAD K， HUSSAIN T， et al. An adaptive game‑based learning strategy for children road safety education and practice in virtual space［J］. Sensors， 2021， 21（11）： No.3661. 10.3390/s21113661
80	PAI Y S， DINGLER T， KUNZE K. Assessing hands‑free interactions for VR using eye gaze and electromyography［J］. Virtual Reality， 2019， 23（2）：119-131. 10.1007/s10055-018-0371-2
81	SIPATCHIN A， WAHL S， RIFAI K. Eye‑tracking for clinical ophthalmology with Virtual Reality （VR）： a case study of the HTC Vive Pro Eye's usability［J］. Healthcare， 2021， 9（2）： No.180. 10.3390/healthcare9020180
82	臧伟，郭亚楠，周鸣浩.基于VR眼动数据的空间环境信息采集分析方法和应用探究——以喀什高台民居保护与设计为例［C］// 数智营造：2020年全国建筑院系建筑数字技术教学与研究学术研讨会论文集. 北京：中国建筑工业出版社， 2020： 249-254.
	ZANG W， GUO Y N， ZHOU M H. Research on methods and application of spatial environment information collection and analysis based on VR eye movement data ― taking protection and design of Gaotai ancient homes in Kashgar as an example［C］// Digital Design and Intelligent Construction： Proceedings of 2020 National Conference on Architecture's Digital Technologies in Education and Research. Beijing： China Architecture and Building Press， 2020： 249-254.
83	ZHANG L M， ZHANG R X， JENG T S， et al. Cityscape protection using VR and eye tracking technology［J］. Journal of Visual Communication and Image Representation， 2019， 64： No.102639. 10.1016/j.jvcir.2019.102639
84	MOHAMMADPOUR S， MEHRIDEHNAVI A， RABBANI H， et al. A pre‑compensation algorithm for different optical aberrations using an enhanced wiener filter and edge tapering［C］// Proceedings of the 11th International Conference on Information Science， Signal Processing and their Applications. Piscataway IEEE， 2012： 935-939. 10.1109/isspa.2012.6310689
85	王洋. 基于反卷积滤波的头盔显示图像人眼屈光度预校正算法研究［D］. 长春：长春理工大学， 2017： 1-51.
	WANG Y. Research on pre‑correction algorithm of human eye diopter for helmet mounted image based on deconvolution filtering［D］. Changchun： Changchun University of Science and Technology， 2017： 1-51.
86	YANG X， ZHANG H B， WANG Q H. A fast computer‑generated holographic method for VR and AR near‑eye 3D display［J］. Applied Sciences， 2019， 9（19）： No.4164. 10.3390/app9194164
87	XIA X X， GUAN Y Q， STATE A， et al. Towards a switchable AR/VR near‑eye display with accommodation‑vergence and eyeglass prescription support［J］. IEEE Transactions on Visualization and Computer Graphics， 2019， 25（11）： 3114-3124. 10.1109/tvcg.2019.2932238
88	WANG M， LYU X Q， LI Y J， et al. VR content creation and exploration with deep learning： a survey［J］. Computational Visual Media， 2020， 6（1）：3-28. 10.1007/s41095-020-0162-z
89	刘宁宁. 基于VR虚拟现实的半实物综采实操平台［J］. 煤矿安全， 2019， 50（6）： 114-117.
	LIU N N. Semi‑physical fully- mechanized mining practical operating platform based on VR［J］. Safety in Coal Mines， 2019， 50（6）： 114-117.
90	SMITH W E， VAKIL N， MAISLIN S A. Correction of distortion in endoscope images［J］. IEEE Transactions on Medical Imaging， 1992， 11（1）： 117-122. 10.1109/42.126918
91	HUGHES C， GLAVIN M， JONES E， et al. Wide‑angle camera technology for automotive applications： a review［J］. IET Intelligent Transport Systems， 2009， 3（1）： 19-31. 10.1049/iet-its:20080017
92	LIU A L， ZHANG J J， GUO B P. Geometric distortion correction for streak camera imaging［J］. Journal of Electronic Imaging， 2019， 28（3）： No.033023. 10.1117/1.jei.28.3.033023
93	郭科，方俊永，王潇，等. 一种视觉SLAM中运动模糊应对方法［J］. 哈尔滨工业大学学报， 2019， 51（11）： 116-121. 10.11918/j.issn.0367-6234.201901208
	GUO K， FANG J Y， WANG X， et al. A method to deal with motion blur in visual SLAM［J］. Journal of Harbin Institute of Technology， 2019， 51（11）： 116-121. 10.11918/j.issn.0367-6234.201901208
94	程克非，曹爽，台正. 一种眼动跟踪图像失真的校正方法［J］. 激光杂志， 2013， 34（2）： 32-34. 10.3969/j.issn.0253-2743.2013.02.014
	CHNEG K F， CAO S， TAI Z. A method of image distortion correction based on eye tracking［J］. Laser Journal， 2013， 34（2）： 32-34. 10.3969/j.issn.0253-2743.2013.02.014
95	周晓荣. 基于头戴式眼动仪的视线跟踪算法研究［D］. 哈尔滨：哈尔滨工业大学， 2019： 1-71.
	ZHOU X R. Eye tracking algorithm based on head‑mounted eye tracker［D］. Harbin： Harbin Institute of Technology， 2019： 1-71.
96	TRIPATHI S， GUENTER B. A statistical approach to continuous self‑calibrating eye gaze tracking for head‑mounted virtual reality systems［C］// Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2017： 862-870. 10.1109/wacv.2017.101
97	KONRAD R， ANGELOPOULOS A， WETZSTEIN G. Gaze‑ contingent ocular parallax rendering for virtual reality［J］. ACM Transactions on Graphics， 2020， 39（2）： No.10. 10.1145/3361330
98	ZHANG Q， SONG W， HU X， et al. Design of a near‑eye display measurement system using an anthropomorphic vision imaging method［J］. Optics Express， 2021， 29（9）： 13204-13218. 10.1364/oe.421920
99	XIAO J S， LIU J， LV Z L， et al. On‑axis near‑eye display system based on directional scattering holographic waveguide and curved goggle［J］. Optics Express， 2019， 27（2）： 1683-1692. 10.1364/oe.27.001683
100	PARK H S， HOSKINSON R， ABDOLLAHI H， et al. Compact near‑eye display system using a superlens‑based microlens array magnifier［J］. Optics Express， 2015， 23（24）： 30618-30633. 10.1364/oe.23.030618
101	王小东，谢良，闫慧炯，等. 基于多任务辅助推理的近眼视线估计方法［J］. 北京航空航天大学学报， 2022， 48（6）：1030-1037.
	WANG X D， XIE L， YAN H J， et al. Near‑eye gaze estimation method based on multi‑task auxiliary reasoning［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（6）：1030-1037.

设备名称	传感器	刷新率/Hz	视场角/（°）	质量/g	分辨率/px	特点	设备图
LG UltraGear	Knukles运动控制器、Steam VR 定位器	90	110	―	1 920×1 080	支持Steam VR 的Lighthouse 运动追踪技术、提供混合现实体验	―
Vive Cosmos	瞳距校正器、陀螺仪、触摸传感器、距离感测器	90	110	651	2 880×1 700	6摄像头传感器实现精确定位、追踪，即插即用，易于安装
Vive Pro Eye	陀螺仪、瞳距传感器、距离感测器、触摸传感器	90	110	―	2 880×1 600	内置了SteamVR跟踪技术，不完全依赖于操作手柄完成页面指向和输入
StarVR One	SteamVR追踪技术	90	水平：210 垂直：130	450	3 660×1 464	包括动态中心渲染，支持SteamVR跟踪，头戴使用软带和硬带结合
hololens 2代	陀螺仪、可见光相机、红外相机、磁力仪、飞行时间深度传感器、加速器	120	水平：43 垂直：29	566	2k 3：2 光引擎	不影响佩戴眼镜，点击、滑动、拖动等操作都能用手势完成，沉浸感强
Oculus Quest 2	陀螺仪、红外传感器	90	100	503	1 832×1 920	海量VR游戏资源，是PS5和Xbox SeriesX等游戏机的替代品
Pico Neo 2 Eye	高精度九轴、第三代双目式头部6DoF定位系统、电磁传感器、距离传感器	90	101	350	1 200×1 080	全沉浸场景式界面，海量游戏资源，支持近视调节和瞳孔自适应

设备名称	传感器	刷新率/Hz	视场角/（°）	质量/g	分辨率/px	特点	设备图
LG UltraGear	Knukles运动控制器、Steam VR 定位器	90	110	―	1 920×1 080	支持Steam VR 的Lighthouse 运动追踪技术、提供混合现实体验	―
Vive Cosmos	瞳距校正器、陀螺仪、触摸传感器、距离感测器	90	110	651	2 880×1 700	6摄像头传感器实现精确定位、追踪，即插即用，易于安装
Vive Pro Eye	陀螺仪、瞳距传感器、距离感测器、触摸传感器	90	110	―	2 880×1 600	内置了SteamVR跟踪技术，不完全依赖于操作手柄完成页面指向和输入
StarVR One	SteamVR追踪技术	90	水平：210 垂直：130	450	3 660×1 464	包括动态中心渲染，支持SteamVR跟踪，头戴使用软带和硬带结合
hololens 2代	陀螺仪、可见光相机、红外相机、磁力仪、飞行时间深度传感器、加速器	120	水平：43 垂直：29	566	2k 3：2 光引擎	不影响佩戴眼镜，点击、滑动、拖动等操作都能用手势完成，沉浸感强
Oculus Quest 2	陀螺仪、红外传感器	90	100	503	1 832×1 920	海量VR游戏资源，是PS5和Xbox SeriesX等游戏机的替代品
Pico Neo 2 Eye	高精度九轴、第三代双目式头部6DoF定位系统、电磁传感器、距离传感器	90	101	350	1 200×1 080	全沉浸场景式界面，海量游戏资源，支持近视调节和瞳孔自适应

[1]	Yexin PAN, Zhe YANG. Optimization model for small object detection based on multi-level feature bidirectional fusion [J]. Journal of Computer Applications, 2024, 44(9): 2871-2877.
[2]	Shuai FU, Xiaoying GUO, Ruyi BAI, Tao YAN, Bin CHEN. Age estimation method combining improved CloFormer model and ordinal regression [J]. Journal of Computer Applications, 2024, 44(8): 2372-2380.
[3]	Sailong SHI, Zhiwen FANG. Gaze estimation model based on multi-scale aggregation and shared attention [J]. Journal of Computer Applications, 2024, 44(7): 2047-2054.
[4]	Ziwen SUN, Lizhi QIAN, Chuandong YANG, Yibo GAO, Qingyang LU, Guanglin YUAN. Survey of visual object tracking methods based on Transformer [J]. Journal of Computer Applications, 2024, 44(5): 1644-1654.
[5]	Yudong PANG, Zhixing LI, Weijie LIU, Tianhao LI, Ningning WANG. Small target detection model in overlooking scenes on tower cranes based on improved real-time detection Transformer [J]. Journal of Computer Applications, 2024, 44(12): 3922-3929.
[6]	Yongjiang LIU, Bin CHEN. Pixel-level unsupervised industrial anomaly detection based on multi-scale memory bank [J]. Journal of Computer Applications, 2024, 44(11): 3587-3594.
[7]	Wenze CHAI, Jing FAN, Shukui SUN, Yiming LIANG, Jingfeng LIU. Overview of deep metric learning [J]. Journal of Computer Applications, 2024, 44(10): 2995-3010.
[8]	Yi WANG, Jie XIE, Jia CHENG, Liwei DOU. Review of object pose estimation in RGB images based on deep learning [J]. Journal of Computer Applications, 2023, 43(8): 2546-2555.
[9]	Yichi CHEN, Bin CHEN. Review of lifelong learning in computer vision [J]. Journal of Computer Applications, 2023, 43(6): 1785-1795.
[10]	Mengting WANG, Wenzhong YANG, Yongzhi WU. Survey of single target tracking algorithms based on Siamese network [J]. Journal of Computer Applications, 2023, 43(3): 661-673.
[11]	SHEN Zhijun, MU Lina, GAO Jing, SHI Yuanhang, LIU Zhiqiang. Review of fine-grained image categorization [J]. Journal of Computer Applications, 2023, 43(1): 51-60.
[12]	Zhida FENG, Li CHEN. Single direction projected Transformer method for aliasing text detection [J]. Journal of Computer Applications, 2022, 42(12): 3686-3691.
[13]	Yi ZHANG, Hua WAN, Shuqin TU. Technical review and case study on classification of Chinese herbal slices based on computer vision [J]. Journal of Computer Applications, 2022, 42(10): 3224-3234.
[14]	MA Jialiang, CHEN Bin, SUN Xiaofei. General object detection framework based on improved Faster R-CNN [J]. Journal of Computer Applications, 2021, 41(9): 2712-2719.
[15]	GUO Tianxiao, HU Qingrui, LI Jianwei, SHEN Yanfei. Fitness action recognition method based on human skeleton feature encoding [J]. Journal of Computer Applications, 2021, 41(5): 1458-1464.

Review of eye movement‑based interaction techniques for virtual reality systems

用于虚拟现实系统的眼动交互技术综述

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 6

References 101

Related Articles 15

Recommended Articles

Metrics