CN114047822B - 近眼显示方法及系统 - Google Patents
近眼显示方法及系统 Download PDFInfo
- Publication number
- CN114047822B CN114047822B CN202111406931.8A CN202111406931A CN114047822B CN 114047822 B CN114047822 B CN 114047822B CN 202111406931 A CN202111406931 A CN 202111406931A CN 114047822 B CN114047822 B CN 114047822B
- Authority
- CN
- China
- Prior art keywords
- image
- periocular
- eyeball
- eyes
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000001508 eye Anatomy 0.000 claims abstract description 242
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 150
- 238000001514 detection method Methods 0.000 claims abstract description 140
- 230000036558 skin tension Effects 0.000 claims description 95
- 210000003205 muscle Anatomy 0.000 claims description 68
- 210000001747 pupil Anatomy 0.000 claims description 60
- 230000003183 myoelectrical effect Effects 0.000 claims description 56
- 210000003128 head Anatomy 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 41
- 230000008602 contraction Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 8
- 230000006835 compression Effects 0.000 description 25
- 238000007906 compression Methods 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 17
- 230000004418 eye rotation Effects 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 12
- 210000000744 eyelid Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本公开提供一种近眼显示方法及系统。所述系统包括:显示终端,被配置为:获取人眼眼球转动时的眼周生理检测信号,根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,并将所述注视点坐标发送至服务器;图像采集终端,被配置为:采集待显示图像,基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,将所述压缩图像发送至所述服务器;服务器,被配置为:接收所述注视点坐标,将所述注视点坐标发送至所述图像采集终端;以及,接收所述压缩图像,将所述压缩图像发送至所述显示终端以使所述显示终端基于所述压缩图像进行显示。所述方法及系统无需借助于图像处理的方式来实现眼球追踪,减小应用处理器硬件资源的占用。
Description
技术领域
本公开涉及显示技术领域,尤其涉及一种近眼显示方法及系统。
背景技术
眼球追踪技术(eye-tracking technology)是获取视觉感知的重要技术,其通过检测人眼瞳孔特征以及将此特征映射至人眼的注视物体上,来得到人眼的注视区域,从而获取人类的视觉注视信息,在当前的VR、AR产品交互功能中有着至关重要的现实意义。
目前实现眼球追踪的主要途径是通过摄像头拍摄图像进行图像识别,这种方式需要依靠高性能的CPU或是高算力的NPU等硬件资源,而且对光照强度、遮挡等不良因素极其敏感。
发明内容
有鉴于此,本公开的目的在于提出一种近眼显示方法及系统。
基于上述目的,本公开提供了一种近眼显示系统,包括:
显示终端,被配置为:获取人眼眼球转动时的眼周生理检测信号,根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,并将所述注视点坐标发送至服务器;
图像采集终端,被配置为:采集待显示图像,基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,将所述压缩图像发送至所述服务器;
服务器,被配置为:接收所述注视点坐标,将所述注视点坐标发送至所述图像采集终端;以及,接收所述压缩图像,将所述压缩图像发送至所述显示终端以使所述显示终端基于所述压缩图像进行显示。
可选的,所述眼周生理检测信号包括眼球肌电信号和/或眼周皮肤张力检测信号;所述显示终端包括:
肌电电极,设置于眼周肌肉上,被配置为:采集人眼眼球转动时眼周肌肉收缩生成的眼球肌电信号;
和/或,
皮肤张力柔性应变片,设置于眼周皮肤上,被配置为:采集人眼眼球转动时眼周皮肤拉伸或收缩生成的眼周皮肤张力检测信号。
可选的,所述显示终端,还被配置为:
根据人眼注视在显示屏上的第一预设注视点,确定双眼瞳孔初始位置;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的产生方向,确定眼球转动方向;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的大小,确定眼球转动角度;根据所述双眼瞳孔初始位置、所述眼球转动方向及所述眼球转动角度,确定双眼瞳孔实时位置;根据所述双眼瞳孔实时位置生成所述注视点坐标。
可选的,所述显示终端,还被配置为:
根据所述双眼瞳孔初始位置、所述显示屏的尺寸大小、人眼与所述显示屏之间的距离,计算双眼瞳孔位置与注视点之间的第一映射函数;根据所述双眼瞳孔实时位置和所述第一映射函数生成所述注视点坐标。
可选的,所述显示终端,还被配置为:
采集人眼注视所述显示屏上至少一个第二预设注视点时的眼球肌电信号和/或眼周皮肤张力检测信号,基于每个第二预设注视点及其对应的眼球肌电信号和/或眼周皮肤张力检测信号确定注视点与眼球肌电信号和/或眼周皮肤张力检测信号之间的第二映射函数;实时采集用户在当前注视显示屏时的眼球肌电信号和/或眼周皮肤张力检测信号;基于所述眼球肌电信号和/或眼周皮肤张力检测信号与所述第二映射函数确定用户当前在显示屏上的注视点坐标。
可选的,其特征在于,所述图像采集终端,还被配置为:
采集待显示图像,根据所述注视点坐标将所述待显示图像划分为环绕所述注视点坐标的第一图像区域和环绕所述第一图像区域的第二图像区域,并基于第一像素损失率对所述第一图像区域进行压缩,基于第二像素损失率对所述第二图像区域进行压缩,得到所述待显示图像的压缩图像;其中,所述第一像素损失率小于所述第二像素损失率。
可选的,所述显示终端,被配置为:采集人眼在所述注视点坐标所在区域的注视时间,通过所述服务器将所述注视时间发送至所述图像采集终端;
所述图像采集终端,被配置为:基于所述注视时间,调整所述第一像素损失率、所述第二像素损失率、所述第一图像区域和所述第二图像区域的范围中的至少一个。
可选的,所述显示终端,被配置为:采集头部姿态信息,将所述头部姿态信息发送至所述服务器;
所述服务器,被配置为:接收所述头部姿态信息,将头部姿态信息发送至所述图像采集终端;
所述图像采集终端,被配置为:接收所述头部姿态信息,并基于所述头部姿态信息控制所述图像采集终端的摄像头转动,以确定所述待显示图像的采集区域。
本公开还提供了一种近眼显示方法,包括:
显示终端获取人眼眼球转动时的眼周生理检测信号,根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,并通过服务器将所述注视点坐标发送至图像采集终端;
所述图像采集终端采集待显示图像,基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,并通过服务器将所述压缩图像发送至所述显示终端,以使所述显示终端基于所述压缩图像进行显示。
可选的,所述眼周生理检测信号包括眼球肌电信号和/或眼周皮肤张力检测信号;所述显示终端获取眼球转动时的眼周生理检测信号,包括:
显示终端通过设置于眼周肌肉上的肌电电极,采集人眼眼球转动时眼周肌肉收缩生成的眼球肌电信号;
和/或,
显示终端通过设置于眼周皮肤上的皮肤张力柔性应变片,采集人眼眼球转动时眼周皮肤拉伸生成的眼周皮肤张力检测信号。
可选的,所述根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,包括:
根据人眼注视在显示屏上的第一预设注视点,确定双眼瞳孔初始位置;
根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的产生方向,确定眼球转动方向;
根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的大小,确定眼球转动角度;
根据所述双眼瞳孔初始位置、所述眼球转动方向及所述眼球转动角度,确定双眼瞳孔实时位置;
根据所述双眼瞳孔实时位置生成所述注视点坐标。
可选的,还包括:
所述图像采集终端采集待显示图像,根据所述注视点坐标将所述待显示图像划分为环绕所述注视点坐标的第一图像区域和环绕所述第一图像区域的第二图像区域,并基于第一像素损失率对所述第一图像区域进行压缩,基于第二像素损失率对所述第二图像区域进行压缩,得到所述待显示图像的压缩图像;其中,所述第一像素损失率小于所述第二像素损失率。
可选的,还包括:
所述显示终端采集人眼在所述注视点坐标所在区域的注视时间,通过所述服务器将所述注视时间发送至所述图像采集终端;
所述图像采集终端基于所述注视时间,调整所述第一像素损失率、所述第二像素损失率、所述第一图像区域和所述第二图像区域的范围中的至少一个。
可选的,还包括:
所述显示终端采集头部姿态信息,并通过服务器将所述头部姿态信息发送至所述图像采集终端;
所述图像采集终端接收所述头部姿态信息,并基于所述头部姿态信息控制所述图像采集终端的摄像头转动,以确定所述待显示图像的采集区域。
本公开还提供了一种包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行如上述任一项所述的方法。
本公开还提供了一种计算机程序产品,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如上述任一项所述的方法。
从上面所述可以看出,本公开提供的近眼显示方法及系统,基于眼球肌电信号、眼周皮肤张力检测信号等眼周生理检测信号实现双眼瞳孔位置的确定以及注视点坐标的获取,无需借助于图像采集以及图像处理的方式来实现眼球追踪,从而使得近眼显示终端可以取消眼球追踪摄像头的布置,会使近眼显示终端的体积相对于现在减小一些;同时,近眼显示终端可以不用主控应用处理器来进行眼球追踪算法的运算,减小应用处理器硬件资源的占用,特别是对于具有有限处理能力的嵌入式终端设备具有很大的益处;而由于无需眼部图像采集,因而不受光线强度、遮挡等因素的干扰。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例所述近眼显示系统的结构框图;
图2为本公开实施例所述显示设备的检测单元贴附示意图;
图3为本公开实施例所述近眼显示系统的具体结构框图;
图4为本公开实施例所述第二预设注视点显示示意图;
图5为本公开实施例视觉敏感度区域示意图;
图6为本公开实施例所述图像采集终端结构简图;
图7为本公开实施例所述近眼显示方法的流程示意图;
图8为本公开实施例注视点坐标计算流程示意图;
图9为本公开实施例待显示图像的采集区域确定流程示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
远程图像采集技术在人们生活以及各行各业的应用越来越广泛。例如,在视频监控、视频直播、远程控制等领域中,远程图像采集技术发挥着越来越重要的作用。远程图像采集技术是一种利用嵌入式技术、数字化图像采集、图像压缩以及自动化网络传输等技术,来实现不受地域限制的远程图像采集。
远程图像采集技术可以应用于多种领域,例如对于危险场景可基于远程图像采集技术实现现场环境的远程观测方案,对于有毒环境、极度高温环境等恶劣环境提供无人化远程操作支持的技术方案,以及视频直播等领域。在这些领域中,虽然可以解决用户不在现场观看的问题,但是这些方案相比于现场观看存在较大的差别。
近年来,虚拟现实(Virtual Reality,VR)等近眼显示技术受到越来越多的关注和研究。目前,用于实现3D显示的近眼显示装置通常是将显示屏分成左右两个显示区域,左显示区域显示左眼图像,右显示区域显示右眼图像,通过在左右两个显示区域显示相同场景的不同视差画面,利用双眼视差实现3D显示效果。
眼球追踪技术(Eye Tracking)是一项应用于近眼显示装置中研究眼球运动信息的科学应用技术,通过采集人眼的人眼图像,来分析出人眼的眼球运动信息,并基于该眼球运动信息确定出人眼当前在显示屏上的注视点。进一步的,眼动追踪技术中,可以根据确定出的人眼当前在显示屏上的注视点确定出人眼当前在显示屏上的注视区域。
之后,计算机会追踪眼球的运动轨迹,只对该注视区域进行高清渲染,而对其他区域进行非高清渲染,同时集成电路(英文:Integrated Circuit,简称:IC)能够将渲染后的图像显示在显示屏上。其中,该显示屏可以为液晶显示(英文:Liquid Crystal Display,简称:LCD)屏或者有机发光二极管(英文:Organic Light-Emitting Diode,简称:OLED)显示屏等。
目前眼球追踪技术主要有三种实现方式:一是根据眼球和眼球周边的特征变化进行跟踪,二是根据虹膜角度变化进行跟踪,三是主动投射红外线等光束到虹膜来提取特征。上述三种方法在实现眼球追踪时,为了确保能够准确地确定出双眼的注视点坐标,需要在近眼显示装置中设置两个相机,该两个相机能够分别采集左眼和右眼的人眼图像(该人眼图像也称为注视点图像等),由VR主机基于该人眼图像进行图像识别从而实现注视点坐标的计算。而这种方式需要依靠高性能的CPU或是高算力的NPU等硬件资源;而且由于依靠图像处理技术,其对光照强度、遮挡等不良因素极其敏感。
基于上述原因,本公开实施例提供一种近眼显示系统,将远程图像采集技术与近眼显示技术结合,使得用户即使不在现场观看,也可以实现现场观看的效果;同时,无需通过图像识别瞳孔位置等信息,改善眼球追踪技术对高性能CPU或是高算力NPU的依赖程度,并使眼球追踪技术不受光线强度、遮挡等因素的干扰。
如图1所示,该近眼显示系统包括显示终端100、服务器200以及图像采集终端300。其中,显示终端100与服务器200通信连接,服务器200与图像采集终端300通信连接。
显示终端100被配置为:获取人眼眼球转动时的眼周生理检测信号,根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,并将所述注视点坐标发送至服务器200。
图像采集终端300被配置为:采集待显示图像,基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,将所述压缩图像发送至所述服务器200。
服务器200被配置为:接收所述注视点坐标,将所述注视点坐标发送至所述图像采集终端300;以及,接收所述压缩图像,将所述压缩图像发送至所述显示终端100以使所述显示终端100基于所述压缩图像进行实时显示。
在本实施例中,显示终端100可以为近眼显示装置,例如VR眼镜等可穿戴设备。显示终端100设置有显示屏,显示屏包括左右两个显示区域。当用户穿戴该显示终端100时,人眼可通过显示终端100上的显示屏观看到3D图像。
当用户的注视点变化时,其眼球会发生转动;而眼球转动时,眼周的生理状态会发生变化,例如:眼周肌肉的收缩状态发生变化、眼周皮肤的拉伸收缩状态发生变化等;而眼周肌肉的收缩状态发生变化导致眼球肌电信号变化,眼周皮肤会发生拉伸或收缩导致眼周皮肤张力检测信号变化;因此,基于眼球肌电信号和/或眼周皮肤张力检测信号的变化情况即可确认眼球转动的情况。
基于此,本实施例中所述显示终端100设置有肌电电极和/或皮肤张力柔性应变片,以用于检测眼周肌肉收缩、眼周皮肤拉伸收缩所产生的眼周生理检测信号。其中,肌电电极设置于眼周肌肉上,被配置为:采集人眼眼球转动时眼周肌肉收缩生成的眼球肌电信号;皮肤张力柔性应变片,设置于眼周皮肤上,被配置为:采集人眼眼球转动时眼周皮肤拉伸生成的眼周皮肤张力检测信号。
眼球外肌由六条控制眼球运动的肌肉和一条提上睑的肌肉组成,当眼球向不同的方向转动时,各条眼球外肌的收缩状态不同,相应的皮肤的收缩和拉伸状态也不同。因此可将肌电电极和/或皮肤张力柔性应变片贴附于眼睛周围,来实现眼球肌电信号和/或眼周皮肤张力检测信号。
具体的:当人眼进行睁闭眼动作时,上睑肌肉的收缩状态发生变化,通过肌电电极可检测到眼球肌电信号,因此,可在上睑肌肉对应的位置贴附肌电电极,通过检测上睑肌肉收缩时的肌电信号来判断睁闭眼动作;当眼球向上翻转时,上直肌的收缩状态发生变化,因此可在上直肌对应的位置贴附肌电电极,通过检测上直肌收缩时的肌电信号来判断眼球是否向上翻转;当眼球向下翻转时,下直肌收缩状态发生变化,因此可在下直肌对应的位置贴附肌电电极,通过检测下直肌收缩时的肌电信号来判断眼球是否向下翻转;当眼球向外翻转时,外直肌收缩状态发生变化,因此可在外直肌对应的位置贴附肌电电极,通过检测外直肌收缩时的肌电信号来判断眼球是否向外翻转;当眼球向内翻转时,内直肌收缩状态发生变化,因此可在内直肌对应的位置贴附肌电电极,通过检测内直肌收缩时的肌电信号来判断眼球是否向内翻转。因此,当肌肉收缩时,肌电电极会采集到肌电电流,基于该肌电电流即可判断出眼球是否转动以及眼球转动的方向。
相应的,由于皮肤是具有弹性的,当眼球运动时,在眼周肌肉的带动下,皮肤的表面也会发生表面形变,通过皮肤张力柔性应变片可检测到眼周皮肤张力检测信号,且该眼周皮肤张力检测信号包括拉伸信号和压缩信号。具体的,当眼周肌肉收缩时,眼周肌肉会带动皮肤发生褶皱,这时贴在皮肤的皮肤张力柔性应变片会检测到压缩信号;当眼周肌肉舒张时,眼周肌肉会带动皮肤发生拉伸,这时贴在皮肤的皮肤张力柔性应变片会产生拉伸信号。例如:眼球在向下翻转时,下直肌收缩,眼球下部的皮肤发生褶皱,通过贴附于眼球下部皮肤上的皮肤张力柔性应变片可检测到压缩信号;同时,眼球上侧皮肤在下直肌的拉扯下,会有拉伸状态,通过贴附于眼球上部皮肤上的皮肤张力柔性应变片可检测到该拉伸信号。因此,当眼周皮肤拉伸或收缩时,皮肤张力柔性应变片会采集到眼周皮肤张力检测信号,基于该眼周皮肤张力检测信号即可判断出眼球是否转动以及眼球转动的方向。
如图2所示,可在每个眼睛周围贴附五个检测单元,两个眼睛周围共贴附十个检测单元来实现眼周生理检测信号的检测,包括:在上睑肌肉对应的位置贴附上睑肌检测单元、在上直肌对应的位置贴附上直肌检测单元、在下直肌对应的位置贴附下直肌检测单元、在外直肌对应的位置贴附外直肌检测单元、在内直肌对应的位置贴附内直肌检测单元。
其中,上睑肌检测单元、上直肌检测单元、下直肌检测单元、外直肌检测单元和内直肌检测单元可均为用于检测眼球肌电信号的肌电电极,或者可均为用于检测眼周皮肤张力检测信号的皮肤张力柔性应变片,或者,也可同时包括肌电电极和皮肤张力柔性应变片。即本实施例中可仅基于眼球肌电信号与眼周皮肤张力检测信号中的一种来实现注视点坐标的计算,也可同时结合眼球肌电信号与眼周皮肤张力检测信号来实现注视点坐标的计算。
同时,由于目前主流的头戴VR设备,其要求眼部的橡胶垫是与眼周紧密固定的,因此可以直接将眼周的各个检测单元与橡胶垫设计成一体,贴在橡胶垫表面,而不用直接贴在皮肤上了,从而方便用户佩戴;而对于因个体差异导致眼球周边肌肉位置的不同,可以增大检测单元的接触表面积来改善。
可选的,在上述实施例中,眼球转动的角度越大,相应肌肉的收缩程度越大,检测到的眼球肌电信号越大;眼球转动的角度越大,相应皮肤的压缩或拉伸程度越大,眼周皮肤张力检测信号也越大;因此通过眼球肌电信号或眼周皮肤张力检测信号的大小可确定眼球转动角度。结合眼球转动的方向和角度即可确定人眼眼球的位置,即人眼瞳孔位置。
如图3所示,通过肌电电极采集到的眼球肌电信号和/或皮肤张力柔性应变片采集到的眼周皮肤张力检测信号经过带通放大器进行滤波处理后,发送至A/D模块转化为数字信号,之后显示终端100的应用处理器(Application Processor,AP)基于该眼球肌电信号和/或眼周皮肤张力检测信号的数字信号进行处理后计算从而确定人眼瞳孔坐标,从而获得注视点坐标。
在一些实施例中,当用户佩戴该显示终端100时,由于人眼与显示屏的几何关系是固定的,即人眼到显示屏的距离、显示屏的尺寸等信息是固定的,此时只需知道人眼初始位置在显示屏上所对应的初始注视点坐标,以及眼球转动的方向和角度,即可计算出人眼在显示屏上实时的注视点坐标。
基于上述理由,所述显示终端100还被配置为:根据人眼注视在显示屏上的第一预设注视点,确定双眼瞳孔初始位置;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的产生方向,确定眼球转动方向;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的大小,确定眼球转动角度;根据所述双眼瞳孔初始位置、所述眼球转动方向及所述眼球转动角度,确定双眼瞳孔实时位置;根据所述双眼瞳孔实时位置生成所述注视点坐标。
其中,所述显示终端100还被配置为:根据所述双眼瞳孔初始位置、所述显示屏的尺寸大小、人眼与所述显示屏之间的距离,计算双眼瞳孔位置与注视点之间的第一映射函数;根据所述双眼瞳孔实时位置和所述第一映射函数生成所述注视点坐标。
本实施例中,为了确定人眼注视点的变化,需先确定人眼眼球的初始位置。因此,在显示屏显示待显示图像之前,可在显示屏的左右显示区域各设置一个第一预设注视点,例如在显示屏的中心或任意位置显示一标记点,并提醒用户注视该标记点,从而确定双眼瞳孔初始位置。
之后,通过上睑肌检测单元、上直肌检测单元、下直肌检测单元、外直肌检测单元和内直肌检测单元检测眼球肌电信号和/或眼周皮肤张力检测信号,通过眼球肌电信号和/或眼周皮肤张力检测信号的产生方向和大小确定眼球转动的方向和角度。再根据所述双眼瞳孔初始位置、所述眼球转动方向及所述眼球转动角度,确定双眼瞳孔实时位置。
在一些实施例中,眼球转动方向、眼球转动角度反应的是人眼瞳孔位置的变化信息,因此可预先构建眼球肌电信号和/或眼周皮肤张力检测信号大小与眼球转动方向、眼球转动角度之间的映射模型,其映射模型构建过程如下:
首先,生成样本数据,该样本数据包括眼球肌电信号和/或眼周皮肤张力检测信号与眼球转动方向、眼球转动角度之间的对应关系。在一个具体的实施例中,当用户在显示屏上的注视点发生一次变化时,通过本公开所述显示装置100采集眼球肌电信号和/或眼周皮肤张力检测信号,同时通过图像识别的方法拍摄并计算人眼注视点变化前后时的瞳孔位置信息,从而确定人眼注视点变化前后的人眼瞳孔位置的变化信息,进而确定眼球转动方向、眼球转动角度,最终获取眼球肌电信号和/或眼周皮肤张力检测信号的变化量与眼球转动方向、眼球转动角度的变化量之间的对应关系。通过大量采集上述数据生成样本数据。
之后,基于该样本数据对该映射模型进行训练,获得训练后的映射模型,并将该训练后的映射模型置于本公开所述显示终端100中。当将实时采集到眼球肌电信号和/或眼周皮肤张力检测信号输入该训练后的映射模型,即可获得眼球转动方向、眼球转动角度。再结合双眼瞳孔初始位置以及眼球转动方向、眼球转动角度,即可确定双眼瞳孔实时位置。
可选的,在训练上述映射模型时,可进一步结合用户的个人信息(例如年龄、性别等信息)等信息对该映射模型进行训练,从而可以进一步获得适用于各种性别、年龄等特性的用户的映射模型。
可选的,也可通过其他任意可行的方式获取建眼球肌电信号和/或眼周皮肤张力检测信号与眼球转动方向、眼球转动角度之间的映射关系,本实施例对此不作限制,
由于当用户佩戴该显示终端100时,人眼与显示屏的几何关系是固定的,即人眼与显示屏之间的距离、显示屏的尺寸大小等信息是固定的。在这种情况下,显示终端100可基于双眼瞳孔初始位置、所述显示屏的尺寸大小、人眼与所述显示屏之间的距离,再结合眼球肌电信号和/或眼周皮肤张力检测信号大小与眼球转动方向、眼球转动角度之间的映射关系,计算双眼瞳孔位置与注视点之间的第一映射函数,最后基于双眼瞳孔实时位置和所述第一映射函数即可生成所述注视点坐标。
可选的,在一些实施例中,所述显示终端100还被配置为:采集人眼注视所述显示屏上至少一个第二预设注视点时的眼球肌电信号和/或眼周皮肤张力检测信号,基于每个第二预设注视点及其对应的眼球肌电信号和/或眼周皮肤张力检测信号确定注视点与眼球肌电信号和/或眼周皮肤张力检测信号之间的第二映射函数;实时采集用户在当前注视显示屏时的眼球肌电信号和/或眼周皮肤张力检测信号;基于所述眼球肌电信号和/或眼周皮肤张力检测信号与所述第二映射函数确定用户当前在显示屏上的注视点坐标。
在本实施例中,在显示屏显示待显示图像之前,可在显示屏的左右显示区域各显示多个第二预设注视点;该第二预设注视点可包括第一预设注视点,也可不包括第一预设注视点。如图4所示,多个第二预设注视点101分别设置于显示屏的中心以及边缘。其中,第二预设注视点101的数量以及位置关系不限于如图4所示的方式,本实施例对此不作限制。
显示终端100可提醒用户依次注视该第二预设注视点,从而确定人眼注视各个第二预设注视点所在位置时的人眼瞳孔位置,同时可采集相应的眼球肌电信号和/或眼周皮肤张力检测信号;从而,可确定眼球肌电信号和/或眼周皮肤张力检测信号与各个第二预设注视点之间的关系。
由于人眼与显示屏的几何关系是固定的,即人眼与显示屏之间的距离、显示屏的尺寸大小等信息是固定的,因此可基于每个第二预设注视点及其对应的眼球肌电信号和/或眼周皮肤张力检测信号确定注视点与眼球肌电信号和/或眼周皮肤张力检测信号,再结合人眼与显示屏之间的距离、显示屏的尺寸大小等信息,生成第二映射函数,该第二映射函数即可表示眼球肌电信号和/或眼周皮肤张力检测信号与注视点之间的映射关系,这样即可基于实时采集的眼球肌电信号和/或眼周皮肤张力检测信号确定用户当前在显示屏上的注视点坐标。
在另一些实施例中,也可预先在显示终端100上设置眼球肌电信号和/或眼周皮肤张力检测信号大小与眼球转动方向、眼球转动角度之间的映射模型,再基于该第二映射函数对该映射模型进行优化,从而使得注视点坐标的确定更加准确。
在上述实施例中,基于眼球肌电信号、眼周皮肤张力检测信号等眼周生理检测信号实现双眼瞳孔位置的确定以及注视点坐标的获取,无需借助于图像采集以及图像处理的方式来实现眼球追踪,从而使得近眼显示终端可以取消眼球追踪摄像头的布置,会使近眼显示终端的体积相对于现在减小一些;同时,近眼显示终端可以不用主控应用处理器来进行眼球追踪算法的运算,减小应用处理器硬件资源的占用,特别是对于具有有限处理能力的嵌入式终端设备具有很大的益处;而由于无需眼部图像采集,因而不受光线强度、遮挡等因素的干扰。
在一些实施例中,显示终端100获得注视点坐标后,将该注视点坐标发送至服务器200。服务器200接收显示终端100发送的注视点坐标并进行解析,从而确定与该显示终端100对应的图像采集终端300,之后将该注视点坐标发送至对应的图像采集终端300。
其中,图像采集终端300可以为相机、摄像头等用于实现图像拍摄、采集的终端设备。为实现3D图像显示,图像采集终端300可以为双目摄像头,或者也可以为多目摄像头等设备。
图像采集终端300接收服务器200发送的该注视点坐标,并基于该注视点坐标对采集到的待显示图像进行压缩。可选的,待显示图像可以为由双目摄像头采集到的
其中,视频压缩技术是计算机处理视频的前提。视频信号数字化后数据带宽很高,通常在20MB/秒以上,因此计算机很难对之进行保存、传输和处理。采用压缩技术通常可以将数据带宽降到1-10MB/秒,这样就可以将视频信号保存在计算机中并作相应的处理。远程图像采集带来的延时一方面受制于网络带宽,另一个方面受制于传输数据的大小,所以在一定带宽网络的前提下,视频压缩体积越小,带来的延时越低。
因此,为了降低视频传输过程中的延时问题,除了提高网络带宽之外,还应在不影响视频观看质量的前提下,减小视频的传输体积,而这可以通过视频压缩技术实现。
视频信息之所以可以压缩体积,是因为其本身存在大量的数据冗余,包括1)时间冗余:视频相邻的两帧之间内容相似,存在运动关系;2)空间冗余:视频的某一帧内部的相邻像素存在相似性;3)编码冗余:视频中不同数据出现的概率不同;4)视觉冗余:观众的视觉系统对视频中不同的部分敏感度不同。对于上述数据冗余方式,相关技术中可以采用不同的视频压缩方法来减少视频传输体积。
对于视觉冗余,相关技术中一般是针对人眼的一些特性比如亮度辨别阈值、视觉阈值等方式。这些方式一般基于人眼对亮度和色度的敏感度不同,从而使得在编码的时候引入适量的误差也不会被人眼察觉出来的原理来实现视频压缩。
而当将远程图像采集技术与近眼显示技术结合时,由于在近眼显示技术中人眼的视角是有限的。具体的,人类的眼睛视角通常是124°。而基于眼球追踪的原理,在近眼显示中显示画面包括高清区域和低清区域,因此对于高清区域可保留视频图像原本的像素密度进行显示,对于低清区域可降低像素密度进行显示,因此可在视频传输之前先基于上述原理对视频进行压缩,从而可进一步减少视频的传输体积。
鉴于此,所述图像采集终端300,还被配置为:采集待显示图像,根据所述注视点坐标将所述待显示图像划分为环绕所述注视点坐标的第一图像区域和环绕所述第一图像区域的第二图像区域,并基于第一像素损失率对所述第一图像区域进行压缩,基于第二像素损失率对所述第二图像区域进行压缩,得到所述待显示图像的压缩图像;其中,所述第一像素损失率小于所述第二像素损失率。
在本实施例中,通过眼球追踪计算出的人眼在屏幕上的注视点坐标后,基于该注视点坐标确定第一图像区域。由于第一图像区域环绕注视点坐标,即第一图像区域是人眼视觉敏感区,是高清显示区域,因此可将该第一图像区域的像素保留原像素密度进行压缩以及传输;而环绕第一图像区域的第二图像区域,其相比于第一图像区域人眼敏感度降低,为低清显示区域,因此在图像压缩时可直接损失部分像素并降低像素密度进行压缩和传输,当压缩后的图像在显示终端100上显示时,由于第二图像区域原本就为低清显示区域,不会影响最终的显示效果,同时还可以降低视频的传输体积,从而降低视频传输过程中的延时问题。
可选的,由于当集中注意力时人眼视角约为五分之一,即25°。而实际上人眼在10°是敏感区,10°~20°可以正确识别信息,20~30°对动态信息比较敏感。因此,如图5所示,可以注视点坐标为原点,将人眼视野视为圆形,将注视点坐标周围10°的区域设置为第一图像区域,该第一图像区域的半径为R1,将其他区域设置为第二图像区域。
为了进一步细分人眼敏感区域的范围,可将第二图像区域进一步划分为第二子图像区域、第三子图像区域和第四子图像区域。如图5所示,将10°~20°所在区域作为第二子图像区域,该第二子图像区域的半径为R2,该第二子图像区域为第一级像素损失梯度,这一区域像素损失率为α;将20~30°所在区域作为第三子图像区域,该第三子图像区域的半径为R3,该第三子图像区域为第二级像素损失梯度,这一区域像素损失率为β,其中α<β;将30°以外的区域作为第四子图像区域,该第四子图像区域为第三级像素损失梯度,这一区域像素损失率为θ,其中α<β<θ。这样,一帧待显示图像的压缩率γ满足:
其中,γ表示单帧图像压缩率,L表示纵向像素数,T表示横向像素数,R1=2d tan5°,R2=2d tan 10°,R3=2d tan 15°。
可选的,上述实施例中各个图像区域和子图像区域的范围仅是示例性的,各个区域的范围可以根据具体情况进行调整,不限于上述实施例中所述,本实施例对此不做限制。
可选的,上述实施例中对第二图像区域的划分仅是示例性的,其划分方式、数量可以根据具体情况进行调整,不限于上述实施例中所述,本实施例对此不做限制。
可选的,在相关技术中所采用的图像压缩方法的基础上,进一步结合上述实施例所述图像压缩方法对待显示图像进行压缩,这样待显示图像的每帧图像又被压缩了γ。
在另一些实施例中,由于使用者年龄、性格等特点的不同,人眼对可视范围的敏感区域是不同的。例如,对于儿童而言,其好奇心会较强,他们的视野会时常在变化,相较于成年人来说,儿童对于某个事物的关注度会有所下降,所以儿童眼睛的敏感区角度会变大。而当用户将视点集中在某一事物上时,其对周围事物的注意力会随着它远离视点的范围变大而降低,所以人眼对视野内敏感区域不是一成不变的,不是固定的值。因此,在公开所述的近眼显示系统中,不仅可以考虑眼球在VR屏幕上的注视点区域,还可以考虑眼球停留在某一区域的时间,从而确定用户关注的敏感区域,并基于敏感区域对待显示图像进行压缩。
基于此,在本公开所述近眼显示系统中,所述显示终端还被配置为:采集人眼在所述注视点坐标所在区域的注视时间,通过所述服务器将所述注视时间发送至所述图像采集终端。所述图像采集终端还被配置为:基于所述注视时间,调整所述第一像素损失率、所述第二像素损失率、所述第一图像区域和所述第二图像区域的范围中的至少一个。
在本实施例中,当人眼注视显示屏时,显示终端100不仅采集注视点坐标,还采集当前人眼的注视时间,并将该注视时间与注视点坐标一起发送至服务器200。服务器200。接收显示终端100发送的注视时间与注视点坐标,将该注视时间与注视点坐标发送至图像采集终端300,图像采集终端300基于该注视时间与注视点坐标,调整第一图像区域的第一像素损失率、第二图像区域的第二像素损失率,以及第一图像区域和第二图像区域的范围中的至少一个,并基于调整后的结果进行图像压缩。
具体的,当人眼在某一区域停留时间较长时,说明人眼对这一区域高度关注,用户的精力主要集中在这一区域,对周边区域的敏感度急剧下降,因此可以降低人眼敏感角度范围,例如减少第一图像区域的角度范围,从而只需对用户真正关注的敏感区域进行高清显示,其他区域进行低清显示,这可以提高视频数据的压缩率。
而对于视点经常变换的用户,说明他对视野区域的细节并不关注,他只是好奇他视野所及有什么新鲜事物,所以在这种情况可以将人眼敏感区角度变大,例如增加第一图像区域的角度范围;同时,既然用户对细节不关注,则可以将最大敏感区内的显示分辨率也整体降低,即增加第一像素损失率;并且随着敏感区梯度的下降,依然随梯度增加压缩率,即第二子图像区域、第三子图像区域和第四子图像区域的范围以及像素损失率也相应调整。这样即使第一图像区域变大了,但是因为第一图像区域的最大分辨率减小,第一像素损失率升高,实际总的压缩率也是增加的,从而可以进一步提高压缩率,降低视频的传输体积。
在另一些实施例中,所述显示终端100,被配置为:采集头部姿态信息,将所述头部姿态信息发送至所述服务器。所述服务器200,被配置为:接收所述头部姿态信息,将头部姿态信息发送至所述图像采集终端。所述图像采集终端300,被配置为:接收所述头部姿态信息,并基于所述头部姿态信息控制所述图像采集终端的摄像头转动,以确定所述待显示图像的采集区域。
在本实施例中,当用户向观看不同角度的画面时,用户头部发生转动导致人眼视野变化,此时显示终端100通过设置其内部的IMU采集头部姿态信息,该头部姿态信息包括在x、y、z轴方向的偏转角度。并通过服务器200将该头部姿态信息发送至图像采集终端300。
如图6所示,图像采集终端300包括一个具有x、y、z三个方向自由度的相机系统,其可以仿制人体颈部基于头部姿态信息进行x、y、z三个方向的转动,每个自由度由一个电机单独控制。当图像采集终端300内部的应用处理器(AP)接收到服务器200发送的头部姿态信息时图像采集终端300内部的MCU通过CAN总线对三个电机进行伺服控制,从而使得图像采集终端300的双目相机可以与人眼具有相同的视野。这样,用户通过该近眼显示系统进行远程观测或无人化操作时,无需人工调整图像采集终端300的观测视野,基于用户头部转动即可控制图像采集终端300移动,使得用户可以专注于远程操作工作;同时,可以解决视野固定带来的观测场景过小问题,从而可以根据用户的主观意愿来改变观测视野。
可选的,在上述实施例中,当图像采集终端300生成最终的压缩图像后,可将该压缩图像发送至服务器200,服务器200可将该压缩图像发送至显示终端100进行实时显示,或者供显示终端100拉流播放。
可选的,上述实施例中,显示终端、图像采集终端300与服务器200之间的数据传输可基于5G网络传输,或者也可以基于4G网络、无线网络等方式进行传输,本实施例对此不做限制。
基于同一发明构思,与上述任意实施例系统相对应的,本公开还提供了一种近眼显示方法。如图7所示,所述近眼显示方法包括:
步骤S101,显示终端获取人眼眼球转动时的眼周生理检测信号,根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,并通过服务器将所述注视点坐标发送至图像采集终端。
其中,所述眼周生理检测信号包括眼球肌电信号和/或眼周皮肤张力检测信号;步骤S101中所述显示终端获取眼球转动时的眼周生理检测信号,具体包括:
显示终端通过设置于眼周肌肉上的肌电电极,采集人眼眼球转动时眼周肌肉收缩生成的眼球肌电信号;和/或,显示终端通过设置于眼周皮肤上的皮肤张力柔性应变片,采集人眼眼球转动时眼周皮肤拉伸生成的眼周皮肤张力检测信号。
在本实施例中,由于当用户的注视点变化时,其眼球会发生转动;而眼球转动时,眼周的生理状态会发生变化,例如:眼周肌肉的收缩状态发生变化、眼周皮肤的拉伸收缩状态发生变化等;而眼周肌肉的收缩状态发生变化导致眼球肌电信号变化,眼周皮肤会发生拉伸或收缩导致眼周皮肤张力检测信号变化;因此,基于眼球肌电信号和/或眼周皮肤张力检测信号的变化情况即可确认眼球转动的情况。
因此,可将肌电电极和/或皮肤张力柔性应变片贴附于眼睛周围,来实现眼球肌电信号和/或眼周皮肤张力检测信号。并根据眼球肌电信号或眼周皮肤张力检测信号的生成方向确定眼球转动方向,根据眼球肌电信号或眼周皮肤张力检测信号的大小确定眼球转动角度,再结合眼球转动的方向和角度确定人眼瞳孔位置,以用于确定最终的注视点坐标。
步骤S102,所述图像采集终端采集待显示图像,基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,并通过服务器将所述压缩图像发送至所述显示终端,以使所述显示终端基于所述压缩图像进行显示。
在一些实施例中,步骤S101中所述根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,如图8所示,包括:
步骤S201,根据人眼注视在显示屏上的第一预设注视点,确定双眼瞳孔初始位置。
本实施例中,为了确定人眼注视点的变化,需先确定人眼眼球的初始位置。因此,在显示屏显示待显示图像之前,可在显示屏的左右显示区域各设置一个第一预设注视点,并提醒用户注视该第一预设注视点,从而确定双眼瞳孔初始位置。
步骤S202,根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的产生方向,确定眼球转动方向。
步骤S203,根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的大小,确定眼球转动角度。
步骤S204,根据所述双眼瞳孔初始位置、所述眼球转动方向及所述眼球转动角度,确定双眼瞳孔实时位置。
步骤S205,根据所述双眼瞳孔实时位置生成所述注视点坐标。
在一些实施例中,步骤S205所述根据所述双眼瞳孔实时位置生成所述注视点坐标,包括:根据所述双眼瞳孔初始位置、所述显示屏的尺寸大小、人眼与所述显示屏之间的距离,计算双眼瞳孔位置与注视点之间的第一映射函数;根据所述双眼瞳孔实时位置和所述第一映射函数生成所述注视点坐标。
在本实施例中,用户佩戴该显示终端100后,人眼与显示屏的几何关系是固定的,即人眼与显示屏之间的距离、显示屏的尺寸大小等信息是固定的。在这种情况下,显示终端100可基于双眼瞳孔初始位置、所述显示屏的尺寸大小、人眼与所述显示屏之间的距离,再结合眼球肌电信号和/或眼周皮肤张力检测信号大小与眼球转动方向、眼球转动角度之间的映射关系,计算双眼瞳孔位置与注视点之间的第一映射函数,最后基于双眼瞳孔实时位置和所述第一映射函数即可生成所述注视点坐标。
在一些实施例中,步骤S101中所述根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,包括:采集人眼注视所述显示屏上至少一个第二预设注视点时的眼球肌电信号和/或眼周皮肤张力检测信号,基于每个第二预设注视点及其对应的眼球肌电信号和/或眼周皮肤张力检测信号确定注视点与眼球肌电信号和/或眼周皮肤张力检测信号之间的第二映射函数;实时采集用户在当前注视显示屏时的眼球肌电信号和/或眼周皮肤张力检测信号;基于所述眼球肌电信号和/或眼周皮肤张力检测信号与所述第二映射函数确定用户当前在显示屏上的注视点坐标。
在本实施例中,由于人眼与显示屏的几何关系是固定的,即人眼与显示屏之间的距离、显示屏的尺寸大小等信息是固定的,因此可基于每个第二预设注视点及其对应的眼球肌电信号和/或眼周皮肤张力检测信号确定注视点与眼球肌电信号和/或眼周皮肤张力检测信号,再结合人眼与显示屏之间的距离、显示屏的尺寸大小等信息,生成第二映射函数,该第二映射函数即可表示眼球肌电信号和/或眼周皮肤张力检测信号与注视点之间的映射关系,这样即可基于实时采集的眼球肌电信号和/或眼周皮肤张力检测信号确定用户当前在显示屏上的注视点坐标。
在一些实施例中,步骤S102中所述基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,包括:所述图像采集终端采集待显示图像,根据所述注视点坐标将所述待显示图像划分为环绕所述注视点坐标的第一图像区域和环绕所述第一图像区域的第二图像区域,并基于第一像素损失率对所述第一图像区域进行压缩,基于第二像素损失率对所述第二图像区域进行压缩,得到所述待显示图像的压缩图像;其中,所述第一像素损失率小于所述第二像素损失率。
在本实施例中,通过眼球追踪计算出的人眼在屏幕上的注视点坐标后,基于该注视点坐标确定第一图像区域和第二图像区域。由于第一图像区域环绕注视点坐标,即第一图像区域是人眼视觉敏感区,是高清显示区域,因此可将该第一图像区域的像素保留原像素密度进行压缩以及传输;而环绕第一图像区域的第二图像区域,其相比于第一图像区域人眼敏感度降低,为低清显示区域,因此在图像压缩时可直接损失部分像素并降低像素密度进行压缩和传输,当压缩后的图像在显示终端100上显示时,由于第二图像区域原本就为低清显示区域,不会影响最终的显示效果,同时还可以降低视频的传输体积,从而降低视频传输过程中的延时问题。
在一些实施例中,所述的显示方法,还包括:
步骤S301,所述显示终端采集人眼在所述注视点坐标所在区域的注视时间,通过所述服务器将所述注视时间发送至所述图像采集终端。
步骤S302,所述图像采集终端基于所述注视时间,调整所述第一像素损失率、所述第二像素损失率、所述第一图像区域和所述第二图像区域的范围中的至少一个。
在本实施例中,当人眼注视显示屏时,显示终端100不仅采集注视点坐标,还采集当前人眼的注视时间,并将该注视时间与注视点坐标一起发送至服务器200。服务器200。接收显示终端100发送的注视时间与注视点坐标,将该注视时间与注视点坐标发送至图像采集终端300,图像采集终端300基于该注视时间与注视点坐标,调整第一图像区域的第一像素损失率、第二图像区域的第二像素损失率,以及第一图像区域和第二图像区域的范围中的至少一个,并基于调整后的结果进行图像压缩。
在一些实施例中,如图9所示,所述的显示方法,还包括:
步骤S401,所述显示终端采集头部姿态信息,并通过服务器将所述头部姿态信息发送至所述图像采集终端;
步骤S402,所述图像采集终端接收所述头部姿态信息,并基于所述头部姿态信息控制所述图像采集终端的摄像头转动,以确定所述待显示图像的采集区域。
在本实施例中,当用户向观看不同角度的画面时,用户头部发生转动导致人眼视野变化,此时显示终端100通过设置其内部的IMU采集头部姿态信息,该头部姿态信息包括在x、y、z轴方向的偏转角度。并通过服务器200将该头部姿态信息发送至图像采集终端300,以控制图像采集终端300进行转动,进而保证图像采集终端300的图像采集视野与人眼观测视野一致。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种计算机程序产品,其包括计算机程序。在一些实施例中,所述计算机程序由一个或多个处理器可执行以使得所述处理器执行所述的方法。对应于方法各实施例中各步骤对应的执行主体,执行相应步骤的处理器可以是属于相应执行主体的。
上述实施例的计算机程序产品用于使处理器执行如上任一实施例所述的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本公开实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本公开实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本公开实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本公开实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (12)
1.一种近眼显示系统,其特征在于,包括:
显示终端,被配置为:获取人眼眼球转动时的眼周生理检测信号,根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,并将所述注视点坐标发送至服务器;
图像采集终端,被配置为:采集待显示图像,基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,将所述压缩图像发送至所述服务器;
服务器,被配置为:接收所述注视点坐标,将所述注视点坐标发送至所述图像采集终端;以及,接收所述压缩图像,将所述压缩图像发送至所述显示终端以使所述显示终端基于所述压缩图像进行显示;
所述眼周生理检测信号包括眼球肌电信号和/或眼周皮肤张力检测信号;所述显示终端包括:肌电电极,设置于眼周肌肉上,被配置为:采集人眼眼球转动时眼周肌肉收缩生成的眼球肌电信号;和/或,皮肤张力柔性应变片,设置于眼周皮肤上,被配置为:采集人眼眼球转动时眼周皮肤拉伸或收缩生成的眼周皮肤张力检测信号;
所述显示终端,还被配置为:根据人眼注视在显示屏上的第一预设注视点,确定双眼瞳孔初始位置;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的产生方向,确定眼球转动方向;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的大小,确定眼球转动角度;根据所述双眼瞳孔初始位置、所述眼球转动方向及所述眼球转动角度,确定双眼瞳孔实时位置;根据所述双眼瞳孔实时位置生成所述注视点坐标。
2.根据权利要求1所述的系统,其特征在于,所述显示终端,还被配置为:
根据所述双眼瞳孔初始位置、所述显示屏的尺寸大小、人眼与所述显示屏之间的距离,计算双眼瞳孔位置与注视点之间的第一映射函数;根据所述双眼瞳孔实时位置和所述第一映射函数生成所述注视点坐标。
3.根据权利要求1所述的系统,其特征在于,所述显示终端,还被配置为:
采集人眼注视所述显示屏上至少一个第二预设注视点时的眼球肌电信号和/或眼周皮肤张力检测信号,基于每个第二预设注视点及其对应的眼球肌电信号和/或眼周皮肤张力检测信号确定注视点与眼球肌电信号和/或眼周皮肤张力检测信号之间的第二映射函数;实时采集用户在当前注视显示屏时的眼球肌电信号和/或眼周皮肤张力检测信号;基于所述眼球肌电信号和/或眼周皮肤张力检测信号与所述第二映射函数确定用户当前在显示屏上的注视点坐标。
4.根据权利要求1-3任一项所述的系统,其特征在于,所述图像采集终端,还被配置为:
采集待显示图像,根据所述注视点坐标将所述待显示图像划分为环绕所述注视点坐标的第一图像区域和环绕所述第一图像区域的第二图像区域,并基于第一像素损失率对所述第一图像区域进行压缩,基于第二像素损失率对所述第二图像区域进行压缩,得到所述待显示图像的压缩图像;其中,所述第一像素损失率小于所述第二像素损失率。
5.根据权利要求4所述的系统,其特征在于,
所述显示终端,被配置为:采集人眼在所述注视点坐标所在区域的注视时间,通过所述服务器将所述注视时间发送至所述图像采集终端;
所述图像采集终端,被配置为:基于所述注视时间,调整所述第一像素损失率、所述第二像素损失率、所述第一图像区域和所述第二图像区域的范围中的至少一个。
6.根据权利要求1所述的系统,其特征在于,
所述显示终端,被配置为:采集头部姿态信息,将所述头部姿态信息发送至所述服务器;
所述服务器,被配置为:接收所述头部姿态信息,将头部姿态信息发送至所述图像采集终端;
所述图像采集终端,被配置为:接收所述头部姿态信息,并基于所述头部姿态信息控制所述图像采集终端的摄像头转动,以确定所述待显示图像的采集区域。
7.一种近眼显示方法,其特征在于,包括:
显示终端获取人眼眼球转动时的眼周生理检测信号,根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,并通过服务器将所述注视点坐标发送至图像采集终端;
所述图像采集终端采集待显示图像,基于所述注视点坐标对所述待显示图像进行压缩得到压缩图像,并通过服务器将所述压缩图像发送至所述显示终端,以使所述显示终端基于所述压缩图像进行显示;
所述眼周生理检测信号包括眼球肌电信号和/或眼周皮肤张力检测信号;所述显示终端获取眼球转动时的眼周生理检测信号,包括:显示终端通过设置于眼周肌肉上的肌电电极,采集人眼眼球转动时眼周肌肉收缩生成的眼球肌电信号;和/或,
显示终端通过设置于眼周皮肤上的皮肤张力柔性应变片,采集人眼眼球转动时眼周皮肤拉伸生成的眼周皮肤张力检测信号;
所述根据所述眼周生理检测信号获得人眼注视所述显示终端的显示屏时的注视点坐标,包括:根据人眼注视在显示屏上的第一预设注视点,确定双眼瞳孔初始位置;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的产生方向,确定眼球转动方向;根据所述眼球肌电信号和/或所述眼周皮肤张力检测信号的大小,确定眼球转动角度;根据所述双眼瞳孔初始位置、所述眼球转动方向及所述眼球转动角度,确定双眼瞳孔实时位置;根据所述双眼瞳孔实时位置生成所述注视点坐标。
8.根据权利要求7所述的显示方法,其特征在于,还包括:
所述图像采集终端采集待显示图像,根据所述注视点坐标将所述待显示图像划分为环绕所述注视点坐标的第一图像区域和环绕所述第一图像区域的第二图像区域,并基于第一像素损失率对所述第一图像区域进行压缩,基于第二像素损失率对所述第二图像区域进行压缩,得到所述待显示图像的压缩图像;其中,所述第一像素损失率小于所述第二像素损失率。
9.根据权利要求8所述的显示方法,其特征在于,还包括:
所述显示终端采集人眼在所述注视点坐标所在区域的注视时间,通过所述服务器将所述注视时间发送至所述图像采集终端;
所述图像采集终端基于所述注视时间,调整所述第一像素损失率、所述第二像素损失率、所述第一图像区域和所述第二图像区域的范围中的至少一个。
10.根据权利要求7所述的显示方法,其特征在于,还包括:
所述显示终端采集头部姿态信息,并通过服务器将所述头部姿态信息发送至所述图像采集终端;
所述图像采集终端接收所述头部姿态信息,并基于所述头部姿态信息控制所述图像采集终端的摄像头转动,以确定所述待显示图像的采集区域。
11.一种包含计算机程序的非易失性计算机可读存储介质,其特征在于,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行权利要求7-10中任一项所述的方法。
12.一种计算机程序产品,包括计算机程序指令,其特征在于,当所述计算机程序指令在计算机上运行时,使得计算机执行如权利要求7-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111406931.8A CN114047822B (zh) | 2021-11-24 | 2021-11-24 | 近眼显示方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111406931.8A CN114047822B (zh) | 2021-11-24 | 2021-11-24 | 近眼显示方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114047822A CN114047822A (zh) | 2022-02-15 |
CN114047822B true CN114047822B (zh) | 2023-12-19 |
Family
ID=80210864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111406931.8A Active CN114047822B (zh) | 2021-11-24 | 2021-11-24 | 近眼显示方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114047822B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106020497A (zh) * | 2016-07-11 | 2016-10-12 | 北京集创北方科技股份有限公司 | 显示设备、系统及显示处理方法 |
CN111880654A (zh) * | 2020-07-27 | 2020-11-03 | 歌尔光学科技有限公司 | 一种图像显示方法、装置、穿戴设备及存储介质 |
CN112034977A (zh) * | 2019-06-04 | 2020-12-04 | 陈涛 | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 |
CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
CN113495613A (zh) * | 2020-03-18 | 2021-10-12 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3439533A4 (en) * | 2016-04-08 | 2020-01-01 | Vizzario, Inc. | METHODS AND SYSTEMS FOR OBTAINING, AGGREGATING, AND ANALYZING VISION DATA IN ORDER TO ASSESS A PERSON'S VISUAL CAPACITY |
-
2021
- 2021-11-24 CN CN202111406931.8A patent/CN114047822B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106020497A (zh) * | 2016-07-11 | 2016-10-12 | 北京集创北方科技股份有限公司 | 显示设备、系统及显示处理方法 |
CN112034977A (zh) * | 2019-06-04 | 2020-12-04 | 陈涛 | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 |
CN113495613A (zh) * | 2020-03-18 | 2021-10-12 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准方法及装置 |
CN111880654A (zh) * | 2020-07-27 | 2020-11-03 | 歌尔光学科技有限公司 | 一种图像显示方法、装置、穿戴设备及存储介质 |
CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114047822A (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10984756B2 (en) | Adaptive parameters in image regions based on eye tracking information | |
US11546610B2 (en) | Foveated video link for VR with gaze tracking | |
US10859840B2 (en) | Graphics rendering method and apparatus of virtual reality | |
RU2693329C2 (ru) | Способ и устройство отображения с оптимизацией перераспределения пикселей | |
Rai et al. | A dataset of head and eye movements for 360 degree images | |
CN103729981B (zh) | 一种儿童坐姿监控智能终端 | |
US20170324899A1 (en) | Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method | |
CN108828779B (zh) | 一种头戴式显示设备 | |
CN111710050A (zh) | 一种用于虚拟现实设备的图像处理方法及装置 | |
EP3929650A1 (en) | Gaze tracking apparatus and systems | |
US11507184B2 (en) | Gaze tracking apparatus and systems | |
CN109901290B (zh) | 注视区域的确定方法、装置及可穿戴设备 | |
CN107260506B (zh) | 基于眼动的3d视觉训练系统、智能终端及头戴设备 | |
US20210382316A1 (en) | Gaze tracking apparatus and systems | |
CN113438464A (zh) | 一种裸眼3d显示模式的切换控制方法、介质和系统 | |
CN114047822B (zh) | 近眼显示方法及系统 | |
US10255676B2 (en) | Methods and systems for simulating the effects of vision defects | |
Younis et al. | Augmented and virtual reality approaches to help with peripheral vision loss | |
US20200258316A1 (en) | Method of garbling real-world image for see-through head mount display and see-through head mount display with realworld image garbling function | |
CN109917908B (zh) | 一种ar眼镜的图像获取方法及系统 | |
WO2022246804A1 (zh) | 视线追踪方法、装置及系统 | |
JPH01141479A (ja) | 視線検出を利用した画像通信装置 | |
CN115914603A (zh) | 图像渲染方法、头戴显示设备和可读存储介质 | |
CN115083325A (zh) | 一种设备控制方法、装置、电子设备和存储介质 | |
Besic et al. | Virtual reality test setup for visual impairment studies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |