[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108012139A - 应用于真实感近眼显示的图像生成方法和装置 - Google Patents

应用于真实感近眼显示的图像生成方法和装置 Download PDF

Info

Publication number
CN108012139A
CN108012139A CN201711250300.5A CN201711250300A CN108012139A CN 108012139 A CN108012139 A CN 108012139A CN 201711250300 A CN201711250300 A CN 201711250300A CN 108012139 A CN108012139 A CN 108012139A
Authority
CN
China
Prior art keywords
coordinate system
eyepiece
light field
field image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711250300.5A
Other languages
English (en)
Other versions
CN108012139B (zh
Inventor
翁冬冬
刘越
王涌天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201711250300.5A priority Critical patent/CN108012139B/zh
Publication of CN108012139A publication Critical patent/CN108012139A/zh
Application granted granted Critical
Publication of CN108012139B publication Critical patent/CN108012139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例提供一种应用于真实感近眼显示的图像生成方法和装置,方法包括:将待显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系,以去除目镜对成像的作用。在出瞳位置处触发多条光线,通过获取多条光线在转换后的成像信息中分别对应的像素的实际灰度值,获得反映三维物体在人眼中的真实图像显示效果的第一光场图像。通过获取多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像。根据第一光场图像对第二光场图像中像素的灰度值进行修正,以获得第三光场图像,从而保证了第三光场图像更加逼真于体现真实感的第一光场图像,保证了图像显示质量。

Description

应用于真实感近眼显示的图像生成方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种应用于真实感近眼显示的图 像生成方法和装置。
背景技术
相较于二维显示,三维显示能提供更直观的视觉感受、更丰富的细节,在 虚拟现实和增强现实等领域中被广泛使用。近来,多层三维显示器已经在三维 显示领域获得了越来越多的关注。通常来讲,多层三维显示器由沿着厚度方向 堆叠的多个平行的二维显示层形成,以产生三维视觉效果。
在一些实际应用场景中,人们佩戴三维显示器比如头盔式的三维显示器时, 往往会产生晕眩的不适感,之所以产生不适感,其中一个主要的原因是成像质 量问题。因此,基于多层三维显示器,如何有效生成更加真实、高质量的显示 图像,是亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供一种应用于真实感近眼显示的图像生成方法 和装置,用以生成高质量的三维图像。
本发明实施例提供一种应用于真实感近眼显示的图像生成方法,包括:
根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间 成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息;
在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成 像信息中分别对应的像素的实际灰度值,获得第一光场图像;
通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获 得第二光场图像;
根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以 获得第三光场图像;
在所述多层显示屏上显示所述第三光场图像。
本发明实施例提供一种图像生成装置,包括:
转换模块,用于根据预设世界坐标系与目镜坐标系的映射关系,将待显示 三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转 换后的成像信息;
第一获取模块,用于在出瞳位置处触发多条光线,以通过获取所述多条光 线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图 像;
第二获取模块,用于通过获取所述多条光线在多层显示屏上分别对应的像 素的初始灰度值,获得第二光场图像;
修正处理模块,用于根据所述第一光场图像对所述第二光场图像中像素的 灰度值进行修正,以获得第三光场图像;
显示模块,用于在所述多层显示屏上显示所述第三光场图像。
本发明实施例提供了一种电子设备,包括:由等厚透镜组成的目镜、多层 显示屏、存储器和处理器,所述目镜包括镀有增透膜的第一表面以及镀有半透 半反射膜的第二表面,所述第一表面位于靠近人眼一侧,所述第二表面位于远 离人眼一侧;
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计 算机指令被所述处理器执行时实现如前述实施例提供的图像生成方法。
本发明实施例提供的应用于真实感近眼显示的图像生成方法和装置,在获 得待显示三维物体的空间成像信息后,通过将该待显示三维物体的空间成像信 息从世界坐标系变换至目镜坐标系,以去除目镜对该空间成像信息的放大等作 用。之后,将转换后的成像信息投影在目镜的出瞳位置处,在出瞳位置处触发 多条光线,通过获取该多条光线在转换后的成像信息中分别对应的像素的实际 灰度值来获得第一光场图像,该第一光场图像反映了待显示三维物体在人眼中 的真实图像效果。另外,通过获取该多条光线中每条光线在多层显示屏的每层 上分别对应的像素的初始灰度值,获得多层显示屏上对应的第二光场图像,即 实际需要显示的光场图像的初始灰度信息。由于该第二光场图像中各像素的灰度值还为初始值,并非实际成像时所对应的灰度值,以该初始灰度值为变量, 结合第一光场图像中对应像素的实际灰度值来对第二光场图像中各像素的灰度 值进行修正,得到待显示的第三光场图像,从而保证了生成的第三光场图像更 加逼真于体现真实感的第一光场图像,保证了图像显示质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描 述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出 创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的应用于真实感近眼显示的图像生成方法的流程 图;
图2a-图2c为本发明实施例提供的三维显示器的结构示意图;
图3为本发明实施例提供的世界坐标系、目镜坐标系的示意图;
图4为本发明实施例提供的第一光场图像的获取过程示意图;
图5为本发明实施例提供的第二光场图像的获取过程示意图;
图6为本发明实施例提供的图像生成装置的结构示意图;
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明 实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中 的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例,都属于本发明保护的范围。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描 述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例 如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类 似地,第二XXX也可以被称为第一XXX。
图1为本发明实施例提供的应用于真实感近眼显示的图像生成方法的流程 图,本实施例提供的该图像生成方法可以由一图像生成装置来执行,该图像生 成装置可以实现为软件,或者实现为软件和硬件的组合,该图像生成装置可以 集成设置在一个三维显示器中。如图1所示,该方法包括如下步骤:
步骤101、根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物 体的空间成像信息从世界坐标系变换至目镜坐标系,以获得转换后的成像信息。
本实施例中,上述世界坐标系中的待显示三维物体的空间成像信息可以是 在计算机软件中建立待显示三维物体后,将其放置在世界坐标系中。其中,该 三维物体的获得可以是计算机三维建模软件,如Unity 3D、Pro-E、Solidworks 等建模形成,也可以是通过计算机底层建模语言或者脚本,如OpenGL构建,也 可以是通过光场拍摄或者多摄像机拍摄后重建获得的。
如图2a所示,本实施例中该图像生成方法可以适用于采用图2a中所示的 显示器结构进行图像显示的场景中,简单来说,该显示器中包括左、右眼目镜, 左、右眼多层显示屏。一般的图像显示过程简单描述为:多层显示屏形成的空 间光场图像通过目镜分别投射在左、右眼中,左眼和右眼分别通过渲染的光场 获得三维物体的聚焦信息。左眼和右眼的光场图像提供了三维物体的视差信息, 从而使得用户获得真实感三维显示体验。
另外,本发明实施例提供的如图2a所示的显示器结构除了可以用于显示虚 拟的空间光场图像外,还可以用于同时显示真实世界的图像。为便于理解,简 单来说,假设需要显示的空间光场图像是一电视机的画面,该电视机在真实世 界中被置于墙壁上,则基于该显示器,不但可以显示出该电视机画面,同时还 可以显示出电视机挂在墙壁的真实效果。
下面,结合图2b和图2c说明图2a所示显示器结构的具体设计参数。
本发明实施例中的目镜可以是光学透射式目镜,也可以是浸没式目镜。以 光学透射式目镜为例,该光学透射式目镜可以由一片等厚透镜组成,如图2b所 示,该等厚透镜在靠近人眼的第一表面镀有增透膜,在远离人眼的第二表面镀 有半透半反射膜。多层显示屏中的每层显示屏具有一定的曲率半径。在该结构 中,如图2b所示,光线从人眼瞳孔位置到成像的多层显示屏依次经过光阑、第 一表面、第二表面、第一表面和多层显示屏。
具体地,在成像过程中,多层显示屏显示的光场图像比如上述举例的电视 机画面经过第一表面的两次透射和第二表面的反射进入人眼,形成虚拟光路; 同时,真实世界比如上述举例的墙壁透过第二表面的透射进入人眼形成真实光 路。从而,人眼可以同时看到虚拟的光场图像以及真实世界图像。在虚拟光路 中,如图2b所示的三束光线中,光轴经过光学透射式目镜发生反射,光轴经过 光学透射式目镜反射前后夹角大于30度小于90度,即先后两次经过第一表面 后的夹角大于30度小于90度。
该显示器结构的设计过程为:在光阑位置建立光轴方向为Z轴、子午方向 为Y轴的直角坐标系。光学表面即光学透射式目镜相对于光阑中心的位置,可 以由X方向偏心、Y方向偏心和Z方向偏心表示,其中,光学表面相对于光阑中 心的旋转角度由绕X轴方向的Alpha偏心,绕Y轴方向的Beta偏心和绕Z轴方 向的Gamma偏心表示。多层显示屏平行于像面,放置在靠近光学透射式目镜的 位置。可选的设计参数可以如表1所示,相应的光学性能图如图2c所示。
表1:
曲率半径(mm) Y方向偏心(mm) Z方向偏心(mm) Alpha偏心(°)
光阑 无穷
-206.68 3.83 101.3 -18.23
-206.68 3.83 109.3 -18.23
-206.68 3.83 101.3 -18.23
像面 无穷 60.85 26.86 -12.55
基于该显示器结构,为实现本发明实施例提供的图像生成方法,首先需要 建立世界坐标系以及目镜坐标系,其中,目镜坐标系包括左眼目镜坐标系和右 眼目镜坐标系。
可选地,可以根据如下规则建立世界坐标系、左眼目镜坐标系和右眼目镜 坐标系,如图3所示:
以左眼目镜的光心位置为坐标原点,建立左眼目镜坐标系OleftXleftYleftZleft; 以右眼目镜的光心位置为坐标原点,建立右眼目镜坐标系OrightXrightYrightZright;以 左眼目镜的光心位置和右眼目镜的光心位置之间连线的垂直平分线上一点为坐 标原点,建立世界坐标系OwXwYwZw,其中,世界坐标系的坐标轴与左眼目镜坐标 系和右眼目镜坐标系中的相应坐标轴平行,即OwXw分别平行于和OleftXleft、 OrightXright,OwYw分别平行于和OleftYleft、OrightYright,OwZw分别平行于和OleftZleft、OrightZright。 其中,D为瞳距。
基于此建立的坐标系,根据基于该显示器的目镜的焦距f、瞳距D,将待显 示三维物体的空间成像信息从世界坐标系变换到目镜坐标系中。
具体地,可以根据如下公式(1)将待显示三维物体的空间成像信息变换至 左眼目镜坐标系:
根据如下公式(2)将待显示三维物体的空间成像信息变换至右眼目镜坐标 系:
其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为 左眼目镜坐标系中对应的成像位置信息,(xright,ylright,zright)为右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为世界坐标系的坐标原点Ow到Oleft与Oright连线的距离。
基于上述变换,在不考虑目镜的畸变作用的情况下,可以去除目镜的放大 作用对三维物体的成像的影响。
步骤102、在出瞳位置处触发多条光线,以通过获取所述多条光线在转换后 的成像信息中分别对应的像素的实际灰度值,获得第一光场图像。
本实施例中,为了获得目镜坐标系中的三维物体的成像信息,即变换后的 成像信息在人眼处的图像成像效果,可选地,可以在目镜出瞳位置处选择多个 视点,将目镜坐标系中的三维物体投影到多个视点,从而得到在多个视点上形 成的二维图像,即第一光场图像。图4示出了第一光场图像的获取过程,第一 光场图像中的每个像素对应于从一视点触发的光线,如图4中所示,第一光场 图像中的某像素对应于V2视点触发的一条光线,该光线和目镜坐标系中待显示 三维物体相交,即会对应到上述转换后的成像信息中的一像素点上,获得该像 素点所对应的灰度值。从而,基于设置的多个视点,每个视点触发的多条光线, 可以获得包含有多个像素的实际灰度值即真实灰度值的第一光场图像,该第一 光场图像反映了实际上应该在人眼中呈现的成像效果。
上述第一光场图像的获取过程除了基于上述视点产生图像的方式获得外, 可选地,还可以通过从目镜出瞳位置出发追击光线,计算追击光线与目镜坐标 系中三维物体对应的灰度值来获得该第一光场图像。
可选地,在获得该第一光场图像之后,还可以对该第一光场图像进行灰度 归一化处理。
步骤103、通过获取多条光线在多层显示屏上分别对应的像素的初始灰度 值,获得第二光场图像。
本实施例中,初始情况下,即还没有在多层显示屏上显示图像前,可以设 置多层显示屏的每层显示屏中的各像素的初始灰度值。通过以该初始灰度值为 变量,将多层显示屏的图像投影到上述目镜出瞳位置处设置的多个视点上,形 成二维图像,即第二光场图像。
如图5所示,假设显示器中单眼使用了N层显示屏,显示屏上的像素灰度 用表示,其中,t表示显示屏的编号,i,j表示该显示屏中像素的编号。像 素的灰度表示屏幕的透过率。图5示出了第二光场图像的获取过程,同样地, 第二光场图像中的每个像素对应于从一视点触发的光线,如图5中所示,第二 光场图像中的某像素对应于V2视点触发的一条光线,只是此时,该光线会和多 层显示屏分别相交于不同像素点,相交的各像素点对应的灰度值分别是 因此,该第二光场图像中V2视点所对应的像素点的灰度值可以表示 为:
即V2视点触发的该光线与N层显示屏分别相交的像素的初始 灰度值的乘积。
同样可选地,该第二光场图像的获取过程可以不基于视点产生的图像,也 可以从目镜出瞳位置出发追迹光线,确定追迹光线在多层显示屏上分别对应的 初始灰度值。
可选地,在获得该第二光场图像之后,还可以对该第二光场图像进行灰度 归一化处理。
步骤104、根据第一光场图像对第二光场图像中像素的灰度值进行修正,以 获得第三光场图像。
具体地,该修正过程可以实现为:
根据第一光场图像和第二光场图像中对应像素的实际灰度值和初始灰度值 构建误差函数;求解误差函数,确定多条光线在多层显示屏上分别对应的像素 的最终灰度值,以获得第三光场图像,其中,最终灰度值使误差函数最小。
可选地,该误差函数可以是第一光场图像和第二光场图像中对应像素的实 际灰度值和初始灰度值的差值的和,或者是差值的加权和。比如,以第一光场 图像和第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方 和,构建误差函数。
其中,权重系数比如可以根据对应视点位置确定,比如越靠近目镜光轴的 视点所对应的权重系数越大,即该视点所对应的像素的实际灰度值和初始灰度 值的差值的权重系数越大。
本实施例中,以各像素对应的初始灰度值为变量,以误差函数最小为优化 目标,求解该误差函数,得到各变量对应的最终取值,即得到各像素对应的最 终灰度值,以获得可以在多层显示屏上显示的第三光场图像。
步骤105、以预设目镜畸变系数,对第三光场图像进行校正。
可选地,由于前述坐标变换处理时,往往是没有考虑目镜的畸变作用的, 因此,此时可以考虑目镜的畸变作用,将计算获得的第三光场图像进行畸变校 正处理,以获得最终需显示的光场图像。目镜的畸变系数的获得可以是目镜设 计过程中的设计值,也可以是目镜实际加工后实际标定测量值,在这里不同位 置深度的屏幕的畸变系数并不相同,需要给定不同的畸变系数。
步骤106、在多层显示屏上显示校正后的第三光场图像。
本发明实施例中,在获得待显示三维物体的空间成像信息后,通过将该待 显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系,以去除目镜对 该空间成像信息的放大等作用。之后,将转换后的成像信息投影在目镜的出瞳 位置处,在出瞳位置处触发多条光线,通过获取该多条光线在转换后的成像信 息中分别对应的像素的实际灰度值来获得第一光场图像,该第一光场图像反映 了待显示三维物体在人眼中的真实图像效果。另外,通过获取该多条光线中每 条光线在多层显示屏的每层上分别对应的像素的初始灰度值,获得多层显示屏 上对应的第二光场图像,即实际需要显示的光场图像的初始灰度信息。由于该 第二光场图像中各像素的灰度值还为初始值,并非实际成像时所对应的灰度值, 以该初始灰度值为变量,结合第一光场图像中对应像素的实际灰度值来构建误 差函数,通过优化算法求取使得该误差函数最小的各像素的灰度值,作为第二 光场图像中各像素的最终灰度值,得到待显示的第三光场图像,从而保证了生 成的第三光场图像更加逼真于体现真实感的第一光场图像,保证了图像显示质 量。
图6为本发明实施例提供的图像生成装置的结构示意图,如图6所示,该 装置包括:转换模块11、第一获取模块12、第二获取模块13、修正处理模块 14、显示模块15。
转换模块11,用于根据预设世界坐标系与目镜坐标系的映射关系,将待显 示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得 转换后的成像信息。
第一获取模块12,用于在出瞳位置处触发多条光线,以通过获取所述多条 光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场 图像。
第二获取模块13,用于通过获取所述多条光线在多层显示屏上分别对应的 像素的初始灰度值,获得第二光场图像。
修正处理模块14,用于根据所述第一光场图像对所述第二光场图像中像素 的灰度值进行修正,以获得第三光场图像。
显示模块15,用于在所述多层显示屏上显示所述第三光场图像。
其中,所述目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系,可选地, 所述装置还包括:建立模块21。
建立模块21,用于根据如下规则建立所述世界坐标系、所述左眼目镜坐标 系和所述右眼目镜坐标系:
以左眼目镜的光心位置为坐标原点,建立所述左眼目镜坐标系;以右眼目 镜的光心位置为坐标原点,建立所述右眼目镜坐标系;以所述左眼目镜的光心 位置和所述右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点,建 立所述世界坐标系;所述世界坐标系的坐标轴与所述左眼目镜坐标系和所述右 眼目镜坐标系中的相应坐标轴平行。
相应地,所述转换模块11具体用于:
根据如下公式(1)将所述待显示三维物体的空间成像信息变换至所述左眼 目镜坐标系:
根据如下公式(2)将所述待显示三维物体的空间成像信息变换至所述右眼 目镜坐标系:
其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为 所述左眼目镜坐标系中对应的成像位置信息,(xright,ylright,zright)为所述右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为所述世界坐标系的 坐标原点到所述连线的距离。
可选地,所述修正处理模块14具体用于:
根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初 始灰度值构建误差函数;求解所述误差函数,确定所述多条光线在所述多层显 示屏上分别对应的像素的最终灰度值,以获得第三光场图像,所述最终灰度值 使所述误差函数最小。
可选地,所述修正处理模块14具体用于:以所述第一光场图像和所述第二 光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和,构建所 述误差函数。
可选地,该装置还包括:畸变校正模块22。
畸变校正模块22,用于以预设目镜畸变系数,对所述第三光场图像进行校 正。
图6所示装置可以执行图1所示实施例的方法,本实施例未详细描述的部 分,可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果 参见图1所示实施例中的描述,在此不再赘。
另外,如图7所示,本发明实施例还提供一种电子设备,包括:由等厚透 镜组成的目镜31、多层显示屏32、存储器33和处理器34。如图2b所示,所述 目镜31包括镀有增透膜的第一表面以及镀有半透半反射膜的第二表面,所述第 一表面位于靠近人眼一侧,所述第二表面位于远离人眼一侧。所述存储器33用 于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理 器34执行时实现如前述实施例提供的图像生成方法。
在一种可选实施方式中,本发明实施例提供的电子设备还可以包括通信接 口35,用于所述电子设备与其他设备、或者外部网络之间的通信。
本发明实施例还提供一种存储有计算机程序的计算机可读存储介质,所述 计算机程序使计算机执行时实现本发明实施例提供的图像生成方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的 单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也 可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限 制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员 应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其 中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的 本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种应用于真实感近眼显示的图像生成方法,其特征在于,包括:
根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息;
在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像;
通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像;
根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像;
在所述多层显示屏上显示所述第三光场图像。
2.根据权利要求1所述的方法,其特征在于,所述目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系,所述方法还包括:
根据如下规则建立所述世界坐标系、所述左眼目镜坐标系和所述右眼目镜坐标系:
以左眼目镜的光心位置为坐标原点,建立所述左眼目镜坐标系;以右眼目镜的光心位置为坐标原点,建立所述右眼目镜坐标系;以所述左眼目镜的光心位置和所述右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点,建立所述世界坐标系;所述世界坐标系的坐标轴与所述左眼目镜坐标系和所述右眼目镜坐标系中的相应坐标轴平行。
3.根据权利要求2所述的方法,其特征在于,所述将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,包括:
根据如下公式(1)将所述待显示三维物体的空间成像信息变换至所述左眼目镜坐标系:
根据如下公式(2)将所述待显示三维物体的空间成像信息变换至所述右眼目镜坐标系:
其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为所述左眼目镜坐标系中对应的成像位置信息,(xright,ylright,zright)为所述右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为所述世界坐标系的坐标原点到所述连线的距离。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像,包括:
根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数;
求解所述误差函数,确定所述多条光线在所述多层显示屏上分别对应的像素的最终灰度值,以获得第三光场图像,所述最终灰度值使所述误差函数最小。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数,包括:
以所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和,构建所述误差函数。
6.根据权利要求1所述的方法,其特征在于,所述获得第三光场图像之后,还包括:
以预设目镜畸变系数,对所述第三光场图像进行校正。
7.一种图像生成装置,其特征在于,包括:
转换模块,用于根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息;
第一获取模块,用于在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像;
第二获取模块,用于通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像;
修正处理模块,用于根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像;
显示模块,用于在所述多层显示屏上显示所述第三光场图像。
8.根据权利要求7所述的装置,其特征在于,所述目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系,所述装置还包括:
建立模块,用于根据如下规则建立所述世界坐标系、所述左眼目镜坐标系和所述右眼目镜坐标系:
以左眼目镜的光心位置为坐标原点,建立所述左眼目镜坐标系;以右眼目镜的光心位置为坐标原点,建立所述右眼目镜坐标系;以所述左眼目镜的光心位置和所述右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点,建立所述世界坐标系;所述世界坐标系的坐标轴与所述左眼目镜坐标系和所述右眼目镜坐标系中的相应坐标轴平行。
9.根据权利要求8所述的装置,其特征在于,所述转换模块具体用于:
根据如下公式(1)将所述待显示三维物体的空间成像信息变换至所述左眼目镜坐标系:
根据如下公式(2)将所述待显示三维物体的空间成像信息变换至所述右眼目镜坐标系:
其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为所述左眼目镜坐标系中对应的成像位置信息,(xright,ylright,zright)为所述右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为所述世界坐标系的坐标原点到所述连线的距离。
10.根据权利要求7所述的装置,其特征在于,所述修正处理模块具体用于:
根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数;
求解所述误差函数,确定所述多条光线在所述多层显示屏上分别对应的像素的最终灰度值,以获得第三光场图像,所述最终灰度值使所述误差函数最小。
11.根据权利要求10所述的装置,其特征在于,所述修正处理模块具体用于:
以所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和,构建所述误差函数。
12.根据权利要求7所述的装置,其特征在于,还包括:
畸变校正模块,用于以预设目镜畸变系数,对所述第三光场图像进行校正。
13.一种电子设备,其特征在于,包括:
由等厚透镜组成的目镜、多层显示屏、存储器和处理器,所述目镜包括镀有增透膜的第一表面以及镀有半透半反射膜的第二表面,所述第一表面位于靠近人眼一侧,所述第二表面位于远离人眼一侧;
所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像生成方法。
CN201711250300.5A 2017-12-01 2017-12-01 应用于真实感近眼显示的图像生成方法和装置 Active CN108012139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711250300.5A CN108012139B (zh) 2017-12-01 2017-12-01 应用于真实感近眼显示的图像生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711250300.5A CN108012139B (zh) 2017-12-01 2017-12-01 应用于真实感近眼显示的图像生成方法和装置

Publications (2)

Publication Number Publication Date
CN108012139A true CN108012139A (zh) 2018-05-08
CN108012139B CN108012139B (zh) 2019-11-29

Family

ID=62056033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711250300.5A Active CN108012139B (zh) 2017-12-01 2017-12-01 应用于真实感近眼显示的图像生成方法和装置

Country Status (1)

Country Link
CN (1) CN108012139B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109633906A (zh) * 2019-01-02 2019-04-16 京东方科技集团股份有限公司 虚拟现实设备及其图像校正方法
CN111147760A (zh) * 2019-12-23 2020-05-12 兴科迪智能科技(北京)有限公司 一种光场相机及其光度调整方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387760A (zh) * 2008-08-26 2009-03-18 东南大学 三维复杂光场的全相位调制方法
CN102109677A (zh) * 2011-03-10 2011-06-29 北京理工大学 头戴式立体视觉观片器
CN104007552A (zh) * 2014-05-30 2014-08-27 北京理工大学 一种真实立体感的光场头盔显示系统
US20150243096A1 (en) * 2013-11-27 2015-08-27 Magic Leap, Inc. Using a fiber scanning display to present a lightfield to a user
US20150268451A1 (en) * 2014-03-21 2015-09-24 National Taiwan University Method of using a light-field camera to generate a three-dimensional image, and light field camera implementing the method
CN106251323A (zh) * 2015-12-22 2016-12-21 深圳超多维光电子有限公司 一种裸眼立体跟踪的方法、装置及电子设备
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387760A (zh) * 2008-08-26 2009-03-18 东南大学 三维复杂光场的全相位调制方法
CN102109677A (zh) * 2011-03-10 2011-06-29 北京理工大学 头戴式立体视觉观片器
US20150243096A1 (en) * 2013-11-27 2015-08-27 Magic Leap, Inc. Using a fiber scanning display to present a lightfield to a user
US20150268451A1 (en) * 2014-03-21 2015-09-24 National Taiwan University Method of using a light-field camera to generate a three-dimensional image, and light field camera implementing the method
CN104007552A (zh) * 2014-05-30 2014-08-27 北京理工大学 一种真实立体感的光场头盔显示系统
CN106251323A (zh) * 2015-12-22 2016-12-21 深圳超多维光电子有限公司 一种裸眼立体跟踪的方法、装置及电子设备
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许维鹏等: "基于深度相机的空间增强现实动态投影标定", 《系统仿真学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109633906A (zh) * 2019-01-02 2019-04-16 京东方科技集团股份有限公司 虚拟现实设备及其图像校正方法
CN111147760A (zh) * 2019-12-23 2020-05-12 兴科迪智能科技(北京)有限公司 一种光场相机及其光度调整方法、装置及电子设备
CN111147760B (zh) * 2019-12-23 2021-08-24 兴科迪智能科技(北京)有限公司 一种光场相机及其光度调整方法、装置及电子设备

Also Published As

Publication number Publication date
CN108012139B (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
EP3163535B1 (en) Wide-area image acquisition method and device
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
CN108475327A (zh) 三维采集与渲染
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
CN110447224A (zh) 在显示器中控制虚像的方法
CN114998559B (zh) 混合现实双目立体视觉图像实时远程渲染方法
JP5522794B2 (ja) 立体像生成装置およびそのプログラム
KR20200144097A (ko) 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
JPH1074269A (ja) 立体cg動画像生成装置
CN108012139A (zh) 应用于真实感近眼显示的图像生成方法和装置
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN111164542A (zh) 修改计算设备上的图像的方法
CN108287609A (zh) 用于ar眼镜的图像绘制方法
CN116095294B (zh) 根据深度值渲染分辨率的三维光场图像编码方法及系统
CN111915739A (zh) 一种实时三维全景信息互动影息系统
Thumuluri et al. A unified deep learning approach for foveated rendering & novel view synthesis from sparse rgb-d light fields
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
Smith et al. Perception of size and shape in stereoscopic 3d imagery
CN115841539A (zh) 一种基于可视外壳的三维光场生成方法和装置
WO2022180630A1 (en) Camera capture and communications system
CN111915740A (zh) 一种快速的三维图像获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant