CN110290373A - 一种增大视角的集成成像计算重构方法 - Google Patents
一种增大视角的集成成像计算重构方法 Download PDFInfo
- Publication number
- CN110290373A CN110290373A CN201910175043.6A CN201910175043A CN110290373A CN 110290373 A CN110290373 A CN 110290373A CN 201910175043 A CN201910175043 A CN 201910175043A CN 110290373 A CN110290373 A CN 110290373A
- Authority
- CN
- China
- Prior art keywords
- micro
- image
- pixels
- images
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 abstract 4
- 230000000007 visual effect Effects 0.000 abstract 2
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种增大视角的集成成像计算重构方法。主要包括相邻微图像的配准、拼接和基于光线追踪的计算重构两个步骤。首先根据集成成像特点，利用相邻微图像之间的相似性，对相邻微图像进行配准、拼接，扩大每个微透镜对应的微图像区域。然后采用基于光线追踪的计算重构方法，从每个微图像中提取出1个对应像素，重构出某个特定视角的图像。本方法因为在传统的计算重构方法之前扩大了每个微透镜对应的微图像区域，因此可以扩大集成成像计算重构的视角范围，有利于实现集成成像的大视角显示。
Description
技术领域
本发明属于三维图像处理技术领域，涉及一种集成立体成像的计算重构方法，可以用于集成成像系统中计算机显示目标场景的不同视点图像。
背景技术
三维集成成像(Integral Imaging，简称II),是一种裸眼立体显示技术，由于具有全彩色、全视差、连续视点、无需辅助设备、没有观看视疲劳等众多优点，具有广阔的应用前景和巨大的研究价值。
集成成像技术通过微透镜阵列来记录和重构空间场景信息。典型的集成成像系统包括采集和重构两部分，如图1所示。图1(a)的采集部分包括微透镜阵列和CCD相机，3D物空间场景通过微透镜阵列被CCD相机采集形成微图像集合。重构包括光学重构和计算重构两种方式。图1(b)所示为光学重构部分，把2D微图像集合放在具有同样参数的显示微透镜阵列后，即可还原出原来的3D空间。集成成像的计算重构是利用计算机虚拟光信号的解码过程，在无需显示微透镜阵列等光学设备情况下，通过计算机重构3D图像的立体显示，该技术克服了光学重构中光学衍射、器件特性限制等因素，重构的三维图像质量优于光学重构技术。
集成成像重构产生的3D图像具有一定的视角范围。因为在微图像集合中,每个微图像区域被其相邻的微图像区域严格限制,也就是每个微透镜对应的微图像区域是有限的。只有通过微透镜观看其对应的微图像区域，才能观看到正确的3D视图。如果观看方向偏离光轴过大,即超过视角范围,微图像就不能通过正确的微透镜进行合成,也就是观看到的部分光线是某微图像像素通过其对应微透镜相邻的另外一个微透镜看到的,这样重构的3D图像就会发生失真或翻转。
根据集成成像原理，在微图像集合中，微图像单元之间视点连续，且相邻视点之间的差异较小。本发明利用相邻微图像之间的相似性，对相邻微图像进行配准、拼接，扩大每个微透镜对应的微图像区域，从而增大集成成像计算重构的视角。
发明内容
本发明提出了一种基于相邻微图像拼接的集成成像计算重构方法。对于每个微图像，分别与其左侧和右侧的微图像进行配准、拼接，根据集成成像特点，左侧微图像的局部区域将拼接在当前微图像的右边，右侧微图像的局部区域将拼接在当前微图像的左边，因此，在水平方向上扩大了每个微透镜对应的微图像区域。在此基础上，按照传统方法计算重构的3D图像，水平方向上将具有更大的视角。
本发明采取的技术方案包括下列步骤：
(一)在水平方向对相邻的微图像进行配准、拼接；
设采集的微图像集合由M×N个微图像单元组成，每个微图像单元为m×n个像素，第i行j列的微图像表示为Ii,j，则其左侧和右侧的微图像分别表示为Ii,j-1、Ii,j+1，进行图像配准时，采用的配准窗口大小为m*w个像素。
1.Ii,j和Ii,j-1的图像配准、拼接过程
在Ii,j中选取第n-w+1到第n列像素作为基准子图，在Ii,j-1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(1)所示：
其中，1≤t≤n-w+1。
D(t)越小，表明两幅子图越相似，故只需找到最小的D(t)，即可确定Ii,j-1中与基准子图匹配的位置。接下来，根据匹配位置t，将Ii,j-1中的部分区域拼接在Ii,j的右边。
2.Ii,j和Ii,j+1的图像配准、拼接过程
在Ii,j中选取第1到第w列像素作为基准子图，在Ii,j+1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(2)所示：
其中，1≤t≤n-w+1。
只需找到最小的D(t)，即可确定Ii,j+1中与基准子图匹配的位置。接下来，根据匹配位置t，将Ii,j+1中的部分区域拼接在Ii,j的左边。
(二)在进行集成成像计算重构时，根据光线追踪原理，获得从每个微图像中提取像素的位置坐标；
如果要计算重构出某一观察点看到的图像，要根据光线追踪原理确定在每个微图像中提取像素的位置。假设观察者在观察点D处，下面说明如何根据光线传输路径进行计算重构。
EIP为微图像集合平面，EIP与微透镜阵列之间的距离为g，LIP 为微透镜成像平面，LIP与微透镜阵列之间的距离为h，微透镜焦距为f。在观察点D处观察到LIP处的集成图像。
根据光线的传输路径可知，从观察点D出发，经过第(i,j)个微透镜中心的直线与EIP平面相交于点(x,yj)，观察点D处经过第j+1个透镜中心的直线与EIP平面相交于点(x,yj+1)…根据图中相似三角形的性质可以得到：
从而得到：
ΔI为计算机重构图像时，在相邻两个微图像单元中提取像素的位置偏移量。
假设根据观察点位置，从第(1,1)个微图像单元中提取像素的坐标为(x0,y0)，则从第(i,j)个微图像中提取像素的坐标为 (x0+(i-1)*ΔI,y0+(j-1)*ΔI)。这样，从每个微图像中提取出1个对应像素，就重构出某个特定视角的图像。
本发明提出一种基于相邻微图像拼接的集成成像计算重构方法，可以增大计算重构的视角，主要包括相邻微图像单元的配准、拼接和基于光线追踪的计算重构两个步骤。在传统的计算重构方法前面，增加了相邻微图像单元的配准、拼接过程，扩大了每个微透镜对应的微图像区域，从而扩大了集成成像计算重构的视角范围，有利于实现集成成像的大视角显示。
附图说明
图1(a)是集成成像系统的采集部分示意图；
图1(b)是集成成像系统的重构部分示意图；
图2是光线追踪示意图；
图3(a)是3D空间场景；
图3(b)是采集的微图像集合及局部放大区域；
图4a是I22,14和I22,13拼接实验的微图像I22,14；
图4b是I22,14和I22,13拼接实验的微图像I22,13；
图4c是I22,14和I22,13拼接后的微图像I22,14；
图5a是I22,14和I22,15拼接实验的微图像I22,14；
图5b是I22,14和I22,15拼接实验的微图像I22,15；
图5c是I22,14和I22,15拼接后的微图像I22,14；
图6(a)～图6(d)分别为本发明提供的一种基于传统光线追踪方法计算水平方向上不同视角的重构图像示意图；
图7(a)～图7(d)分别为本发明提供的一种基于增大视角的集成成像计算方法计算水平方向上不同视角的重构图像示意图。
具体实施方式
本发明实例中，3D空间场景的彩色图像和光学系统采集的微图像集合如图3所示。微图像集合包括53列×49行微图像单元。每个微图像的分辨率为40×40像素，采集微透镜阵列的微透镜焦距 f＝3mm，每个微透镜方形排列，宽度P＝1.08mm，计算重构时， g＝3.5mm，L+h＝350mm。
(一)在水平方向对相邻的微图像进行配准、拼接；
设进行图像配准时采用的配准窗口大小为40*20像素，以微图像集合中第22行第13、14、15列三个相邻的微图像为例，说明微图像配准、拼接过程。以I22,14为基准图像，分别完成I22,13、I22,15与它的拼接。
1.I22,14和I22,13的图像配准、拼接过程
在I22,14中选取第21-40列像素作为基准子图，在I22,13中寻找其匹配位置。根据式(1)，计算两幅子图像的相似度，当t＝7时，D(t) 最小。因此，将I22,13中的第35-40列图像区域拼接在I22,14的右边，拼接之后的微图像单元I22,14扩大为40×46像素。如图4所示，图4a为微图像I22,14，图4b为微图像I22,13，图4c为拼接后的微图像I22,14。
2.I22,14和I22,15的图像配准、拼接过程
在I22,14中选取第1-20列像素作为基准子图，在I22,15中寻找其匹配位置。根据式(2)，计算两幅子图像的相似度。当t＝7时，D(t)最小。因此，将I22,15中的第1-6列图像区域拼接在I22,14的左边，拼接之后的微图像单元I22,14扩大为40×46像素。如图5所示，图5a为微图像I22,14，图5b为微图像I22,15，图5c为拼接后的微图像I22,14。
(二)在进行集成成像计算重构时，根据光线追踪原理，获得从每个微图像单元中提取像素的位置坐标；
根据式(6)，计算机重构图像时，在相邻两个微图像中提取像素点的位置偏移量为：ΔI＝1.0908mm。
因为微图像单元为1.08×1.08mm，包含40×40像素，所以在相邻两个微图像单元中提取像素点的位置偏移为0.4像素。
计算重构时，从第(1,1)个微图像单元中提取像素的坐标为(x0,y0)，则从第(i,j)个微图像单元中提取像素的坐标为 (x0+(i-1)*0.4,y0+(j-1)*0.4)。这样，从每个微图像提取出1个对应像素，就重构出某个特定视角的图像。选择不同的(x0,y0)，即可计算重构出不同视角的3D图像。
图6为传统的基于光线追踪方法计算重构的不同视角的图像。根据前面的计算，从每个微图像的相应位置提取1个像素形成重构图像，如果经过某个微透镜提取的像素坐标超过该透镜所对应的微图像区域，将错误地在相邻的微图像提取像素，导致重构的3D视图产生失真，如图6(a)、图6(d)所示。
图7为经过水平方向上相邻微图像配准、拼接之后，再利用基于光线追踪方法计算重构的不同视角的图像。对于每个微图像，利用其左、右两侧的微图像进行拼接，扩大了每个微透镜对应的微图像区域。图6(a)、图6(d)两幅视图中，提取的部分像素坐标超过了对应的微图像区域范围，在本发明方法中，由于每个微图像区域扩大，这些像素坐标还在对应的微图像区域内，所以重构出正确的视图，如图7(a)、图 7(b)。因此，与传统计算重构方法相比，本发明方法可以在更大视角范围内，计算重构出正确的3D图像。
Claims (1)
1.一种增大视角的集成成像计算重构方法，其特征在于包括下列步骤：
(一)在水平方向对相邻的微图像进行配准、拼接；
设采集的微图像集合由M×N个微图像单元组成，每个微图像单元为m×n个像素，第i行j列的微图像表示为Ii,j，则其左侧和右侧的微图像分别表示为Ii,j-1、Ii,j+1，进行图像配准时，采用的配准窗口大小为m*w个像素。
(1)Ii,j和Ii,j-1的图像配准、拼接过程
在Ii,j中选取第n-w+1到第n列像素作为基准子图，在Ii,j-1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(1)所示：
其中，1≤t≤n-w+1。
D(t)越小，表明两幅子图越相似，故只需找到最小的D(t)，即可确定Ii,j-1中与基准子图匹配的位置。接下来，根据匹配位置t，将Ii,j-1中的部分区域拼接在Ii,j的右边。
(2)Ii,j和Ii,j+1的图像配准、拼接过程
在Ii,j中选取第1到第w列像素作为基准子图，在Ii,j+1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(2)所示：
其中，1≤t≤n-w+1。
只需找到最小的D(t)，即可确定Ii,j+1中与基准子图匹配的位置。接下来，根据匹配位置t，将Ii,j+1中的部分区域拼接在Ii,j的左边。
(二)在进行集成成像计算重构时，根据光线追踪原理，获得从每个微图像中提取像素的位置坐标；
如果要计算重构出某一观察点看到的图像，要根据光线追踪原理确定在每个微图像中提取像素的位置。假设观察者在观察点D处，下面说明如何根据光线传输路径进行计算重构。
EIP为微图像集合平面，EIP与微透镜阵列之间的距离为g，LIP为微透镜成像平面，LIP与微透镜阵列之间的距离为h，微透镜焦距为f。在观察点D处观察到LIP处的集成图像。
根据光线的传输路径可知，从观察点D出发，经过第(i,j)个微透镜中心的直线与EIP平面相交于点(x,yj)，观察点D处经过第j+1个透镜中心的直线与EIP平面相交于点(x,yj+1)…根据图中相似三角形的性质可以得到：
从而推出：
ΔI为计算机重构图像时，在相邻两个微图像单元中提取像素的位置偏移量。
假设根据观察点位置，从第(1,1)个微图像单元中提取像素的坐标为(x0,y0)，则从第(i,j)个微图像中提取像素的坐标为(x0+(i-1)*ΔI,y0+(j-1)*ΔI)。这样，从每个微图像中提取出1个对应像素，就重构出某个特定视角的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910175043.6A CN110290373B (zh) | 2019-03-11 | 2019-03-11 | 一种增大视角的集成成像计算重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910175043.6A CN110290373B (zh) | 2019-03-11 | 2019-03-11 | 一种增大视角的集成成像计算重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110290373A true CN110290373A (zh) | 2019-09-27 |
| CN110290373B CN110290373B (zh) | 2020-12-08 |
Family
ID=68001190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910175043.6A Expired - Fee Related CN110290373B (zh) | 2019-03-11 | 2019-03-11 | 一种增大视角的集成成像计算重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110290373B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112097905A (zh) * | 2020-08-17 | 2020-12-18 | 杭州电子科技大学 | 一种光谱显微成像装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103021014A (zh) * | 2012-11-29 | 2013-04-03 | 长春理工大学 | 一种提高计算机集成图像重构分辨率的方法 |
| CN105430372A (zh) * | 2015-11-30 | 2016-03-23 | 武汉大学 | 一种基于平面图像的静态集成成像方法及系统 |
| CN106920263A (zh) * | 2017-03-10 | 2017-07-04 | 大连理工大学 | 基于Kinect的无畸变集成成像三维显示方法 |
| CN108648264A (zh) * | 2018-04-25 | 2018-10-12 | 吉林大学 | 基于运动恢复的水下场景重建方法及存储介质 |
-
2019
- 2019-03-11 CN CN201910175043.6A patent/CN110290373B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103021014A (zh) * | 2012-11-29 | 2013-04-03 | 长春理工大学 | 一种提高计算机集成图像重构分辨率的方法 |
| CN105430372A (zh) * | 2015-11-30 | 2016-03-23 | 武汉大学 | 一种基于平面图像的静态集成成像方法及系统 |
| CN106920263A (zh) * | 2017-03-10 | 2017-07-04 | 大连理工大学 | 基于Kinect的无畸变集成成像三维显示方法 |
| CN108648264A (zh) * | 2018-04-25 | 2018-10-12 | 吉林大学 | 基于运动恢复的水下场景重建方法及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| MIN GUO: "COMPUTER VIRTUAL RECONSTRUCTION OF A THREE DIMENSIONAL SCENE IN INTEGRAL IMAGING", 《2016 INTERNATIONAL CONFERENCE ON AUDIO, LANGUAGE AND IMAGE PROCESSING (ICALIP)》 * |
| WANYING ZHENG: "Research on Integral (3D) Image Compression Technology Based on Neural Network", 《2012 5TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP 2012)》 * |
| 杨钉钉: "三维集成成像系统中物体三维信息的重建方法", 《西安电子科技大学学报》 * |
| 王宇: "基于元素图像阵列采样的集成成像重构方法", 《光学学报》 * |
| 王宇: "基于多视差函数拟合的集成成像深度提取方法", 《光学学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112097905A (zh) * | 2020-08-17 | 2020-12-18 | 杭州电子科技大学 | 一种光谱显微成像装置 |
| CN112097905B (zh) * | 2020-08-17 | 2022-12-20 | 杭州电子科技大学 | 一种光谱显微成像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110290373B (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2864834T3 (es) | Dispositivo y método para obtener información de distancia de las vistas | |
| CN104463949B (zh) | 一种基于光场数字重聚焦的快速三维重建方法及其系统 | |
| TWI510086B (zh) | 數位重對焦方法 | |
| CN109413407A (zh) | 高空间分辨率光场采集装置与图像生成方法 | |
| CN104050662B (zh) | 一种用光场相机一次成像直接获取深度图的方法 | |
| CN102164298A (zh) | 全景成像系统中基于立体匹配的元素图像获取方法 | |
| CN101276415A (zh) | 用多定焦摄像机实现多分辨率图像采集的装置和方法 | |
| CN101272511A (zh) | 图像深度信息和图像像素信息的获取方法及装置 | |
| CN108234989B (zh) | 一种基于棋盘格标定板的会聚式集成成像拍摄方法 | |
| CN109712232B (zh) | 一种基于光场的物体表面轮廓三维成像方法 | |
| CN104954779B (zh) | 一种集成成像三维显示中心深度平面的调节方法 | |
| CN101960861A (zh) | 具有多视角图像捕捉的传感器 | |
| WO2008050904A1 (fr) | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution | |
| CN105551050B (zh) | 一种基于光场的图像深度估计方法 | |
| Hahne et al. | Baseline of virtual cameras acquired by a standard plenoptic camera setup | |
| CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
| CN111064945A (zh) | 一种裸眼3d图像采集及生成方法 | |
| CN108965678A (zh) | 一种多孔径变空间分辨率仿生热成像方法与装置 | |
| CN102404598A (zh) | 用于体视三维显示图像生成系统及方法 | |
| CN104735351A (zh) | 一种高分辨率光场图片重建方法与成像装置 | |
| CN108805921A (zh) | 图像获取系统及方法 | |
| CN108198132A (zh) | 基于块匹配的集成成像图像重构的方法 | |
| CN110290373B (zh) | 一种增大视角的集成成像计算重构方法 | |
| CN110312123A (zh) | 利用彩色图像和深度图像的集成成像显示内容生成方法 | |
| Goldlücke et al. | Plenoptic Cameras. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201208 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |