CN111047709B - 一种双目视觉裸眼3d图像生成方法 - Google Patents
一种双目视觉裸眼3d图像生成方法 Download PDFInfo
- Publication number
- CN111047709B CN111047709B CN201911202342.0A CN201911202342A CN111047709B CN 111047709 B CN111047709 B CN 111047709B CN 201911202342 A CN201911202342 A CN 201911202342A CN 111047709 B CN111047709 B CN 111047709B
- Authority
- CN
- China
- Prior art keywords
- image
- binocular
- camera
- eye
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 30
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开的一种双目视觉裸眼3D图像生成方法，包括以下步骤：通过采集装置进行图像采集，获取彩色+灰色的原始双目图像对；对所获取的原始双目图像对完成采集装置的标定，获得采集装置之间相对位置；通过采集装置之间相对位置，将原始双目图像进行双目校正，得到校正后的双目图像，包括黑白右目图像和彩色目左图像；利用双目匹配算法将校正后的双目图像进行双目匹配，生成视差图像；利用视差图像对黑白右目图像进行图像绘制，生成彩色右目图像，将彩色左目图像与彩色右目图像合成一张图像，进行像素交织，生成最终双目图像；本发明采用匹配精度高的双目匹配方法，降低硬件成本，能够以更高的精度以及舒适度应用于实时场景。
Description
技术领域
本发明涉及图像处理的研究领域，特别涉及一种双目视觉裸眼3D图像生成方法。
背景技术
随着摄像机和计算机技术的发展，让计算机学会像人类那样理解和解释图像成为越来越多研究者追寻的目标，随之也就诞生了计算机视觉这一学科。其中裸眼3D显示技术是当前显示技术的前端也是未来发展的趋势。目前采用双目摄像头来实现3D拍摄与制作的方式逐渐成为主流，其中将双目图像高效、低成本转化为裸眼3D显示内容成为研究热点，但其中重点与难点在于实现匹配精度高、速度快的双目匹配算法。
自从上个世纪70年代开始被提出以来，裸眼3D显示技术一直都是业界积极探索与追求方向之一，几年前，业界曾掀起一场裸眼3D显示技术热潮。基于视觉计算理论的双目匹配是用两张有视差的平面图产生具有深度的立体图像，根据最优化方法不同，双目匹配可分为全局算法和局部算法。全局算法匹配精度较高，但是算法复杂度也高，不能满足实时性需求。局部算法通过在一个支持区域求取代价和或平均值来聚集代价，最后采用赢者通吃(WTA)来选取视差最优值，局部算法复杂度低、实时性强，但匹配精度也比全局算法低。对于裸眼3D技术来说，3D屏幕技术是硬件基础，而3D显示内容才是核心。没有足够数量的3D显示内容和高质量的立体显示效果，裸眼3D技术很难发展。目前，采用双目摄像头来实现3D拍摄与制作的方式逐渐成为主流，如何将双目图像高效、低成本地转为裸眼3D显示内容成为研究的热点。
传统的2D显示技术只能显示平面图像，无法体验深度的立体感，满足不了人们对逼真、立体视觉的追求。而传统的3D技术应用领域较为局限，逼真度不够显示质量较差。无法实现实时匹配、应用于实时场景。目前的3D视频的立体显示效果参差不齐，立体显示效果好的3D视频往往需要复杂的制作步骤和高昂的制作成本，这也导致了3D资源的匮乏，成为制约裸眼3D技术发展的重要因素。双目立体视觉一直以来研究的重点和难点都是在于如何提高双目匹配算法的匹配精度，目前双目匹配精度比较高的算法，一般计算量都很大，非常耗时，无法实现实时匹配、应用于实时场景。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种双目视觉裸眼3D图像生成方法，研发精度高、速度快的立体视觉系统，匹配精度高的双目匹配算法，降低传统3D显示技术昂贵的硬件成本，使得裸眼3D显示技术能够以更高的精度以及舒适度应用于实时场景。
本发明的目的通过以下的技术方案实现：
一种双目视觉裸眼3D图像生成方法，其特征在于，包括以下步骤：
通过采集装置进行图像采集，获取彩色+灰色的原始双目图像对；
对所获取的原始双目图像对完成采集装置的标定，获得采集装置之间相对位置；
通过采集装置之间相对位置，将原始双目图像进行双目校正，得到校正后的双目图像，包括黑白右目图像和彩色目左图像；
利用双目匹配算法将校正后的双目图像进行双目匹配，生成视差图像；
利用视差图像对黑白右目图像进行图像绘制，生成彩色右目图像，将彩色左目图像与彩色右目图像合成一张图像，进行像素交织，生成最终双目图像。
进一步地，所述通过采集装置进行图像采集，具体为：采用双摄裸眼3D图像采集装置进行拍摄，先打开主摄像头，进行参数设置和预测，并进行拍摄，检测摄像头是否为主摄像头，如果是，则打开副摄像头，进行参数设置和预测，并进行拍摄；如果不是，则打开主摄像头，进行参数设置和预测，并进行拍摄，得到原始双目图像，主摄像头获取的为彩色图像，副摄像头获取的为黑白图像。
进一步地，所述采集装置的标定，具体为：对图像采集装置的主副摄像头分别进行单目标定，获得其各自的相机参数之后，进行双目标定，确定图像采集装置的主副摄像头相对位置关系；采用双目相机标定工具对图像采集装置进行标定，利用棋盘格模板设定为图像投影屏幕，定义棋盘格模板上的点在世界坐标系中的Z坐标均为0，左上角第一个内角点为原点，使棋盘格图像占据图像采集装置镜头的主要画面，从不同角度采集棋盘格图像对，并将采集的棋盘格图像对导入双目标定工具中，输入棋盘格实际大小，查找角点，获取用来计算相机参数的合格图像对，得到图像采集装置主副摄像头相对位置关系，即从不同角度采集多组棋盘格图像对，并将采集的棋盘格图像对导入双目标定工具中，输入棋盘格实际大小，查找角点，只有左右两张棋盘格图像提取到的角点可以一一对应，该图像对才可以用来计算相机参数的合格图像对，选用2个径向畸变系数和2个切向畸变系数的畸变模型对相机参数进行计算，得到主副摄像头坐标，从而得到图像采集装置的主副摄像头相对位置关系。
进一步地，所述双目校正，具体为：采用基于Bougouet极线校正算法对采集到的原始双目图像进行双目校正，利用相机标定获得的相机参数和图像采集装置的主副摄像头相对位置关系通过stereoRectify函数计算得到主摄像头的校正旋转矩阵R′l和副摄像头的校正旋转矩阵R′r，主摄像头的投影矩阵Pl和副摄像头的投影矩阵Pr，以及重投影矩阵Q；再采用initUndistortRectifyMap函数获得左目图像和右目图像的校准映射参数；通过左、右目图像的校准映射参数和remap函数映射获得校正后的双目图像。具体为：将主副摄像头之间的旋转矩阵R分成主摄像头的投影矩阵Rl和副摄像头的投影矩阵Rr，将两个摄像头各旋转一半，通过摄像头之间的平移向量T构造变换矩阵Rc,Rc＝[e1 T e2 T e3 T]'，其中，极点的方向与平移向量T方向相同，e2方向与主光轴方向和e1正交，e3方向与e2和e1正交，计算得到主摄像头的校正旋转矩阵R′l和副摄像头的校正旋转矩阵R′r：
校正前的主副相机的光心并不是平行的，两个光心的连线就叫基线，像平面与基线的交点就是极点，像点与极点所在的直线就是极线，左右极线与基线构成的平面就是空间点对应的极平面。
进一步地，所述双目匹配，具体为：校正后的双目图像，还需要矫正遮挡区域和视差跳变边界存在的误匹配点，针对遮挡区域的误匹配点，通过左右一次性检测寻找误匹配点，对于校正后的双目图像，设定左右图像的对应点的视差为0，否则认为是误匹配点，检测到的误匹配点分别往水平两个方向寻找第一个正确匹配点，选取其中较小一个视差值替换遮挡区域的错误视差值；针对视差跳变边界存在的误匹配点。对其边界处每一个像素点，选取其左右两个像素点，其左右两个像素点对应视差值分别为和，则像素点的视差值为：
其中，qr、ql分别为检测到误匹配点后水平往左和往右寻找的第一个正确的匹配点，其对应的视差值为D(qr)、D(ql)；D(qr)、D(ql)分别为qr、ql对应的视差值D(p)为像素点的视差值；C(p,q)为输入的待滤波的匹配代价图；
用引导滤波消除自适应窗口在视差连续的纹理边缘处的误匹配,并利用初始化视差信息减少构建自适应窗口的区域和视差代价聚合空间，减少计算时间，用自适应窗口增强弱纹理区域的匹配精度并保持视差图的边缘特性。
彩色+灰度组合双摄像头采集到的双目图像经过相机标定和双目校正后，转换为统一的灰度图像；利用立体双目匹配算法对双目灰度图像进行匹配，即进行图像绘制过程，生成视差图像。
进一步地，所述图像绘制，具体为：利用深度信息绘制彩色右目图像将双目匹配所得视差图乘以一个系数b作为重映射关系图，将彩色左目图像进行重映射便可得到不同视差值的彩色右目图像，进而合成立体感程度不同的3D图像；将左右视差图像乘以一个系数b，作为重映射像素坐标转换关系图像，利用彩色左目图像，分别通过向前映射和向后映射绘制出彩色右目图像；将彩色左目图像与绘制的彩色右目图像合成一张3D图像，并由交织算法进行像素交织，即像素交织是由系统自带的交织算法合成，显示在裸眼3D显示屏上。
进一步地，所述不同视差值的彩色右目图像包括向前映射绘制新右目图像和向后映射绘制右目图像。
进一步地，所述系数b，当系数b小于1.5时，使用无需空洞填充的向后映射来绘制彩色右目图像；当系数b大于2.5时，使用向前映射来绘制右目图像，再进行空洞填充。
本发明与现有技术相比，具有如下优点和有益效果：
本发明提出了梯度与改进Census变换自适应加权融合的匹配代价算法，有效提高了匹配算法对光照失真的稳定性。提出了引导滤波与自适应窗口结合的代价聚合算法，即双目匹配，提高了低纹理区域和视差不连续区域的匹配精度；通过获取副摄像头的双摄机应用程序，实现双目图像的采集。为了保持视差图的边缘特性，采用引导滤波来对匹配代价进行聚合；通过引导滤波获得聚合代价，使用WTA策略选择最小匹配代价对应的视差值获得初始视差图；引进自适应窗口对引导滤波后的匹配代价图再次滤波，以获得更好的边缘保持特性，获取左右两张视差图，获得更高的精度。
附图说明
图1为本发明所述一种双目视觉裸眼3D图像生成方法的流程图；
图2为本发明所述实施例中原始左右图像采集流程图；
图3为本发明所述实施例中向前映射绘制彩色右目图像示意图；
图4为本发明所述实施例中向后映射绘制彩色右目图像示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
一种双目视觉裸眼3D图像生成方法，包括以下步骤：
通过图像采集装置进行图像采集，获取彩色+灰色的原始双目图像对；
对所获取的原始双目图像对完成图像采集装置的标定，获得图像采集装置之间相对位置；
通过图像采集装置之间相对位置，将原始双目图像进行双目校正，得到校正后的双目图像，包括黑白右目图像和彩色目左图像；
利用双目匹配算法将校正后的双目图像进行双目匹配，生成视差图像；
利用视差图像对黑白右目图像进行图像绘制，生成彩色右目图像，将彩色左目图像与彩色右目图像合成一张图像，进行像素交织，生成最终双目图像。
双目图像的采集；
双目图像的采集是实现双目立体视觉的第一步。本发明采用双摄裸眼3D手机中兴天机7MAX作为实验的硬件设备平台，用于对原始双目图像的采集以及最终合成3D图像立体显示效果的测试。由于手机中灰度副摄像头对上层APP不可见，无法直接通过手机的系统相机获得该摄像头的图像，所以需要重新开发可以获取副摄像头图像的双摄相机应用程序，来获取原始的双目图像。采集流程如图2所示。本发明使用由深圳得色科技有限公司提供的中兴天机7MAX的底层Camera接口和对应的so库，在Android Studio平台上进行手机双摄相机应用软件的开发，实现双目图像的采集。由于主副摄像头获得的两张图像不都是彩色图像，所以不能直接合成3D图像进行显示。
相机标定；
单目相机标定的目的是求出相机的内外参数和畸变参数，双目标定是为了获得两台相机之间的相对位置关系，即图像采集装置主副摄像头之间的相对位置关系，通过相机标定才可获得双目校正所需参数。对两个摄像头分别进行单目标定，获得其各自的相机参数之后，还要进行双目标定，确定两个摄像头的相对位置关系。本发明基于张正友相机标定方法，使用Matlab平台上的双目相机标定工具Stereo Camera Clibrator(SCC)对实验手机中兴天机7MAX的后置双摄像头进行标定。实验采用如棋盘格模板，内角点数为9×6，将此棋盘格图片在电脑屏幕上显示，每个格子边长为25mm。定义棋盘格模板上的点在世界坐标系中的Z坐标均为0，左上角第一个内角点为原点。用三角支架固定住手机，使棋盘格图像占据镜头的主要画面，从不同的角度采集棋盘格图像对。为减小相机标定的误差，实验中需要采集十几对棋盘格图像。将图像对导入Matlab的双目标定工具SCC中，并输入所拍摄棋盘格的实际大小25mm，开始查找角点，只有左右两张棋盘格图像提取到的角点可以一一对应时，该图像对才是可以用来计算相机参数的合格图像对。为验证计算结果的准确度，将角点的世界坐标利用计算出来的相机参数重新投影到原始的左右图像上，与原来获取到的角点位置进行比较，它们之间的误差为重投影误差。
双目校正
发明使用OpenCV自带的基于Bougouet极线校正算法的校正方法对采集到的原始双目图像进行双目校正。利用前面相机标定获得的相机内部参数和图像采集装置主副摄像头相对位置关系，采用OpenCV3.3中的stereoRectify函数计算得到主副摄像头的校正旋转矩阵R′l和R′r、投影矩阵Pl和Pr以及重投影矩阵Q，重投影矩阵是实现空间坐点P，由世界坐标为(Xw,Yw,Zw)到像素坐标(u,v)的一个转换矩阵，(u,v)表示图像点的行数和列数；再采用initUndistortRectifyMap函数获得左右图像的校准映射参数。最后利用左右图像各自的校准映射参数和remap函数映射获得校准的左右图像；具体为：将两个摄像头之间的旋转矩阵R分成主摄像头的投影矩阵Rl和副摄像头的投影矩阵Rr，将两个摄像头各旋转一半，通过摄像头之间的平移向量T构造变换矩阵Rc,Rc＝[e1 T e2 T e3 T]'，其中，极点的方向与平移向量T方向相同，e2方向与主光轴方向和e1正交，e3方向与e2和e1正交，计算得到：
校正前的主副相机的光心并不是平行的，两个光心的连线就叫基线，像平面与基线的交点就是极点，像点与极点所在的直线就是极线，左右极线与基线构成的平面就是空间点对应的极平面。
视差校正
对获得的视差图，还需要矫正遮挡区域和视差跳变边界存在的错误视差值。
针对遮挡区域的误匹配，通过左右一致性检测(LRC)来寻找误匹配点。采用前面提出的算法获得左右两张视差图。对左右图像的对应点的视差应该为零，否则认为是误匹配点。通过LRC检测出来的误匹配点一般处于遮挡区，其真实视差认为与背景视差相近，所以对检测到的误匹配点分别往水平左右两个方向寻找第一个正确匹配点，选取其中较小一个视差值替换遮挡区误匹配点的视差值，针对视差跳变边界的误匹配，对边界处的每个像素点p，选取其左右两个像素点ql和qr，其对应视差值分别为D(ql)和D(qr),那么用下面公式来确定p点的视差值：
其中，qr、ql分别为检测到误匹配点后水平往左和往右寻找的第一个正确的匹配点，其对应的视差值为D(qr)、D(ql)；D(qr)、D(ql)分别为qr、ql对应的视差值D(p)为像素点的视差值；C(p,q)为输入的待滤波的匹配代价图；
双目图像的生成
前面完成了双目图像的双目校正并提出了抗光照失真的双目匹配算法，接下来需要验证提出的算法对实际场景的适用性，然后用左目彩色图像和生成的视差图绘制右目彩色图像，最终合成可用于裸眼3D显示的3D图像并对显示效果进行评价。
彩色+灰度组合双摄像头采集到的双目图像经过相机标定和双目校正后，转换为统一的灰度图像。为减少计算量，将原始3200×2400大小的图像缩小到800×600，利用立体双目匹配算法对双目灰度图像进行匹配，生成视差图像。再利用深度信息绘制彩色右图像并最终融合成彩色3D图像。根据关于利用视差图像绘制新图像的理论，只要将双目匹配所得视差图乘以一个系数b作为重映射关系图，将彩色左图像进行重映射便可得到不同视差值的彩色右图像，进而合成立体感程度不同的3D图像。图3是利用彩色左目图像和左视差图，向前映射绘制新右目图像的原理过程。如图3所示，从左向右映射的过程中，左可见右遮挡的背景像素点会被映射在右图像的前景区域，可以通过之后的前景像素点映射进行覆盖。生成的右图像中，本该是右可见左遮挡的区域在参考左图像中没有点来进行映射，所以这些区域会留下空洞，需要进行空洞填充来完成彩色右目图像的绘制。由于这些右可见左遮挡的空洞区域与背景区域相似，所以通过向右取临近背景区域像素点的色彩信息对空洞进行填充。图4是利用彩色左目图像和右视差图，向后映射绘制右目图像的原理过程。由于待绘制的右目图像上的每个像素点都可以根据视差值向后映射到左图像上的像素点，所以绘制出来的图像不会存在空洞的问题。但是，如图4所示，右图像中本应右可见左遮挡的区域的像素点由于与背景区域视差一致，向后映射到左图像的前景区域，因此需要提前将右视差图中该区域的视差值修改为与前景视差一致，即将视差图向右膨胀，使右可见左遮挡区域向后映射到背景区域。将左右视差图像乘以一个系数b，作为重映射像素坐标转换关系图像，利用彩色左目图像，分别通过向前映射和向后映射绘制出彩色右目图像。由实验表明随着b的增大，视差增大，向前映射绘制的图像的空洞区域越大，向后映射绘制的图像的前景区域变形越严重。所以当系数b较小时，即当系数b小于1.5时，可以使用无需空洞填充的向后映射来绘制彩色右目图像；当系数b较大时，即当系数B大于2.5时，可以使用向前映射来绘制右目图像，再进行空洞填充，向前映射不会造成前景区域的扭曲变形。将彩色左目图像与绘制的彩色右目图像合成一张图像，将合成图像导入中兴天机MAX7中，由手机系统自带的交织算法进行像素交织合成，之后在裸眼3D显示屏上进行显示。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种双目视觉裸眼3D图像生成方法，其特征在于，包括以下步骤：
通过图像采集装置进行图像采集，获取彩色、灰色的原始双目图像对；
对所获取的原始双目图像对完成图像采集装置的标定，获得图像采集装置之间相对位置；所述采集装置的标定，具体为：对图像采集装置的主副摄像头分别进行单目标定，获得其各自的相机参数之后，进行双目标定，确定主副摄像头的相对位置关系；采用双目相机标定工具对图像采集装置进行标定，利用棋盘格模板设定为图像投影屏幕，定义棋盘格模板上的点在世界坐标系中的Z坐标均为0，左上角第一个内角点为原点，使棋盘格图像占据图像采集装置镜头的主要画面，从不同角度采集棋盘格图像对，并将采集的棋盘格图像对导入双目标定工具中，输入棋盘格实际大小，查找角点，当左右两张棋盘格图像提取到的角点可以一一对应，通过该图像对获取用来计算相机参数，选用2个径向畸变系数和2个切向畸变系数的畸变模型对相机参数进行计算，得到主副摄像头坐标，从而得到采集装置主副摄像头相对位置关系；
通过图像采集装置之间相对位置，将原始双目图像进行双目校正，得到校正后的双目图像，包括黑白右目图像和彩色目左图像；
利用双目匹配算法将校正后的双目图像进行双目匹配，生成视差图像；
利用视差图像对黑白右目图像进行图像绘制，生成彩色右目图像，将彩色左目图像与彩色右目图像合成一张图像，进行像素交织，生成最终双目图像。
2.根据权利要求1所述的一种双目视觉裸眼3D图像生成方法，其特征在于，所述通过图像采集装置进行图像采集，具体为：采用双摄裸眼3D图像采集装置进行拍摄，先打开主摄像头，进行参数设置和预测，并进行拍摄，检测摄像头是否为主摄像头，如果是，则打开副摄像头，进行参数设置和预测，并进行拍摄；如果不是，则打开主摄像头，进行参数设置和预测，并进行拍摄，得到原始双目图像，即主摄像头获取彩色图像，副摄像头获取黑白图像。
3.根据权利要求1所述的一种双目视觉裸眼3D图像生成方法，其特征在于，所述双目校正，具体为：采用基于Bougouet极线校正算法对采集到的原始双目图像进行双目校正，利用相机标定获得的相机参数和图像采集装置相对位置关系通过stereoRectify函数计算得到主摄像头的校正旋转矩阵Rl′和副摄像头的校正旋转矩阵R′r，主摄像头的投影矩阵Pl和副摄像头的投影矩阵Pr，以及重投影矩阵Q；再采用initUndistortRectifyMap函数获得左目图像和右目图像的校准映射参数；通过左、右目图像的校准映射参数和remap函数映射获得校正后的双目图像。
4.根据权利要求3所述的一种双目视觉裸眼3D图像生成方法，其特征在于，所述通过stereoRectify函数计算得到主摄像头的校正旋转矩阵Rl′和副摄像头的校正旋转矩阵Rr′具体为：将两个摄像头之间的旋转矩阵R分成主摄像头的投影矩阵Rl和副摄像头的投影矩阵Rr，将两个摄像头各旋转一半，通过摄像头之间的平移向量T构造变换矩阵Rc,Rc＝[e1 Te2 Te3 T]'，其中，极点的方向与平移向量T方向相同，e2方向与主光轴方向和e1正交，e3方向与e2和e1正交，计算得到主摄像头的校正旋转矩阵Rl′和副摄像头的校正旋转矩阵Rr′：
5.根据权利要求3所述的一种双目视觉裸眼3D图像生成方法，其特征在于，所述双目匹配，具体为：校正后的双目图像，还需要矫正遮挡区域和视差跳变边界存在的误匹配点，针对遮挡区域的误匹配点，通过左右一次性检测寻找误匹配点，对于校正后的双目图像，设定左右图像的对应点的视差为0，否则认为是误匹配点，检测到的误匹配点分别往水平两个方向寻找第一个正确匹配点，选取其中较小一个视差值替换遮挡区域的视差值；针对视差跳变边界存在的误匹配点，对其边界处每一个像素点，选取其左右两个像素点，其左右两个像素点对应视差值分别为和，则像素点的视差值为：
其中，qr、ql分别为检测到误匹配点后水平往左和往右寻找的第一个正确的匹配点，其对应的视差值为D(qr)、D(ql)；D(qr)、D(ql)分别为qr、ql对应的视差值D(p)为像素点的视差值；C(p,q)为输入的待滤波的匹配代价图；
彩色、灰度组合双摄像头采集到的双目图像经过相机标定和双目校正后，转换为统一的灰度图像；利用立体双目匹配算法对双目灰度图像进行匹配，即进行图像绘制，生成视差图像。
6.根据权利要求1所述的一种双目视觉裸眼3D图像生成方法，其特征在于，所述图像绘制，具体为：利用深度信息绘制彩色右目图像将双目匹配所得视差图乘以一个系数b作为重映射关系图，将彩色左目图像进行重映射便可得到不同视差值的彩色右目图像，进而合成立体感程度不同的3D图像；将左右视差图像乘以一个系数b，作为重映射像素坐标转换关系图像，利用彩色左目图像，分别通过向前映射和向后映射绘制出彩色右目图像；将彩色左目图像与绘制的彩色右目图像合成一张3D图像，并由交织算法进行像素交织，显示在裸眼3D显示屏上。
7.根据权利要求6所述的一种双目视觉裸眼3D图像生成方法，其特征在于，所述不同视差值的彩色右目图像包括向前映射绘制新右目图像和向后映射绘制右目图像。
8.根据权利要求6所述的一种双目视觉裸眼3D图像生成方法，其特征在于，所述系数b，当系数b小于1.5时，使用无需空洞填充的向后映射来绘制彩色右目图像；当系数b大于2.5时，使用向前映射来绘制右目图像，再进行空洞填充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911202342.0A CN111047709B (zh) | 2019-11-29 | 2019-11-29 | 一种双目视觉裸眼3d图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911202342.0A CN111047709B (zh) | 2019-11-29 | 2019-11-29 | 一种双目视觉裸眼3d图像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047709A CN111047709A (zh) | 2020-04-21 |
| CN111047709B true CN111047709B (zh) | 2023-05-05 |
Family
ID=70234146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911202342.0A Active CN111047709B (zh) | 2019-11-29 | 2019-11-29 | 一种双目视觉裸眼3d图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047709B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111866492A (zh) * | 2020-06-09 | 2020-10-30 | 青岛小鸟看看科技有限公司 | 基于头戴显示设备的图像处理方法、装置及设备 |
| CN112024167A (zh) * | 2020-08-07 | 2020-12-04 | 湖南中环机械涂装有限公司 | 汽车喷涂的工艺方法及其智能操控系统 |
| CN112085777A (zh) * | 2020-09-22 | 2020-12-15 | 上海视天科技有限公司 | 六自由度vr眼镜 |
| CN116710807A (zh) * | 2021-03-31 | 2023-09-05 | 华为技术有限公司 | 一种基于飞行时间ToF的测距相机及控制方法 |
| CN115249214A (zh) * | 2021-04-28 | 2022-10-28 | 华为技术有限公司 | 用于双目畸变校正的显示系统、显示方法及车载系统 |
| CN113112553B (zh) * | 2021-05-26 | 2022-07-29 | 北京三快在线科技有限公司 | 双目相机的参数标定方法、装置、电子设备及存储介质 |
| CN115205451A (zh) * | 2022-06-23 | 2022-10-18 | 未来科技（襄阳）有限公司 | 3d图像的生成方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| WO2018086348A1 (zh) * | 2016-11-09 | 2018-05-17 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
| CN110322572A (zh) * | 2019-06-11 | 2019-10-11 | 长江勘测规划设计研究有限责任公司 | 一种基于双目视觉的水下涵隧内壁三维信息恢复方法 |
-
2019
- 2019-11-29 CN CN201911202342.0A patent/CN111047709B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| WO2018086348A1 (zh) * | 2016-11-09 | 2018-05-17 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
| CN110322572A (zh) * | 2019-06-11 | 2019-10-11 | 长江勘测规划设计研究有限责任公司 | 一种基于双目视觉的水下涵隧内壁三维信息恢复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047709A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| US11632537B2 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| CN101902657B (zh) | 一种基于深度图分层的虚拟多视点图像的生成方法 | |
| US20230291884A1 (en) | Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery | |
| CN105262958B (zh) | 一种虚拟视点的全景特写拼接系统及其方法 | |
| CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
| CN108648264B (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
| CN102665086A (zh) | 利用基于区域的局部立体匹配获取视差的方法 | |
| CN106791774A (zh) | 基于深度图的虚拟视点图像生成方法 | |
| CN104751508B (zh) | 3d立体影视制作中新视图的全自动快速生成及补全方法 | |
| CN104506872B (zh) | 一种平面视频转立体视频的方法及装置 | |
| CN106408513A (zh) | 深度图超分辨率重建方法 | |
| CN114401391B (zh) | 虚拟视点生成方法及装置 | |
| CN104869386A (zh) | 一种基于分层处理虚拟视点合成方法 | |
| CN106028020B (zh) | 一种基于多方向预测的虚拟视角图像空洞填补方法 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| KR20170025214A (ko) | 다시점 깊이맵 생성 방법 | |
| CN113450274B (zh) | 一种基于深度学习的自适应视点融合方法及系统 | |
| GB2585197A (en) | Method and system for obtaining depth data | |
| CN111899293B (zh) | Ar应用中的虚实遮挡处理方法 | |
| CN107610070B (zh) | 基于三摄像采集的自由立体匹配方法 | |
| CN110149508A (zh) | 一种基于一维集成成像系统的阵列图生成及填补方法 | |
| CN112200852B (zh) | 一种时空混合调制的立体匹配方法及系统 | |
| Seitner et al. | Trifocal system for high-quality inter-camera mapping and virtual view synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |