CN115307577B - 一种目标三维信息测量方法和系统 - Google Patents
一种目标三维信息测量方法和系统 Download PDFInfo
- Publication number
- CN115307577B CN115307577B CN202210947414.XA CN202210947414A CN115307577B CN 115307577 B CN115307577 B CN 115307577B CN 202210947414 A CN202210947414 A CN 202210947414A CN 115307577 B CN115307577 B CN 115307577B
- Authority
- CN
- China
- Prior art keywords
- information
- light field
- dimensional
- target object
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 239000002131 composite material Substances 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 22
- 230000008878 coupling Effects 0.000 claims abstract description 22
- 238000010168 coupling process Methods 0.000 claims abstract description 22
- 238000005859 coupling reaction Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000010008 shearing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010587 phase diagram Methods 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000001444 catalytic combustion detection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000969 carrier Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种目标三维信息测量方法和系统。本发明将获取的复合条纹图投影至目标待测物体上得到携带目标待测物体轮廓信息的复合条纹图后，捕捉这一复合条纹图至三颜色通道得到经目标待测物体调制的编码图像，接着，引入耦合系数基于编码图像得到修改强度后，利用光场传输矩阵和修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场，然后，采用傅里叶分析法基于结构光场得到相位信息，基于相位信息确定角度方差，再基于角度方差确定光场深度，以得到深度图，最后，对深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息，进而实现对目标待测物体的形状和颜色测量，提高深度估计的鲁棒性和精确度。
Description
技术领域
本发明涉及光场信息测量技术领域，特别是涉及一种目标三维信息测量方法和系统。
背景技术
光场采集技术不仅可以捕获传统的二维图像，还可以捕获传统相机无法获取的场景深度信息。
目前的光场采集技术主要有相机阵列、积分成像技术和基于掩膜(mask)的光场采集技术三大类。相机阵列采用多个相机对同一个目标同时拍摄，但是其结构庞大、价格昂贵；积分成像是通过在传感器前增加微透镜阵列对光线再次分割成像实现不同方向视点图像的采集，获得光场。该方法采用单相机对光场信息进行捕获，不可避免地需要牺牲空间分辨率来换取角度分辨率，即在传感器分辨率一定的情况下，虽然能获得多视角的图像，却降低了每幅图像的空间分辨率；基于掩膜的光场采集是在相机镜头和传感器之间加一层光学元件掩膜，实现对进入相机光圈的光线进行光学调制，之后通过线性或非线性算法进行光场的恢复，虽然避免了分辨率权衡问题，但是降低了成像系统的光吞吐量。以上三种光场成像方式均为被动式光场成像，在进行深度估计时，均存在鲁棒性与精确度不高的问题。
发明内容
为解决现有技术存在的上述问题，本发明提供了一种目标三维信息测量方法和系统。
为实现上述目的，本发明提供了如下方案：
一种目标三维信息测量方法，包括：
获取光场传输矩阵和复合条纹图；所述复合条纹图包括红色层、绿色层和蓝色层；所述红色层、所述绿色层和所述蓝色层均由不同条纹频率的正弦条纹图组成；
将所述复合条纹图投影至目标待测物体上，得到携带目标待测物体轮廓信息的复合条纹图；
捕捉携带目标待测物体轮廓信息的复合条纹图至三颜色通道，得到经目标待测物体调制的编码图像；
引入耦合系数基于所述编码图像得到编码图像的修改强度；
利用所述光场传输矩阵和所述编码图像的修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场；所述结构光场包括目标待测物体反射光线的空间信息和角度信息；
采用傅里叶分析法，基于所述结构光场得到相位信息；
根据所述相位信息确定角度方差；
基于所述角度方差确定光场深度；
基于所述光场深度构建待测物体的深度图；
对所述深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息；所述三维测量信息包括三维坐标信息和三维颜色信息。
优选地，采用三频率选择法确定所述复合条纹图中每一颜色通道的投影条纹数量。
优选地，所述编码图像的修改强度为d′i(m,n)：
d′i(m,n)＝di(m,n)-∑cijdi(m,n)
其中，di(m,n)为编码图像，(m,n)为像素坐标，cij为耦合系数，i＝1,2,3，j＝1,2,3，1为红色，2为绿色，3为蓝色。
优选地，所述采用傅里叶分析法，基于所述结构光场得到相位信息，具体包括：
对颜色通道i的结构光场进行傅里叶变换得到颜色通道i的空间频谱；所述空间频谱包括零阶Ai(fs,fu)、旁瓣Ci(fs-fi,0,fu)和旁瓣Ci *(fs+fi,0,fu)；其中，fs为空间平面的频率，fu为角度平面的频率，fi,0为颜色通道i的载波频率；
以所述颜色通道i的载波频率为中心频率，采用带通滤波器从所述空间频谱中分离得到旁瓣Ci(fs-fi,0,fu)；
对所述旁瓣旁瓣Ci(fs-fi,0,fu)进行傅里叶变换得到傅里叶变换结果；
对所述傅里叶变换结果进行反正切计算得到颜色通道i的相位信息。
优选地，所述根据所述相位信息确定角度方差，具体包括：
对所述相位信息进行剪切操作得到数字重聚焦后的相位编码场；
在角度维度对所述数字重聚焦后的相位编码场进行积分得到重聚焦的相位图；
确定所述数字重聚焦后的相位编码场相对于所述重聚焦的相位图的加权角度方差；将所述加权角度方差作为所述角度方差。
优选地，对所述深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息，具体包括：
提取所述深度图中待测物体的像素坐标，并将所述像素坐标转换至世界坐标系得到待测物体的三维坐标信息；
融合每一颜色通道的深度图得到待测物体的三维颜色信息。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的目标三维信息测量方法，将获取的复合条纹图投影至目标待测物体上得到携带目标待测物体轮廓信息的复合条纹图后，捕捉这一复合条纹图至三颜色通道得到经目标待测物体调制的编码图像，接着，引入耦合系数基于编码图像得到编码图像的修改强度后，利用光场传输矩阵和编码图像的修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场，然后，采用傅里叶分析法基于结构光场得到相位信息，基于相位信息确定角度方差，再基于角度方差确定光场深度，以得到深度图，最后，对深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息，进而在实现对目标待测物体的形状和颜色测量的同时，能够提高深度估计的鲁棒性和精确度。
本发明还提供了一种目标三维信息测量系统，该系统包括：
标定装置，用于获取系统传输矩阵；
投影装置，用于生成复合条纹图，并用于将所述复合条纹图投射至待测物体上；
光场成像装置，与所述标定装置连接，用于捕捉携带目标待测物体轮廓信息的复合条纹图至三颜色通道，得到经目标待测物体调制的编码图像，用于引入耦合系数基于所述编码图像得到编码图像的修改强度，并用于利用所述光场传输矩阵和所述编码图像的修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场，将所述结构光场记录到二维传感器图像上；所述结构光场包括目标待测物体反射光线的空间信息和角度信息；
计算装置，与所述光场成像装置连接，用于采用傅里叶分析法，基于所述结构光场得到相位信息，用于根据所述相位信息确定角度方差，用于基于所述角度方差确定光场深度，用于基于所述光场深度构建待测物体的深度图，用于对所述深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息；所述三维测量信息包括三维坐标信息和三维颜色信息。
优选地，所述计算装置包括：
光场重建单元，与所述光场成像装置连接，用于解调经光场成像装置编码的结构光场信息；
光场深度估计单元，与所述光场重建单元连接，用于对每个颜色通道的结构光场信息作傅里叶分析得到相位信息，并根据相位信息确定角度方差，基于所述角度方差确定光场深度，基于所述光场深度构建待测物体的深度图，对所述深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息。
因本发明提供的目标三维信息测量系统实现的技术效果与上述提供的目标三维信息测量方法实现的技术效果相同，故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的目标三维信息测量方法流程图；
图2为本发明实施例提供的实施过程流程图；
图3为本发明实施例提供的扩散片对光纤的编码示意图；
图4为本发明实施例提供的光场成像装置结构图；
图5为本发明实施例提供的复合条纹投影图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种目标三维信息测量方法和系统，能够提高深度估计的鲁棒性和精确度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的目标三维信息测量方法，包括：
步骤100：获取光场传输矩阵和复合条纹图。复合条纹图包括红色层、绿色层和蓝色层。红色层、绿色层和蓝色层均由不同条纹频率的正弦条纹图组成。其中，采用三频率最佳选择法确定复合条纹图中每一颜色通道的投影条纹数量，例如，用Matlab软件生成具有n个频率的正弦条纹图，由于投影仪的视野确定，正弦条纹频率只与投影的条纹数量有关，利用最佳频率选择过程确定相应通道的投影条纹数量，计算公式为：
Nfh＝Nf0-(Nf0)(h-1)/(n-1)，h＝1,...,n-1
其中，Nf0和Nfh分别是最大条纹集的条纹数和第h个条纹集中的条纹数。本发明实施例中n＝3，三个投影条纹频率分别对应R、G、B三个颜色通道，以此获得条纹数据的并行采集。
步骤101：将复合条纹图投影至目标待测物体上，得到携带目标待测物体轮廓信息的复合条纹图。
步骤102：捕捉携带目标待测物体轮廓信息的复合条纹图至三颜色通道，得到经目标待测物体调制的编码图像。
步骤103：引入耦合系数基于编码图像得到编码图像的修改强度。其中，编码图像的修改强度为d′i(m,n)：
d′i(m,n)＝di(m,n)-∑cijdi(m,n)，其中，di(m,n)为编码图像，(m,n)为像素坐标，cij为耦合系数，i＝1,2,3，j＝1,2,3，1为红色，2为绿色，3为蓝色。
步骤104：利用光场传输矩阵和编码图像的修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场。结构光场包括目标待测物体反射光线的空间信息和角度信息。
步骤105：采用傅里叶分析法，基于结构光场得到相位信息。具体的：
对颜色通道i的结构光场进行傅里叶变换得到颜色通道i的空间频谱。空间频谱包括零阶Ai(fs,fu)，以及旁瓣Ci(fs-fi,0,fu)和Ci *(fs+fi,0,fu)。其中，fs为空间平面的频率，fu为角度平面的频率，fi,0为颜色通道i的载波频率。
以颜色通道i的载波频率为中心频率，采用带通滤波器从空间频谱中分离得到旁瓣Ci(fs-fi,0,fu)。
对旁瓣Ci(fs-fi,0,fu)进行傅里叶变换得到傅里叶变换结果。
对傅里叶变换结果进行反正切计算得到颜色通道i的相位信息。
步骤106：根据相位信息确定角度方差。具体的：
对相位信息进行剪切操作得到数字重聚焦后的相位编码场。
在角度维度对数字重聚焦后的相位编码场进行积分得到重聚焦的相位图。
确定数字重聚焦后的相位编码场相对于重聚焦的相位图的加权角度方差。将加权角度方差作为角度方差。
步骤107：基于角度方差确定光场深度。
步骤108：基于光场深度构建待测物体的深度图。
步骤109：对深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息。三维测量信息包括三维坐标信息和三维颜色信息。具体的：
提取深度图中待测物体的像素坐标，并将像素坐标转换至世界坐标系得到待测物体的三维坐标信息。
融合每一颜色通道的深度图得到待测物体的三维颜色信息。
为了实施上述提供的目标三维信息测量方法，本发明还提供了一种目标三维信息测量系统，该系统包括：
标定装置，用于获取系统传输矩阵。
投影装置，用于生成复合条纹图，并用于将复合条纹图投射至待测物体上。
光场成像装置，与标定装置连接，用于捕捉携带目标待测物体轮廓信息的复合条纹图至三颜色通道，得到经目标待测物体调制的编码图像，用于引入耦合系数基于编码图像得到编码图像的修改强度，并用于利用光场传输矩阵和编码图像的修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场，将结构光场记录到二维传感器图像上。结构光场包括目标待测物体反射光线的空间信息和角度信息。
计算装置，与光场成像装置连接，用于采用傅里叶分析法，基于结构光场得到相位信息，用于根据相位信息确定角度方差，用于基于角度方差确定光场深度，用于基于光场深度构建待测物体的深度图，用于对深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息。三维测量信息包括三维坐标信息和三维颜色信息。
其中，计算装置包括：
光场重建单元，与光场成像装置连接，用于解调经光场成像装置编码的结构光场信息。
光场深度估计单元，与光场重建单元连接，用于对每个颜色通道的结构光场信息作傅里叶分析得到相位信息，并根据相位信息确定角度方差，基于角度方差确定光场深度，基于光场深度构建待测物体的深度图，对深度图进行融合和三维坐标信息转换，得到待测物体的三维测量信息。
下面提供一个实施例对上述提供的目标三维信息测量方法和系统的实施过程进行说明。
在该实施例中，首先，在光源端利用投影装置对照明光源进行彩色编码，彩色通道被用作三种不同频率下条纹的载体，来实现主动光场深度估计。然后，在接收端利用光场成像装置对结构光场信息进行编码，利用光场成像装置的扩散片所在平面作为角度采样面对光线入射角度进行编码，以另一平行平面作为空间采样面进行扩散片编码的光场表征，建立了无透镜散射光场传输模型，记录结构光场的相关信息。
基于此，如图2所示，其实施的具体过程为：
步骤201、光场成像系统标定：由于光场成像装置采用扩散片相位编码光场成像方式(如图3所示)，扩散片对空间中光线的编码具有一定的平移不变性质，记录光场成像装置光轴上一个点光源对系统的响应，从而完成光场成像装置的标定，得到光场传输矩阵T。
在该实施例中，主要采用标定装置实现对光场成像系统的标定，例如，采用卤素灯产生非相干光，将卤素灯放置于黑色不透光箱子内，在箱子前方放置一个15μm针孔模拟点光源的产生，针孔与相机传感器的距离大概为20-50mm。扩散片是一块材质为聚碳酸脂的圆形光学扩散片，有效孔径为22.5mm，散射角为0.5度，其透过率为85％。将扩散片放置于相机传感器前10mm左右的位置，使点光源能够在相机传感器上产生高对比度的伪随机图案，此时可认为扩散片处于“聚焦”位置。在扩散片前，通过一个6x6mm2的方形光阑对生成图像大小进行约束，使得被照射扩散片区域生成的伪随机图案能够被相机传感器完全记录，避免物点信息的丢失。
步骤202、设计编码投影条纹：利用个人计算机Matlab软件创建具有不同条纹频率的三个正弦条纹图，并将其组合成彩色图像的红色、绿色和蓝色层，形成复合条纹图。例如，用Matlab软件生成具有n个频率的正弦条纹图，由于投影仪的视野确定，正弦条纹频率只与投影的条纹数量有关，利用最佳频率选择过程确定相应通道的投影条纹数量，计算公式为：
Nfh＝Nf0-(Nf0)(h-1)/(n-1)，h＝1,...,n-1
其中，Nf0和Nfm分别是最大条纹集的条纹数和第h个条纹集中的条纹数。本发明实施例中n＝3，三个投影条纹频率分别对应R、G、B三个颜色通道，以此获得条纹数据的并行采集。如图5所示，得到由三种不同频率组成的复合条纹图，根据最佳三频选择过程，得到R、G、B三颜色通道条纹数量分别为49、48和42，覆盖投影仪视野。
步骤203、利用投影装置投射复合条纹图至目标被测物体上。例如，利用JMGC-JHC700数字式投影仪将步骤202中得到复合条纹图投射到目标被测物体表面。步骤202和步骤203的实施主要采用投影装置完成。
步骤204、利用光场成像装置记录经目标被测物体轮廓调制后的编码条纹图像，具体的：首先，用3-CCD扩散片编码型光场相机拍摄目标被测物体，将携带目标被测物体轮廓信息的复合条纹图捕捉到三个通道中，得到经目标被测物体调制的编码图像di(i＝1,2,3)。然后，由于各通道之间会产生干扰，引入耦合系数来得到各通道编码图像的修改强度d′i，以此解决三个通道之间的干扰问题。其中，得到经被测物体调制的编码图像di(i＝1，2，3)表示第i个颜色通道传感器所记录的编码图像，可以表示为di(m,n)：
其中，(m,n)表示图像在传感器上的像素坐标，ai表示正弦条纹强度的直流分量，bi表示调制深度，pi表示条纹的周期，以像素为单位。为物体表面产生的相位变化，aj表示耦合通道的正弦条纹强度的直流分量，bj表示耦合通道的调制深度，pj表示耦合通道的条纹周期，表示物体表面高度引起耦合通道正弦条纹的相位变化。
例如，当求红色通道i＝1时的编码图像，即d1(m,n)，
另外，由于红色、绿色和蓝色通道被用作载体来编码三个独立的条纹图案，理想情况下，为了获得正确的相位信息，颜色通道之间不能有串扰。但实验中串扰不可避免，基于此，本实施例中才通过引入耦合系数cij来量化颜色通道之间的耦合问题。
为了计算耦合系数，首先将纯红色、绿色和蓝色条纹图案按顺序投影到白板上，对于每种颜色，投射三幅相移图像-2π/3、0和2π/3，共9张图片。然后，将这些图像分离为R，G，B分量，共得到27幅灰度强度图像。以红色通道为例，求红色通道即i＝1时与其他两通道之间的耦合效应强度为：
c1i＝∑b′i/∑b′1
从而求得各颜色通道之间耦合系数矩阵为：
其中，c11、c22和c33均为1。
然后利用耦合系数矩阵，可以通过计算每个颜色通道编码图像的修改强度d′i来实现串扰的一阶补偿，其中，第i个颜色通道的修改强度d′i为d′i(m,n)：
d′i(m,n)＝di(m,n)-∑cijdi(m,n)。
该步骤主要通过光场成像装置实现，如图4所示，接收端采用3-CCD扩散片编码型光场相机，三片CCD分别利用前置光学滤波片在物理结构上直接对相应颜色通道的条纹图案进行选择成像，用于同时记录三个颜色通道的经目标被测物体轮廓调制后的编码条纹图像，扩散片用于编码结构光场的角度信息得到四维光场信息，将四维光场信息记录到二维传感器图像上。
步骤205、光场重建：利用步骤201中得到的光场传输矩阵T以及步骤204中得到的编码图像的修改强度d′i，根据光场相机的成像模型，利用压缩感知算法实现对结构光场的重建，即得到d′i＝Tli＝TΨαi，li向量描述待测场景在第i个颜色通道的光场信息，T为步骤201中得到的无透镜散射光场成像系统的传输矩阵，为四维光场到二维图像的一个映射。传输矩阵T的行数与相机传感器上使用像素数相等，而传输矩阵T的列数即光线数则是由光场空间采样频率与角度采样频率共同决定，传输矩阵T列数远大于矩阵行数。所以本实施例考虑压缩感知算法的稀疏性原则，认为成像场景所对应的光场在某个变换域中具有一定稀疏性，Ψ为稀疏变换矩阵，基于此，该实施例中采用离散余弦变换基，αi为li在稀疏基Ψ下的稀疏系数，则重建的数学模型表达为：
其中，修改强度d′i，传输矩阵T和稀疏变换矩阵Ψ采用L1范数优化先得到稀疏系数αi，再由稀疏基Ψ与稀疏系数αi相乘最终获得相应通道的四维光场信息li。所得光场包含被测物体反射光线的空间信息和角度信息，可以表示为li(s,u)。在该实施例中，使用扩散片编码型光场相机代替普通相机记录结构光场得到四维光场，记录的四维光场可以表示为L(s,u)。其中，加粗字体s与u分别表示光场的二维空间坐标与二维角度坐标。
在步骤主要通过计算装置实现，具体的，光场重建单元用于将经过光场成像装置编码的二维编码图像解调为四维结构光场信息。光场深度估计单元用于对每个颜色通道结构光场信息作傅里叶分析得到相位信息，并根据相位求角度方差，利用角度方差在整个深度范围内呈现单峰分布性实现光场深度估计。
步骤206、结构光场深度估计：对步骤205中得到的每个颜色通道的结构光场作傅里叶分析得到相位信息，并根据相位信息求角度方差，利用角度方差在整个深度范围内呈现单峰分布性实现光场深度估计，接着利用相机内参完成从深度图到三维坐标信息的转换，从而完成对待测物体的三维测量。具体的：
首先，对步骤205中得到的每个通道的结构光场作傅里叶变换，可得三部分组成的空间频谱：零阶Ai(fs,fu)，以及旁瓣Ci(fs-fi,0,fu)和Ci *(fs+fi,0,fu)，公式表示为：
F{li(s,u)}＝Ai(fs,fu)+Ci(fs-fi,0,fu)+Ci *(fs+fi,0,fu)
其中，fs，fu分别为空间平面以及角度平面的频率，fi,0＝1/pi为第i个颜色通道的载波频率，即在步骤202中用最佳三频法得到的预设条纹频率。
然后，利用中心频率为fi,0的带通滤波器分离出旁瓣信息：
BPF[F{li(s,u)}]＝Ci(fs-fi,0,fu)
接着，对分离出的旁瓣信息进行逆傅里叶变换：
F-1[Ci(fs-fi,0,fu)]＝ci(s,u)exp[i2πs/pi]
对进行逆傅里叶变换的旁瓣信息进行反正切计算，可得第i个颜色通道的相位信息为
其中，Re(·)和Im(·)分别代表ci(s,u)exp[i2πs/pi](逆傅里叶变换的旁瓣信息)的实部和虚部。
对第i个颜色通道的相位信息进行剪切操作得到数字重聚焦后的相位编码场
其中，sα＝s+u(1-1/α)表示剪切值为α下的空间坐标剪切，该剪切值反映场景深度变化，并通过剪切操作耦合了光场的角度信息。
对数字重聚焦后的相位编码场在角度维度积分，获得特定深度即剪切值α下的重聚焦的相位图为
其中，Nu表示光场的角度分辨率。
对于数字重聚焦下的相位编码场其相对于重聚焦的相位图的加权角度方差为：
该角度方差在整个深度范围内显示出一个单峰分布趋势，当目标物点所在深度与重聚焦深度一致时，重聚焦的相位编码场将具有一致的角坐标，此时对应的角度方差也为最小。剪切光场的角度方差随着剪切值α而变化，通过不断迭代，在对应正确深度的剪切值处具有极值，即找到峰值所在位置对应的α值，从而定位对应物点的深度。
最后，将光场深度信息映射到三维坐标：在本实施例中，计算得到的待测场景的深度值即剪切值与坐标系一一对应，将深度值映射到三维坐标，即将像素坐标系转换到世界坐标系，其公式为：
其中，fx，fy，cx，cy为相机内参，通过对光场成像装置提前标定得到，接着将图片中像素(m,n)处Z值转换为三维物理场景中的(X,Y,Z)，即为从像素坐标系到世界坐标系的映射，继而得到目标物体的三维坐标信息。另外，将三个通道得到的深度图组合，即为三维物体真实颜色信息。实现单帧完成三维物体形状和颜色数据的测量。
基于像素描述，相对于现有技术，本发明提供的目标三维信息测量方法和系统还具有以下优点：
(1)利用扩散片按入射角度对光线进行唯一编码，相对于传统掩膜光场成像提高了成像系统的光吞吐量，且无需传统微透镜阵列光场相机的分辨率权衡问题。
(2)引入结构照明，为光场成像提供对强度不敏感的相位编码信息，解决了被动式光场深度估计依赖于物体表面纹理几何结构，存在鲁棒性和精度低等问题。
(3)利用红、绿、蓝三颜色彩色通道作为三种不同频率下条纹的载体，实现场景的并行采集，提高了采样效率。
(4)可利用单帧合成RGB图像同时测量三维物体形状和颜色信息。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种目标三维信息测量方法，其特征在于，包括：
获取光场传输矩阵和复合条纹图；所述复合条纹图包括红色层、绿色层和蓝色层；所述红色层、所述绿色层和所述蓝色层均由不同条纹频率的正弦条纹图组成；
将所述复合条纹图投影至目标待测物体上，得到携带目标待测物体轮廓信息的复合条纹图；
捕捉携带目标待测物体轮廓信息的复合条纹图至三颜色通道，得到经目标待测物体调制的编码图像；
引入耦合系数基于所述编码图像得到编码图像的修改强度；所述编码图像的修改强度为d'i(m,n)：
d’i(m,n)＝di(m,n)-∑cijdi(m,n)；
其中，di(m,n)为编码图像，(m,n)为像素坐标，cij为耦合系数，i＝1,2,3，j＝1,2,3，1为红色，2为绿色，3为蓝色；
利用所述光场传输矩阵和所述编码图像的修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场；所述结构光场包括目标待测物体反射光线的空间信息和角度信息；
采用傅里叶分析法，基于所述结构光场得到相位信息；
根据所述相位信息确定角度方差；
基于所述角度方差确定光场深度；
基于所述光场深度构建目标待测物体的深度图；
对所述深度图进行融合和三维坐标信息转换，得到目标待测物体的三维测量信息；所述三维测量信息包括三维坐标信息和三维颜色信息；
其中，根据所述相位信息确定角度方差，具体包括：
对所述相位信息进行剪切操作得到数字重聚焦后的相位编码场；
在角度维度对所述数字重聚焦后的相位编码场进行积分得到重聚焦的相位图；
确定所述数字重聚焦后的相位编码场相对于所述重聚焦的相位图的加权角度方差；将所述加权角度方差作为所述角度方差。
2.根据权利要求1所述的目标三维信息测量方法，其特征在于，所述复合条纹图中每一颜色通道的投影条纹数量的计算公式为：
Nfh＝Nf0-(Nf0)(h-1)(n-1)，h＝1,...,n-1；
其中，Nf0和Nfh分别是最大条纹集的条纹数和第h个条纹集中的条纹数；n＝3，三个投影条纹频率分别对应R、G、B三个颜色通道。
3.根据权利要求1所述的目标三维信息测量方法，其特征在于，所述采用傅里叶分析法，基于所述结构光场得到相位信息，具体包括：
对颜色通道i的结构光场进行傅里叶变换得到颜色通道i的空间频谱；所述空间频谱包括零阶Ai(fs,fu)，以及旁瓣Ci(fs-fi,0,fu)和Ci *(fs+fi,0,fu)；其中，fs为空间平面的频率，fu为角度平面的频率，fi,0为颜色通道i的载波频率；
以所述颜色通道i的载波频率为中心频率，采用带通滤波器从所述空间频谱中分离得到旁瓣Ci(fs-fi,0,fu)；
对所述旁瓣Ci(fs-fi,0,fu)进行傅里叶变换得到傅里叶变换结果；
对所述傅里叶变换结果进行反正切计算得到颜色通道i的相位信息。
4.根据权利要求1所述的目标三维信息测量方法，其特征在于，对所述深度图进行融合和三维坐标信息转换，得到目标待测物体的三维测量信息，具体包括：
提取所述深度图中目标待测物体的像素坐标，并将所述像素坐标转换至世界坐标系得到目标待测物体的三维坐标信息；
融合每一颜色通道的深度图得到目标待测物体的三维颜色信息。
5.一种目标三维信息测量系统，其特征在于，包括：
标定装置，用于获取光场传输矩阵；
投影装置，用于生成复合条纹图，并用于将所述复合条纹图投射至目标待测物体上；
光场成像装置，与所述标定装置连接，用于捕捉携带目标待测物体轮廓信息的复合条纹图至三颜色通道，得到经目标待测物体调制的编码图像，用于引入耦合系数基于所述编码图像得到编码图像的修改强度，并用于利用所述光场传输矩阵和所述编码图像的修改强度，在光场相机的成像模型下采用压缩感知算法得到每一颜色通道的结构光场，将所述结构光场记录到二维传感器图像上；所述结构光场包括目标待测物体反射光线的空间信息和角度信息；其中，所述编码图像的修改强度为d'i(m,n)：
d’i(m,n)＝di(m,n)-∑cijdi(m,n)；
其中，di(m,n)为编码图像，(m,n)为像素坐标，cij为耦合系数，i＝1,2,3，j＝1,2,3，1为红色，2为绿色，3为蓝色；
计算装置，与所述光场成像装置连接，用于采用傅里叶分析法，基于所述结构光场得到相位信息，用于根据所述相位信息确定角度方差，用于基于所述角度方差确定光场深度，用于基于所述光场深度构建目标待测物体的深度图，用于对所述深度图进行融合和三维坐标信息转换，得到目标待测物体的三维测量信息；所述三维测量信息包括三维坐标信息和三维颜色信息；
其中，根据所述相位信息确定角度方差，具体包括：
对所述相位信息进行剪切操作得到数字重聚焦后的相位编码场；
在角度维度对所述数字重聚焦后的相位编码场进行积分得到重聚焦的相位图；
确定所述数字重聚焦后的相位编码场相对于所述重聚焦的相位图的加权角度方差；将所述加权角度方差作为所述角度方差。
6.根据权利要求5所述的目标三维信息测量系统，其特征在于，所述计算装置包括：
光场重建单元，与所述光场成像装置连接，用于解调经光场成像装置编码的结构光场信息；
光场深度估计单元，与所述光场重建单元连接，用于对每个颜色通道的结构光场信息作傅里叶分析得到相位信息，并根据相位信息确定角度方差，基于所述角度方差确定光场深度，基于所述光场深度构建目标待测物体的深度图，对所述深度图进行融合和三维坐标信息转换，得到目标待测物体的三维测量信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210947414.XA CN115307577B (zh) | 2022-08-09 | 2022-08-09 | 一种目标三维信息测量方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210947414.XA CN115307577B (zh) | 2022-08-09 | 2022-08-09 | 一种目标三维信息测量方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115307577A CN115307577A (zh) | 2022-11-08 |
| CN115307577B true CN115307577B (zh) | 2024-09-13 |
Family
ID=83860190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210947414.XA Active CN115307577B (zh) | 2022-08-09 | 2022-08-09 | 一种目标三维信息测量方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115307577B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117804381B (zh) * | 2024-03-01 | 2024-05-10 | 成都信息工程大学 | 一种基于相机阵列聚焦结构光对物体三维重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986098A (zh) * | 2010-09-21 | 2011-03-16 | 东南大学 | 基于三色光栅投影的傅里叶变换三维测量法 |
| CN102322822A (zh) * | 2011-08-08 | 2012-01-18 | 西安交通大学 | 一种三频彩色条纹投影三维测量方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2528791A1 (en) * | 2005-12-01 | 2007-06-01 | Peirong Jia | Full-field three-dimensional measurement method |
| US8811767B2 (en) * | 2011-03-15 | 2014-08-19 | Mitsubishi Electric Research Laboratories, Inc. | Structured light for 3D shape reconstruction subject to global illumination |
| US20150347833A1 (en) * | 2014-06-03 | 2015-12-03 | Mark Ries Robinson | Noncontact Biometrics with Small Footprint |
| CN105387819B (zh) * | 2015-12-27 | 2017-10-13 | 河北工业大学 | 基于条纹反射法的反光物体三维形貌测量方法及装置 |
| CN111932601B (zh) * | 2019-09-27 | 2023-06-06 | 北京信息科技大学 | 一种基于YCbCr颜色空间光场数据的稠密深度重建方法 |
| CN111288925B (zh) * | 2020-01-18 | 2022-05-06 | 武汉烽火凯卓科技有限公司 | 一种基于数字对焦结构照明光场的三维重建方法和装置 |
| JP7058901B1 (ja) * | 2021-12-24 | 2022-04-25 | のりこ 安間 | ３次元撮像装置 |
| CN113587852A (zh) * | 2021-08-18 | 2021-11-02 | 天津工业大学 | 一种基于改进三步相移的彩色条纹投影三维测量方法 |
-
2022
- 2022-08-09 CN CN202210947414.XA patent/CN115307577B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986098A (zh) * | 2010-09-21 | 2011-03-16 | 东南大学 | 基于三色光栅投影的傅里叶变换三维测量法 |
| CN102322822A (zh) * | 2011-08-08 | 2012-01-18 | 西安交通大学 | 一种三频彩色条纹投影三维测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115307577A (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111351450B (zh) | 基于深度学习的单帧条纹图像三维测量方法 | |
| CN111563564B (zh) | 基于深度学习的散斑图像逐像素匹配方法 | |
| CN109506589A (zh) | 一种基于结构光场成像的三维轮廓测量方法 | |
| CN101883291B (zh) | 感兴趣区域增强的视点绘制方法 | |
| Levin et al. | Linear view synthesis using a dimensionality gap light field prior | |
| CN103363924B (zh) | 一种压缩的三维计算鬼成像系统及方法 | |
| CN110425986A (zh) | 基于单像素传感器的三维计算成像方法及装置 | |
| US7844079B2 (en) | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns | |
| CN109307483B (zh) | 一种基于结构光系统几何约束的相位展开方法 | |
| CN112945141B (zh) | 基于微透镜阵列的结构光快速成像方法及系统 | |
| CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
| CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
| CN111189416B (zh) | 基于特征相位约束的结构光360°三维面形测量方法 | |
| CN114549746A (zh) | 一种高精度真彩三维重建方法 | |
| CN102538708A (zh) | 任意表面三维形貌测量系统 | |
| CN116993826A (zh) | 一种基于局部空间聚合神经辐射场的场景新视图生成方法 | |
| CN115307577B (zh) | 一种目标三维信息测量方法和系统 | |
| CN116718271B (zh) | 高速高光谱成像系统和方法 | |
| Huang et al. | Spectral clustering super-resolution imaging based on multispectral camera array | |
| CN117450955B (zh) | 基于空间环形特征的薄型物体三维测量方法 | |
| CN116708744A (zh) | 一种角度分辨率和成像时间可调的光场成像装置及方法 | |
| CN116310101A (zh) | 基于过曝光连通域强度自适应分布的高动态三维测量方法 | |
| CN115950534A (zh) | 分焦平面式高光通量仿生多光谱偏振成像探测器 | |
| CN115235377A (zh) | 一种基于偏振最佳投影强度的三维测量方法 | |
| CN117804381B (zh) | 一种基于相机阵列聚焦结构光对物体三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |