CN107747915A - 基于数字微镜器件的闭环式三维视觉装置 - Google Patents

Abstract

本发明公开了一种基于数字微镜器件的闭环式三维视觉装置，该装置包括PC机、控制电路、数据处理模块、电机、数字微镜模块、参考平面及摄像头，控制电路使数字微镜模块产生不同光栅图案，照射待测物体，经摄像头采集由不同光栅图案照射的图像，交由数据处理模块处理，数据处理模块根据处理结果驱动电机，调整数字微镜模块和摄像头角度及焦距，放大待测物体至投射及拍摄区域中心，闭环循环上述过程，可快速精确地提取出三维信息，存储至本地或上传至PC机显示。较于传统三维采集装置，本发明利用数字微镜的高速开关特性能够高速投射光栅图案，利用电机，可以快速精准定位物体，采集速度快、闭环采集精度高，图像处理速度快，灵活性高。

Description

基于数字微镜器件的闭环式三维视觉装置

技术领域

本发明涉及高精度三维重建领域及电子技术领域，尤其涉及数字微镜器件在三维信息采集方面应用的一种基于数字微镜器件的闭环式三维视觉装置，该装置可用于高速高精度的三维信息数据获取。

背景技术

人们生活在三维世界中，为了能更好的表达客观世界，三维视觉技术变的很重要。在需要高速高精度物体的三维信息时，需要能进行反馈闭环测量待测物体的装置，以及很高的光栅图案投射速度、图像捕获和处理速度。

传统的三维视觉装置是通过固定的LCD投影仪投射一系列的光栅图案到待测物体表面，然后通过摄像头拍摄图片，上传至PC机进行处理和显示。而传统的LCD投影仪刷新速率只有30-60fps，投影和采集速度很慢，且设备固定，只能进行一个固定场景方向和焦距的扫描，采集范围小、精度低。此外，摄像头采集图片需要使用PC机进行处理和显示，设备笨重，不便携。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于数字微镜器件的闭环式三维视觉装置，首先通过数字微镜实现对空间光的快速调制，能够快速产生一系列的光栅图案，同时通过摄像头快速采集下来，交由嵌入式微处理器进行三维信息恢复提取，最后上传至上位机进行显示，再对显示结果进行处理，得到待测物体偏离图片中心的距离值，并驱动电机调整数字微镜模块和摄像头角度及焦距，使采集到的三维信息更精密。具有操作简单、采集范围大、采集处理速度快、设备小巧易携，显示存储方便等特点。

实现本发明目的的具体技术方案是：

一种基于数字微镜器件的闭环式三维视觉装置，特点是：该装置包括：PC机、控制电路、数据处理模块、电机、数字微镜模块、参考平面及摄像头，所述PC机与控制电路连接；控制电路分别与电机、数字微镜模块、摄像头连接；电机分别与数字微镜模块、摄像头连接；数字微镜模块与参考平面连接；参考平面与摄像头连接；摄像头与数据处理模块连接；

其中：

所述控制电路包括FPGA、4核Cortex-A9处理器、AS接口、USB接口、LED、按键及UART接口,所述FPGA分别与AS接口、4核Cortex-A9处理器连接；4核Cortex-A9处理器分别与USB接口、LED、按键及UART接口连接；

所述数据处理模块包括4核Cortex-A9处理器、USB接口、DDR3、MIPI接口及eMMC,所述4核Cortex-A9处理器分别与USB接口、DDR3、MIPI接口及eMMC连接；

所述数字微镜模块包括光源、匀光光棒、棱镜透镜组、数字微镜器件、透镜阵列，所述光源与匀光光棒连接；匀光光棒与棱镜透镜组连接；棱镜透镜组与数字微镜器件连接；数字微镜器件与透镜阵列连接。

本发明装置实现闭环式三维视觉功能包括以下具体步骤：

步骤1：PC机控制光源照射到数字微镜器件上

ⅰ）PC机通过控制电路打开光源开关；

ⅱ）照射光通过匀光光棒，使点光源展宽为面光源；

ⅲ）照射光通过棱镜透镜组，使照射光面符合数字微镜器件大小；

步骤2：控制电路控制数字微镜器件对空间光进行调制并照射到待测物体上

ⅰ）控制电路控制数字微镜器件每个镜子的旋转角度，使其呈现出“打开”或者“关断”状态，控制空间光的形状、区域，完成对空间光的调制，连续高速产生一系列光栅图案；

ⅱ）调制后的空间光经过透镜阵列，均匀准确地照射在放置在参考平面的待测物体表面上；

步骤3：控制电路控制摄像头采集待测物体的图像数据并在数据处理模块中进行处理

ⅰ）控制电路控制摄像头，在每次数字微镜器件产生的光栅图案照射在放置在参考平面的待测物体上后，立即采集待测物体的图像数据并存储在eMMC存储器中；

ⅱ）在一系列光栅图案照射下的待测物体图片采集完毕后，4核Cortex-A9处理器对图片进行二值化、结构光解码、畸变量提取等操作；

步骤4：控制电路控制数据处理模块提取待测物体位置，进行第二次采集

ⅰ）在4核Cortex-A9处理器完成对图像的处理后，控制电路控制4核Cortex-A9处理器将结果存储在eMMC存储器，并将待测物体偏离图片中心的距离信息发送至控制电路。

ⅱ）控制电路驱动电机调整数字微镜模块和摄像头角度和焦距，使待测物体放大且处于数字微镜模块投射图案的中心和摄像头拍摄图片的中心。

ⅲ）重复步骤1至步骤3，完成第二次精度更高的采集

步骤5：数据处理模块将两次采集结果整合，存储至eMMC存储器或发送至PC机进行显示

ⅰ）在4核Cortex-A9处理器完成对两次三维信息的整合后，控制电路控制4核Cortex-A9处理器将结果存储在eMMC存储器或通过USB口上传处理结果至PC机，通过上位机程序显示提取得到的待测物体的三维图像；

ⅱ）根据显示效果可在PC机端调节距离参数，再次对待测物体的三维信息进行采集整合。

本发明解决了目前传统的三维视觉装置采集范围小、采集精度低、处理速度慢、设备笨重等问题，使用电机驱动数字微镜模块和摄像头角度和焦距增加三维视觉装置的采集精度，同时利用数字微镜器件对照射光进行调制，可以高速产生三维信息采集所需的光栅图案，用摄像头采集后使用4核Cortex-A9处理器进行三维信息恢复提取，方便地将结果存储在eMMC存储器或显示在PC机上，并实现了跟踪动态显示待测物体三维信息的功能。

附图说明

图1为本发明结构示意图；

图2为本发明控制电路结构示意图；

图3为本发明数据处理模块结构示意图；

图4为本发明数字微镜模块结构示意图；

图5为本发明控制电路工作流程图；

图6为为本发明数据处理模块工作流程图；

图7为本发明PC机显示界面示意图。

具体实施方式

下面结合附图及实施例对本发明进行详细描述。

参阅图1，本发明包括PC机1、控制电路2、数据处理模块3、电机4、数字微镜模块5、参考平面6、摄像头7，所述PC机1与控制电路2连接；控制电路2分别与电机4、数字微镜模块5、摄像头7连接；电机4分别与数字微镜模块5、摄像头7连接；数字微镜模块5与参考平面6连接；参考平面6与摄像头7连接；摄像头7与数据处理模块3连接。PC机1通过控制电路2控制数字微镜模块5对空间光进行调制并照射到待测物体上,控制电路2控制摄像头7，在每次数字微镜器件模块5产生的光栅图案照射在待测物体上后，立即采集待测物体的图像数据并存储在数据处理模块3中,在一系列光栅图案照射下的待测物体图片采集完毕后，数据处理模块3对图片进行二值化、结构光解码、畸变量提取等操作,数据处理模块3获取待测物体偏离图片中心的距离并发送至控制电路2，控制电路2驱动电机4调整数字微镜模块3和摄像头7的角度和焦距，使待测物体放大且处于图像中心，重复上述步骤进行第二次三维信息采集，数据处理模块3将两次采集结果整合，将整合结果存储至数据处理模块3或发送至PC机1进行显示，PC机1还可以根据显示效果手动调节数字微镜模块3和摄像头7的距离和角度值进行多次采集，来获取最高精度的三维信息。

参阅图2，为本发明控制电路2结构示意图。所述控制电路包括FPGA21、4核Cortex-A9处理器22、AS接口23、USB接口24、LED25、按键26及UART接口27,所述FPGA21分别与AS接口23、4核Cortex-A922连接；4核Cortex-A9处理器22分别与USB接口24、LED25、按键26及UART接口27连接。AS接口23用来烧写FPGA21代码，USB接口24用来接收PC机命令，4核Cortex-A9处理器22通过USB接口24接收到，将命令解析后发送相应参数至FPGA21或通过UART接口27将工作参数发送至电机。如果控制电路工作异常，则控制LED25进行提示，也可以使用按键26重启设备。

参阅图3，为本发明数据处理模块3结构示意图。所述数据处理模块3包括4核Cortex-A9处理器31、USB接口32、DDR333、MIPI接口34、eMMC35,所述4核Cortex-A9处理器31分别与USB接口32、DDR333、MIPI接口34及eMMC 35连接。USB接口32用来烧写Cortex-A9处理器31代码并接收命令，DDR333用来暂存4核Cortex-A9处理器31运行过程中产生的临时数据，4核Cortex-A9处理器31通过MIPI接口34控制摄像头采集图片，存储至eMMC35。在所有图片采集完成后，4核Cortex-A9处理器31从eMMC35中取出图片，经过二值化、结构光解码、畸变量提取等操作后，将三维信息恢复提取结果存储在eMMC35中，或者通过USB接口32发送至PC机。

参阅图4，为本发明数字微镜模块5结构示意图。所述数字微镜模块5包括光源51、匀光光棒52、棱镜透镜组53、数字微镜器件54、透镜阵列55，所述光源51与匀光光棒52连接，匀光光棒52与棱镜透镜组53连接，棱镜透镜组53与数字微镜器件54连接，数字微镜器件54与透镜阵列55连接。PC机通过控制电路打开光源51开关，照射光通过匀光光棒52，使点光源展宽为面光源，照射光通过棱镜透镜组53，使照射光面符合数字微镜器件54大小，控制电路控制数字微镜器件54使其连续高速产生一系列光栅图案，调制后的空间光经过透镜阵列55，均匀准确地照射在待测物体表面上。

参阅图5，为本发明控制电路工作流程图。设备初始化后，用户在PC机1下达开始采集三维信息的指令，指令通过USB接口发送至控制电路2的4核Cortex-A9处理器；4核Cortex-A9处理器，打开光源，驱动电机4调整数字微镜模块5和摄像头7的角度和焦距，设置需要投射到参考平面6上的待测物体表面的光栅图案，发送至FPGA，FPGA根据参数驱动数字微镜模块5，使光栅图案投射至参考平面6上的待测物体表面，同时控制电路2控制摄像头7采集图片，并存储在数据处理模块3，若此时未采集完毕所有不同光栅图案照射下的图片，则设置下一个需要投射的光栅图案，驱动数字微镜模块5和摄像头7循环上述工作，若已采集完毕，则数据处理模块3开始对图片进行处理，将恢复提取出的三维信息进行判断，如精度足够高，闭环处理完毕，则保存在本地，或上传至PC机1进行显示，若精度不足，闭环处理未完毕，则调整数字微镜模块5和摄像头7角度及焦距，继续重复上述过程。

参阅图6，为本发明数据处理模块工作流程图。首先数据处理模块3载入提前拍摄的由不同光栅照射的参考平面图像，而后进行图像二值化、结构光解码、提取畸变量等过程。之后载入待测物体图像，同样进行图像二值化、结构光解码、畸变量提取的过程，而后将提取到的畸变量减去之前得到的参考平面畸变量，去除由参考平面本身造成的畸变。将最终恢复提取的待测物体的畸变量存储在本地或上传至PC机1进行显示。

参阅图7，为本发明的PC机显示界面示意图，在点击扫描三维，整个系统会通过闭环循环提取出待测物体高精度的三维信息，显示在三维坐标系中方便查看和保存。用户也可以根据需要手动设置感兴趣的范围，进行高精度三维信息的提取。

实施例

人们生活在三维世界中，为了能更好的表达客观世界，三维视觉技术变的很重要。以高速获取物体高精度的三维信息为例，需要定位待测物体、可旋转、调焦的光栅图案投射和图像捕获设备以便对焦待测物体、高速的光栅图案投射速度、图像捕获速度以及图像处理速度。用户在PC机1显示的界面中点击扫描三维信息，控制电路2中的FPGA 21控制数字微镜模块6产生一系列的光栅图案，同时4核Cortex-A9处理器22控制摄像头7拍摄图片。拍摄完毕后，数据处理模块3将图片进行处理，记录待测物体偏移值返回控制电路2，控制电路2驱动电机4调整数字微镜模块3和摄像头7的角度和焦距重复上述过程，对待测物体进行闭环循环提取高精度三维信息，并在PC机1界面进行显示。

这种装置相比于传统的三维视觉装置采集精度高、处理速度快、设备小巧便携，方便显示存储，灵活性高。

Claims (2)

1.一种基于数字微镜器件的闭环式三维视觉装置，其特征在于，该装置包括：PC机（1）、控制电路（2）、数据处理模块（3）、电机（4）、数字微镜模块（5）、参考平面（6）及摄像头（7），所述PC机（1）与控制电路（2）连接；控制电路（2）分别与电机（4）、数字微镜模块（5）、摄像头（7）连接；电机（4）分别与数字微镜模块（5）、摄像头（7）连接；数字微镜模块（5）与参考平面（6）连接；参考平面（6）与摄像头（7）连接；摄像头（7）与数据处理模块（3）连接；其中：

所述控制电路（2）包括FPGA（21）、4核Cortex-A9处理器（22）、AS接口（23）、USB接口（24）、LED（25）、按键（26）及UART接口（27）,所述FPGA（21）分别与AS接口（23）、4核Cortex-A9处理器（22）连接；4核Cortex-A9处理器（22）分别与USB接口（24）、LED（25）、按键（26）及UART接口（27）连接；

所述数据处理模块（3）包括4核Cortex-A9处理器（31）、USB接口（32）、DDR3（33）、MIPI接口（34）及eMMC（35）,所述4核Cortex-A9处理器（31）分别与USB接口（32）、DDR3（33）、MIPI接口（34）及eMMC（35）连接；

所述数字微镜模块（5）包括光源（51）、匀光光棒（52）、棱镜透镜组（53）、数字微镜器件（54）及透镜阵列（55），所述光源（51）与匀光光棒（52）连接；匀光光棒（52）与棱镜透镜组（53）连接；棱镜透镜组（53）与数字微镜器件（54）连接；数字微镜器件（54）与透镜阵列（55）连接。

2.根据权利要求1所述装置，其特征在于所述装置实现闭环式三维视觉包括以下具体步骤：

步骤1：PC机控制光源照射到数字微镜器件上

ⅰ）PC机通过控制电路打开光源开关；

ⅱ）照射光通过匀光光棒，使点光源展宽为面光源；

ⅲ）照射光通过棱镜透镜组，使照射光面符合数字微镜器件大小；

步骤2：控制电路控制数字微镜器件对空间光进行调制并照射到待测物体上

ⅰ）控制电路控制数字微镜器件每个镜子的旋转角度，使其呈现出“打开”或者“关断”状态，控制空间光的形状、区域，完成对空间光的调制，连续高速产生一系列光栅图案；

ⅱ）调制后的空间光经过透镜阵列，均匀准确地照射在放置在参考平面的待测物体表面上；

步骤3：控制电路控制摄像头采集待测物体的图像数据并在数据处理模块中进行处理

ⅰ）控制电路控制摄像头，在每次数字微镜器件产生的光栅图案照射在放置在参考平面的待测物体上后，立即采集待测物体的图像数据并存储在eMMC存储器中；

ⅱ）在一系列光栅图案照射下的待测物体图片采集完毕后，4核Cortex-A9处理器对图片进行二值化、结构光解码、畸变量提取等操作；

步骤4：控制电路控制数据处理模块提取待测物体位置，进行第二次采集

ⅰ）在4核Cortex-A9处理器完成对图像的处理后，控制电路控制4核Cortex-A9处理器将结果存储在eMMC存储器，并将待测物体偏离图片中心的距离信息发送至控制电路；

ⅱ）控制电路驱动电机调整数字微镜模块和摄像头角度和焦距，使待测物体放大且处于数字微镜模块投射图案的中心和摄像头拍摄图片的中心；

ⅲ）重复步骤1至步骤3，完成第二次精度更高的采集；

步骤5：数据处理模块将两次采集结果整合，存储至eMMC存储器或发送至PC机进行显示

ⅰ）在4核Cortex-A9处理器完成对两次采集到的三维信息的整合后，控制电路控制4核Cortex-A9处理器将结果存储在eMMC存储器或通过USB口上传处理结果至PC机，通过上位机程序显示提取得到的待测物体的三维图像；

ⅱ）根据显示效果可在PC机端调节距离参数，再次对待测物体的三维信息进行采集整合。