CN113329219B - 多输出参数可动态配置深度相机 - Google Patents

Abstract

本发明公开了一种多输出参数可动态配置深度相机，包含以现场可编程门阵列(FPGA)芯片为基础，可重构计算框架为核心的深度图像处理器，将双目视觉技术中立体匹配的代价聚合过程以更高计算效率和灵活性的硬件并行方式实现。通过两颗CMOS图像采集芯片采集双目初始图像，由可重构深度图像处理器对双目初始图像处理得到深度图像。处理器包含可外部动态配置深度图像参数的接口，在设备运行或初始化时可对深度图像参数包括分辨率、帧率、图像编码、图像叠加以及输出接口等参数动态配置。该深度相机能在不同使用场景下完成不同需求的深度图像采集任务而无需更换软硬件，拥有良好的多场景适应性。

Description

多输出参数可动态配置深度相机

技术领域

本发明涉及计算机和微电子技术领域，具体涉及一种多输出参数可动态配置深度相机。

背景技术

深度相机是一种用于获取视野范围内深度图像的一种采集设备，深度图像不同于传统摄像头采集的平面图像，其中包含了图像内不同的像素点对应的相对距离信息。由深度图像可以实现对场景的三维信息提取，从而进一步进行包括人脸识别，三维目标识别以及多分辨率建模和几何压缩等场景应用，具有很强的实用价值。

现有的深度图像采集技术主要包括结构光技术，TOF技术（TimeOfFlight）以及双目视觉技术，其中结构光技术拥有分辨率高且近距离下高精度的优势；TOF技术估算发射光信号和反射光信号之间的延迟以计算物体到发射点之间的距离，优点是测量方法简单，响应较快且无需基线；双目视觉技术使用双目摄像头及像素匹配和三角形原理计算目标像素的距离信息，优点是测量范围大，可实现远距离深度获取，且成本较低。但由于在不同的使用场景下，对于深度图像的需求也各不相同，例如在三维重建过程中需要高精度数据提高准确率，而机器人避障则需要高帧率图像以提高实时性。而由于结构光和TOF技术由于硬件传感器限制或只能在近距离拥有最佳性能，不能适应多种不同情况下的深度图像采集需要。

现有部分深度相机产品将两种或多种深度图像采集技术进行融合以得到更高准确率的深度图像，但是无法针对不同应用场景而改变输出参数，且系统结构复杂，硬件成本高。因此，要实现能够根据不同应用场景动态切换深度图像参数（主要为分辨率和帧率）的功能且保证低成本，使用基于双目视觉技术构建的深度相机辅以使用可重构视觉处理技术构建的处理器具有较强的可操作性。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种多输出参数可动态配置深度相机。

本发明的目的可以通过采取如下技术方案达到：

一种可动态配置输出深度图像参数的深度相机，深度图像的可配置参数包括输出的图像格式、分辨率、帧率和输出接口。以现场可编程门阵列（FPGA）芯片为深度图像处理器，两枚可配置输出参数的CMOS图像采集芯片用于采集双目视觉计算初始图像，DDR外部存储器芯片用于缓存数据，深度相机还包括光学镜头以及深度图像输出接口和外部配置输入接口。

上述参数可动态配置深度相机的核心为FPGA深度图像处理器，使用半全局立体匹配算法（SGM）作为核心算法，以硬件描述语言设计。处理器包括三个用于存储配置参数的寄存器，其中第一寄存器用于配置深度图像分辨率和帧率，第二寄存器用于配置输出图像的编码格式与整合模式，第三寄存器用于配置输出图像的接口。

FPGA深度图像处理器15包括CMOS采集模式配置模块162，依据第一寄存器152分辨率配置两颗CMOS图像采集芯片的参数使其输出预期格式图像；CMOS图像采集模块161用于接收CMOS图像采集芯片输出的图像并编码；图像校正和拼接模块163将两CMOS采集图像经基线校正后拼接为一幅图像；初始代价计算模块165对经校正的双目图像执行第一次代价计算；外部存储控制器164与需要进行数据存取的模块相连，并将交互数据统一后产生对应的控制命令和数据流，向DDR外部存储器16中写入数据或从其中读取数据；SGM代价聚合数据控制器153，用于提取初始代价空间数据并按照第一寄存器152的分辨率配置进行代价聚合时的初始代价空间数据分配；可重构聚合单元池154，内部包括多个并行代价聚合单元，其依据送入数据进行并行SGM算法的代价聚合并计算得到最小代价；聚合结果整合及深度计算与优化模块155，对可重构聚合单元池154输出结果进行整合后使用三角形法获取深度值后再实施优化；图像编码与整合模块155，按照第二寄存器156配置进行不同类型的深度图像编码及不同图像叠加方式的图像叠加；图像输出模块159，对深度图像进行转换和输出；输出接口选择模块160，依据第三寄存器158配置以不同图像输出接口方式进行编码并将数据通路送至对应图像输出接口。

进一步地，所述SGM代价聚合数据控制器153通过外部存储控制器164从DDR外部存储器16当中读取初始代价空间数据，并按照第一寄存器152的分辨率配置数据，将初始代价空间数据依次送入可重构聚合单元池154中的并行计算的每个聚合单元中使用SGM（半全局匹配）方式进行每个像素并行的代价聚合运算，将初始代价空间通过聚合方式提高匹配准确率之后，在每个聚合单元内得到最小代价值，由后续连接的聚合结果整合及深度计算与优化模块155使用三角形法获得各个像素到目标位置的相对距离值，再经滤波、降噪和剔除错误匹配、连通域检查等一系列优化操作后输出最终深度图像。

进一步地，所述SGM代价聚合数据控制器153、可重构聚合单元池154、聚合结果整合及深度计算与优化模块155组合成可重构视觉计算框架，由SGM代价聚合数据控制器153将初始代价空间数据和聚合单元选通控制信号依据第一寄存器152配置通过数据总线和控制总线传输至可重构聚合单元池154。可重构聚合单元池154中连接在数据总线和控制总线上的多个聚合单元接收代价聚合计算数据使用SGM算法方式进行并行的代价聚合，在聚合单元内得到最小代价值，并在完成运算后通过数据总线和控制总线传输最小代价值数据和完成信号至聚合结果整合及深度计算与优化模块155，聚合结果整合及深度计算与优化模块155对输出最小代价值整合后使用三角形法计算得到深度值后再实施优化得到深度图像。

进一步地，所述图像编码与整合模块157读取第二寄存器156配置数据，根据配置数据中定义的输出图像数据格式对聚合结果整合及深度计算与优化模块155输出深度值进行编码，编码格式可以是RGB、GRAY、YCbCr或YUV等，且可配置为与DDR外部存储器16中读取的CMOS图像采集芯片采集的初始图像进行叠加后输出，输出的深度图像由后续图像输出模块159按照第三寄存器158中配置的图像输出接口格式如HDMI，USB或DVI等进行对应格式转换后送至输出接口选择模块160并传送至对应图像接口输出。

进一步地，所述CMOS采集模式配置模块162读取第一寄存器152分辨率配置数据，按照事先指定的通信协议对两颗CMOS图像采集芯片进行配置，使其输出预期的初始图像；CMOS图像采集模块161在CMOS图像采集芯片配置完成后接受其所传输的不同分辨率的初始RGB图像并输出至外部存储控制器164，外部存储控制器164对传输来的两帧初始图像分别存储到DDR外部存储器16的第一和第二区域，与外部存储控制器164连接的图像校正与图像拼接模块163通过外部存储控制器164从存储的两帧图像的第一和第二区域读取出两幅图像后，按照深度相机的镜头参数和安装位置信息对两帧图像进行基线校正，校正完成后按照左右顺序将两幅图像拼接为一幅图像并写入至DDR外部存储器16的第三区域作为初始代价计算数据，后续连接的初始代价计算模块165通过外部存储控制器164从第三区域读取双目视觉拼接图像后使用灰度差绝对值和梯度差绝对值代价计算方式计算初始代价值，该初始代价值反映像素点的灰度变化和梯度变化，对左视觉图像中每一个像素求其与右视觉图像中同一基线位置上每个像素的灰度和梯度差绝对值，最终得到的初始代价空间数据并通过外部存储控制器164写入到DDR外部存储器16的第四区域，该初始代价空间数据用于可重构聚合单元池154进行聚合和计算得到最终深度图像。

进一步地，FPGA深度图像处理器15中的动态配置数据分配器151连接至外部配置接口11，由外部配置接口11通过通信协议控制其对FPGA深度图像处理器15中的第一寄存器152、第二寄存器156和第三寄存器158中的数值进行动态配置，其中第一寄存器152中的数值用于控制输出的深度图像的分辨率（即精度），第二寄存器156中的数值用于控制输出深度图像的编码格式和图层叠加，第三寄存器158中的数值用于控制输出深度图像的接口类型。三个寄存器均可动态配置，即实现了输出深度图像的参数可动态配置。

本发明相对于现有技术具有如下的优点及效果：

（1）本发明提出以双路可配置COMS图像采集芯片作为原始图像采集装置，使用现场可编程门阵列（FPGA）芯片作为双目视觉处理平台，运用双目视觉图像匹配算法以及硬件描述语言实现可动态重构，首创了一种多输出参数可动态配置深度相机，通过输入配置接口和寄存器组实现深度相机的多输出参数可配置，包含分辨率和帧率以及输出视频格式，叠加方式一系列可配置参数。相较于融合式深度相机设备，本发明在功耗和元件成本及稳定性上拥有明显的优势，并且可配置参数多，场景适应性更好且灵活性更强。

（2）本发明提供一种多输出参数可动态配置深度相机设备，以可重构视觉计算为基础，通过外部接口对深度相机的输出参数进行动态配置，满足一个设备在不同使用场景下的深度图像采集需要，并可通过不同接口和格式输出。具有较强的使用鲁棒性，且整个设备的基础元件数量很少，维护方便且拥有成本低，功耗低，计算速度快，方便使用等多种优势，降低了深度相机的使用门槛。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的实施例中的输出参数可动态配置深度相机的设备结构示意图；

图2是本发明实施例中FPGA深度图像处理器的内部结构和外部连接示意图；

图3是本发明实施例中的可重构视觉计算部分的架构示意图；

图4是本发明实施例中的单个代价聚合单元的内部结构示意图；

其中，10-多输出参数可动态配置深度相机，11-外部配置接口，12-第一图像输出接口，13-第二图像输出接口，14-第三图像输出接口，15-FPGA深度图像处理器，16-DDR外部存储器，17-左视图像采集相机，171-左相机光学镜头，172-左视CMOS图像采集芯片， 18-右视图像采集相机，181-右相机光学镜头，182-右视CMOS图像采集芯片，20-目标深度采集区域，30-左相机视觉采集光路，40-右相机视觉采集光路，151-动态配置数据分配器，152-第一寄存器，153- SGM代价聚合数据控制器，154-可重构聚合单元池，155-聚合结果整合及深度计算与优化模块，156-第二寄存器，157-图像编码与整合模块，158-第三寄存器，159-图像输出模块，160-输出接口选择模块，161- CMOS图像采集模块，162- CMOS采集模式配置模块，163-图像校正与图像拼接模块，164-外部存储控制器，165-初始代价计算模块，1531-可重构聚合单元池数据总线，1532-可重构聚合单元池控制总线，1533-可重构聚合单元池中的单个聚合单元，15331-聚合单元数据流控制与状态机模块，15332-聚合单元数据计算与存储控制模块，15333-聚合单元SGM计算数据大小比较器，15334-聚合单元片内中间数据存储RAM。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例

图1是本次发明实施例的多输出参数可动态配置深度相机的设备示意图，该多输出参数可动态配置深度相机10包括FPGA深度图像处理器15、外部配置接口11、DDR外部存储器16、左视图像采集相机17和右视图像采集相机18，其中，左视图像采集相机17包括左相机光学镜头171和左视CMOS图像采集芯片172，右视图像采集相机18包括右相机光学镜头181和右视CMOS图像采集芯片182。

目标深度采集区域20的图像经过左相机视觉采集光路30和右相机视觉采集光路40分别由左视图像采集相机17的左相机光学镜头171聚焦到左视图像采集相机17的左视CMOS图像采集芯片172和由右视图像采集相机18的右相机光学镜头181聚焦到右视图像采集相机18的右视CMOS图像采集芯片182上得到目标区域的左右双目视图，该左右双目视图由FPGA深度图像处理器15处理后得到目标区域深度图像，目标区域深度图像由多个可配置输出的第一图像输出接口12、第二图像输出接口13以及第三图像输出接口14进行输出。DDR外部存储器16用于辅助存储深度图像处理器计算过程中产生的临时数据。

图2是本发明实施例中的FPGA深度图像处理器15的内部结构和外部连接示意图，包括CMOS图像采集模块161、CMOS采集模式配置模块162、图像校正和图像拼接模块163、外部存储控制器164以及初始代价计算模块165用于实现左视CMOS图像采集芯片172和右视CMOS图像采集芯片的配置和图像采集、左右双目视觉初始图像的校正和拼接、和使用灰度差绝对值和梯度差绝对值方式进行初始代价空间的计算，并且提供整个处理器与DDR外部存储器16的访问接口，用于存取深度计算过程中的双目视觉图像以及代价空间等数据。FPGA深度图像处理器15端以各种动态可配置及数据控制模块为主，包括动态配置数据分配器151，以及与其相连接的三个可动态配置的第一寄存器152、第二寄存器156、第三寄存器158，其中第一寄存器152用于寄存需要采集和计算的深度图像的分辨率，第二寄存器156用于寄存输出深度图像的编码方式和图层，第三寄存器158用于寄存输出深度图像的接口配置信息。SGM代价聚合数据控制器153以第一寄存器152中寄存的分辨率配置参数，将初始代价空间中的各个像素初始代价送入可重构聚合单元池154中的基本聚合单元进行代价聚合计算，经聚合完成后的各个像素代价值统一输出至聚合结果整合及深度计算与优化模块155使用赢家通吃算法找到最小代价值对应视差后计算相对深度值，然后经滤波、去噪等一系列优化措施得到单帧包含有各个像素深度值的伪深度图像并输出，与其连接的图像编码与整合模块157将聚合结果整合及深度计算与优化模块155输出的深度值编码成第二寄存器156中参数要求格式的单帧数字图像，图像输出模块159依照第三寄存器158中的输出接口格式参数值对图像编码与整合模块157传输进入的多张单帧数字图像之间加入相应的行场中断信号并编码成相应接口形式，得到深度图像数据流后输出。输出接口选择模块160依照第三寄存器158中的输出接口格式参数值将图像输出模块159输出的深度图像数据流送至相应的第一图像输出接口12、第二图像输出接口13以及第三图像输出接口14上，至此FPGA深度图像处理器15即完成深度图像的计算与输出。

FPGA深度图像处理器15为本发明中的深度相机设备获取深度图像的核心部分，以带FPGA芯片为基础实现硬件加速的立体半全局匹配（SGM）算法获得深度图像，一般立体匹配所执行的步骤包括初始代价计算、代价聚合、深度计算和后优化四个步骤，其中代价聚合步骤为整个立体匹配算法中耗时最长，占用计算资源最多的步骤。本发明以FPGA芯片的硬件全可编程特性为基础，将SGM立体匹配算法中的代价聚合步骤使用硬件并行化实现，计算过程分布于多个单独运行的聚合运算单元中，并且通过SGM代价聚合数据控制器对每个运算单元的聚合过程进行动态任务分配，从而达到用户可动态控制输出深度图像的分辨率和帧率之间关系。以硬件并行化减少聚合过程计算时间，以动态可重构计算方式提高硬件资源利用率，加上动态配置接口以及可执行不同编码任务的深度图像编码模块和图像输出模块即实现输出的深度图像格式和接口的动态可配置，提高场景适应灵活性。即FPGA深度图像处理器15方案下的深度相机设备能为不同场景应用下的深度图像需求提供拥有较高鲁棒性的解决方案。现对FPGA深度图像处理器15的详细深度图像计算和输出过程进行描述。

（1）双目视觉图像采集

以双目视觉技术为基础的深度图像计算需要获取具有已知固定参数的两张不同方位的目标区域图像，本发明的一个实施例中，使用两颗CMOS图像采集芯片进行图像采集，使用的CMOS图像采集芯片包含多个可配置寄存器，可以通过对应的参数配置接口例如SCCB或IIC等在其工作过程中对这些寄存器进行配置，使CMOS图像采集芯片工作在特定的采集模式下，例如以下模式：采集图像分辨率为VGA，输出图像帧速率为30张/秒，图像编码格式为RGB565，曝光值和闪光值为默认。配置过程由FPGA深度图像处理器15的CMOS采集模式配置模块162完成，CMOS采集模式配置模块162从第一寄存器152中读取需要配置的CMOS图像采集芯片采集模式，以CMOS图像采集芯片配置接口的通信协议对应的电信号将模式配置内容发送至CMOS图像采集芯片，CMOS图像采集芯片在接受到配置信号后即控制内部ISP（图像信号处理器）输出所需求模式的数字图像信号。两颗CMOS图像采集芯片输出的左右视觉数字图像电信号为标准图像数据流格式，CMOS图像采集模块161对两颗CMOS图像采集芯片输出的图像数据流信号提取出对应的图像中每一像素，按照提取的图像和像素的顺序和像素值，通过与其连接的外部存储控制器164按顺序写入DDR外部存储器16的两部分连续地址对应的存储空间当中，即完成双目视觉图像采集。

需要说明的是，上述实施例中所采用的CMOS图像采集芯片可以泛指一类可配置输出模式的图像采集设备，包括但不限于CCD图像采集芯片、线阵相机或是其它一系列视觉传感器。

（2）双目视觉图像校正与拼接

在本实施例中，由双目相机采集的初始左右视觉图像由于左视CMOS图像采集芯片172和右视CMOS图像采集芯片182的安装位置以及左相机光学镜头171和右相机光学镜头181的特性参数原因，校正前的左右图像采集相机的光心并不是平行的，两个光心的连线叫基线(主镜头中心的连线)，光心不平行的两份图像会对后续的深度计算带来很大的干扰，同时两张分立的左右视觉图像给后续调用带来了更高复杂性，故使用图像校正和图像拼接模块163对采集的左右双目图像进行标定和校正，最终使左视CMOS图像采集芯片172和右视CMOS图像采集芯片182的采集的原始图像的光轴完全平行，且像点在左右图像上的高度一致。校正所使用的方式为：根据安装左相机光学镜头171和右相机光学镜头181的镜头参数以及相应的标定方法得到图像校正的内参数以及外参数，并经计算求得左右视觉图像的径向畸变和切向畸变参数，之后由图像校正与图像拼接模块163通过外部存储控制器164访问图像采集步骤中写入DDR外部存储器16的两帧原始图像地址读出原始图像，并根据上述参数使用投影法则对左右图像进行重新投影完成图像校正，图像校正与图像拼接模块163将校正后的图像按照顺序拼接成一帧完整的带有左右视觉图像的数据信号，再透过外部存储控制器164将拼接图像写入DDR外部存储器16的独立于左视觉和右视觉初始图像存储地址的存储空间中。

（3）初始代价计算

本实施例中，使用灰度差绝对值和梯度差绝对值方式对左右视觉图像计算立体匹配代价，立体匹配主要是通过找出每对图像间的对应关系，根据三角测量原理，得到视差图，匹配即是找到左右视图中对应位置相同的像素，由于图像已经过图像校正与图像拼接模块163的处理，与左相机视图中某个像素点相对应的右相机视图中的像素点一定和左相机像素处于拼接图像的同一行中，对于左相机视图的一个像素，只需计算与其同一行的拼接图像中右相机图像中的每个像素与当前像素的差别，这个差别的值即称为代价，代价越小相似度越高。初始代价计算模块165计算代价的方式为灰度差绝对值与梯度差绝对值的叠加以提高准确率。其具体流程为：初始代价计算模块165启动读取流程，通过外部存储控制器164从DDR外部存储器16中按顺序读取图像校正与图像拼接模块163写入的左视觉图像中的每一个像素，继续读取右视觉图像同一行所有像素并计算与左视觉图像像素的灰度差绝对值与梯度绝对值之和作为该像素的一连串代价值，之后将该像素的所有代价值写回DDR外部存储器16的独立区域。依次对左图像的每一个像素点执行上述操作，得到整个左视图像对应右视图的代价空间，完成初始代价计算。

（4）代价聚合与深度计算

在本实施例中，以可重构视觉计算框架完成计算深度图像过程中的代价聚合部分，图3是本发明中可重构代价聚合部分的结构示意图，图中包括SGM代价聚合数据控制器153、可重构聚合单元池154、聚合结果整合及深度计算与优化模块155和对应的传输数据及控制信号的可重构聚合单元池数据总线1531、可重构聚合单元池控制总线1532、与总线相连接的多个并行运行的可重构聚合单元池中的单个聚合单元1533。每个聚合单元的结构如图4所示，其中输入电信号包括复位输入、时钟输入、设备地址和像素地址输入以及输出的计算完成标志整合成可重构聚合单元池控制总线1532，输入电信号初始代价、视差值、像素灰度值、惩罚值1和惩罚值2初始以及输出的视差值、聚合代价电信号整合成可重构聚合单元池数据总线1531。SGM代价聚合数据控制器1533包括：聚合单元数据流控制与状态机模块15331、聚合单元数据计算与存储控制模块15332、聚合单元SGM计算数据大小比较器15333和聚合单元片内中间数据存储RAM15334。

代价聚合计算过程中，由SGM代价聚合数据控制器153根据第一寄存器152中存储的分辨率参数配置信息并根据SGM代价聚合算法中的从上至下、从左至右、从右至左、从下至上四个方向的聚合条件，通过外部存储控制器164读取初始代价空间中对应的图像中的第一行、第一列、最大列和最大行的按顺序的像素点数据信息（包含像素点代价，像素点灰度值，像素点地址，对应视差值等）通过可重构聚合单元池数据总线1531进行广播传输，并同时在每个像素点传输过程中发出对应的聚合单元地址电信号，如此只有对应的符合该地址信号的聚合单元才会被激活并接受数据进行运算，由于SGM运算过程要求同一方向上的代价聚合运算过程中，后一像素需要使用前一像素聚合完结果，但处于同一行或列的像素聚合过程期间互不影响，可以使用多个聚合单元进行并行计算以提升聚合速度，并且不同聚合方向的聚合过程之间也可并行实现，由SGM代价聚合数据控制器按照相应的顺序将初始代价空间中的每个像素点数据信息分发至每一个聚合单元中实现，并在单个聚合单元输出完成信号后自动发送下一个像素点数据进行计算，提高计算单元利用率，由此也可实现由配置信息动态改变输出深度图参数，达到可重构视觉计算的目的。

在一些实施例中，可重构聚合单元池中的单个聚合单元1533由可重构聚合单元池数据总线1531接收到当前像素点的初始代价信息以及对应视差值、像素灰度值、惩罚项等参数后，再由聚合单元数据流控制与状态机模块15331获取可重构聚合单元池控制总线1532传输进入的像素地址和单元地址信号，当识别到控制总线上传输的计算单元地址与本单元地址相符时，即激活状态机进入代价聚合计算模式，并控制聚合单元数据计算与存储控制模块15332进行代价聚合运算，对该像素的每一个视差值下对应代价按照半全局匹配（SGM）算法中的计算公式进行重新计算，其中计算过程中得到的该像素的相关中间数据写入聚合单元片内中间数据存储RAM15334当中，当聚合计算完成后得到一系列候选新代价值，根据半全局匹配（SGM）算法使用聚合单元SGM计算数据大小比较器15333取得候选新代价值中的最小值输出，作为本像素在该视差下的新代价值。

由聚合结果整合及深度计算与优化模块155接收可重构聚合单元池数据总线1531上可重构聚合单元池中的单个聚合单元1533的聚合完成信号并读取输出的每个像素新代价值，进行整合后获取到整个视觉图像聚合完成后的新代价空间，并根据赢家通吃原则找到每个像素点一连串代价值中最小代价对应的视差值作为该像素视差，由该视差值根据已知的左视CMOS图像采集芯片172和右视CMOS图像采集芯片182间距以三角形法则计算得出该像素到多输出参数可动态配置深度相机10之间的距离，对代价空间中的每个像素依次实施上述操作，即可计算出图像中的每个像素点与多输出参数可动态配置深度相机10之间的距离，得到完整的深度图像。之后，聚合结果整合及深度计算与优化模块155继续使用包括滤波算法、去噪算法、视差填充以及剔除错误匹配等一系列优化措施将得到的深度图像进一步优化后以电信号形式输送到与其连接的图像编码与整合模块157。

（5）深度图像编码与输出

在本实施例中，由SGM代价聚合数据控制器153、可重构聚合单元池154和聚合结果整合及深度计算与优化模块155完成深度图像计算后，输出至与其连接的图像编码与整合模块157，图像编码与整合模块157对输入的深度图像中每个像素点的深度数据进行编码，转换为标准的图像格式。图像编码格式配置信息保存在第二寄存器156中，当聚合结果整合及深度计算与优化模块155输出计算完成的图像深度信息通过电信号传输至图像编码与整合模块157时，图像编码与整合模块157按照线性计算关系或其它对应公式将每个像素点深度值转换成对应编码格式像素点数值，编码格式可以是RGB，GRAY，YUV等，同时如果配置第二寄存器156中有要求叠加原始图像输出，则图像编码与整合模块157通过外部存储控制器164访问DDR外部存储器16读取校正后的左视图像并叠加到深度图像上进行输出。

图像输出模块159输出参数由第三寄存器158确定，当接收到图像编码与整合模块157输出的编码好的图像电信号后，根据第三寄存器158中的输出格式配置数据，对输入的图像像素信号做进一步编码以及添加相应的行场中断信号，以匹配相应的输出格式，得到所需要输出接口的图像数据流信号后输出。输出接口类型可以选择HDMI、USB、DVI等主流接口。

由图像输出模块159进一步编码后输出的图像数据流传送至连接的输出输出接口选择模块160当中，该输出接口选择模块160根据第三寄存器158中的配置信息，将输出图像数据流传送至一个或多个输出接口中，至此深度图像处理器完成深度图像的计算和输出任务。

为达到本发明多输出参数可动态配置深度相机中的参数动态配置要求，在实施例中，由外部配置接口11输入的相关通信协议的寄存器配置电信号可通过动态配置数据分配器151在深度相机设备工作过程中对第一寄存器152、第二寄存器156、第三寄存器158中所存储的深度相机工作参数进行动态配置，配置完成后深度相机可立即工作在最新配置的模式之下。

本实施例提出的多输出参数可动态配置深度相机由于部件少，设备核心部分集成度高，可重构视觉计算框架使得资源使用效率提高，且拥有动态配置输出参数的功能，可以在不同场景下胜任多数深度图像采集工作，且成本低，能耗小。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种多输出参数可动态配置深度相机，其特征在于，所述深度相机包括FPGA深度图像处理器(15)、外部配置接口(11)、DDR外部存储器(16)、左视图像采集相机(17)和右视图像采集相机(18)，其中，所述左视图像采集相机(17)包括左相机光学镜头(171)和左视CMOS图像采集芯片(172)，所述右视图像采集相机(18)包括右相机光学镜头(181)和右视CMOS图像采集芯片(182)；目标深度采集区域的图像经过左相机视觉采集光路和右相机视觉采集光路分别由左视图像采集相机(17)的左相机光学镜头(171)聚焦到左视图像采集相机(17)的左视CMOS图像采集芯片(172)和由右视图像采集相机(18)的右相机光学镜头(181)聚焦到右视图像采集相机(18)的右视CMOS图像采集芯片(182)上得到目标区域的左右双目视图，该左右双目视图由FPGA深度图像处理器(15)进行处理得到目标区域深度图像，目标区域深度图像由多个可配置输出的第一图像输出接口(12)、第二图像输出接口(13)以及第三图像输出接口(14)进行输出；

所述FPGA深度图像处理器(15)包括CMOS采集模式配置模块(162)，依据第一寄存器(152)分辨率配置两颗CMOS图像采集芯片的参数使其输出预期格式图像；CMOS图像采集模块(161)用于接收CMOS图像采集芯片输出的图像并编码；图像校正和拼接模块(163)将两CMOS采集图像经基线校正后拼接为一幅图像；初始代价计算模块(165)对经校正的双目图像执行第一次代价计算；外部存储控制器(164)与需要进行数据存取的模块相连，并将交互数据统一后产生对应的控制命令，向DDR外部存储器(16)中写入数据或从其中读取数据；SGM代价聚合数据控制器(153)，用于提取初始代价空间数据并按照第一寄存器(152)的分辨率配置进行代价聚合时的初始代价空间数据分配；可重构聚合单元池(154)，内部包括多个并行代价聚合单元，其依据送入数据进行并行SGM算法的代价聚合并计算得到最小代价值；聚合结果整合及深度计算与优化模块(155)，对可重构聚合单元池(154)输出结果进行整合后使用三角形法计算深度值后再实施优化；图像编码与整合模块(157)，按照第二寄存器(156)配置进行不同类型的深度图像编码及图像叠加，其中，不同类型的深度图像编码包括RGB、GRAY、YCbCr或YUV，对图像叠加的配置包括配置为与DDR外部存储器(16)中读取的CMOS图像采集芯片采集的初始图像进行叠加；图像输出模块(159)，对深度图像进行转换和输出；输出接口选择模块(160)，依据第三寄存器(158)配置以不同图像输出接口方式进行编码并将数据送至对应图像输出接口；

所述SGM代价聚合数据控制器(153)通过外部存储控制器(164)从DDR外部存储器(16)当中读取初始代价空间数据，并按照第一寄存器(152)的分辨率配置数据，将初始代价空间数据依次送入可重构聚合单元池(154)中的并行计算的每个聚合单元中，在每个聚合单元中使用半全局匹配方式进行每个像素并行的代价聚合运算，在每个聚合单元内得到最小代价值，由后续连接的聚合结果整合及深度计算与优化模块(155)使用三角形法获得各个像素到目标位置的相对距离值，再经滤波、降噪和剔除错误匹配、连通域检查优化操作后输出最终深度图像。

2.根据权利要求1所述的一种多输出参数可动态配置深度相机，其特征在于，所述图像编码与整合模块(157)读取第二寄存器(156)配置数据，根据配置数据中定义的输出图像数据格式对聚合结果整合及深度计算与优化模块(155)输出的深度值进行编码，且可配置为与DDR外部存储器(16)中读取的CMOS图像采集芯片采集的初始图像进行叠加后输出，输出的深度图像由后续图像输出模块(159)按照第三寄存器(158)中配置的图像输出接口格式进行对应格式转换后送至输出接口选择模块(160)并传送至对应图像接口进行输出。

3.根据权利要求1所述的一种多输出参数可动态配置深度相机，其特征在于，所述CMOS采集模式配置模块(162)读取第一寄存器(152)分辨率配置数据，按照事先指定的通信协议对两颗CMOS图像采集芯片进行配置，使其输出预期的初始图像；CMOS图像采集模块(161)在CMOS图像采集芯片配置完成后接受其所传输的不同分辨率的初始RGB图像并输出至外部存储控制器(164)，外部存储控制器(164)对传输来的两帧初始图像分别存储到DDR外部存储器(16)的第一和第二区域，与外部存储控制器(164)连接的图像校正和拼接模块(163)从存储的两帧图像的第一和第二区域读取出两幅图像后，按照深度相机的镜头参数和安装位置信息对两帧图像进行基线校正，校正完成后按照左右顺序将两幅图像拼接为一幅图像并写入至DDR外部存储器(16)的第三区域作为初始代价计算数据，后续连接的初始代价计算模块(165)通过外部存储控制器(164)从第三区域读取双目视觉拼接图像后使用灰度差绝对值和梯度差绝对值代价计算方式计算初始代价值，该初始代价值反映像素点的灰度变化和梯度变化，对左视觉图像中每一个像素求其与右视觉图像中同一基线位置上每个像素的灰度和梯度差绝对值，最终得到的初始代价空间数据并通过外部存储控制器(164)写入到DDR外部存储器(16)的第四区域。

4.根据权利要求1所述的一种多输出参数可动态配置深度相机，其特征在于，所述SGM代价聚合数据控制器(153)、可重构聚合单元池(154)、聚合结果整合及深度计算与优化模块(155)组合成可重构视觉计算框架，由SGM代价聚合数据控制器(153)将初始代价空间数据和聚合单元选通控制信号依据第一寄存器(152)配置通过数据总线和控制总线传输至可重构聚合单元池(154)；可重构聚合单元池(154)中连接在数据总线和控制总线上的多个聚合单元接收初始代价空间数据，使用SGM算法方式进行并行的代价聚合，在每个聚合单元内得到最小代价值，并在完成运算后通过数据总线和控制总线传输最小代价值数据和完成信号至聚合结果整合及深度计算与优化模块(155)，聚合结果整合及深度计算与优化模块(155)对输出最小代价值整合后使用三角形法计算得到深度值后再实施优化得到深度图像。

5.根据权利要求1所述的一种多输出参数可动态配置深度相机，其特征在于，所述FPGA深度图像处理器(15)包括动态配置数据分配器151连接至外部配置接口(11)，由外部配置接口(11)通过通信协议对FPGA深度图像处理器(15)中的第一寄存器(152)、第二寄存器(156)和第三寄存器(158)中的数值进行动态配置，其中第一寄存器(152)中的数值用于控制输出的深度图像的分辨率，第二寄存器(156)中的数值用于控制输出深度图像的编码格式和图像叠加，第三寄存器(158)中的数值用于控制输出深度图像的接口类型。

6.根据权利要求1所述的一种多输出参数可动态配置深度相机，其特征在于，所述第一寄存器、第二寄存器、第三寄存器均可动态配置，即实现输出深度图像的参数可动态配置。

Images