CN103400351B - 基于kinect深度图的低光照图像增强方法及系统 - Google Patents

Abstract

本发明公开了一种基于KINECT深度图的低光照图像增强方法及系统，包括步骤：步骤1，通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行前处理；步骤2，基于步骤1所获深度图中像素点及其邻域像素点的深度值构建深度信息高斯核，将深度信息高斯核作为核因子引入基于高斯核的去噪算法并对纹理图进行去噪；步骤3，根据步骤1所获深度图的深度信息获取深度信息的归一化值，将深度信息的归一化值引入对比度拉伸算法并对去噪后的纹理图进行对比度拉伸。本发明同时利用了图像的颜色信息和深度信息来实现低光照图像增强，进一步增强了低光照图像的轮廓清晰度、层次感和视觉效果。

Description

基于KINECT深度图的低光照图像增强方法及系统

技术领域

本发明涉及一种低光照监控图像增强方法，尤其是涉及一种基于KINECT深度图的低光照图像增强方法及系统。

背景技术

目前，视频监控系统被广泛应用于城市安全系统中。白天，通过摄像头拍摄的图像具有较好质量；然而，在夜间或者低光照条件下，由于CCD传感器的固件特性，导致拍摄的图像不但噪声较多，而且对比度的动态范围较窄。如果安全系统要求在低光照条件下工作的话，增强低光照监控图像的视觉效果就至关重要了。

低光照监控图像增强的关键技术包括去噪和对比度拉伸，这对于具有较低动态范围和较高噪声的图像而言，无疑是一个巨大的挑战。2007年，Henrik^[1]等利用基于各向异性的结构张量滤波实现了图像去噪，同时，利用受限的直方图均衡化实现了图像对比度增强。2010年，QingXu^[2]等人首先通过时域-空域的非局部均值算法对图像去噪，然后通过色调映射算法进行对比度拉伸，最后在YCbCr空间进行滤波；他们还根据运动信息对权值进行判决，提高了3D非局部均值的时域滤波效果。2011年，XuanDong^[3]等人通过将低光照图像取反，然后利用去雾算法将取反后的低光照图像进行增强。尽管上述方法获得了一定成效，但仍存在以下两个问题：（1）上述方法在进行低光照图像增强时，仅利用了图像中诸如颜色、亮度等2D信息，未利用场景的深度信息，导致增强后的图像缺乏层次感；（2）增强后前景目标对象的边缘轮廓仍然不够清晰。

文中涉及如下参考文献：

[1]H.Malm,M.Oskarssonetal,“Adaptiveenhancementandnoisereductioninverylowlight-levelvideo,”inProc.11thInternationalConferenceonComputerVision,pp.1–8,2007.

[2]QingXu,HailinJiang,RiccardoScopigno,andMateuSbert,“Anewapproachforverydarkvideodenoisingandenhancement,”inProc.17thInternationalConferenceonImageProcessing,pp.1185-1188,2010

[3]XuanDong,GuanWang,Yi(Amy)Pangetal,“Fastefficientalgorithmforenhancementoflowlightingvideo,”inProc.IEEEInternationalConferenceonMultimediaandExpo,pp.1-6,2011.

发明内容

针对现有技术存在的不足，本发明提出了一种同时利用了图像的颜色信息和深度信息的低光照图像增强方法，该方法可进一步增强低光照图像的轮廓清晰度、层次感和视觉效果。

为解决上述技术问题，本发明采用如下的技术方案：

一、基于KINECT深度图的低光照图像增强方法，包括步骤：

步骤1，通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行前处理；

步骤2，基于步骤1所获深度图中像素点及其邻域像素点的深度值构建深度信息高斯核，将深度信息高斯核作为核因子引入基于高斯核的去噪算法并对纹理图进行去噪；

步骤3，根据步骤1所获深度图的深度信息获取深度信息的归一化值，将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行对比度拉伸，所述的深度信息的归一化值包括深度值的归一化值和深度值梯度的模的归一化值。

步骤2中所述的深度信息高斯核其中，y表示步骤1所获深度图中的像素点；D(y)表示像素点y的深度值；x为步骤1所获深度图中像素点y的邻域像素点；D(x)是像素点x的深度值；h_d是高斯核的衰变因子，根据纹理图中噪声强度取值；||·||₂表示二范数。

步骤3中所述的将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行对比度拉伸包括对去噪后的纹理图进行全局对比度拉伸和局部对比度拉伸。

所述的将深度信息的归一化值引入对比度拉伸算法并对去噪后的纹理图进行全局对比度拉伸进一步包括子步骤：

3-1a根据步骤1所获深度图的深度值获取深度值的归一化值Norm(D(y))，并获取自适应参数b(y)＝λ·e^-Norm(D(y))，其中，λ为常数，依据增强程度取值；

3-2a将自适应参数b(y)引入全局对比度拉伸算法对去噪后的纹理图进行全局对比度拉伸。

所述的将深度信息的归一化值引入对比度拉伸算法并对去噪后的纹理图进行局部对比度拉伸具体为：

根据步骤1所获深度图的深度值梯度的模的归一化值大小，将深度值的归一化值或深度值梯度的模的归一化值引入局部对比度拉伸算法对去噪后的纹理图进行局部对比度拉伸。

二、基于KINECT深度图的低光照图像增强系统，包括：

前处理模块，用来通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行前处理；

去噪模块，用来基于深度图中像素点及其邻域像素点的深度值构建深度信息高斯核，将深度信息高斯核作为核因子引入基于高斯核的去噪算法并对纹理图进行去噪；

对比度拉伸模块，用来根据深度图的深度信息获取深度信息的归一化值，将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行对比度拉伸，所述的深度信息的归一化值包括深度值的归一化值和深度值梯度的模的归一化值。

上述深度信息高斯核其中，y表示深度图中的像素点；D(y)表示像素点y的深度值；x为深度图中像素点y的邻域像素点；D(x)是像素点x的深度值；h_d是高斯核的衰变因子，根据纹理图中噪声强度取值；||·||₂表示二范数。

上述对比度拉伸模块进一步包括全局对比度拉伸模块和局部对比度拉伸模块，其中：

全局对比度拉伸模块进一步包括子模块：

自适应参数获取模块，用来根据深度图的深度值获取深度值的归一化值Norm(D(y))，并获取自适应参数b(y)＝λ·e^-Norm(D(y))，其中，λ为常数，依据增强程度取值；

拉伸模块，用来将自适应参数b(y)引入全局对比度拉伸算法对去噪后的纹理图进行全局对比度拉伸；

局部对比度拉伸模块，用来根据深度图的深度值梯度的模的归一化值大小，将深度值的归一化值或深度值梯度的模的归一化值引入局部对比度拉伸算法对去噪后的纹理图进行局部对比度拉伸。

与现有技术相比，本发明具有以下优点：

本发明利用了场景的深度信息对低光照图像进行增强，增强后的图像轮廓更清晰，具有更好的层次感和视觉效果。

附图说明

图1为本发明方法流程图；

图2为KINECT采集的低光照监控图像的深度图和纹理图，其中，图（a）为深度图，图（b）为纹理图；

图3为KINECT采集的另一低光照监控图像的深度图和纹理图，其中，图（a）为深度图，图（b）为纹理图；

图4为采用本发明和现有技术分别对图2进行增强的增强效果对比图，其中，图（a）为本发明增强效果，图（b）为现有技术增强效果；

图5为采用本发明和现有技术分别对图3进行增强的增强效果对比图，其中，图（a）为本发明增强效果，图（b）为现有技术增强效果。

具体实施方式

下面将对本发明的具体实施进行详细说明。

本发明基于KINECT深度图的低光照监控图像增强方法，包括步骤：

步骤1，通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行处理获得平滑的深度图。

该步骤进一步包括子步骤：

步骤1.1，通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行视角配准。本具体实施中，视角配准可采用PrimeSense中的OpenNI工具箱实现。

步骤1.2：对视角配准后的深度图依次进行空洞填充、中值滤波，得到平滑的深度图。本具体实施中，空洞填充利用in-painting算法实现，中值滤波采用中值滤波算法实现。

步骤2，基于深度图的深度信息，采用非局部均值去噪法对纹理图进行去噪。

本步骤中，所述的深度图为步骤1中经处理后获得的平滑的深度图；所述的纹理图为通过KINECT采集低光照监控图像的纹理图。

该步骤进一步包括子步骤：

步骤2.1，基于深度图的深度信息构建高斯核：

$e^{-\frac{{\left|\right|D\left(y\right)-D\left(x\right)\left|\right|}_2^2}{h_d^2}}$ 式（1）

式（1）中：

y表示深度图中的像素点；

D(y)表示深度图中像素点y的深度值；

x为像素点y的邻域像素点；

D(x)是像素点x的深度值；

h_d是高斯核的衰变因子，根据纹理图中噪声强度取值，若噪声较大，则取值较大；

||·||₂表示二范数。

基于深度图中各像素及其邻域像素的深度值，采用公式（1）分别构建深度图中各像素对应的深度信息高斯核。

步骤2.2，将深度信息高斯核作为核因子加入非局部均值去噪算法，并对纹理图进行去噪，具体去噪基于式（2）实现：

$I^{\′}\left(y\right)=\underset{x\∈S_y}{\mathrm{\Σ}}\left(\frac{1}{Z\left(y\right)}{e}^{-\frac{{\left|\right|v\left(P_y\right)-v\left(P_x\right)\left|\right|}_{2,\mathrm{\α}}^2}{h^2}}{e}^{-\frac{{\left|\right|D\left(y\right)-D\left(x\right)\left|\right|}_2^2}{h_d^2}}I\left(x\right)\right)$ 式（2）

式（2）中：

$Z\left(y\right)=\underset{x\∈S_y}{\mathrm{\Σ}}\left(e^{-\frac{{\left|\right|v\left(P_y\right)-v\left(P_x\right)\left|\right|}_{2,\mathrm{\α}}^2}{h^2}}{e}^{-\frac{{\left|\right|D\left(y\right)-D\left(x\right)\left|\right|}_2^2}{h_d^2}}\right),$ 用来实现归一化；

y为纹理图中当前待去噪像素点，P_y表示纹理图中以当前待去噪像素点y为中心的图像块，I'(y)为纹理图中当前待去噪像素点y去噪后的像素值；

x为纹理图中当前待去噪像素点y的邻域像素点，P_x表示纹理图中以邻域像素点x为中心的图像块，I(x)为纹理图中邻域像素点x的像素值；

S_y表示纹理图中以当前待去噪像素点y为中心的邻域；

h为纹理图中像素的衰变因子，α为高斯核的标准差，h和α均根据纹理图中噪声强度来取值，噪声越大，h和α取值越大；

||·||_2,α表示高斯加权欧式距离；

v(P_x)和v(P_y)分别表示图像块P_x和P_y中各像素点的像素值构成的列向量。

本具体实施中，深度图和纹理图中位置相同的像素点均采用相同的字母表示。

步骤3，根据深度图的深度信息获取深度信息的归一化值，将深度信息的归一化值引入对比度拉伸算法并对去噪后的纹理图进行对比度拉伸。

本发明中所述的深度信息的归一化值包括深度值的归一化值和深度值梯度的模的归一化值。

本具体实施中，对纹理图进行对比度拉伸包括对纹理图进行全局对比度拉伸和局部对比度拉伸。本步骤中，所述的深度图为步骤1中经处理后获得的平滑的深度图。

本步骤进一步包括子步骤：

步骤3.1，基于深度图的深度信息对去噪后的纹理图进行全局对比度拉伸，在拉伸图像动态范围的同时可增强图像的层次感。

首先，根据深度图的深度值，获取规一化深度值Norm(D(y))：

$\mathrm{Norm}\left(D\left(y\right)\right)=\frac{D\left(y\right)-D_{\min }}{D_{\max }-D_{\min }}$ 式（3）

式（3）中：

y为去噪后的纹理图中的当前像素点，D(y)是纹理图中当前像素点y在深度图中对应的深度值；

D_min和D_max分别为深度图中所有像素点深度值的最小值和最大值。

然后，根据归一化深度值Norm(D(y))获取自适应参数b(y)：

b(y)＝λ·e^-Norm(D(y))式（4）

式（4）中，λ为常数，依据增强程度取值，想获得较强的增强程度，可取较小值；反之亦然。

最后，基于自适应参数b(y)对去噪后的纹理图进行全局对比度拉伸，本具体实施中采用色调映射增强算法对纹理图进行全局对比度拉伸，具体如下：

$I_{\mathrm{en}\_g}\left(y\right)=\log \left(\frac{I\left(y\right)+1}{I_{\max }+1}\right)\·\frac{\log 10}{\log (2+\left({\left(\frac{I\left(y\right)}{I_{\max }}\right)}^{\frac{\log b}{\log 0.5}}\right)\·8)}\·I_{\max }$ 式（5）

式（5）中：

I(y)表示全局对比度拉伸前当前像素点y在R通道、G通道或B通道中的像素值；

I_max是所有像素点在R通道、G通道或B通道中像素值的最大值；

I_{en_g}(y)是全局对比度拉伸后当前像素点y对应的像素值。

本发明在全局对比度拉伸中引入自适应参数，从而可根据深度图信息对全局对比度拉伸进行自适应调整。

本步骤对去噪后的纹理图进行全局对比度拉伸，具体为分别对纹理图的R通道、G通道和B通道执行式（5）。

步骤3.2，基于深度图的深度信息对去噪后的纹理图进行局部对比度拉伸，以增强图像的局部层次感。

由于纹理图像前景和背景的边界处有较强的深度变化，所以对图像进行局部对比度拉伸以增强前背景的层次差异，本具体实施利用深度图的深度信息梯度值实现纹理图的局部对比度拉伸，具体如下：

$I_{\mathrm{en}\_l}\left(y\right)=I_{\mathrm{en}\_g}\left(y\right)+\mathrm{Norm}\left(\mathrm{\α}\left(y\right)\right)\·(I_{\mathrm{en}\_g}\left(y\right)-{\stackrel{\‾}{I}}_{\mathrm{en}\_g}\left(y\right))$ 式（6）

式（6）中：

I_{en_g}(y)是全局对比度拉伸后当前像素点y对应的像素值；

I_{en_l}(x)是局部对比度拉伸后当前像素点y对应的像素值；

为当前像素点y的邻域像素点的像素平均值；

α(y)表示深度信息权值判别式：

$\mathrm{\α}\left(y\right)=\left\{\begin{array}{cc}\left|\right|\▿D\left(y\right)\left|\right|& \mathrm{if}\left|\right|\▿D\left(y\right)\left|\right|\≠0\\ D\left(y\right)& \mathrm{else}\end{array}\right.$ 式（7）

其中，||▽D(y)||表示像素点y在深度图中的深度值D(y)的梯度的模。

当α(y)＝||▽D(y)||时， $\mathrm{Norm}\left(\mathrm{\α}\left(y\right)\right)=\frac{\left|\right|\▿D\left(y\right)\left|\right|-{\left|\right|\▿D\left|\right|}_{\min }}{{\left|\right|\▿D\left|\right|}_{\max }-{\left|\right|\▿D\left|\right|}_{\min }},$ 其中，||▽D(y)||表示像素点y的深度值D(y)的梯度的模，||▽D||_min和||▽D||_max分别为深度图中所有像素点深度值的梯度的模的最小值和最大值。

下面将结合具体应用实例进一步说明本发明技术方案。

首先，通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行前处理；然后，以非局部均值去噪算法和色调映射增强算法为基础，加入深度图的深度信息，实现低光照图像增强。

本实施例中，将纹理图中像素的衰变因子h和高斯核的衰变因子h_d均设置为15，非局部均值算法的搜索范围和图像块大小分别为21x21和7x7，高斯核标准差α=0.15。图2和图3为采用KINECT采集低光照监控图像的深度图和纹理图，其中，图2（a）和图3（a）为深度图，图2（b）和图3（b）为纹理图。下面以图2～3为例，详细说明本发明方法步骤：

步骤1，采用PrimeSense中的OpenNI工具箱对图2和图3中的深度图进行视角配准，然后，对视角配准后的深度图进行空洞填充和滤波处理，具体为：利用in-painting算法对深度图进行空洞填充，采用中值滤波算法进行滤波得到平滑的深度图。

步骤2，基于步骤1获得的深度图信息，通过非局部均值去噪算法，实现纹理图的去噪。

步骤2.1，对于纹理图中的待去噪像素点y，在深度图中以待去噪像素点y为中心的21x21的搜索范围内，计算中心像素点y与搜索范围内的各邻域像素点x的欧氏距离，并生成高斯核其中：D(y)表示深度图中待去噪像素点y的深度值；D(x)是邻域像素点x的深度值；h_d是高斯核的衰变因子，本实施例中，h_d取15；||·||₂表示二范数。

步骤2.2，将深度图的高斯核作为核因子加入非局部均值去噪算法获得上述公式（2） $I^{\′}\left(y\right)=\underset{x\∈S_y}{\mathrm{\Σ}}\left(\frac{1}{Z\left(y\right)}{e}^{-\frac{{\left|\right|v\left(P_y\right)-v\left(P_x\right)\left|\right|}_{2,\mathrm{\α}}^2}{h^2}}{e}^{-\frac{{\left|\right|D\left(y\right)-D\left(x\right)\left|\right|}_2^2}{h_d^2}}I\left(x\right)\right),$ 采用公式（2）对纹理图进行去噪，其中： $Z\left(y\right)=\underset{x\∈S_y}{\mathrm{\Σ}}\left(e^{-\frac{{\left|\right|v\left(P_y\right)-v\left(P_x\right)\left|\right|}_{2,\mathrm{\α}}^2}{h^2}}{e}^{-\frac{{\left|\right|D\left(y\right)-D\left(x\right)\left|\right|}_2^2}{h_d^2}}\right)$ 是归一化过程；P_y表示纹理图中以当前待去噪像素点y为中心的图像块，该图像块大小为7x7；I'(y)为纹理图中当前待去噪像素点y去噪后的像素值；P_x表示纹理图中以邻域像素点x为中心的图像块，该图像块大小为7x7；I(x)为纹理图中邻域像素点x的像素值；||·||_2,α表示高斯加权欧式距离；v(P_x)和v(P_y)分别表示图像块P_x和P_y中各像素点的像素值构成的列向量；S_y表示纹理图中以当前待去噪像素点y为中心的邻域，该邻域大小为非局部均值算法搜索范围，即为21x21；h为纹理图中像素的衰变因子，α为高斯核的标准差，本实施例中，h设为15，α设为0.15。

步骤3，利用深度图的深度信息对去噪后的纹理图进行对比度拉伸。

本发明中的对比度拉伸包括全局对比度拉伸和局部对比度拉伸。

步骤3.1，利用深度图的深度信息对去噪后的纹理图进行全局对比度拉伸。

首先，基于深度图的深度信息计算归一化的深度值Norm(D(y))；

然后，基于归一化的深度值Norm(D(y))获取自适应参数b(y)＝λ·e^-Norm(D(y))，其中，λ为常数，本实施例中，λ设为0.6。

最后，基于自适应参数b(y)采用上述公式（5）对去噪后的纹理图进行全局对比度拉伸。

步骤3.2，基于深度图的深度信息对去噪后的纹理图的局部对比度拉伸。

由于图像前景和背景的边界处有较强的深度变化，所以对图像进行局部对比度拉伸以增强前背景的层次差异。

本具体实施基于深度图的深度信息，采用公式（6）对去噪后的纹理图进行局部对比度拉伸。

本实施例对图2和图3进行增强，增强效果分别见图4（a）和图5（a）。同时，本具体实施中还采用传统的非局部均值去噪算法和色调映射增强算法对图2和图3进行去噪和对比度拉伸，增强效果见图4（b）和图5（b）。从图4～5中看出：本发明所得增强图像轮廓更清晰，且具有更好的层次感和视觉效果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.基于KINECT深度图的低光照图像增强方法，其特征是，包括步骤：

步骤1，通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行视角配准、空洞填充、中值滤波；

步骤2，基于步骤1所获深度图中像素点及其邻域像素点的深度值构建深度信息高斯核将深度信息高斯核作为核因子引入基于高斯核的去噪算法并对纹理图进行去噪，其中，y表示步骤1所获深度图中的像素点；D(y)表示像素点y的深度值；x为步骤1所获深度图中像素点y的邻域像素点；D(x)是像素点x的深度值；h_d是高斯核的衰变因子，根据纹理图中噪声强度取值；||·||₂表示二范数；

步骤3，根据步骤1所获深度图的深度信息获取深度信息的归一化值，将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行对比度拉伸，所述的深度信息的归一化值包括深度值的归一化值和深度值梯度的模的归一化值；所述的将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行对比度拉伸包括对去噪后的纹理图进行全局对比度拉伸和局部对比度拉伸，其中：

将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行全局对比度拉伸进一步包括子步骤：

3-1a根据步骤1所获深度图的深度值获取深度值的归一化值Norm(D(y))，并获取自适应参数b(y)＝λ·e^-Norm(D(y))，其中，λ为常数，依据增强程度取值；

3-2a将自适应参数b(y)引入全局对比度拉伸算法对去噪后的纹理图进行全局对比度拉伸；

将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行局部对比度拉伸具体为：

根据步骤1所获深度图的深度值梯度的模的归一化值大小，将深度值的归一化值或深度值梯度的模的归一化值引入局部对比度拉伸算法对去噪后的纹理图进行局部对比度拉伸。

2.基于KINECT深度图的低光照图像增强系统，其特征是，包括：

前处理模块，用来通过KINECT采集低光照监控图像的深度图和纹理图，并对深度图进行视角配准、空洞填充、中值滤波；

去噪模块，用来基于深度图中像素点及其邻域像素点的深度值构建深度信息高斯核将深度信息高斯核作为核因子引入基于高斯核的去噪算法并对纹理图进行去噪，其中，y表示步骤1所获深度图中的像素点；D(y)表示像素点y的深度值；x为步骤1所获深度图中像素点y的邻域像素点；D(x)是像素点x的深度值；h_d是高斯核的衰变因子，根据纹理图中噪声强度取值；||·||₂表示二范数；

对比度拉伸模块，用来根据深度图的深度信息获取深度信息的归一化值，将深度信息的归一化值引入对比度拉伸算法对去噪后的纹理图进行对比度拉伸，所述的深度信息的归一化值包括深度值的归一化值和深度值梯度的模的归一化值；

对比度拉伸模块进一步包括全局对比度拉伸模块和局部对比度拉伸模块，其中，全局对比度拉伸模块进一步包括子模块：

自适应参数获取模块，用来根据深度图的深度值获取深度值的归一化值Norm(D(y))，并获取自适应参数b(y)＝λ·e^-Norm(D(y))，其中，λ为常数，依据增强程度取值；

拉伸模块，用来将自适应参数b(y)引入全局对比度拉伸算法对去噪后的纹理图进行全局对比度拉伸；

局部对比度拉伸模块，用来根据深度图的深度值梯度的模的归一化值大小，将深度值的归一化值或深度值梯度的模的归一化值引入局部对比度拉伸算法对去噪后的纹理图进行局部对比度拉伸。