CN102638659B

CN102638659B - 基于cmos-tdi模式的高分辨率成像系统及方法

Info

Publication number: CN102638659B
Application number: CN201210085014.9A
Authority: CN
Inventors: 石光明; 潘旋; 刘丹华; 董伟生; 高大化; 谢雪梅; 王晓甜
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2012-03-28
Filing date: 2012-03-28
Publication date: 2014-05-14
Anticipated expiration: 2032-03-28
Also published as: CN102638659A

Abstract

本发明公开一种基于CMOS-TDI模式的高分辨率成像系统及方法，主要解决现有技术中图像获取效率低和输出图像信噪比差的问题。其系统包括控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块。其方法包括：1.初始化操作；2.探测器推扫s个像素；3.产生二进制随机序列；4.探测器积分曝光；5.光生电荷像元内转移；6.掩膜区电荷行间转移；7.判断是否完成场景扫描；8.输出观测值图像；9.优化求解L1-范数；10.获得高分辨率图像。本发明具有电路结构简单、运算复杂度低、图像获取效率高和输出图像信噪比高的优点。

Description

基于CMOS-TDI模式的高分辨率成像系统及方法

技术领域

本发明属于图像处理技术领域，更进一步涉及高分辨率成像技术领域中的一种基于互补金属氧化物半导体-时间延迟积分CMOS-TDI(Complementary Metal OxideSemiconductor-Time Delay and Integration)模式的图像压缩编码实现方法，并建立高分辨率成像系统。本发明可以实现图像的高分辨率获取和重构。

背景技术

高分辨率成像在各种领域，如遥感监测，军事侦察，运输和安全监测，医疗诊断和模式识别等有重大需求。传统成像的空间像素分辨率取决于探测器的像元密度。但由于加工工艺和制造材料的限制，获得高分辨率探测器难度大、成本高，且容易带来散粒噪声使图像质量受到严重影响。因此，高分辨率成像的关键在于如何利用低密度探测器获得高分辨率图像，现有的高分辨率成像技术主要有以下两种。

第一种，基于压缩感知理论的高分辨率成像。例如，L.Jacques，P.Vandergheynst，A.Bibet，V.Majidzadeh，A.Schmid和Y.Leblebici在论文“CMOS compressed imaging byrandom convolution”Proc.Int.Conf.Acoust.，Speech Signal Process.，2009：1113-1116中提出利用移位寄存器产生的伪随机码对光电转换得到的模拟信号进行随机卷积计算，实现对模拟信号的压缩，最后通过压缩感知理论重构高分辨率图像。这种方法存在的不足是，在每一像素中需放置一个一位的存储单元，需要额外的工艺流程，并且需进行多次移位操作获取测量值，降低了图像获取效率。此外，R.F.Marcia，Z.T.Harmany和R.M.Willett在论文“Compressive coded aperture imaging”Proc.IST/SPIE[C]Elect.Imag.：Computat.Imag.VII，2009，vol.7246，no.1：72460G中提出在光学系统中利用编码孔径掩膜实现对图像信息的压缩编码，最后通过压缩感知理论恢复高分辨率图像。这种方法存在的不足是，任何掩膜图形都阻挡光，编码孔径掩膜的使用势必削弱图像的曝光量，降低了输出图像信噪比。

第二种，基于图像融合技术的高分辨成像。例如，V.P.Shah，N.H.Younan和R.L.King在论文“An efficient pan-sharpening method via a combined adaptive pca approach andcontourlets”IEEE Trans.on Geosci.Remote Sensing，vol.46，no.5，pp.1323-1335中提出基于Pan-sharpening算法的图像融合方法，是通过对一个高分辨率全色图像和一个低分辨率多光谱图像的融合来提高空间分辨率。然而，这种方法存在的不足是，需要一个额外的照相机获得高分辨率全色图像。由于一些因素的制约，如大小，重量，电池容量，内存空间和传输带宽，成像系统很难提供高分辨率的全色图像。

发明内容

本发明的目的在于克服上述已有技术的不足，根据压缩感知理论，利用行间转移面阵CMOS探测器的可编码功能并使其工作于TDI模式，设计随机曝光控制模块，提出了一种基于CMOS-TDI模式的压缩编码图像获取方式。并在此基础上，针对推扫式成像，建立了一种高分辨率成像系统，实现图像的高分辨获取和重构。

本发明的系统包括五个模块：控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块，各模块之间通过总线连接；其中，控制信号发生器模块，用于产生控制运动路线控制索道模块、曝光控制模块和面阵CMOS平板模块的使能信号，实现对系统的驱动；面阵CMOS平板模块，用于产生观测矩阵和场景图像的随机压缩编码图像，完成观测矩阵和低分辨率观测值图像的输出；运动路线控制索道模块，用于控制面阵CMOS平板模块中行间转移面阵CMOS探测器运动；随机曝光控制模块，用于控制行间转移面阵CMOS探测器中传输门开或关，实现对传输门开或关的随机控制；图像重构处理器模块，用于重构高分辨图像。

本发明方法的具体实施步骤如下：

(1)初始化操作

将行间转移面阵CMOS探测器对准待拍摄场景，设定行间转移面阵CMOS探测器输出观测值图像大小，设定每个观测值的时间延迟积分TDI级数，将探测器面阵按行划分为与观测值个数相等的探测器子块，每个探测器子块的大小与观测值TDI级数相同。

(2)探测器沿与场景平行的路线向前推扫s个像素。

(3)二进制随机数生成器生成二进制随机序列。

(4)探测器积分曝光

探测器像元感光区对探测器像元对准的n个场景像素信息积分曝光，将光信号转化为电信号，得到光生电荷。

(5)光生电荷像元内转移

在传输门控制电路的控制下，当步骤2生成的随机数为1时，传输门控制电路控制像元传输门打开，光生电荷转移到像元行间掩膜区；当步骤2生成的随机数为0时，传输门控制电路控制CMOS像元传输门关闭，像元掩膜区不收集光生电荷，完成像元感光区光生电荷的像元内转移。

(6)掩膜区电荷行间转移

面阵CMOS平板模块中的垂直扫描移位寄存器产生垂直控制脉冲，驱动每行像元掩模区内的光生电荷通过由行间掩模区形成的电荷转移通道垂直转移到下一行像元的掩膜区，当光生电荷转移到所属探测器子块内最后一行像元掩膜区时，掩膜区光生电荷停止行间转移等待输出。

(7)判断是否完成场景扫描

若探测器最后一行像元积分曝光次数小于曝光次数阈值K，表明尚未完成场景扫描，则执行步骤2，若探测器最后一行像元积分曝光次数等于曝光次数阈值K，表明完成场景扫描，则执行步骤8。

(8)输出观测值图像

8a)控制信号发生器模块控制探测器停止积分曝光；

8b)面阵探测器的垂直扫描移位寄存器产生垂直控制脉冲，垂直控制脉冲驱动电荷垂直转移，使电荷从掩膜区转移到水平扫描移位寄存器；

8c)水平扫描移位寄存器产生水平控制脉冲，水平控制脉冲驱动电荷串行输出到模数转换器；

8d)模数转换器将电信号转化为观测值数据后组成的观测值图像输出到图像重构处理器模块。

(9)优化求解L1-范数

9a)利用时域变换方法稀疏变换域；

9b)面阵CMOS平板模块中的矩阵乘法器生成观测矩阵；

9c)利用非线性优化算法求解L1-范数，生成高分辨率图像。

(10)获得高分辨率图像。

本发明与现有技术相比具有以下优点：

第一，由于本发明采用随机曝光控制模块，实现对传输门开或关的随机控制，克服了现有技术中控制电路设计复杂和电路运算复杂度高的缺点，使得本发明具有控制电路设计简单和电路运算复杂度低的优点。

第二，由于本发明将探测器感光区的光生电荷通过传输门控制器的随机控制，进行像元内转移，实现对场景信息的高速随机调制，克服了现有技术中场景高频率信息严重丢失的缺点，使得本发明保存了场景足够的高频率信息。

第三，由于本发明将行间转移面阵CMOS探测器掩膜区电荷行间转移，实现行间转移面阵CMOS探测器的TDI工作，克服了现有技术中探测器对场景积分曝光不足和观测值图像获取效率低的缺点，使得本发明具有输出图像信噪比高和观测值图像获取效率高的优点。

附图说明

图1为本发明系统的方框图；

图2为本发明方法的流程图；

图3为本发明仿真实验图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照附图1，本发明的系统包括五个模块：控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块，各模块之间通过总线连接。其中，控制信号发生器模块，用于产生控制运动路线控制索道模块、曝光控制模块和面阵CMOS平板模块的使能信号，实现对系统的驱动，控制信号发生器模块的一个输出端连接着运动路线控制索道模块的输入端，第二个输出端连接随机曝光控制模块的输入端，第三个输出端连接面阵CMOS平板模块的输入端；面阵CMOS平板模块，用于产生观测矩阵和场景图像的随机压缩编码图像，完成观测矩阵和低分辨率观测值图像的输出，面阵CMOS平板模块的输出端连接图像重构处理器模块的输入端；运动路线控制索道模块，用于控制面阵CMOS平板模块中行间转移面阵CMOS探测器运动，运动路线控制索道模块的输出端连接面阵CMOS平板模块的输入端；随机曝光控制模块，用于控制行间转移面阵CMOS探测器中传输门开或关，实现对传输门开或关的随机控制，随机曝光控制模块的输出端连接面阵CMOS平板模块的输入端；图像重构处理器模块，用于重构高分辨图像，图像重构处理器模块的输入端与面阵CMOS平板模块的输出端相连接。

本发明系统中的面阵CMOS平板模块包括通过信号传输线相连的行间转移面阵CMOS探测器、垂直扫描移位寄存器、水平扫描移位寄存器、模数转换器和矩阵乘法器。其中，行间转移面阵CMOS探测器中的感光区，用于获取场景信息，将光信号转换为电信号；行间转移面阵CMOS探测器中的传输门，用于实现电信号的像元内转移；行间转移面阵CMOS探测器中的掩膜区，用于实现电信号的行间转移；垂直扫描移位寄存器，用于产生垂直驱动脉冲，驱动电信号垂直转移；水平扫描移位寄存器，用于产生水平驱动脉冲，驱动电信号串行输出；模数转换器，用于将电信号转化为数字信号，完成数字信号的输出；矩阵乘法器，用于计算矩阵相乘，完成观测矩阵的输出。

本发明系统中的随机曝光控制模块包括通过信号传输线相连的二进值随机数生成器和传输门控制器。其中，二进制随机数生成器，用于产生二进制随机序列，输出与随机序列对应的脉冲信号序列；传输门控制器，用于控制行间转移面阵CMOS探测器中传输门开或关。

参照附图2，对本发明实现方法做进一步的描述。

步骤1.初始化操作

将行间转移面阵CMOS探测器对准待拍摄场景，设定行间转移面阵CMOS探测器输出观测值图像大小，设定每个观测值的时间延迟积分TDI级数，时间延迟积分TDI级数为2～6之间，将探测器面阵按行划分为与观测值个数相等的探测器子块，每个探测器子块的大小与观测值TDI级数相同。

步骤2.探测器推扫s个像素

探测器沿与场景平行的路线向前推扫s个像素，像素个数s的取值范围是1≤s≤N/M，其中N为场景图像的列数，M为观测值图像的列数。尽管探测器运动得越慢，每个像素获取的场景信息越充分，但实际上曝光时间不宜过长，探测器移动的速度不宜过慢，此时可以选择s＝N/M。

步骤3.二进制随机数生成器产生二进制随机序列，输出与随机序列对应的脉冲信号序列。

步骤4.探测器积分曝光

探测器像元感光区对探测器像元对准的n个场景像素信息积分曝光，将光信号转化为电信号，得到光生电荷。场景像素数n的取值范围是1≤n≤N，其中N为场景图像的列数。

步骤5.光生电荷像元内转移

步骤6.掩膜区电荷行间转移

步骤7.判断是否完成场景扫描

若探测器最后一行像元积分曝光次数小于曝光次数阈值K，表明尚未完成场景扫描，则执行步骤2，若探测器最后一行像元积分曝光次数等于曝光次数阈值K，表明完成场景扫描，则执行步骤8。曝光次数阈值K＝(N+s-n)/s，其中N为场景图像的列数，s为探测器推扫的像素数，n为探测器像元积分曝光的场景像素数。

步骤8.输出观测值图像

控制信号发生器模块控制探测器停止积分曝光；面阵探测器的垂直扫描移位寄存器产生垂直控制脉冲，垂直控制脉冲驱动电荷垂直转移，使电荷从掩膜区转移到水平扫描移位寄存器；水平扫描移位寄存器产生水平控制脉冲，水平控制脉冲驱动电荷串行输出到模数转换器；模数转换器将电信号转化为观测值数据后组成的观测值图像输出到图像重构处理器模块。

步骤9.优化求解L1-范数

利用时域变换方法稀疏变换域，时域变换方法是指DCT变换、小波变换、傅里叶变换，使场景图像在稀疏变换域中的投影系数稀疏；面阵CMOS平板模块中的矩阵乘法器生成观测矩阵，将观测矩阵输出到重构处理器模块；重构处理器模块利用非线性优化算法求解L1-范数，生成高分辨率图像，非线性优化算法按照下列公式进行：

X＝arg min||Ψ^TX||₁

其中，X高分辨率图像矩阵，X必须满足条件：ΦΨX＝Y，Φ为观测矩阵，Ψ为稀疏变换基，Y为观测值图像矩阵，arg min||·||₁代表对投影系数取L1-范数最小值，T代表转置。

步骤10.从重构处理器模块中提取高分辨率图像，获得高分辨率图像。

本发明的效果可以通过下述仿真实验加以说明：

仿真条件

本发明的仿真条件是：MATLAB软件，待拍摄图像为256×256的Lena图像，仿真参数设置如下表所示。

参数	参数值
		稀疏变换基	DCT基
曝光次数阀值	64
		观测值图像大小	256×64
探测器分辨率	4
		探测器每次推扫像素数	4
非线性优化算法	基追踪BP算法
		探测器每次积分曝光像素数	4

仿真内容

模拟传统成像方法，对原始图像每隔3列取1列得到下采样图像，对下采样图像进行双线性插值得到高分辨率图像。

模拟基于CMOS-TDI模式的高分辨率成像方法，对原始图像进行CMOS-TDI模式的随机压缩编码得到观测值图像，利用BP算法从观测值图像中重构高分辨率图像。

仿真结果

图3为本发明仿真实验图。其中，图3(a)为256×256的原始Lena图像，图3(b)为256×64的下采样图像，图3(c)为传统成像方法得到的256×256的高分辨率图像，图3(d)为使用本发明系统获得的256×64的观测值图像，图3(e)为本发明方法重构得到的256×256的高分辨率图像。

由图3(b)可见，虽然得到了Lena图像的低频率轮廓信息，但是高频率细节信息严重损失。而图3(d)得到了原始图像信息的混叠观测数据，保存了足够高频率细节信息。如下表所示，图3(e)的PSNR值比图3(c)的PSNR值高出3.7397dB。图3(c)中黑框标明的帽檐部分、Lena脸部轮廓、和背景物体边缘不平滑，多褶皱，而图3(e)中黑框标明的帽檐部分、Lena脸部轮廓、和背景物体边缘很平滑，无褶皱，可见图3(e)的边缘信息比图3(c)的边缘信息更加清晰。因此，本发明具有更高的信噪比，能够实现图像的高分辨率获取和重构。

成像方法	本发明方法	传统成像方法	PSNR值比较
				PSNR(dB)	25.9402	22.2005	3.7397

Claims

1.一种基于CMOS-TDI模式的高分辨率成像系统，包括五个模块：控制信号发生器模块、运动路线控制索道模块、面阵CMOS平板模块、随机曝光控制模块和图像重构处理器模块，各模块之间通过总线连接；其中，

所述控制信号发生器模块，用于产生控制运动路线控制索道模块、曝光控制模块和面阵CMOS平板模块的使能信号，实现对系统的驱动；

所述面阵CMOS平板模块，用于产生观测矩阵和场景图像的随机压缩编码图像，完成观测矩阵和低分辨率观测值图像的输出；

所述运动路线控制索道模块，用于控制面阵CMOS平板模块中行间转移面阵CMOS探测器运动；

所述随机曝光控制模块，包括通过信号传输线相连的二进制随机数生成器和传输门控制器；其中；所述的二进制随机数生成器，用于产生二进制随机序列，输出与随机序列对应的脉冲信号序列；所述的传输门控制器，用于控制行间转移面阵CMOS探测器中传输门开或关；

所述图像重构处理器模块，用于重构高分辨图像。

2.根据权利要求1所述的基于CMOS-TDI模式的高分辨率成像系统，其特征在于，所述面阵CMOS平板模块包括通过信号传输线相连的行间转移面阵CMOS探测器、垂直扫描移位寄存器、水平扫描移位寄存器、模数转换器和矩阵乘法器；其中，

所述的行间转移面阵CMOS探测器中的感光区，用于获取场景信息，将光信号转换为电信号；行间转移面阵CMOS探测器中的传输门，用于实现电信号的像元内转移；行间转移面阵CMOS探测器中的掩膜区，用于实现电信号的行间转移；

所述的垂直扫描移位寄存器，用于产生垂直驱动脉冲，驱动电信号垂直转移；

所述的水平扫描移位寄存器，用于产生水平驱动脉冲，驱动电信号串行输出；

所述的模数转换器，用于将电信号转化为数字信号，完成数字信号的输出；

所述的矩阵乘法器，用于计算矩阵相乘，完成观测矩阵的输出。

3.一种基于CMOS-TDI模式的高分辨率成像方法，包括如下步骤：

(1)初始化操作

将行间转移面阵CMOS探测器对准待拍摄场景，设定行间转移面阵CMOS探测器输出观测值图像大小，设定每个观测值的时间延迟积分TDI级数，将探测器面阵按行划分为与观测值个数相等的探测器子块，每个探测器子块的大小与观测值TDI级数相同；

(2)探测器沿与场景平行的路线向前推扫s个像素；

(3)二进制随机数生成器生成二进制随机序列；

(4)探测器积分曝光

探测器像元感光区对探测器像元对准的n个场景像素信息积分曝光，将光信号转化为电信号，得到光生电荷；

(5)光生电荷像元内转移

在传输门控制电路的控制下，当步骤2生成的随机数为1时，传输门控制电路控制像元传输门打开，光生电荷转移到像元行间掩膜区；当步骤2生成的随机数为0时，传输门控制电路控制CMOS像元传输门关闭，像元掩膜区不收集光生电荷，完成像元感光区光生电荷的像元内转移；

(6)掩膜区电荷行间转移

面阵CMOS平板模块中的垂直扫描移位寄存器产生垂直控制脉冲，驱动每行像元掩模区内的光生电荷通过由行间掩模区形成的电荷转移通道垂直转移到下一行像元的掩膜区，当光生电荷转移到所属探测器子块内最后一行像元掩膜区时，掩膜区光生电荷停止行间转移等待输出；

(7)判断是否完成场景扫描

若探测器最后一行像元积分曝光次数小于曝光次数阈值K，表明尚未完成场景扫描，则执行步骤2，若探测器最后一行像元积分曝光次数等于曝光次数阈值K，表明完成场景扫描，则执行步骤8；

(8)输出观测值图像

8a)控制信号发生器模块控制行间转移面阵CMOS探测器停止积分曝光；

8d)模数转换器将电信号转化为观测值数据后组成的观测值图像输出到图像重构处理器模块；

(9)优化求解L1-范数

9a)利用时域变换方法稀疏变换域；

9b)面阵CMOS平板模块中的矩阵乘法器生成观测矩阵；

9c)重构处理器模块利用非线性优化算法求解L1-范数，生成高分辨率图像；

(10)获得高分辨率图像。

4.根据权利要求3所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(1)中所述的时间延迟积分TDI级数为2～6之间。

5.根据权利要求3所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(2)中所述的像素个数s的取值范围是1≤s≤N／M，其中N为场景图像的列数，M为观测值图像的列数。

6.根据权利要求3所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(4)中所述场景像素数n的取值范围是1≤n≤N，其中N为场景图像的列数。

7.根据权利要求3所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(7)中所述的曝光次数阈值K=(N+s-n)/s，其中N为场景图像的列数，s为探测器推扫的像素数，n为探测器像元积分曝光的场景像素数。

8.根据权利要求3所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(9)中所述的时域变换方法是指DCT变换、小波变换、傅里叶变换，使场景图像在稀疏变换域中的投影系数稀疏。

9.根据权利要求3所述的基于CMOS-TDI模式的高分辨率成像方法，其特征在于，步骤(9)中所述的非线性优化算法按照下列公式进行：

X = \arg \min {| | ψ^{T} X | |}_{1}

其中，X高分辨率图像矩阵，X必须满足条件：ΦΨX=Y，Φ为观测矩阵，Ψ为稀疏变换基，Y为观测值图像矩阵，argmin||.||₁代表对投影系数取L1-范数最小值，T代表转置。