CN112511772B - 一种图像传感器、增强图像传感器线性的方法及深度相机 - Google Patents

Abstract

本发明公开了一种图像传感器、增强图像传感器线性的方法及深度相机，包括：像素阵列，用于接收光子并输出像素信号；放大器，用于根据像素信号输出模拟量电压；斜坡信号发生器，用于生成斜坡信号，所述斜坡信号包括第一斜坡信号和第二斜坡信号；模数转换器，用于根据模拟量电压与斜坡信号进行比较以输出数字信号；控制与处理器，用于根据数字信号和对应的曝光时间得到像素不同曝光时间与数字信号的线性关系。本发明通过获取像素不同曝光时间和对应数字信号的线性关系，获取光子数和数字信号的线性关系，由此可以得到电荷量和光子数的线性关系，最终能获得距离与电荷量的线性关系，从而减少了后续标定的工作、降低标定成本以及提升校正效率。

Description

一种图像传感器、增强图像传感器线性的方法及深度相机

技术领域

本发明涉及深度相机技术领域，尤其涉及一种图像传感器、增强图像传感器线性的方法及深度相机。

背景技术

TOF的全称是Time-of-Flight，即飞行时间，TOF深度相机为基于从目标反射回的光来标识和映射目标物体，核心部件包括光源和图像传感器，光源被配置为朝向目标物体发射光束，图像传感器被配置为接收由目标物体反射回来的反射光。在TOF深度相机中，非线性主要是由入射光子转换成电子，再从电子转换成电压，电压通过ADC转化成数字信号的过程产生的，可见，这些非线性大多数都是由图像传感器引起的，因此，可以通过提高图像传感器的线性度，从而提高TOF深度相机的线性度。

图像传感器包括的像素阵列可在每个像素中包括光电转换元件。光电转换元件将入射的光子转换成电子，再从电子转换成电压，放大器对电压进行放大，并且将电压传输至ADC形成模拟量电压，ADC对该模拟量电压与预定基准电压(也称斜坡信号)进行比较后输出数字信号。

图像传感器一般使用针对ADC转换的单斜率ADC转换方法，在单斜率ADC转换方法中，随时间沿一个方向单调变化的斜坡信号与具有预定电压电平的像素信号进行对比，在斜坡信号的电压水平等于像素信号的电压电平时的时间(或时间点)，斜坡信号被转换为数字信号。ADC将从像素输出的模拟像素信号转换为数字信号的ADC转换器，非线性可发生在ADC转换器中，模拟像素输出的ADC是影响图像传感器性能很重要的因素，且这种非线性对TOF深度相机也会造成很大的影响。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的在于提供一种图像传感器、增强图像传感器线性的方法及深度相机，以解决上述背景技术问题中的至少一种问题。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种图像传感器，包括像素阵列、放大器、斜坡信号发生器、模数转换器以及分别与所述像素阵列、所述放大器、所述斜坡信号发生器和所述模数转换器连接的控制与处理器；其中，

所述像素阵列用于接收光子并输出像素信号；

所述放大器用于根据所述像素信号输出模拟量电压；

所述斜坡信号发生器用于生成斜坡信号，所述斜坡信号包括第一斜坡信号和第二斜坡信号；

所述模数转换器用于根据所述模拟量电压与所述斜坡信号进行比较以输出数字信号；

所述控制与处理器用于根据所述数字信号和对应的曝光时间得到所述像素不同曝光时间与数字信号的线性关系。

在一些实施例中，根据所述数字信号，所述控制与处理器调用预先存储的不同曝光时间与对应数字信号的非线性关系，通过查表法确定所述数字信号对应的曝光时间，并校正所述数字信号以获取所述像素的不同曝光时间与数字信号的线性关系。

在一些实施例中，所述控制与处理器将预先存储的不同曝光时间与对应数字信号的非线性关系映射至所述斜坡信号发生器以生成所述第二斜坡信号，并将所述像素不同曝光时间下对应的模拟量电压和所述第二斜坡信号传输至所述模数转换器进行比较，以得到所述不同曝光时间与数字信号的线性关系。

在一些实施例中，还包括存储器，用于存储所述不同曝光时间与对应数字信号的非线性关系；其中，所述非线性关系是根据所述像素在不同曝光时间下的模拟电压与所述第一斜坡信号进行比较输出的数字信号。

本发明实施例的另一技术方案为：

一种增强图像传感器线性的方法，包括如下步骤：

S1、通过像素阵列接收光子以输出像素信号，并根据所述像素信号输出模拟量电压；

S2、通过斜坡信号发生器生成斜坡信号，并通过模数转换器将步骤S1所得的模拟量电压与所述斜坡信号进行比较以输出数字信号；其中，所述斜坡信号包括第一斜坡信号和第二斜坡信号；

S3、控制与处理器根据所述数字信号和对应的曝光时间得到所述像素不同曝光时间与数字信号的线性关系。

在一些实施例中，还包括步骤：

预先存储不同曝光时间与对应数字信号的非线性关系；其中，所述非线性关系是根据像素在不同曝光时间下的模拟电压与所述第一斜坡信号进行比较输出的数字信号。

在一些实施例中，还包括步骤：

所述控制与处理器根据所述数字信号，调用预先存储的不同曝光时间与对应数字信号的非线性关系，通过查表法确定所述数字信号对应的曝光时间，并校正所述数字信号以获取所述像素的不同曝光时间与数字信号的线性关系。

在一些实施例中，还包括步骤：

所述控制与处理器将预先存储的不同曝光时间与对应数字信号的非线性关系映射至所述斜坡信号发生器以生成所述第二斜坡信号，并将所述像素不同曝光时间下对应的模拟量电压和所述第二斜坡信号传输至所述模数转换器进行比较，以得到所述不同曝光时间与数字信号的线性关系。

本发明实施例的又一技术方案为：

一种采集模组，包括有透镜单元以及前述任一实施例方案所述的图像传感器。

本发明实施例的又一技术方案为：

一种深度相机，包括：

发射模组、被配置为向目标物体发射光束；

如前述实施例方案所述的采集模组，被配置为采集经所述目标物体反射回的至少一部分反射光信号；

控制与处理电路，分别与所述发射模组和所述采集模组连接，同步所述发射模组以及所述采集模组的触发信号以计算光束由所述发射模组发出并被所述采集模组接收所需要的时间。

本发明技术方案的有益效果是：

相较于现有技术，本发明通过获取像素不同曝光时间和对应数字信号的线性关系，进而能获取光子数和数字信号的线性关系，由此可以得到电荷量和光子数的线性关系，最终能获得距离与电荷量的线性关系，从而减少了后续标定的工作、降低标定成本以及提升校正效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例深度相机的结构示意图；

图2为本发明一个实施例图像传感器的结构示意图；

图3为本发明一个实施例图像传感器的曝光时间与数字信号的线性关系图示；

图4a为本发明一个实施例图像传感器的第二斜坡信号以及像素不同曝光时间下的模拟量电压图示；

图4b为本发明一个实施例图像传感器的不同曝光时间与数字信号的线性关系图示；

图5为本发明一个实施例增强图像传感器线性的方法的流程图示。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

参照图1所示，图1为本发明实施例提供的一种深度相机的结构示意图。深度相机10包括发射模组11、采集模组12以及控制与处理电路13。其中，发射模组11提供发射光束30至目标空间以照射空间中的物体20，至少部分发射光束30经物体20反射后形成反射光束40，反射光束40至少部分被采集模组12采集；控制与处理电路13分别与发射模组11和采集模组12连接，同步发射模组11以及采集模组12的触发信号以计算光束由发射模组11发出并被采集模组12接收所需要的时间，即发射光束30与反射光束40之间的飞行时间t，进一步获取物体的距离。进一步的，目标物体的距离D可由下式计算出：

D＝c·t/2 (1)

其中，c为光速。

发射模组11包括光源以及光源驱动器(图中未示出)等。光源可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。

采集模组12包括图像传感器121、透镜单元、滤光片(未图示)等。其中，透镜单元接收并将由物体反射回的至少部分光束成像在图像传感器121上，滤光片需选择与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。图像传感器可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器阵列，阵列大小代表着该深度相机的分辨率，比如320×240等。

一般地，图像传感器121包括至少一个像素，每个像素则包含多个抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括2个抽头，在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光子，以接收光信号并转换成电信号，读取电荷信号数据。

控制与处理电路13可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当TOF深度相机被集成到如手机、电视、电脑等智能终端中去，终端的处理电路可以作为该控制与处理器13的至少一部分。

在一些实施例中，控制与处理电路13用于提供光源发射激光时所需的调制信号(发射信号)，光源在调制信号的控制下向待测物发射脉冲光束；此外控制与处理电路13还提供图像传感器121各像素中抽头的解调信号(采集信号)，抽头在解调信号的控制下采集包含待测物反射回的脉冲光束所产生的电荷信号，并基于该电信号计算出相位差以获得物体20的距离。比如，在2抽头的情况下，计算物体的距离表达式如下：

其中，c为光速；T为曝光周期；Q1、Q2分别为2个抽头的总电荷量。

图2所示为本发明一实施例图像传感器的示意图，图像传感器121包括像素阵列201、放大器202、斜坡信号发生器203、模数转换器204以及分别与像素阵列201、放大器202、斜坡信号发生器203和模数转换器204连接的控制与处理器(未图示)。像素阵列201用于接收光子并输出像素信号；放大器202用于根据所述像素信号输出模拟量电压；斜坡信号发生器203用于生成斜坡信号，该斜坡信号发生器203根据电容或者数模转换器(DAC)生成随时间沿一个方向单调变化的斜坡信号；具体地，斜坡信号发生器203根据需求可分别生成第一斜坡信号和第二斜坡信号；模数转换器204根据像素的模拟量电压与斜坡信号进行比较以输出数字信号；控制与处理器根据数字信号和对应的曝光时间得到像素不同曝光时间与数字信号的线性关系。可以理解的是，该控制与处理器可以为图1所示TOF深度相机实施例中的控制与处理电路13的一部分。

在一个实施例中，控制与处理器可以根据模数转换器(ADC)204输出的数字信号，调用预先存储的不同曝光时间与对应数字信号的非线性关系，通过查表法确定该数字信号对应的曝光时间，并校正该数字信号以获取所述像素的不同曝光时间与数字信号的线性关系。其中，像素接收光子输出像素信号，放大器202根据该像素信号输出模拟量电压，模数转换器204根据模拟量电压和斜坡信号发生器203生成的第一斜坡信号进行比较输出数字信号。控制与处理器将该数字信号在预先存储的不同曝光时间与数字信号的非线性关系表里进行查询以确定其曝光时间，并校正其数字信号，如此多次测量，以得到其数字信号与曝光时间的线性关系。

以下面表1为例进行说明，如表1所示。比如，模数转换器(ADC)204输出的数字信号为1，通过查表确定像素的曝光时间为1us。同样的，当输出数字信号为2时，通过查表可确定像素的曝光时间为2us。当输出数字信号为7时，通过查表确定像素的曝光时间为4us，此时将该数字信号7校正为4。如此多次测量即可得到如图3所示的曝光时间与数字信号的线性关系。可以理解的是，表1仅是为了方便说明，实际为了测量的准确性，非线性表的数据量高达1024次甚至更多。由于模拟具有更好的实施性，像素的曝光时间优选通过模拟方法来实现。

表1 曝光时间与数字信号的非线性关系表

曝光时间	数字信号
		1	1
2	2
		3	3
4	7

在一个实施例中，控制与处理器将所述不同曝光时间与对应数字信号的非线性关系映射至斜坡信号发生器203以生成第二斜坡信号，像素接收光子输出像素信号，放大器202根据该像素信号输出模拟量电压，模数转换器根据模拟量电压和第二斜坡信号进行比较，得到不同曝光时间与数字信号的线性关系。

如图4a所示，横坐标表示曝光时间，纵坐标表示电压，第二斜坡信号如图4a中虚线所示，像素不同曝光时间下的模拟量电压如图4a中实线所示，由于第二斜坡信号是映射所述不同曝光时间与数字信号的非线性关系，因此在第二次模拟不同曝光时间测量的时，相应的数字信号应该一样，但是由于斜坡信号在传输至模数转换器的时候具有偏移、增益等其它因素，造成第二次模拟不同曝光时间测量时，所输出的数字信号与预先存储的相应曝光时间对应的数字信号有所偏差，但偏差很小，不会影响获取其线性关系。

如图4a所示，比如，在曝光时间为2us的时，像素的模拟量电压数字为2，斜坡信号为2.5，由于模拟量电压2大于1.5小于2.5，此时模数转换器会计数1，曝光时间为2us对应的数字信号为1。

同样的，在曝光时间为3us的时候，像素的模拟量电压为3，斜坡信号为3.5，由于模拟量电压3大于1.5、2.5小于3.5，此时模数转换器会计数2，曝光时间为3us对应的数字信号为2。在曝光时间为4us的时候，像素的模拟量电压为7，斜坡信号为7.5，由于模拟量电压大于1.5、2.5、3.5小于7.5，此时模数转换器会计数3，曝光时间为4us对应的数字信号为3。如此测量多次，得到如图4b所示的不同曝光时间与数字信号的线性关系。

在一个实施例中，图像传感器121还包括存储器205，用于存储所述不同曝光时间与数字信号的非线性关系，该非线性关系是根据像素在不同曝光时间下的模拟电压与第一斜坡信号进行比较输出的数字信号，从而得到不同曝光时间与数字信号的非线性关系。

基于上述实施例可以得到不同曝光时间与数字信号的线性关系。在光强度固定的情况下，光子数和曝光时间成正比，因此光子数与数字信号也是一个正比的关系。

同样的，由于电荷量Q与光子数是正比的关系，因此，根据公式(2)可以得到距离D和数字信号也是一个正比的关系。比如Q和D可以用下式表示：

Q＝aP (3)

其中，c为光速；T为曝光周期；P1、P2分别为2个抽头收集的光子数。

根据公式(4)可以知道距离D与光子数有关，由于P1+P2为为总光子数是一个定值，所以D和P2是一个正比关系。由于P2和数字信号是一个正比关系，所以D和数字信号也是一个正比关系，从而提高了TOF深度相机的线性。

由于提高了TOF深度相机的线性，在后续标定过程中，不再需要对每一个距离点进行标定，而可以根据线性关系进行标定，从而减小了标定的工作量。

需要说明的是，图1实施例的深度相机中，所述采集模组12包括的图像传感器121为图2-图4a,图4b任一实施例方案中记载的图像传感器，详细参照图2-图4a,图4b的描述，在此不再赘述。

基于上述各实施例中的图像传感器，本申请还提供相应的增强图像传感器线性的方法。图5示出了根据本发明一实施例增强图像传感器线性的方法的流程图，方法包括如下步骤：

S1、通过像素阵列接收光子以输出像素信号，并根据所述像素信号输出模拟量电压；

S2、通过斜坡信号发生器生成斜坡信号，并通过模数转换器将步骤S1所得的模拟量电压与斜坡信号进行比较以输出数字信号；

S3、控制与处理器根据所述数字信号和对应的曝光时间得到所述像素不同曝光时间与数字信号的线性关系。

在一个实施例中，根据曝光时间输出的数字信号通过查表法与预先存储的不同曝光时间与数字信号的非线性关系确定该数字信号对应的曝光时间，并校正该数字信号以获取所述不同曝光时间与数字信号的线性关系。

在另一个实施例中，将预先存储的不同曝光时间与数字信号的非线性关系映射至斜坡信号生成器生成第二斜坡信号，将像素不同曝光时间下对应的模拟量电压和第二斜坡信号传输至模数转换器进行比较，以得到所述不同曝光时间与数字信号的线性关系。

可以理解的是，通过多次改变像素的曝光时间以输出所述模拟量电压并与斜坡信号生成器生成的第一斜坡信号进行比较，输出数字信号，得到不同曝光时间与数字信号的非线性关系，并存储该非线性关系。

上述方法可以被程序化以被保存在适当的介质中，并被相应的处理器执行，比如该方法可以被写成相应的代码程序保存在计算机可读介质中，并被图2-图4a,图4b相应的各个实施例中的控制与处理器或图1中的控制与处理电路执行。

作为本发明另一个实施例，还提供一种电子设备，所述电子设备包括有前述任一实施例方案所记载的图像传感器；电子设备可以是台式、桌面安装设备、便携式设备、可穿戴设备或车载设备以及机器人等。具体的，设备可以是笔记本电脑或电子设备，以允许手势识别或生物识别。在其他示例中，设备可以是头戴式设备，以获取用户周围环境的距离信息，标识用户周围环境的对象或危险，以确保安全，例如，阻碍用户对环境视觉的虚拟现实系统，可以检测周围环境中的对象或危险，以向用户提供关于附近对象或障碍物的警告。在其它示例中，还可以是应用在无人驾驶等领域的设备。

可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。

此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (6)

1.一种图像传感器，其特征在于，包括：像素阵列、放大器、斜坡信号发生器、模数转换器以及分别与所述像素阵列、所述放大器、所述斜坡信号发生器和所述模数转换器连接的控制与处理器；其中，

所述像素阵列用于接收光子并输出像素信号；

所述放大器用于根据所述像素信号输出模拟量电压；

所述斜坡信号发生器用于生成斜坡信号，所述斜坡信号包括第一斜坡信号和第二斜坡信号；

所述模数转换器用于根据所述模拟量电压与所述斜坡信号进行比较以输出数字信号；

所述控制与处理器用于根据所述数字信号和对应的曝光时间得到所述像素不同曝光时间与数字信号的线性关系：

根据所述数字信号，所述控制与处理器调用预先存储的不同曝光时间与对应数字信号的非线性关系，通过查表法确定所述数字信号对应的曝光时间，并校正所述数字信号以获取所述像素的不同曝光时间与数字信号的线性关系；

或，所述控制与处理器将预先存储的不同曝光时间与对应数字信号的非线性关系映射至所述斜坡信号发生器以生成所述第二斜坡信号，并将所述像素不同曝光时间下对应的模拟量电压和所述第二斜坡信号传输至所述模数转换器进行比较，以得到所述不同曝光时间与数字信号的线性关系。

2.如权利要求1所述的图像传感器，其特征在于：还包括存储器，用于存储所述不同曝光时间与对应数字信号的非线性关系；其中，所述非线性关系是根据所述像素在不同曝光时间下的模拟电压与所述第一斜坡信号进行比较输出的数字信号。

3.一种增强图像传感器线性的方法，其特征在于，包括如下步骤：

S1、通过像素阵列接收光子以输出像素信号，并根据所述像素信号输出模拟量电压；

S2、通过斜坡信号发生器生成斜坡信号，并通过模数转换器将步骤S1所得的模拟量电压与所述斜坡信号进行比较以输出数字信号；其中，所述斜坡信号包括第一斜坡信号和第二斜坡信号；

S3、控制与处理器根据所述数字信号和对应的曝光时间得到所述像素不同曝光时间与数字信号的线性关系：

预先存储不同曝光时间与对应数字信号的非线性关系；其中，所述非线性关系是根据像素在不同曝光时间下的模拟电压与所述第一斜坡信号进行比较输出的数字信号；

或，所述控制与处理器根据所述数字信号，调用预先存储的不同曝光时间与对应数字信号的非线性关系，通过查表法确定所述数字信号对应的曝光时间，并校正所述数字信号以获取所述像素的不同曝光时间与数字信号的线性关系。

4.如权利要求3所述的增强图像传感器线性的方法，其特征在于，还包括：

所述控制与处理器将预先存储的不同曝光时间与对应数字信号的非线性关系映射至所述斜坡信号发生器以生成所述第二斜坡信号，并将所述像素不同曝光时间下对应的模拟量电压和所述第二斜坡信号传输至所述模数转换器进行比较，以得到所述不同曝光时间与数字信号的线性关系。

5.一种采集模组，其特征在于：包括有透镜单元以及权利要求1-2任一项所述的图像传感器。

6.一种深度相机，其特征在于，包括：

发射模组、被配置为向目标物体发射光束；

如权利要求5所述的采集模组，被配置为采集经所述目标物体反射回的至少一部分反射光信号；

控制与处理电路，分别与所述发射模组和所述采集模组连接，同步所述发射模组以及所述采集模组的触发信号以计算光束由所述发射模组发出并被所述采集模组接收所需要的时间。