CN113646662A - 信号处理装置、信号处理方法和距离测量模块 - Google Patents

Abstract

本技术涉及能够提高距离测量精度的信号处理装置、信号处理方法和距离测量模块。该信号处理装置设置有估计单元，该估计单元在具有用于检测由光电转换单元进行光电转换而得到的电荷的第一抽头和用于检测由光电转换单元进行光电转换而得到的电荷的第二抽头的像素中，采用第一检测信号至第四检测信号来估计第一抽头与第二抽头之间的抽头间灵敏度差异，上述第一检测信号至第四检测信号是通过相对于发射光以第一相位至第四相位检测因为发射光从对象反射而产生的反射光来获得的。本技术可以应用于使用间接飞行时间(ToF)方法执行距离测量的距离测量模块等。

Description

信号处理装置、信号处理方法和距离测量模块

技术领域

本技术涉及信号处理装置、信号处理方法和距离测量模块，并且特别地涉及能够提高距离测量精度的信号处理装置、信号处理方法和距离测量模块。

背景技术

近年来，由于半导体技术的进步，测量到对象的距离的距离测量模块变得越来越小。因此，例如，已经实现了在移动终端(例如所谓的智能电话)中安装距离测量模块，该移动终端是配备有通信功能的小型信息处理装置。

距离测量模块中的距离测量方法的示例包括间接飞行时间(ToF)方法、结构光方法等。间接ToF方法包括：向对象发射光，检测从对象的表面反射的光，并且基于通过测量光的飞行时间获得的测量值计算到对象的距离。结构光方法包括：向对象发射图案光，并且基于通过捕获对象的表面上的图案的畸变获得的图像计算到对象的距离。

例如，专利文献1公开了一种通过间接ToF方法利用用于距离测量的距离测量模块确定检测时段内对象的移动来准确地测量距离的技术。

引用列表

专利文献

专利文献1：日本专利申请特许公开第2017-150893号

发明内容

本发明要解决的问题

在间接ToF方法的距离测量模块中，需要进一步提高距离测量精度。

本公开是鉴于这种情况而做出的，并且使得可以提高距离测量精度。

问题的解决方案

根据本技术的第一方面的信号处理装置包括估计单元，该估计单元在包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头(tap)和检测由光电转换单元进行光电转换的电荷而得到的第二抽头的像素中，通过使用第一检测信号至第四检测信号来估计第一抽头与第二抽头的抽头之间的灵敏度差异，第一检测信号至第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对发射光进行反射所生成的反射光而获得的。

根据本技术的第二方面的信号处理方法包括由信号处理装置进行以下操作：在包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由光电转换单元进行光电转换而得到的电荷的第二抽头的像素中，通过使用第一检测信号至第四检测信号来估计第一抽头与第二抽头的抽头之间的灵敏度差异，第一检测信号至第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对发射光进行反射所生成的反射光而获得的。

根据本技术的第三方面的距离测量模块包括：光接收单元，在光接收单元中，像素被二维地布置，每个像素包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由光电转换单元进行光电转换而得到的电荷的第二抽头；以及信号处理单元，其包括估计单元，该估计单元在像素中，通过使用第一检测信号至第四检测信号来估计第一抽头与第二抽头的抽头之间的灵敏度差异，第一检测信号至第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对发射光进行反射所生成的反射光而获得的。

根据本技术的第一方面至第三方面，在包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由光电转换单元进行光电转换而得到的电荷的第二抽头的像素中，通过使用第一检测信号至第四检测信号来估计第一抽头与第二抽头的抽头之间的灵敏度差异，第一检测信号至第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对发射光进行反射所生成的反射光而获得的。

信号处理装置和距离测量模块可以是独立的装置或并入另外的装置中的模块。

附图说明

图1是示出应用本技术的距离测量模块的一个实施方式的配置示例的框图。

图2是用于描述间接ToF方法中的像素的操作的图。

图3是用于描述通过4个相位的检测方法的图。

图4是用于描述通过4个相位的检测方法的图。

图5是用于描述通过2相法和4相法计算深度值的方法的图。

图6是用于描述距离测量模块的光接收单元的驱动和深度图的输出定时的图。

图7是示出信号处理单元的详细配置的框图。

图8是用于描述四个相位的检测信号的图。

图9是用于描述基于移动量和幅度的混合率的图。

图10是示出固定模式估计单元的详细配置示例的框图。

图11是用于描述基于移动量和幅度的系数更新的混合率的图。

图12是用于描述信号处理单元对待处理的像素进行的深度值计算处理的流程图。

图13是用于描述驱动的第一修改例和第二修改例的图。

图14是用于描述驱动的第一修改例和第二修改例的图。

图15是用于描述驱动的第三修改例的图。

图16是示出应用本技术的电子装置的配置示例的框图。

图17是示出应用本技术的计算机的一个实施方式的配置示例的框图。

图18是示出车辆控制系统的示意配置的一个示例的框图。

图19是示出车辆外部信息检测单元和图像捕获单元的安装位置的一个示例的说明图。

具体实施方式

下面将描述用于执行本技术的模式(在下文中称为“实施方式”)。注意，将按以下顺序进行描述。

1.距离测量模块的配置示例

2.间接ToF方法的像素操作

3.深度图的输出定时

4.信号处理单元的详细配置示例

5.信号处理单元的深度值计算处理

6.通过距离测量模块进行的驱动的修改例

7.电子装置的配置示例

8.计算机的配置示例

9.应用于移动对象的示例

<1.距离测量模块的配置示例>

图1是示出应用本技术的距离测量模块的一个实施方式的配置示例的框图。

图1所示的距离测量模块11是通过间接ToF方法测量距离的距离测量模块，并且包括发光单元12、光发射控制单元13、光接收单元14和信号处理单元15。距离测量模块11向对象发射光并且接收由对象反射光(发射光)而获得的光(反射光)，从而测量作为到对象的距离信息的深度值并输出深度图。

发光单元12包括例如作为光源的红外激光二极管等，根据光发射控制单元13的控制在根据从光发射控制单元13提供的光发射控制信号的定时处执行调制的同时发射光，并且将发射光发射至对象。

光发射控制单元13将具有预定频率(例如，20MHz等)的光发射控制信号提供给发光单元12，从而控制发光单元12的光发射。此外，为了根据发光单元12中的光发射的定时来驱动光接收单元14，光发射控制单元13还向光接收单元14提供光发射控制信号。

在光接收单元14中，设置有像素阵列单元22，并且驱动控制电路23设置在像素阵列单元22的外围区域，在像素阵列单元22中，像素21以行方向和列方向上的矩阵被二维地布置，每个像素根据接收的光量生成电荷并根据电荷输出信号。

光接收单元14通过使用其中多个像素21被二维地布置的像素阵列单元22接收来自对象的反射光。然后，光接收单元14将包括根据像素阵列单元22的每个像素21接收到的反射光的接收光量的检测信号的像素数据提供给信号处理单元15。

信号处理单元15基于从光接收单元14提供的像素数据，针对像素阵列单元22的每个像素21计算作为从距离测量模块11到对像的距离的深度值，并且将深度值输出至后续的控制单元(例如图16的应用处理单元121、操作系统处理单元122等)。替选地，信号处理单元15可以生成在其中将深度值存储为像素阵列单元22的每个像素21的像素值的深度图，并且将深度图输出至后续阶段。注意，稍后将参照图7描述信号处理单元15的详细配置。

驱动控制电路23例如基于从光发射控制单元13提供的光发射控制信号等来输出用于控制对像素21的驱动的控制信号(例如，稍后要描述的分配信号DIMIX、选择信号ADDRESS DECODE、复位信号RST等)。

像素21包括光电二极管31以及检测由光电二极管31进行光电转换而得到的电荷的第一抽头32A和第二抽头32B。在像素21中，将一个光电二极管31生成的电荷分配给第一抽头32A或第二抽头32B。然后，在由光电二极管31生成的电荷中，将分配给第一抽头32A的电荷作为检测信号A从信号线33A输出，并且将分配给第二抽头32B的电荷作为检测信号B从信号线33B输出。

第一抽头32A包括传送晶体管(transfer transistor)41A、浮动扩散(FD)单元42A、选择晶体管43A和复位晶体管44A。类似地，第二抽头32B包括传送晶体管41B、FD单元42B、选择晶体管43B和复位晶体管44B。

<2.间接ToF方法的像素操作>

将参照图2描述间接ToF方法的像素21的操作。

如图2所示，从发光单元12输出被调制为以发射时间T(1个周期＝2T)重复发射开/关的发射光，并且光电二极管31以根据到对象的距离的延迟时间ΔT接收反射光。此外，分配信号DIMIX_A控制传送晶体管41A的开/关，并且分配信号DIMIX_B控制传送晶体管41B的开/关。分配信号DIMIX_A是与发射光具有相同相位的信号，而分配信号DIMIX_B具有通过将分配信号DIMIX_A反相而获得的相位。

因此，当光电二极管31接收反射光时生成的电荷在传送晶体管41A响应于分配信号DIMIX_A而接通时被传送至FD单元42A，并且在传送晶体管41B响应于分配信号DIMIX_B而接通时传送至FD单元42B。利用该配置，在周期性地执行发射时间T的发射光的发射的预定时段内，经由传送晶体管41A传送的电荷顺序地累积在FD单元42A中，并且经由传送晶体管41B传送的电荷顺序地累积在FD单元42B中。

然后，在累积电荷的时段结束之后，当选择晶体管43A响应于选择信号ADDRESSDECODE_A而导通时，经由信号线33A读取FD单元42A中累积的电荷，并且从光接收单元14输出根据电荷量的检测信号A。类似地，当选择晶体管43B响应于选择信号ADDRESS DECODE_B而导通时，经由信号线33B读取FD单元42B中累积的电荷，并且从光接收单元14输出根据电荷量的检测信号B。此外，当复位晶体管44A响应于复位信号RST_A而导通时，FD单元42A中累积的电荷被释放，并且当复位晶体管44B响应于复位信号RST_B而导通时，FD单元42B中累积的电荷被释放。

以这种方式，像素21根据延迟时间ΔT将由光电二极管31接收到的反射光所生成的电荷分配给第一抽头32A或第二抽头32B，并且输出检测信号A和检测信号B。然后，延迟时间ΔT与期间由发光单元12发射的光飞行至对象、被对象反射并且再飞行至光接收单元14的时间相对应，即，即与到对象的距离相对应。因此，距离测量模块11可以基于检测信号A和检测信号B，根据延迟时间ΔT获得到对象的距离(深度值)。

然而，在像素阵列单元22中，由于包括光电二极管31、传送晶体管41等的各个像素21的像素晶体管的每个元件的特性的差异(灵敏度差异)，可能对检测信号A和检测信号B施加因像素21而异的影响。因此，间接ToF方法的距离测量模块11采用下述方法：通过获取通过在改变相位的情况下经由同一像素21接收反射光而获得的检测信号A和检测信号B，来去除作为每个像素的固定模式噪声的抽头之间的灵敏度差异并且提高信噪比。

作为通过改变相位来接收反射光并计算深度值的方法，例如，将描述通过2个相位的检测方法(2相法)和通过4个相位的检测方法(4相法)。

如图3所示，光接收单元14在相对于发射光的发射定时具有0°、90°、180°和270°的相位偏移的接收定时接收反射光。更具体地，光接收单元14通过以时分方式改变相位来接收反射光，例如在一个帧时段内以相对于发射光的发射定时被设置为0°的相位接收光，在下一个帧时段内以被设置为90°的相位接收光，在下一个帧时段内以被设置为180°的相位接收光，并且在下一个帧时段内以被设置为270°的相位接收光。

图4是依次示出0°、90°、180°和270°的各个相位中的像素21的第一抽头32A的光接收时段(曝光时段)以使相位差易于理解的图。

如图4所示，在第一抽头32A中，通过以与发射光相同的相位(相位0°)接收光而获得的检测信号A称为检测信号A0，通过以相对于发射光移位90度的相位(相位90°)接收光而获得的检测信号A称为检测信号A1，通过以相对于发射光移位180度的相位(相位180°)接收光而获得的检测信号A称为检测信号A2，并且通过以相对于发射光移位270度的相位(相位270°)接收光而获得的检测信号A称为检测信号A3。

此外，尽管省略了图示，但在第二抽头32B中，通过以与发射光相同的相位(相位0°)接收光而获得的检测信号B称为检测信号B0，通过以相对于发射光移位90度的相位(相位90°)接收光而获得的检测信号B称为检测信号B1，通过以相对于发射光移位180度的相位(相位180°)接收光而获得的检测信号B称为检测信号B2，并且通过以相对于发射光移位270度的相位(相位270°)接收光而获得的检测信号B称为检测信号B3。

图5是用于描述通过2相法和4相法计算深度值d的方法的图。

在间接ToF方法中，可以通过以下式(1)获得深度值d。

[数学式1]

在式(1)中，c是光速，ΔT是延迟时间，并且f是光的调制频率。此外，式(1)中的φ表示反射光的相移量[rad]，并且由以下式(2)表示。

[数学式2]

通过4相法，通过使用通过将相位设置为0°、90°、180°和270°获得的检测信号A0至A3以及检测信号B0至B3，通过下式(3)计算式(2)的I和Q。I和Q是通过假设发射光的亮度变化是cos波并将cos波的相位从极坐标转换为直角坐标系(IQ平面)而获得的信号。

I＝c₀-c₁₈₀＝(A0-B0)-(A2-B2)

Q＝c₉₀-c₂₇₀＝(A1-B1)-(A3-B3)··········(3)

通过4相法，例如，如式(3)中的“A0-A2”和“A1-A3”，通过取同一像素中相反相位的检测信号之间的差异，可以消除每个像素中存在的抽头之间的特性变化，即，固定模式噪声。

同时，通过2相法，可以通过使用通过将相位设置为0°、90°、180°和270°获得的检测信号A0至A3以及检测信号B0至B3中的仅相互正交的两个相位而获得到对象的深度值d。例如，在使用处于相位0°的检测信号A0和B0以及处于相位90°的检测信号A1和B1的情况下，式(2)的I和Q是以下式(4)。

I＝c₀-c₁₈₀＝(A0-B0)

Q＝c₉₀-c₂₇₀＝(A1-B1)··········(4)

例如，在使用处于相位180°的检测信号A2和B2以及处于相位270°的检测信号A3和B3的情况下，式(2)的I和Q是下式(5)。

I＝c₀-c₁₈₀＝-(A2-B2)

Q＝c₉₀-c₂₇₀＝-(A3-B3)··········(5)

2相法不能消除每个像素中存在的抽头之间的特性变化，但是可以仅根据两个相位的检测信号获得到对象的深度值d，并且因此可以以等于4相法的帧速率的两倍的帧速率来测量距离。

距离测量模块11的信号处理单元15根据对象的移动等，执行信号处理以对与由4相法计算的延迟时间ΔT相对应的I信号和Q信号以及与由2相法计算的延迟时间ΔT相对应的I信号和Q信号进行适当地选择或混合，通过使用结果计算深度值d，并且输出深度图。

<3.深度图的输出定时>

接下来，将描述由距离测量模块11生成的深度图的输出定时。

图6是示出距离测量模块11的光接收单元14的驱动和深度图的输出定时的图。

如上所述，通过以时分方式按相位0°、相位90°、相位180°和相位270°的顺序改变相位来驱动距离测量模块11的光接收单元14以接收反射光，并且以用于通过2相法计算深度值d的两个相位为一组来连续驱动光接收单元14。

即，如图6所示，光接收单元14从时间t1开始连续以相位0°和相位90°接收光。在从时间t2到时间t3的待机时段之后，光接收单元14从时间t3开始连续以相位180°和相位270°接收光。接下来，在从时间t4到时间t5的预定待机时段之后，光接收单元14从时间t5开始连续以相位180°和相位270°接收光。在从时间t6到时间t7的待机时段之后，光接收单元14从时间t7开始连续以相位0°和相位90°接收光。

每个相位的光接收操作包括：使复位晶体管44A和复位晶体管44B导通以对电荷进行复位的复位操作、在FD单元42A和FD单元42B中累积电荷的集合操作(integrationoperation)以及读取FD单元42A和FD单元42B中累积的电荷的读出操作。

信号处理单元15通过使用四个相位的像素数据来计算深度值，并且以两个相位为单位输出深度图。

具体地，信号处理单元15在时间t4处通过使用从时间t1到时间t4的四个相位的像素数据生成并输出深度图Depth#1。在下一时间t6处，信号处理单元15通过使用从时间t3到时间t6的四个相位的像素数据来生成并输出深度图Depth#2。在下一时间t8处，信号处理单元15通过使用从时间t5到时间t8的四个相位的像素数据来生成并输出深度图Depth#3。

通过以这种方式以两个相位为一组连续驱动，在对象正在移动的情况下，可以在通过2相法计算的深度值中抑制对象移动的影响。

<4.信号处理单元的详细配置示例>

图7是示出信号处理单元15的详细配置的框图。

信号处理单元15包括校正处理单元61、2相处理单元62、4相处理单元63、移动估计单元64、幅度估计单元65、固定模式估计单元66、混合处理单元67和相位计算单元68。

来自光接收单元14的像素阵列单元22的每个像素的检测信号A0至A3以及检测信号B0至B3被顺序地提供给信号处理单元15。检测信号A0至A3是通过在第一抽头32A中将相位顺序地设置为0°、90°、180°和270°而获得的检测信号A。检测信号B0至B3是通过在第二抽头32B中将相位顺序地设置为0°、90°、180°和270°而获得的检测信号B。

如参照图6所描述的，信号处理单元15针对每个像素，通过使用相位0°、相位90°、相位180°和相位270°的最新的检测信号A0至A3以及检测信号B0至B3，生成并输出深度图。检测信号A0至A3以及检测信号B0至B3的组合包括相位180°和相位270°的两个相位的检测信号是图8的A中所示的最新的检测信号的情况，以及相位0°和相位90°的两个相位的检测信号是图8的B中所示的最新的检测信号的情况。

在以下描述中，为简单描述，将通过下述情况为例来描述信号处理单元15的每个处理：对于从光接收单元14提供给信号处理单元15的检测信号A0至A3以及检测信号B0至B3的组合，图8的A中所示的相位180°和相位270°的两个相位的检测信号是最新的检测信号。

注意，在如图8的B所示的那样相位0°和相位90°的两个相位的检测信号是最新的检测信号的情况下，可以通过将相位180°、相位270°、相位0°和相位90°的检测信号视为检测信号A0至A3以及检测信号B0至B3并且将符号取反，来执行类似的处理。

返回图7的描述，信号处理单元15针对作为待处理的像素的每个像素，顺序地对从光接收单元14提供的像素阵列单元22的每个像素的检测信号A0至A3以及检测信号B0至B3执行类似的处理。因此，在下文中，信号处理单元15的每个处理将被描述为作为待处理的像素的一个像素的处理。

从光接收单元14提供给信号处理单元15的作为待处理的像素的预定像素21的检测信号A0至A3以及检测信号B0至B3被提供给4相处理单元63、移动估计单元64、幅度估计单元65和固定模式估计单元66。此外，相位180°和相位270°的两个相位的最新检测信号A2、A3、B2和B3被提供给校正处理单元61。

校正处理单元61通过使用从固定模式估计单元66提供的校正参数，来执行用于校正待处理的像素的第一抽头32A的检测信号A的抽头与第二抽头32B的检测信号B的抽头之间的特性变化(灵敏度差异)的处理。

在本实施方式中，待处理的像素的第二抽头32B的检测信号B与第一抽头32A的检测信号A匹配，并且校正处理单元61对相位180°和相位270的检测信号A(A2，A3)和B(B2，B3)中的每一个执行以下校正处理。

A’＝A

B’＝c0+c1·B··········(6)

此处，c0和c1是从固定模式估计单元66提供的校正参数，c0表示检测信号B相对于检测信号A的偏移，并且c1表示检测信号B相对于检测信号A的增益。

式(6)中的检测信号A’和检测信号B’表示校正处理后的检测信号。注意，在校正处理中，第一抽头32A的检测信号A可以与待处理的像素的第二抽头32B的检测信号B匹配，也可以与检测信号A与检测信号B的中间匹配。

校正处理单元61将校正处理后的相位180°的检测信号A2’和检测信号B2’以及相位270°的检测信号A3’和检测信号B3’提供给2相处理单元62。

2相处理单元62通过使用来自校正处理单元61的相位180°的检测信号A2’和检测信号B2’以及相位180°的检测信号A3’和检测信号B3’，通过式(5)计算2相法的I信号和Q信号。

注意，在下文中，为了区别于由4相处理单元63计算的4相法的I信号和Q信号，将2相法的I信号和Q信号描述为I2信号和Q2信号。

2相处理单元62将通过式(5)计算出的2相法的I2信号和Q2信号提供给混合处理单元67。

4相处理单元63通过使用从光接收单元14提供的待处理的像素的检测信号A0至A3以及检测信号B0至B3，通过式(3)计算4相法的I信号和Q信号。在下文中，为了区别于2相法的I2信号和Q2信号，将4相法的I信号和Q信号描述为I4信号和Q4信号。

4相处理单元63将通过式(3)计算出的4相法的I4信号和Q4信号提供给混合处理单元67。

移动估计单元64通过使用待处理的像素的检测信号A0至A3以及检测信号B0至B3，估计(计算)在相位0°和相位90°的组与相位180°和相位270°的组的组之间对象的移动量diff。

移动估计单元64可以采用以下diff0至diff2中的任一个作为在组之间对象的移动量diff。

diff0＝|(A0+B0+A1+B1)-(A2+B2+A3+B3)|

diff1＝|(A0+B0)-(A2+B2)|+|(A1+B1)-(A3+B3)|·····(7)

diff2＝sqrt(|(A0+B0)-(A2+B2)|²+|(A1+B1)-(A3+B3)|²)

diff0是用于根据组之间的I信号和Q信号之和的差异计算移动量的式。diff1是用于根据组之间的I信号的差异计算移动量的式。diff2是用于根据IQ平面上组之间的距离计算移动量的式。可以固定地确定或者可以通过设置信号等来选择(切换)采用移动量diff0至diff2中的哪一个。

移动估计单元64将估计的对象的移动量diff提供给固定模式估计单元66和混合处理单元67。

幅度估计单元65估计(计算)从光接收单元14提供的待处理的像素的检测信号的幅度amp。此处的幅度表示由调制的发射光引起的两个相位之间的检测信号的差异。大幅度amp指示发射光从对象充分反射并入射到待处理的像素上。小幅度amp表示大噪声。

幅度估计单元65可以采用以下amp0至amp3中的任一个作为检测信号的幅度amp。

amp0＝|A2-B2)-(A3-B3)|

amp1＝sqrt(|(A2-B2)|²+|(A3-B3)|²)

amp2＝|(A0-B0)-(A2-B2)|+|(A1-B1)-(A3-B3)|)·····(8)

amp3＝sqrt(|(A0-B0)-(A2-B2)|²+|(A1-B1)-(A3-B3)|²)

amp0和amp1是通过仅使用两个相位(即，相位180°和相位270°)的最新检测信号来计算幅度的式。amp2和amp3是通过使用四个相位(即，相位0°、相位90°、相位180°和相位270°)的最新检测信号来计算幅度的式。

幅度估计单元65将估计的检测信号的幅度amp提供给固定模式估计单元66和混合处理单元67。

固定模式估计单元66通过使用待处理的像素的检测信号A0至A3以及检测信号B0至B3、从移动估计单元64提供的对象的移动量diff以及从幅度估计单元65提供的幅度amp，来估计(计算)作为用于校正抽头之间的特性变化(灵敏度差异)的校正参数的偏移c0和增益c1。

作为待处理的像素的预定像素21的第一抽头32A和第二抽头32B的光接收时段的相位差为180°。因此，在理想条件下，在偏移c0和增益c1与检测信号A0至A3和检测信号B0至B3之间建立以下关系。

B0＝c0+c1·A2

B1＝c0+c1·A3

B2＝c0+c1·A0·····(9)

B3＝c0+c1·A1

当如下放置矩阵A、x和y时，

[数学式3]

式(9)可以表示为y＝Ax，并且因此可以通过最小二乘法通过下式(10)计算矩阵x，即偏移c0和增益c1。

[数学式4]

X＝(A^TA)^-1A^Ty···(10)

更严格地，固定模式估计单元66根据从移动估计单元64提供的对象的移动量diff和从幅度估计单元65提供的幅度amp，保持当前偏移c0和增益c1或者更新到新计算的偏移c0和增益c1。稍后将参照图10描述细节。

根据移动量diff和幅度amp，混合处理单元67将从2相处理单元62提供的2相法的I2信号和Q2信号以及从4相处理单元63提供的4相法的I4信号和Q4信号进行混合，并且计算混合后的I信号和Q信号，并将I信号和Q信号提供给相位计算单元68。

具体地，基于从移动估计单元64提供的对象的移动量diff，混合处理单元67基于移动量diff通过下式(11)计算混合率α_diff。

[数学式5]

根据式(11)，如图9的A所示，在从移动估计单元64提供的移动量diff小于第一阈值dth0的情况下，设置混合率α_diff＝0。在移动量diff等于或大于第二阈值dth1的情况下，设置混合率α_diff＝1。在移动量diff等于或大于第一阈值dth0且小于第二阈值dth1的情况下，在0＜α_diff＜1的范围内线性确定混合率α_diff。

此外，基于从幅度估计单元65提供的幅度amp，混合处理单元67基于幅度amp通过下式(12)计算混合率α_diff。

[数学式6]

根据式(12)，如图9的B所示，在从幅度估计单元65提供的幅度amp小于第一阈值ath0的情况下，设置混合率α_amp＝0。在幅度amp等于或大于第二阈值ath1的情况下，设置混合率α_amp＝1。在幅度amp等于或大于第一阈值且小于第二阈值ath1的情况下，在0＜α_amp＜1的范围内线性确定混合率α_amp。

然后，混合处理单元67通过下式(12A)或(12B)中的任一个根据基于移动量diff的混合率α_diff和基于幅度amp的混合率α_amp计算最终混合率α。

α＝min(α_diff，α_amp)··········(12A)

α＝β·α_diff+(1-β)·α_amp··········(12B)

注意，式(12B)中的β是用于将混合率α_diff和混合率α_amp进行混合的混合系数，并且例如被预先设置。

混合处理单元67通过使用计算出的最终混合率α通过式(13)，来计算通过将2相法的I2信号和Q2信号以及4相法的I4信号和Q4信号进行混合而获得的I信号和Q信号，并且将信号提供给相位计算单元68。

I＝α·I2+(1-α)·I4

Q＝α·Q2+(1-α)·I4··········(13)

在移动量diff较大的情况下，混合处理单元67执行混合以增加2相法的I2信号和Q2信号的比率。在移动量diff较小的情况下，混合处理单元67执行混合以增加具有较小的噪声的4相法的I4信号和Q4信号。此外，在幅度amp较小(有噪声)的情况下，混合处理单元67执行混合以增加4相法的I4信号和Q4信号的比率，从而提高信噪比。

图7的相位计算单元68使用从混合处理单元67提供的I信号和Q信号，通过上式(1)和(2)来计算深度值d，即到对象的距离信息。如参照图6所描述的，每次更新两个相位的检测信号A和检测信号B时，相位计算单元68通过使用四个相位的最新的检测信号A和检测信号B计算并输出深度值d(深度图)。

图10是示出固定模式估计单元66的详细配置示例的框图。

固定模式估计单元66包括系数计算单元81、系数更新单元82和系数存储单元83。

来自光接收单元14的待处理的像素的检测信号A0至A3以及检测信号B0至B3被提供给系数计算单元81。来自移动估计单元64的对象的移动量diff和来自幅度估计单元65的检测信号的幅度amp被提供给系数更新单元82。

系数计算单元81通过上式(10)计算矩阵x，即偏移c0和增益c1。系数计算单元81将计算出的偏移c0和增益c1作为新偏移next_c0和新增益next_c1提供给系数更新单元82作为更新候选。

基于从移动估计单元64提供的对象的移动量diff，系数更新单元82通过下式(14)基于移动量diff计算混合率u_diff。

[数学式7]

根据式(14)，如图11的A所示，在从移动估计单元64提供的移动量diff小于第一阈值uth0的情况下，设置混合率u_diff＝1。在移动量diff等于或大于第二阈值uth1的情况下，设置混合率u_diff＝0。在移动量diff等于或大于第一阈值uth0且小于第二阈值uth1的情况下，在0＜u_diff＜1的范围内线性确定混合率u_diff。

此外，基于从幅度估计单元65提供的幅度amp，系数更新单元82基于幅度amp通过下式(15)计算混合率u_amp。

[数学式8]

根据式(15)，如图11的B所示，在从幅度估计单元65提供的幅度amp小于第一阈值vth0的情况下，设置混合率u_amp＝0。在幅度amp等于或大于第二阈值vth1的情况下，设置混合率u_amp＝1。在幅度amp等于或大于第一阈值vth0且小于第二阈值vth1的情况下，在0＜u_amp＜1的范围内线性确定混合率u_am。

然后，系数更新单元82根据基于移动量diff的混合率u_diff和基于幅度amp的混合率u_amp通过以下式(16)计算最终混合率u。

u＝min(u_diff，u_amp)··········(16)

使用计算出的最终混合率u，系数更新单元82将来自系数计算单元81的新偏移next_c0和新增益next_c1与来自系数存储单元83的当前偏移prev_c0和增益prev_c1进行混合，并且通过下式(17)计算更新的偏移c0和增益c1。

c0＝u·next_c0+(1-u)·prev_c0

c1＝u·next_c1+(1-u)·prev_c1··········(17)

系数更新单元82将计算的更新的偏移c0和增益c1提供给校正处理单元61(图7)并且将偏移c0和增益c1存储在系数存储单元83中。

系数存储单元83存储从系数更新单元82提供的偏移c0和增益c1。然后，在下一新偏移next_c0和新增益next_c1从系数计算单元81提供给系数更新单元82的定时处进行更新之前，存储在系数存储单元83中的偏移c0和增益c1作为当前的偏移prev_c0和增益prev_c1被提供给系数更新单元82。

在幅度amp足够大并且移动量diff较小的情况下，可以以最高精度计算要由系数计算单元81计算的新偏移next_c0和新增益next_c1。在幅度amp足够大并且移动量diff较小的情况下，系数更新单元82通过增加新偏移next_c0和新增益next_c1的混合率来执行更新。在幅度amp较小或移动量diff较大的情况下，系数更新单元82增加当前的偏移prev_c0和增益prev_c1的混合率，设置混合率u以保持当前的偏移prev_c0和增益prev_c1，并且计算更新的偏移c0和增益c1。

注意，在以上示例中，系数更新单元82通过使用从移动估计单元64提供的移动量diff和从幅度估计单元65提供的幅度amp两者来更新偏移c0和增益c1，但还可以仅使用移动量diff或幅度amp中的一个来更新偏移c0和增益c1。在这种情况下，将基于移动量diff的混合率u_diff或基于幅度amp的混合率u_amp替换作为式(17)的混合率u。

<5.信号处理单元的深度值计算处理>

接下来，参照图12的流程图，将描述用于计算要由信号处理单元15处理的像素的深度值的深度值计算处理。例如，当提供作为待处理的像素的像素阵列单元22中的预定像素21的检测信号A0至A3以及检测信号B0至B3时，开始该处理。

首先，在步骤S1中，4相处理单元63通过使用从光接收单元14提供的待处理的像素的检测信号A0至A3以及检测信号B0至B3，通过式(3)计算4相法的I4信号和Q4信号。所计算出的4相法的I4信号和Q4信号被提供给混合处理单元67。

在步骤S2中，移动估计单元64通过使用待处理的像素的检测信号A0至A3以及检测信号B0至B3，来估计相位0°和相位90°的组与相位180°和相位270°的组的组之间的对象的移动量diff。例如，计算式(7)的diff0至diff2中的一个作为移动量diff。移动估计单元64将估计的对象的移动量diff提供给固定模式估计单元66和混合处理单元67。

在步骤S3中，幅度估计单元65通过计算式(8)的amp0至amp3中的任一个来估计待处理的像素的检测信号的幅度amp。幅度估计单元65将估计的检测信号的幅度amp提供给固定模式估计单元66和混合处理单元67。

步骤S1至步骤S3可以以不同的顺序处理或者可以同时处理。

在步骤S4中，固定模式估计单元66通过使用待处理的像素的检测信号A0至A3以及检测信号B0至B3、从移动估计单元64提供的对象的移动量diff、以及从幅度估计单元65提供的检测信号的幅度amp，估计作为用于校正抽头之间的特性变化的校正参数的偏移c0和增益c1。估计的偏移c0和增益c1被提供给校正处理单元61。

在步骤S5中，校正处理单元61通过使用从固定模式估计单元66提供的校正参数，来执行用于校正待处理的像素的第一抽头32A的检测信号A和第二抽头32B的检测信号B的抽头之间的特性变化的处理。具体地，校正处理单元61使用作为从固定模式估计单元66提供的校正参数的偏移c0和增益c1，通过式(6)来执行用于将待处理的像素的第二抽头32B的检测信号B与第一抽头32A的检测信号A进行匹配的处理。校正处理后的相位180°的检测信号A2’和B2’以及相位270°的检测信号A3’和B3’被提供给2相处理单元62。

在步骤S6中，2相处理单元62通过使用校正处理后的相位180°的检测信号A2’和B2’以及相位270°的检测信号A3’和B3’，通过式(5)计算2相法的I2信号和Q2信号。计算出的I2信号和Q2信号被提供给混合处理单元67。

在步骤S7中，根据移动量diff和幅度amp，混合处理单元67将从2相处理单元62提供的2相法的I2信号和Q2信号以及从4相处理单元63提供的4相法的I4信号和Q4信号进行混合，并且计算混合后的I信号和Q信号，并将I信号和Q信号提供给相位计算单元68。

在步骤S8中，相位计算单元68使用从混合处理单元67提供的I信号和Q信号以通过上式(1)和(2)来计算到对象的深度值d，并且将深度值d输出至后续阶段。

以从光接收单元14提供的像素阵列单元22的每个像素作为待处理的像素，顺序地执行上述步骤S1至步骤S8的处理。

由于针对像素阵列单元22的每个像素的对象的移动量diff和检测信号的幅度amp不同，因此以对于每个像素不同的混合率α对2相法的I2信号和Q2信号以及从4相处理单元63提供的4相法的I4信号和Q4信号进行混合，并且计算I信号和Q信号。

通过上述深度值计算处理，在对象的移动量diff较大的情况下，以2相法的I2信号和Q2信号为优先来计算深度值d，并且在移动量diff较小以及对象静止的情况下，以4相法的I4信号和Q4信号为优先来计算深度值d。此外，抽头之间的特性变化(灵敏度差异)(即，固定模式噪声)根据四个相位的检测信号进行估计，并且由校正处理单元61进行校正。因此，可以以高精度计算2相处理的I2信号和Q2信号。通过这种配置，可以提高信噪比。即，可以提高距离测量精度。

由于每次接收到两个相位的检测信号时，信号处理单元15均输出深度值(深度图)，因此可以以高信噪比实现高帧速率。

<6.通过距离测量模块进行的驱动的修改例>

参照图13至图15，将描述距离测量模块11的驱动的修改例。除了上述驱动之外，距离测量模块11可以选择性地执行以下第一修改例至第三修改例的驱动。

图13的A示出距离测量模块11的驱动的第一修改例。

在上述实施方式中，光发射控制单元13例如向发光单元12提供诸如20MHz的单个频率的光发射控制信号，并且发光单元12向对象发射单个频率的调制光。

相比之下，如图13的A所示，光发射控制单元13使发光单元12以多个频率发射发射光，并且使光接收单元14接收光。在图13的A中，要从发光单元12发射的调制光的频率在“高频(HIGH FREQ.)”和“低频(LOW FREQ.)”之间变化。“HIGH FREQ.”是高频率，例如100MHz等，并且“LOW FREQ.”是低频率，例如20MHz等。

光接收单元14以相位0°和相位90°这两个相位依次接收以高频发射的第一调制光和以低频发射的第二调制光。接下来，光接收单元14以相位180°和相位270°这两个相位依次接收以高频发射的第一调制光和以低频发射的第二调制光。每个频率处的深度值的计算方法与上述实施方式类似。

距离测量模块11使发光单元12以多个频率发射光，并且使光接收单元14接收光。信号处理单元15执行上述深度值计算处理。通过使用多个频率计算深度值，可以消除根据调制频率的多个距离被确定为相同的现象(深度混叠(depth aliasing))。

图13的B示出距离测量模块11的驱动的第二修改例。

在上述实施方式中，光接收单元14的每个像素21接收调制光的光接收时段(曝光时段)被设置为单一时间。

相比之下，如图13的B所示，每个像素21可以通过设置多个光接收时段(曝光时段)来接收调制光。在图13的B中，光接收时段在“高灵敏度(HIGH SENSITIVITY)”与“低灵敏度(LOW SENSITIVITY)”之间变化。“HIGH SENSITIVITY”是在将光接收时段设置为第一光接收时段的情况下的高灵敏度，并且“LOW SENSITIVITY”是在将光接收时段设置为比第一光接收时段短的第二光接收时段的情况下的低灵敏度。

光接收单元14以相位0°和相位90°这两个相位、以高灵敏度和低灵敏度依次接收以预定频率发射的调制光。接下来，光接收单元14以相位180°和相位270°这两个相位、以高灵敏度和低灵敏度依次接收以预定频率发射的调制光。每个频率下的深度值的计算方法与上述实施方式类似。

距离测量模块11使发光单元12以预定频率发射光，并且使光接收单元14以高灵敏度和低灵敏度这两种灵敏度级别接收光。信号处理单元15执行上述深度值计算处理。高灵敏度的光接收可以实现远距离测量，但低灵敏度的光接收可能会引起饱和。通过使用多个灵敏度级别来计算深度值，可以扩大距离测量范围。

在图13的B的示例中，以相同的两个相位执行高灵敏度检测和低灵敏度检测，但也可以以两个不同的相位执行高灵敏度检测和低灵敏度检测。具体地，首先可以执行驱动，以按相位0°和相位90°这两个相位以高灵敏度接收光，以相位180°和相位270°这两个相位以低灵敏度接收光，以相位180°和相位270°这两个相位以高灵敏度接收光，并且然后以相位0°和相位90°这两个相位以低灵敏度接收光。

在图13的A中描述的驱动的第一修改例和图13的B中描述的驱动的第二修改例这两者中，以多个频率或多个灵敏度级别按相位0°、相位90°、相位180°、相位270°这4个相位执行检测，但也可以以多个频率或多个灵敏度级别仅执行两个相位的检测。

例如，图14的A示出了如下示例，其中在图13的A所示的以多个频率进行的驱动中，对于以低频发射的第二调制光，省略了相位180°和相位270°这两个相位的光接收，并且仅在高频下执行四个相位的检测。

此外，图14的B示出了如下示例，其中在图13的B所示的以多个灵敏度级别进行的驱动中，省略了利用低灵敏度的相位180°和相位270°这两个相位的光接收，并且仅以高灵敏度执行四个相位的检测。

以这种方式，可以通过以多个频率或多个灵敏度级别仅按两个相位执行检测来提高帧速率。

图15示出距离测量模块11的驱动的第三修改例。

在上述实施方式中，光接收单元14的像素阵列单元22的所有像素21被驱动以在预定定时处以相位0°、相位90°、相位180°或相位270°的相同相位执行检测。

相比之下，如图15的A所示，像素阵列单元22的像素21可以按棋盘格式样被分类为像素21X和像素21Y，并且可以被驱动以在像素21X与像素21Y之间按不同相位执行检测。

例如，如图15的C所示，距离测量模块11的光接收单元14可以被驱动，使得在某一帧时段中，像素阵列单元22的像素21X以相位0°执行检测，而像素21Y以相位90°执行检测，并且在下一帧时段中，像素阵列单元22的像素21X以相位180°执行检测，而像素21Y以相位270°执行检测。然后，通过使用在两个帧时段中获得的四个相位的检测信号通过上述深度值计算处理来计算深度值。

图1的距离测量模块11可以应用于例如安装在车辆上并测量到车辆外部的对象的距离的车载系统。此外，例如，图1的距离测量模块11可以应用于测量到包括用户的手等的对象的距离并基于其测量结果识别用户的姿势的姿势识别系统等。

<7.电子装置的配置示例>

上述距离测量模块11可以安装在电子装置上，电子装置例如是智能电话、平板终端、移动电话、个人计算机、游戏机、电视接收机、可穿戴终端、数码相机、数码摄像机等。

图16是示出作为配备有距离测量模块的电子装置的智能电话的配置示例的框图。

如图16所示，智能电话101包括经由总线111连接的距离测量模块102、图像捕获装置103、显示器104、扬声器105、麦克风106、通信模块107、传感器单元108、触摸面板109和控制单元110。此外，控制单元110通过CPU执行程序而具有作为应用处理单元121和操作系统处理单元122的功能。

图1的距离测量模块11应用于距离测量模块102。例如，距离测量模块102设置在智能电话101的正面并且对智能电话101的用户执行距离测量，从而输出用户的面部、手、手指等的表面形状的深度值作为距离测量结果。

图像捕获装置103设置在智能电话101的正面并且捕获作为被摄体的智能电话101的用户的图像，从而获取捕获了用户的图像。注意，尽管未示出，也可以采用还将图像捕获装置103设置在智能电话101的背面的配置。

显示器104显示用于由应用处理单元121和操作系统处理单元122执行处理的操作画面、图像捕获装置103捕获的图像等。例如，当通过智能电话101通话时，扬声器105和麦克风106输出对方的语音并拾取用户的语音。

通信模块107经由通信网络执行通信。传感器单元108感测速度、加速度、接近度等。触摸面板109获取用户对显示器104上显示的操作画面的触摸操作。

应用处理单元121执行用于通过智能电话101提供各种服务的处理。例如，应用处理单元121可以执行用于基于从距离测量模块102提供的深度、通过计算机图形创建虚拟再现用户的面部表情的面部并且在显示器104上显示面部的处理。此外，例如，应用处理单元121可以执行用于基于从距离测量模块102提供的深度来创建任意三维对象的三维形状数据的处理。

操作系统处理单元122执行用于实现智能电话101的基本功能和操作的处理。例如，操作系统处理单元122可以执行用于基于从距离测量模块102提供的深度值来认证用户的面部和解锁智能电话101的处理。此外，操作系统处理单元122可以执行例如用于基于从距离测量模块102提供的深度值来识别用户的姿势并且根据该姿势输入各种操作的处理。

以这种方式配置的智能电话101可以通过采用上述距离测量模块11来实现例如帧速率的提高、功耗的降低和数据传输带宽的降低。利用这种配置，智能电话101可以通过计算机图形创建更流畅地移动的面部，以高精度执行面部认证，减少电池消耗，并且以窄频带传输数据。

<8.计算机的配置示例>

接下来，上述的一系列处理可以由硬件执行或者可以由软件执行。在这一系列处理由软件执行的情况下，构成软件的程序安装在通用计算机等中。

图17是示出安装有执行上述一系列处理的程序的计算机的一个实施方式的配置示例的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202、随机存取存储器(RAM)203和电可擦除可编程只读存储器(EEPROM)204通过总线205互连。总线205还连接至输入输出接口206，并且输入输出接口206连接至外部。

在如上所述的那样配置的计算机中，CPU 201例如经由总线205将存储在ROM 202和EEPROM 204中的程序加载到RAM 203中并且执行该程序，从而执行上述一系列处理。此外，要由计算机(CPU 201)执行的程序除了预先写入ROM 202之外，还可以经由输入输出接口206从外部安装或更新在EEPROM 204中。

利用这种配置，CPU 201执行根据上述流程图的处理或者根据上述框图的配置要执行的处理。然后，CPU 201可以根据需要经由例如输入输出接口206将其处理结果输出至外部。

在本说明书中，计算机根据程序执行的处理不一定必须按照流程图中描述的顺序按时间顺序执行。即，计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或由对象进行的处理)。

此外，程序可以由一台计算机(处理器)进行处理，或者可以由多台计算机以分布式的方式进行处理。此外，该程序可以传输至远程计算机并且被执行。

<9.应用于移动对象的示例>

根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以被实现为安装在任何类型的移动对象上的装置，移动对象包括汽车、电动车辆、混合动力车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人等。

图18是示出车辆控制系统的示意性配置示例的框图，车辆控制系统是可以应用根据本公开的技术的移动对象控制系统的一个示例。

车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图18所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、语音和图像输出单元12052和车载网络接口(I/F)12053。

驱动系统控制单元12010根据各种程序控制与车辆驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于生成车辆的驱动力的驱动力生成装置(例如内燃机或驱动马达)的控制装置、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等。

车身系统控制单元12020根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元12020用作以下的控制装置：无钥匙进入系统、智能钥匙系统、电动车窗装置或这包括前照灯、尾灯、刹车灯、方向指示器、雾灯等的各种灯。在这种情况下，从替换钥匙的便携式装置传输的无线电波或来自各种开关的信号可以输入至车身系统控制单元12020。车身系统控制单元12020接收这些无线电波或信号的输入并且控制车辆的门锁装置、电动车窗装置、灯等。

车外信息检测单元12030检测安装有车辆控制系统12000的车辆的外部的信息。例如，图像捕获单元12031连接至车外信息检测单元12030。车外信息检测单元12030使图像捕获单元12031捕获车辆外部的图像，并且接收捕获的图像。车外信息检测单元12030可以基于接收到的图像对人、汽车、障碍物、标志、路面上的字符等执行对象检测处理或距离检测处理。

图像捕获单元12031是接收光并根据接收到的光的量输出电信号的光学传感器。图像捕获单元12031可以将电信号作为图像输出或者将电信号作为距离测量信息输出。此外，由图像捕获单元12031接收到的光可以是可见光或不可见光，包括红外线等。

车内信息检测单元12040检测车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测单元12041连接至车内信息检测单元12040。驾驶员状态检测单元12041可以包括例如捕获驾驶员的图像的摄像机。车内信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息计算驾驶员的疲劳度或注意力集中度，或者确定驾驶员没有打瞌睡。

微型计算机12051可以基于车外信息检测单元12030或车内信息检测单元12040获取的车辆内部和外部的信息，计算驱动力生成装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以执行旨在实现高级驾驶辅助系统(ADAS)的功能的协同控制，包括避免车辆碰撞或减轻碰撞、基于车辆之间的距离的跟随驾驶、保持车速驾驶、车辆碰撞警告、车道偏离警告等。

此外，微型计算机12051可以通过基于车外信息检测单元12030或车内信息检测单元12040获取的车辆周围的信息控制驱动力生成装置、转向机构、制动装置等来执行旨在其中车辆在不依赖于驾驶员的操作的情况下自主地行驶的自动驾驶等的协同控制。

此外，微型计算机12051可以基于由车外信息检测单元12030获取的车辆外部的信息向车身系统控制单元12020输出控制指令。例如，微型计算机12051可以执行旨在防止眩光的协同控制，例如根据由车外信息检测单元12030检测到的前方车辆或迎面车辆的位置来控制前照灯以及将远光灯切换为近光灯。

语音和图像输出单元12052将语音或图像中的至少一个的输出信号传输至输出装置，该输出装置可以在视觉上或听觉上向车辆的乘员或车辆的外部通知信息。在图18的示例中，音频扬声器12061、显示单元12062和仪器面板12063被示为输出装置。显示单元12062可以包括例如车载显示器和平视显示器中的至少一个。

图19是示出图像捕获单元12031的安装位置的示例的图。

在图19中，车辆12100包括图像捕获单元12101、12102、12103、12104和12105，作为图像捕获单元12031。

例如，在诸如车辆12100的前鼻、侧视镜、后保险杠、后门和车厢中的挡风玻璃的上部的位置处设置图像捕获单元12101、12102、12103、12104和12105。设置在前鼻的图像捕获单元12101和设置在车厢中的挡风玻璃的上部的图像捕获单元12105主要获取车辆12100前面的图像。设置在侧视镜中的图像捕获单元12102和图像捕获单元12103主要获取车辆12100的侧面图像。设置在后保险杠或后门中的图像捕获单元12104主要获取车辆12100后面的图像。由图像捕获单元12101和图像捕获单元12105捕获的前面图像主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。

注意，图19示出图像捕获单元12101至图像捕获单元12104的图像捕获范围的一个示例。图像捕获范围12111指示设置在前鼻中的图像捕获单元12101的图像捕获范围。图像捕获范围12112和图像捕获范围12113分别指示设置在侧视镜中的图像捕获单元12102和图像捕获单元12103的图像捕获范围。图像捕获范围12114指示设置在后保险杠或后门中的图像捕获单元12104的图像捕获范围。例如，由图像捕获单元12101至图像捕获单元12104捕获的图像数据被叠加，由此获得从上方观看的车辆12100的鸟瞰图像。

图像捕获单元12101至图像捕获单元12104中的至少一个可以具有获取距离信息的功能。例如，图像捕获单元12101至图像捕获单元12104中的至少一个可以是包括多个图像捕获元件的立体摄像机或者具有用于检测相位差的像素的图像捕获元件。

例如，基于从图像捕获单元12101至图像捕获单元12104获得的距离信息，微型计算机12051确定到图像捕获范围12111至12114中的每个三维对象的距离和距离的时间变化(相对于车辆12100的相对速度)，从而特别提取在车辆12100的行驶路径上最近的并且以预定速度(例如，0km/h或更高)在与车辆12100基本相同的方向上行驶的三维对象作为前方车辆。此外，微型计算机12051可以设置前方车辆之前要保证的车距，并且执行自动刹车控制(包括跟车停止控制)、自动加速控制(包括跟车起步控制)等。以这种方式，可以执行旨在其中车辆在不依赖于驾驶员的操作的情况下自主行驶的自动驾驶的协同控制。

例如，基于从图像捕获单元12101至12104获得的距离信息，微型计算机12051将提取关于三维对象的三维对象数据并且将其分类为两轮车辆、普通车辆、大型车辆、行人、电线杆以及其他三维对象，并且以使用数据以进行自动避障。例如，微型计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员能够视觉识别的障碍物和难以视觉识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。当碰撞风险等于或高于设置值并且存在碰撞的可能性时，微型计算机12051可以经由音频扬声器12061或显示单元12062向驾驶员输出警报或者通过经由驱动系统控制单元12010执行强制减速或避让转向，来提供用于避免碰撞的驾驶辅助。

图像捕获单元12101至12104中的至少一个可以是检测红外线的红外摄像机。例如，微型计算机12051可以通过确定图像捕获单元12101至12104的捕获图像中是否存在行人来识别行人。这样的行人识别例如通过下述过程来执行：在用作红外线摄像机的图像捕获单元12101至12104的捕获图像中提取特征点的过程、以及对指示对象的轮廓的一系列特征点执行模式匹配处理以确定该对象是否是行人的过程。在微型计算机12051通过确定在图像捕获单元12101至12104的捕获图像中存在行人来识别到行人的情况下，语音和图像输出单元12052控制显示单元12062，使得用于强调的矩形轮廓叠加在识别的行人上。此外，语音和图像输出单元12052可以控制显示单元12062以在期望的位置处显示指示行人的图标等。

上面已经描述了可以应用根据本公开的技术的车辆控制系统的一个示例。根据本公开的技术可以应用于上述配置中的车外信息检测单元12030和车内信息检测单元12040。具体地，通过使用作为车外信息检测单元12030或车内信息检测单元12040的距离测量模块11进行的距离测量，可以执行用于识别驾驶员的姿势的处理，根据姿势执行各种操作(例如，音频系统、导航系统、空调系统)，并且更准确地检测驾驶员的状态。此外，通过使用由距离测量模块11进行的距离测量，可以识别路面的不平坦度并且将不平坦度反映到对悬架的控制上。

注意，本技术可以应用于间接ToF方法之外的对投射到对象上的光执行幅度调制的方法，该方法称为连续波方法。此外，根据光接收单元14的光电二极管31的结构，本技术可以应用于具有将电荷分配到两个电荷存储单元的结构的距离测量传感器，例如电流辅助光子解调器(CAPD)结构距离测量传感器或交替将光电二极管的脉冲和电荷加到两个栅极的栅极方法距离测量传感器。

本技术的实施方式不限于上述实施方式，并且在不脱离本技术的精神的情况下可以进行各种修改。

本说明书中的上述多项本技术可以独立实现，只要不矛盾即可。当然，可以组合使用任意多项本技术。例如，任一实施方式中描述的本技术的一些或全部可以与另外的实施方式中描述的本技术的一些或全部进行组合。此外，还可以结合上面未描述的其他技术来实现上面描述的任意本技术中的一些或全部。

此外，例如，被描述为一个装置(或处理单元)的配置可以被划分并被配置为多个装置(或处理单元)。相比之下，上面被描述为多个装置(或处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外，当然，除了上述配置之外的配置可以添加到每个装置(或每个处理单元)的配置。此外，如果整个系统的配置或操作基本相同，则一个装置(或处理单元)的配置的一部分可以包括在另外的装置(或其他处理单元)的配置中。

此外，在本说明书中，系统是指多个部件(装置、模块(零件)等)的集合，并且所有部件是否在同一壳体中并不重要。因此，容纳在单独的壳体中并经由网络连接的多个装置以及其中多个模块容纳在一个壳体中的一个装置都是系统。

此外，例如，上述程序可以在任意装置中执行。在这种情况下，装置至少需要具有能够获得必要信息的必要功能(功能块等)。

应当注意，本说明书中描述的效果仅是示例性的而非限制性的，并且可以产生本说明书中描述的效果以外的效果。

注意，本技术可以具有以下配置。

(1)

一种信号处理装置，包括：

估计单元，其在包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由所述光电转换单元进行光电转换而得到的电荷的第二抽头的像素中，通过使用第一检测信号至第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异，所述第一检测信号至所述第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对所述发射光进行反射所生成的反射光而获得的。

(2)

根据上述(1)所述的信号处理装置，其中，

所述估计单元计算所述第二抽头相对于所述第一抽头的偏移和增益作为抽头之间的所述灵敏度差异。

(3)

根据上述(2)所述的信号处理装置，其中，

所述估计单元在所述第一抽头和所述第二抽头的相位异相180度的条件下计算所述第二抽头相对于所述第一抽头的偏移和增益。

(4)

根据上述(2)或(3)所述的信号处理装置，还包括：

幅度估计单元，其估计所述第一检测信号至所述第四检测信号的幅度，

其中，所述估计单元通过基于所估计的所述幅度将所计算的偏移和增益与当前的偏移和增益进行混合来更新偏移和增益。

(5)

根据上述(2)至(4)中任一项所述的信号处理装置，还包括：

移动量估计单元，其估计所述对象在所述像素中的移动量，

其中，所述估计单元通过基于所估计的所述幅度和所述移动量将所计算的偏移和增益与当前的偏移和增益进行混合来更新偏移和增益。

(6)

根据上述(1)至(5)中任一项所述的信号处理装置，还包括：

校正处理单元，其执行校正处理，以用于通过使用如下参数来校正作为所述第一检测信号至所述第四检测信号中的最新的两个检测信号的所述第一检测信号和第二检测信号：其中使用所述参数来估计所述灵敏度差异。

(7)

根据上述(6)所述的信号处理装置，还包括：

2相处理单元，其通过使用校正处理之后的所述第一检测信号和所述第二检测信号来计算2相法的I信号和Q信号；

4相处理单元，其通过使用所述第一检测信号至所述第四检测信号来计算4相法的I信号和Q信号；

混合处理单元，其将所述2相法的I信号和Q信号与所述4相法的I信号和Q信号混合，并且计算混合后的I信号和Q信号；以及

计算单元，其基于所述混合后的I信号和Q信号计算到所述对象的距离信息。

(8)

根据上述(7)所述的信号处理装置，其中，

所述混合处理单元基于所述第一检测信号至所述第四检测信号的幅度和所述对象在所述像素中的移动量，将所述2相法的I信号和Q信号与所述4相法的I信号和Q信号混合。

(9)

根据上述(7)或(8)所述的信号处理装置，其中，

每当所述第一检测信号至所述第四检测信号中的两个相位的检测信号被更新时，所述计算单元计算到所述对象的距离信息。

(10)

一种信号处理方法，包括由信号处理装置进行以下操作：

在包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由所述光电转换单元进行光电转换而得到的电荷的第二抽头的像素中，通过使用第一检测信号至第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异，所述第一检测信号至所述第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对所述发射光进行反射所生成的反射光而获得的。

(11)

一种距离测量模块，包括：

光接收单元，在所述光接收单元中，像素被二维地布置，每个像素包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由所述光电转换单元进行光电转换而得到的电荷的第二抽头；以及

信号处理单元，其包括估计单元，所述估计单元在所述像素中，通过使用第一检测信号至第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异，所述第一检测信号至所述第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对所述发射光进行反射所生成的反射光而获得的。

(12)

根据上述(11)所述的距离测量模块，其中，

所述像素中的每个像素接收通过以多个频率发射所述发射光而获得的所述反射光，并且

所述估计单元估计在所述多个频率中的每个频率处抽头之间的所述灵敏度差异。

(13)

根据上述(11)或(12)所述的距离测量模块，其中，

所述像素中的每个像素以多个曝光时间接收通过发射所述发射光而获得的所述反射光，并且

所述估计单元估计在所述多个曝光时间中的每个曝光时间处抽头之间的所述灵敏度差异。

(14)

根据上述(11)至(13)中任一项所述的距离测量模块，其中，

所述光接收单元被驱动以使第一像素以第一相位接收所述反射光并且同时使第二像素以第二相位接收所述反射光，接下来，使所述第一像素以第三相位接收所述反射光并且同时使所述第二像素以所述第四相位接收所述反射光，并且

所述估计单元通过使用以所述第一相位至所述第四相位检测到的所述第一检测信号至所述第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异。

附图标记列表

11距离测量模块，13光发射控制单元，14光接收单元，15信号处理单元，21像素，18参考信号生成单元，18a，18b DAC，18c控制单元，21像素，22像素阵列单元，23驱动控制单元，31光电二极管，32A第一抽头，32B第二抽头，61校正处理单元，62 2相处理单元，63 4相处理单元，64移动估计单元，65幅度估计单元，66固定模式估计单元，67混合处理单元，68相位计算单元，81系数计算单元，82系数更新单元，83系数存储单元，101智能电话，102距离测量模块，201 CPU，202 ROM，203 RAM。

Claims (14)

1.一种信号处理装置，包括：

估计单元，其在包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由所述光电转换单元进行光电转换而得到的电荷的第二抽头的像素中，通过使用第一检测信号至第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异，所述第一检测信号至所述第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对所述发射光进行反射所生成的反射光而获得的。

2.根据权利要求1所述的信号处理装置，其中，

所述估计单元计算所述第二抽头相对于所述第一抽头的偏移和增益作为抽头之间的所述灵敏度差异。

3.根据权利要求2所述的信号处理装置，其中，

所述估计单元在所述第一抽头和所述第二抽头的相位异相180度的条件下计算所述第二抽头相对于所述第一抽头的偏移和增益。

4.根据权利要求2所述的信号处理装置，还包括：

幅度估计单元，其估计所述第一检测信号至所述第四检测信号的幅度，

其中，所述估计单元通过基于所估计的所述幅度将所计算的偏移和增益与当前的偏移和增益进行混合来更新偏移和增益。

5.根据权利要求4所述的信号处理装置，还包括：

移动量估计单元，其估计所述对象在所述像素中的移动量，

其中，所述估计单元通过基于所估计的所述幅度和所述移动量将所计算的偏移和增益与当前的偏移和增益进行混合来更新偏移和增益。

6.根据权利要求1所述的信号处理装置，还包括：

校正处理单元，其执行校正处理，以用于通过使用如下参数来校正作为所述第一检测信号至所述第四检测信号中的最新的两个检测信号的所述第一检测信号和第二检测信号：其中使用所述参数来估计所述灵敏度差异。

7.根据权利要求6所述的信号处理装置，还包括：

2相处理单元，其通过使用校正处理之后的所述第一检测信号和所述第二检测信号来计算2相法的I信号和Q信号；

4相处理单元，其通过使用所述第一检测信号至所述第四检测信号来计算4相法的I信号和Q信号；

混合处理单元，其将所述2相法的I信号和Q信号与所述4相法的I信号和Q信号混合，并且计算混合后的I信号和Q信号；以及

计算单元，其基于所述混合后的I信号和Q信号计算到所述对象的距离信息。

8.根据权利要求7所述的信号处理装置，其中，

所述混合处理单元基于所述第一检测信号至所述第四检测信号的幅度和所述对象在所述像素中的移动量，将所述2相法的I信号和Q信号与所述4相法的I信号和Q信号混合。

9.根据权利要求7所述的信号处理装置，其中，

每当所述第一检测信号至所述第四检测信号中的两个相位的检测信号被更新时，所述计算单元计算到所述对象的距离信息。

10.一种信号处理方法，包括由信号处理装置进行以下操作：

在包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由所述光电转换单元进行光电转换而得到的电荷的第二抽头的像素中，通过使用第一检测信号至第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异，所述第一检测信号至所述第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对所述发射光进行反射所生成的反射光而获得的。

11.一种距离测量模块，包括：

光接收单元，在所述光接收单元中，像素被二维地布置，每个像素包括检测由光电转换单元进行光电转换而得到的电荷的第一抽头和检测由所述光电转换单元进行光电转换而得到的电荷的第二抽头；以及

信号处理单元，其包括估计单元，所述估计单元在所述像素中，通过使用第一检测信号至第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异，所述第一检测信号至所述第四检测信号是通过相对于发射光以第一相位至第四相位检测通过对象对所述发射光进行反射所生成的反射光而获得的。

12.根据权利要求11所述的距离测量模块，其中，

所述像素中的每个像素接收通过以多个频率发射所述发射光而获得的所述反射光，并且

所述估计单元估计在所述多个频率中的每个频率处抽头之间的所述灵敏度差异。

13.根据权利要求11所述的距离测量模块，其中，

所述像素中的每个像素以多个曝光时间接收通过发射所述发射光而获得的所述反射光，并且

所述估计单元估计在所述多个曝光时间中的每个曝光时间处抽头之间的所述灵敏度差异。

14.根据权利要求11所述的距离测量模块，其中，

所述光接收单元被驱动以使第一像素以第一相位接收所述反射光并且同时使第二像素以第二相位接收所述反射光，接下来，使所述第一像素以第三相位接收所述反射光并且同时使所述第二像素以所述第四相位接收所述反射光，并且

所述估计单元通过使用以所述第一相位至所述第四相位检测到的所述第一检测信号至所述第四检测信号来估计所述第一抽头与所述第二抽头的抽头之间的灵敏度差异。

Images