CN110632578B - 用于时间编码时间飞行距离测量的系统及方法 - Google Patents

Abstract

一种用于时间编码时间飞行距离测量的系统及方法，该系统包括：发射器，经配置以发射具有双重随机时间编码的光信号脉冲串，所述脉冲串包括N个以第二随机时间编码形式发射的脉冲组，所述脉冲组内包含n个以第一随机时间编码形式发射的脉冲；采集器，经配置以采集被物体反射回的所述光信号脉冲串中的光子；处理电路，与所述发射器以及所述采集器连接，经配置以对所述光子进行计数以形成N个脉冲组周期单光子计数时序串；并基于所述第一随机时间编码以及所述N个脉冲组周期单光子计数时序串绘制直方图。本发明的系统及方法允许发射器以远低于最大测量范围对应最大飞行时间的脉冲周期来发射脉冲串，从而可以极大程度上提升帧率。

Description

用于时间编码时间飞行距离测量的系统及方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于时间编码时间飞行距离测量的系统及方法。

背景技术

时间飞行(Time of flight,TOF)法通过测量光束在空间中的飞行时间来计算物体的距离，由于其具有精度高、测量范围大等优点被广泛应用于消费电子、无人架驶、AR/VR等领域。

基于时间飞行原理的距离测量系统比如时间飞行深度相机、激光雷达等系统往往包含一个光源发射端以及接收端，光源向目标空间发射光束以提供照明，接收端接收由目标反射回的光束，系统再通过计算光束由发射到反射接收所需要的时间来计算物体的距离。利用直接时间飞行法进行测量时，发射端向目标发射脉冲光束，该脉冲光束以一定的频率进行发射，相邻脉冲的时间间隔(脉冲周期)要求不小于系统最大测量距离对应的最大飞行时间，以避免信号无法识别的情况出现。因此，系统的帧率往往受到最大测量距离的局限，当系统测量距离达到百米甚至更远时，帧率则非常低，难以满足一些实际应用对高帧率的需求。

另外，当多个系统在相同的空间中同步工作时，容易出现干扰的情形，即某一个系统的接收端除了会接收到来自自身发射端的光信号还会接收其他系统发射端发射过来的光信号，从而引起误差。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为了解决系统的帧率受到最大测量距离的限制以及多机干扰问题中的至少一种，本申请提供了一种用于时间编码时间飞行距离测量的系统及方法。

一种用于随机时间编码时间飞行距离测量的系统，包括：

发射器，经配置以发射具有双重随机时间编码的光信号脉冲串，所述脉冲串包括N个以第二随机时间编码形式发射的脉冲组，所述脉冲组内包含n个以第一随机时间编码形式发射的脉冲；

采集器，经配置以采集被物体反射回的所述光信号脉冲串中的光子；

处理电路，与所述发射器以及所述采集器连接，经配置以对所述光子进行计数以形成N个脉冲组周期单光子计数时序串；并基于所述第一随机时间编码以及所述N个脉冲组周期单光子计数时序串绘制直方图。

进一步地，所述处理电路经配置以确定所述直方图中的脉冲波形对应的时间；并根据所述脉冲波形对应的时间确定飞行时间。

进一步地，所述绘制直方图包括：

将所述N个脉冲组周期单光子计数时序串之间相应时间单元中的光子计数进行叠加；

将叠加之后的总时序串根据所述第一随机时间编码进行叠加以形成所述直方图。

进一步地，所述绘制直方图包括：

将所述N个脉冲组周期单光子计数时序串根据所述第一随机时间编码进行叠加；

将N个叠加后的时序串之间相应时间单元中的光子计数进行叠加以形成所述直方图。

进一步地，所述根据所述第一随机时间编码进行叠加包括：

以当前要叠加的时间单元为起始单元，将所述时序串中后续与所述起始单元相隔Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)的所有时间单元中的光子计数值与所述起始单元中的光子计数值进行叠加，叠加后的光子计数作为所述起始时间单元的光子计数数值，其中所述第一随机时间编码是[Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)]。

一种用于随机时间编码时间飞行距离测量的方法，包括如下步骤：

发射具有双重随机时间编码的光信号脉冲串，所述脉冲串包括N个以第二随机时间编码形式发射的脉冲组，所述脉冲组内包含n个以第一随机时间编码形式发射的脉冲；

采集被物体反射回的所述光信号脉冲串中的光子；

对所述光子进行计数以形成N个脉冲组周期单光子计数时序串；

基于所述第一随机时间编码以及所述N个脉冲组周期单光子计数时序串绘制直方图。

进一步地，所述方法还包括如下步骤：

确定所述直方图中的脉冲波形对应的时间；

根据所述脉冲波形对应的时间确定飞行时间。

进一步地，所述绘制直方图包含如下步骤：

将所述N个脉冲组周期单光子计数时序串之间相应时间单元中的光子计数进行叠加；

将叠加之后的总时序串根据所述第一随机时间编码进行叠加以形成所述直方图。

进一步地，所述绘制直方图包含如下步骤：

将所述N个脉冲组周期单光子计数时序串根据所述第一随机时间编码进行叠加；

将N个叠加后的时序串之间相应时间单元中的光子计数进行叠加以形成所述直方图。

进一步地，所述根据所述第一随机时间编码进行叠加包括：

以当前要叠加的时间单元为起始单元，将所述时序串中后续与所述起始单元相隔Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)的所有时间单元中的光子计数值与所述起始单元中的光子计数值进行叠加，叠加后的光子计数作为所述起始时间单元的光子计数数值，其中所述第一随机时间编码是[Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)]。

本发明的有益效果：

本发明提供了一种用于时间编码时间飞行距离测量的系统和方法，本发明可以允许发射器以远低于最大测量范围对应最大飞行时间的脉冲周期来发射脉冲串，从而可以极大程度上提升帧率。本发明优选实施例的系统和方法由于并非在整个帧周期内进行光子采集，不仅可以有效降低环境光噪声，同时可以大幅减小多设备共存时其他设备发射过来的光子进入，由此抗多机干扰效果更好。

附图说明

图1为根据本发明实施例的时间飞行距离测量系统示意图。

图2(a)为根据本发明实施例，对应的时间编码为规则时间编码，发射器以脉冲周期Δt发射包含n个脉冲的脉冲串的示意图。

图2(b)为根据本发明实施例，对应的时间编码为规则时间编码，在t时间后采集器相继接收到被目标反射的脉冲串中的光子的示意图。

图3(a)为根据本发明实施例的规则时间编码的帧周期单光子计数时序串的示意图。

图3(b)为根据本发明实施例的规则时间编码叠加之后形成的直方图。

图4(a)为根据本发明实施例，对应的时间编码为随机时间编码，发射器以随机时间间隔的方式发射包含n个脉冲的脉冲串的示意图。

图4(b)为根据本发明实施例，对应的时间编码为随机时间编码，在t时间后采集器相继接收到被目标反射的脉冲串中的光子的示意图。

图5(a)为根据本发明实施例的随机时间编码的帧周期单光子计数时序串的示意图。

图5(b)为根据本发明实施例的随机时间编码叠加之后形成的直方图。

图6(a)为根据本发明实施例，对应的时间编码为双重随机时间编码，发射器以双重随机时间间隔的方式发射N*n个脉冲的示意图。

图6(b)为根据本发明实施例，对应的时间编码为双重随机时间编码，在t时间后采集器相继接收到被目标反射的脉冲串中的光子的示意图。

图7(a)是根据本发明实施例的双重随机时间编码的N个脉冲组周期单光子计数时序串的示意图。

图7(b)为根据本发明实施例的双重随机时间编码叠加之后形成的直方图。

图8是根据本发明实施例的一种时间编码解调处理电路示意图。

图9是根据本发明实施例的另一种时间编码解调处理电路示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

时间飞行距离测量系统

本发明提供一种时间飞行距离测量系统，其具有更强的抗环境光能力以及更高的分辨率。

图1是根据本发明一个实施例的时间飞行距离测量系统示意图。距离测量系统10包括发射器11、采集器12以及处理电路13，其中发射器11提供发射光束30至目标空间中以照明空间中的物体20，至少部分发射光束30经物体20反射后形成反射光束40，反射光束40的至少部分光信号(光子)被采集器12采集，处理电路13分别与发射器11以及采集器12连接，同步发射器11以及采集器12的触发信号以计算光束由发射器11发出并被采集器12接收所需要的时间，即发射光束30与反射光束40之间的飞行时间t，进一步的，物体上对应点的距离D可由下式计算出：

D＝c·t/2 (1)

其中，c为光速。

发射器11包括光源111、光学元件112。光源111可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源，也可以是多个光源组成的阵列光源，优选地，阵列光源111是在单块半导体基底上生成多个VCSEL光源以形成的VCSEL阵列光源芯片。光源111所发射的光束可以是可见光、红外光、紫外光等。光源111在处理电路13的控制下向外发射光束，比如在一个实施例中，光源111在处理电路13的控制下以一定的频率(脉冲周期)发射脉冲光束，可以用于直接时间飞行法(Direct TOF)测量中,频率根据测量距离进行设定，比如可以设置成1MHz～100MHz，测量距离在几米至几百米。可以理解的是，可以是处理电路13中的一部分或者独立于处理电路13存在的子电路来控制光源111发射相关的光束，比如脉冲信号发生器。

光学元件112接收来自光源111的脉冲光束，并将脉冲光束进行光学调制，比如衍射、折射、反射等调制，随后向空间中发射被调制后的光束，比如聚焦光束、泛光光束、结构光光束等。光学元件112可以是透镜、衍射光学元件、掩膜板、反射镜等，也可以是MEMS振镜等形式。

处理电路13可以是独立的专用电路，比如专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理器，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以作为该处理电路13的至少一部分。

采集器12包括像素单元121、成像透镜单元122，成像透镜单元122接收并将由物体反射回的至少部分调制光束引导到像素单元121上。在一个实施例中，像素单元121由单光子雪崩光电二极管(SPAD)组成，也可以由多个SPAD像素组成的阵列像素单元，阵列像素单元的阵列大小代表着该深度相机的分辨率，比如320x240等。SPAD可以对入射的单个光子进行响应从而实现对单光子的检测，由于其具备灵敏度高、响应速度快等优点，可以实现远距离、高精度地测量。与CCD/CMOS等组成的以光积分为原理的图像传感器相比，SPAD可以通过对单光子进行计数，比如利用时间相关单光子计数法(TCSPC)实现对微弱光信号的采集以及飞行时间的计算。一般地，与像素单元121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。这些电路即可以与像素整合在一起，这也可以是处理电路13中的一部分，为了便于描述，将统一视作处理电路13。

在一些实施例中，距离测量系统10还可以包括彩色相机、红外相机、IMU等器件，与这些器件的组合可以实现更加丰富的功能，比如3D纹理建模、红外人脸识别、SLAM等功能。

在一些实施例中，发射器11与采集器12也可以被设置成共轴形式，即二者之间通过具备反射及透射功能的光学器件来实现，比如半透半反镜等。

在利用SPAD的直接时间飞行法距离测量系统中，单个光子入射SPAD像素将引起雪崩，SPAD将输出雪崩信号至TDC电路，再由TDC电路检测出光子从发射器11发出到引起雪崩的时间间隔。通过多次检测之后将时间间隔通过时间相关单光子计数(TCSPC)电路进行直方图统计以恢复出整个脉冲信号的波形，从而实现精确的飞行时间检测，最后根据飞行时间计算出物体的距离信息。假定脉冲光束发射的脉冲周期为Δt，距离测量系统的最大测量范围为Dmax，对应的最大飞行时间是

一般要求Δt≥t₁以避免信号混淆，其中c是光速。如果TCSPC要求的多次检测的次数为n，则实现单次距离测量的时间(帧周期)将不低于n*t₁。比如最大测量范围是150m，对应的脉冲周期Δt＝1us，n＝100000，则帧周期将不低于100ms，帧率将低于10fps。由此可见，TCSPC方法中最大测量范围限制了脉冲周期，从而进一步影响到距离测量的帧率。

为了解决这一问题，根据后文的实施例，本发明提供的用于时间编码时间飞行距离测量的系统和方法可以通过几种不同的时间编码脉冲调制及解调方案来实现，具体描述如下。

规则时间编码脉冲调制及解调方法

图2(a)和图2(b)是根据本发明一个实施例的时间编码脉冲调制示意图。发射器11将以远小于最大测量范围Dmax对应的最大飞行时间

的脉冲周期Δt发射脉冲串，脉冲串中包含n个脉冲，如图2(a)所示。若被测目标在D处，对应的飞行时间是t，则在t时间后采集器12将相继接收到被目标反射的脉冲串中的光子，如图2(b)所示。为了保证避免相邻两个帧周期中脉冲光束的相互影响，帧周期T被设置成T≥(n-1)·Δt+t₁，即当目标位于最大测量距离处时，脉冲串中的最后一个脉冲从被发射器11发射开始直到被采集器12接收到所需要的时间正好是t₁，这样就确保了在单帧周期内所有的脉冲串均会被接收且不会有相邻帧周期内的脉冲影响。在一个实施例中，最大测量范围同样假定为Dmax＝150m，n＝100000，但脉冲周期Δt＝100ns，远小于前面实施例中的1us，帧周期T≈10ms，帧率高达100fps。

需要说明的是，发射脉冲串中的每个脉冲的波形往往不会像图中所示的方波那样规整，因此图中仅做示例作用。接收脉冲串也仅作示例，采集器12接收到的实际上是可以反映出接收脉冲串的光子数序列，将在后文中详细介绍。

若想实现如此高帧率的距离计算，传统的TCSPC方法将不再适用。本发明为此提供一种全新的时间编码连续单光子计数解调方法。

图3(a)和图3(b)是根据本发明一个实施例的时间编码连续单光子计数解调方法。在发射器11发射包含n个脉冲的脉冲串的同时，采集器12将被激活以采集来自目标反射的脉冲中的部分光子，处理电路13将处理并记录每个入射光子入射的相应时间，比如利用TDC电路采集入射的光子时间，随后利用处理电路通过对光子时间进行识别和记录，最终形成如图3(a)中所示的帧周期单光子计数时序串，该时序串每个方格即是由TDC时间分辨率决定的最小时间单元，当在该最小时间单元的时间内TDC检测到光子事件将会被记录(比如图中的光子计数值1即代表该最小时间单元内检测到光子)，每个方格内的数值即是光子计数值(0或1)，时序串的总时间长度可以等于帧周期。该时序串可以通过任意适当的方式获取并被保存到内存中，比如由带宽较高的TDC持续采集以获取，也可以由带宽较低的TDC通过多次采集后拼接获取。

在一个实施例中，帧周期单光子计数时序串也可以通过其他类型的电路进行采集，比如可以通过采样电路对SPAD的雪崩信号进行响应以直接得到该时序串。因此帧周期单光子计数时序串也可以称之为帧周期单光子采样时序串。

在一个实施例中，所采集到的帧周期单光子计数时序串被保存到内存中，随后由处理器13中的直方图电路基于该时序串绘制直方图，与传统的TCSPC中的直方图绘制原理不同。本实施例中的直方图将采取的是时间编码连续单光子计数叠加的方式。在一个实施例中，直方图的最小时间单元(最小存储单元bin)与时序串的最小时间单元相同，对于要绘制的时间单元而言，将根据脉冲串发射时的时间编码进行叠加，比如依次叠加。脉冲串以脉冲周期Δt发射共n个脉冲，对应的时间编码为规则时间编码，即[Δt，2Δt，3Δt，…，(n-1)Δt]，基于该时间编码进行叠加指的是以当前要绘制的时间单元为起始单元，将时序串中后续与该起始单元相隔Δt，2Δt，3Δt，…，(n-1)Δt的所有时间单元中的光子计数值与起始单元中的光子计数值进行依次叠加，叠加后的光子计数作为直方图中该时间单元的数值。比如对于直方图第一个时间单元的叠加方式，如图3(a)中的箭头所示。通过对多个时间单元进行时间编码叠加之后形成的直方图如图3(b)所示。

根据目标的远近以及目标的反射率不同，每个脉冲中可能仅少数光子可能会进入采集器12中，并以一定的概率产生雪崩从而造成单次光子计数事件。从统计概率来看，采集器12在整个帧周期内仅当发射器11发射的脉冲串中的每个脉冲被目标反射回采集器12的时刻，采集到光子计数事件的概率最高。换句话说，在图2(b)中所示的接收脉冲串所在的时刻采集到光子的概率最高，也就意味着图3(a)中时序串中相对应的时间单元上光子计数值为“1”的概率要明显高于其他时间单元。因此在进行时间编码直方图叠加后，在时间t+(Δt，2Δt，3Δt，…，(n-1)Δt)将会出现波峰，即采集到的光子数最多，同时由于叠加是依次往后叠加的，因此越往后的时间波峰的值将逐渐减小。但只要确定第一个脉冲波峰所在的时间就可以计算出目标的飞行时间t了。

一般地，TDC的时间分辨率要小于脉宽，即时序串的每个时间单元的宽度要小于脉宽，在进行时间编码连续单光子计数叠加之后，所获取的直方图上将可以看到多个时间单元具备较高的数值，并形成一个反映脉冲形状的波形图，对于这种情况，可以将波形图的最高点对应的时间做为待测量的飞行时间。

可以理解的是，当帧周期T＞(n-1)·Δt+t₁时，光子的采集时间无需覆盖整个帧周期，仅需要在[(n-1)·Δt+t₁]的时间内采集，即帧周期单光子计数时序串的长度为[(n-1)·Δt+t₁]，在帧周期剩下的时间内可以进行数据处理，比如直方图计算、飞行时间计算以及距离计算等。

在一个实施例中，在绘制时间编码连续单光子计数叠加直方图时，其最小的时间单元的大小可以是帧周期单光子计数时序串中每个时间单元的整数倍，比如2倍，由此可以降低直方图绘制时所需要的计算量及内存。

在一个实施例中，在绘制时间编码连续单光子计数叠加直方图时，相邻的时间单元间隔，即步长可以大于1，比如每隔一个时间单元进行一次时间编码叠加，由此也可以降低绘制所需要的计算量及内存。

在一个实施例中，直方图总的时间长度为[(n-1)·Δt+t₁]，对于t₁时间之后的时间单元在叠加时，将不再有时序串中的时间单元光子计数值进行叠加，参与叠加的时间单元将逐渐减小。实际上，优选的方案中并不需要绘制与帧周期长度相同的直方图，而仅需要绘制从0开始到t₁这一时间段内的直方图，因为只在有目标在最大测量范围内，就一定会出现第一个波峰，而有第一个波峰就可以确定出飞行时间t了。

在一个实施例中，对直方图中的脉冲波形进行寻找时，可以通过设定阈值的形式来寻找，高于阈值的数值被保留，低于阈值的数值被认为是噪声。

在一个实施例中，直方图的绘制顺序也可以改变，即不需要从0开始逐个时间单元进行绘制。比如可以利用二分法从中间时间开始绘制，一旦找到第一个脉冲波形后，往更早的时间单元方向进行继续绘制，直到在当前脉冲波形相距Δt的更早时间段内没有发现有波形为止，此时就认为当前脉冲波形对应的时间即为目标的飞行时间。总之，利用任意合适的能定位出第一个脉冲波形的搜索算法均适用于本方案。在本实施例中，直方图总的时间长度会基于搜索算法执行过程而进行自适应性改变，一旦绘制并检测到第一个脉冲波形后即停止计算，随后就可以利用第一个脉冲波形进行波峰位置确定从而获取飞行时间t。一般而言，自适应性改变的直方图总的时间长度均不会超过最大飞行时间t₁，从而可以大幅减小计算量及内存消耗。

图3(a)和图3(b)所示的利用一种全新的基于时间编码的连续单光子计数解调方法与传统的TCSPC相比，对内存的要求较高、计算量也相对较大，但所带来的好处也非常明显，即可以允许发射器11以远低于最大测量范围对应最大飞行时间的脉冲周期来发射脉冲串，从而可以极大程度上提升帧率。尽管如此，图2(a)至图3(b)所示的调制调解方法仍难以解决多机干扰的问题，本发明还提供一种能抗干扰的时间编码时间飞行距离测量方法。

可以理解的是，在一些实施例中，绘制帧周期单光子计数时序串以及基于该时序串绘制直方图的过程也可以合二为一，即可以直接基于光子计数进行绘制直方图，当然也可以将两个步骤扩展成三个以上的步骤，其实现原理相同，只是实现形式有所区别，对应所需要的硬件电路也会有区别，比如在后文的具体处理电路设计中将详细说明合二为一的实现形式，可以减少存储容量，因此凡是利用这一原理的任意实现形式均在本发明的保护范围内。

随机时间编码脉冲调制及解调方法

图4(a)和图4(b)是根据本发明一个实施例的随机时间编码脉冲调制示意图。与图2(a)和图2(b)所示实施例相比，本实施例中脉冲将以预先设定的随机(伪随机)间隔进行发射，即脉冲是以随机时间编码[Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)]的形式进行发射，Δt_i表示第i个脉冲与第(i+1)个脉冲的时间间隔，i＝1,2,…(n-1)，如图4(a)所示。若被测目标在D处，对应的飞行时间是t，则在t时间后采集器12将相继接收到被目标反射的脉冲串中的光子，如图4(b)所示。为了保证避免相邻两个帧周期中脉冲光束的相互影响，帧周期T被设置成

即当最目标位于最大测量距离处时，脉冲串中的最后一个脉冲从被发射器11反射起始直到被采集器12接收到结束所需要的时间正好是t₁，这样就确保了在单帧周期内所有的脉冲串均会被接收且不会有相邻帧周期内的脉冲影响。在一个实施例中，最大测量范围同样假定为Dmax＝150m，n＝100000，若随机脉冲周期的平均值

远小于前面实施例中的1us，帧周期T≈10ms，帧率高达100fps。

图5(a)和图5(b)是根据本发明一个实施例的随机时间编码连续单光子计数解调方法。与图3(a)和图3(b)所示实施例相同，在发射器11发射N个脉冲串的同时，采集器12将被激活以采集来自目标反射的脉冲中的部分光子，处理电路13将处理并记录每个入射光子入射的相应时间，最终形成如图5(a)中所示的帧周期单光子计数时序串，该时序串每个时间单元中记录的是光子计数值，时序串的总时间长度即是帧周期。

在一个实施例中，所采集到的帧周期单光子计数时序串被保存到内存中，随后由处理器13中的直方图电路基于该时序串绘制直方图，与图3(a)和图3(b)所示实施例中类似，本实施例中的直方图同样将采取时间编码连续单光子计数叠加的方式。不同之处在于，时间编码是随机时间编码，对于要绘制的时间单元而言，将根据脉冲串发射时的时间编码[Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)]进行叠加，比如依次叠加。将以当前要绘制的时间单元为起始单元，将时序串中后续与该起始单元相隔Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)的所有时间单元中的光子计数值与起始单元中的光子计数值进行依次叠加，叠加后的光子计数作为直方图中该时间单元的数值。比如对于直方图第一个时间单元的叠加方式，如图5(a)中的箭头所示。通过对多个时间单元进行时间编码叠加之后形成的直方图如图5(b)所示。

在一个实施例中，在绘制时间编码连续单光子计数叠加直方图时，其最小的时间单元的大小可以是帧周期单光子计数时序串的整数倍，比如2倍，由此可以降低直方图绘制时所需要的计算量及内存。

在一个实施例中，在绘制时间编码连续单光子计数叠加直方图时，相邻的时间单元间隔，即步长可以大于1，比如每隔一个时间单元进行一次时间编码叠加，由此也可以降低绘制所需要的计算量及内存。

在一个实施例中，直方图总的时间长度为[(n-1)·Δt+t₁]，对于t₁时间之后的时间单元在叠加时，将不再有时序串中的时间单元光子计数值进行叠加，参与叠加的时间单元将逐渐减小。实际上，优选的方案中并不需要绘制与帧周期长度相同的直方图，而仅需要绘制从0开始到t₁这一时间段内的直方图，因为只在有目标在最大测量范围内，就一定会出现第一个波峰，而有第一个波峰就可以确定出飞行时间t了。

在一个实施例中，对直方图中的脉冲波形进行寻找时，可以通过设定阈值的形式来寻找，高于阈值的数值被保留，低于阈值的数值被认为是噪声。

在一个实施例中，直方图的绘制顺序也可以改变，即不需要从0开始逐个时间单元进行绘制。比如可以利用二分法从中间时间开始绘制，从而可以快速找到脉冲波形。总之，利用任意合适的能定位出脉冲波形的搜索算法均适用于本方案。在本实施例中，直方图总的时间长度会基于搜索算法执行过程而进行自适应性改变，一旦检测到脉冲波形后即停止计算，随后就可以利用脉冲波形进行波峰位置确定从而获取飞行时间t。由于本实施例是随机时间编码，在叠加后的直方图中，仅脉冲串中第一个脉冲反射回的时间t所对应的一个或多个直方图时间单元上才会形成较高的数值，不会出现像图3(b)中的多个脉冲波形的情形。换句话说，只有以第一个脉冲反射回的时间t做为起始单元，其后续叠加的每个时间单元正好对应脉冲串中的各个脉冲反射回的时间，此时采集到光子概率最高，并且该起始单元由于随机时间编码因此具备高度唯一性。因此，一旦在直方图中识别到了脉冲波形(波峰)所在的时间就可以计算出目标的飞行时间t了。一般而言，自适应性改变的直方图总的时间长度均不会超过最大飞行时间t₁，从而可以大幅减小计算量及内存消耗。

同样地，在一些实施例中，绘制帧周期单光子计数时序串以及基于该时序串绘制直方图的过程也可以合二为一，即可以直接基于光子计数进行绘制直方图，当然也可以将两个步骤扩展成三个以上的步骤，其实现原理相同，只是实现形式有所区别，对应所需要的硬件电路也会有区别，比如在后文的具体处理电路设计中将详细说明合二为一的实现形式，可以减少存储容量，因此凡是利用这一原理的任意实现形式均在本发明的保护范围内。

双重随机时间编码脉冲调制及解调方法

图6(a)和图6(b)是根据本发明一个实施例的双重随机时间编码脉冲调制示意图。与图4(a)和图4(b)所示实施例相比，本实施例中脉冲串将以预先设定的双重随机(伪随机)间隔进行发射，即所有发射脉冲分成了多个脉冲组，每个脉冲组内包含多个脉冲，脉冲组内脉冲以第一随机时间编码[Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)]的形式进行发射，Δt_i表示各个组内第i个脉冲与第(i+1)个脉冲的时间间隔，i＝1,2,…(n-1)，n为脉冲组内脉冲的数量；组与组之间以第二随机时间编码[ΔT₁，ΔT₁+ΔT₂，ΔT₁+ΔT₂+ΔT₃，…，ΔT₁+ΔT₂…+ΔT_(N-1)]的形式进行发射，ΔT_j表示第j个脉冲组与第(j+1)个脉冲组的时间间隔，j＝1,2,…(N-1)，N代表脉冲组的数量，如图6(a)所示，单次测量共计发射N*n个脉冲。若被测目标在D处，对应的飞行时间是t，则在t时间后采集器12将相继接收到被目标反射的脉冲串中的光子，如图6(b)所示。为了保证避免相邻两个帧周期中脉冲光束的相互影响，帧周期T被设置成

即当最目标位于最大测量距离处时，脉冲串中的最后一个脉冲从被发射器11反射起始直到被采集器12接收到结束所需要的时间正好是t₁，这样就确保了在单帧周期内所有的脉冲串均会被接收且不会有相邻帧周期内的脉冲影响。在一个实施例中，最大测量范围同样假定为Dmax＝150m，n＝1000，N＝100，若组内脉冲周期的平均值

组间周期平均值

远小于前面实施例中的1us，帧周期T≈10ms，帧率高达100fps。

图7(a)和图7(b)是根据本发明一个实施例的双重随机时间编码连续单光子计数解调方法。与图5(a)和图5(b)所示实施例不同的是，在发射器11发射N*n个脉冲的同时，采集器12并非在整个脉冲串发射的时间段内均进行采集，而是仅在每个脉冲组被发射的时间内(考虑到光子返回时间差,可以适当大于脉冲组的时间周期)采集器12将被激活以采集来自目标反射的脉冲中的部分光子，处理电路13将处理并记录每个入射光子入射的相应时间，最终形成如图7(a)中所示的N个脉冲组周期单光子计数时序串，该时序串每个时间单元中记录的是光子计数值，时序串的总时间长度即是脉冲组对应的时间周期。

在一个实施例中，所采集到的N个脉冲组周期单光子计数时序串被保存到内存中，随后由处理器13中的直方图电路基于该时序串绘制直方图。在进行绘制直方图时实际上采用的是传统TCSPC与图3、5所示实施例中的时间编码叠加融合的方式。即分两步进行绘制(两步无先后之分，也可以交叉进行)，第一步类似传统TCSPC的方式，即将N个脉冲组周期单光子计数时序串之间相应时间单元中的光子计数进行叠加，如图7(a)中向上的加号箭头所示；第二步将第一步中所得到的总时序串根据脉冲组内脉冲发射的第一时间编码[Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)]进行叠加，即将以当前要叠加的时间单元为起始单元，将时序串中后续与该起始单元相隔Δt₁，Δt₁+Δt₂，Δt₁+Δt₂+Δt₃，…，Δt₁+Δt₂…+Δt_(n-1)的所有时间单元中的光子计数值与起始单元中的光子计数值进行依次叠加，叠加后的光子计数作为直方图中该时间单元的数值。比如对于直方图第一个时间单元的叠加方式，如图7(a)中的横向加号所示。最终将得到如图7(b)所示的直方图。

在一些实施例中，也可以先进行时间编码叠加再进行TCSPC，即先将各个脉冲组周期单光子计数时序串按第一时间编码的方式进行叠加，如图7(a)中的横向加号所示；再将得到的N个叠加后的时序串中的相应时间单元进行叠加，如图7(a)中的箭头加号所示。最终将得到如图7(b)所示的直方图。

同样地，直方图的最小时间单元的大小可以是时序串最小时间单元的整数倍。另外直方图的相邻两个时间单元的间隔也可以大于1，比如每隔一个时间单元进行一次时间编码叠加，由此也可以降低绘制所需要的计算量及内存。

同样地，直方图的时间长度可以自适应调整，无需与脉冲组的周期长度相同。一般地，仅需要绘制从0开始到t₁这一时间段内的直方图，因为只在有目标在最大测量范围内，就一定会出现第一个波峰，而有第一个波峰就可以确定出飞行时间t了。

在一个实施例中，对直方图中的脉冲波形进行寻找时，可以通过设定阈值的形式来寻找，高于阈值的数值被保留，低于阈值的数值被认为是噪声。

在一个实施例中，直方图的绘制顺序也可以改变，即不需要从0开始逐个时间单元进行绘制。比如可以利用二分法从中间时间开始绘制，从而可以快速找到脉冲波形。总之，利用任意合适的能定位出脉冲波形的搜索算法均适用于本方案。在本实施例中，直方图总的时间长度会基于搜索算法执行过程而进行自适应性改变，一旦检测到脉冲波形后即停止计算，随后就可以利用脉冲波形进行波峰位置确定从而获取飞行时间t。由于本实施例是随机时间编码，在叠加后的直方图中，仅脉冲串中第一个脉冲反射回的时间t所对应的一个或多个直方图时间单元上才会形成较高的数值，不会出现像图3(b)中的多个脉冲波形的情形。换句话说，只有以第一个脉冲反射回的时间t做为起始单元，其后续叠加的每个时间单元正好对应脉冲串中的各个脉冲反射回的时间，此时采集到光子概率最高，并且该起始单元由于随机时间编码因此具备高度唯一性。因此，一旦在直方图中识别到了脉冲波形(波峰)所在的时间就可以计算出目标的飞行时间t了。一般而言，自适应性改变的直方图总的时间长度均不会超过最大飞行时间t₁，从而可以大幅减小计算量及内存消耗。

与图4(a)、4(b)和图5(a)、5(b)所示的随机调制解调方法相比，图6(a)、6(b)和图7(a)、7(b)所示的双重随机调制解调方法由于并非在整个帧周期内进行光子采集，不仅可以有效降低环境光噪声，同时可以大幅减小多设备共存时其他设备发射过来的光子进入，由此抗多机干扰效果更好。

时间编码解调处理电路和处理方法

为了实现上述实施例中的时间编码解调，本发明还提供了时间编码解调处理电路和处理方法。

图8是根据本发明一个实施例的时间编码解调处理电路，时间编码解调处理电路82与像素单元81连接，像素单元81可以是SPAD像素用于检测反射光束的光子，处理电路82对检测到的各个光子事件进行处理以计算光子往返的飞行时间。

本实施例的时间编码解调处理电路82包括采样电路821、时序串存储器822、读出地址寄存器823、时间编码序列存储器824、加法寄存器825、直方图时间单元计数器(简称bin计数器)826以及直方图存储器827。

像素单元81采集反射光束的光子信号后将输出一次脉冲信号表示的光子检测事件，在一段时间内采样电路821在时钟发生器发出的时钟信号(例如1GHz)的控制下对脉冲信号进行采样，以形成帧周期单光子计数时序串。可以理解的是，采样电路821也可以如上文所述的包含TDC的电路，只要能将光子计数事件生成单光子计数时序串的电路即可。采样电路821的采样时间间隔一般不小于脉冲宽度，避免在一个脉冲宽度对应的时间无法采样到光子的情况发生。在一个实施例中，当像素单元81检测到光子时，采样电路821将输出数字信号1，当没有检测到光子时，采样电路821将输出数字信号0，因此在一段时间内，采样电路821将输出一串0、1序列串，一个帧周期内形成的序列串即是帧周期单光子计数时序串。

由采样电路821采样得到的帧周期单光子计数时序串将按照内存单元地址依次存储到时序串存储器822中，一般地，根据采样时长的不同，时序串存储器822的内存大小也不同，比如当采样时长是1000ns，采样间隔1ns，需要对应的内存是1000bits。

时间编码序列存储器824用于保存预先写入的时间编码序列，比如图2(a)所示的规则时间编码序列，或者图4(a)所示的随机时间编码序列。

读出地址寄存器823用于存储需要读出来的时序串存储器822中内存单元的地址，在时钟信号控制下时序串存储器822将会按照读出地址寄存器823中的地址读出相应地址上的数据至加法寄存器825。随后，读出地址寄存器823会自动跳变到下一个需要读取的地址，比如当前地址是x，则会基于时间编码序列存储器824中保存的时间编码序列，自动跳变到下一个需要读取的地址：x+Δt_i，其中Δt_i是时间编码序列存储器824中保存的时间间隔序列值。

加法寄存器825用于执行加法计算，将当前其保存的数据与时序串存储器822中传输过来的相应存储单元中的数据进行相加，当时间编码序列存储器824中的所有序列都读完后，该加法寄存器825即完成了一个直方图时间单元bin的计算，随后将该值写到直方图存储器827中以绘制直方图。

bin计数器826用于存储当前绘制的bin的编号，当时间编码序列存储器824中的所有序列全部读完后，即当前bin绘制结束后，给bin计数器826以及加法寄存器825发送脉冲，bin计数器826的编号自动+1，以开始下一个bin的绘制，将该bin的数值写入到直方图存储器827中，同时将加法寄存器825清0。

在直方图各个bin绘制完成后，处理电路82可以进一步根据直方图计算飞行时间。

在图8所示实施例中，数据的采样与直方图的绘制在时序上先后执行的，即先将帧周期单光子计数时序串采样完成保存到时序串存储器822中，随后对该时序串进行数据处理以获取直方图。为了减少处理时间以提升帧率，在一个实施例中，可以采用多时序串存储器822的方式，比如采用双时序串存储器822，当一帧数据采样完成后保存到第一时序串存储器822中，随后在利用第一时序串存储器822中的时序串进行直方图绘制时，采样电路821同步工作，并将采样得到的时序串保存到第二时序串存储器822中。如此往复，当利用第二时序串存储器822中的时序串进行直方图绘制时，采样电路821会将采样得到的时序串保存到第一时序串存储器822中。如此，便可以大大提升采样时间，提升帧率。

在一个实施例中，基于图8所示的处理电路，本发明还提供了一种时间编码解调方法，该方法包括以下步骤：

预先将时间编码序列保存到时间编码序列存储器824中；

由采样电路821对像素单元81检测到的反射光束的光子事件进行采样，以形成帧周期单光子计数时序串并保存到时序串存储器822中；

将当前需要读出来的所述时序串存储器822中内存单元的地址保存到读出地址寄存器823中，所述地址会根据所述时间编码序列自动跳变到下一个需要读取的地址；

根据所述读出地址寄存器823中的地址从所述时序串存储器822中读出相应地址上的数据至加法寄存器825；

由所述加法寄存器825执行其当前保存的数据与所述时序串存储器822读出的数据之间的加法运算，并将其运算结果传输至直方图存储器827的相应bin中以绘制直方图；

将前绘制bin的编号保存到bin计数器826中，并当当前bin绘制结束后所述编号自动加1。

图8所示实施例对存储器的要求较高，对于当前将SPAD感光以及数据处理电路高度集成到单颗芯片的技术趋势来说，若将处理电路进行单片集成时，片上存储器的容量将较大，不利于芯片量产。为了解决这一问题，本发明提供一种实时直方图绘制的解调方法。

图9是根据本发明一个实施例的实时时间编码解调处理电路，时间编码解调处理电路92与像素单元91连接，像素单元91可以是SPAD像素用于检测反射光束的光子，处理电路92对检测到的各个光子事件进行处理以计算光子往返的飞行时间。

考虑到在直方图各时间单元bin在进行叠加时，在时间编码确定的前提下，每个bin在执行叠加计算时所需要的时序串中的时间单元(即相应光子事件的时间点)根据时间编码是已知的。基于此，可以先将每个bin地址与其所需要叠加的时序串中的时间单元地址之间的对应关系预先保存起来，采样电路921实时输出的光子计数值将会基于该对应关系，就知道当前光子计数值所对应的bin，随后该光子计数值被选通以进入相应的bin中进行叠加。

本实施例的时间编码解调处理电路92包括采样电路921、时间编码序列控制器922、时间编码序列控制存储器923以及直方图存储器924。

像素单元91采集反射光束的光子信号后将输出一次脉冲信号表示的光子检测事件，采样电路921在时钟发生器发出的时钟信号(例如1GHz)的控制下对脉冲信号进行采样，以输出采样信号(即光子计数值0或1)，采样信号至时间编码序列控制器922，时间编码序列控制器922将根据时间编码序列控制存储器923中保存的对应关系，以控制该采样信号进入直方图存储器924中的相应bin中进行叠加，比如可以通过三态门、传输门等方式实现对采样信号的选通。其中时间编码序列控制存储器923中保存了用于控制采样信号与需要开启的bin之间的对应关系，比如其包含了一个n x j的存储空间，n为时间bin的数量，j与像素单元的测量序列位数相同，每个时钟作用上，会将对应的n bit数据传输至时间编码序列控制器922以控制相应的采样信号的选通。

在一个实施例中，基于图9所示的时间编码解调处理电路，本发明还提供了一种时间编码解调方法，该方法包括以下步骤：

预先将采样信号与需要开启的直方图存储器924中bin之间的对应关系写入时间编码序列控制存储器923中；

由采样电路对像素单元921检测到的反射光束的光子事件进行采样，以形成所述采样信号；

由时间编码序列控制器922根据所述时间编码序列控制存储器923中保存的所述对应关系，以控制所述采样信号进入直方图存储器924中的相应bin中进行叠加以绘制直方图。

可以理解的是，图8、9所示的处理电路不仅适用于图3(a)、3(b)和图5(a)、5(b)所示实施例中的解调方法，同样适用于图7(a)、7(b)所示实施例中的解调方法。

可以理解的是，在上述描述中，为了便于阐述各个部分之间的关系，将各个模块独立进行说明，在实际应用中，多个模块也可以进行合并，比如时序串存储器、时间编码存储器等可以是同一个存储器。因此，通过合并、拆分等方式进行的等价替代方案也应当视为本发明的保护范围。

可以理解的是，当将本发明的距离测距系统嵌入装置或硬件中时会作出相应的结构或部件变化以适应需求，其本质仍然采用本发明的距离测距系统，所以应当视为本发明的保护范围。以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (4)

1.一种用于随机时间编码时间飞行距离测量的系统，其特征在于，包括：

发射器，经配置以发射具有双重随机时间编码的光信号脉冲串，所述脉冲串包括N个以第二随机时间编码形式发射的脉冲组，所述脉冲组内包含n个以第一随机时间编码形式发射的脉冲；

采集器，经配置以采集被物体反射回的所述光信号脉冲串中的光子；

处理电路，与所述发射器以及所述采集器连接，经配置以对所述光子进行计数以形成N个脉冲组周期单光子计数时序串；基于所述第一随机时间编码以及所述N个脉冲组周期单光子计数时序串绘制直方图；确定所述直方图中的脉冲波形对应的时间；并根据所述脉冲波形对应的时间确定飞行时间；

其中，所述绘制直方图包括：

将所述N个脉冲组周期单光子计数时序串之间相应时间单元中的光子计数进行叠加；将叠加之后的总时序串根据所述第一随机时间编码进行叠加以形成所述直方图；

或者

将所述N个脉冲组周期单光子计数时序串根据所述第一随机时间编码进行叠加；将N个叠加后的时序串之间相应时间单元中的光子计数进行叠加以形成所述直方图。

2.如权利要求1所述的系统，其特征在于，所述根据所述第一随机时间编码进行叠加包括：

以当前要叠加的时间单元为起始单元，将所述时序串中后续与所述起始单元相隔∆t₁，∆t₁+∆t₂，∆t₁+∆t₂+∆t₃，…，∆t₁+∆t₂…+∆t_(n-1)的所有时间单元中的光子计数值与所述起始单元中的光子计数值进行叠加，叠加后的光子计数作为所述起始单元的光子计数数值，其中所述第一随机时间编码是 [∆t₁，∆t₁+∆t₂，∆t₁+∆t₂+∆t₃，…，∆t₁+∆t₂…+∆t_(n-1)]。

3.一种用于随机时间编码时间飞行距离测量的方法，其特征在于，包括如下步骤：

发射具有双重随机时间编码的光信号脉冲串，所述脉冲串包括N个以第二随机时间编码形式发射的脉冲组，所述脉冲组内包含n个以第一随机时间编码形式发射的脉冲；

采集被物体反射回的所述光信号脉冲串中的光子；

对所述光子进行计数以形成N个脉冲组周期单光子计数时序串；

基于所述第一随机时间编码以及所述N个脉冲组周期单光子计数时序串绘制直方图；

确定所述直方图中的脉冲波形对应的时间；

根据所述脉冲波形对应的时间确定飞行时间；

其中，所述绘制直方图包含如下步骤：

将所述N个脉冲组周期单光子计数时序串之间相应时间单元中的光子计数进行叠加；将叠加之后的总时序串根据所述第一随机时间编码进行叠加以形成所述直方图；

或者

将所述N个脉冲组周期单光子计数时序串根据所述第一随机时间编码进行叠加；将N个叠加后的时序串之间相应时间单元中的光子计数进行叠加以形成所述直方图。

4.如权利要求3所述的方法，其特征在于，所述根据所述第一随机时间编码进行叠加包括：

以当前要叠加的时间单元为起始单元，将所述时序串中后续与所述起始单元相隔∆t₁，∆t₁+∆t₂，∆t₁+∆t₂+∆t₃，…，∆t₁+∆t₂…+∆t_(n-1)的所有时间单元中的光子计数值与所述起始单元中的光子计数值进行叠加，叠加后的光子计数作为所述起始单元的光子计数数值，其中所述第一随机时间编码是 [∆t₁，∆t₁+∆t₂，∆t₁+∆t₂+∆t₃，…，∆t₁+∆t₂…+∆t_(n-1)]。

Images