CN102667862B - 用于借助hdr摄像机确定相对运动的方法 - Google Patents

Abstract

用于借助包括图像传感器的图像拍摄系统(HDR摄像机)来检测物体的运动的方法和装置，其中，在图像传感器的曝光期间具有时间间距地执行第一复位和第二复位(HDR中的原理条件)，其中，由物体的成像测量恒定亮度的区域的延伸尺度并且由延伸尺度与第一复位和第二复位的时间间距的比例来求得物体的运动(方向、速度和必要时加速度)。所述运动确定能够借助一个唯一的图像实现。

Description

用于借助HDR摄像机确定相对运动的方法

技术领域

本发明由一种用于借助包括图像传感器的图像拍摄系统检测物体的运动的方法以及一种用于借助包括至少一个图像传感器的图像拍摄系统检测物体的运动的装置出发。

背景技术

已知在机动车中使用图像拍摄系统来获取车辆周围环境的图像并且结合驾驶员辅助系统使车辆驾驶变得容易。这种图像拍摄系统包括至少一个图像传感器和分配给所述图像传感器的光学系统，所述光学系统将车辆周围环境的拍摄区域成像到图像传感器上。在这种图像拍摄系统中使用的图像传感器必须处理不同照明强度的较宽区域，以便不仅在直射的阳光下而且在照明不足的隧道中可以提供可用的输出信号。在传统的图像传感器中曝光敏感度通常遵循固定调节的线性的或对数的特征曲线，但也已经提出了如下图像传感器(DE 103 01 898 A1和DE 10 2006 027 121 A1)，其中可在各个线性区段中单独地调节特征曲线。这种特征曲线使物体的绝对亮度与从物体获取的图像中的灰度值相关联。

由M.Celestiono和O.Horikawa的论文《Velocity measurement based onimage blur》(ABCM Symposium Series in Mechatronics，第3卷，第633-642页，2008年)还公开了测量车辆在地面上的速度以便检验里程表的功能性。为此借助车载的图像传感器检测由车辆驶过的路段的图像并且将所检测的图像与之前拍摄的图像进行比较。由与速度有关地模糊的图像导出速度信息。

发明内容

本发明由一种用于借助包括图像传感器的图像拍摄系统检测物体的运动的方法以及一种用于借助包括至少一个图像传感器的图像拍摄系统检测物体的运动的装置出发。

提出了一种用于尤其是在车辆交通区域中检测物体的改进的方法(和装置)，所述方法能够实现比迄今更快地确定图像中的物体相对于摄像机的运动的相对运动(相对速度和/或相对运动方向)(例如在自身车辆与交通区域中的物体之间)，因为已经可以由一个图像(帧)来确定运动而不再需要至少两个图像。

(例如车辆的)运动理解为其速度和方向。它们因此是运动参数。类似地，运动改变由方向改变和/或速度改变组成。当然，运动参数或其导数(运动参数的改变)也可以具有零值。在此情况下，运动(改变)在意义上可仅仅由例如速度(改变)或方向(改变)描述。

例如，必须尽可能快地评价是否存在事故风险的必要性可以作为更快地检测相对运动的应用情形，因为基于物体的位置和相对速度例如不能排除碰撞风险。由此，可以及时地采取应对措施以便降低所述风险。

根据本发明的方法是非常精确的，因为通过图像中清晰限界的边(下面阐述)能够比通过借助运动模糊工作的方法更清楚地实现例如物体的递增的位置确定。

本发明涉及一种用于借助包括图像传感器的图像拍摄系统检测物体的运动的方法，所述图像拍摄系统包括HDR摄像机，所述HDR摄像机如下运行：在曝光时间期间设置不同的复位时刻并且在出现复位时已经超过确定的、定义的亮度值的所有光敏感元件被重置到确定的恒定值上，其中在所述图像传感器的曝光期间具有时间间距地执行第一复位和第二复位，其中所述第一复位和所述第二复位是相邻的，其中由物体的成像在相应的亮度水平上测量恒定亮度的区域的延伸尺度以及由所述延伸尺度与所述第一复位和所述第二复位的时间间距的比例来求得所述物体的运动。

根据本发明的一种优选实施方式，由一个唯一的图像求得所述物体的运动。

根据本发明的一种优选实施方式，在所述图像传感器的曝光期间以另一时间间距执行至少一个第三复位，其中所述第二复位和所述至少一个第三复位是相邻的，测量恒定亮度的至少第二区域的至少一个第二延伸尺度，由所述至少第二延伸尺度与所述至少第二复位和第三复位的所述另一时间间距的比例求得另一时刻所述物体的运动，由此导出所述物体运动的改变。

根据本发明的一种优选实施方式，在所述图像传感器的曝光期间以另一时间间距执行至少一个第三复位，其中所述第二复位和所述至少一个第三复位是相邻的，测量恒定亮度的至少第二区域的至少一个第二延伸尺度，由所述至少第二延伸尺度与所述至少第二复位和第三复位的所述另一时间间距的比例求得另一时刻所述物体的运动，在假设所述物体线性均匀运动的情况下验证所述物体的运动。

根据本发明的一种优选实施方式，根据复位点的数量频繁地实施以上两段所述的方法步骤。

根据本发明的一种优选实施方式，导出运动模糊的主方向。

根据本发明的一种优选实施方式，所述物体是车辆的前大灯。

本发明还涉及一种用于借助包括至少一个图像传感器的图像拍摄系统检测物体的运动的装置，其中所述图像传感器具有特征曲线，所述特征曲线具有一些转折点，其中所述特征曲线使物体的绝对亮度与从所述物体获取的图像中的灰度值相关联，其中设有由物体的成像测量恒定亮度的区域的延伸尺度并且由所述延伸尺度与这些转折点的时间间距的比例求得所述物体的运动的单元。

根据本发明的一种优选实施方式，所述特征曲线具有至少两个转折点。

根据本发明的一种优选实施方式，所示图像拍摄系统包括HDR摄像机。

附图说明

以下参照附图更详细地阐述本发明以及实施例。附图示出：

图1：交通区域中所检测的物体的成像；

图2：所检测的物体的部分区域的放大示图；

图3：图像拍摄系统的图像传感器的特征曲线；

图4a：由摄像机拍摄的图像；

图4b：由摄像机成像的车辆的前大灯的放大示图。

具体实施方式

为了图像拍摄系统的图像的运动分析，迄今观察由多个图像组成的图像序列，以便由此确定车辆周围环境中的物体的运动、尤其是其相对速度。在此，求得所谓的运动向量，其说明在图像坐标(像素)中所观察的图像序列中的运动。如果帧速率作为时间常数是已知的，则可以由此通过多个图像估计相对运动。可以确定相对运动的精度在此取决于像素分辨率(粒度)。

借助于来自HDR摄像机(HDR＝High Dynamic Range：高动态范围)可以使用这里描述的新方法，以便能够通过拍摄仅仅一个唯一的图像来估计相对运动，所述HDR摄像机的图像传感器通常具有分段线性的特征曲线结构，所述特征曲线结构近似于对数特征曲线。根据本发明重要的是，摄像机的特征曲线具有至少一个或多个转折点(即不可微的位置)。

HDR摄像机例如如下运行：

在曝光时间(“积分开始”直至“读取”(读取像素值(亮度)))期间设置不同的复位点。在出现复位时，已经超过确定的、定义的亮度值的所有光敏感元件(像素)(即其电势逼近饱和(过曝光))被重置到确定的恒定值上。根据复位的数量(在图3中是4段)，所重置到的恒定值是不同的(以升序)并且对应于罗马数字I到IV的等级。

在假设在整个曝光时间期间光作用(光量)保持不变并且在复位时刻之间不发生变化的情况下，尽管不同电势的像素重置到相同的值上，但根据所述特征曲线得到不同的强度，因为在最后的复位之后不同的光作用可以继续作用并且在最终读取时才变得可见。

对于本发明而言，在曝光期间像素的势阱被填满还是(相反)被清空是不重要的。

然而认识到，在曝光时间期间图像中的运动恰好导致均匀的光作用的以上假设不再适用，则出现根据本发明可以利用的以下效应：

相对运动的物体(在此以前大灯1.1为例)在曝光开始和复位1之间的时间内使位置1.1a处的摄像机像素曝光。由于前大灯的高光强度，在像素的第一复位的时刻降低到水平BP1上。在直至下一复位的时间段内，前大灯使位置1.1b处的像素曝光。第二复位导致像素值降低到水平BP2上，所述水平更高并且图像中的区域1.1b由此比区域1.1a显得更亮。同样适用于第三复位，所述第三复位导致更亮的区域1.1c，因为在此降低的水平BP3更高。作为效果，在具有相同(并且必要时恒定的)亮度的区域(1.1a，1.1b，1.1c)之间形成在图2中可见的边缘或阶梯等级。在最后的区域(1.1c)中，虽然当所述区域在最后的复位(在读取紧前面)之后被曝光时可看到比1.1b中更大的亮度，但不会存在恒定的亮度(除非所述区域过曝光)。这在均匀的光源的情况下不一定适用，因为当不存在过曝光时在图像区域中也会存在相同的灰度值。

为了所述方法正常运行，物体的亮度必须如此大，使得在至少一个时刻像素的亮度值如此大，使得在至少一个复位时进行重置，即所述亮度值在亮度阈值BP1之上。在物体自发光时往往是这样的情形。在汽车环境中例如是其他车辆的前大灯。对于很多应用优选确定其运动，比对于其他物体、尤其是较不危险的(蕴含碰撞的)或静止的物体更多。

现在，可以在相应的亮度水平BPx上测量图像中的恒定亮度(1.1a、1.1b、1.1c)的区域的延伸尺度，或者更准确地说亮度过渡(边沿)的距离，这例如得到距离d0、d1、d2。在此，距离的比例对应于复位时刻的时间间距的比例。因此，因为两个复位时刻(例如“积分开始”直至复位1)之间所经历的路径(例如d1)是已知的，所以可以借助于已知的公式v＝d/Δt_复位确定物体的速度。在此假设物体线性均匀运动，这对于通常较短的曝光时间足够了。

利用关于特征曲线的已知的形状的知识，在图像传感器的一个图像内得到时刻BP1、BP2、BP3、BP4，这些时刻对应于特征曲线的转折点的复位脉冲的时刻。根据转折点(Breakpoint，Kneepoints)的数量甚至得到所确定的相对速度的值的验证或合理性检验的可能性。在此，根据复位点的数量可以实施一次所描述的方法并且计算速度。在均匀运动时，如果没有光学效应或其他物体/光源引起干扰，结果必然是相同的。

根据要求，特征曲线的原点、即曝光开始(Full Reset：完全复位)也适于作为转折点，即也可以在曝光开始与第一复位之间存在时间差的情况下实施根据本发明的方法。

恒定亮度的区域的延伸尺度涉及图像平面中所有方向上的可能延伸尺度。为了应用所述方法，通常确定一个优选方向并且确定恒定亮度的区域在所述方向上的距离。优选方向是具有物体的所有成像部分的总延伸尺度的最大距离的方向(即1.1a+1.1b+1.1c的超集)。这是物体在图像平面中运动的方向。所述方向也是针对图2中的距离选择的。

当然，另一方向上的分析者或多个方向的分析(例如x方向和y方向上的分析)也是可能的，从而立刻划分成x运动分量和y运动分量。

作为根据本发明的构思的扩展，在图像中存在多个距离比例(d1，...，dn)(不是从d0开始，因为d0是光源本身的尺寸)的情况下替代合理性检验也实施物体的运动改变的识别(在考虑可能运动的摄像机的可能的运动改变的情况下)。

以下附图描述明确地涉及车辆应用的示例。然而，应用可能性不限于此，而是多种多样的，作为其他示例考虑：人员运动识别、人员监控系统、输送带上的运动的识别。所需的摄像机可以用在车载的或者固定的系统中。图像分析的地点不必相应于摄像机的地点，例如可以在空间上分离的计算机中进行图像分析。

图1示出借助未示出的自身车辆的车载图像拍摄系统拍摄的自身车辆的车辆周围环境中的场景。在黑暗中拍摄的图像示出由图像拍摄系统检测的在自身车辆的车辆周围环境中的物体，即相对于自身车辆运动的其他车辆，其轮廓由于运动模糊是模糊的。其他车辆在车头灯接通的情况下行驶。以下仅仅观察由自身车辆的图像拍摄系统检测到的、其他车辆的前大灯1.1。在图2中放大地示出了由图像拍摄系统的图像传感器检测到的前大灯1.1的图像。区段d0是所述光源沿轴线A的延伸尺度。在第一时刻t1，被检测为光源的前大灯1.1位于位置1.1a处。在第二时刻t2，前大灯位于位置1.1b处。在第三时刻t3，前大灯1.1位于位置1.1c处。在时间间隔t1-t2内，前大灯1.1的成像偏移了路径d1。在另一时间间隔t2-t3内，前大灯1.1的成像偏移了路径d2。因为通常图像拍摄系统以例如每秒25个图像的图像序列频率来检测自身车辆的车辆周围环境，所以以大约40毫秒拍摄一个图像。因此可以由路径d1的长度和经历所述路径d1的持续时间导出载有前大灯1.1的其他车辆的运动。通过路径d2的分析可以实现类似的导出。由此可以实现车辆运动的开始求得的测量值的合理性检验。在所述观察中假定：其他车辆在用于建立一个图像的时间期间、即在大约40毫秒期间没有经历其运动的显著改变。

为了有效地确定相对运动，需要由车载的图像拍摄系统的图像传感器检测到的、车辆周围环境中的物体具有亮的图像结构，其能够实现在特征曲线的转折点中沿物体的延伸尺度的计算。

确定运动模糊(Motion Blur)可以视为有利的其他应用。借助分别使用的特征曲线的已知的结构可以验证运动模糊的确定。尤其是，可以由运动模糊的主方向导出运动方向。

通过根据本发明的确定物体的运动的方法，可以确定方向、速度和/或程度(强度)，其也可能引起图像中的运动模糊。所述知识例如可以用于(对图像数据)使用滤波器，其例如减小模糊。可以向所述滤波器提供来自根据本发明的结果的合适参数，因此所述滤波器可以提供更好的结果。

图3示出了图像拍摄系统的图像传感器的控制与由此得到的特征曲线的形状的关系的示图。在所述示图的左侧区域中给出了图像传感器的时间控制。示出了分别通过复位时刻——完全复位、复位1、复位2、复位3、复位4彼此分开的五个拍摄间隔。在所述示图的中间区域中，作为直方图给出了在拍摄间隔中求得的灰度值。在所述示图的右侧区域中给出了图像拍摄传感器的特征曲线，其中，横坐标表示原始(光学)灰度值(relinearizedgreyvalue：再线性化的灰度值)而纵坐标表示压缩的灰度值(compressedgreyvalue：压缩的灰度值)，即从图像传感器中读取的(数字化的)灰度值。

所述特征曲线使物体的绝对(真实)亮度与从物体获取的图像中的灰度值相关联。通过特征曲线是分段地线性的(具有不同的区段斜率)，对于相应的物体亮度形成不同的曝光时间。随着特征曲线中的每一个附加的弯折，原始灰度值映射到数字化的灰度值的压缩升高。

图3中的转折点/复位的数量比对应于在图2中示出的物体的成像的数量更多。对于后者而言，仅仅需要完全复位、复位1、复位2和读取。根据所述附图，复位1与复位2之间的时间间距小于完全复位与复位1之间的时间间距，因为d2的相应延伸尺度小于d1的相应延伸尺度。这适于假设的均匀的运动。

如果在复位的时间间距相同的情况下拍摄所述图像(图2)，则所述图像指示物体在拍摄/曝光期间的严重减速，因为在第二时间段内经历的路径(d2)比在第一时间段内经历的路径(d1)更少。

在图4中示出了由摄像机拍摄的图像(图4a)，其成像一个车辆，所述车辆的前大灯放大地在图4b中示出。所述图像用于解释说明并且经训练的观察者看到分级和相同亮度的区域，其能够实现根据本发明的方法。在图2中示出了图4中的分级的轮廓和运动方向的确定和相同亮度的区域的尺寸(d0、d1、d2)。

此外公开了以下主题：

借助包括图像传感器的图像拍摄系统检测物体，其中，图像传感器具有可控的特征曲线，并且图像传感器被如此控制，使得在图像建立期间图像传感器的特征曲线的不同区段有效，其中，在第一时刻以图像传感器的特征曲线的第一区段来检测物体而在第二时刻以图像传感器的特征曲线的第二区段来检测物体。

在另一构型中，检测在第一时刻物体在图像中的位置并且检测在第二时刻物体在图像中的位置，并且由物体的图像位置的距离导出物体的相对运动。

在另一构型中，检测在至少一个另外的第三时刻物体在图像中的位置并且由物体的图像位置的至少一个另外的距离导出物体的相对运动的改变。

在另一构型中，通过比较在第一时刻和在第二时刻检测到的测量值能够实现检测到的测量值或者由测量值导出的量的合理性检验。

Claims (10)

1.一种用于借助包括图像传感器的图像拍摄系统检测物体的运动的方法，所述图像拍摄系统包括HDR摄像机，所述HDR摄像机如下运行：在曝光时间期间设置不同的复位时刻并且在出现复位时已经超过确定的、定义的亮度值的所有光敏感元件被重置到确定的恒定值上，其中，在所述图像传感器的曝光期间具有时间间距地执行第一复位和第二复位，其中，所述第一复位和所述第二复位是相邻的，

其特征在于，

由物体的成像(1.1)在相应的亮度水平上测量恒定亮度的区域的延伸尺度(d1)以及由所述延伸尺度(d1)与所述第一复位和所述第二复位的时间间距的比例来求得所述物体的运动。

2.根据权利要求1所述的方法，其特征在于，由一个唯一的图像求得所述物体的运动。

3.根据权利要求1所述的方法，其特征在于，

在所述图像传感器的曝光期间以另一时间间距执行至少一个第三复位，其中，所述第二复位和所述至少一个第三复位是相邻的，

在相应的亮度水平上测量恒定亮度的至少第二区域的至少一个第二延伸尺度(d2)，

由所述至少第二延伸尺度(d2)与所述至少第二复位和第三复位的所述另一时间间距的比例求得另一时刻所述物体(1.1)的运动，

由此导出所述物体运动的改变。

4.根据权利要求1所述的方法，其特征在于，

在所述图像传感器的曝光期间以另一时间间距执行至少一个第三复位，其中，所述第二复位和所述至少一个第三复位是相邻的，

在相应的亮度水平上测量恒定亮度的至少第二区域的至少一个第二延伸尺度，

由所述至少第二延伸尺度与所述至少第二复位和第三复位的所述另一时间间距的比例求得另一时刻所述物体的运动，

在假设所述物体线性均匀运动的情况下验证所述物体的运动。

5.根据权利要求3或4所述的方法，其特征在于，根据复位点的数量频繁地实施权利要求3或4所述的方法步骤。

6.根据权利要求1或2所述的方法，其特征在于，导出运动模糊的主方向。

7.根据权利要求1或2所述的方法，其特征在于，所述物体是车辆的前大灯。

8.一种用于借助包括至少一个图像传感器的图像拍摄系统检测物体的运动的装置，其中，所述图像传感器具有特征曲线，所述特征曲线具有一些转折点，其中，所述特征曲线使物体的绝对亮度与从所述物体获取的图像中的灰度值相关联，

其特征在于，

设有由物体的成像(1.1)测量恒定亮度的区域的延伸尺度(d1)并且由所述延伸尺度(d1)与这些转折点的时间间距的比例求得所述物体的运动的单元。

9.根据权利要求8所述的装置，其特征在于，所述特征曲线具有至少两个转折点。

10.根据权利要求8或9所述的装置，其特征在于，所述图像拍摄系统包括HDR摄像机。