CN101295355B - 面部图像获取装置 - Google Patents

Abstract

面部图像获取装置包括照相机(10)、同轴照明器(50)、离轴照明器(70)、照明控制设备(40、60)、图像获取控制设备(32)和亮度计算处理设备(22)。照相机(10)重复地获取车辆的乘坐者的面部的图像。照明控制设备(40、60)被配置为对施加到乘坐者的面部的光的照明条件进行调整。图像获取控制设备(32)被配置为控制照相机10在图像获取的定时获取面部的图像，其中该定时与用于调整照明条件的定时同步。亮度计算处理设备(22)被配置为通过使用亮瞳孔面部图像(px)、暗瞳孔面部图像(py)和环境光面部图像(pz)来执行亮度计算处理。

Description

面部图像获取装置

技术领域

本发明通常涉及用于获取驾驶员的面部图像的面部图像获取装置。

背景技术

已知驾驶员监视装置使用感应模块来获得驾驶员的面部图像，以检测驾驶员在驾驶操作期间的不利状态，例如瞌睡和不专心的驾驶。需要以上驾驶员监视装置来在任何时间，例如白天或者夜间，可靠地获取面部图像。从而，通常，将包括近红外线的光做为参考光从照明器施加到驾驶员的面部，以便建立用于获取面部图像的可靠情形。然后，通过图像处理对在以上情形下所获取的面部图像进行处理，以便检测到驾驶员的面部并且检测到面部。

然而，事实上，由于日光的不利影响、建筑物的反射光和驾驶员的眼镜所反射的照明器反射光，难以充分地执行图像处理并且不利的是还不能实现以上检测。

为了解决以上劣势，对应于US 6952498的JP-A-2002-352220中所描述了一种技术，该技术用于在当来自两个方向的照明施加于驾驶员时，获取驾驶员的面部部分的图像，并且从所获取到的图像中去除反射的图像，以检测视网膜反射的图像。在以上中，获取的图像之一中的反射图像所位于的位置与另一个获取的图像中的反射图像的位置不同，并且将以上的反射图像确定为与眼镜的平滑反射平面相对应的图像。

以上JP-A-2002-352229中所描述的技术中，可以获得没有平滑反射平面所反射的反射图像的图像，然而，可能无法去除诸如日光的环境光的影响。

发明内容

鉴于以上劣势做出本发明。从而，本发明的目的是为了解决至少一个以上劣势。

根据本发明的一个方面，提供了一种面部图像获取装置，其包括照相机、同轴照明器、离轴照明器，照明控制设备，图像获取控制设备和亮度计算处理设备。照相机重复地获取车辆乘坐者的面部的图像。将同轴照明器排列得大体上相对于照相机的光轴同轴。将离轴照明器排列得相对于照相机的光轴非同轴。照明控制设备被配置为通过控制同轴照明器所发射的光的光量和离轴照明器所发射的光的光量，来调整施加到乘坐者的面部的光的照明条件。图像获取控制设备被配置为控制照相机10在图像获取定时获取面部的图像，其中该图像获取定时与通过照明控制设备来调整照明条件的定时同步。亮度计算处理设备被配置为对以下面部图像中的每一个执行亮度计算处理。照相机在第一照明条件下获取亮瞳孔面部图像，在该条件中主要通过同轴照明器将光施加到面部。照相机在第二照明条件下获取暗瞳孔面部图像，在该条件中主要通过离轴照明器将光施加到面部。照相机在第三照明条件下获取环境光面部图像，在该条件中主要将乘坐者周围的环境光施加到面部。

根据本发明的另一个方面，还提供了用于车辆的面部图像获取装置，该装置包括照相机、同轴照明器、离轴照明器、照明控制设备、图像获取控制设备和亮度计算处理设备。照相机重复地获取车辆乘坐者的面部的图像。将同轴照明器大体排列在照相机的光轴上。将离轴照明器大体排列在照相机的光轴外。照明控制设备被配置为控制同轴照明器和离轴照明器，用于调整施加到乘坐者的面部的光的照明条件。图像获取控制设备被配置为控制照相机10在图像获取定时获取面部的图像，其中该图像获取定时与用于调整照明条件的照明控制设备的定时同步。亮度计算处理设备被配置为使用亮瞳孔面部图像、暗瞳孔面部图像和环境光面部图像来生成乘坐者的面部的至少一个不同图像。照相机在第一照明条件下获取亮瞳孔面部图像，在该条件中面部接收主要由同轴照明器所发射的光。照相机在第二照明条件下获取暗瞳孔面部图像，在该条件中面部接收主要由离轴照明器所发射的光。照相机在第三照明条件下获取环境光面部图像，在该条件中面部主要接收乘坐者周围的环境光。

附图说明

将从以下描述、附带的权利要求书和附图最好地理解本发明，以及其中额外的目的、特征和优势，其中：

图1是示出了本发明的一个实施例的面部图像获取装置的通用结构的方框图；

图2是示出了在车辆的乘客舱中的照相机和同轴照明器的排列的图；

图3是示出了将同轴照明器排列得大体上相对于照相机的光轴同轴，以及将离轴照明器排列得大体上相对于照相机的光轴非同轴的状态的图；

图4是示出了照相机获取图像的定时、开启同轴照明器和非同轴照明器的定时和输出照相机所获取的面部图像的定时的定时图表；

图5A是示出了当驾驶员不戴眼镜时所获取到的亮瞳孔面部图像的图；

图5B是示出了当驾驶员不戴眼镜时所获取到的暗瞳孔面部图像的图；

图5C是示出了当驾驶员不戴眼镜时所获取到的环境光面部图像的图；

图6A是示出了当驾驶员不戴眼镜时的部分检测图像的图；

图6B是示出了当驾驶员不戴眼镜时的瞳孔图像的图；

图7是示出了部分检测图像和瞳孔图像的复合图像的图；

图8是示出了当用于获取环境光面部图像的图像获取时间被设定为大概60μsec时，照相机图像获取定时的定时图表；

图9A是示出了当驾驶员戴着眼镜时所获取的亮瞳孔面部图像的图；

图9B是示出了当驾驶员戴着眼镜时所获取的暗瞳孔面部图像的图；

图9C是示出了当驾驶员戴着眼镜时的所获取的环境光面部图像的图；

图10A是示出了没有眼镜反射的亮瞳孔面部图像的图；

图10B是示出了没有眼镜反射的暗瞳孔面部图像的图；

图10C是示出了没有眼镜反射和环境光的部分检测图像的图；

图10D是示出了没有眼镜反射和环境光的瞳孔图像的图；以及

图11是用于解释面部图像获取装置的操作的流程图。

具体实施方式

参考附图描述了本发明的一个实施例。注意，本发明实施例描述了使用本发明的面部图像获取装置来获取车辆的驾驶员的面部图像。

如图1中所显示，面部图像获取装置包括照相机10、照相机设备20、图像ECU 30、照明器控制电路40和60、同轴照明器50、离轴照明器70。以上照相机设备20与照相机10是做为整体来提供的。

如图2中所示的照相机10用于获取驾驶员或者车辆的乘坐者的面部图像，并且将该照相机提供在车辆的乘客舱之内的仪器面板附近。照相机10使用被配置为用于执行高速成像的成像器，以便照相机10能够基于大概300μsec的图像获取时间或者用于获取图像的曝光时间，以及基于图像的获取之间的大概30μsec的图像获取时间间隔来获取图像。

图1中显示的照相机设备20包括图像存储器21和信号处理电路22。图像存储器存储照相机10所获取的图像的图像信息。信号处理电路22读取存储在图像存储器21中的图像信息并且执行稍后所述的亮度计算处理。然后，信号处理电路22将亮度计算处理所生成的图像信息输出到图像ECU30。

图像ECU 30包括图像处理电路31和图像获取控制电路32。图像处理电路31接收从照相机设备20输出的图像消息，并且执行图像处理，例如用于基于以上图像信息来检测与驾驶员的面部相对应的部分的处理以及用于检测驾驶员的注视的处理。图像获取控制电路32控制用于获取照相机10的图像的获取定时与照明器控制电路40、60的照明条件的调整同步。换句话说，图像获取控制电路32控制照相机10在与例如照明器控制电路40、60用于调整照明条件的定时同步的定时获取图像。此外，图像获取控制电路32控制照相机10的曝光时间和输出增益。

照明器控制电路40控制同轴照明器50的开启和关闭的定时，并且当同轴照明器50开启时照明器控制电路40调整同轴照明器50所发射的光的数量或者光强度。例如图2、图3中所显示，将同轴照明器50排列得大体上相对于透镜光轴或者照相机10的光轴同轴。换句话说，将同轴照明器50大体排列或者部署在照相机10的光轴上，从而同轴照明器50的照明轴大体上在照相机10的光轴上。此外，照明器控制电路60控制离轴照明器70的开启和关闭定时，并且当离轴照明器70开启时调整离轴照明器70所发射的光的光量。如图3中所显示，将离轴照明器70排列得相对于照相机10的光轴非同轴，并且与照相机10的光轴相隔一定距离。换句话说，将离轴照明器70排列或者部署在照相机10的光轴之外，从而离轴照明器70的照明轴大体上在照相机10的光轴之外。照明器控制电路40、60对施加到驾驶员的面部的光的照明条件进行调整，同时该调整与照相机10用于获取图像的图像获取定时同步。

如图3中所显示，同轴照明器50和离轴照明器70配备有多个光源，其中每个光源都能够施加红外线光或者具有中心波长范围从850到950nm的近红外线光。例如，多个光源中的每一个可以是发光二极管(LED)，并且照明器50和70中的每一个可以是具有多个LED的LED阵列。将多个光源排列在乘坐者或者驾驶员的面部的纵向上，从而多个光源将光施加到驾驶员的面部。换句话说，将多个光源排列在垂直的方向上，从而多个光源被排列得大体上与驾驶员面部的纵向平行。

接着，描述了面部图像获取装置的操作。图4是照相机10的图像获取定时、同轴照明器50的照明定时、离轴照明器70的照明定时和照相机10用于输出所获取的面部图像的输出定时的定时图图表。面部图像获取装置首先致使照相机10在第一照明条件下获取亮瞳孔面部图像px，在该条件中驾驶员的面部主要接收同轴照明器50所施加的光(见图5A)。在实践中，驾驶员的面部可以接收除了同轴照明器50所发射的光之外其它的光，例如驾驶员周围的环境光(如日光)。此外，可以调整离轴照明器70以便离轴照明器70在以上条件中同时发射具有极少光量的光。注意，将用于获取亮瞳孔面部图像px的图像获取时间设置为大概300μsec(微秒)。当亮瞳孔面部图像px的获取结束时，将所获取的图像信息临时存储在图像存储器21中。

在亮瞳孔面部图像px的获取结束大概30μsec之后，致使照相机10在第二照明条件下获取暗瞳孔面部图像py，在该条件中驾驶员的面部主要接收离轴照明器70所发射的光(见图5B)。在实践中，驾驶员的面部可以接收除了离轴照明器70所发射的光之外其它的光，例如驾驶员周围的环境光。注意，可以可替换地调整同轴照明器50以便致使同轴照明器50同时施加极少光量的光。将用于获取暗瞳孔面部图像的图像获取时间设置为大概300μsec，类似于亮瞳孔面部图像px的图像获取时间。当暗瞳孔面部图像py的获取结束时，将暗瞳孔面部图像py的所获取到图像信息临时存储到图像存储器21中。

然后，在暗瞳孔面部图像py的获取结束大概30μsec之后，致使照相机10在第三照明条件下获取环境光面部图像pz，在该条件中驾驶员的面部主要接收驾驶员周围的环境光(见图5C)。在以上条件中，可以调整同轴照明器50和离轴照明器70以便照明器50、70同时施加极少光量的光。将用于获取环境光面部图像pz的图像获取时间设置为大概300μsec，类似于以上亮瞳孔面部图像px和暗瞳孔面部图像py的图像获取时间。当环境光面部图像pz的获取结束时，将环境光面部图像pz的图像信息临时存储在图像存储器21中。

注意，照相机10使用能够执行高速成像的成像器。从而，即便当如上时分地获取面部图像时，时分获取期间面部图像之中所获取的驾驶员面部的位置的差异是可忽略的。以上驾驶员的位置差异可以是由驾驶员的自发运动和由于车辆的振动引起的驾驶员的运动所致使的。此外，因为用于获取以上面部图像px、py、pz的图像获取定时之间的时滞非常少，所以环境光随着时间的改变也可忽略的，其中该改变影响亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz。如上，因为面部图像px，py，pz是在相对短的时间间隔内获取的，所以假设面部图像px，py，pz是同时获取的。因此，用于获取面部图像px，py，pz的图像获取定时的顺序并不限于图4中所示的示例性顺序，并且必要时可以对该顺序进行修改。

当如上获取亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz时，信号处理电路22执行计算处理或者亮度计算处理，用于使用临时存储在以上面部图像px、py、pz中的每一个的图像存储器21中的图像信息来计算亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz中的每一个的亮度。

执行亮度计算处理以生成部分检测图像，部分检测图像是用于检测与图像中的驾驶员的面部相对应的部分的面部图像。此外，执行亮度计算处理以生成瞳孔图像，瞳孔图像是用于检测驾驶员的瞳孔的位置的面部图像。取决于驾驶员是否佩戴护目镜，例如眼镜，太阳镜来执行不同的处理。

在以上中，描述了使用亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz的亮度计算处理来生成部分检测图像。首先，如上，亮瞳孔面部图像px是当驾驶员的面部接收光时所获取的面部图像，其中该光的主要成分是同轴照明器50所施加的光。从而，通过致使照相机10获得在驾驶员眼球的视网膜上反射的光的反射，在所获得的图像中特别明亮地显示眼球的瞳孔部分，或者获取了“红眼效果”的图像。此外，暗瞳孔面部图像py也是当驾驶员的面部接收光时所获取的面部图像，其中该光的主要成分是离轴照明器70所施加的光。从而，照相机10不能获得在驾驶员的眼球的视网膜上反射的光的反射，相对于亮瞳孔面部图像px的情况没有明亮地显示图像中眼球的瞳孔部分。在上文中，将离轴照明器70的照明轴放置在远离照相机10的透镜光轴的位置，以便离轴照明器70不引起红眼现象。结果，亮瞳孔面部图像px中的眼球的瞳孔部分的亮度大大地不同于暗瞳孔面部图像py中的瞳孔部分的亮度。此外，除了面部图像px中的瞳孔部分之外的其它部分的亮度通常等同于面部图像py中的其它部分的亮度。

此外，环境光面部图像pz也是当驾驶员的面部接收光时所获取的一种面部图像，其中该光的主要成分是环境光。从而，与亮瞳孔面部图像px的亮度和暗瞳孔面部图像py的亮度相比，环境光面部图像pz中的驾驶员的面部部分的亮度相对较低。此外，在面部图像pz中的面部周围的背景的亮度通常等同于面部图像px、py中的背景的亮度。

如上，三个面部图像的每一个，例如亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz，包括亮度差异部分，其亮度不同于其它面部图像中的相应的部分的亮度。结果，当对亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz执行面部图像亮度计算处理时，生成了提取的面部图像。在上文中，通过从面部图像仅仅提取亮度差异部分来产生提取的面部图像。由于以上，生成了没有受到环境光(如日光)影响的部分检测图像和瞳孔图像。换句话说，从部分检测图像和瞳孔图像去除或者限制面部图像上的环境光的不利影响。

图6A是示出了部分检测图像的图。在该部分检测图像中，去除了环境光的影响，并且该图像仅仅对应于同轴照明器50和离轴照明器70所反射的光。为了生成部分检测图像，首先将亮瞳孔面部图像px的亮度与暗瞳孔面部图像py的亮度相加，，以生成加法面部图像(px+py)。然后，通过将环境光面部图像pz的亮度翻倍来产生双倍的面部图像(2×pz)。然后，从加法面部图像(px+py)减去双倍面部图像(2×pz)以生成部分检测图像(px+py-2×pz)。将面部图像中每个像素的亮度相对于其它面部图像中相应的像素的亮度，执行亮度计算处理中的亮度的计算，例如加法和减法。例如，在本实施例的亮度的以上计算处理中，生成了差异图像。注意，由于将亮瞳孔面部图像px的亮度加到暗瞳孔面部图像py的亮度而导致加法面部图像(px+py)中的环境光的亮度翻倍，所以环境光面部图像pz的亮度翻倍。

图6B是示出了瞳孔图像的图。通过去除环境光的影响以及去除来自同轴照明器50和离轴照明器70的反射的光的影响，产生瞳孔图像。从而，瞳孔图像是与驾驶员的眼球的视网膜上反射的光的反射相对应的图像。通过从亮瞳孔面部图像的亮度px减去暗瞳孔面部图像的亮度而生成瞳孔图像(px-py)。

当如上生成部分检测图像和瞳孔图像时，信号处理电路22每隔33msec(微秒)将部分检测图像的图像信息和瞳孔图像的图像信息输出到图像ECU 30。在以上时间中，例如，如图7中所显示，合成了减少的瞳孔图像并将其置于部分检测图像中的区域中，在该区域中没有显示驾驶员的面部，从而合成了将要输出到图像ECU 30的单个图像信息。从而，减少了将要输出的图像信息的数量。

通常，图6B中所检测的瞳孔部分在图像中显示为黑色和白色。然而，在图7中显示的复合图像中，可以对与图6B中所检测的瞳孔相对应的部分进行上色(例如，上红色)。由于以上，因为图像ECU 30使用具有彩色的瞳孔的复合图像来执行图像处理，所以检测驾驶员的瞳孔变得更容易。

此外，如上，将用于获取环境光面部图像pz的图像获取时间，换句话说，用于获取环境光面部图像pz的曝光时间设置为大概300μsec，类似于用于获取亮瞳孔面部图像px和暗瞳孔面部图像py的每一个的图像获取时间。然而，可以可替换地将用于环境光面部图像pz的图像获取时间设置为大概600μsec(见图8)。结果，当生成部分检测图像时，因为如上用于面部图像pz的图像获取时间翻倍了，所以环境光面部图像pz的亮度不需要翻倍。

描述了当驾驶员戴着平滑反射平面，例如眼镜，太阳镜时对亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz执行的另一个亮度计算处理。该亮度计算处理通过使用面部图像px、py、pz中的每一个的图像信息来生成部分检测图像和瞳孔图像，它们不受环境光和平滑反射平面所反射的反射光的影响。

图9A到图9C是分别示出了当驾驶员戴着眼镜时所获取到的亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz的图。如图9A、9B中所显示，当驾驶员戴着眼镜时，亮瞳孔面部图像px和暗瞳孔面部图像py显示眼镜所反射的反射光。结果，如果处将具有其中的反射光的亮瞳孔面部图像px和暗瞳孔面部图像py用于以上亮度计算处理，那么反射光的不利影响将发生到部分检测图像和瞳孔图像上。从而，该部分的检测和瞳孔的位置的检测可以变得难以执行。

鉴于以上，当驾驶员戴着眼镜时，首先，生成亮瞳孔面部图像pxpy和暗瞳孔面部图像pypx，它们不受眼镜所反射的反射光的不利影响。换句话说，从所获取的面部图像去除反射光的影响，以生成亮瞳孔面部图像pxpy和暗瞳孔面部图像pypx。然后，使用以上亮瞳孔面部图像pxpy、以上暗瞳孔面部图像pypx和环境光面部图像pz来执行亮度计算处理。

图10A是示出了没有眼镜反射的亮瞳孔面部图像pxpy的图。图10B是没有眼镜反射的暗瞳孔面部图像pypx的图。为了生成亮瞳孔面部图像pxpy和暗瞳孔面部图像pypx，首先，从图9A中显示的亮瞳孔面部图像px的亮度减去图9B中显示的暗瞳孔面部图像py的亮度。然后，将减去的亮度的值转换为绝对值以生成绝对值面部图像(|px-py|)。将绝对值面部图像(|px-py|)的亮度与亮瞳孔面部图像px和暗瞳孔面部图像py中的每一个亮度相比，就指定了这样一个范围(反射范围)，其相应地显示了眼镜反射。

然后，用暗瞳孔面部图像py中的部分的其它亮度来取代亮瞳孔面部图像px中的指定的反射范围的亮度，其中该部分对应于亮瞳孔面部图像px中的指定的反射范围。通过用其它亮度取代该亮度，生成了图10A中所显示的不受眼镜的影响的亮瞳孔面部图像pxpy。此外，用亮瞳孔面部图像px中的部分的进一步其它亮度取代暗瞳孔面部图像py中的指定反射范围的亮度，其中该部分对应于暗瞳孔面部图像py中的指定的反射范围。通过用进一步其它亮度取代该亮度，生成了图10B中所显示的不受眼镜的影响的暗瞳孔面部图像pypx。

以上之后，将亮瞳孔面部图像pxpy的亮度加到暗瞳孔面部图像pypx的亮度上，以生成加法面部图像(pxpy+pypx)。将环境光面部图像pz的亮度翻倍，以生成双倍的面部图像(2×pz)。从加法面部图像(pxpy+pypx)减去双倍的面部图像(2×pz)，以生成图10C中所显示的部分检测图像(pxpy+pypx-2×pz)，其中该检测图像不受眼镜反射以及环境光的影响。

图10D是示出了没有眼镜反射和环境光的瞳孔图像的图。从以上亮瞳孔面部图像pxpy的亮度减去以上暗瞳孔面部图像pypx的亮度，以生成瞳孔图像(pxpy-pypy)。当如上生成没有眼镜反射和环境光的部分检测图像和瞳孔图像时，信号处理电路22每隔33msec将部分检测图像的图像信息和瞳孔图像的图像信息输出到ECU 30。

通常，因为车辆的乘客舱中相对比较暗，所以为了获取车辆的乘坐者的面部图像，需要多个光源提供足够多的照明器的光量。如果将光源排列在乘坐者的面部的横向上，眼镜的平滑反射平面的反射可以在图像中的横向中延伸。结果，亮瞳孔面部图像px中的眼镜反射可以与暗瞳孔面部图像py中的眼镜反射重叠。如果一个面部图像的眼镜反射与另一个面部图像的眼镜反射重叠，那么从面部图像去除眼镜反射会变得困难。在本实施例中，将同轴照明器50的多个光源和离轴照明器70的多个光源排列在乘坐者的面部的纵向上。从而，限制了面部图像中的眼镜反射在面部图像的横向中的延伸，并且因此限制了亮瞳孔面部图像px中的眼镜反射与在暗瞳孔面部图像py中的眼镜反射重叠。从而，从本实施例中的面部图像去除眼镜反射变得更容易。在以上描述中，一个面部图像中的眼镜反射与另一个面部图像中的眼镜反射的重叠指示了例如，眼镜反射在一个面部图像中的所位于的位置与眼镜反射在另一个面部图像中的位置相同。注意，即使当光源被排列在面部的纵向时，在一个面部图像中眼镜所反射的光源的反射图像也可以与另一个面部图像中的眼镜所反射的反射图像重叠。然而，当光源被排列在以上纵向时，与该情况相比，不会导致在面部图像上生成多个反射图像，其中光源被排列在面部的横向上。结果，其优势是在面部图像中发射图像更不易于彼此重叠。

接着，参考图11中所显示的流程表，描述包括亮度计算处理的面部图像获取装置的操作。首先，在步骤S1，激活图像获取控制电路32。在步骤S2，获取亮瞳孔面部图像px，并且将获取到的面部图像px的图像信息存储在存储器21中。在步骤S3，获取暗瞳孔面部图像py，并且将获取到的面部图像py的图像信息存储在存储器21中。在步骤S4，获取环境光面部图像pz，并且将获取到的面部图像pz的图像信息存储在存储器21中。

在步骤S5，确定驾驶员是否戴着具有平滑反射平面的反射物体，例如眼镜、太阳镜。例如，通过使用操作输入模块(未显示)，预先致使驾驶员输入用于指示驾驶员是否戴着眼镜的信号，并且在步骤S5中参考该输入的信号，以便做出确定。当步骤S5做出肯定的确定时或者当驾驶员戴着眼镜时，控制前进到步骤S7。相反，当做出否定的确定时或者当驾驶员没有戴着眼镜时，控制前进到步骤S6。步骤S6到步骤S8对应于亮度计算处理。

在步骤S6，生成图6A、6B中所显示的部分检测图像和瞳孔图像。在步骤S7，生成图10A、10B中所显示的亮瞳孔面部图像pxpy和暗瞳孔面部图像pypx。在步骤S8，使用亮瞳孔面部图像pxpy、暗瞳孔面部图像pypx和环境光面部图像pz来生成没有眼镜反射和环境光的部分检测图像和瞳孔图像。

在步骤S9，通过将在步骤S6或者S8生成的部分检测图像和瞳孔图像进行组合，以合成或者生成单个复合图像，并且将复合图像输出到图像ECU30。在步骤S10，重设或者删除临时存储在图像存储器21中的图像信息，并且控制前进到步骤S1以重复以上处理。

如上，本实施例中描述的图像获取装置执行计算处理，用于计算三个面部图像中的每一个的亮度。如上，该三个面部图像是亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz，它们具有彼此亮度不同的部分。从而，通过使用三个面部图像中的每一个的亮度，能够获得没有眼镜反射和环境光(例如，日光)的部分检测图像和瞳孔图像。

如上已经描述了本发明的一种实施例。然而，本发明不限于以上的实施例。可以在不脱离本发明的原理的前提下以各种方式修改本发明。

例如，可以使从同轴照明器50和离轴照明器70的光源所施加的光的波长可变，以便当波长改变时将该光施加到驾驶员的面部。在以上结构中，因为对于驾驶员的皮肤的不同颜色检测到不同的亮度，所以可以在某种程度上指定人的种族。如果人的种族指定了，那么更容易提取对应于面部的部分。在以上的情况中，可以基于不同的波长的面部图像，找到适用于可靠地检测与面部相对应的部分的波长。此外，为了找到适合的波长，可以参照亮度的边缘硬度。

此外，在本实施例中，将曝光时间设置为大概300μsec，并且将图像获取时间间隔设置为大概30μsec。然而，以上曝光时间和以上图像获取时间间隔不限于以上值并且可以根据需要而改变。

此外，在安装在车辆上的应用程序不需要驾驶员的瞳孔位置的情况下，没有必要每次获取亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz。在其它可替换的情况中，响应于来自其它应用程序的命令信号，可以省略或者停止成像。

在以上实施例中，分别通过对应的控制设备40和60来控制照明器50和70中的每一个。然而，可替换地，可以通过单个公共控制设备来控制照明器50和70两者。

本领域的技术人员很容易想到额外的优势和修改。因此本发明从广义上来说不限于所示和所述的具体的细节、代表性的装置和说明性的实例。

Claims (9)

1.一种面部图像获取装置，包括：

照相机(10)，其重复地获取车辆乘坐者的面部的图像；

同轴照明器(50)，其被排列得相对于所述照相机(10)的光轴同轴；

离轴照明器(70)，其被排列得相对于所述照相机(10)的所述光轴非同轴；

照明控制设备(40、60)，其被配置为通过控制所述同轴照明器(50)发射的光的光量和所述离轴照明器(70)发射的光的光量，来调整施加到所述乘坐者的所述面部的光的照明条件；

图像获取控制设备(32)，其被配置为控制所述照相机(10)在图像获取定时获取所述面部的所述图像，所述定时与用于通过所述照明控制设备(40、60)来调整所述照明条件的定时同步；以及

亮度计算处理设备(22)，其被配置为通过使用以下面部图像来执行亮度计算处理：

所述照相机(10)在第一照明条件下获取的亮瞳孔面部图像(px)，在所述第一照明条件下主要通过所述同轴照明器(50)将光施加到所述面部；

所述照相机(10)在第二照明条件下获取的暗瞳孔面部图像(py)，在所述第二照明条件下主要通过所述离轴照明器(70)将光施加到所述面部；以及

所述照相机(10)在第三照明条件下获取的环境光面部图像(pz)，在所述第三照明条件下所述面部主要接收所述乘坐者周围的环境光。

2.如权利要求1所述的面部图像获取装置，进一步包括：

反射物体确定模块(S5)，用于确定在所述照相机(10)的成像领域中是否存在反射物体，所述反射物体具有平滑反射平面，其中：

所述亮度计算处理设备(22)执行亮度减法处理，用于当所述反射物体确定模块(S5)确定所述反射物体存在时，从所述亮瞳孔面部图像(px)和所述暗瞳孔面部图像(py)中的一个的亮度减去所述亮瞳孔面部图像(px)和所述暗瞳孔面部图像(py)中的另一个的亮度；

所述亮度计算处理设备(22)包括反射范围指定模块，用于基于所述亮度减法处理的结果，指定所述亮瞳孔面部图像(px)中的所述反射物体的第一反射范围，并且指定所述暗瞳孔面部图像(py)中的所述反射物体的第二反射范围；以及

所述亮度计算处理设备(22)执行所述亮度计算处理，其中：

用所述暗瞳孔面部图像(py)中与所述第一反射范围相对应的部分的亮度取代所述亮瞳孔面部图像(px)中的所述第一反射范围的亮度；以及

用所述亮瞳孔面部图像(px)中与所述第二反射范围相对应的部分的亮度取代所述暗瞳孔面部图像(py)中的所述第二反射范围的亮度。

3.如权利要求1或者2所述的面部图像获取装置，其中：

所述同轴照明器(50)和所述离轴照明器(70)中的每一个都包括多个光源；以及

将所述多个光源中的每一个排列在垂直的方向上。

4.如权利要求1所述的面部图像获取装置，其中：

所述亮度计算处理设备(22)执行图像生成处理，其中：

基于经过了所述亮度计算处理的所述面部图像，生成部分检测图像和瞳孔图像，使用所述部分检测图像来检测与所述乘坐者的所述面部相对应的部分，使用所述瞳孔图像来检测所述乘坐者的瞳孔的位置；以及

对所述部分检测图像和所述瞳孔图像进行组合以生成复合图像；以及

所述亮度计算处理设备(22)输出所述图像生成处理中生成的所述复合图像的图像信息。

5.如权利要求4所述的面部图像获取装置，其中当所述亮度计算处理设备(22)生成所述复合图像时，所述亮度计算处理设备(22)对所述瞳孔图像中与所述瞳孔相对应的部分上色。

6.如权利要求1或者2所述的面部图像获取装置，其中：

所述同轴照明器(50)和所述离轴照明器(70)中的每一个都包括多个光源；

所述同轴照明器(50)和所述离轴照明器(70)在水平方向上彼此间隔开；以及

将所述同轴照明器(50)的所述多个光源以及所述离轴照明器(70)的所述多个光源排列在与水平方向垂直的方向上。

7.一种用于车辆的面部图像获取装置，包括：

照相机(10)，其重复地获取所述车辆的乘坐者的面部的图像；

同轴照明器(50)，其被排列得在所述照相机(10)的光轴上；

离轴照明器(70)，其被排列得在所述照相机(10)的所述光轴外；

照明控制设备(40、60)，其被配置为控制所述同轴照明器(50)和所述离轴照明器(70)，以便调整施加到所述乘坐者的所述面部的光的照明条件；

图像获取控制设备(32)，其被配置为控制所述照相机(10)在图像获取定时获取所述面部的所述图像，所述定时与所述照明控制设备(40、60)用于调整所述照明条件的定时同步；以及

亮度计算处理设备(22)，其被配置为使用亮瞳孔面部图像(px)、暗瞳孔面部图像(py)和环境光面部图像(pz)来生成所述乘坐者的所述面部的至少一个不同图像，所述照相机(10)在第一照明条件下获取所述亮瞳孔面部图像(px)，在所述第一照明条件下所述面部对主要通过所述同轴照明器(50)所发射的光进行接收，所述照相机(10)在第二照明条件下获取所述暗瞳孔面部图像(py)，在所述第二照明条件下所述面部对主要通过所述离轴照明器(70)所发射的光进行接收，所述照相机(10)在第三照明条件下获取所述环境光面部图像(pz)，在所述第三照明条件下所述面部主要对所述乘坐者周围的环境光进行接收。

8.如权利要求7所述的面部图像获取装置，其中：

所述同轴照明器(50)和所述离轴照明器(70)中的每一个都包括多个光源；

所述同轴照明器(50)和所述离轴照明器(70)在水平方向上彼此间隔开；以及

将所述同轴照明器(50)的所述多个光源以及所述离轴照明器(70)的所述多个光源排列在与水平方向垂直的方向上。

9.如权利要求7所述的面部图像获取装置，其中：

所述至少一个不同图像包括部分检测图像和瞳孔图像，所述部分检测图像用于检测与所述乘坐者的所述面部相对应的部分，所述瞳孔图像用于检测所述乘坐者瞳孔的位置；以及

将所述部分检测图像和所述瞳孔图像进行组合，以生成复合图像。

Images