JP5431810B2 - 画像センサとその画像センサに用いられる受光装置 - Google Patents

Description

本発明は、画像データを取得する画像センサに関する。本発明はまた、その画像センサに用いられる受光装置にも関する。

光源から対象物に向けて光を照射し、その照射光と対象物で反射した反射光の差異に基づいて画像データを取得する技術が開発されている。特許文献１〜３には、光源から照射された照射光と対象物で反射した反射光の時間差から対象物までの距離を換算することによって、距離画像データを取得する技術が開示されている。特許文献４には、光源から照射された照射光と対象物で反射した反射光の位相差から対象物までの距離を換算することによって、距離画像データを取得する技術が開示されている。また、特許文献５には、光源から異なる波長の照射光を照射し、それぞれの波長の対象物における反射光の反射特性から対象物の部位を推定することによって、部位判別画像データを取得する技術が開示されている。

特開２００４−２９４４２０号公報 特開２００５−２３５８９３号公報 特開２００５−２９１９８５号公報 特表２０００−５１７４２７号公報 特開２００６−２４２９０９号公報

距離画像データと部位判別画像データの双方を必要とする場合、距離画像データを取得するための装置と部位判別画像データを取得するための装置をそれぞれ設ければ、距離画像データと部位判別画像データの双方を取得することが可能になる。しかしながら、それぞれの装置を別個に設けると、設置スペースが増加するという点や、部品点数が増加することによってコストが増加するという点で好ましくない。本発明は、距離画像データと部位判別画像データの双方を取得可能な画像センサ、及びその画像センサに用いられる受光装置を提供することを目的としている。

本明細書で開示される技術は、距離画像データ及び部位判別画像データを取得するために用いられる照射装置及び撮像装置を共有させることによって、距離画像データと部位判別画像データの双方を取得可能な画像センサ、及びその画像センサ用の受光装置を構築することを特徴としている。本明細書で開示される技術では、照射装置及び撮像装置を共有させることによって、画像センサ及び画像センサ用の受光装置を簡素化させることに成功している。本明細書で開示される技術によれば、簡素化された画像センサ及び画像センサ用の受光装置によって、距離画像データと部位判別画像データの双方を取得することが可能になる。

本明細書で開示される技術は、距離画像データと部位判別画像データを取得する画像センサに具現化される。画像センサは、照射装置と撮像装置と演算装置を備えている。照射装置は、第１波長の第１波長光と、第１波長と異なる第２波長の第２波長光とを対象物に照射する。撮像装置は、対象物で反射した第１波長光の第１反射光に応じた電荷量を蓄積するとともに、対象物で反射した第２波長光の第２反射光に応じた電荷量を蓄積する。演算装置は、撮像装置で蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する。ここで、演算装置は、少なくとも第１波長光を利用して、第１波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算する。必要に応じて、演算装置は、第２波長光を利用して、第２波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算してもよい。さらに、演算装置は、対象物における第１反射光の反射特性と対象物における第２反射光の反射特性に基づいて部位判別画像データを演算する。上記画像センサでは、共有の照射装置を利用するとともに、共有の撮像装置における電荷の蓄積タイミングを制御することによって、距離画像データを演算するために必要な情報及び部位判別画像データを演算するために必要な情報の双方を取得することができる。照射装置及び撮像装置を共有化させることで、簡素化された画像センサを具現化することができる。

本明細書で開示される画像センサでは、撮像装置が、第１時間における第１反射光に応じた電荷量を蓄積する第１電荷蓄積部と、第２時間における第１反射光に応じた電荷量を蓄積する第２電荷蓄積部と、第３時間における第２反射光に応じた電荷量を蓄積する第３電荷蓄積部とを少なくとも有している。さらに、演算装置は、第１電荷蓄積部に蓄積された電荷量と第２電荷蓄積部に蓄積された電荷量に基づいて第１距離画像データを演算するとともに、第１電荷蓄積部に蓄積された電荷量と第３電荷蓄積部に蓄積された電荷量に基づいて部位判別画像データを演算する。第１時間と第２時間は異なる。第１時間と第３時間は、同一時間でもよいし、異なっていてもよい。第２時間と第３時間も、同一時間でもよいし、異なっていてもよい。
ここで、「時間」とは、ある開始時刻から他の終了時刻までの間をいう。「時間が異なる」とは、開始時刻と終了時刻の少なくとも一方が異なることをいう。「時間が同一」とは、開始時刻及び終了時刻の双方が一致することをいう。また、ここでいう「時間」には、連続的なものだけでなく、断続的なものも含む。
上記の画像センサでは、撮像装置の第１電荷蓄積部に蓄積された電荷量が、第１距離画像データを演算するための情報として用いられるとともに、部位判別画像データを演算するための情報としても用いられる。このため、撮像装置の第１電荷蓄積部は、第１距離画像データを取得するために活用されるとともに、部位判別画像データを取得するためにも活用される。撮像装置の第１電荷蓄積部を共有させることによって、画像センサ及び画像センサ用の受光装置が簡素化される。また、第１電荷蓄積部に蓄積された電荷量が第１距離画像データ及び部位判別画像データの演算用の情報として用いられるので、距離画像データ及び部位判別画像データの演算用にそれぞれ電荷を蓄積する場合に比べて、第１距離画像データ及び部位判別画像データの取得に要する時間が短縮される。

本明細書で開示される画像センサでは、撮像装置が、第４時間における第２反射光に応じた電荷量を蓄積する第４電荷蓄積部をさらに有しているのが好ましい。この場合、演算装置は、第３電荷蓄積部に蓄積された電荷量と第４電荷蓄積部に蓄積された電荷量に基づいて第２距離画像データを演算することを特徴とする。第３時間と第４時間は異なる。第１時間と第４時間は、同一時間でもよいし、異なっていてもよい。第２時間と第４時間も、同一時間でもよいし、異なっていてもよい。
上記画像センサでは、第１波長光を用いて第１距離画像データを取得するとともに、第２波長光を用いても第２距離画像データを取得する。例えば、第１波長光を用いて得られた第１距離画像データと第２波長光を用いて得られた第２距離画像データのいずれか一方を状況に応じて選択することにより、より正確な距離画像データを得ることが可能になる。あるいは、第１波長光を用いて得られた第１距離画像データと第２波長光を用いて得られた第２距離画像データを合成させることにより、より高精度な距離画像データを取得することが可能になる。

第１波長光の第１距離画像データと第２波長光の第２距離画像データの双方を取得する場合、第１距離画像データと第２距離画像データは、一方が近距離に存在する対象物の距離画像に用いられ、他方が遠距離に存在する対象物の距離画像に用いられるのが好ましい。
照射光と反射光の時間差及び位相差は、対象物までの距離に応じて変動する。対象物までの距離が短い場合（近距離の場合）は、照射光と反射光の時間差及び位相差が小さい。一方、対象物までの距離が長い場合（遠距離の場合）は、照射光と反射光の時間差及び位相差が大きい。このため、近距離に存在する対象物の距離画像データを取得するためには、その時間差及び位相差に応じた電荷の蓄積タイミングが望ましく、遠距離に存在する対象物の距離画像データを取得するためには、その時間差及び位相差に応じた電荷の蓄積タイミングが望ましい。
上記の画像センサでは、対象物までの距離に応じて、演算に用いるデータを使い分けることにより、高精度で正確な距離画像データを取得することが可能になる。

本明細書で開示される画像センサでは、撮像装置が、第１波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第１受光素子と、第２波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第２受光素子を有しているのが好ましい。第１電荷蓄積部と第２電荷蓄積部は、第１受光素子で変換された電荷を蓄積する。第３電荷蓄積部は、第２受光素子で変換された電荷を蓄積する。
本願明細書で開示される画像センサでは、異なる波長の第１波長光と第２波長光を利用する。このため、選択透過用の光学フィルタを用いない場合、受光素子で受光される２つの第１波長光と第２波長光が干渉しないようにするために、第１波長光を照射するタイミングと第２波長光を照射するタイミングを大きくずらす必要がある。
これに対し、光学フィルタを用いると、第１波長光を照射するタイミングと第２波長光を照射するタイミングをずらす必要がない。この結果、上記画像センサでは、より短時間で画像データを取得することが可能になる。

本明細書で開示される技術によると、簡素化された受光装置を用いて距離画像データと部位判別画像データの双方を取得することが可能になる。この結果、距離画像データと部位判別画像データの双方を用いて、より有益な画像を合成することが可能になる。

画像センサの構成の概略を示す。 撮像装置の構成の概略を示す。 受光部の構成の概略の一例を示す。 データベースに記憶されているデータの一例を示す。 時間差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートを示す。 時間差から距離画像データを演算する方法の説明図を示す。 位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの一例を示す。 位相差から距離画像データを演算する方法の説明図を示す。 受光部の構成の概略の他の一例を示す。 位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの他の一例を示す。 受光部の構成の概略の他の一例を示す。 位相差から距離画像データを取得する場合の光源及び電荷蓄積部におけるタイミングチャートの他の一例を示す。

まず、本明細書で開示される技術を整理しておく。
（第１特徴） 照射装置は、第１光源と第２光源を有する。第１光源は、第１波長の第１波長光を照射する。第２光源は、第１波長とは異なる第２波長の第２波長光を照射する。
（第２特徴） 第１光源は、パルス変調された第１波長光を照射する。第２光源は、パルス変調された第２波長光を照射する。
（第３特徴） 撮像装置は、アレイ状に配置された複数の受光部を有する。受光部は、受光素子と、電荷蓄積部と、受光素子と電荷蓄積部を接続するスイッチング素子を有する。
（第４特徴） 受光素子と電荷蓄積部の間のスイッチング素子は、第１波長光又は第２波長光が発光するタイミングに連動して制御される。
（第５特徴） 受光素子と電荷蓄積部の間のスイッチング素子は、第１波長光又は第２波長光が発光するタイミングに同期して、パルス変調されたゲート信号によって制御される。

以下、図面を参照して車載用の画像センサに関して説明する。特に、以下の実施例で説明する画像センサは、車両の運転手の頭部に係る画像データを取得するために用いられる。図１に示すように、画像センサ１００は、照射装置２０と、受光装置８０と、照射装置２０と受光装置８０を制御する制御装置３０を備えている。照射装置２０と受光装置８０と制御装置３０は、それぞれ別個の装置として構成されていてもよく、一体化されたモジュールとして構成されていてもよい。

照射装置２０は、第１波長域の第１波長光を測定対象物の表面に向けて照射する第１光源２２と、第２波長域の第２波長光を測定対象物の表面に向けて照射する第２光源２４を備えている。第１光源２２と第２光源２４は、例えばＬＥＤ（Light Emitting Diode：発光ダイオード)を備えている。第１光源２２及び第２光源２４は、８００〜１１００ｎｍの近赤外領域の光を照射するのが望ましい。本実施例では、第１光源２２が８７０ｎｍの第１波長光を照射し、第２光源２４が９７０ｎｍの第２波長光を照射する。

受光装置８０は、撮像装置４０と、記憶装置５０と、演算装置６０と、データベース７０を備えている。撮像装置４０は、測定対象物で反射した第１波長光の第１反射光に応じた電荷量を蓄積するとともに、測定対象物で反射した第２波長光の第２反射光に応じた電荷量を蓄積する。記憶装置５０は、撮像装置４０に蓄積された電荷量に応じた電圧値を記憶する。演算装置６０は、記憶装置５０及びデータベース７０に記憶されているデータを用いて、距離画像データ及び部位判別画像データを演算する。データベース７０は、特定部位における第１波長光の反射特性及び特定部位における第２波長光の反射特性を記憶している。

図２に、撮像装置４０の構成を概略して示す。撮像装置４０は、２次元状（アレイ状）に配置されている複数の受光部４２を備えている。受光部４２は、画素毎に設けられている。受光部４２はそれぞれ、光を電荷に変換する受光素子（光電変換素子）と、受光素子で変換された電荷を蓄積する電荷蓄積部を備えている。受光素子には、典型的にはフォトダイオードが用いられる。電荷蓄積部には、典型的にはコンデンサが用いられる。

図３に、受光部４２の一例を示す。受光部４２は、４つの受光素子４４ａ，４４ｂ，４４ｃ，４４ｄと、４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄを備えている。第１受光素子４４ａは第１電荷蓄積部４６ａに接続されており、第１受光素子４４ａで変換された電荷が第１電荷蓄積部４６ａに蓄積される。第２受光素子４４ｂは第２電荷蓄積部４６ｂに接続されており、第２受光素子４４ｂで変換された電荷が第２電荷蓄積部４６ｂに蓄積される。第３受光素子４４ｃは第３電荷蓄積部４６ｃに接続されており、第３受光素子４４ｃで変換された電荷が第３電荷蓄積部４６ｃに蓄積される。第４受光素子４４ｄは第４電荷蓄積部４６ｄに接続されており、第４受光素子４４ｄで変換された電荷が第４電荷蓄積部４６ｄに蓄積される。

記憶装置５０は、受光部４２の電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに蓄積された電荷量を電圧に変換する電圧変換回路と、変換された電圧値を記憶する記憶回路を備えている。記憶装置５０の記憶回路は複数のメモリを有しており、各受光部４２の電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄのそれぞれの電荷量に対応した電圧値を記憶する。

演算装置６０は、記憶装置５０に記憶された電圧値に基づいて、距離画像データを演算する。演算装置６０はさらに、記憶装置５０に記憶された電圧値とデータベース７０に記憶された反射特性に基づいて、部位判別画像データも演算する。

データベース７０には、光の反射特性に係るデータが記憶されている。本実施例の画像センサ１００は車載用であり、測定対象物が運転手の頭部である。このため、データベース７０には、頭部の各部位における光の反射特性に係るデータが記憶されている。図４に、データベース７０に記憶されているデータの一例を示す。図４は、肌の分光反射率及び髪の分光反射率を示す。なお、この肌の分光反射率及び髪の分光反射率を用いて部位判別画像データを演算する手法に関しては後述する。

次に、本実施例の画像センサ１００による距離画像データ及び部位判別画像データを取得するための方法の一例について説明する。図５及び６を参照して、距離画像データを取得するための方法の一例を説明する。図５及び６に示す例は、照射装置２０から照射された照射光と測定対象物で反射した反射光の時間差から測定対象物までの距離を換算することによって、距離画像データを取得する例である。

図５に示すように、第１光源２２と第２光源２４は、交互に発光を繰返し、第１波長光（８７０ｎｍ）と第２波長光（９７０ｎｍ）を交互に測定対象物に向けて照射する。制御装置３０は、第１光源２２を制御してパルス変調された第１波長光（８７０ｎｍ）を測定対象物に向けて照射させるとともに、第２光源２４を制御してパルス変調された第２波長光（９７０ｎｍ）を測定対象物に向けて照射させる。図５に示すように、第１光源２２がオンしているときは第２光源２４がオフしており、第２光源２４がオンしているときは第１光源２２がオフしている。また、第１光源２２と第２光源２４が同時にオフする期間も設けられている。この例では、第１光源２２の第１波長光（８７０ｎｍ）と第２光源２４の第２波長光（９７０ｎｍ）は、いずれも同一のパルス周期である。なお、利用されるパルス変調の種類は特に限定されないが、本実施例ではパルス幅変調（Pulse Width Modulation：PWM）を利用する。

制御装置３０は、撮像装置４０に接続されており、第１光源２２及び第２光源２４が発光するタイミングに連動（同期）して、撮像装置４０のうちのどの電荷蓄積部に電荷を蓄積させるかも制御する。具体的には、図３に示す受光部４２の場合、受光素子４４ａ，４４ｂ，４４ｃ，４４ｄと電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄの間のそれぞれにスイッチング素子（典型的には電界効果型トランジスタ）が接続されており、制御装置３０は、第１光源２２及び第２光源２４が発光するタイミングに連動して、それらのスイッチング素子をオン・オフするタイミングを制御する。したがって、制御装置３０は、パルス変調されたゲート信号を利用して、受光素子４４ａ，４４ｂ，４４ｃ，４４ｄと電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄの間のスイッチング素子のオン・オフを制御する。図５に示すように、制御装置３０は、第１光源２２及び第２光源２４の発光するタイミングに一致してスイッチング素子をオンさせる蓄積タイミング１（位相０°）と、第１光源２２及び第２光源２４が発光するタイミングから位相が１８０°ずれてスイッチング素子をオンさせる蓄積タイミング２（位相１８０°）の２種類が存在する。図５に示すように、蓄積タイミング１と蓄積タイミング２によるスイッチング素子のオン・オフが所定期間に亘って繰返される。

図３に示す電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄの場合を例に具体的に説明する。図５に示されている時間（１）では、図３の第１受光素子４４ａと第１電荷蓄積部４６ａの間のスイッチング素子がオンとなり、第１受光素子４４ａで変換された電荷が第１電荷蓄積部４６ａに蓄積される。図５に示されている時間（２）では、図３の第２受光素子４４ｂと第２電荷蓄積部４６ｂの間のスイッチング素子がオンとなり、第２受光素子４４ｂで変換された電荷が第２電荷蓄積部４６ｂに蓄積される。図５に示されている時間（３）では、図３の第３受光素子４４ｃと第３電荷蓄積部４６ｃの間のスイッチング素子がオンとなり、第３受光素子４４ｃで変換された電荷が第３電荷蓄積部４６ｃに蓄積される。図５に示されている時間（４）では、図３の第４受光素子４４ｄと第４電荷蓄積部４６ｄの間のスイッチング素子がオンとなり、第４受光素子４４ｄで変換された電荷が第４電荷蓄積部４６ｄに蓄積される。

図５に示すように、第１光源２２及び第２光源２４が所定期間に亘って発光を繰返しており、４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄにはその所定期間に亘って変換された電荷が累積して蓄積される。

図６に、時間差を利用して距離画像データを取得する演算方法を示す。発光期間がＷである照射光が測定対象物に照射されると、その測定対象物で反射した反射光は時間差τだけ遅れて受光素子で受光される。蓄積タイミング１で反射光を受光した受光素子には、その反射光に応じた電荷量Ｅ１が生成され、その蓄積タイミング１において接続されている電荷蓄積部に電荷量Ｅ１が蓄積される。蓄積タイミング２で反射光を受光した受光素子には、その反射光に応じた電荷量Ｅ２が生成され、その蓄積タイミング２において接続されている電荷蓄積部に電荷量Ｅ２が蓄積される。時間差τは、以下の式で求められる。なお、ｄは測定対象物までの距離であり、ｃは光速である。

即ち、第１電荷蓄積部４６ａに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（１）に対応する）と第２電荷蓄積部４６ｂに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（２）に対応する）に基づいて、距離画像データを演算することができる。この距離画像データは、第１波長光（８７０ｎｍ）に基づいて取得される距離画像データである。同様に、第３電荷蓄積部４６ｃに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（３）に対応する）と第４電荷蓄積部４６ｄに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（４）に対応する）に基づいて、距離画像データを演算することができる。この距離画像データは、第２波長光（９７０ｎｍ）に基づいて取得される距離画像データである。

第１波長光に基づく距離画像データと第２波長光に基づく距離画像データは、例えば、それらの平均値を真の距離画像データとして用いてもよい。あるいは、必要に応じて、第１波長光に基づく距離画像データと第２波長光に基づく距離画像データのいずれか一方を用いてもよい。

図７及び８を参照して、距離画像データを取得するための方法の他の一例を説明する。図７及び８に示す例は、光源から照射された照射光と測定対象物で反射した反射光の位相差から測定対象物までの距離を換算することによって、距離画像データを取得する例である。

図７に示すように、この例では、第１光源２２と第２光源２４が発光するタイミングに連動（同期）して、撮像装置４０のスイッチング素子をオンさせるタイミングが４種類であることを特徴としている。図７に示すように、制御装置３０は、第１光源２２及び第２光源２４のオンするタイミングに一致してスイッチング素子をオンさせる蓄積タイミング１（位相０°）と、第１光源２２及び第２光源２４が発光するタイミングから位相が１８０°ずれてスイッチング素子をオンさせる蓄積タイミング２（位相１８０°）と、第１光源２２及び第２光源２４が発光するタイミングから位相が９０°ずれてスイッチング素子をオンさせるタイミング３（位相９０°）と、第１光源２２及び第２光源２４が発光するタイミングから位相が２７０°ずれてスイッチング素子をオンさせるタイミング４（位相２７０°）の４種類が存在する。図７に示すように、蓄積タイミング１と蓄積タイミング２によるスイッチング素子のオン・オフが所定期間（Ｔ１）に亘って繰返された後に、蓄積タイミング３と蓄積タイミング４によるスイッチング素子のオン・オフが所定期間（Ｔ２）に亘って繰返される。

図３に示す電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄの場合を例に説明する。まず、所定期間（Ｔ１）の場合、図７に示されている時間（１）では、図３の第１受光素子４４ａと第１電荷蓄積部４６ａの間のスイッチング素子がオンとなり、第１受光素子４４ａで変換された電荷が第１電荷蓄積部４６ａに蓄積される。図７に示されている時間（２）では、図３の第２受光素子４４ｂと第２電荷蓄積部４６ｂの間のスイッチング素子がオンとなり、第２受光素子４４ｂで変換された電荷が第２電荷蓄積部４６ｂに蓄積される。図７に示されている時間（３）では、図３の第３受光素子４４ｃと第３電荷蓄積部４６ｃの間のスイッチング素子がオンとなり、第３受光素子４４ｃで変換された電荷が第３電荷蓄積部４６ｃに蓄積される。図７に示されている時間（４）では、図３の第４受光素子４４ｄと第４電荷蓄積部４６ｄの間のスイッチング素子がオンとなり、第４受光素子４４ｄで変換された電荷が第４電荷蓄積部４６ｄに蓄積される。４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄには、所定期間（Ｔ１）に亘って変換された電荷が累積的に蓄積される。所定期間（Ｔ１）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに累積的に蓄積された電荷量は、記憶装置５０において電圧値に変換され記憶される。さらに、所定期間（Ｔ１）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに蓄積された電荷は消去される。

次に、所定期間（Ｔ２）に移行すると、図７に示されている時間（５）では、図３の第１受光素子４４ａと第１電荷蓄積部４６ａの間のスイッチング素子がオンとなり、第１受光素子４４ａで変換された電荷が第１電荷蓄積部４６ａに蓄積される。図７に示されている時間（６）では、図３の第２受光素子４４ｂと第２電荷蓄積部４６ｂの間のスイッチング素子がオンとなり、第２受光素子４４ｂで変換された電荷が第２電荷蓄積部４６ｂに蓄積される。図７に示されている時間（７）では、図３の第３受光素子４４ｃと第３電荷蓄積部４６ｃの間のスイッチング素子がオンとなり、第３受光素子４４ｃで変換された電荷が第３電荷蓄積部４６ｃに蓄積される。図７に示されている時間（８）では、図３の第４受光素子４４ｄと第４電荷蓄積部４６ｄの間のスイッチング素子がオンとなり、第４受光素子４４ｄで変換された電荷が第４電荷蓄積部４６ｄに蓄積される。４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄには、所定期間（Ｔ２）に亘って変換された電荷が累積的に蓄積される。所定期間（Ｔ２）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに累積的に蓄積された電荷量は、記憶装置５０において電圧値に変換され記憶される。さらに、所定期間（Ｔ２）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに蓄積された電荷は消去される。

図８に、位相差を利用して距離画像データを取得する演算方法を示す。発光期間がＷである照射光が測定対象物に照射されると、その測定対象物で反射した反射光は位相差φだけ遅れて受光素子で受光される。蓄積タイミング１で反射光を受光した受光素子には、その反射光に応じた電荷量Ｅ１が生成され、その蓄積タイミング１において接続されている電荷蓄積部に電荷量Ｅ１が蓄積される。蓄積タイミング３で反射光を受光した受光素子には、その反射光に応じた電荷量Ｅ２が生成され、その蓄積タイミング３において接続されている電荷蓄積部に電荷量Ｅ２が蓄積される。蓄積タイミング２で反射光を受光した受光素子には、その反射光に応じた電荷量Ｅ３が生成され、その蓄積タイミング２において接続されている電荷蓄積部に電荷量Ｅ３が蓄積される。蓄積タイミング４で反射光を受光した受光素子には、その反射光に応じた電荷量Ｅ４が生成され、その蓄積タイミング４において接続されている電荷蓄積部に電荷量Ｅ４が蓄積される。位相差φは、以下の式で求められる。なお、ｄは測定対象物までの距離であり、ｃは光速であり、ｆは繰返し周波数である。

即ち、所定期間（Ｔ１）において第１電荷蓄積部４６ａに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（１）に対応する）と第２電荷蓄積部４６ｂに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（２）に対応する）と、所定期間（Ｔ２）において第１電荷蓄積部４６ａに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（５）に対応する）と第２電荷蓄積部４６ｂに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（６）に対応する）に基づいて、距離画像データを演算することができる。この距離画像データは、第１波長光（８７０ｎｍ）に基づいて取得される距離画像データである。同様に、所定期間（Ｔ１）において第３電荷蓄積部４６ｃに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（３）に対応する）と第４電荷蓄積部４６ｄに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（４）に対応する）と、所定期間（Ｔ２）において第３電荷蓄積部４６ｃに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（７）に対応する）と第４電荷蓄積部４６ｄに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（８）に対応する）に基づいて、距離画像データを演算することができる。この距離画像データは、第２波長光（９７０ｎｍ）に基づいて取得される距離画像データである。

第１波長光に基づく距離画像データと第２波長光に基づく距離画像データは、例えば、それらの平均値を真の距離画像データとして用いてもよい。あるいは、必要に応じて、第１波長光に基づく距離画像データと第２波長光に基づく距離画像データのいずれか一方を用いてもよい。

次に、図４を参照して、部位判別画像データを取得するための方法の一例を説明する。前記したように、データベース７０には、肌の分光反射率及び髪の分光反射率に係るデータが記憶されている。図４に示すように、肌の分光反射率及び髪の分光反射率に関し、波長８７０ｎｍと９７０ｎｍの分光反射率を比較すると、以下の関係が存在する。

・肌：８７０ｎｍにおける反射率＞９７０ｎｍにおける反射率
・髪：８７０ｎｍにおける反射率＜９７０ｎｍにおける反射率

例えば、図５に示す蓄積タイミングで撮像装置４０のスイッチング素子を動作させた場合、第１電荷蓄積部４６ａに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（１）に対応しており、第１波長光８７０ｎｍの反射率を反映する）と第３電荷蓄積部４６ｃに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（３）に対応しており、第２波長光９７０ｎｍの反射率を反映する）に基づいて、部位判別画像データを演算することができる。必要に応じて、第２電荷蓄積部４６ｂに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（２）に対応しており、第１波長光８７０ｎｍの反射率を反映する）と第４電荷蓄積部４６ｄに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（４）に対応しており、第２波長光９７０ｎｍの反射率を反映する）に基づいて、部位判別画像データを演算することもできる。

あるいは、図７に示す蓄積タイミングで撮像装置４０のスイッチング素子を動作させた場合、所定期間（Ｔ１）において第１電荷蓄積部４６ａに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（１）に対応しており、第１波長光８７０ｎｍの反射率を反映する）と第３電荷蓄積部４６ｃに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（３）に対応しており、第２波長光９７０ｎｍの反射率を反映する）に基づいて、部位判別画像データを演算することができる。必要に応じて、時間（２）と（４）、時間（５）と（７）、及び／又は時間（６）と（８）に対応して記憶されている電圧値に基づいて、部位判別画像データを演算することもできる。

このように、運転手の頭部領域を測定対象物として抽出し、画素毎の値を８７０ｎｍと９７０ｎｍの各々の波長において比較することで、頭部領域の肌、髪を判別することが可能となる。

なお、本実施例では、第１波長光に８７０ｎｍを利用し、第２波長光に９７０ｎｍを利用しているが、他の波長域の光を利用してもよい。好ましくは、以下の条件を満たすのが望ましい。

第１に、近赤外領域の光を用いるのが望ましい。この理由は、運転手が運転中に使用する場合には、運転手の気を散らさないために不可視光で運転手の顔を照明することになるが、紫外領域の光を用いると眼に害を与えるおそれがあり望ましくないからである。

第２に、１１００ｎｍ以下の波長域の光を用いるのが望ましい。この理由は、コスト、信頼性、及び応答性の点で優れているシリコン半導体で構成された受光素子は、１１００ｎｍ以下の波長に対して高い感度を有するからである。

第３に、２つの波長域における反射率が、肌、髪等の各々で異なることが望ましい。また、可視領域近傍の波長の光を照射する照射装置を用いると、光が可視領域に漏れる可能性があること、受光素子の感度が１１００ｎｍ以上では殆ど無いことも考慮する必要がある。

上記で説明したように、本実施例の画像センサ１００は、共有させた照射装置２０及び撮像装置４０を利用して、距離画像データと部位判別画像データを取得することができる。また、図５に示す蓄積タイミングの場合、第１電荷蓄積部４６ａに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図５の時間（１）に対応する）が、距離画像データと部位判別画像データの双方の演算に用いられる。また、図７に示す蓄積タイミングの場合、所定期間（Ｔ１）において第１電荷蓄積部４６ａに蓄積されている電荷量に基づいて記憶装置５０に記憶されている電圧値（図７の時間（１）に対応する）が、距離画像データと部位判別画像データの双方の演算に用いられる。このため、第１電荷蓄積部４６ａが、距離画像データを取得するために活用されるとともに、部位判別画像データを取得するためにも活用される。撮像装置４０の第１電荷蓄積部４６ａを共有させることによって、画像センサ１００が簡素化される。さらに、第１電荷蓄積部４６ａに蓄積された電荷量が、距離画像データ及び部位判別画像データの演算用の情報として用いられるので、距離画像データ及び部位判別画像データの演算用にそれぞれ電荷を蓄積させる場合に比べて、距離画像データ及び部位判別画像データの取得に要する時間が短縮される。

図９に、撮像装置４０に設けられた受光部４２の他の一例を示す。図９に示す受光部４２は、１つの受光素子４４と、４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄを備えている。４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄのそれぞれは、受光素子４４に接続されている。４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄと受光素子４４の間には、スイッチング素子がそれぞれ設けられている。図３に示す受光部４２と比較すると、受光素子の数が大幅に削減されているので、より簡素化された圧力センサを具現化することができる。

図１０に、第１光源２２と第２光源２４を発光させるパルス周期を変えた他の一例を示す。この変形例は、図７に示す位相差φに基づく距離画像データの取得例の変形例である。なお、以下の技術は、図５に示す時間差τに基づく距離画像データの取得例にも適用することができる。

図１０に示すように、第２光源２４は、第１光源２２よりもパルス周期が２倍に変調されて制御されている。これに連動して、所定期間（Ｔ１）における第３電荷蓄積部４６ｃ及び第４電荷蓄積部４６ｄに電荷を蓄積させる時間（３）及び（４）の周期も２倍に調整されている。同様に、所定期間（Ｔ２）における第３電荷蓄積部４６ｃ及び第４電荷蓄積部４６ｄに電荷を蓄積させる時間（７）及び（８）の周期も２倍に調整されている。

この例では、第１波長光（８７０ｎｍ）に基づく距離画像データ（時間（１）と（２）と（５）と（６）に対応して記憶されている電圧値に基づいて得られる）は、近距離に存在する測定対象物の距離画像に用いられる。一方、第２波長光（９７０ｎｍ）に基づく距離画像データ（時間（３）と（４）と（７）と（８）に対応して記憶されている電圧値に基づいて得られる）は、遠距離に存在する測定対象物の距離画像に用いられる。即ち、パルス周期が短く変調された第１波長光（８７０ｎｍ）は近距離に存在する測定対象物の距離画像を取得するために利用され、パルス周期が長く変調された第２波長光（９７０ｎｍ）は遠距離に存在する測定対象物の距離画像を取得するために利用される。

照射光と反射光の時間差及び位相差は、測定対象物までの距離に応じて変動する。測定対象物までの距離が短い場合（近距離の場合）は、照射光と反射光の時間差及び位相差が小さい。一方、測定対象物までの距離が長い場合（遠距離の場合）は、照射光と反射光の時間差及び位相差が大きい。このため、例えば、図１０に示す第１波長光（８７０ｎｍ）を利用して遠距離に存在する測定対象物の距離画像データを取得しようとすると、反射光を受光できないことがあり、反射光の電荷を蓄積できない事態が生じ得る。また、図１０に示す第２波長光（９７０ｎｍ）を利用して近距離に存在する測定対象物の距離画像データを取得しようとすると、各位相における電荷量の差が小さくなり、精度の良い距離画像データを取得できない事態が生じ得る。したがって、パルス周期が短く変調された第１波長光（８７０ｎｍ）は近距離に存在する測定対象物の距離画像を取得するために利用するのが望ましく、パルス周期が長く変調された第２波長光（９７０ｎｍ）は遠距離に存在する測定対象物の距離画像を取得するために利用されるのが望ましい。このように、測定対象物までの距離に応じて、演算に用いるデータを使い分けることにより、高精度で正確な距離画像データを取得することが可能になる。

図１１に、撮像装置４０に設けられた受光部４２の他の一例を示す。図１１に示す受光部４２は、２つの受光素子４４Ａ，４４Ｂと、４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄを備えている。第１電荷蓄積部４６ａと第２電荷蓄積部４６ｂはそれぞれ、第１受光素子４４Ａに接続されている。第３電荷蓄積部４６ｃと第４電荷蓄積部４６ｄはそれぞれ、第２受光素子４４Ｂに接続されている。第１電荷蓄積部４６ａと第１受光素子４４Ａ、及び第２電荷蓄積部４６ｂと第１受光素子４４Ａの間には、スイッチング素子がそれぞれ設けられている。第３電荷蓄積部４６ｃと第２受光素子４４Ｂ、及び第４電荷蓄積部４６ｄと第２受光素子４４Ｂの間にも、スイッチング素子がそれぞれ設けられている。

受光部４２はさらに、２つのバンドパスフィルタ４８Ａ，４８Ｂを備えている。第１バンドパスフィルタ４８Ａは第１受光素子４４Ａを覆っており、第２バンドパスフィルタ４８Ｂは第２受光素子４４Ｂを覆っている。第１バンドパスフィルタ４８Ａは第１波長光（８７０ｎｍ）に対して透過選択性を有しており、第２バンドパスフィルタ４８Ｂは第２波長光（９７０ｎｍ）に対して透過選択性を有している。このため、第１受光素子４４Ａは、第１波長光のみを受光する。第２受光素子４４Ｂは、第２波長光のみを受光する。

図１２に、図１１の受光部４２を用いて位相差φに基づく距離画像データを取得する例を示す。なお、以下の技術は、図５に示す時間差τに基づく距離画像データの取得例にも適用することができる。図７の例と比較すると分かるように、第１光源２２と第２光源２４が同時に発光を繰り返している。所定期間（Ｔ１）の場合、図１２に示されている時間（１）では、図１１の第１受光素子４４Ａと第１電荷蓄積部４６ａの間のスイッチング素子がオンとなり、第１受光素子４４Ａで変換された電荷が第１電荷蓄積部４６ａに蓄積される。図１１に示されている時間（２）では、図１１の第１受光素子４４Ａと第２電荷蓄積部４６ｂの間のスイッチング素子がオンとなり、第１受光素子４４Ａで変換された電荷が第２電荷蓄積部４６ｂに蓄積される。図１２に示されている時間（３）では、図１１の第２受光素子４４Ｂと第３電荷蓄積部４６ｃの間のスイッチング素子がオンとなり、第２受光素子４４Ｂで変換された電荷が第３電荷蓄積部４６ｃに蓄積される。図１２に示されている時間（４）では、図１１の第２受光素子４４Ｂと第４電荷蓄積部４６ｄの間のスイッチング素子がオンとなり、第２受光素子４４Ｂで変換された電荷が第４電荷蓄積部４６ｄに蓄積される。４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄには、所定期間（Ｔ１）に亘って変換された電荷が累積的に蓄積される。所定期間（Ｔ１）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに累積的に蓄積された電荷量は、記憶装置５０において電圧値に変換され記憶される。さらに、所定期間（Ｔ１）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに蓄積された電荷は消去される。

次に、所定期間（Ｔ２）に移行すると、図１２に示されている時間（５）では、図１１の第１受光素子４４Ａと第１電荷蓄積部４６ａの間のスイッチング素子がオンとなり、第１受光素子４４Ａで変換された電荷が第１電荷蓄積部４６ａに蓄積される。図１２に示されている時間（６）では、図１１の第１受光素子４４Ａと第２電荷蓄積部４６ｂの間のスイッチング素子がオンとなり、第１受光素子４４Ａで変換された電荷が第２電荷蓄積部４６ｂに蓄積される。図１２に示されている時間（７）では、図１１の第２受光素子４４Ｂと第３電荷蓄積部４６ｃの間のスイッチング素子がオンとなり、第２受光素子４４Ｂで変換された電荷が第３電荷蓄積部４６ｃに蓄積される。図１２に示されている時間（８）では、図１１の第２受光素子４４Ｂと第４電荷蓄積部４６ｄの間のスイッチング素子がオンとなり、第２受光素子４４Ｂで変換された電荷が第４電荷蓄積部４６ｄに蓄積される。４つの電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄには、所定期間（Ｔ２）に亘って変換された電荷が累積的に蓄積される。所定期間（Ｔ２）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに累積的に蓄積された電荷量は、記憶装置５０において電圧値に変換され記憶される。さらに、所定期間（Ｔ２）が終了すると、電荷蓄積部４６ａ，４６ｂ，４６ｃ，４６ｄに蓄積された電荷は消去される。

図１２に示すように、時間（１）と（３）は同一であり、時間（２）と（４）は同一であり、時間（５）と（７）は同一であり、時間（６）と（８）は同一である。即ち、第１バンドパスフィルタ４８Ａ及び第２バンドパスフィルタ４８Ｂを利用することにより、第１受光素子４４Ａでは第１波長光の反射光のみを電荷に変換する処理を実行することができ、第２受光素子４４Ｂでは第２波長光の反射光のみを電荷に変換する処理を実行することができる。第１受光素子４４Ａにおける処理と第２受光素子４４Ｂにおける処理を平行して実行することができる。これにより、画像センサ１００は、より短時間で画像データを取得することが可能になる。

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

２０：照射装置
２２：第１光源
２４：第２光源
３０：制御装置
４０：撮像装置
４２：受光部
４４ａ，４４ｂ，４４ｃ，４４ｄ：受光素子
４６ａ，４６ｂ，４６ｃ，４６ｄ：電荷蓄積部
４８Ａ，４８Ｂ：バンドパスフィルタ
５０：記憶装置
６０：演算装置
７０：データベース
８０：受光装置

Claims (5)

1. 距離画像データと部位判別画像データを取得する画像センサであって、
   第１波長の第１波長光と、第１波長と異なる第２波長の第２波長光とを対象物に照射する照射装置と、
   対象物で反射した第１波長光の第１反射光に応じた電荷量を蓄積するとともに、対象物で反射した第２波長光の第２反射光に応じた電荷量を蓄積する撮像装置と、
   前記撮像装置に蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する演算装置と、を備えており、
   前記撮像装置は、第１時間における第１反射光に応じた電荷量を蓄積する第１電荷蓄積部と、第２時間における第１反射光に応じた電荷量を蓄積する第２電荷蓄積部と、第３時間における第２反射光に応じた電荷量を蓄積する第３電荷蓄積部と、を少なくとも有しており、
   前記演算装置は、少なくとも第１波長光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算するとともに、対象物における前記第１反射光の反射特性と対象物における前記第２反射光の反射特性に基づいて部位判別画像データを演算し、
   前記演算装置は、第１電荷蓄積部に蓄積された電荷量と第２電荷蓄積部に蓄積された電荷量に基づいて第１距離画像データを演算するとともに、第１電荷蓄積部に蓄積された電荷量と第３電荷蓄積部に蓄積された電荷量に基づいて部位判別画像データを演算し、
   前記第１時間と前記第２時間が異なることを特徴とする画像センサ。
2. 前記撮像装置は、第４時間における第２反射光に応じた電荷量を蓄積する第４電荷蓄積部をさらに有しており、
   前記演算装置は、第３電荷蓄積部に蓄積された電荷量と第４電荷蓄積部に蓄積された電荷量に基づいて第２距離画像データを演算し、
   前記第３時間と前記第４時間が異なることを特徴とする請求項１に記載の画像センサ。
3. 前記第１距離画像データと前記第２距離画像データは、一方が近距離に存在する対象物の距離画像データに用いられ、他方が遠距離に存在する対象物の距離画像データに用いられることを特徴とする請求項２に記載の画像センサ。
4. 前記撮像装置は、第１波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第１受光素子と、第２波長を選択的に透過させる光学フィルタを介して反射光を受光するとともにその反射光を電荷に変換する第２受光素子を有し、
   第１電荷蓄積部と第２電荷蓄積部は、第１受光素子で変換された電荷を蓄積し、
   第３電荷蓄積部は、第２受光素子で変換された電荷を蓄積することを特徴とする請求項１〜３のいずれか一項に記載の画像センサ。
5. 異なる波長の波長光を利用して、距離画像データと部位判別画像データを取得する画像センサに用いられる受光装置であって、
   対象物で反射した第１波長の光の第１反射光に応じた電荷量を蓄積するとともに、対象物で反射した第２波長の光の第２反射光に応じた電荷量を蓄積する撮像装置と、
   前記撮像装置に蓄積された電荷量に基づいて、距離画像データと部位判別画像データを演算する演算装置と、を備えており、
   前記撮像装置は、第１時間における第１反射光に応じた電荷量を蓄積する第１電荷蓄積部と、第２時間における第１反射光に応じた電荷量を蓄積する第２電荷蓄積部と、第３時間における第２反射光に応じた電荷量を蓄積する第３電荷蓄積部と、を少なくとも有しており、
   前記演算装置は、少なくとも第１波長の光が照射装置から対象物で反射して撮像装置に到達するまでの距離に基づいて距離画像データを演算するとともに、対象物における第１反射光の反射特性と対象物における第２反射光の反射特性に基づいて部位判別画像データを演算し、
   前記演算装置は、第１電荷蓄積部に蓄積された電荷量と第２電荷蓄積部に蓄積された電荷量に基づいて距離画像データを演算するとともに、第１電荷蓄積部に蓄積された電荷量と第３電荷蓄積部に蓄積された電荷量に基づいて部位判別画像データを演算し、
   前記第１時間と前記第２時間が異なることを特徴とする受光装置。
   

Images