JP2009071789A - 車両周辺監視システム - Google Patents

Abstract

【課題】夜間に撮影した近赤外線映像の細部の認識度を向上させること。
【解決手段】近赤外線光源の発光状態、可視光カメラの撮影タイミングおよび近赤外線カメラの撮影タイミングを制御することで、近赤外線光源から近赤外線を被写体へ照射しない状態で被写体から反射された可視光を可視光カメラによって第一画像を撮影させた後に近赤外線光源から近赤外線を被写体へ照射する状態で被写体から反射された近赤外線を近赤外線カメラによって第二画像を撮影させる処理を所定間隔で繰り返し実行する。さらに、第一画像から被写体の輪郭を抽出し、その抽出した輪郭および輪郭に囲まれた部分からなる特定領域を第二画像に合成し、その合成後の画像における特定領域に特定の色彩を付与する。なお、色を付けると、照明や信号機などの判別が可能となる。
【選択図】図１０

Description

本発明は、夜間など車両周囲の照度が低いときに近赤外線カメラを用いて画像を撮影する際に、撮影した近赤外線映像の細部の認識度を向上させる技術に関する。

従来より、近赤外線カメラを用いて夜間に画像を撮影する画像監視装置が知られている。具体的には、特許文献１に記載の画像監視装置では、まず、画像入力制御部が、ＬＥＤ照明装置付きＩＴＶカメラで撮影する監視シーンに対し、照明を強くしたノーマル露光の第１画像と、照明を弱くした高速露光の第２画像とを設定する。また、画像入力部が第１画像を入力した後、次のフィールドで第２画像を入力し、画像合成部が第１画像と第２画像に対し、画素毎の輝度値に応じた重み係数を乗じて加算して合成画像を作成、物体判定の処理対象画像とする。さらに、差分画像作成部が合成画像の直前フレームと現フレーム間で画素毎の差分処理を行い、変化領域抽出部が差分画像を２値化して変化領域を抽出する。そして、物体検知部が変化領域の統合領域毎に、フレーム間の正規化相関処理による濃淡パターンマッチングを行って物体判定を行う。
特開２００１−３３３４２０号公報

しかし、上述のような画像監視装置においては、近赤外線カメラによって夜間に撮影された画像については、被写体のおおよその形は判別可能であるが、被写体の細部を識別することが困難であるという問題があった。

本発明は、このような不具合に鑑みなされたものであり、その目的とするところは、夜間など車両周囲の照度が低いときに撮影した近赤外線映像の細部の認識度を向上させる技術を提供することにある。

上記課題を解決するためになされた請求項１に係る車両周辺監視システムにおいては、可視光カメラが、車両周囲に存在する被写体から反射される可視光をその撮影タイミングに撮影可能であり、近赤外線光源が、被写体に近赤外線を照射可能であり、近赤外線カメラが、近赤外線光源から照射されたのちに被写体から反射された近赤外線をその撮影タイミングに撮影可能である。そして、撮影制御手段が、近赤外線光源の発光状態、可視光カメラの撮影タイミングおよび近赤外線カメラの撮影タイミングを制御することで、近赤外線光源から近赤外線を被写体へ照射しない状態で被写体から反射された可視光を可視光カメラによって撮影させた後に近赤外線光源から近赤外線を被写体へ照射する状態で被写体から反射された近赤外線を近赤外線カメラによって撮影させる処理を所定間隔で繰り返し実行する。さらに、画像合成手段が、近赤外線光源から近赤外線を被写体へ照射しない状態で可視光カメラが被写体から反射された可視光を撮影した「第一画像」から被写体の輪郭を抽出し、その抽出した輪郭および輪郭に囲まれた部分からなる特定領域を、近赤外線光源から近赤外線を被写体へ照射する状態で近赤外線カメラが被写体から反射された近赤外線を撮影した「第二画像」に合成し、その合成後の画像における特定領域に特定の色彩を付与する。そして、表示制御手段が、画像合成手段によって生成された合成画像を、ユーザに対して種々の情報を表示する表示手段に表示させる。

このように構成された本発明の車両周辺監視システムによれば、夜間など車両周囲の照度が低いときでも、合成後の画像における特定領域に特定の色彩を付与するので、その撮影した近赤外線映像の細部の認識度を向上させることができる。

ところで、例えば夜間など車両周囲の照度が低いときには、可視光カメラが撮影した第一画像に被写体などの物体が鮮明に写らない場合がある。このような場合、抽出された被写体の輪郭が不明瞭となるおそれがある。

そこで、車両周囲の照度が不足する場合には可視光を被写体に照射することが考えられる。具体的には、請求項２のように、車両周囲の照度を計測する照度計測手段と、被写体に可視光を照射可能な可視光光源と、照度計測手段からの出力信号に基づき、車両周囲の照度が閾値よりも小さいか否かを判断する照度判断手段と、を備え、照度判断手段によって車両周囲の照度が閾値よりも小さいと判断される場合には、撮影制御手段が、被写体から反射された可視光を可視光カメラによって撮影させる際に、可視光光源の発光状態を制御して、可視光光源から可視光を被写体へ照射する状態とすることが考えられる。

このようにすれば、例えば夜間など車両周囲の照度が低いときでも、可視光カメラが撮影した第一画像に被写体などの物体が鮮明に写ることが期待でき、抽出される被写体の輪郭が明瞭となる。したがって、例えば夜間など車両周囲の照度が低いときでも、合成画像である近赤外線映像の細部の認識度を維持することができる。

この場合、車速に応じて可視光の光量を調整することが考えられる。具体的には、請求項３のように、車両の速度を計測する車速計測手段を備え、撮影制御手段が、被写体から反射された可視光を可視光カメラによって撮影させる際に、車速計測手段からの出力信号に基づき、可視光光源の発光状態を制御して、可視光光源が発光する可視光の光量を調整することが考えられる。一例を挙げると、車両の速度が閾値よりも大きい場合には、より遠くの被写体を撮影しておくために、可視光光源が発光する可視光の光量を大きくするといった具合である。また、車両の速度が増加する場合にはその増加具合に応じて可視光光源が発光する可視光の光量を大きくするようにしてもよい。このようにすれば、例えば車両の走行速度が大きい場合には、可視光の光量を大きくすることで可視光の到達距離が大きくなり、より遠くの被写体を撮影しておくができる。したがって、合成画像である近赤外線映像の細部の認識度をより向上させることができる。

なお、上述の可視光光源が発光状態となって被写体に可視光が照射されると、近赤外線カメラが撮影した画像に照りが映るおそれがある。そこで、可視光光源が発光状態である間は近赤外線カメラに撮影させないようにすることが考えられる。具体的には、請求項４のように、可視光光源が発光状態である場合には、撮影制御手段が、近赤外線カメラを撮影状態とはしないことが考えられる。このようにすれば、近赤外線カメラによる撮影画像に照りが映らず、夜間など車両周囲の照度が低いときに撮影した近赤外線映像の細部の認識度を維持することができる。

ところで、被写体に対応する特徴領域に対して特定の色彩を付与する処理の具体例としては、安全運転の実行に関連する物体に対応する領域に特定の色彩を付与することが挙げられる。具体的には、請求項５のように、特徴領域に対応する被写体が安全運転の実行に関連する安全運転関連物体であるか否かを判断する安全運転関連物体判断手段を備え、画像合成手段が、安全運転関連物体判断手段によって安全運転関連物体であると判断された被写体に対応する特徴領域に対して特定色彩を付与することが考えられる。このようにすれば、特定領域の形状の歪み補正を単純化することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。また、運転者への情報提供の効果も向上させることができる。

また、請求項６のように、画像合成手段が、特定領域を第二画像に合成する際に画像中のオフセット成分を調整することが考えられる。このようにすれば、例えば車両内から撮影する場合など、画像中の背景部分を消去することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。

また、第一画像を撮影してから第二画像を撮影するまでの間隔を短くすることが考えられる。具体的には、請求項７のように、撮影制御手段が、近赤外線光源から近赤外線を被写体へ照射しない状態で被写体から反射された可視光を可視光カメラによって撮影させた後に近赤外線光源から近赤外線を被写体へ照射する状態で被写体から反射された近赤外線を近赤外線カメラによって撮影させるまでの所要時間が閾値以下となるように、近赤外線光源の発光状態、可視光カメラの撮影タイミングおよび近赤外線カメラの撮影タイミングを制御することが考えられる。このようにすれば、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。

ところで、上述のように合成後の画像における特定領域に特定の色彩を付与する際には、物体の内部でサンプリングした色彩に最も近い色彩を、予め用意した複数の色彩から選択して割り付けるとよい。具体的には、請求項８のように、画像合成手段が、合成後の画像における特定領域に特定の色彩を付与する際には、抽出した輪郭に囲まれた部分の画像をサンプリングし、予め用意した複数の色彩からそのサンプリングした色彩に最も近い色彩を選択して特定領域に割り付けることが考えられる。このようにすれば、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。

以下に本発明の実施形態を図面とともに説明する。
［第一実施形態］
図１は、第一実施形態の車両周辺監視システム１の概略構成を示す説明図である。また、図２は、近赤外線カメラ１０の撮影タイミング、可視光カメラ２０の撮影タイミング、およびマルチ光源３０の発光タイミングを示す説明図である。

［車両周辺監視システム１の構成の説明］
車両周辺監視システム１は、近赤外線カメラ１０と、可視光カメラ２０と、マルチ光源３０と、照度計４０と、光源強度制御部５０と、同期制御部６０と、画像処理部７０と、画像表示装置８０と、を備える。

近赤外線カメラ１０は、ＣＣＤカメラで構成され、その前方の被写体から反射される近赤外線を連続して撮影する。なお、近赤外線カメラ１０の撮影タイミングは同期制御部６０によって制御される。また、本実施形態では１台の近赤外線カメラ１０が車両の前部に設置され、車両前方を撮影する。

可視光カメラ２０は、ＣＣＤカメラで構成され、その前方の被写体から反射される可視光を連続して撮影する。なお、可視光カメラ２０の撮影タイミングは同期制御部６０によって制御される。なお、本実施形態では１台の可視光カメラ２０が車両の前部に設置され、車両前方を撮影する。

マルチ光源３０は、可視光光源および近赤外線光源を有し、可視光光源が前方の被写体に可視光を照射し、近赤外線光源が前方の被写体に近赤外線を照射する。なお、マルチ光源３０の発光強度は光源強度制御部５０によって制御され、マルチ光源３０の発光状態は同期制御部６０によって制御される。なお、マルチ光源３０は可視光光源および近赤外線光源に該当する。

照度計４０は、周囲の照度を計測し、その計測結果を示す信号を光源強度制御部５０へ出力する。
光源強度制御部５０は、照度計４０からの出力信号に基づき、マルチ光源３０の発光強度を制御する。

同期制御部６０は、外部から取得する車速を示す信号およびライト点灯信号に基づき、近赤外線カメラ１０の撮影タイミング、可視光カメラ２０の撮影タイミングおよびマルチ光源３０の発光状態を、図２に示すようなタイミングで制御する。なお、同期制御部６０は撮影制御手段に該当する。

画像処理部７０は、各種画像処理を実行する。また、画像処理部７０は、画像メモリ７１，７２，７３，７４を有する。これら画像メモリ７１，７２，７３，７４は、画像処理部７０が生成した画像を一時的に保存するのに利用される。また、画像処理部７０は、各種画像処理後の画像を画像表示装置８０へ出力する。なお、画像処理部７０は差分抽出手段および画像合成手段に該当する。

画像表示装置８０は、液晶ディスプレイや有機ＥＬディスプレイ等から構成され、ユーザに対して各種情報を表示する。なお、各種情報の具体例としては、画像処理部７０が出力した画像が挙げられる。なお、画像表示装置８０は表示手段および表示制御手段に該当する。

［車両周辺監視処理の説明］
次に、車両周辺監視システム１によって実行される車両周辺監視処理を図３のフローチャートおよび図４〜図７を参照して説明する。

本処理は、車両周辺監視システム１の電源が投入された際に実行される。
まず、初期状態として車両のランプや照明がオフであることを確認する（Ｓ１０５）。具体的には、同期制御部６０が、外部から取得したライト点灯信号に基づき、車両のランプや照明がオフであるか否かを判断する。肯定判断である場合には（Ｓ１０５：ＹＥＳ）、車両が昼間に走行していると判定され、光源強度制御部５０が補助光源としてのマルチ光源３０の可視光光源の発光状態をオフとし（Ｓ１１０、図４（ａ）参照）、Ｓ１１５に移行する。一方、否定判断である場合には（Ｓ１０５：ＮＯ）、光源強度制御部５０が補助光源の発光状態をオンとする（Ｓ１１５、図４（ｂ）参照）。なお、本実施形態では、図４（ｂ）に参照する画像に対して、車両から所定距離まで可視光が到達するように補助光源の光量を調整することにより、近傍に対して光が届かない遠方では撮影した画像の濃さが強くなり、ある閾値以上の濃さの領域を識別することで画像中の遠方にある余分な物体を排除する処理を行っている（図４（ｃ）参照）。そして、Ｓ１２０に移行する。

続いて、環境光がある状態で画像を撮影する（Ｓ１２０）。具体的には、同期制御部６０が、撮影を指示する信号を可視光カメラ２０へ送信する。すると、可視光カメラ２０ではその信号を受信することで被写体から反射された可視光を撮影する（図５（ａ）参照）。つまり、Ｓ１１０を経由した場合には、可視光カメラ２０は、補助光源が可視光を照射しない状態で可視光カメラ２０によって被写体を撮影する。一方、Ｓ１１５を経由した場合には、可視光カメラ２０は、補助光源が可視光を照射する状態で可視光カメラ２０によって被写体を撮影する。そして、可視光カメラ２０は、撮影した画像を画像処理部７０に出力し、画像処理部７０は、可視光カメラ２０から入力された画像をフレーム１として画像メモリ７１に一時保存する。なお、図５（ａ）はフレーム１の画像例である。このフレーム１は、モノクロまたはカラーの全波長画像であり、補助光源を点灯しないときに撮影する画像になる。言い換えると自然な外光によって撮影される画像であり、太陽光が強い場合には画像中に影が発生する。

続いて、その画像フレームの色情報が取得可能か否か、つまり色の違いが判定可能か否かを判断する（Ｓ１２５）。否定判断である場合には（Ｓ１２５：ＮＯ）、光源強度制御部５０が補助光源の発光状態をオンとするとともにその光強度を強くし（Ｓ１３０）、Ｓ１２０に移行する。一方、肯定判断である場合には（Ｓ１２５：ＹＥＳ）、色情報取得処理が取得したエリアごとの色情報を記憶する（Ｓ１３５）。

続いて、同期制御部６０が、外部から取得した車速を示す信号に基づき、補助光源が照射する可視光の強度を設定する（Ｓ１４０）。具体的には、上述の各エリアの色情報を取得したら、車速を計測して補助光源の強度を設定する。一例を挙げると、車両の速度が速い場合には、補助光源の光強度を強くして、補助光源から照射される可視光が到達可能な距離を大きくするといった具合である。

続いて、画像を複数のエリアに分割する処理を実行する（Ｓ１４５、図９（ｂ）参照）。
続いて、時間を計測し（Ｓ１５０）、所定時間が経過したら次の画像を撮影する。具体的には、同期制御部６０が、マルチ光源３０の近赤外線光源の発光状態をオンとする旨の信号をマルチ光源３０へ送信する。すると、マルチ光源３０ではその信号を受信することで近赤外線光源の発光状態をオンとし、近赤外線を照射する（Ｓ１５５）。そして、同期制御部６０が、撮影を指示する信号を近赤外線カメラ１０へ送信する。すると、近赤外線カメラ１０ではその信号を受信することで被写体から反射された近赤外線を撮影する（Ｓ１６０、図５（ｂ）および図６（ａ）参照）。そして、近赤外線カメラ１０は、撮影した画像を画像処理部７０に出力する。画像処理部７０では、近赤外線カメラ１０から入力された画像をフレーム２として画像メモリ７２に一時保存する。なお、図５（ｂ）はフレーム２の画像例である。このフレーム２は、フレーム１と同様にモノクロまたはカラーの全波長画像であり、近赤外線光源からの近赤外線が照射されるために画像中の近くの部分が明るくなる。また、図６（ａ）は、夜など周囲の照度が不十分なときに、マルチ光源３０の近赤外線光源から照射される近赤外線のみによって近赤外線カメラ１０によって撮影された画像例である。このように近赤外線カメラ１０で撮影された画像は、近赤外線の強度が弱いため、通常のモノクロ写真よりも暗くなるが、人間や車のランプ、照明灯、排気口などの近赤外線を放射することで光源となるものは明るく撮影される。なお、太陽光には赤外線が含まれるため、通常の撮影ではもっと遠くまでの画像が撮影される。特に、道路や黒っぽい建物のように暖まりやすいところが明るく撮影される。

続いて、マルチ光源３０の近赤外線光源の発光状態をオフとする（Ｓ１６５）。具体的には、同期制御部６０が、マルチ光源３０の近赤外線光源の発光状態をオフとする旨の信号をマルチ光源３０へ送信する。すると、マルチ光源３０ではその信号を受信することで近赤外線光源の発光状態をオフとする。

続いて、フレーム１およびフレーム２に基づく演算処理を実行する（Ｓ１７０）。具体的には、フレーム１およびフレーム２に基づいてピクセル減算を実行し、近赤外線光源のみで撮影した場合を想定した演算画像を求め（図６（ｂ）参照）、その演算画像の輪郭からエリア番号との対応をチェックし、演算画像の対応エリアＩＤに色情報を演算（加算）して、画像を作成する。そして、作成した画像を画像メモリ７３に一時保存する。

なお、図６（ｂ）はフレーム２からフレーム１をピクセル減算したデータの画像例である。影が目立たなくなり、マルチ光源３０の近くに設定された到達距離範囲内のエリアだけが見えるようになる。なお、この明るくなる範囲については、近赤外線光源の強度を変えることで変更可能である。つまり、近赤外線光源の強度が強ければ、遠くまで検知可能となる。

続いて、色情報抽出処理によって抽出された色情報に基づき、Ｓ１７０にて作成された画像への色付けを行う（Ｓ１７５、図７（ａ）および図７（ｂ）参照）。具体的には、物体の性質（固定物、移動体）に応じて色の付け方に変化をつける。移動体は赤色、オレンジ等の暖色、静止物体は通常は寒色系の色とする。ただし、静止物体でも、自車との接触の可能性がある場合、一時的に暖色を設けたり白っぽくしたりして見やすくする。また、移動体の色は、人なら顔の色の肌色系を代表色とする。但し、画像処理能力が大きい場合には多色で表現しても良い。また、車両は黄緑色や黄色のような暖色系で道路には使われない色でハイライト表示する。なお、より具体的な処理内容については色情報抽出処理として後述する。そして、色付けされた画像を画像メモリ７４に一時保存する。

なお、図７（ａ）は合成画像の表示例であり、色付け処理、背景除去処理を行った後の暗視イメージである。この合成画像は、人間および標識に色を付した例である。安全運転関連の物体にのみ色をつける。これを行うために、車両には物体の形状のデータベースがある。そして、撮影画像を物体と比較し、物体が何かを決定する。また、本実施形態では、従来の暗視カメラ画像の背景を、高速カメラの光源の有無で除き、その画像に通常の光源で撮影した画像の色情報を加えて、見やすくし、かつ安全運転に利用できる画像を形成することを目的にしている。このことにより、歩道を示す情報や信号機を示す情報にカラー情報が加えられる。また、信号機と街灯の比較が容易となる。また、前方車両のヘッドランプの色を検出すれば、前方車両の動きが計測できる。

また、図７（ｂ）についても、図７（ａ）と同様に合成画像の表示例であり、レーダとカメラの両方を使って安全運転関連情報を検知する例であり、近くに存在する標識を認識することができる。このようにレーダで物体を検知すると、それがまだユーザに情報提供できない場合、光源のパワーをあげて道路上の遠くまで照明光を点灯し、遠くの物体を表示できるようにする。このとき赤外光と昼光照明の到達距離を同等とする。

なお、このように作成された画像を画像表示装置８０に出力され、その画像を画像表示装置８０が表示する。
続いて、距離制限暗視カメラ画像が問題ないか否かを判断する（Ｓ１８０）。具体的には、ユーザによる距離設定変更があるか否かを判断する。肯定判断である場合には（Ｓ１８０：ＹＥＳ）、Ｓ１２０に移行する。一方、否定判断である場合には（Ｓ１８０：ＮＯ）、ユーザが設定変更した距離設定値を読み取り（Ｓ１８５）、その設定値に応じた光源強度設定を行う（Ｓ１９０）。具体的には、車速連携のための光源強度パラメータを設定する。そして、Ｓ１２０に移行する。

［色情報取得処理の説明］
次に、車両周辺監視システム１によって実行される色情報取得処理を図８のフローチャート、図９および図１０を参照して説明する。

本処理は、車両周辺監視システム１の電源が投入された際に、車両周辺監視処理などの他の処理からは独立して実行される。
まず、環境光がある状態で画像を撮影する（Ｓ２１０、図９（ａ）参照）。続いて、上述のように環境光がある状態で撮影した画像を複数のエリアに分割する（Ｓ２１５）。一例を挙げると、図９（ｂ）に例示するように、上述のように撮影した画像を、右側の路側エリアや左側の路側エリア、道路エリアに分割するといった具合である。なおこの場合、各エリアに含まれる範囲については、車両から前方への所定距離までに制限する。そして、各エリアに含まれる特徴的な物体の輪郭を抽出する（Ｓ２２０、図１０（ａ）参照）。続いて、輪郭が抽出された物体の同定番号を付し（Ｓ２３０）、同定番号が付された物体が安全運転関連物体であるか否かを判断する（Ｓ２４０）。なお、その物体が人間であれば安全運転関連物体であると判断し、自動車などの移動物体であれば安全運転関連物体ではないと判断する。続いて、輪郭内部の描画色のサンプリング色の確定処理を実行する（Ｓ２５０）。具体的には、その輪郭の内部の色を設定数個サンプリングし、その複数の抽出ポイントの色の平均値（ＲＧＢそれぞれの値）を取り、予め用意された３２色からその平均値に最も近い色を選択して移動体の輪郭内に指定する（図１０（ｂ）および図１０（ｃ）参照）。なお、色を付けると、照明や信号機などの判別が可能となる。

そして、本処理を終了する。
［色情報抽出処理の説明］
次に、車両周辺監視システム１によって実行される色情報抽出処理を図１１のフローチャートおよび図１２〜図１４を参照して説明する。

本処理は、車両周辺監視システム１の電源が投入された際に、車両周辺監視処理などの他の処理からは独立して実行される。
まず、環境光がある状態で画像を撮影する（Ｓ３０５、図１２（ａ）および図１３（ａ）参照）。この際、照度計４０からの信号から、昼や夕方、夜、夜明けなどの時間帯を認識することで、周囲の照度から撮影条件を判定する。

続いて、補助光源であるマルチ光源３０の可視光光源を用いて、可視光カメラ２０が画像を撮影する（Ｓ３１０、図１２（ａ）および図１３（ｂ）参照）。なお、カラー画像については、昼光で撮影する必要があるため、夜間の補助光源は昼光が用いられる。また、夕方の撮影では、昼光に補正するためにフィルタが用いられる。

続いて、撮影された画像フレームをチェックし、物体検知処理の結果に基づき、画像フレーム中に人間や車両などの移動物体が存在するか否かを判定する（Ｓ３１５）。
ここで、物体検知制御は、移動体の接近のサンプリングの方法であり、過去フレームの現在フレームの比較をして物体の移動を検知する（図１４参照）。なお、この物体検知制御の背景は次の通りである。すなわち、車両が走行しようと、停止であろうと、画像のサンプリングが高速のため、問題なく画像情報を取得できる。移動体の検出は、通常、数フレームごとの物体の移動を検出する。但し、高速で移動する物体がある場合、１フレームごとにサンプリングする。数フレームごとのサンプリングでは、車両の速度に応じて、正面の画像から切り取るエリアを変更する。過去の画像の一部（車両が前方へ走行すると過去に撮影したイメージの一部が現在撮影したイメージになる。一例を挙げると、過去画像の一部の拡大イメージが現在のイメージになったり、道路の消失点は前(上）方に延びたりするといった具合である。また、道路を同じ様に見えるようにすると、移動物体の移動が明確にわかる。また、物地に近づけば、物体が拡大する。そして、自車経路が移動体経路とクロスしないかをシミュレーションする。

Ｓ３１５において画像中に移動物体が存在すると判断された場合には、その移動物体の位置を判定し、その移動物体に対してカラーハイライト処理を実行する（図１２（ｂ）参照）。なお、ハイライト色については背景色から決定する。そして、移動物体が判定されると、移動物体の形状や動き方（移動範囲、速度）により、移動物体の概略性質を判定する。例えば、移動物体が人間であれば顔の部分の温度が高くなっていることを判定する等、人間であるか否かが判断される。

続いて、道路の特徴を分類し、ベクトル化やノット、多角形（またはベジエライン）などの手法を用いて、輪郭形状を抽出する（Ｓ３２０）。この際、車道や歩道、分離帯、分離物（ガードレール、縁石）、白線、黄色線などが抽出される。なお、道路がカーブになっている場合には、道路を適当な多項式で表現し、輪郭が推定しやすいようにしておく。

続いて、路側物体の輪郭を抽出するとともに、画像の輪郭を抽出する（Ｓ３２５）。この際、危険域の色情報を確認する。
続いて、輪郭が抽出された物体に同定番号を付す（Ｓ３３０）。そして、同定番号を付された物体については、安全運転関連物体であるか否かを判定する。一例を挙げると、その物体が人間である場合には安全運転関連物体であると判定し、その物体が自動車などの移動物体である場合には安全運転関連物体ではないと判定するといった具合である。

続いて、設定した輪郭エリアの色をサンプリングし、その安全運転関連物体の色情報を抽出可能であるか否かを判断する（Ｓ３３５）。否定判断である場合には（Ｓ３３５：ＮＯ）、補助光源の発光量を増加し（Ｓ３５０）、Ｓ３１５に戻って再度計測する。一方、肯定判断である場合には（Ｓ３３５：ＹＥＳ）、ＲＧＢのサンプリングの平均値を算出することで、分類された物体の色情報を取得する（Ｓ３４０）。この際、車道や歩道、分離物（ガードレール、縁石）、白線、黄色線などの色を割り付ける（図１３（ｃ）および図１３（ｄ）参照）。

なお、図１３（ｃ）は、車道や歩道、分離物（ガードレール、縁石）、白線、黄色線などの色を割り付けた画像例を示し、図１３（ｄ）は、補助光源の発光量を増加した場合に、車道や歩道、分離物（ガードレール、縁石）、白線、黄色線などの色を割り付けた画像例を示す。

続いて、道路の特徴物体に対して既定の色を割り付けるとともに、移動物体に色を割り付け、それらの情報を記憶する（Ｓ３４５）。なお、この色の割り付けについては、車外をカメラで撮影する前に、周辺の明るさが十分明るく、撮影に支障が無い様に設定される。また、人間の表示色については通常暖色系を用いるが、環境色より変更される場合もある。一例を挙げると、道路が白っぽい場合には、ハイライト色を濃い暖色に設定するといった具合である。

そして、本処理を終了する。
［第一実施形態の効果］
（１）このように第一実施形態の車両周辺監視システム１によれば、次のような作用効果を奏する。すなわち、近赤外線光源の発光状態、可視光カメラの撮影タイミングおよび近赤外線カメラの撮影タイミングを制御することで、近赤外線光源から近赤外線を被写体へ照射しない状態で被写体から反射された可視光を可視光カメラによって第一画像を撮影させた後に近赤外線光源から近赤外線を被写体へ照射する状態で被写体から反射された近赤外線を近赤外線カメラによって第二画像を撮影させる処理を所定間隔で繰り返し実行する。さらに、第一画像から被写体の輪郭を抽出し、その抽出した輪郭および輪郭に囲まれた部分からなる特定領域を第二画像に合成し、その合成後の画像における特定領域に特定の色彩を付与する。なお、色を付けると、照明や信号機などの判別が可能となる。したがって、夜間など車両周囲の照度が低いときでも、合成後の画像における特定領域に特定の色彩を付与するので、その撮影した近赤外線映像の細部の認識度を向上させることができる。

（２）また、第一実施形態の車両周辺監視システム１によれば、車両周囲の照度が不足する場合には可視光を被写体に照射するので、例えば夜間など車両周囲の照度が低いときでも、可視光カメラ２０が撮影したフレーム１に被写体などの物体が鮮明に写ることが期待でき、抽出される被写体の輪郭が明瞭となる。したがって、例えば夜間など車両周囲の照度が低いときでも、合成画像である近赤外線映像の細部の認識度を維持することができる。

（３）また、第一実施形態の車両周辺監視システム１によれば、車両の速度に応じて可視光の光量を調整するので、例えば車両の走行速度が大きい場合には、可視光の光量を大きくすることで可視光の到達距離が大きくなり、より遠くの被写体を撮影しておくができる。したがって、合成画像である近赤外線映像の細部の認識度をより向上させることができる。

（４）また、第一実施形態の車両周辺監視システム１によれば、可視光光源が発光状態である間は近赤外線カメラ１０に撮影させないようにするので、近赤外線カメラ１０による撮影画像に照りが映らず、夜間など車両周囲の照度が低いときに撮影した近赤外線映像の細部の認識度を維持することができる。

（５）また、第一実施形態の車両周辺監視システム１によれば、安全運転の実行に関連する物体に対応する領域に特定の色彩を付与するので、その領域の形状の歪み補正を単純化することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。また、運転者への情報提供の効果も向上させることができる。

（６）また、第一実施形態の車両周辺監視システム１によれば、画像合成を行う際に画像中のオフセット成分を調整するので、例えば車両内から撮影する場合など、画像中の背景部分を消去することができ、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。

（７）また、第一実施形態の車両周辺監視システム１によれば、第一画像を撮影してから第二画像を撮影するまでの間隔を約１ｍｓと極めて短く設定しているので、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。

（８）また、第一実施形態の車両周辺監視システム１によれば、合成後の画像における特定領域に特定の色彩を付与する際には、抽出した輪郭に囲まれた部分の画像をサンプリングし、予め用意した３２色からそのサンプリングした色彩に最も近い色彩を選択して特定領域に割り付ける。このことにより、合成画像としての近赤外線映像の細部の認識度をより向上させることができる。

［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のように様々な態様にて実施することが可能である。

（１）上記第一実施形態の車両周辺監視システム１では、色情報抽出処理において、近赤外線カメラ１０や可視光カメラ２０が撮影した画像を用いて画像から色情報を抽出しているが、これには限られず、近赤外線カメラ１０や可視光カメラ２０による撮影画像に加えてレーダによる検知結果を用いて画像から色情報を抽出するようにしてもよい（図１６（ｃ）参照）。この場合、可視光カメラ２０が画像を撮影する際に、レーダによる検知も実行し（図１６（ａ）参照）、レーダ検知後にマルチ光源３０の可視光光源の強度を強くする処理を実行する（図１６（ｂ）参照）。このように構成しても上記実施形態と同様の作用効果を奏する。

第一実施形態の車両周辺監視システム１の概略構成を示す説明図である。 近赤外線カメラ１０の撮影タイミング、可視光カメラ２０の撮影タイミング、およびマルチ光源３０の発光タイミングを示す説明図である。 車両周辺監視処理の手順を示すフローチャートである。 （ａ）は車両周辺監視処理を説明する説明図（１）であり、（ｂ）は車両周辺監視処理を説明する説明図（２）であり、（ｃ）は車両周辺監視処理を説明する説明図（３）である。 （ａ）は車両周辺監視処理を説明する説明図（４）であり、（ｂ）は車両周辺監視処理を説明する説明図（５）である。 （ａ）は車両周辺監視処理を説明する説明図（６）であり、（ｂ）は車両周辺監視処理を説明する説明図（７）である。 （ａ）は車両周辺監視処理を説明する説明図（８）であり、（ｂ）は車両周辺監視処理を説明する説明図（９）である。 色情報取得処理の手順を示すフローチャートである。 （ａ）は色情報取得処理を説明する説明図（１）であり、（ｂ）は色情報取得処理を説明する説明図（２）である。 （ａ）は色情報取得処理を説明する説明図（３）であり、（ｂ）は色情報取得処理を説明する説明図（４）であり、（ｃ）は色情報取得処理を説明する説明図（５）である。 色情報抽出処理の手順を示すフローチャートである。 （ａ）は色情報抽出処理を説明する説明図（１）であり、（ｂ）は色情報抽出処理を説明する説明図（２）である。 （ａ）は色情報抽出処理を説明する説明図（３）であり、（ｂ）は色情報抽出処理を説明する説明図（４）であり、（ｃ）は色情報抽出処理を説明する説明図（５）であり、（ｄ）は色情報抽出処理を説明する説明図（６）である。 物体検出処理を説明する説明図である。 色情報抽出処理を説明する説明図（７）である。 （ａ）は色情報抽出処理を説明する説明図（８）であり、（ｂ）は色情報抽出処理を説明する説明図（９）であり、（ｃ）は色情報抽出処理を説明する説明図（１０）である。

符号の説明

１…車両周辺監視システム、１０…近赤外線カメラ、２０…可視光カメラ、３０…マルチ光源、４０…照度計、５０…光源強度制御部、６０…同期制御部、７０…画像処理部、７１，７２，７３，７４…画像メモリ、８０…画像表示装置

Claims (8)

1. 車両周囲に存在する被写体から反射される可視光をその撮影タイミングに撮影する可視光カメラと、
   前記被写体に近赤外線を照射可能な近赤外線光源と、
   前記近赤外線光源から照射されたのちに前記被写体から反射された近赤外線をその撮影タイミングに撮影する近赤外線カメラと、
   前記近赤外線光源の発光状態、前記可視光カメラの撮影タイミングおよび前記近赤外線カメラの撮影タイミングを制御することで、前記近赤外線光源から近赤外線を前記被写体へ照射しない状態で前記被写体から反射された可視光を前記可視光カメラによって撮影させた後に前記近赤外線光源から近赤外線を前記被写体へ照射する状態で前記被写体から反射された近赤外線を前記近赤外線カメラによって撮影させる処理を所定間隔で繰り返し実行する撮影制御手段と、
   前記近赤外線光源から近赤外線を前記被写体へ照射しない状態で前記可視光カメラが前記被写体から反射された可視光を撮影した第一画像から前記被写体の輪郭を抽出し、その抽出した輪郭および輪郭に囲まれた部分からなる特定領域を、前記近赤外線光源から近赤外線を前記被写体へ照射する状態で前記近赤外線カメラが前記被写体から反射された近赤外線を撮影した第二画像に合成し、その合成後の画像における前記特定領域に特定の色彩を付与する画像合成手段と、
   ユーザに対して種々の情報を表示する表示手段と、
   前記画像合成手段によって生成された合成画像を前記表示手段に表示させる表示制御手段と、
   を備えることを特徴とする車両周辺監視システム。
2. 請求項１に記載の車両周辺監視システムにおいて、
   前記車両周囲の照度を計測する照度計測手段と、
   前記被写体に可視光を照射可能な可視光光源と、
   前記照度計測手段からの出力信号に基づき、前記車両周囲の照度が閾値よりも小さいか否かを判断する照度判断手段と、を備え、
   前記撮影制御手段は、前記照度判断手段によって前記車両周囲の照度が閾値よりも小さいと判断される場合には、前記被写体から反射された可視光を前記可視光カメラによって撮影させる際に、前記可視光光源の発光状態を制御して、前記可視光光源から可視光を前記被写体へ照射する状態とすること
   を特徴とする車両周辺監視システム。
3. 請求項２に記載の車両周辺監視システムにおいて、
   前記車両の速度を計測する車速計測手段を備え、
   前記撮影制御手段は、前記被写体から反射された可視光を前記可視光カメラによって撮影させる際に、前記車速計測手段からの出力信号に基づき、前記可視光光源の発光状態を制御して、前記可視光光源が発光する可視光の光量を調整することを特徴とする車両周辺監視システム。
4. 請求項２または請求項３に記載の車両周辺監視システムにおいて、
   前記撮影制御手段は、前記可視光光源が発光状態である場合には、前記近赤外線カメラを撮影状態とはしないことを特徴とする車両周辺監視システム。
5. 請求項１〜請求項４の何れかに記載の車両周辺監視システムにおいて、
   前記特徴領域に対応する被写体が安全運転の実行に関連する安全運転関連物体であるか否かを判断する安全運転関連物体判断手段を備え、
   前記画像合成手段は、前記安全運転関連物体判断手段によって安全運転関連物体であると判断された被写体に対応する特徴領域に対して前記特定色彩を付与すること
   を特徴とする車両周辺監視システム。
6. 請求項１〜請求項５の何れかに記載の車両周辺監視システムにおいて、
   前記画像合成手段は、前記特定領域を前記第二画像に合成する際に、画像中のオフセット成分を調整することを特徴とする車両周辺監視システム。
7. 請求項１〜請求項６の何れかに記載の車両周辺監視システムにおいて、
   前記撮影制御手段は、前記近赤外線光源から近赤外線を前記被写体へ照射しない状態で前記被写体から反射された可視光を前記可視光カメラによって撮影させた後に前記近赤外線光源から近赤外線を前記被写体へ照射する状態で前記被写体から反射された近赤外線を前記近赤外線カメラによって撮影させるまでの所要時間が閾値以下となるように、前記近赤外線光源の発光状態、前記可視光カメラの撮影タイミングおよび前記近赤外線カメラの撮影タイミングを制御することを特徴とする車両周辺監視システム。
8. 請求項１〜請求項７の何れかに記載の車両周辺監視システムにおいて、
   前記画像合成手段は、前記合成後の画像における前記特定領域に特定の色彩を付与する際には、前記抽出した輪郭に囲まれた部分の画像をサンプリングし、予め用意した複数の色彩からそのサンプリングした色彩に最も近い色彩を選択して前記特定領域に割り付けることを特徴とする車両周辺監視システム。