JP2007314023A - 運転支援システム - Google Patents

Abstract

【課題】的確に運転を支援することのできる運転支援システムを得る。
【解決手段】各々車両周辺の互いに異なる撮像範囲を撮像する複数の撮像部３０Ａ〜撮像部３０Ｅと、運転者により目視可能な位置に設けられた表示部４０Ａ〜表示部４０Ｅとを備え、システム制御部１２により、視線検出部２０によって検出された運転者の視線の方向に応じて前記複数の撮像部３０Ａ〜撮像部３０Ｅから適用するものを選択し、選択した撮像部により得られた画像を前記表示部により表示するように制御する。
【選択図】図１

Description

本発明は、運転支援システムに係り、特に、車両の運転を支援する運転支援システムに関する。

従来、車両の運転を支援するための技術として、特許文献１には、車両に搭載された複数のカメラと、カメラの画像を表示するモニタとを備える多機能車載カメラシステムにおいて、前記カメラの画像を画像処理する画像処理手段と、車両の状態を示す信号に応じて、画像処理に使用するカメラの画像を選択し、前記画像処理手段での画像処理の形態を制御するシステム制御手段とを備えた技術が開示されている。
特開２００１−５５１００号公報

しかしながら、上記特許文献１に開示されている技術では、ウインカーや舵角等の運転者による操作に応じて画像処理に使用するカメラの画像を選択するものとされているため、ウインカーや舵角等が切り替えられた後に画像の表示が開始される結果、必ずしも運転を支援することができるとは限らない、という問題点があった。

例えば、車線変更を行うとき等には、ウインカーを切り替える前に後方からの車両を確認したい、という要求があるが、上記特許文献１に開示されている技術では、この要求に応えることができない。

本発明は上記問題点を解決するためになされたものであり、的確に運転を支援することのできる運転支援システムを提供することを目的とする。

上記目的を達成するために、本発明の運転支援システムは、各々車両周辺の互いに異なる撮像範囲を撮像する複数の撮像手段と、運転者により目視可能な位置に設けられた表示手段と、前記運転者の視線の方向を検出する検出手段と、前記検出手段によって検出された前記運転者の視線の方向に応じて前記複数の撮像手段から適用するものを選択し、選択した撮像手段により得られた画像を前記表示手段により表示するように制御する制御手段と、を備えている。

本発明の運転支援システムは、複数の撮像手段により、各々車両周辺の互いに異なる撮像範囲が撮像されるものであり、運転者により目視可能な位置に表示手段が設けられている。なお、上記撮像手段には、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子によるデジタル方式の撮影装置の他、アナログ方式の撮影装置も含まれる。また、上記表示手段には、液晶ディスプレイ装置、有機ＥＬディスプレイ装置、プラズマ・ディスプレイ装置、ＣＲＴディスプレイ装置等の表示装置の他、表示対象とする画像を担持した光が投影されることにより前記画像が表示されるもの（所謂、プロジェクタ方式）が含まれる。

ここで、本発明では、検出手段により、前記運転者の視線の方向が検出され、制御手段により、前記検出手段によって検出された前記運転者の視線の方向に応じて前記複数の撮像手段から適用するものが選択され、選択された撮像手段により得られた画像が前記表示手段により表示されるように制御される。

このように、本発明の運転支援システムによれば、各々車両周辺の互いに異なる撮像範囲を撮像する複数の撮像手段と、運転者により目視可能な位置に設けられた表示手段とを備え、前記運転者の視線の方向に応じて前記複数の撮像手段から適用するものを選択し、選択した撮像手段により得られた画像を前記表示手段により表示するように制御しているので、的確に運転を支援することができる。

なお、本発明の前記制御手段は、前記検出手段によって検出された前記視線の方向に対応する方向が撮像範囲とされた撮像手段を前記複数の撮像手段から選択するものとしてもよい。これにより、より的確に運転を支援することができる。

また、本発明の前記表示手段は、各々運転者により目視可能な位置で、かつ異なる複数の位置に設けられており、前記制御手段は、前記検出手段によって検出された前記視線の方向に最も近い表示手段を複数の前記表示手段から選択し、選択した撮像手段により得られた画像を選択した表示手段により表示するように制御するものとしてもよい。これにより、より的確に運転を支援することができる。

また、本発明は、前記車両の状態を検出する車両状態検出手段を更に備え、前記制御手段は、前記検出手段によって検出された前記運転者の視線の方向及び前記車両状態検出手段によって検出された前記車両の状態に応じて前記複数の撮像手段から適用するものを選択するものとしてもよい。これにより、より的確に運転を支援することができる。

また、本発明の前記検出手段は、前記運転者の顔の向きに基づいて当該運転者の視線の方向を検出するものとしてもよい。これにより、簡易に運転者の視線方向を検出することができる。

また、本発明は、前記運転者を特定する特定手段を更に備え、前記制御手段は、前記選択した撮像手段により得られた画像に対し、前記特定手段によって特定された運転者に応じた画像処理を施すものとしてもよい。これにより、運転者の好み等に応じた画質で画像を表示することができる。

特に、本発明の前記画像処理は、前記複数の撮像手段に撮像画像を結像する結像レンズとして広角レンズを用いたものがある場合の当該広角レンズによる撮像画像の歪みを補正する歪み補正処理、及び複数の前記撮像手段によって得られた画像の合成処理を含むものとしてもよい。これにより、これらの画像処理を運転者の好み等に応じて施すことができる。

本発明によれば、各々車両周辺の互いに異なる撮像範囲を撮像する複数の撮像手段と、運転者により目視可能な位置に設けられた表示手段とを備え、前記運転者の視線の方向に応じて前記複数の撮像手段から適用するものを選択し、選択した撮像手段により得られた画像を前記表示手段により表示するように制御しているので、的確に運転を支援することができる、という効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

［第１の実施の形態］
まず、図１を参照して、本実施の形態に係る運転支援システム１０の全体的な構成を説明する。

運転支援システム１０は、当該運転支援システム１０全体の動作を司るシステム制御部１２を備えている。同図に示すように、本実施の形態に係るシステム制御部１２は、複数の画像データを合成する画像合成処理や、画像データにより示される画像に対するトリミングを行うトリミング処理等の各種画像処理を実行する役割を有する画像処理部１２Ａを備えている。

一方、運転支援システム１０は、運転者の顔を撮像するための撮像部１４を備えており、撮像部１４の撮像された画像を示す画像データを出力する出力端子は撮像処理部１６及び視線検出部２０を介してシステム制御部１２に電気的に接続されている。

ここで、撮像部１４は、上記のように運転者の顔を撮像するためのものであり、本実施の形態に係る運転支援システム１０では、運転支援システム１０が適用された車両のフロントガラスの上部の中央部に設けられている。

また、撮像処理部１６は、撮像部１４から出力された画像データに対して各種デジタル画像処理を施し、シリアルデータとして出力するものであり、更に、視線検出部２０は、撮像処理部１６から出力された画像データにより示される運転者の顔の画像から運転者の視線の方向を検出し、検出結果を示す情報をシステム制御部１２に出力するものである。なお、視線検出部２０による視線方向の検出技術としては、従来既知の視線検出技術を適用することができるが、本実施の形態に係る運転支援システム１０では、一例として、特開平７−１９１７９６号公報に開示されている手法である、ＩＲＥＤ（赤外発光ダイオード）で検出対象者（運転者）の眼球を赤外照射し、検出対象者の前眼部画像を結像受光し、センサー（撮像部１４）の出力信号からＩＲＥＤの角膜反射像と瞳孔円の位置を推定することにより検出する手法を適用している。なお、この手法については上記公報に詳細に開示されているため、これ以上のここでの説明は省略する。

また、運転支援システム１０は、設定されているギヤの状態を検出して検出結果を示す情報を出力するギヤ状態検出部２２と、車体速度を検出して検出結果を示す情報を出力する速度検出部２４を備えており、これらギヤ状態検出部２２及び速度検出部２４もシステム制御部１２に電気的に接続されている。従って、システム制御部１２は、ギヤの設定状態及び車体速度を把握することができる。

一方、運転支援システム１０は、各々車両周辺の互いに異なる撮像範囲を撮像する複数（ここでは、５つ）の撮像部３０Ａ〜３０Ｅを備えている。

図２に示すように、撮像部３０Ａは車両５０の前方（進行方向）を撮像するものであり、本実施の形態に係る運転支援システム１０では、車両５０の天井面の前方側端部近傍に設けられている。同様に、撮像部３０Ｂは車両５０の後方を撮像するものであり、本実施の形態に係る運転支援システム１０では、車両５０の天井面の後方側端部近傍に設けられている。また、撮像部３０Ｃは車両５０の進行方向に向かって右後方を撮像するものであり、本実施の形態に係る運転支援システム１０では、車両５０の天井面の右後角部近傍に設けられている。また、撮像部３０Ｄは車両５０の進行方向に向かって左後方を撮像するものであり、本実施の形態に係る運転支援システム１０では、車両５０の天井面の左後角部近傍に設けられている。更に、撮像部３０Ｅは車両５０の進行方向に向かって左側方を撮像するものであり、本実施の形態に係る運転支援システム１０では、車両５０の天井面の左前角部近傍に設けられている。なお、各撮像部の設置位置は以上の位置に限定されるものではなく、各々天井面以外の、例えば、ボンネット、バンパー、ドア、ピラー、ドアミラー等の他の位置に設ける形態とすることもできることは言うまでもない。

ここで、撮像部３０Ａのみ広角撮影を行うものとされており、他の撮像部３０Ｂ〜３０Ｅは通常の撮影を行うものとされている。

そして、図１に示すように、運転支援システム１０は、各々上記複数の撮像部３０Ａ〜３０Ｅに１対１で対応する複数（ここでは、５つ）の撮像処理部３２Ａ〜３２Ｅを備えており、撮像部３０Ａは撮像処理部３２Ａを介して、撮像部３０Ｂは撮像処理部３２Ｂを介して、撮像部３０Ｃは撮像処理部３２Ｃを介して、撮像部３０Ｄは撮像処理部３２Ｄを介して、撮像部３０Ｅは撮像処理部３２Ｅを介して、各々システム制御部１２に電気的に接続されている。

一方、運転支援システム１０は、各々運転者により目視可能な位置で、かつ異なる複数（ここでは、５箇所）の位置に画像を表示するための複数（ここでは、５つ）の表示部４０Ａ〜４０Ｅを備えている。

図３に示すように、表示部４０Ａは車両５０のフロントガラス５２における下端中央部近傍に位置された表示領域４２Ａに画像を表示するものであり、表示部４０Ｂはフロントガラス５２における下端右端部近傍に位置された表示領域４２Ｂに画像を表示するものであり、表示部４０Ｃはフロントガラス５２における下端左端部近傍に位置された表示領域４２Ｃに画像を表示するものである。また、表示部４０Ｄはフロントガラス５２における表示領域４２Ａと表示領域４２Ｃの中間部に位置された表示領域４２Ｄに画像を表示するものであり、更に、表示部４０Ｅはフロントガラス５２における上端中央部近傍に位置された表示領域４２Ｅに画像を表示するものである。なお、本実施の形態に係る上記複数の表示部４０Ａ〜４０Ｅは、表示対象とする画像を担持した光が表示対象とする表示領域に投影されることにより前記画像が表示されるものとした、所謂、プロジェクタ方式を適用しているが、これに限らず、液晶ディスプレイ装置、有機ＥＬディスプレイ装置、プラズマ・ディスプレイ装置、ＣＲＴディスプレイ装置等の表示装置を適用する形態とすることもできる。

上記複数の表示部４０Ａ〜４０Ｅもまた各々システム制御部１２に電気的に接続されており、システム制御部１２は、表示部４０Ａ〜４０Ｅを介して、表示領域４２Ａ〜４２Ｅに任意の画像を表示することができる。

次に、図４を参照して、本実施の形態に係る撮像部１４及び撮像部３０Ａ〜３０Ｅと、撮像処理部１６及び撮像処理部３２Ａ〜３２Ｅの電気系の要部構成を説明する。

同図に示すように、本実施の形態に係る撮像部１４及び撮像部３０Ａ〜３０Ｅは、被写体像を結像させるためのレンズ６８と、レンズ６８の光軸後方に配設された撮像素子６０と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部６２と、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）６４と、を含んで構成されている。なお、本実施の形態に係る撮像部１４及び撮像部３０Ａ〜３０Ｅでは、上記撮像素子６０としてＣＣＤエリアセンサを適用しているが、これに限らず、ＣＭＯＳイメージ・センサ等の他の固体撮像素子を適用することもできる。

撮像素子６０の出力端はアナログ信号処理部６２の入力端に、アナログ信号処理部６２の出力端はＡＤＣ６４の入力端に、ＡＤＣ６４の出力端は当該撮像部の筐体外に設けられた装置出力端子に、各々接続されている。従って、撮像素子６０から出力された被写体像を示すアナログ信号はアナログ信号処理部６２によって所定のアナログ信号処理が施され、ＡＤＣ６４によってデジタル画像データに変換された後に上記装置出力端子から出力される。なお、アナログ信号処理部６２によるアナログ信号処理には、撮像素子６０から入力されたアナログ信号に対する相関二重サンプリング処理等が含まれる。

また、撮像部１４及び撮像部３０Ａ〜３０Ｅには、撮像素子６０に対する露出の制御を行う露出制御部６６が備えられている。この露出制御部６６は、その入力端が当該撮像部の筐体外に設けられた装置入力端子に接続されており、当該撮像部の露出の制御は、外部からの指示入力に応じて行われる。

一方、本実施の形態に係る撮像処理部１６及び撮像処理部３２Ａ〜３２Ｅは、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部７０と、入力されたデジタルデータを一時的に保持するバッファメモリ７２と、入力されたデジタルデータに対してパラレル／シリアル変換を行うシリアル伝送インタフェース７４と、当該撮像処理部の全体的な動作を司るＣＰＵ（中央処理装置）７６と、を含んで構成されている。

デジタル信号処理部７０の入力端は当該撮像処理部の装置入力端子に、デジタル信号処理部７０の出力端はバッファメモリ７２の入力端に、バッファメモリ７２の出力端はシリアル伝送インタフェース７４の入力端に、シリアル伝送インタフェース７４の出力端は当該撮像処理部の第１の装置出力端子に、当該第１の装置出力端子はシステム制御部１２に、各々接続されている。

ここで、各撮像処理部の装置入力端子は、対応する上記撮像部の装置出力端子に接続されている。従って、上記撮像部の装置出力端子から出力されたデジタル画像データは、対応する撮像処理部において、デジタル信号処理部７０により所定のデジタル信号処理が施された後にバッファメモリ７２に一時的に記憶され、シリアル伝送インタフェース７４によりシリアルデータとされた状態で当該撮像処理部の第１の装置出力端子からシステム制御部１２に出力される。このように、システム制御部１２には、各撮像処理部から、対応する撮像部により撮像されて各種画像処理が施されたデジタル画像データが、リアルタイムで動画像として入力される。なお、デジタル信号処理部７０によるデジタル信号処理には、ホワイトバランス調整処理、ガンマ処理、シャープネス処理等が含まれる。

ここで、ＣＰＵ７６は、シリアル伝送インタフェース７４に接続されており、シリアル伝送インタフェース７４の作動の制御を行う。また、ＣＰＵ７６は、当該撮像処理部の筐体に設けられた第２の装置出力端子に接続されている。そして、当該第２の装置出力端子は上記撮像部の装置入力端子に接続されており、ＣＰＵ７６は、当該撮像部の露出の制御を行う役割も有している。

次に、図５を参照して、本実施の形態に係る運転支援システム１０の作用を説明する。なお、図５は、車両５０のエンジンが作動しており、予め定められた車両状態（ここでは、ギヤの状態及び走行速度の少なくとも一方。）が変化した際にシステム制御部１２において実行される運転支援処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはシステム制御部１２に内蔵された不図示のメモリに予め記憶されている。また、ここでは、錯綜を回避するために、車両５０のエンジンが作動している際には全ての撮像部が作動している場合について説明する。

同図のステップ１５０では、ギヤ状態検出部２２から入力されている情報により示されるギヤの設定状態が‘前進状態’であるか否かを判定し、否定判定となった場合はギヤが‘後退（バック）状態’に設定されているものと見なしてステップ１５２に移行する。

ステップ１５２では、全ての撮像部３０Ａ〜３０Ｅから対応する撮像処理部を介して入力されているデジタル画像データを画像処理部１２Ａに入力するように制御し、次のステップ１５４にて、画像処理部１２Ａに対し、入力されているデジタル画像データを合成する画像合成処理を実行するように設定した後、次のステップ１５６にて、画像処理部１２Ａにより得られた画像データにより示される画像（以下、「全合成画像」という。）が表示領域４２Ｃに表示されるように表示部４０Ｃを制御した後、本運転支援処理プログラムを終了する。なお、本実施の形態に係る画像処理部１２Ａでは、上記全合成画像として、隣接する撮像部によって得られた画像同士を水平方向端部近傍で繋ぎ合わせることにより、車両５０の周囲の画像をパノラマ画像として再現する画像を適用している。以上のステップ１５２〜ステップ１５６の処理により、これ以降、上記全合成画像が表示領域４２Ｃによりリアルタイムで表示されることになる。

一方、上記ステップ１５０において肯定判定となった場合にはギヤが‘前進状態’に設定されているものと見なしてステップ１５８に移行し、速度検出部２４から入力されている情報により示される走行速度（車体速度）が所定速度（ここでは、１５ｋｍ／ｈ）を超えているか否かを判定し、否定判定となった場合はステップ１６０に移行する。

ステップ１６０では、車両５０の前方（進行方向）を撮像する撮像部３０Ａから対応する撮像処理部を介して入力されているデジタル画像データを画像処理部１２Ａに入力するように制御し、次のステップ１６２にて、画像処理部１２Ａに対し、入力されているデジタル画像データから複数の画像領域をトリミングするトリミング処理を実行するように設定した後、次のステップ１６４にて、画像処理部１２Ａにより得られた画像データにより示される画像（以下、「トリミング画像」という。）がフロントガラス５２における表示領域４２Ａ、表示領域４２Ｂ、及び表示領域４２Ｃに表示されるように対応する表示部４０Ａ、表示部４０Ｂ、及び表示部４０Ｃを制御した後、本運転支援処理プログラムを終了する。なお、本実施の形態に係る画像処理部１２Ａでは、上記トリミング画像として、撮像部３０Ａにより広角画像として得られた画像から、車両５０の前方方向の画像を示す中央部領域、車両５０の右側方の画像を示す右側領域、及び車両５０の左側方の画像を示す左側領域の３つの領域の画像を切り出すものとしており、上記ステップ１６４の処理では、各々位置が対応する表示領域、すなわち、上記中央部領域の画像を表示領域４２Ａに、上記右側領域の画像を表示領域４２Ｂに、上記左端領域の画像を表示領域４２Ｃに、各々表示するように制御する。以上のステップ１６０〜ステップ１６４の処理により、これ以降、上記トリミング画像が表示領域４２Ａ、表示領域４２Ｂ、及び表示領域４２Ｃによりリアルタイムで表示されることになる。

一方、上記ステップ１５８において肯定判定となった場合にはステップ１６６に移行し、視線検出部２０から入力されている情報により示される運転者の視線の方向が、運転者から見てフロントガラス５２の左端部を含む所定領域内に向いているか否かを判定し、肯定判定となった場合はステップ１６８に移行する。なお、本実施の形態に係る運転支援処理プログラムでは、上記所定領域として、フロントガラス５２を水平方向に均等に５分割したときの、フロントガラス５２の左端部を含む分割領域を適用しているが、これに限らず、例えば、上記水平方向の分割数を５以外の数としたり、水平方向に加えて、垂直方向にも分割する形態等とすることもできる。

ステップ１６８では、車両５０の進行方向に向かって左後方を撮像する撮像部３０Ｄと、車両５０の進行方向に向かって左側方を撮像する撮像部３０Ｅから対応する撮像処理部を介して入力されている２つのデジタル画像データを画像処理部１２Ａに入力するように制御し、次のステップ１７０にて、画像処理部１２Ａに対し、入力されている２つのデジタル画像データを、そのまま出力するように設定した後、次のステップ１７２にて、画像処理部１２Ａから出力されたデジタル画像データにより示される２つの画像がフロントガラス５２における左側に位置された表示領域４２Ｃ及び表示領域４２Ｄに個別に表示されるように、対応する表示部４０Ｃ及び表示部４０Ｄを制御した後、本運転支援処理プログラムを終了する。なお、本実施の形態に係る運転支援処理プログラムでは、上記ステップ１７２において、撮像部３０Ｄによって撮像された画像が表示領域４２Ｄに表示されるように制御し、撮像部３０Ｅによって撮像された画像が表示領域４２Ｃに表示されるように制御している。

以上のステップ１６８〜ステップ１７２の処理により、これ以降、車両５０の左後方の画像が表示領域４２Ｄに、車両５０の左方の画像が表示領域４２Ｃに、各々リアルタイムで表示されることになる。

一方、上記ステップ１６６において否定判定となった場合はステップ１７４に移行し、視線検出部２０から入力されている情報により示される運転者の視線の方向が、運転者から見てフロントガラス５２の右端部を含む所定領域内に向いているか否かを判定し、肯定判定となった場合はステップ１７６に移行する。なお、本実施の形態に係る運転支援処理プログラムでは、上記所定領域として、フロントガラス５２を水平方向に均等に５分割したときの、フロントガラス５２の右端部を含む分割領域を適用しているが、これに限らず、例えば、上記水平方向の分割数を５以外の数としたり、水平方向に加えて、垂直方向にも分割する形態等とすることもできる。

ステップ１７６では、車両５０の進行方向に向かって右後方を撮像する撮像部３０Ｃから撮像処理部３２Ｃを介して入力されているデジタル画像データを画像処理部１２Ａに入力するように制御し、次のステップ１７８にて、画像処理部１２Ａに対し、入力されているデジタル画像データを、そのまま出力するように設定した後、次のステップ１８０にて、画像処理部１２Ａから出力されたデジタル画像データにより示される画像がフロントガラス５２における右側に位置された表示領域４２Ｂに表示されるように表示部４０Ｂを制御した後、本運転支援処理プログラムを終了する。

以上のステップ１７６〜ステップ１８０の処理により、これ以降、車両５０の右後方の画像が表示領域４２Ｂにリアルタイムで表示されることになる。

一方、上記ステップ１７４において否定判定となった場合には車両５０が前進しており、かつ運転者の視線が正面方向を向いているものと見なしてステップ１８２に移行し、車両５０の後方を撮像する撮像部３０Ｂから撮像処理部３２Ｂを介して入力されているデジタル画像データを画像処理部１２Ａに入力するように制御し、次のステップ１８４にて、画像処理部１２Ａに対し、入力されているデジタル画像データを、そのまま出力するように設定した後、次のステップ１８６にて、画像処理部１２Ａから出力されたデジタル画像データにより示される画像がフロントガラス５２における上部中央部に位置された表示領域４２Ｅに表示されるように表示部４０Ｅを制御した後、本運転支援処理プログラムを終了する。

以上のステップ１８２〜ステップ１８６の処理により、これ以降、車両５０の後方中央部の画像が表示領域４２Ｅにリアルタイムで表示されることになる。

以上詳細に説明したように、本実施の形態では、各々車両周辺の互いに異なる撮像範囲を撮像する複数の撮像手段（ここでは、撮像部３０Ａ〜撮像部３０Ｅ）と、運転者により目視可能な位置に設けられた表示手段（ここでは、表示部４０Ａ〜表示部４０Ｅ及び表示領域４２Ａ〜表示領域４２Ｅ）とを備え、前記運転者の視線の方向に応じて前記複数の撮像手段から適用するものを選択し、選択した撮像手段により得られた画像を前記表示手段により表示するように制御しているので、的確に運転を支援することができる。

また、本実施の形態では、検出された前記視線の方向に対応する方向が撮像範囲とされた撮像手段を前記複数の撮像手段から選択するものとしているので、より的確に運転を支援することができる。

また、本実施の形態では、前記表示手段が、各々運転者により目視可能な位置で、かつ異なる複数の位置に設けられており、検出された前記視線の方向に最も近い表示手段を複数の前記表示手段から選択し、選択した撮像手段により得られた画像を選択した表示手段により表示するように制御しているので、より的確に運転を支援することができる。

更に、本実施の形態では、前記車両の状態を検出し、検出した前記運転者の視線の方向及び前記車両の状態に応じて前記複数の撮像手段から適用するものを選択しているので、より的確に運転を支援することができる。

［第２の実施の形態］
本第２の実施の形態では、撮像画像に対して運転者に応じた画像処理を施す場合の形態例について説明する。

まず、図６を参照して、本第２の実施の形態に係る運転支援システム１０’の全体的な構成を説明する。なお、同図における図１と同様の構成要素には図１と同一の符号を付して、その説明を省略する。

同図に示すように、本第２の実施の形態に係る運転支援システム１０’は、上記第１の実施の形態に係る運転支援システム１０に比較して、後述する運転者特定テーブルが予め記憶されたメモリが内蔵され、撮像処理部１６とシステム制御部１２の間に介在された顔認識部１８が新たに設けられている点と、後述する画像処理設定テーブルがシステム制御部１２に内蔵された不図示のメモリに記憶されている点のみが異なっている。

本実施の形態に係る顔認識部１８は、撮像部１４により得られたデジタル画像データに基づいて、当該データにより示される運転者の顔を示す画像から当該運転者を特定し、特定結果を示す情報を出力するものである。なお、本実施の形態に係る顔認識部１８では、後述する運転者特定テーブルに予め記憶されている特徴情報と、撮像部１４により得られたデジタル画像データから抽出された、上記特徴情報と同一種類の特徴情報とのパターン・マッチングにより運転者を特定するものとされているが、これに限らず、従来既知の他の人物特定アルゴリズムを適用することもできることは言うまでもない。

次に、図７（Ａ）を参照して、本実施の形態に係る運転者特定テーブルのデータ構造を説明する。

同図に示すように、この運転者特定テーブルは、特徴情報が運転者毎に記憶されて構成されている。なお、上記特徴情報は、対応する運転者の顔画像における予め定められた特徴を示す情報であり、本実施の形態に係る運転支援システム１０’では、当該特徴情報として、撮像部１４により撮像された顔画像から顔認識部１８により抽出された特徴情報を適用して運転者特定テーブルに登録するものとしているが、この形態に限らないことは言うまでもない。

次に、図７（Ｂ）を参照して、本実施の形態に係る画像処理設定テーブルのデータ構造を説明する。

同図に示すように、この画像処理設定テーブルは、画像処理情報が運転者毎に記憶されて構成されている。なお、上記画像処理情報は、予め定められた種類の画像処理の適用形態を運転者毎に規定するものであり、本実施の形態に係る運転支援システム１０’では、当該画像処理情報として、各運転者自身により不図示の操作部を介して入力された情報を適用して画像処理設定テーブルに登録するものとしているが、この形態に限らないことも言うまでもない。また、本実施の形態に係る運転支援システム１０’では、上記予め定められた種類の画像処理として、撮像部３０Ａに設けられている広角レンズによる撮像画像の歪みを補正する歪み補正処理、画像処理部１２Ａにより行われる画像合成処理、及び各表示部による表示画像の明るさを調整する明るさ調整処理の３種類の処理が適用されているが、この形態に限らないことも言うまでもない。

次に、図８を参照して、本実施の形態に係る運転支援システム１０’の作用を説明する。なお、図８は、車両５０のエンジンが作動しており、予め定められた車両状態（ここでは、ギヤの状態及び走行速度の少なくとも一方。）が変化した際にシステム制御部１２において実行される運転支援処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはシステム制御部１２に内蔵された不図示のメモリに予め記憶されている。また、同図における図５と同様の処理を実行するステップには図５と同一のステップ番号を付して、その説明を省略する。

まず、ステップ１００では、顔認識部１８から入力されている情報によって特定される運転者に対応する画像処理情報を画像処理設定テーブルから読み出し、次のステップ１０２では、画像処理部１２Ａに対し、実行される画像処理が、読み出した画像処理情報により示される適用形態となるように設定する。

以上の処理により、その後に画像処理部１２Ａにおいて実行される画像処理が運転者毎に予め定められたものとされる結果、運転者別の好適な画像処理を行うことができる。

以上詳細に説明したように、本第２の実施の形態では、上記第１の実施の形態と同様の効果を奏することができると共に、運転者を特定する特定手段（ここでは、顔認識部１８）を更に備え、前記選択した撮像手段により得られた画像に対し、前記特定手段によって特定された運転者に応じた画像処理を施すものとしているので、運転者の好み等に応じた画質で画像を表示することができる。

なお、本実施の形態では、運転者の特定を顔認識により行う場合について説明したが、本発明はこれに限定されるものではなく、例えば、指紋や静脈等のパターンを利用する、所謂バイオメトリック認証により運転者を特定する形態や、一例として特開２００１−１８６６号公報等に開示されているような、非接触読み取り型のＩＤカードやＩＣタグ等を利用して運転者を特定する形態等とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。

また、上記各実施の形態では、運転者の視線の方向を、ＩＲＥＤで運転者の眼球を赤外照射し、運転者の前眼部画像を結像受光して、センサーの出力信号からＩＲＥＤの角膜反射像と瞳孔円の位置を推定することにより検出する場合について説明したが、本発明はこれに限定されるものではなく、例えば、撮像部１４による撮像によって得られた運転者の顔画像の顔の向きを特定し、当該顔の向きに基づいて当該運転者の視線の方向を検出する形態とすることもできる。この場合、簡易に運転者の視線方向を検出することができる。

その他、上記各実施の形態に係る運転支援システム１０，１０’の構成（図１〜図４，図６参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、上記各実施の形態において説明した運転支援処理プログラムの処理の流れ（図５，図８参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、各ステップの処理順序の変更、処理内容の変更、不要なステップの削除、新たなステップの追加等を行うことができることは言うまでもない。

更に、上記各実施の形態において説明した運転者特定テーブル及び画像処理設定テーブルのデータ構造（図７参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、不用な情報を削除したり、新たな情報を追加したりすることができることは言うまでもない。

第１の実施の形態に係る運転支援システムの全体的な構成を示すブロック図である。 実施の形態に係る撮像部の配置位置を示す概略平面図である。 実施の形態に係る表示領域の配置位置を示す概略正面図である。 実施の形態に係る撮像部及び撮像処理部の電気系の要部構成を示すブロック図である。 第１の実施の形態に係る運転支援処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係る運転支援システムの全体的な構成を示すブロック図である。 （Ａ）は第２の実施の形態に係る運転者特定テーブルのデータ構造を示す模式図であり、（Ｂ）は第２の実施の形態に係る画像処理設定テーブルのデータ構造を示す模式図である。 第２の実施の形態に係る運転支援処理プログラムの処理の流れを示すフローチャートである。

符号の説明

１０，１０’ 運転支援システム
１２ システム制御部（制御手段）
１２Ａ 画像処理部
１４ 撮像部
１６ 撮像処理部
１８ 顔認識部（特定手段）
２０ 視線検出部（検出手段）
２２ ギヤ状態検出部（車両状態検出手段）
２４ 速度検出部（車両状態検出手段）
３０Ａ〜３０Ｅ 撮像部（撮像手段）
３２Ａ〜３２Ｅ 撮像処理部
４０Ａ〜４０Ｅ 表示部
４２Ａ〜４２Ｅ 表示領域（表示手段）
５０ 車両
５２ フロントガラス
６０ 撮像素子
７６ ＣＰＵ

Claims (7)

1. 各々車両周辺の互いに異なる撮像範囲を撮像する複数の撮像手段と、
   運転者により目視可能な位置に設けられた表示手段と、
   前記運転者の視線の方向を検出する検出手段と、
   前記検出手段によって検出された前記運転者の視線の方向に応じて前記複数の撮像手段から適用するものを選択し、選択した撮像手段により得られた画像を前記表示手段により表示するように制御する制御手段と、
   を備えた運転支援システム。
2. 前記制御手段は、前記検出手段によって検出された前記視線の方向に対応する方向が撮像範囲とされた撮像手段を前記複数の撮像手段から選択する
   請求項１記載の運転支援システム。
3. 前記表示手段は、各々運転者により目視可能な位置で、かつ異なる複数の位置に設けられており、
   前記制御手段は、前記検出手段によって検出された前記視線の方向に最も近い表示手段を複数の前記表示手段から選択し、選択した撮像手段により得られた画像を選択した表示手段により表示するように制御する
   請求項１又は請求項２記載の運転支援システム。
4. 前記車両の状態を検出する車両状態検出手段を更に備え、
   前記制御手段は、前記検出手段によって検出された前記運転者の視線の方向及び前記車両状態検出手段によって検出された前記車両の状態に応じて前記複数の撮像手段から適用するものを選択する
   請求項１乃至請求項３の何れか１項記載の運転支援システム。
5. 前記検出手段は、前記運転者の顔の向きに基づいて当該運転者の視線の方向を検出する
   請求項１乃至請求項４の何れか１項記載の運転支援システム。
6. 前記運転者を特定する特定手段を更に備え、
   前記制御手段は、前記選択した撮像手段により得られた画像に対し、前記特定手段によって特定された運転者に応じた画像処理を施す
   請求項１乃至請求項５の何れか１項記載の運転支援システム。
7. 前記画像処理は、前記複数の撮像手段に撮像画像を結像する結像レンズとして広角レンズを用いたものがある場合の当該広角レンズによる撮像画像の歪みを補正する歪み補正処理、及び複数の前記撮像手段によって得られた画像の合成処理を含む
   請求項６記載の運転支援システム。

Images