JP2012004693A - 運転支援装置 - Google Patents

Abstract

【課題】車両から障害物までの距離感を把握しやすくすることのできる運転支援装置を提供する。
【解決手段】車載カメラ１ａ，１ｂによる撮像画像のうち距離マーカＬ１，Ｌ２が上書きされる位置に対応する画素列を抽出する抽出部５と、画素列に障害物が写っているか否かを判定し、障害物Ｘ１が写っている場合には、障害物Ｘ１の部分Ｘ１´を表す第３画像データを生成する生成部６と、生成部６が第３画像データを生成した場合には、撮像画像に上書きした距離マーカに対し、障害物Ｘ１の部分Ｘ１´をさらに上書きした合成画像を表す合成画像データを生成する合成部７と、生成された合成画像を表示する表示部３と、を有する。
【選択図】図１

Description

本発明は、車載カメラにより撮像された車両周辺の撮像画像を車室内に設けられた表示画面に表示する運転支援装置に関する発明である。

従来、縦列駐車や車庫入れ等の運転を支援するための装置として、車載カメラにより路面を含む車両周辺を撮像し、この撮像画像に、車両からの距離を示す複数の距離線（距離マーカ）を車幅方向に延びるように重畳表示して、車室内の表示画面に表示する運転支援装置が知られている（例えば、特許文献１）。

特開平１１−３３４４７０号公報

しかしながら、車載カメラが路面を含むように車両周辺を撮像すると、障害物（立体物）は撮像画像の奥行き方向（車両から離れる方向）の路面と重なるように写るため、上述した特許文献１に提案されている運転支援装置によれば、例えば車両からの距離が０．４ｍの位置に障害物が存在する場合であっても、撮像画像中では車両からの距離が０．５ｍであることを示す距離マーカがこの障害物に重畳表示されることがある。

そして、このように車両から障害物までの距離よりも長い距離を示す距離マーカが、この障害物に重畳表示されることにより、運転者は、距離マーカが示す距離（０．５ｍ）よりも奥行き方向の遠い位置に障害物が存在しているように誤認（錯覚）してしまう虞があった。

本発明は上記事情に鑑みなされたものであり、車両から障害物までの距離感を把握しやすくすることのできる運転支援装置を提供することを目的とするものである。

本発明に係る運転支援装置は、撮像画像のうち距離マーカが上書きされる位置に対応する画素列に障害物が写っているか否かを判定し、障害物が写っている場合には、この障害物の部分を表す画像を距離マーカに上書きして、距離マーカが消されたような合成画像を表示するものである。

すなわち、本発明に係る運転支援装置は、車両周辺を撮像する車載カメラと、前記車載カメラにより撮像された撮像画像を表す第１画像データを記憶する第１記憶部と、前記撮像画像に上書きされるように設定された、前記車両からの距離を示す距離マーカを表す第２画像データを記憶する第２記憶部と、前記撮像画像のうち前記距離マーカが上書きされる位置に対応する画素列を抽出する抽出部と、前記画素列に障害物が写っているか否かを判定し、前記障害物が写っていると判定した場合には前記画素列に写る障害物の部分を表す第３画像データを生成する生成部と、前記第１画像データおよび前記第２画像データに基づいて前記撮像画像に前記距離マーカを上書きし、前記生成部が前記第３画像データを生成した場合には前記第３画像データに基づいて前記距離マーカに前記障害物の部分をさらに上書きした合成画像を表す合成画像データを生成する合成部と、前記合成画像を表示する表示部と、を有することを特徴とする。

このように構成された本発明に係る運転支援装置によれば、抽出部が、撮像画像のうち距離マーカが上書きされる位置に対応する画素列を抽出し、生成部が、画素列に障害物が写っているか否かを判定し、障害物が写っていると判定した場合には、この画素列に写る障害物の部分を表す第３画像データを生成し、合成部が、撮像画像に距離マーカを上書きし、生成部が第３画像データを生成した場合には距離マーカに障害物の部分をさらに上書きした合成画像を表す合成画像データを生成するため、あたかも距離マーカが消されたような合成画像が表示され、距離マーカよりも手前に位置する障害物が距離マーカで隠されることがなくなるので車両から障害物までの距離感を把握しやすくすることができる。

本発明に係る運転支援装置によれば、車両から障害物までの距離感を把握しやすくすることができる。

本実施形態の運転支援装置の構成を示すブロック図である。 従来の運転支援装置の車載カメラ（リヤカメラ）による撮像状況を示した一例である。 （ａ）は、図２の車載カメラによる撮像画像を示す図であり、（ｂ）は、（ａ）の撮像画像に対して従来の運転支援装置による画像処理が行われた後の合成画像を示す図である。 図１の運転支援装置の車載カメラによる撮像状況を示した一例である。 図１の運転支援装置による画像処理の流れを説明する図である。 図５の波形Ｂ，Ｃの拡大図である。 図１の合成部による合成処理を示す図である。

以下、本発明の運転支援装置を実現する実施の形態を、図面に基づいて説明する。

図１は、本実施形態の運転支援装置１００の構成を示すブロック図である。図１に示すように、本実施形態の運転支援装置１００は、車載カメラ１ａ，１ｂと、車載カメラ１ａ，１ｂにより撮像された撮像画像に対して画像処理を行う画像処理手段２と、画像処理手段２により画像処理が行われた後の画像（合成画像）を表示するモニタ３（表示部）と、を有する。

車載カメラ１ａ，１ｂは、車載カメラ１ａと車載カメラ１ｂから構成されるステレオカメラである。これら車載カメラ１ａ，１ｂは、いずれも光軸を同じ方向に向けて設けられ、路面を含む車両周辺を撮像する。

また、画像処理手段２には、図１に示すように、デコーダ４、抽出部５、生成部６、合成部７、エンコーダ８、第１メモリ９（第１記憶部）、第２メモリ１０（第２記憶部）および第３メモリ１１が設けられている。

デコーダ４は、車載カメラ１ａ，１ｂにより入力された撮像画像の画像データをデコードするものである。また、抽出部５は、車載カメラ１ａ，１ｂによるそれぞれの撮像画像について、距離マーカが上書きされる位置に対応する画素列の画像データを抽出するものである。

ここで、距離マーカとは、撮像画像に上書きされるように仮想的に設定された、車両からの距離Ｄを示す車幅方向に延びた複数の距離線をいう（図３（ｂ），図７の距離マーカＬ１，Ｌ２参照）。

生成部６は、図１に示すように、抽出部５が抽出した画素列の画像データに基づいて、画素列に写る路面と路面以外との境界位置（エッジ位置）を検知する検知部１２と、車載カメラ１ａ，１ｂによるステレオ視差に基づいて、車両から、抽出部５により抽出された画素列に写る被写体までの距離Ｄｘ（図５参照）を測定する距離測定部１３が設けられている。

さらに、生成部６は、検知部１２により検知されたエッジ位置、距離測定部１３により測定された車両から被写体までの距離Ｄｘに基づいて、画素列に障害物が写っているか否かを判定し、障害物が写っている場合には、抽出された画素列に写る障害物の部分を表す第３画像データ（図７参照）を生成するように構成されている。

また、第１メモリ９は、デコーダ４から車載カメラ１ａ，１ｂのいずれか一方による撮像画像の画像データが出力され（本実施例では、車載カメラ１ａによる撮像画像の画像データが出力されることとする）、この出力された画像データ（第１画像データ）を記憶するものである。

そして、第２メモリ１０は、撮像画像に上書きされるように仮想的に設定された複数の距離マーカ（本実施例では、車両からの０．５ｍ離れた位置を示す距離マーカＬ１および車両から１．０ｍ離れた位置を示す距離マーカＬ２）を表す第２画像データを記憶するものであり、さらに、第３メモリ１１は、生成部６により生成された第３画像データを記憶するものである。

また、これら第１メモリ９、第２メモリ１０および第３メモリ１１には、合成部７が接続されている。この合成部７は、第１画像データおよび第２画像データに基づいて撮像画像に距離マーカを上書きし、生成部６が第３画像データを生成した場合には、この第３画像データに基づいて、距離マーカに障害物の部分をさらに上書きした合成画像を表す合成画像データを生成するものである。

さらに、合成部７により生成された合成画像データをエンコードするエンコーダ８が設けられている。このエンコーダ８は、車室内に設けられモニタ３に送信するものであり、モニタ３は合成画像を表示画面に表示するものである。

次に、運転支援装置１００による画像処理について、［従来の運転支援装置による画像処理］、［抽出処理］、［エッジ位置検知処理］、［距離測定処理］、［第３画像データ生成処理］および［画像合成処理］に分けて説明する。

［従来の運転支援装置による画像処理］
図２は、従来の運転支援装置の車載カメラによる撮像状況を示した一例であり、図３（ａ）は、図２の車載カメラ（リヤカメラ）による撮像画像を示す図であり、図３（ｂ）は、図３（ａ）の撮像画像に対して従来の運転支援装置による画像処理が行われた後の合成画像を示す図である。

例えば、図２に示すような状況において従来の運転支援装置の車載カメラ（リヤカメラ）が路面を含む車両周辺を撮像すると、図３（ａ）に示すような撮像画像が得られる。

ここで、図２，３に示す障害物Ｘ１，Ｘ２はいずれも立体物であって、障害物Ｘ１は車両から０．４ｍ離れた位置に存在し、障害物Ｘ２は車両から０．９ｍ離れた位置に存在する。

また、路面には、車幅よりもわずかに広い間隔を空けて一対の白線が描かれている。なお、図２および図３（ａ）に示す破線は、車両から０．５ｍ，１．０ｍ離れた位置を表すための仮想線である。

そして、図３（ａ）に示す撮像画像に対して従来の運転支援装置による画像処理が行われると、図３（ｂ）に示すように、撮像画像に距離マーカＬ１（Ｄ＝０．５ｍ）及び距離マーカＬ２（Ｄ＝１．０ｍ）が重畳表示された合成画像がモニタに表示される。

しかし、この合成画像では、障害物Ｘ１が距離マーカＬ１で隠され、また、障害物Ｘ２が距離マーカＬ２で隠される。

このため、運転者は、車両から０．４ｍ離れた位置に存在する障害物Ｘ１が距離マーカＬ１が示す距離Ｄ（＝０．５ｍ）よりも奥行き方向の遠い位置に障害物が存在しているように、また、車両から０．９ｍ離れた位置に存在する障害物Ｘ２が距離マーカＬ２が示す距離Ｄ（＝１．０ｍ）よりも奥行き方向の遠い位置に障害物が存在しているように誤認（錯覚）してしまう虞がある。

これに対し、本実施形態の運転支援装置１００では、以下のような画像処理を行うことにより、車両から障害物までの距離感を把握しやすくすることができる。

［抽出処理］
図４は、図１の運転支援装置１００の車載カメラ１ａ，１ｂによる撮像状況を示した一例であり、図５は、図１の運転支援装置１００による画像処理の流れを説明する図である。

図４に示すように、図２に示す状況と同様の状況において運転支援装置１００の車載カメラ１ａ，１ｂが路面を含む車両周辺を撮像する場合について説明する。

まず、車載カメラ１ａ，１ｂは、撮像画像の画像データをデコーダ４に出力する。そして、デコーダ４はこれらの画像データをデコードして抽出部５に出力する。

そして、抽出部５には、距離マーカＬ１，Ｌ２が示す車両からの距離Ｄ（＝０．５ｍ，１．０ｍ）が予め記憶されており、抽出部５は、この距離Ｄ（＝０．５ｍ，１．０ｍ）に基づいて、車載カメラ１ａ，１ｂによるそれぞれの撮像画像について距離マーカＬ１，Ｌ２が上書きされる位置に対応する画素列の画像データ（本実施例では、輝度信号とする）を抽出する。

例えば、距離マーカＬ１が上書きされる位置に対応する画素列の輝度信号とは、図５の波形Ａ１，Ａ２のようなものである。

すなわち、車両から０．５ｍ離れた位置を図５の破線（仮想線）で示すと、距離マーカＬ１が上書きされる位置に対応する画素列には、この仮想線に沿った路面が写ることとなる。

しかし、仮想線よりも手前に位置する障害物Ｘ１（車両からの距離Ｄｘ＝０．４ｍ）が存在することにより、障害物Ｘ１の一部が仮想線に沿った路面に重なるように、この画素列に写る。ここで、この画素列に写る障害物Ｘ１の一部を「障害物Ｘ１の部分Ｘ１´」という。

そして、路面は通常輝度が低く、障害物Ｘ１の部分Ｘ１´の方が路面と比較して輝度が高いため、図５の波形Ａ１，Ａ２に示すように、一部の輝度が高くなっている輝度信号が抽出される。

なお、この抽出部５による抽出処理は、処理の迅速化を図り、手前の距離マーカＬ１についてのみ抽出処理し、そのほかの奥行き方向に離れた距離マーカ（距離マーカＬ２など）については抽出処理を行わないように構成することも可能である。

［エッジ位置検知処理］
図６は、図５の波形Ｂ，Ｃの拡大図である。抽出部５は、抽出した画素列の輝度信号（例えば、図５の波形Ａ１，Ａ２）を生成部６の検知部１２に出力する。そして、検知部１２は、画素列に写る路面と路面以外とのエッジ位置の検知を行う。

具体的には、まず、検知部１２は、画素列の輝度信号（図６の波形Ｂ１＝図５に示す波形Ａ１）を左方向にずらし（図６の波形Ｂ２）、その差分を求める（図６の波形Ｂ３）。

次に、検知部１２は、画素列の輝度信号（図６の波形Ｂ１）を右方向にずらし（図６の波形Ｂ４）、その差分を求める（図６の波形Ｂ５）。

そして、検知部１２は、これらの差分（波形Ｂ３と波形Ｂ５）を組み合わせて輝度の差を強調し（図６の波形Ｂ６）、この輝度の差が強調された位置をエッジ位置として検知する。

この検知部１２によるエッジ位置の検知は、車載カメラ１ａ，１ｂによるそれぞれの撮像画像について行う。

また、図５、図６に示す波形Ｃを、図５に示す波形Ｄ１，Ｄ２のように平滑化処理し、差分が特に大きい部分についてのみエッジ位置として検知するように構成することも可能である。

［距離測定処理］
検知部１２によりエッジ位置が検知された後、距離測定部１３は、検知されたエッジ位置に基づいて、路面以外の被写体（障害物の候補）を特定し、この特定した被写体から車両までの距離Ｄｘを測定する。

すなわち、例えば図５に示すように、特定された被写体に対する車載カメラ１ａ，１ｂの光軸となす視線角度θ１，θ２（または特定された画素に対する撮像素子における中心位置からの距離ｄ１，ｄ２）と、車載カメラ１ａ，１ｂの焦点距離ｆ，ｆと、車載カメラ１ａ，１ｂ間の距離Ｌと、に基づいて被写体から車両までの距離Ｄｘを測定する。

（平面物と立体物との区別）
ここで、抽出された画素列には、障害物Ｘ１，Ｘ２のような立体物だけでなく、例えば路面に描かれた白線のように、道路標識（平面物）が写っている場合がある。

そして、このような平面物の画像についても、抽出された画素列の輝度信号において輝度が高くなるため、検知部１２によりエッジ位置が検知され、距離測定部１３による距離測定処理が行われる。

しかし、この平面物の画像について、立体物の画像と同様に第３画像データとして生成し、距離マーカＬ１，Ｌ２で隠されることのないように距離マーカＬ１，Ｌ２に平面物の画像を上書きすると、運転者により、平面物が距離マーカＬ１，Ｌ２よりも手前に位置する立体物であるように錯覚される虞がある。

このため、生成部６は、第３画像データの生成に際して、画素列に写る路面以外の被写体が立体物であるか平面物であるかを区別する。

具体的には、距離マーカＬ１が上書きされる位置に対応する画素列に、路面に描かれた白線が写っている場合、距離測定部１３が測定した白線から車両までの距離Ｄｘは、距離マーカＬ１が示す距離Ｄと等しくなる（Ｄｘ＝Ｄ＝０．５ｍ）。

このため、生成部６は、距離測定部１３が測定した距離Ｄと距離マーカＬ１が示す距離Ｄｘとが等しい場合には、この被写体は路面に描かれた白線などの道路標識（平面物）であるとして平面物と立体物とを区別する。

上記のように、生成部６は、平面物と立体物との区別を行い、抽出された画素列に立体物（障害物）が写っているか否かを判定する。

なお、本実施例における障害物Ｘ１，Ｘ２は、距離測定部１３により測定された距離Ｄｘ（＝０．４ｍ，０．９ｍ）が、距離マーカＬ１が示す距離Ｄ（＝０．５ｍ，１．０ｍ）よりも短いため立体物であると区別され、生成部６は、抽出された画素列にこれら障害物Ｘ１，Ｘ２が写っていると判定する。

［第３画像データ生成処理］
図７は、図１の合成部７による合成処理を示す図である。

図７に示すように、第１画像データが表す画像（すなわち、撮像画像）を第１レイヤ、第２画像データが表す画像（すなわち、距離マーカＬ１，Ｌ２の画像）を第２レイヤ、第３画像データが表す画像（すなわち、障害物Ｘ１の部分Ｘ１´の画像）を第３レイヤとする。

上記のように、生成部６は、平面物と立体物との区別を行い、立体物である障害物Ｘ１が画素列に写っていると判定した場合には、この障害物Ｘ１の部分Ｘ１´の画像を表す第３画像データを生成する。

第３画像データの生成に際し、生成部６は、検知されたエッジ位置に基づいて図５に示すような波形Ｅを求める。この波形Ｅは、障害物Ｘ１の部分Ｘ１´の画像を、図７に示す第３画像レイヤとして描画するためのタイミング（障害物Ｘ１の部分Ｘ１´が写る画素の、撮像画像における位置）を表している。

そして、生成部６は、波形Ｅに基づいて、障害物Ｘ１の部分Ｘ１´の画像を第３画像レイヤとして描画し、その他のタイミングでは撮像画像の描画を行わないことにより、第３画像レイヤ（すなわち、第３画像データ）を生成する。

また、生成部６は、生成した第３画像データを第３メモリ１１に出力し、第３メモリ１１は、この第３画像データを記憶する。

［画像合成処理］
図７に示すように、合成部７は、図７に示すように、第１画像データが表す第１画像レイヤおよび第２画像データが表す第２画像レイヤに基づいて撮像画像に距離マーカを上書きした合成画像を表す合成画像データを生成する。

また、生成部６が第３画像データを生成した場合には、この合成部７は、図７に示すように、この第３画像データが表す第３画像レイヤに基づいて距離マーカに障害物の部分をさらに上書きした合成画像を表す合成画像データを生成する。

これにより、距離マーカＬ１よりも手前に位置する障害物Ｘ１、距離マーカＬ２よりも手前に位置する障害物Ｘ２がそれぞれ距離マーカＬ１，Ｌ２で隠されることのない合成画像が、エンコーダ８を介してモニタ３により表示される。

このように構成された本実施形態に係る運転支援装置１００によれば、抽出部５が、撮像画像のうち距離マーカＬ１，Ｌ２が上書きされる位置に対応する画素列を抽出し、生成部６が、画素列に障害物が映っているか否かを判定し、障害物が写っていると判定した場合には、この画素列に写る障害物Ｘ１の部分Ｘ１´を表す第３画像データを生成し、合成部７が、撮像画像に距離マーカを上書きし、生成部６が第３画像データを生成した場合には距離マーカに障害物の部分をさらに上書きした合成画像を表す合成画像データを生成するため、障害物Ｘ１が写っている画素についてはあたかも距離マーカＬ１が消されたような合成画像がモニタ３に表示され、距離マーカＬ１，Ｌ２よりも手前に位置する障害物Ｘ１，Ｘ２が距離マーカＬ１，Ｌ２で隠されることがなくなり、車両から障害物Ｘ１，Ｘ２までの距離感を把握しやすくすることができる。

さらに、生成部６は、抽出された画素列に写る被写体から車両までの距離Ｄｘを測定する距離測定部１３を有し、距離測定部１３により測定された距離Ｄｘが、距離マーカＬ１が示す距離Ｄよりも短い場合には、被写体が障害物であると判定するため、例えば路面に描かれた白線などの道路標識（平面物）については第３画像データとしては生成せず、道路標識が立体物であるように認識されることを防ぐことができる。

そして、生成部６は、抽出された画素列の画像データに基づいて、画素列に写る被写体のうち路面と路面以外との境界位置（エッジ位置）を検知する検知部１２を有し、距離測定部１３は、検知部１２により検知されたエッジ位置に基づいて距離を測定すべき被写体を特定するため、距離測定の対象となる被写体を減らすことができ、演算処理を迅速に行うことができる。

また、検知部１２は、画素列の輝度信号に基づいてエッジ位置を検知するため、少ない演算処理量で障害物Ｘ１の部分Ｘ１´の画像を第３画像レイヤとして描画するためのタイミング（波形Ｅ）を求めることができる。

また、合成部７は、第１画像レイヤ、第２画像レイヤ、第３画像レイヤを用いて合成画像（合成画像データ）を生成するするため、撮像画像を表す第１画像データに対して直接信号処理する場合に比べて処理量を少なくすることができる。

（変形例１）
上述した実施形態では、検知部１２が画素列の輝度信号に基づいてエッジ位置を検知する場合について説明したが、本発明に係る運転支援装置はこのような形態に限定されるものではなく、例えば、検知部１２は、画素列の色信号に基づいてエッジ位置を検知する構成としてもよい。

このように構成された運転支援装置によれば、路面との輝度の差が小さい障害物についてもエッジ位置を検知することができる。

（変形例２）
また、上述した実施形態では、合成部７が、第１画像レイヤ、第２画像レイヤ、第３画像レイヤを用いて合成画像（合成画像データ）を生成する場合について説明したが、本発明の運転支援装置は、距離マーカよりも手前に位置する障害物が距離マーカで隠されることがないような合成画像がモニタに表示されればよく、例えば、撮像画像に対して直接信号処理を行う構成を採用することも可能である。

１ａ，１ｂ 車載カメラ
２ 画像処理手段
３ モニタ（表示部）
５ 抽出部
６ 生成部
７ 合成部
９ 第１メモリ（第１記憶部）
１０ 第２メモリ（第２記憶部）
１１ 第３メモリ
１００ 運転支援装置

Claims (5)

1. 車両周辺を撮像する車載カメラと、前記車載カメラにより撮像された撮像画像を表す第１画像データを記憶する第１記憶部と、前記撮像画像に上書きされるように設定された、前記車両からの距離を示す距離マーカを表す第２画像データを記憶する第２記憶部と、前記撮像画像のうち前記距離マーカが上書きされる位置に対応する画素列を抽出する抽出部と、前記画素列に障害物が写っているか否かを判定し、前記障害物が写っていると判定した場合には前記画素列に写る障害物の部分を表す第３画像データを生成する生成部と、前記第１画像データおよび前記第２画像データに基づいて前記撮像画像に前記距離マーカを上書きし、前記生成部が前記第３画像データを生成した場合には前記第３画像データに基づいて前記距離マーカに前記障害物の部分をさらに上書きした合成画像を表す合成画像データを生成する合成部と、前記合成画像を表示する表示部と、を有することを特徴とする運転支援装置。
2. 前記生成部は、前記画素列に写る被写体から車両までの距離を測定する距離測定部を有し、前記距離測定部により測定された距離が、前記距離マーカが示す距離よりも短い場合には、前記被写体が前記障害物であると判定することを特徴とする請求項１に記載の運転支援装置。
3. 前記生成部は、前記画素列の画像データに基づいて、前記画素列に写る被写体のうち路面と路面以外との境界位置を検知する検知部を有し、
   前記距離測定部は、前記検知部により検知された前記境界位置に基づいて前記距離を測定すべき被写体を特定することを特徴とする請求項２に記載の運転支援装置。
4. 前記検知部は、前記画素列の輝度信号に基づいて、前記境界位置を検知することを特徴とする請求項３に記載の運転支援装置。
5. 前記検知部は、前記画素列の色信号に基づいて、前記境界位置を検知することを特徴とする請求項３に記載の運転支援装置。

Images