JP2012156903A - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP2012156903A JP2012156903A JP2011015808A JP2011015808A JP2012156903A JP 2012156903 A JP2012156903 A JP 2012156903A JP 2011015808 A JP2011015808 A JP 2011015808A JP 2011015808 A JP2011015808 A JP 2011015808A JP 2012156903 A JP2012156903 A JP 2012156903A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- obstacle
- area
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】車両の状況に応じた適切な障害物等の検知を短時間で実施可能な車両周辺監視装置を提供する。
【解決手段】車両周辺の障害物等を検知する車両周辺監視装置において、車両に搭載されて車両周辺の画像を撮像する撮像部4と、車両が具備するセンサから該車両の挙動情報を取得する情報入力部7と、撮像部4から出力される画像信号を処理して障害物等の検知を行う画像処理部6と、挙動情報と予め設定された対象エリアとが関連付けられて格納された記憶部9とを有し、画像処理部6は、情報入力部7で取得した挙動情報に基づいてこれに対応する撮像画像内の対象エリアを選択し、該対象エリア内で障害物等の検知を行う構成とする。
【選択図】 図1
【解決手段】車両周辺の障害物等を検知する車両周辺監視装置において、車両に搭載されて車両周辺の画像を撮像する撮像部4と、車両が具備するセンサから該車両の挙動情報を取得する情報入力部7と、撮像部4から出力される画像信号を処理して障害物等の検知を行う画像処理部6と、挙動情報と予め設定された対象エリアとが関連付けられて格納された記憶部9とを有し、画像処理部6は、情報入力部7で取得した挙動情報に基づいてこれに対応する撮像画像内の対象エリアを選択し、該対象エリア内で障害物等の検知を行う構成とする。
【選択図】 図1
Description
本発明は、車両周辺の監視を行う車両周辺監視装置に関し、より具体的には、車両に搭載される撮像モジュールにより撮像した車両周辺の撮像画像を用いて、障害物等の検知を行う車両周辺監視装置に関する。
従来、車両周辺の監視、例えば他車両や人等の障害物等の把握には、運転者が直接またはミラーを介して目視により確認していた。しかし、車両側方や後方等の運転者から目視し難い位置においては、障害物を誤認したり見落としたりする可能性が高くなり、目視のみによる監視では安全性を確保することは難しかった。
そこで、近年は、車両周辺の障害物を各種センサ等により検知して運転者に通知する装置が提案、実用化されている。
そこで、近年は、車両周辺の障害物を各種センサ等により検知して運転者に通知する装置が提案、実用化されている。
関連する技術として、特許文献1(特許第3891537号公報)に車両側面監視装置が開示されている。この装置は、ドライバ席の近傍に取り付けられ車両側面の一部を含む周辺の映像を撮影する監視用カメラ装置および障害物等の距離を検出するレーダ装置と、ドライバ席近傍に配置された表示装置および警報装置とを有し、監視用カメラ装置で撮影した映像を表示装置に表示するとともに、レーダ装置で検出した障害物等までの距離に応じて警報装置で警告を発する構成となっている。これによって、大型車両等における車両側面の併走車等の障害物を監視し、走行、車線変更および曲折時におけるドライの安全確認の負担軽減と安全性改善を可能としている。
また、特許文献2(特開平2008−165393号公報)には、撮像画像を用いて車両周辺の障害物を検知する車載用障害物検知装置が開示されている。この装置は、車両周囲の画像を撮像する撮像手段と、撮像画像を車両の近方から遠方に向かってパターンマッチング処理により障害物を検知する走査を行う検知手段とを備えている。これにより、車両との衝突可能性の高い歩行者等の障害物をより短時間で検知することが可能となる。
しかしながら、特許文献1に開示される装置においては、レーダ装置の指向性が強いため市街地等での障害物等の検知が困難となり、誤検出や見落としが発生するおそれがある。また、レーダ装置による障害物検知は、併走車等のように相対速度の小さい物体の検出が困難である。さらにまた、監視カメラ装置とレーダ装置を併せ持つことは、装置の大型化およびコストアップにつながるという問題もあった。
一方、特許文献2等に開示されるように、画像認識技術を用いて撮像画像から障害物等の検知を行う場合、撮像画像の全範囲を検知の対象エリアとすると走査に多大な時間を要し、リアルタイムで障害物等の存在を運転者に通知することが難しい。また、障害物等の検知において近方から遠方に向けて画像を走査することは歩行者の検知に対しては適しているが、例えば高速道路には歩行者がいないため不適切であったりと、車両の状況に柔軟に対応して場面に応じた障害物等の検知を行うことはできなかった。
そのため本発明においては、車両の状況に応じた適切な障害物等の検知を短時間で実施可能な車両周辺監視装置を提供することを目的とする。
そのため本発明においては、車両の状況に応じた適切な障害物等の検知を短時間で実施可能な車両周辺監視装置を提供することを目的とする。
上記課題を解決するため、本発明に係る車両周辺監視装置は、車両周辺の障害物等を検知する車両周辺監視装置において、前記車両に搭載されて前記車両周辺の画像を撮像する撮像部と、前記車両が具備するセンサから該車両の挙動情報を取得する情報入力部と、前記撮像部から出力される画像信号を処理して前記障害物等の検知を行う画像処理部と、前記挙動情報と予め設定された対象エリアとが関連付けられて格納された記憶部とを有し、前記画像処理部は、前記情報入力部で取得した前記挙動情報に基づいてこれに対応する撮像画像内の前記対象エリアを選択し、該対象エリア内で前記障害物等の検知を行うことを特徴とする。
本発明によれば、撮像画像の全領域で障害物等の検知を行うことはせず、撮像画像内の部分的な対象エリアでのみ障害物等の検知を行う構成としているため、障害物等を検知するための画像処理に要する時間を短縮でき、高速で障害物等の検知を行うことが可能となる。
また、対象エリアは車両の挙動情報に基づいて選択される構成としているため、車両の状況に応じて適切に障害物等の検知を行うことが可能となる。
なお、障害物等とは、他車両や人等の動的障害物若しくはガイドレールや電信柱等の静的障害物などの衝突を回避すべき障害物、または、駐車枠線や車輪止めや中央線等の走行時や駐車時に必要とされる対象物(路面に表示される線を含む)を含む。
また、対象エリアは車両の挙動情報に基づいて選択される構成としているため、車両の状況に応じて適切に障害物等の検知を行うことが可能となる。
なお、障害物等とは、他車両や人等の動的障害物若しくはガイドレールや電信柱等の静的障害物などの衝突を回避すべき障害物、または、駐車枠線や車輪止めや中央線等の走行時や駐車時に必要とされる対象物(路面に表示される線を含む)を含む。
また、前記挙動情報は、前記車両の発進、停止、走行方向、走行速度、加減速、曲折の少なくともいずれかに関する情報であることが好ましい。
上記した挙動情報は、いずれも車両に具備するセンサから検出可能な情報であるため、これらを用いることで車両の状況をリアルタイムで的確に判断でき、より適切な対象エリアを選択することが可能となる。
上記した挙動情報は、いずれも車両に具備するセンサから検出可能な情報であるため、これらを用いることで車両の状況をリアルタイムで的確に判断でき、より適切な対象エリアを選択することが可能となる。
さらに、前記障害物等の検知結果を通知する通知手段を複数有し、前記画像処理部で選択された前記対象エリアに基づいて前記検知結果の通知手段が選択されることが好ましい。
このように、複数の通知手段から対象エリアに基づいて通知手段が選択される構成とすることにより、運転者にとって必要な情報を必要な手段で提供可能となる。
このように、複数の通知手段から対象エリアに基づいて通知手段が選択される構成とすることにより、運転者にとって必要な情報を必要な手段で提供可能となる。
さらに、前記通知手段は、前記撮像画像に前記車両の進路予測ガイドラインを重畳表示する画像重畳手段、警告を出力する警告出力手段の少なくともいずれかを含むことが好ましい。
このように、障害物等の検知結果を画像重畳手段および警告出力手段の少なくともいずれかを用いて運転者に通知することにより、運転者は容易に検知結果を把握することが可能となる。
このように、障害物等の検知結果を画像重畳手段および警告出力手段の少なくともいずれかを用いて運転者に通知することにより、運転者は容易に検知結果を把握することが可能となる。
さらにまた、前記画像処理部は、警告を出力する警告出力手段を含み、前記車両の挙動情報から該車両の進路予測軌跡を算出し、前記進路予測軌跡を用いて前記障害物等との接触または接近を推定して前記警告出力手段で警告信号を出力することが好ましい。
これにより、運転者に対して障害物との接触または接近の可能性を早期に警告することができ、運転の安全性をより向上させることが可能となる。
これにより、運転者に対して障害物との接触または接近の可能性を早期に警告することができ、運転の安全性をより向上させることが可能となる。
本発明によれば、撮像画像の全領域で障害物等の検知を行うことはせず、撮像画像内の部分的な対象エリアでのみ障害物等の検知を行う構成としているため、障害物等を検知するための画像処理に要する時間を短縮でき、高速で障害物等の検知を行うことが可能となる。
また、対象エリアは車両の挙動情報に基づいて選択される構成としているため、車両の状況に応じて適切に障害物等の検知を行うことが可能となる。
また、対象エリアは車両の挙動情報に基づいて選択される構成としているため、車両の状況に応じて適切に障害物等の検知を行うことが可能となる。
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
まず最初に、図1を参照して、本発明の実施形態に係る車両周辺監視装置の構成を説明する。ここで、図1は本発明の実施形態に係る車両周辺監視装置およびその周辺機器の構成を示すブロック図である。
本発明の実施形態に係る車両周辺監視装置1は、主に、撮像光学系3および撮像部4を含む撮像モジュール2と、画像処理部6と、情報入力部7と、記憶部9とを有する。
本発明の実施形態に係る車両周辺監視装置1は、主に、撮像光学系3および撮像部4を含む撮像モジュール2と、画像処理部6と、情報入力部7と、記憶部9とを有する。
撮像光学系3は、車両に搭載され、光(すなわち、車両の周辺画像)を撮像部4へ入射させる光学部材である。具体的には、撮像光学系は一または複数のレンズを含む。レンズは、広域画像を取得するために広角レンズであることが好ましい。また、撮像光学系3は、レンズのほかにフィルタ等の他の光学部材を含んでいてもよく、これらの複数の光学部材は互いに光軸が一致するように配置されている。
撮像部4は、撮像光学系3を介して車両周辺の画像を撮像するもので、撮像光学系3で結像された光学像を電気信号に変換する撮像素子、CCDセンサ、CMOSセンサ等が用いられる。
撮像部4は、撮像光学系3を介して車両周辺の画像を撮像するもので、撮像光学系3で結像された光学像を電気信号に変換する撮像素子、CCDセンサ、CMOSセンサ等が用いられる。
また、撮像部4と画像処理部6との間には、撮像部4のアナログ出力をデジタル信号に変換するA/D変換等の信号処理を行う信号処理部5を有している。信号処理部5で処理された画像は、ビデオ信号として回線15を介して表示手段25に表示してもよい。ここで、表示手段とは、例えば車内モニタ等である。
なお、ここでは、撮像光学系3と撮像部4と信号処理部5とを含んで撮像モジュール2と称する。
なお、ここでは、撮像光学系3と撮像部4と信号処理部5とを含んで撮像モジュール2と称する。
画像処理部6は、撮像部4から出力される画像信号を処理して画像認識により障害物等の検知を行う。画像処理部6は、例えばMPU(Micro Processing Unit)、LSI(Large Scale Integration)等から構成される。
画像認識により検知する障害物等とは、他車両や人等の動的障害物若しくはガイドレールや電信柱等の静的障害物などの衝突を回避すべき障害物、または、駐車枠線や車輪止めや中央線等の走行時や駐車時に必要とされる対象物(路面に表示される線を含む)を含む。
この画像処理部6にて障害物等の検知に用いられる画像認識は、被写体の輪郭線検出による形状認識、テンプレートマッチング、特徴点抽出、時間的に連続する画像による差分抽出やオプティカルフローの少なくともいずれか、または、複数の組み合わせによって行われることが好ましい。
画像認識により検知する障害物等とは、他車両や人等の動的障害物若しくはガイドレールや電信柱等の静的障害物などの衝突を回避すべき障害物、または、駐車枠線や車輪止めや中央線等の走行時や駐車時に必要とされる対象物(路面に表示される線を含む)を含む。
この画像処理部6にて障害物等の検知に用いられる画像認識は、被写体の輪郭線検出による形状認識、テンプレートマッチング、特徴点抽出、時間的に連続する画像による差分抽出やオプティカルフローの少なくともいずれか、または、複数の組み合わせによって行われることが好ましい。
また、画像処理部6では、画像認識により障害物等の検知を行った後、検知結果を通知手段で運転者へ通知する。通知手段は、検知結果に応じて、警告を出力する警告出力手段11、撮像画像に他の画像(例えば進路予測ガイドライン)を重畳する画像処理を行い、回線16を介して重畳画像を表示手段25に表示させる画像重畳手段等が用いられる。ここで、警告出力手段11は、警報機器を用いて音声により警報を発する構成としてもよいし、車内モニタに警告画像を表示させる構成としてもよいし、車内に取り付けられた点灯ランプを点滅等させる構成としてもよい。
具体例として、画像処理部6は、他車両や人等の障害物等を検知し、障害物等と自車両とが接近した場合に警告出力手段11にて警告信号を出力する。
さらにまた、画像処理部6は、画像認識により障害物等の検知を行うとともに、車両の予測軌跡を算出し、検知した障害物等と予測軌跡とから障害物への衝突または接近を推定し、警告出力手段11に警告信号を出力させるようにしてもよい。
具体例として、画像処理部6は、他車両や人等の障害物等を検知し、障害物等と自車両とが接近した場合に警告出力手段11にて警告信号を出力する。
さらにまた、画像処理部6は、画像認識により障害物等の検知を行うとともに、車両の予測軌跡を算出し、検知した障害物等と予測軌跡とから障害物への衝突または接近を推定し、警告出力手段11に警告信号を出力させるようにしてもよい。
情報入力部7は、車両が具備する各種センサから車両の挙動情報を取得する。
ここで、車両が具備するセンサは、例えば、シフト位置検出センサ、ブレーキペダルセンサ、アクセル踏込量検出センサ、車速センサ、加速度センサ、舵角センサ、方向指示器(ウインカ)検出センサ等である。なお、シフト位置検出センサは、シフトレバーの位置を検出し、シフトレバーが前進、後退等のいずれに設定されているかを検出する。ブレーキペダルセンサは、ブレーキペダルの踏み込みを検出し、ブレーキ操作を検出するセンサである。アクセル踏込量検出センサは、アクセルの踏み込み量を検出するセンサである。車速センサまたは加速度センサは、車両の速度または加速度を検出するセンサである。舵角センサはハンドルの舵角を検出するセンサである。方向指示器検出センサは、右折または左折の点灯状態を検出するセンサであり、例えば方向指示器が右折点灯状態のとき、右折表示器に流れる電流を検知して右折点灯状態を電気的に検出する。
ここで、車両が具備するセンサは、例えば、シフト位置検出センサ、ブレーキペダルセンサ、アクセル踏込量検出センサ、車速センサ、加速度センサ、舵角センサ、方向指示器(ウインカ)検出センサ等である。なお、シフト位置検出センサは、シフトレバーの位置を検出し、シフトレバーが前進、後退等のいずれに設定されているかを検出する。ブレーキペダルセンサは、ブレーキペダルの踏み込みを検出し、ブレーキ操作を検出するセンサである。アクセル踏込量検出センサは、アクセルの踏み込み量を検出するセンサである。車速センサまたは加速度センサは、車両の速度または加速度を検出するセンサである。舵角センサはハンドルの舵角を検出するセンサである。方向指示器検出センサは、右折または左折の点灯状態を検出するセンサであり、例えば方向指示器が右折点灯状態のとき、右折表示器に流れる電流を検知して右折点灯状態を電気的に検出する。
図中に示す第1センサ21は、検出対象の変化を経時的に検出するセンサであり、上記したセンサの中では、ブレーキペダルセンサ、アクセル踏込量検出センサ、車速センサ、加速度センサ、舵角センサ等が該当する。この第1センサ21の検出信号は、一旦フィルタ回路8に導入されて必要な情報を算出された後、車両の挙動情報として情報入力部7に入力される。
一方、第2センサ22は、検出対象の瞬間的な状態を検出するセンサであり、上記したセンサの中では、シフト位置検出センサ、方向指示器検出センサ等が挙げられる。なお、ここでは一例として、各センサの具体例を示しているが、同様の機能を有する他の種類のセンサを用いてもよい。例えば、ブレーキペダルセンサの代わりに、ブレーキ油圧を検出してブレーキ操作情報を取得する油圧センサやブレーキ変位量検出センサ等を用いてもよい。
一方、第2センサ22は、検出対象の瞬間的な状態を検出するセンサであり、上記したセンサの中では、シフト位置検出センサ、方向指示器検出センサ等が挙げられる。なお、ここでは一例として、各センサの具体例を示しているが、同様の機能を有する他の種類のセンサを用いてもよい。例えば、ブレーキペダルセンサの代わりに、ブレーキ油圧を検出してブレーキ操作情報を取得する油圧センサやブレーキ変位量検出センサ等を用いてもよい。
また、車両の挙動情報とは、車両の発進、停止、走行方向、走行速度、加減速、曲折(右折または左折)の少なくともいずれかに関する情報であることが好ましい。例えば、車両の発進、停止または走行速度に関する情報は車速センサまたはブレーキペダルセンサから取得可能であり、車両の走行方向に関する情報はシフト位置検出センサから取得可能であり、車両の加速度に関する情報は加速度センサから取得可能であり、車両の曲折に関する情報は舵角センサまたは方向指示器検出センサから取得可能である。
なお、センサから取得される車両の挙動情報は、CAN(Controller Area Network)等の車内ネットワーク17を介して取得してもよい。
記憶部9は、車両の挙動情報と、撮像画像内の予め設定された対象エリアとが関連付けられて格納されている。
なお、センサから取得される車両の挙動情報は、CAN(Controller Area Network)等の車内ネットワーク17を介して取得してもよい。
記憶部9は、車両の挙動情報と、撮像画像内の予め設定された対象エリアとが関連付けられて格納されている。
図2を用いて撮像モジュール2の配置構成を説明する。ここで、図2(A)は垂直方向の画角を表わす車両の正面図で、(B)は水平方向の画角を表わす車両の平面図である。なお、図2に示す撮像モジュール2の配置構成は好適な一例であり、撮像モジュール2の設置数、取付位置、取付向き等は限定されるものではない。
撮像モジュール2は、車両30の両側面に一つずつ取り付けられている。撮像モジュール2は、車両30の側方を撮像可能な向きに配置されている。このとき、撮像モジュール2の撮像光学系を広角レンズとし、該広角レンズは、図2(A)に示すように路面から上方に120度以上の垂直画角α1で、且つ、図2(B)に示すように車両30の前後方向に180度以上の水平画角α2を有していることが好ましい。これにより、少ないモジュール数で広域の撮像画像を得ることができる。
撮像モジュール2は、車両30の両側面に一つずつ取り付けられている。撮像モジュール2は、車両30の側方を撮像可能な向きに配置されている。このとき、撮像モジュール2の撮像光学系を広角レンズとし、該広角レンズは、図2(A)に示すように路面から上方に120度以上の垂直画角α1で、且つ、図2(B)に示すように車両30の前後方向に180度以上の水平画角α2を有していることが好ましい。これにより、少ないモジュール数で広域の撮像画像を得ることができる。
なお、ここでは一体的に配置される撮像モジュール2を車載カメラとして車両に配置した構成を説明したが、本実施形態では、画像処理量を少なくでき小型の画像処理部6を用いることができるため、車両周辺監視装置1内の構成要素を全て一体的に配置することもできる。その場合、車両周辺監視装置1を車載カメラとして用い、図2に示す撮像モジュール2の位置に設置してもよい。
次に、図3により本発明の実施形態に係る車両周辺監視装置の処理の一例を説明する。
まず、撮像モジュール2により車両30の周辺画像を撮像して撮像画像を取得する。この撮像画像は、例えば記憶部9の画像メモリ内に蓄積される。なお、ここでは一例として、図2に示す配置構成の撮像モジュール2を用いて、車両の側方監視を行う場合につき説明する。このとき、撮像される撮像画像は図4に示すようになる。
一方、図中、情報入力処理のステップにて、情報入力部7で第1センサ21からフィルタ回路8を介して車両の挙動に関する情報を取得するか、または第2センサ22から直接車両の挙動に関する情報を取得する。もちろん、両方のセンサ21、22から情報を取得してもよい。
まず、撮像モジュール2により車両30の周辺画像を撮像して撮像画像を取得する。この撮像画像は、例えば記憶部9の画像メモリ内に蓄積される。なお、ここでは一例として、図2に示す配置構成の撮像モジュール2を用いて、車両の側方監視を行う場合につき説明する。このとき、撮像される撮像画像は図4に示すようになる。
一方、図中、情報入力処理のステップにて、情報入力部7で第1センサ21からフィルタ回路8を介して車両の挙動に関する情報を取得するか、または第2センサ22から直接車両の挙動に関する情報を取得する。もちろん、両方のセンサ21、22から情報を取得してもよい。
そして、画像処理部6にて、側方監視条件が成立しているか否かを判断する。側方監視条件とは、予め記憶部9に記憶されているものであり、対象エリアに関連付けられた挙動情報を満たす場合をいう。
側方監視条件は、例えば、(1)車両が高速で且つ等速または加速している場合、(2)車両が高速で且つ減速している場合、(3)車両が低速で且つ減速または右左折する場合、(4)車両が低速で且つ駐車発進する場合、(5)車両がバック駐車する場合等が挙げられる。
情報入力部7から取得された車両の挙動情報から、上記した側方監視条件を満たしていない場合には、走行状況を判断するステップを行った後、情報入力処理のステップに戻る。
側方監視条件は、例えば、(1)車両が高速で且つ等速または加速している場合、(2)車両が高速で且つ減速している場合、(3)車両が低速で且つ減速または右左折する場合、(4)車両が低速で且つ駐車発進する場合、(5)車両がバック駐車する場合等が挙げられる。
情報入力部7から取得された車両の挙動情報から、上記した側方監視条件を満たしていない場合には、走行状況を判断するステップを行った後、情報入力処理のステップに戻る。
次いで、各条件とその対象エリアとを説明する。
(1)車両の挙動情報から車速が高速で且つ等速または加速していると判断される場合、障害物等を検知する対象エリアを後続エリアに設定する。
図5は後続エリアを説明する図であり、(A)は実空間上の後続エリアを示す図で、(B)は撮像画像上の後続エリアを示す図である。
図5(A)に示すように、車両30が高速で且つ等速または加速している場合、車両30は路上を通常走行(前進)していると推定されるため、車両30が特に注意すべき対象物は同一車線の後続車両41aである。これは後続車両41aの追い抜きや車間距離等を監視するためである。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30後ろの後続エリア51aとする。ここで、後続エリア51aとは、同一車線を走行する後続車が位置するエリアである。
この実空間上の後続エリア51aは、図5(B)に示す撮像画像40A内では後続エリア51bとなるため、この後続エリア51bを対象エリアとして障害物等の検知を行う。
(1)車両の挙動情報から車速が高速で且つ等速または加速していると判断される場合、障害物等を検知する対象エリアを後続エリアに設定する。
図5は後続エリアを説明する図であり、(A)は実空間上の後続エリアを示す図で、(B)は撮像画像上の後続エリアを示す図である。
図5(A)に示すように、車両30が高速で且つ等速または加速している場合、車両30は路上を通常走行(前進)していると推定されるため、車両30が特に注意すべき対象物は同一車線の後続車両41aである。これは後続車両41aの追い抜きや車間距離等を監視するためである。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30後ろの後続エリア51aとする。ここで、後続エリア51aとは、同一車線を走行する後続車が位置するエリアである。
この実空間上の後続エリア51aは、図5(B)に示す撮像画像40A内では後続エリア51bとなるため、この後続エリア51bを対象エリアとして障害物等の検知を行う。
(2)車両の挙動情報から車両が高速で且つ減速していると判断される場合、障害物等を検知する対象エリアを後方エリアに設定する。
図6は後方エリアを説明する図であり、(A)は実空間上の後方エリアを示す図で、(B)は撮像画像上の後方エリアを示す図である。
図6(A)に示すように、車両30が高速で且つ減速している場合、車両30は路上を通常走行(前進)をしている状態で、車線変更の準備をしていたり、あるいは渋滞の直前であることが推定されるため、車両30が特に注意すべき対象物は後方車両42aである。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30後方の後方エリア52aとする。ここで、後方エリア52aとは、隣接車線を走行し且つ自車両より後方の車両42aが位置するエリアである。
この実空間上の後方エリア52aは、図5(B)に示す撮像画像40B内では後方エリア52bとなるため、この後方エリア52bを対象エリアとして障害物等の検知を行う。なお、図中、42bは撮像画像40B内に映し出された後方車両42aの画像である。
図6は後方エリアを説明する図であり、(A)は実空間上の後方エリアを示す図で、(B)は撮像画像上の後方エリアを示す図である。
図6(A)に示すように、車両30が高速で且つ減速している場合、車両30は路上を通常走行(前進)をしている状態で、車線変更の準備をしていたり、あるいは渋滞の直前であることが推定されるため、車両30が特に注意すべき対象物は後方車両42aである。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30後方の後方エリア52aとする。ここで、後方エリア52aとは、隣接車線を走行し且つ自車両より後方の車両42aが位置するエリアである。
この実空間上の後方エリア52aは、図5(B)に示す撮像画像40B内では後方エリア52bとなるため、この後方エリア52bを対象エリアとして障害物等の検知を行う。なお、図中、42bは撮像画像40B内に映し出された後方車両42aの画像である。
そして、(1)または(2)の条件を満たし、対応する対象エリアでそれぞれ障害物等の検知を行った後、検知結果として後続車両または後方車両の接近が認められたときは、警告出力手段11で警告を出力するようにしてもよい。
これらの処理が終了したら、上記した情報入力処理のステップに戻る。
これらの処理が終了したら、上記した情報入力処理のステップに戻る。
(3)車両の挙動情報から車両が低速で且つ減速または右左折すると判断される場合、障害物等を検知する対象エリアを巻込エリアに設定する。
図7は巻込エリアを説明する図であり、(A)は実空間上の巻込エリアを示す図で、(B)は撮像画像上の巻込エリアを示す図である。
図7(A)に示すように、車両30が低速で且つ減速または右左折する場合、車両30が特に注意すべき対象物は他車両43aまたは人の巻き込み事故である。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30の曲折方向における後方側の巻込エリア53aとする。ここで、巻込エリア53aとは、曲折方向の後方側である。
図7(B)に示す撮像画像40C内においては、例えば巻込エリア53bが設定され、この巻込エリア53bを対象エリアとして障害物等の検知を行う。なお、図7(A)と(B)とは異なる車両状況における巻込エリアを示すものであり、(A)は交差点における左折時の巻込エリア53aを示し、図7(B)は右折時の巻込エリア53bを示している。また、図中、43bは撮像画像40C内に映し出された、巻込エリア53b付近に位置する他車両の画像である。
図7は巻込エリアを説明する図であり、(A)は実空間上の巻込エリアを示す図で、(B)は撮像画像上の巻込エリアを示す図である。
図7(A)に示すように、車両30が低速で且つ減速または右左折する場合、車両30が特に注意すべき対象物は他車両43aまたは人の巻き込み事故である。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30の曲折方向における後方側の巻込エリア53aとする。ここで、巻込エリア53aとは、曲折方向の後方側である。
図7(B)に示す撮像画像40C内においては、例えば巻込エリア53bが設定され、この巻込エリア53bを対象エリアとして障害物等の検知を行う。なお、図7(A)と(B)とは異なる車両状況における巻込エリアを示すものであり、(A)は交差点における左折時の巻込エリア53aを示し、図7(B)は右折時の巻込エリア53bを示している。また、図中、43bは撮像画像40C内に映し出された、巻込エリア53b付近に位置する他車両の画像である。
(4)車両の挙動情報から車両が低速で且つ駐車発進すると判断される場合、障害物等を検知する対象エリアを隣接エリアに設定する。
図8は隣接エリアおよび駐車エリアを説明する図であり、(A)は実空間上の隣接エリアおよび駐車エリアを示す図で、(B)は撮像画像上の隣接エリアを示す図である。
図8(A)に示すように、車両30が低速で且つ駐車発進をする場合、車両30が特に注意すべき対象物は隣接する他車両44aまたは人との接触事故である。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30の真横の隣接エリア54aとする。
この実空間上の隣接エリア54aは、図8(B)に示す撮像画像40D内では隣接エリア54bとなるため、この隣接エリア54bを対象エリアとして障害物等の検知を行う。なお、図中、44bは撮像画像40D内に映し出された隣接車両44aの画像である。
図8は隣接エリアおよび駐車エリアを説明する図であり、(A)は実空間上の隣接エリアおよび駐車エリアを示す図で、(B)は撮像画像上の隣接エリアを示す図である。
図8(A)に示すように、車両30が低速で且つ駐車発進をする場合、車両30が特に注意すべき対象物は隣接する他車両44aまたは人との接触事故である。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30の真横の隣接エリア54aとする。
この実空間上の隣接エリア54aは、図8(B)に示す撮像画像40D内では隣接エリア54bとなるため、この隣接エリア54bを対象エリアとして障害物等の検知を行う。なお、図中、44bは撮像画像40D内に映し出された隣接車両44aの画像である。
そして、(3)または(4)の条件を満たすとき、対応する対象エリアでそれぞれ障害物等の検知を行うとともに、車両後輪の進路予測軌跡を計算して求め、該予測軌跡を撮像画像上にガイドラインとして表示させたり、検知した障害物等と予測軌跡とから障害物の巻込または接近を推定し、警告出力手段11で警告を出力するようにしてもよい。
これらの処理が終了したら、上記した情報入力処理のステップに戻る。
これらの処理が終了したら、上記した情報入力処理のステップに戻る。
(5)車両の挙動情報から車両がバック駐車すると判断される場合、障害物等を検知する対象エリアを駐車エリアに設定する。
図8(A)を再度参照して、車両30がバック駐車をする場合、車両30が特に注意すべき対象物は既に駐車している他車両45aや人との接触または接近である。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30の横後方の駐車エリア55aとする。
ここで、図9は撮像画像上の駐車エリアを示す図である。
上記した実空間上の駐車エリア55aは、図9に示す撮像画像40E内では駐車エリア55bとなるため、この駐車エリア55bを対象エリアとして障害物等の検知を行う。
図8(A)を再度参照して、車両30がバック駐車をする場合、車両30が特に注意すべき対象物は既に駐車している他車両45aや人との接触または接近である。したがって、上記の車両状況においては、障害物等検知の対象エリアは車両30の横後方の駐車エリア55aとする。
ここで、図9は撮像画像上の駐車エリアを示す図である。
上記した実空間上の駐車エリア55aは、図9に示す撮像画像40E内では駐車エリア55bとなるため、この駐車エリア55bを対象エリアとして障害物等の検知を行う。
そして、(5)の条件を満たすとき、対応する対象エリアで障害物等の検知を行うとともに、駐車枠線に対応したガイドラインを撮像画像上に表示させたり、検知した障害物等から障害物の巻込または接近を推定し、警告出力手段11で警告を出力するようにしてもよい。
これらの処理が終了したら、上記した情報入力処理のステップに戻る。
これらの処理が終了したら、上記した情報入力処理のステップに戻る。
本実施形態によれば、撮像画像の全領域で障害物等の検知を行うことはせず、撮像画像内の部分的な対象エリアでのみ障害物等の検知を行う構成としているため、障害物等を検知するための画像処理に要する時間を短縮でき、高速で障害物等の検知を行うことが可能となる。
また、対象エリアは車両の挙動情報に基づいて選択される構成としているため、車両の状況に応じて適切に障害物等の検知を行うことが可能となる。
また、対象エリアは車両の挙動情報に基づいて選択される構成としているため、車両の状況に応じて適切に障害物等の検知を行うことが可能となる。
1 車両周辺監視装置
2 撮像モジュール
3 撮像光学系
4 撮像部
5 信号処理部
6 画像処理部
7 情報入力部
8 フィルタ回路
9 記憶部
21 第1センサ
22 第2センサ
25 表示手段
2 撮像モジュール
3 撮像光学系
4 撮像部
5 信号処理部
6 画像処理部
7 情報入力部
8 フィルタ回路
9 記憶部
21 第1センサ
22 第2センサ
25 表示手段
Claims (5)
- 車両周辺の障害物等を検知する車両周辺監視装置において、
前記車両に搭載されて前記車両周辺の画像を撮像する撮像部と、
前記車両が具備するセンサから該車両の挙動情報を取得する情報入力部と、
前記撮像部から出力される画像信号を処理して前記障害物等の検知を行う画像処理部と、
前記挙動情報と予め設定された対象エリアとが関連付けられて格納された記憶部とを有し、
前記画像処理部は、前記情報入力部で取得した前記挙動情報に基づいてこれに対応する撮像画像内の前記対象エリアを選択し、該対象エリア内で前記障害物等の検知を行うことを特徴とする車両周辺監視装置。 - 前記挙動情報は、前記車両の発進、停止、走行方向、走行速度、加減速、曲折の少なくともいずれかに関する情報であることを特徴とする請求項1に記載の車両周辺監視装置。
- 前記障害物等の検知結果を通知する通知手段を複数有し、
前記画像処理部で選択された前記対象エリアに基づいて前記検知結果の通知手段が選択されることを特徴とする請求項1または2に記載の車両周辺監視装置。 - 前記通知手段は、前記撮像画像に前記車両の進路予測ガイドラインを重畳表示する画像重畳手段、警告を出力する警告出力手段の少なくともいずれかを含むことを特徴とする請求項3に記載の車両周辺監視装置。
- 前記画像処理部は、警告を出力する警告出力手段を含み、前記車両の挙動情報から該車両の進路予測軌跡を算出し、前記進路予測軌跡を用いて前記障害物等との接触または接近を推定して前記警告出力手段で警告信号を出力することを特徴とする請求項1乃至3のいずれかに記載の車両周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015808A JP2012156903A (ja) | 2011-01-27 | 2011-01-27 | 車両周辺監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015808A JP2012156903A (ja) | 2011-01-27 | 2011-01-27 | 車両周辺監視装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012156903A true JP2012156903A (ja) | 2012-08-16 |
Family
ID=46838144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011015808A Pending JP2012156903A (ja) | 2011-01-27 | 2011-01-27 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012156903A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016037098A (ja) * | 2014-08-06 | 2016-03-22 | オムロンオートモーティブエレクトロニクス株式会社 | 車両用撮像装置 |
US10303957B2 (en) | 2016-05-26 | 2019-05-28 | Hyundai Motor Company | Vehicle control system based on user input and method thereof |
CN114051720A (zh) * | 2019-06-25 | 2022-02-15 | 京瓷株式会社 | 图像处理装置、拍摄装置、移动体、以及图像处理方法 |
CN114500954A (zh) * | 2022-02-18 | 2022-05-13 | 天蚁科创(北京)科技有限公司 | 一种工程机械设备远程无线360度全景监控系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08110207A (ja) * | 1994-10-07 | 1996-04-30 | Mitsubishi Motors Corp | 車両用障害物検知装置 |
JP2001315601A (ja) * | 2000-05-09 | 2001-11-13 | Nec Corp | 車両側面監視装置 |
JP2009146217A (ja) * | 2007-12-14 | 2009-07-02 | Hitachi Ltd | ステレオカメラ装置 |
JP2009265803A (ja) * | 2008-04-23 | 2009-11-12 | Panasonic Corp | 車両視界支援装置 |
-
2011
- 2011-01-27 JP JP2011015808A patent/JP2012156903A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08110207A (ja) * | 1994-10-07 | 1996-04-30 | Mitsubishi Motors Corp | 車両用障害物検知装置 |
JP2001315601A (ja) * | 2000-05-09 | 2001-11-13 | Nec Corp | 車両側面監視装置 |
JP2009146217A (ja) * | 2007-12-14 | 2009-07-02 | Hitachi Ltd | ステレオカメラ装置 |
JP2009265803A (ja) * | 2008-04-23 | 2009-11-12 | Panasonic Corp | 車両視界支援装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016037098A (ja) * | 2014-08-06 | 2016-03-22 | オムロンオートモーティブエレクトロニクス株式会社 | 車両用撮像装置 |
US10303957B2 (en) | 2016-05-26 | 2019-05-28 | Hyundai Motor Company | Vehicle control system based on user input and method thereof |
CN114051720A (zh) * | 2019-06-25 | 2022-02-15 | 京瓷株式会社 | 图像处理装置、拍摄装置、移动体、以及图像处理方法 |
CN114500954A (zh) * | 2022-02-18 | 2022-05-13 | 天蚁科创(北京)科技有限公司 | 一种工程机械设备远程无线360度全景监控系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6185970B2 (ja) | 車両の後方側面に隣接する物体を検出する方法 | |
US20230406342A1 (en) | Vehicular driving assist system with driver monitoring | |
US11142192B2 (en) | Imaging device, signal processing device, and vehicle control system | |
EP3367366B1 (en) | Display control method and display control device | |
JP5070809B2 (ja) | 運転支援装置、運転支援方法、及び、プログラム | |
CN109564734B (zh) | 驾驶辅助装置、驾驶辅助方法、移动体和程序 | |
WO2018088224A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
KR101864896B1 (ko) | 차량 주변의 캡쳐 방법 | |
JP4774849B2 (ja) | 車両の障害物表示装置 | |
JP6307895B2 (ja) | 車両用周辺監視装置 | |
EP2620330A1 (en) | Driving assistance device | |
JP2012123470A (ja) | 物体検出装置及び物体検出方法 | |
CN109562757B (zh) | 驾驶辅助装置、驾驶辅助方法、移动体和程序 | |
JP2005309797A (ja) | 歩行者警報装置 | |
JP2006227811A (ja) | 運転支援装置 | |
WO2017115371A1 (en) | Apparatus and method for avoiding vehicular accidents | |
JP2012156903A (ja) | 車両周辺監視装置 | |
JP2009154775A (ja) | 注意喚起装置 | |
JP2007034988A (ja) | 車両の障害物回避報知装置 | |
JP3988551B2 (ja) | 車両周囲監視装置 | |
JP7065068B2 (ja) | 車両周囲監視装置、車両、車両周囲監視方法およびプログラム | |
JP2004221871A (ja) | 車輌周辺監視装置 | |
JP2005309660A (ja) | 車両用右左折支援装置 | |
JP2008282235A (ja) | 運転支援装置、運転支援装置を搭載した自動車、および運転支援方法 | |
KR20170069645A (ko) | 보행자 추돌 방지 시스템 및 이의 실행 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141010 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150220 |