JP5949861B2 - 車両の接近物体検出装置及び車両の接近物体検出方法 - Google Patents

Description

本発明は、車両に固定された撮像装置（カメラ）によって撮影された画像に基づいて同車両に接近する物体を検出する車両の接近物体検出装置及び車両の接近物体検出方法に関する。

車両の前端に設けられた撮像装置が撮影した画像に基づいて算出されたオプティカルフローベクトルを利用して同車両に接近する物体を検出するノーズビューモニタ装置（以下、「従来装置」とも称呼される。）が特許文献１に記載されている。オプティカルフローベクトル（以下、単に「フローベクトル」とも称呼される。）は、同一の撮像装置によって撮影された所定時間だけ離れた２枚の画像の両方に含まれる対象物（被写体又は被写体の一部）の同画像内における移動を表すベクトルである。

従来装置は、車両の左側方領域を撮影した画像（左側方画像）に含まれる対象物に基づくフローベクトルが右向きの水平方向成分を有していれば、その対象物を接近物体であると判定する。同様に、従来装置は、車両の右側方領域を撮影した画像（右側方画像）に含まれる対象物に基づくフローベクトルが左向きの水平方向成分を有していれば、その対象物を接近物体であると判定する。

より具体的に述べると、従来装置が備えるノーズビューカメラが撮影する画像において車両の直進方向を示す点（即ち、無限遠点）は、その画像内において車両の進行方向前方にある。そのため、車両が停止しているとき、移動している対象物であって、やがて車両の進行方向前方を横切る対象物に基づくフローベクトルは、画像上の無限遠点を通る垂直な線（仮想中心線）に向かう水平方向成分を有する。

例えば、車両の左側方にある対象物であって、やがて画像上の仮想中心線を左から右に横切る方向に移動している対象物に基づくフローベクトルは、右向きの水平方向成分を有する。そこで、従来装置は、左側方画像において右向きの水平方向成分を有するフローベクトルに対応する対象物を接近物体であると特定する。同様に、従来装置は、右側方画像において左向きの水平方向成分を有するフローベクトルに対応する対象物を接近物体であると特定する。

ただし、車両の方向が変わるとき（即ち、操舵輪を左方向又は右方向に向けながら車両が走行するとき）、接近物体の判定が正しく行われない場合がある。例えば、車両が右に旋回しているとき（即ち、操舵輪を右方向に向けながら車両が前進する結果、車両の方向が変わるとき）、車両が旋回していないときと比較して各フローベクトルの水平方向成分は左方向に大きくなる。

その結果、「左側方画像に含まれる接近物体に基づくフローベクトルが有していた右向きの水平方向成分」が車両の右旋回によって小さくなり、場合によっては、同フローベクトルが左向きの水平方向成分を有する。この場合、実際には接近している対象物を従来装置が接近物体であると判定しない「不検出」が発生する虞がある。

他方、右側方画像に含まれる対象物に基づくフローベクトルが元々左向きの成分を有していなかったにも拘わらず、車両の右旋回によって同フローベクトルが左向きの水平方向成分を有するようになる可能性がある。この場合、この対象物が接近物体では無いにも拘わらず従来装置が接近物体であると判定する「誤検出」が発生する虞がある。

そこで、車両の旋回に起因して接近物体の不検出及び／又は誤検出が発生する可能性が高く、従って、車両の運転者が期待する精度の接近物体検出機能を発揮出来ない虞があるとき、従来装置は接近物体の検出処理を停止していた。具体的には、従来装置は、車両の旋回速度（水平方向の回転速度）に相関を有する同車両の操舵角の大きさが所定値を越える場合に接近物体の検出処理を停止していた。

特許第４２５９３６８号公報

従来装置によれば、例えば、車両が左折又は右折をするためにＴ字路に進入する際、左側方及び右側方から接近する車両の有無を確認するためにハンドルを切った状態で（即ち操舵角が上記所定値を越えた状態で）停止したとき、接近物体の検出処理を停止していた。その結果、側方からの接近物体（例えば、他の車両）の検出が最も有効な場面の一つであるＴ字路への進入時において従来装置が備える接近物体検出機能が活用できない場合があった。

本発明はこの問題に対処するために成され、その目的は車両がハンドルを切った状態で停止している場合、或いは、車両がハンドルを切った状態で走行している（即ち、旋回している）場合であっても接近物体を検出できる車両の接近物体検出装置を提供することにある。

上記目的を達成するための車両の接近物体検出装置（以下、「本発明装置」とも称呼される。）は、
車両の車体に固定されるとともに同車体の左側方領域及び右側方領域を含む画像を取得する撮像装置、ベクトル取得部、補正ベクトル算出部、補正部、及び、接近物体特定部を備える。

前記ベクトル取得部は、
前記撮像装置により第１時点にて取得された第１画像と、前記撮像装置により前記第１時点よりも所定時間後の第２時点にて取得された第２画像と、に基づいて、前記第１画像及び前記第２画像の双方に撮影されている任意の対象物の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表すオプティカルフローベクトルを複数取得する。

前記補正ベクトル算出部は、
前記オプティカルフローベクトルのうちの一対のベクトルであって、「前記左側方領域及び前記右側方領域を含む画像平面における前記車両の直進方向を示す点を通り且つ前記車体の左右水平方向に直交する仮想中心線」に対し線対称位置に始点を有する一対のベクトル、の水平方向成分の平均に基づくベクトルを旋回補正ベクトルとして算出する。

前記画像平面は、前記撮像装置によって撮影される任意の対象物（立体）が投影される平面である。例えば、前記撮像装置が、単一の撮像装置ではなく、「左側方領域を撮影する第１撮像装置」と「右側方領域を撮影する第２撮像装置」とによって構成される場合がある。この場合、前記画像平面は、「第１撮像装置によって撮影される対象物が投影される平面（第１平面）」と「第２撮像装置によって撮影される対象物が投影される平面（第２平面）」とを含む平面である。

前記画像平面における前記車両の直進方向を示す点は、車両が前進（直進）したときに静止している対象物（例えば、建造物）に基づいて取得される各フローベクトルの始点と終点とを通る直線のそれぞれが交わる点でもある（図３を参照。）。即ち、前記車両の直進方向を示す点は、前記画像平面における無限遠点（Focus Of Expansion）であると捉えることが可能である。

従って、前記補正ベクトル算出部は、以下のように説明することも可能である。
即ち、前記補正ベクトル算出部は、
前記オプティカルフローベクトルのうちの一対のベクトルであって、「前記左側方領域及び前記右側方領域を含む画像平面における無限遠点を通り且つ前記車体の左右水平方向に直交する仮想中心線」に対し線対称位置に始点を有する一対のベクトル、の水平方向成分の平均に基づくベクトルを旋回補正ベクトルとして算出する。

前記補正部は、
前記複数のオプティカルフローベクトルのそれぞれを前記旋回補正ベクトルに基づいて補正することにより補正後ベクトルを複数取得するベクトル補正を行う。

前記接近物体特定部は、
前記複数の補正後ベクトルに基づいて前記車両に接近する物体を特定する。

本発明装置は、車両旋回時の画像に基づいて取得された複数のフローベクトル（例えば、図４［Ｂ］の各矢印）に対してベクトル補正を行い、「車両が方向を変えることなく直進していれば得られたフローベクトル（例えば、図４［Ａ］の各矢印）」を推定する。即ち、本発明装置は、前記ベクトル取得部が取得したフローベクトル（旋回による影響を受けている可能性があるベクトル）に基づいて補正後ベクトル（旋回による影響が排除されたベクトル）を取得する。

より具体的に述べると、各フローベクトルは、
（ａ）車両が移動したことによって生じた自車移動ベクトル、
（ｂ）車両の方向が変わることによって生じた自車回転ベクトル、及び、
（ｃ）対象物が移動したことによって生じた対象物移動ベクトル、
の和として捉えることができる。

車両と各対象物との距離が一定である場合、図５［Ａ］に示されるように、上記一対のベクトルの一方に含まれる自車移動ベクトルの水平方向成分が、一対のベクトルの他方に含まれる自車移動ベクトルの水平方向成分と、方向が逆であって大きさが等しくなる。換言すれば、この場合、一対のベクトルのそれぞれに含まれる自車移動ベクトルの水平方向成分の平均は、零ベクトルとなる。即ち、一対のベクトルのそれぞれの平均を算出することによって自車移動ベクトルの水平方向成分が相殺される。

一方、自車回転ベクトルの水平方向成分のそれぞれは、図５［Ｂ］に示されるように、フローベクトルの始点がある場所に依らず向きと大きさとが互いに等しい。換言すれば、一対のベクトルのそれぞれに含まれる自車回転ベクトルの水平方向成分の平均は、元の一対のベクトルのそれぞれに含まれる自車回転ベクトルの水平方向成分と互いに等しい。

ところで、各対象物が移動しない場合、実際に得られるフローベクトルの水平成分は、図５［Ｃ］に示されるような「自車移動ベクトルの水平方向成分と自車回転ベクトルの水平方向成分との和（合成）」である。

そこで、本発明装置は、一対のフローベクトルの水平方向成分の平均に基づいて、旋回補正ベクトルを取得する。更に、本発明装置は、旋回補正ベクトルに基づいてベクトル補正を行うことによって、車両が直進していれば得られたフローベクトルを推定する。

その結果、本発明装置は、車両が旋回している場合であっても「旋回によるフローベクトルの水平方向成分の変化」を排除したうえで接近物体の特定を行うことが可能となる。加えて、本発明装置の実施にあたり車両の操舵角を検出するためのセンサは不要であるため、旋回時における接近物体を特定するためにコストが上昇することを防ぐことができる。

更に、本発明の一態様において、
前記補正ベクトル算出部は、
前記第１時点から前記第２時点にかけて発生した前記車両の方向の変化に起因して発生した前記オプティカルフローベクトルの水平方向成分の変化に相当するベクトルを前記旋回補正ベクトルとして算出し、
前記補正部は、
前記複数のオプティカルフローベクトルのそれぞれから前記旋回補正ベクトルを減じることにより前記ベクトル補正を行う、
ように構成されることが好適である。

これによれば、本発明装置は、車両の方向が変わることによって生じた各フローベクトルの水平方向成分の変化、即ち、各フローベクトルの水平方向成分に含まれる自車回転ベクトル（の水平方向成分）をベクトル補正によって確実に除去することができる。

更に、本発明の他の態様において、前記補正ベクトル算出部は、
複数の前記一対のベクトルに対し、それぞれの一対のベクトルの水平方向成分の平均である平均ベクトルを求めることにより同平均ベクトルを複数求め、そのうち、最も発生頻度の高いベクトルを前記旋回補正ベクトルとして採用するように構成されることが好適である。

上述したように、本発明装置は、一対のベクトルの水平方向成分の平均に基づいて旋回補正ベクトルを取得する。しかし、一対のベクトルのそれぞれに対応する対象物（車両の進行方向左側にある対象物及び進行方向右側にある対象物）の少なくとも一方が移動している場合がある。この場合、一対のベクトルの少なくとも一方は、対象物移動ベクトルを含んでいる。そのため、一対のベクトルのそれぞれに含まれる自車移動ベクトルの水平方向成分の平均が零ベクトルであっても、対象物移動ベクトルの影響により、この一対のベクトルの水平方向成分の平均は、自車回転ベクトルの水平方向成分とは相違する。

加えて、上述したように、車両と各対象物との距離が一定である場合、一対のベクトルのそれぞれに含まれる自車移動ベクトルの水平方向成分の平均は、零ベクトルとなるが、実際には、多くの場合、車両と各対象物との距離が一定ではなくばらつきがある。更に、自車移動ベクトルは、車両から対象物までの距離が短いほど大きくなる。そのため、車両と、一対のベクトルのそれぞれに対応する対象物（車両の進行方向左側にある対象物及び進行方向右側にある対象物）と、の距離が互いに異なる場合、自車移動ベクトルの水平方向成分の平均は、零ベクトルとはならない。従って、この場合、車両と各対象物との距離のばらつきの影響により、この一対のベクトルの水平方向成分の平均は、自車回転ベクトルの水平方向成分とは相違する。

しかし、例えば、図２に示されるように、車両がＴ字路に進入するとき、一対のベクトルのそれぞれに対応する対象物（車両の進行方向左側にある対象物及び進行方向右側にある対象物）は、路面、ビル及び塀等の建造物である場合が多い。そのため、車両と一対のベクトルのそれぞれに対応する対象物との距離が互いに略等しくなる可能性が高い。従って、一対のベクトルのそれぞれに含まれる自車移動ベクトルの水平方向成分の平均は、零ベクトルとなる場合が相対的に多い。

加えて、画像上の対象物は静止物体（例えば、建造物）と移動物体（例えば、他の走行している車両）とに分類され得るが、一般的に移動物体が占める画像上の面積は静止物体の占める画像上の面積よりも小さい。従って、画像上の各フローベクトルに基づいて算出された平均ベクトルの多くは、対象物移動ベクトルの水平方向成分の平均を含んでいない。換言すれば、平均ベクトルの多くは自車回転ベクトルの水平方向成分の平均のみを含んでいる。

以上より、複数取得された平均ベクトルのうち、最も発生頻度の高いベクトルは、対象物移動ベクトルの影響及び車両と各対象物との距離のばらつきの影響を受けておらず、従って、自車回転ベクトルの水平方向成分と等しい可能性が高い。換言すれば、本態様によれば、自車回転ベクトルの水平方向成分に相当するベクトルである旋回補正ベクトルを精度良く取得することができる。

なお、本発明は、上記車両の接近物体検出装置を搭載する車両にも係り、更に、上記車両の接近物体検出装置にて使用される方法にも及ぶ。

本発明の実施形態に係る車両の接近物体検出装置（本検出装置）が適用される車両（本車両）の概略図である。 本車両がＴ字路に進入する場合において、本車両に接近する対象物及び本車両から離れていく対象物を示した図である。 本検出装置によって取得された画像及びオプティカルフローベクトルの例である。 本検出装置が備える表示装置に表示された左側方画像及び右側方画像の例である。 自車移動ベクトルの水平方向成分及び自車回転ベクトルの水平方向成分を説明するための図である。 本検出装置のＣＰＵが実行する接近物体検出処理ルーチンを示したフローチャートである。 一対のフローベクトルを示した図である。 平均ベクトルの分布を示したヒストグラムである。

（構成）
以下、図面を参照しながら本発明の実施形態に係る車両の接近物体検出装置（以下、「本検出装置」とも称呼される。）について説明する。本検出装置は、図１に概略構成が示された車両１０に適用される。本検出装置は、カメラ２０及びＥＣＵ３０を含んでいる。

カメラ２０は、車両１０の車体の前端中央部に固定されている。カメラ２０の水平方向の画角（視野）は、車両１０の進行方向正面を含み、左水平方向近傍から右水平方向近傍までの略１８０度である。具体的には、カメラ２０の水平方向の画角は、図１に示された直線Ｌｅと直線Ｒｅとがなす角度（２α＋２β）に等しい。カメラ２０によって撮影される対象物のそれぞれが投影された平面は、「画像平面」とも称呼される。カメラ２０は、撮影した画像を表す信号をＥＣＵ３０へ出力する。

ＥＣＵ３０は、周知のマイクロコンピュータを含む電子回路であり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース等を含んでいる。ＲＯＭは、ＣＰＵが実行するプログラムを記憶している。

ＥＣＵ３０は、表示装置４１及び車速センサ４２と接続されている。表示装置４１は、車両１０の車室内に設けられた図示しないセンターコンソールに配設されている。後述する接近物体検出処理が実行されるとき、表示装置４１はカメラ２０によって撮影された画像の一部であって車両１０の左側方領域を撮影した画像（左側方画像）と車両１０の右側方領域を撮影した画像（右側方画像）とを並べて連続的に表示する。換言すれば、表示装置４１には、車両１０の左側方領域と右側方領域とを表す動画像が表示される。

図２に示されるように、左側方画像及び右側方画像のそれぞれの画角αは、車両１０が左右の見通しの悪いＴ字路に進入するとき、車両１０の運転者にとって視認しにくい範囲である。左側方画像の水平方向の画角は、カメラ２０の画角の一部であって直線Ｌｅと直線ＬＣｅとがなす角度である。右側方画像の水平方向の画角は、カメラ２０の画角の一部であって直線ＲＣｅと直線Ｒｅとがなす角度である。

上述したように、左側方画像の水平方向の画角と、右側方画像の水平方向の画角と、はいずれも角度αであり、互いに等しい。加えて、図１に示されるように、「カメラ２０から車両１０の進行方向正面に伸びる直線（半直線）Ｌｈ０」と直線ＬＣｅとがなす角度と、直線Ｌｈ０と直線ＲＣｅとがなす角度と、はいずれも角度βであり、互いに等しい。従って、左側方画像の水平方向の画角と、右側方画像との水平方向の画角と、は互いに直線Ｌｈ０に対して左右対称である。

表示装置４１は、図示しない操作スイッチを備えている。車両１０の運転者は、この操作スイッチを操作することによって接近物体検出処理のオン状態及びオフ状態のいずれか一方を選択することができる。加えて、表示装置４１は、図示しないスピーカーを備えている。

車速センサ４２は、車両１０の車軸の回転速度を検出し、車両１０の走行速度（車速）Ｖｓを表す信号を出力する。

（接近物体検出処理の概要）
カメラ２０は所定の撮影周期（所定時間）Δｔ毎に画像を撮影する。ＥＣＵ３０は、カメラ２０によって撮影された画像（第１画像）と撮影周期Δｔ後に撮影された画像（第２画像）とに基づいてフローベクトルを取得する。換言すれば、第２画像はカメラ２０によって撮影された最新の画像であり、第１画像はカメラ２０によって第２画像よりも撮影周期Δｔだけ以前に撮影された画像である。第１画像が撮影された時刻は、便宜的に「第１時点」とも称呼される。第２画像が撮影された時刻は、便宜的に「第２時点」とも称呼される。

ＥＣＵ３０は、第１画像と第２画像との双方に撮影されている任意の対象物の第１時点における始点及び第１時点から第２時点までの移動量及び移動方向を表すベクトルであるフローベクトルを複数の対象物のそれぞれに対し取得する。即ち、ＥＣＵ３０は、複数のフローベクトルを取得する。

図３にフローベクトルの例を各黒矢印により示す。図３には、便宜上、表示装置４１に表示される左側方画像及び右側方画像に代わり、カメラ２０によって撮影された車両１０の進行方向正面を含む画像が示されている。図３の例において、車両１０は、第１時点から第２時点にかけて前進（直進）している。図３に示されている画像は、第１画像である。各フローベクトルは、この第１画像と（第１画像よりも後に撮影された）第２画像とに基づいて取得されている。なお、図３において、静止している対象物（例えば、建造物）に基づく各フローベクトルの始点と終点とを通る直線のそれぞれが交わる点は、「無限遠点ＦＯＥ」とも称呼される。無限遠点ＦＯＥは、図３に示された画像における車両１０の直進方向を示す点であると捉えることも可能である。

図３に示された各フローベクトルは、対象物が移動することによって発生した対象物の画像平面上の移動を表すベクトルと、車両１０が前進することによって発生した対象物の画像平面上の移動を表すベクトルと、の和として捉えることができる。便宜上、前者のベクトルは「対象物移動ベクトル」とも称呼され、後者のベクトルは「自車移動ベクトル」とも称呼される。

一方、車両１０が操舵輪を左方又は右方に向けながら走行する（即ち、旋回する）ことによって車両１０の方向が変わるとき、即ち、車両１０が水平方向に回転するとき、その回転によって各フローベクトルが変化する。車両１０が回転した場合のフローベクトルと、車両１０が回転しなかった場合のフローベクトルと、の差分として得られるベクトルは、便宜上、「自車回転ベクトル」とも称呼される。即ち、各フローベクトルは、対象物移動ベクトル、自車移動ベクトル及び自車回転ベクトルの和として捉えることができる。

ＥＣＵ３０は、後述するように、車両１０の方向が変わる際に接近物体検出処理を実行する場合、自車回転ベクトルの影響を考慮する必要がある。そこで、図２に示されるように、車両１０がＴ字路に進入する場合を例に接近物体検出処理の実行時におけるＥＣＵ３０の作動を説明する。

図４［Ａ］及び［Ｂ］は、表示装置４１に表示された左側方画像及び右側方画像の例である。図４［Ａ］及び［Ｂ］に示された画像は、図３の例と同様に第１画像であり、車両１０が図２の位置Ｐｓにあるときに撮影された画像である。図４［Ａ］及び［Ｂ］に示される各フローベクトルは、この第１画像と（第１画像よりも後に撮影された）第２画像とに基づいて取得されている。図４［Ａ］には、車両１０が図２の破線矢印Ａｄで示されるように（方向を変えずに）直進する場合のフローベクトルの例が示されている。一方、図４［Ｂ］には、車両１０が図２の実線矢印Ａｔで示されるように右に方向を変えながらＴ字路に進入する（即ち、右に旋回する）場合のフローベクトルの例が示されている。

図４［Ａ］及び［Ｂ］に示された黒矢印は、車両１０以外の車両に基づくフローベクトルを表している。一方、これらの図に示された白抜き矢印は、建物及び道路標識等の移動しない対象物に基づくフローベクトルを表している。

図４［Ａ］において、即ち、車両１０が直進する場合において、ＥＣＵ３０は、「左側方画像に現れる対象物であって対応するフローベクトルが右向きの水平方向成分を有する対象物」が接近物体であると特定することが可能である。同様に、ＥＣＵ３０は、「右側方画像に現れる対象物であって対応するフローベクトルが左向きの水平方向成分を有する対象物」が接近物体であると特定することが可能である。

この点、図２及び図４を参照しながら具体的に説明する。半直線Ｌｈ０と、移動する対象物からその対象物の進行方向前方に伸びる半直線と、が交わる場合、その対象物に基づくフローベクトルは、画像上の無限遠点ＦＯＥを通る垂直な直線Ｌｍに向かう水平方向成分を有する。無限遠点ＦＯＥを通る垂直な直線（即ち、車両１０の直進方向を示す点を通る垂直な直線）Ｌｍは、「仮想中心線Ｌｍ」とも称呼される。仮想中心線Ｌｍは、画像平面における無限遠点ＦＯＥを通り且つ車両１０の車体の左右水平方向に直交する直線であるとも定義され得る。

例えば、半直線Ｌｈ０と、左側方から車両１０に接近する車両である対象物５１から対象物５１の進行方向前方に伸びる半直線Ｌｈ１と、は点Ｐｉ１にて交わる。換言すれば、車両１０が停止していれば、対象物５１は、やがて車両１０の進行方向前方を左から右に横切る。そのため、図４［Ａ］の左側方画像における対象物５１に基づくフローベクトルは、右向きの水平方向成分を有している。従って、ＥＣＵ３０は、対象物５１が接近物体であると特定できる。

同様に、図２において、半直線Ｌｈ０と、右側方から車両１０に接近する車両である対象物５２から対象物５２の進行方向前方に伸びる半直線Ｌｈ２と、は点Ｐｉ２にて交わる。そのため、図４［Ａ］の右側方画像における対象物５２に基づくフローベクトルは、左向きの水平方向成分を有している。従って、ＥＣＵ３０は、対象物５２が接近物体であると特定できる。

一方、図２において、半直線Ｌｈ０と、車両１０の左側方にあって、車両１０から離れていく車両である対象物５３から対象物５３の進行方向前方に伸びる半直線Ｌｈ３と、は交わらない。そのため、図４［Ａ］の左側方画像における対象物５３に基づくフローベクトルは右向きの水平方向成分を有していない。従って、ＥＣＵ３０は、対象物５３が接近物体ではないと特定できる。

同様に、図２において、半直線Ｌｈ０と、車両１０の右側方にあって、車両１０から離れていく車両である対象物５４から対象物５４の進行方向前方に伸びる半直線Ｌｈ４と、は交わらない。そのため、図４［Ａ］の右側方画像における対象物５４に基づくフローベクトルは左向きの水平方向成分を有していない。従って、ＥＣＵ３０は、対象物５４が接近物体ではないと特定できる。

一方、図４［Ｂ］において、即ち、車両１０が右に旋回している場合において、自車回転ベクトルの影響によって同図［Ｂ］に示されたフローベクトルのそれぞれは、同図［Ａ］に示されたフローベクトルのそれぞれと比較して左向きの水平方向成分が大きくなっている。

その結果、図４［Ｂ］における対象物５１に基づくフローベクトルは、左向きの水平方向成分を有している。そのため、ＥＣＵ３０が接近している対象物５１を接近物体ではないと特定する「不検出」が発生し得る。

加えて、図４［Ｂ］における対象物５４に基づくフローベクトルは、左向きの水平方向成分を有している。そのため、ＥＣＵ３０が遠ざかっている対象物５４を接近物体であると特定する「誤検出」が発生し得る。

そこで、ＥＣＵ３０は、接近物体検出処理の実行時、車両１０が方向を変化させることによる影響を排除するため、フローベクトルのそれぞれに対してベクトル補正を行う。より具体的に述べると、ＥＣＵ３０は、自車回転ベクトルの水平方向成分に相当するベクトルを「旋回補正ベクトル」として推定する。「各フローベクトルから旋回補正ベクトルを減じることによって（即ち、ベクトル補正によって）得られるベクトル（即ち、補正後ベクトル）」の水平方向成分は、自車移動ベクトルの水平方向成分と対象物移動ベクトルの水平方向成分との和に相当する。ＥＣＵ３０は、補正後ベクトルに基づいて接近物体の特定を行うことにより、接近物体検出処理において各フローベクトルに対する自車回転ベクトルの影響（即ち、車両１０が方向を変化させることによる影響）を排除することができる。

旋回補正ベクトルの推定方法について図５を参照しながら説明する。図５［Ａ］は、車両１０と各対象物との距離が一定である場合に移動していない対象物についてカメラ２０によって撮影された車両１０の正面を含む画像（第１画像及び第２画像）に基づいて取得されるフローベクトルに含まれる自車移動ベクトルの水平方向成分の例を示している。この場合、自車移動ベクトルは、画像平面上の対象物と無限遠点ＦＯＥとの距離が長いほど大きくなる。加えて、自車移動ベクトルの大きさが同一であれば、自車移動ベクトルの水平方向成分は画像平面上の対象物と無限遠点ＦＯＥとの垂直方向の距離（例えば、同図［Ａ］において距離Ｄｈ）が長いほど小さくなる。

図５［Ａ］において、一対の自車移動ベクトルであって、仮想中心線Ｌｍに対し線対称位置に始点を有する一対のベクトル（例えば、ベクトルＶＬ１及びＶＲ１）の水平方向成分は、方向が逆であって大きさが等しい。換言すれば、車両１０と各対象物との距離が一定である場合、この一対のベクトルのそれぞれに含まれる自車移動ベクトルの水平方向成分の平均は、下式（１）に示すように零ベクトルとなる。

｛ＶＬ１ベクトルの水平方向成分（ベクトル）
＋ＶＲ１ベクトルの水平方向成分（ベクトル）｝／２＝０（ベクトル） …（１）

図５［Ｂ］は、図５［Ａ］の画像に含まれていた対象物について、車両１０が右に旋回した場合にカメラ２０によって撮影される画像（第１画像及び第２画像）に基づいて取得されたフローベクトルに含まれる自車回転ベクトルの水平方向成分の例を示している。自車回転ベクトルの向きと大きさは、その自車回転ベクトルの始点の位置に依らず互いに等しい。換言すれば、一対の自車回転ベクトルであって、仮想中心線Ｌｍに対しそれぞれが線対称位置に始点を有する一対のベクトル（例えば、ベクトルＶＬ２及びＶＲ２）の水平方向成分の平均は、下式（２）に示すように元の自車回転ベクトルの水平方向成分と等しい。

｛ＶＬ２ベクトルの水平方向成分（ベクトル）
＋ ＶＲ２ベクトルの水平方向成分（ベクトル）｝／２
＝ 自車回転ベクトルの水平方向成分（ベクトル） …（２）

図５［Ｃ］は、図５［Ａ］及び［Ｂ］に表されたベクトルの和（即ち、自車移動ベクトルの水平方向成分及び自車回転ベクトルの水平方向成分の和）を表している。これらは実際に取得されるフローベクトルの水平方向成分である。式（１）及び式（２）によって、図５［Ｃ］に表された一対のベクトルであって、仮想中心線Ｌｍに対しそれぞれが線対称位置に始点を有する一対のベクトル（例えば、ベクトルＶＬ３及びＶＲ３）の平均を算出すれば、自車移動ベクトルの水平方向成分が取り除かれ、自車回転ベクトルの水平方向成分が得られることが理解される。

しかしながら、実際にカメラ２０によって撮影された画像に基づいて算出されたフローベクトルのそれぞれには、自車移動ベクトル及び自車回転ベクトルに加えて対象物移動ベクトルが含まれている場合がある。即ち、上記一対のベクトルのうちの一方又は両方が移動している対象物に基づいていれば、それらのフローベクトルの水平方向成分から算出される平均は、対象物移動ベクトルの寄与分を含み、従って、自車回転ベクトルの水平方向成分とは異なる。

加えて、実際には、車両１０と各対象物との距離は一定ではなく、ばらつきがあるので、自車移動ベクトルの水平方向成分のそれぞれは、図５［Ａ］に示されるような左右対称とはならない。その結果、上記一対のベクトルのそれぞれに含まれる自車移動ベクトルの水平方向成分の平均が零ベクトルとはならない場合がある。

とはいえ、左側方画像及び右側方画像における移動している対象物（例えば、他の車両）が占める面積と、移動していない対象物（例えば、建造物）が占める面積と、を比較すると、一般に、移動していない対象物の面積の方が大きい。

加えて、図２の実線矢印Ａｔで示されるように車両１０がＴ字路に進入して右折する場合、左側方画像及び右側方画像に含まれる対象物の多くは路面及び建造物等である場合が多い。従って、「上記一対のベクトルの一方に対応し且つ左側方画像に含まれる左方対象物」から車両１０までの距離（左方距離）と、「同一対のベクトルの他方に対応する右方対象物」から車両１０までの距離（右方距離）と、は略同一である場合が比較的多い。

例えば、図４［Ｂ］の左側方画像に示された点Ｐ１（左方対象物）から車両１０までの距離（左方距離）と、点Ｐ２（右方対象物）から車両１０までの距離（右方距離）と、は略同一である。加えて、同図の左側方画像に示された点Ｐ３（左方対象物）から車両１０までの距離（左方距離）と、点Ｐ４（右方対象物）から車両１０までの距離（右方距離）と、は略同一である。

以上より、種々のフローベクトルについて上記一対のベクトルの水平方向成分の平均を算出したとき、「移動している対象物」及び／又は「左方距離と右方距離との間の差分」に起因してその平均が自車回転ベクトルの水平方向成分と等しくならない場合が発生し得る。しかし、その頻度は相対的に高くないので、比較的多くの場合、上記一対のベクトルの水平方向成分の平均は、自車回転ベクトルの水平方向成分と等しくなる。

そこで、ＥＣＵ３０は、各フローベクトルについて一対のベクトルの水平方向成分の平均（平均ベクトル）を算出し、算出された複数の平均ベクトルのうち最も発生頻度の高い平均ベクトルを旋回補正ベクトルとして採用する。

ＥＣＵ３０は、各フローベクトルを旋回補正ベクトルに基づいて補正することにより補正後ベクトルを取得するベクトル補正を行う。具体的には、ＥＣＵ３０は、各フローベクトルの水平方向成分から旋回補正ベクトルを減じることによって補正後ベクトルを取得する。

更に、ＥＣＵ３０は、補正後ベクトルに基づいて接近物体を特定する。より具体的に述べると、左側方画像において、補正後ベクトルが右方向の成分を有していれば、ＥＣＵ３０は、そのフローベクトルに対応する対象物を接近物体であると特定する。同様に、右側方画像において、補正後ベクトルが左方向の成分を有していれば、ＥＣＵ３０は、そのフローベクトルに対応する対象物を接近物体であると特定する。ＥＣＵ３０は、この接近物体を特定するための処理を各フローベクトルに対して実行する。

（具体的作動）
次に、ＥＣＵ３０の具体的作動について説明する。ＥＣＵ３０のＣＰＵ（以下、単に「ＣＰＵ」とも称呼される。）は、撮影周期Δｔが経過する毎に図６にフローチャートにより示した「接近物体検出処理ルーチン」を実行する。

従って、適当なタイミングになると、ＣＰＵは、図６のステップ６００から処理を開始してステップ６０５に進み、カメラ２０によって撮影された左側方画像及び右側方画像を取得する。ＣＰＵは、取得した画像をＲＡＭ上に記憶する。

次いで、ＣＰＵは、ステップ６１０に進み、接近物体検出条件が成立しているか否かを判定する。本例において、接近物体検出条件は、車両１０の運転者による操作によって接近物体検出処理がオン状態となっており且つ車速Ｖｓが速度閾値Ｖｔｈ以下である場合に成立する。

速度閾値Ｖｔｈは、車速Ｖｓが上昇して自車移動ベクトルの水平方向成分が大きくなることによって、フローベクトルの水平方向成分に含まれる対象物移動ベクトルの水平方向成分が相殺され、その結果、不検出が発生する頻度が増加し得る速度である。より具体的に述べると、車速Ｖｓが上昇するほど自車移動ベクトルの大きさが大きくなる。そのため、例えば、「左側方画像における接近物体に基づくフローベクトルに含まれる対象物移動ベクトルの右向きの水平方向成分の大きさ」よりも「同フローベクトルに含まれる自車移動ベクトルの左向きの水平方向成分の大きさ」の方が大きくなり得る。その結果、不検出が発生する。

接近物体検出条件が成立していた場合、ＣＰＵはステップ６１０にて「Ｙｅｓ」と判定してステップ６１５に進み、本ルーチンが前回実行されたときに取得された画像（第１画像）と、今回取得された画像（第２画像）と、に基づいてブロックマッチング法によりフローベクトルを取得する。

より具体的に述べると、ＣＰＵは、第１画像を所定の大きさの矩形に分割し（即ち、第１画像を矩形の集合として捉え）、それぞれの矩形が第２画像においてどの位置に現れるかを探索する。その結果、第１画像におけるその矩形の位置（移動元）を始点とし、第２画像における同矩形の位置（移動先）を終点とするフローベクトルが得られる。ＣＰＵは、この処理を、第１画像（左側方画像及び右側方画像）を構成する矩形のそれぞれに対して実行する。従って、複数の（非常に多くの）フローベクトルが取得される。

次いで、ＣＰＵは、ステップ６２０に進み、一対のフローベクトルの水平方向成分の平均を算出する（即ち、平均ベクトルを取得する）。例えば、図７において、左側方画像を分割して得られる矩形ＲｃＬを始点とするフローベクトルＦＬと、右側方画像を分割して得られる矩形ＲｃＲを始点とするフローベクトルＦＲと、が一対のフローベクトルに相当する。即ち、矩形ＲｃＬ及び矩形ＲｃＲは、仮想中心線Ｌｍに対して互いに線対称位置にある。

換言すれば、画像平面において、仮想中心線Ｌｍから矩形ＲｃＬまでの距離と、仮想中心線Ｌｍから矩形ＲｃＲまでの距離と、は何れもＬｖであり、互いに等しい。加えて、画像平面において、無限遠点ＦＯＥから矩形ＲｃＬまでの垂直方向の距離と、無限遠点ＦＯＥから矩形ＲｃＲまでの垂直方向の距離と、は何れもＬｈであり、互いに等しい。別の観点から述べると、左側方画像の右端から矩形ＲｃＬまでの距離と、右側方画像の左端から矩形ＲｃＲまでの距離と、は何れもＬｖｓであり、互いに等しい。加えて、左側方画像の上端から矩形ＲｃＬまでの距離と、右側方画像の上端から矩形ＲｃＲまでの距離と、は何れもＬｈｓであり、互いに等しい。

ＣＰＵは、平均ベクトルを算出するため、フローベクトルＦＬの水平方向成分ＦＬｈが右向きの成分を有するときに正の値となり、左向きの成分を有するときに負の値となり、絶対値が水平方向成分ＦＬｈの大きさに等しい左側水平値ＨＬを取得する。同様に、ＣＰＵは、フローベクトルＦＲの水平方向成分ＦＲｈが右向きの成分を有するときに正の値となり、左向きの成分を有するときに負の値となり、絶対値が水平方向成分ＦＲｈの大きさに等しい右側水平値ＨＲを取得する。

そして、ＣＰＵは、左側水平値ＨＬ及び右側水平値ＨＲの平均値ＶＡ（即ち、ＶＡ＝（ＨＬ＋ＨＲ）／２）を算出する。平均ベクトルは、平均値ＶＡが正の値であれば右向きであり、平均値ＶＡが負の値であれば左向きであり、その大きさが平均値ＶＡの絶対値に等しいベクトルである。平均値ＶＡが「０」であれば、平均ベクトルは零ベクトルである。ＣＰＵは、この処理を、各フローベクトルに対して実行する。即ち、ＣＰＵは平均ベクトルを複数求める。

次いで、ＣＰＵは、ステップ６２５に進み、複数の平均ベクトルに基づいて旋回補正ベクトルを算出する。より具体的に述べると、ＣＰＵは、算出された平均値ＶＡについて内部的に図８に示されるようなヒストグラムを生成し、最も頻繁に現れる値（最頻値）ＶＭを取得する。

ＣＰＵは、最頻値ＶＭに基づいて、旋回補正ベクトルを取得する。具体的には、旋回補正ベクトルは、最頻値ＶＭが正の値であれば右向きであり、最頻値ＶＭが負の値であれば左向きであり、その大きさが最頻値ＶＭの絶対値に等しいベクトルである。最頻値ＶＭが「０」であれば、旋回補正ベクトルは零ベクトルである。

次いで、ＣＰＵは、ステップ６３０に進み、各フローベクトルの水平方向成分から旋回補正ベクトルを減じることによって（即ち、ベクトル補正を行うことによって）補正後ベクトルを取得する。

次いで、ＣＰＵは、ステップ６３５に進み、車両１０に接近する物体を特定する。より具体的に述べると、ＣＰＵは、左側方画像において右方向の水平方向成分を有する補正後ベクトルが存在していれば、この補正後ベクトルに対応する対象物を接近物体であると特定する。同様に、ＣＰＵは、右側方画像において左方向の水平方向成分を有する補正後ベクトルが存在していれば、この補正後ベクトルに対応する対象物を接近物体であると特定する。

次いで、ＣＰＵは、ステップ６４０に進み、特定された接近物体の有無を判定する。ＣＰＵは、接近物体であると特定された対象物があれば、ステップ６４０にて「Ｙｅｓ」と判定してステップ６４５に進む。ステップ６４５にてＣＰＵは、表示装置４１に表示された左側方画像及び右側方画像において、接近物体であると特定された対象物体が表示されている箇所の色彩をその他の箇所と異なる色（本例において、赤色）に変更する。加えて、ＣＰＵは、表示装置４１が備えるスピーカーから警告音を発生させる。その後、ＣＰＵは、ステップ６９５に進み、本ルーチンを一旦終了する。

一方、接近物体であると特定された対象物が無ければ、ＣＰＵは、ステップ６４０にて「Ｎｏ」と判定してステップ６９５に直接進む。なお、接近物体検出条件が成立していなかった場合、ＣＰＵは、ステップ６１０にて「Ｎｏ」と判定してステップ６９５に直接進む。

以上、説明したように、本検出装置（カメラ２０及びＥＣＵ３０）は、
車両（１０）の車体に固定されるとともに同車体の左側方領域及び右側方領域（図１及び図２を参照。）を含む画像を取得する撮像装置（カメラ２０）と、
前記撮像装置により第１時点にて取得された第１画像と、前記撮像装置により前記第１時点よりも所定時間（撮影周期Δｔ）後の第２時点にて取得された第２画像と、に基づいて、前記第１画像及び前記第２画像の双方に撮影されている任意の対象物の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表すオプティカルフローベクトルを複数取得する（図４及び図６のステップ６１５）ベクトル取得部と、
前記オプティカルフローベクトルのうちの一対のベクトルであって、前記左側方領域及び前記右側方領域を含む画像平面における前記車両の直進方向を示す点（無限遠点ＦＯＥ）を通り且つ前記車体の左右水平方向に直交する仮想中心線（Ｌｍ）に対し線対称位置に始点を有する一対のベクトル、の水平方向成分の平均に基づくベクトルを旋回補正ベクトルとして算出する（図６のステップ６２５及び図７）補正ベクトル算出部と、
前記複数のオプティカルフローベクトルのそれぞれを前記旋回補正ベクトルに基づいて補正することにより補正後ベクトルを複数取得するベクトル補正を行う（図６のステップ６３０）補正部と、
前記複数の補正後ベクトルに基づいて前記車両に接近する物体を特定する（図６のステップ６３５）接近物体特定部と、
を備えている。

更に、本検出装置において、
前記補正ベクトル算出部は、
前記第１時点から前記第２時点にかけて発生した前記車両の方向の変化に起因して発生した前記オプティカルフローベクトルの水平方向成分の変化に相当するベクトル（図５［Ｂ］を参照。）を前記旋回補正ベクトルとして算出し、
前記補正部は、
前記複数のオプティカルフローベクトルのそれぞれから前記旋回補正ベクトルを減じる（図６のステップ６３０）ことにより前記ベクトル補正を行う、
ように構成されている。

加えて、本検出装置は、
前記補正ベクトル算出部は、
複数の前記一対のベクトルに対し、それぞれの一対のベクトルの水平方向成分の平均である平均ベクトルを求めることにより同平均ベクトルを複数求め（図６のステップ６２０）、そのうち、最も発生頻度の高いベクトルを前記旋回補正ベクトルとして採用する（図６のステップ６２５及び図８）ように構成されている。

本検出装置によれば、車両が旋回している場合であっても同旋回がフローベクトルの水平方向成分へ及ぼす影響を排除したうえで同フローベクトルに基づいて接近物体の特定を精度良く行うことができる。加えて、本検出装置によれば、車両１０の操舵角を検出するためのセンサは不要となる。

以上、本発明に係る車両の接近物体検出装置の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態において、カメラ２０が左側方画像と右側方画像とを撮影していた。しかし、車両１０に配設された２台のカメラのうちの一方のカメラが左側方画像を撮影し、他方のカメラが右側方画像を撮影しても良い。

加えて、本実施形態において、第２画像はカメラ２０によって撮影された最新の画像であり、第１画像はカメラ２０によって第２画像よりも撮影周期Δｔだけ以前に撮影された画像（即ち、第１画像は第２画像の１世代前の画像）であった。しかし、第２画像は最新の画像でなくても良い。更に、第１画像は、第２画像の２世代以上前の画像であっても良い。

加えて、カメラ２０は、車両１０の車体の前端中央部に固定されていた。しかし、カメラ２０は、車両１０の車室内に固定されていても良い。例えば、カメラ２０は、車室内に配設されたルームミラー（不図示）に固定されていても良い。

或いは、カメラ２０は車両１０の車体の後端に固定されても良い。この場合、ＥＣＵ３０は、車両１０が後進する際に車両１０の左側方及び右側方から接近する物体を特定しても良い。

ＥＣＵ３０は、車両１０の運転者による操作によって接近物体検出処理がオン状態となっており且つ車速Ｖｓが速度閾値Ｖｔｈ以下である場合に接近物体検出条件が成立していると判定していた。しかし、ＥＣＵ３０は、車速Ｖｓに依らず、接近物体検出処理がオン状態となっていれば接近物体検出条件が成立していると判定しても良い。

加えて、ＥＣＵ３０は、図６のステップ６１５にて、ブロックマッチング法によりオプティカルフローベクトルを取得していた。ＥＣＵ３０は、他の方法（例えば、勾配法）によりオプティカルフローベクトルを取得しても良い。

加えて、ＥＣＵ３０は、図６のステップ６２５にて最頻値を旋回補正値として採用していた。しかし、ＥＣＵ３０は、最頻値の代わりに平均値又は中央値を旋回補正値として採用しても良い。

車両…１０、カメラ…２０、ＥＣＵ…３０、表示装置…４１、車速センサ…４２。

Claims (5)

1. 車両の車体に固定されるとともに同車体の左側方領域及び右側方領域を含む画像を取得する撮像装置と、
   前記撮像装置により第１時点にて取得された第１画像と、前記撮像装置により前記第１時点よりも所定時間後の第２時点にて取得された第２画像と、に基づいて、前記第１画像及び前記第２画像の双方に撮影されている任意の対象物の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表すオプティカルフローベクトルを複数取得するベクトル取得部と、
   前記オプティカルフローベクトルのうちの一対のベクトルであって、前記左側方領域及び前記右側方領域を含む画像平面における前記車両の直進方向を示す点を通り且つ前記車体の左右水平方向に直交する仮想中心線に対し線対称位置に始点を有する一対のベクトル、の水平方向成分の平均に基づくベクトルを旋回補正ベクトルとして算出する補正ベクトル算出部と、
   前記複数のオプティカルフローベクトルのそれぞれを前記旋回補正ベクトルに基づいて補正することにより補正後ベクトルを複数取得するベクトル補正を行う補正部と、
   前記複数の補正後ベクトルに基づいて前記車両に接近する物体を特定する接近物体特定部と、
   を備えた、車両の接近物体検出装置。
2. 請求項１に記載の接近物体検出装置において、
   前記補正ベクトル算出部は、
   前記第１時点から前記第２時点にかけて発生した前記車両の方向の変化に起因して発生した前記オプティカルフローベクトルの水平方向成分の変化に相当するベクトルを前記旋回補正ベクトルとして算出し、
   前記補正部は、
   前記複数のオプティカルフローベクトルのそれぞれから前記旋回補正ベクトルを減じることにより前記ベクトル補正を行う、
   ように構成された車両の接近物体検出装置。
3. 請求項２に記載の接近物体検出装置において、
   前記補正ベクトル算出部は、
   複数の前記一対のベクトルに対し、それぞれの一対のベクトルの水平方向成分の平均である平均ベクトルを求めることにより同平均ベクトルを複数求め、そのうち、最も発生頻度の高いベクトルを前記旋回補正ベクトルとして採用するように構成された車両の接近物体検出装置。
4. 車両の車体に固定されるとともに同車体の左側方領域及び右側方領域を含む画像を取得する撮像装置と、
   前記撮像装置により第１時点にて取得された第１画像と、前記撮像装置により前記第１時点よりも所定時間後の第２時点にて取得された第２画像と、に基づいて、前記第１画像及び前記第２画像の双方に撮影されている任意の対象物の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表すオプティカルフローベクトルを複数取得するベクトル取得部と、
   前記オプティカルフローベクトルのうちの一対のベクトルであって、前記左側方領域及び前記右側方領域を含む画像平面における無限遠点を通り且つ前記車体の左右水平方向に直交する仮想中心線に対し線対称位置に始点を有する一対のベクトル、の水平方向成分の平均に基づくベクトルを旋回補正ベクトルとして算出する補正ベクトル算出部と、
   前記複数のオプティカルフローベクトルのそれぞれを前記旋回補正ベクトルに基づいて補正することにより補正後ベクトルを複数取得するベクトル補正を行う補正部と、
   前記複数の補正後ベクトルに基づいて前記車両に接近する物体を特定する接近物体特定部と、
   を備えた、車両の接近物体検出装置。
5. 車両の車体に固定された撮像装置によって同車体の左側方領域及び右側方領域を含む画像を取得する撮像工程と、
   前記撮像装置により第１時点にて取得された第１画像と、前記撮像装置により前記第１時点よりも所定時間後の第２時点にて取得された第２画像と、に基づいて、前記第１画像及び前記第２画像の双方に撮影されている任意の対象物の、前記第１時点における始点、前記第１時点から前記第２時点までの移動量及び移動方向を表すオプティカルフローベクトルを複数取得するベクトル取得工程と、
   前記オプティカルフローベクトルのうちの一対のベクトルであって、前記左側方領域及び前記右側方領域を含む画像平面における無限遠点を通り且つ前記車体の左右水平方向に直交する仮想中心線に対し線対称位置に始点を有する一対のベクトル、の水平方向成分の平均に基づくベクトルを旋回補正ベクトルとして算出する補正ベクトル算出工程と、
   前記複数のオプティカルフローベクトルのそれぞれを前記旋回補正ベクトルに基づいて補正することにより補正後ベクトルを複数取得するベクトル補正を行う補正工程と、
   前記複数の補正後ベクトルに基づいて前記車両に接近する物体を特定する接近物体特定工程と、
   を備えた、車両の接近物体検出方法。
   

Images