JP2006215642A - 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体 - Google Patents

Abstract

【課題】 高度な演算処理を多く必要とせず、リアルタイムに高精度で、自移動体の移動方向の移動方向の変化に応じて自移動体に接近する他移動体の検出感度を自動調整して、自移動体周辺の他移動体を検知する。
【解決手段】 移動体周辺監視装置１Ａは、撮像手段２により撮像された画像データに対し、フレーム画像の水平方向に平行で、かつ、横長帯状の特定領域を設定する設定手段３１と、自移動体の移動方向を検知して移動方向情報を出力する自移動体移動方向検知手段１１と、撮像手段２により時系列に撮像された一または複数フレーム画像毎に、特定領域の画像データを取り込んで移動ベクトル情報を抽出し、自移動体移動方向検知手段１１からの移動方向情報に基づいて移動ベクトル情報の検出感度を調整して他移動体接近情報として抽出する画像処理手段３２Ａと、この他移動体接近情報に基づいて自移動体の周辺に存在する他移動体を検知する検知手段３５とを有する。
【選択図】 図１

Description

本発明は、有人または無人の移動体、例えば船や車両（２輪車などのオートバイや自転車または４輪車などの自動車や電車などの乗り物）、人間などの移動時に安全監視などを行うために用いられ、例えば移動体（自移動体）が左右に移動するときなどに、その周辺に他の移動体（他移動体）が存在して両者が接触や衝突する危険性がある場合などに、移動体に関わる人に警報などにより、他移動体の接近による危険を報知して安全確認を支援するために用いられる移動体周辺監視装置、これを用いた移動体周辺監視方法、これをコンピュータに実行させるための制御プログラムおよびこれが記録されたコンピュータ読み取り可能な可読記録媒体に関する。

近年、移動体の事故、例えば、自動車の衝突事故などの交通事故の増大は、大きな社会問題となっている。特に、自動車の車線変更など左右への移動時、右折時や左折時などに起こる接触事故や衝突事故は、自動車の運転者が注意しているにも関わらず、しばしば起こっている。この接触事故や衝突事故は、自動車の運転者らが、特に、自車両（自移動体）の移動方向に対して後側方を、サイドミラーなどによって充分確認しきれていないことや、サイドミラーなどに映らない、いわゆる死角部分に他車両（他移動体）が存在することなどにより、事故が多発していると考えられる。

このような交通事故を防止するために、例えば特許文献１には、自車両に搭載したカメラから後方を撮影し、その撮影画像から他車両の存在を検出して、車線変更など左右の移動時、右折や左折時に、後側方から来る他車両に対して接触や衝突の危険性がある場合に、自車両の運転者に警報を発して他車両の接近を報知する報知手段を備えた移動体の衝突防止装置が開示されている。

この移動体の衝突防止装置では、撮像手段にて時系列に撮像された複数フレームの各画像に対して、走行中の道路に存在する白線や道路の稜線を構成する直線エッジとその交点である消失点（無限遠点）が検出される。これらの白線や稜線、消失点の位置情報を基にして検知領域が限定され、この検知領域を分割した小領域（ブロック）の各フレーム画像間における物体移動量が、オプティカルフローと称される手法により算出される。この場合の検知領域は、図１２に点斜線で示す画面の半分程度の画像領域Ｅである。このようにして算出された画像領域Ｅでの他車両の移動量の情報は、自車両の後側方から急速に接近する例えば追い越し車両（他車両）の検出などに用いられる。
特開２０００−２８５２４５号公報

しかしながら、上記特許文献１に開示されている従来の移動体の衝突防止装置には、以下のような問題がある。

即ち、自車両走行中に、車線を確認するために白線検出を行ったり、他車両の移動方向を求めるために消失点を求めたりしており、さらに、検知領域（画像領域Ｅ）を分割した各ブロックなどがどのように移動しているかを確認するためにオプティカルフローを用いているため、高度な演算処理が必要である。また、このような演算処理の質の面もさる事ながら、検知領域として、図１２に点斜線で示す画面の半分程度の大きな画像領域Ｅが設定されており、演算処理量も非常に多い。

このように、演算処理量が多いためにリアルタイムに処理を行うことができず、これを補うために、時間経過に伴う移動量を算出して予測する方法などが利用されている。このため、他車両の移動方向を正確に検知することができず、誤りが発生し易くなる。さらに、道路状況によっては、白線が存在せず、物体の移動量を算出することができないなどの問題もあり、実用的ではなかった。

そこで、これらの上記問題を解決するために、本願出願人は、特願２００４−０３１４３３号において、検知領域（画像領域Ｅ）を小さくし、さらに白線検出や消失点追跡を行わないことにより、高度な演算処理を多量に行わずに移動体周辺の監視を行うことが可能な手法を提案している。

以下に、特願２００４−０３１４３３号の実施形態における移動体周辺監視装置およびこれを用いた移動体周辺監視方法について、図面を参照しながら詳細に説明する。

図１３は、特願２００４−０３１４３３号の実施形態における移動体周辺監視装置の要部構成例を示すブロック図であり、図１４は、図１３の移動体周辺監視装置を自動車に取り付けた場合の取り付け例をその周囲と共に模式的に示す上面図である。

図１３に示すように、移動体周辺監視装置１は、自動車周辺の画像を撮像する撮像手段２と、自動車周辺の撮像画像に基づいて、詳細に後述する他移動体の接近による危険を検知するための警報検知演算処理を行う演算処理部３と、演算処理部３からの警報検知情報により、関係する人（運転者）に警報を報知する変化通知手段４とを有している。

撮像手段２は、アナログ出力カメラやデジタル出力カメラなどのカメラであって、この撮像手段２により自動車周辺の画像が撮像される。図１４では、撮像手段２は、撮像装置として、自移動体５の後側方を撮像可能な側方位置（サイドミラーまたはドアミラーの上部または下部）に取り付けられており、図１４に点斜線で示す撮像領域Ａである後側方範囲の画像が撮像される。他移動体６は、自移動体５に左後方から接近している他の自動車を示している。撮像手段２がアナログ出力カメラの場合には、演算処理部３に画像データが入力される前に、図示しないＡＤ変換機によってアナログ画像信号がデジタル画像信号に変換される。

演算処理部３は、特定領域設定手段３１と、画像処理手段３２と、記憶手段３３と、変化検知閾値設定手段３４と、変化検知手３５とを備え、撮像手段２で撮像された画像データから、自移動体５の周辺に存在する他移動体６を検知するための演算処理を行う。

特定領域設定手段３１は、撮像手段２で撮像された画像面に対して充分に小さい特定領域が設定される。この特定領域は、画像処理手段３２および変化検知手段３５で自移動体５の周辺に存在して自移動体５との相対的な移動状態（距離関係）が変化する他移動体６を検知する処理が行われる領域（検知領域）であり、撮像手段２で撮像された画像に対して、フレーム画像の水平方向に平行でかつ、横長で矩形状（帯状）の領域として設定されている。このように、水平方向に細長い帯状の特定領域を設定する理由は、演算処理量を大幅に減らしてリアルタイムでかつ有効な演算処理を可能にするためである。

画像処理手段３２は、撮像手段２で時系列に撮像された複数フレーム画像の各画像毎に、特定領域設定手段３１で設定した特定領域の画像データを撮像手段２から取り込み、この取り込んだ特定領域の画像データを基に、後述する抽出処理により移動ベクトル情報を抽出する。この移動ベクトル情報の抽出処理については、図１５および図１６を用いて詳細に後述する。

記憶手段３３は、画像処理手段３２による抽出処理結果を一時的に記憶する。この記憶手段３３のメモリ構成は、例えば図１７のメモリ構成例に示すように、前画面データ格納領域３３１、現画面データ格納領域３３２および移動ベクトル格納領域３３３を有している。このうち、前画面データ格納領域３３１と現画面データ格納領域３３２とは、メモリアドレスの切り替えにより１画面毎に切り替えられる。

変化検知閾値設定手段３４は、自移動体５と他移動体６との相対的な移動状態を判定（危険かどうかの判定）するための判定閾値としての変化検知閾値を設定する。

変化検知手段３５は、画像処理手段３２で抽出されて記憶手段３３に記憶された移動ベクトル情報を基に、後述する処理によって自移動体５の周辺に存在する他移動体６を検知し、変化検知閾値設定手段３４で設定された判定閾値によって、自移動体５と他移動体６との相対的な移動状態（距離関係）が危険かどうかを判定する。自移動体５と他移動体６との相対的な移動状態（距離関係）が判定閾値を越えた場合には、この変化検知手段３５による判定結果として警報検知情報を変化通知手段４に出力する。この自移動体５と他移動体６との相対的な移動状態の検知処理については、図１８を用いて詳細に後述する。

変化通知手段４は、変化検知手段３５で検出された自移動体５と他移動体６との相対的な移動状態、例えば他移動体６が自移動体５に接近し過ぎて衝突の危険性がある場合（危険判定閾値を越えた場合）などに出力される警報検知情報に基づいて警報音発生や警報表示などを行って、危険を自移動体５の運転者などに報知する。

これらの演算処理部３および変化通知手段４は、図１４で示す移動体検知装置１０としてワンパッケージ化されて自動車の運転席側の前方部分に収容され、これによって、運転者が容易に警報（音や表示）を確認できるようになっている。

以下に、上記構成の移動体周辺監視装置１を用いて行う移動体周辺監視方法について説明する。

図１５（ａ）は、図１３の撮像手段２で撮像された自移動体５の周辺撮像画像を模式的に示すイメージ図、図１５（ｂ）は、図１５（ａ）のｔ時間後（フレーム期間；前フレームと後フレーム間の時間）に撮像手段２で撮像された自移動体５の周辺撮像画像を模式的に示すイメージ図である。

図１５（ａ）および図１５（ｂ）に示すように、自移動体５から後側方側が撮像手段２で撮像されており、他移動体６が自移動体５に後側方から接近して来る場合を示している。

特定領域７は、特定領域設定手段３１で設定される撮像画像の変化状態をチェックするための画像領域である。この特定領域７は、撮像手段２で撮像された画像に対して、フレーム画像の水平方向に平行でかつ、横長で矩形状（帯状）の画像領域になっており、自移動体５の撮像画像が含まれず、他移動体６の撮像画像の少なくとも一部が含まれるように設定されている。

この特定領域７に対して、画像処理手段３２および変化検知手段３５による各処理が行われて、他移動体６と自移動体５との危険判定のための相対的な移動状態（距離関係）が検知される。

図１５（ａ）および図１５（ｂ）において、例えば電柱８などのような道路際で動かない物体は、ｔ時間後には矢印Ｂで示す右方向に移動したように撮像される。これに対して、例えば他移動体６などのように自移動体５に後側方から接近してくる物体は、他移動体６の左端（図１５では向かって右端）の位置９のように、t時間後には矢印Ｃで示すように左方向に移動したように撮像される。したがって、自移動体５に接近してくる物体（他移動体６）と、固定化されて動かない物体（電柱８）とでは、特定領域７上での移動方向（移動ベクトル）が逆方向で異なる。よって、この移動ベクトルを用いれば、消失点や白線などを求めたり、オプティカルフローなどの高度の演算処理を用いることなく、自移動体５と他移動体６との相対的な移動状態（位置関係；距離関係）を正確に検知して、自移動体５に接近してくる他移動体６を検知することが可能になる。

次に、図１３の画像処理手段３２による移動ベクトル情報の抽出処理例について、図１６を用いて詳細に説明する。

図１６は、図１３の画像処理手段３２による移動ベクトル情報の抽出処理例を説明するためのフローチャートである。

図１６に示すように、まず、ステップＳ１では、撮像手段２で撮像された画像に対して、特定領域設定手段３１で特定領域７が設定される。この特定領域７は、図１５（ａ）および図１５（ｂ）で示すように、フレーム画像の水平方向に平行でかつ、横長の矩形状（帯状）に設定されている。また、特定領域７の左右の位置については、自移動体５の撮像画像を含まず、他移動体６の撮像画像の少なくとも一部が含まれるように設定される。

ステップＳ２では、撮像手段２で撮像された画像データのうち、設定された特定領域７に対応する画像データが画像処理手段３２に取り込まれる。

ステップＳ３では、特定領域７において移動ベクトルを求めるために、特定領域７を複数の領域に分割し、各分割領域毎に画像データ値の合算値が算出される。合算される画像データとしては例えば輝度信号を用いることができるが、その他のＲ、Ｇ、Ｂ、Ｙ、ＵおよびＶのいずれかの色信号であってもよく、全ての色信号などであってもよい。また、特定領域７の分割数は、画像処理手段３２の演算能力に応じて多数に分割してもよいが、ノイズなどによる誤り検知を防ぐためには、各分割領域のサイズは８画素×８画素以上であることが望ましい。

ステップＳ４では、各分割領域毎の合算値が、図１７に示す記憶手段３３の現画面データ格納領域３３２に各分割領域毎に保存される。

ステップＳ５では、ｔ時間前に各分割領域毎に記憶手段３３に保存された合算値データが、図１７に示す記憶手段３３の前画面データ格納領域３３１から読み出される。

ステップＳ６では、現画面データと前画面データとが比較され、現画面データの各分割領域（現画像位置）に対して、合算値の差分が最小となる前画面データの分割領域が抽出される。前画面データにおいて、現画面データのある分割領域に対して合算値の差分が最小となる分割領域は、ｔ時間前にその分割領域が存在した位置と考えることができる。なお、ここではｔ時間前を前画面としているが、数画面前をｔ時間前としてもよい。

ステップＳ７では、ステップＳ６で抽出された領域の前画像位置と現画像位置との位置関係が左右のいずれであるかどうかが判断される。上記抽出領域の画像位置が現画像位置よりも左（ステップＳ７では「ＹＥＳ」）の場合にはステップＳ８の処理に進み、また、上記抽出領域の画像位置が現画像位置よりも右（ステップＳ７で「ＮＯ」）の場合にはステップＳ９の処理に進む。

ステップＳ８では、左への移動が図１６に示す記憶手段３３の移動ベクトル格納領域３３３に各分割領域毎に保存される。

ステップＳ９では、右への移動が図１６に示す記憶手段３３の移動ベクトル格納領域３３３に各分割領域毎に保存される。

図１５（ａ）および図１５（ｂ）を用いて説明したように、左への移動は自移動体５に接近してくる物体（他移動体６）などであり、右への移動は自移動体５から遠ざかる物体または固定されて動かない物体（電柱８）などである。なお、ここでは移動ベクトル情報として、左右のベクトル方向のみを抽出しているが、移動ベクトル量を用いれば、他移動体６と自移動体５との相対速度も求めることができる。

ステップＳ１０では、処理終了指令が運転者から入力されたかどうかが判断され、処理終了指令が運転者から入力されるまで、上記ステップＳ２〜Ｓ９の各処理が順次繰り返される。処理終了指令が運転者から入力されれば（ＹＥＳ）、処理が終了する。

次に、変化検知手段３５による自移動体５と他移動体６との危険反対のための相対的な移動状態（距離関係）の検知処理について、図１８を用いて詳細に説明する。

図１８は、図１３の変化検知手段３５による自移動体５と他移動体６との相対的な移動状態の検知処理例を説明するためのフローチャートである。

図１８に示すように、まず、ステップＳ１１では、変化検知閾値設定手段３４に変化検知閾値（危険判定閾値）が設定される。この変化検知閾値は、他移動体６の大きさおよび位置などから、変化検知閾値設定手段３４に予め設定されている。通常は、他移動体６の大きさおよび距離などから、分割された特定領域数の半分程度に設定されるのが好ましい。

ステップＳ１２では、画像処理手段３２により記憶手段３３の移動ベクトル格納領域３３３に書き込まれた移動ベクトル情報が変化検知手段３５に読み出される。

ステップＳ１３では、この読み出された移動ベクトル情報が左右のいずれであるかが判断される。移動ベクトル情報が左（ステップＳ１３で「ＹＥＳ」）の場合にはステップＳ１４の処理に進み、ステップＳ１４で左移動ベクトル数が加算される。また、移動ベクトル情報が右（ステップＳ１３で「ＮＯ」）の場合にはステップＳ１５の処理に進む。

ステップＳ１５では、ステップＳ１２〜Ｓ１４までの各処理が全分割領域に対して行われるまで繰り返され、これによりｔ時間前から現在までの左移動ベクトル数（左移動ベクトル数の加算値）が算出される。なお、ここでは、左移動ベクトル数を算出しているが、この場合とは逆に、撮像手段２が自移動体５の左側に設置されている場合には、右方向への移動ベクトルが自移動体５と他移動体６との接近を示すことになるため、右方向の移動ベクトル数が算出される。

ステップＳ１６では、算出された左移動ベクトル数（加算値）がステップＳ１１で設定された危険判定閾値よりも大きい場合に、自移動体５に接近する他移動体６が存在すると判定される。

ステップＳ１７では、変化通知手段４で警報音や警報表示などにより自移動体５の運転者に、他移動体６の接近による危険が報知され、危険に対する注意が促される。なお、ここでは、自移動体５に接近する他移動体６が存在する場合に衝突などの危険性があるとして警報音や警報表示などを危険時に出力するが、これらをその前段階の安全時に出力するようにしてもよい。さらに、音声や、映像および光などの表示以外の振動や熱などによって警報を報知するようにしてもよい。このような危険報知により、運転者は自移動体５と他移動体６との接触や衝突の危険性を察知することができ、車両同士の接触や衝突などを未然に回避できる。また、ここでは、変化通知先（警報報知先）を自移動体５の運転者としているが、これに加えて、他移動体６の運転者に対して行ってもよく、それ以外の外部（周囲）に報知するようにしてもよい。

ステップＳ１８では、処理終了指令が運転者から入力されたかどうかが判断され、処理終了指令が運転者から入力されるまで、上記ステップＳ１２〜Ｓ１７の各処理が順次繰り返される。処理終了指令が運転者から入力されれば（ＹＥＳ）、処理が終了する。

以上により、移動体周辺監視装置１および、これを用いた移動体周辺監視方法によれば、撮像手段２で撮像された画像データに対して、特定領域設定手段３１により、フレーム画像の水平方向に平行でかつ横長で矩形状の特定領域７を設定する。画像処理手段３２により、複数のフレーム画像毎に特定領域７の画像データを取り出し、取り出された画像データから移動ベクトルを抽出する。さらに、変化検知手段３５では、移動ベクトル情報のうち、所定方向のベクトル値を加算した値が、変化検知閾値設定手段３４で設定した閾値よりも大きい場合に他移動体６が自移動体５に接近し過ぎて危険であると判定し、変化通知手段４を介して警報発音や警報表示などを行って運転者に危険を通知して注意を促すことができる。これによって、従来のように高度な演算処理や大量の演算処理量を必要とせず、リアルタイムに自移動体５の周囲に存在する他移動体６を精度良く確実に検出して、接触事故や衝突事故などの危険性がある場合に、これを運転者などに警報を報知し、危険を未然に回避することができる。

しかしながら、上記特願２００４−０３１４３３号による移動体周辺監視装置およびこれを用いた移動体周辺監視方法には、以下のような問題がある。

図１５に示すイメージ図を上方から見た図を図１９に示す。図１９は、道路が直線であることを仮定して描かれている。図１９では、図１５（ａ）に示す自移動体５、他移動体６および電柱８を、図１５（ａ）と同じ符号５、６および８で示している。また、図１９では、図１５（ａ）からｔ時間後の図１５（ｂ）における自移動体５および他移動体６を、それぞれ、５’および６’で示している。なお、電柱８は、位置固定物体であるため、ｔ時間経過後も移動しない。

移動ベクトル情報の抽出は、自移動体５に固定された投影面に他移動体６や周辺の位置固定物（例えば電柱８）を投影し、投影位置の左右の移動を観測することに相当する。図１５に示す電柱８の移動ベクトルＢおよび他移動体６の移動ベクトルＣは、図１９ではｔ時間後の投影面上に同じ符号で示す移動ベクトルＢおよびＣに対応する。

図１５（ａ）の時刻（前画像）において、自移動体５から他移動体６を見たときの角度をα、ｔ時間後の図１５（ｂ）の時刻（現画像）において、自移動体５’から他移動体６’を見たときの角度をβとすると、他移動体６が接近している場合、α＜βの関係が成り立つ。即ち、左移動ベクトルが検出されれば、自移動体５に接近している物体（他移動体６）が存在していることが判る。

一方、自移動体５が直進していない場合、例えば直線道路から右カーブに差し掛かった場合を仮定したときに、上方から見た図を図２０に示す。図２０では、自移動体５および他移動体６共に直進しており、そのｔ時間後に自移動体５’は右カーブに差し掛かり、他移動体６’は直進を続けている場合を示している。

図１９のように自移動体５が直進している場合、ｔ時間の経過前後で投影面は並行であるが、図２０のように自移動体５が右カーブに差し掛かった場合、投影面が傾くため、投影面に投影された他移動体６の位置が直進の場合とは異なる。

図２０の場合、ｔ時刻経過前（前画像）に自移動体５から他移動体６を見たときの角度をα、ｔ時間経過後（現画像）に自移動体５’から他移動体６’を見たときの角度をβとすると、α＜βの関係が成り立ち、左移動ベクトルが検出されたとしても、他移動体６が自移動体５に接近しているかどうかを判断することができない。

これと同様に、自移動体５が直線道路から左カーブに差し掛かった場合に、α＞βの関係が成り立ち、右移動ベクトルが検出されたとしても、他移動体６が自移動体５に接近している場合もあり得ることになる。

このように、上記した本出願人の特願２００４−０３１４３３号では、左移動ベクトルを検出して自移動体５に接近する他移動体６の有無を判断していたが、これは、自移動体５と他移動体６が共に直進している場合、または、同じ曲率でカーブを移動中である場合に限って有効であり、カーブへの進入時やカーブの曲率自体が変化している場合は、接近してくる他移動体６を必ずしも正しく検出することができないという問題がある。

本発明は、上記課題を解決するもので、高度な演算処理を多く必要とせず、リアルタイムに高精度で自移動体周辺の他移動体を検知することが可能で、さらに、自移動体の移動方向を検知することにより、自移動体の移動方向の変化に応じて自移動体に接近する他移動体の検出感度を自動調整して、容易に検知できなかった危険を検知できる移動体周辺監視装置、これを用いた移動体周辺監視方法、これをコンピュータに実行させるための制御プログラムおよびこれが記録されたコンピュータ読み取り可能な可読記録媒体を提供することを目的とする。

本発明の移動体周辺監視装置は、自移動体周辺の画像を撮像する撮像手段と、該撮像手段により撮像された画像データに対して、フレーム画像の水平方向に平行で、かつ、横長帯状の特定領域を設定する特定領域設定手段と、該自移動体の移動方向を検知して移動方向情報を出力する自移動体移動方向検知手段と、該撮像手段により時系列に撮像された一または複数フレーム画像毎に、該特定領域の画像データを取り込んで、該移動方向情報に基づいて検出感度を調整して他移動体に関する移動ベクトル情報を抽出する移動ベクトル情報抽出手段と、該移動ベクトル情報に基づいて該自移動体の周辺に存在する該他移動体の移動状態を検知する変化検知手段とを有し、そのことにより上記目的が達成される。

また、好ましくは、本発明の移動体周辺監視装置における撮像手段は、前記自移動体の後側方を撮像可能な位置に取り付けられている。

さらに、好ましくは、本発明の移動体周辺監視装置における撮像手段は、前記自移動体が車両である場合に、運転席側および運転席とは反対側の少なくとも一方のサイドミラーまたはドアミラーに取り付けられている。

さらに、好ましくは、本発明の移動体周辺監視装置における特定領域設定手段は、前記自移動体の撮像画像を含まず、前記他移動体の撮像画像の少なくとも一部が含まれるように、前記撮像された画像データに前記特定領域を設定する。

さらに、好ましくは、本発明の移動体周辺監視装置における自移動体移動方向検知手段は、前記自移動体の進行方向制御手段が操作されたときの操作方向に応じた移動方向情報を該自移動体の移動方向として検知する。

さらに、好ましくは、本発明の移動体周辺監視装置における進行方向制御手段がハンドルである場合、該ハンドルの操作角度情報は、該ハンドルを右に切るときを正方向、該ハンドルを左に切るときを負方向として操作角度に応じて増減するように構成されている。

さらに、好ましくは、本発明の移動体周辺監視装置における移動ベクトル情報は、前記自移動体の周辺に存在する前記他移動体の移動状態を示す移動量および方向情報である。

さらに、好ましくは、本発明の移動体周辺監視装置における移動ベクトル情報抽出手段は、前記特定領域を複数に分割した各分割領域に対してそれぞれ、現在の画像データの合算値とｔ（ｔ＞０）時間前の前画像データの合算値とを比較してその差分値が最小となる両分割領域を抽出し、該抽出された前画像データの分割領域の位置をｔ時間前の現画像データの位置と判断して、該抽出された両分割領域の前画像データと現画像データとの位置関係を前記移動ベクトル情報の移動量として抽出すると共に、前記移動方向情報に基づいて前記移動ベクトル情報の方向情報を抽出する。

さらに、好ましくは、本発明の移動体周辺監視装置における移動ベクトル情報抽出手段は、前記抽出された両分割領域の位置関係に基づいて、該分割領域の現画像データが該分割領域の前画像データに対して左に移動しているか、または右に移動しているかを判定して前記移動ベクトル情報の方向情報を抽出する際の感度設定閾値を、前記移動方向情報に応じて大きくするかまたは小さくして、前記移動ベクトルの移動量と感度設定閾値を比較し、該移動ベクトルの移動量が該感度設定閾値以上である場合に前記自移動体に対して前記他移動体が接近していると判定した該移動ベクトル情報の方向情報を抽出する。

さらに、好ましくは、本発明の移動体周辺監視装置における移動ベクトル情報抽出手段は、撮像されたフレーム画像の画像データのうち、取り込んだ前記特定領域の画像データを複数の分割領域に分割する分割手段と、分割した分割領域毎に画像データ値の合算値を算出する合算値算出手段と、該現画像データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画像データの分割領域を抽出する分割領域抽出手段と、抽出された前画像データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右のいずれにあるかを前記移動方向情報に基づいて判断する左右判断手段と、前記移動ベクトル情報の方向情報として、左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報とする移動ベクトル情報決定手段とを有する。

さらに、好ましくは、本発明の移動体周辺監視装置における左右判断手段は、前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定手段と、該操作角度が増加している場合に、前記移動ベクトル情報の移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を大きくして該移動ベクトル情報の検出感度を弱くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは小さくして該移動ベクトル情報の検出感度を変化させないかまたは強くする検出感度制御手段と、該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定手段とを有する。

さらに、好ましくは、本発明の移動体周辺監視装置における左右判断手段は、前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定手段と、該操作角度が増加している場合に、前記移動ベクトル情報の移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を小さくして該移動ベクトル情報の検出感度を強くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは大きくして該移動ベクトル情報の検出感度を変化させないかまたは弱くする検出感度制御手段と、該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定手段とを有する。

さらに、好ましくは、本発明の移動体周辺監視装置における変化検知手段は、前記移動ベクトル情報に基づいて、前記自移動体と前記他移動体との相対的な移動状態を検知する。

さらに、好ましくは、本発明の移動体周辺監視装置における変化検知手段は、前記特定領域を複数に分割した各分割領域毎に前記移動ベクトル情報を読み出し、読み出した移動ベクトル情報のうち、所定方向情報の移動量のベクトル数を加算した加算値が所定の判定閾値よりも大きい場合に、前記自移動体に危険接近する前記他移動体が存在すると検知する。

さらに、好ましくは、本発明の移動体周辺監視装置における変化検知手段は、前記撮像手段が前記自移動体の右側に設置されている場合に前記方向情報として左方向のベクトル数を算出し、該撮像手段が該自移動体の左側に設置されている場合には該方向情報として右方向のベクトル数を算出する。

さらに、好ましくは、本発明の移動体周辺監視装置において、前記変化検知手段が検出した前記自移動体と前記他移動体との相対的な移動状態に応じて警報出力する変化通知手段をさらに有する。

さらに、好ましくは、本発明の移動体周辺監視装置において、前記移動ベクトル情報抽出手段の抽出結果を一時的に記憶する記憶手段をさらに有し、前記変化検知手段は、該記憶手段から該移動ベクトル情報抽出手段の抽出結果を読み出して前記変化検知処理に用いる。

本発明の移動体周辺監視方法は、自移動体周辺の画像データを時系列にフレーム画像として撮像手段に撮像させる撮像ステップと、撮像した一または複数のフレーム画像毎に、該フレーム画像の水方向に平行で、かつ、横長帯状の特定領域を設定する設定ステップと、該自移動体の移動方向を検知して移動方向情報を出力する自移動体移動方向検知ステップと、該撮像した一または複数のフレーム画像毎に、該特定領域の画像データを取り込み、該取り込んだ該特定領域の画像データと該移動方向情報とに基づいて他移動体に関する移動ベクトル情報を抽出する移動ベクトル情報抽出ステップと、該移動ベクトル情報に基づいて該自移動体の周辺に存在する該他移動体の移動状態を検知する変化検知ステップとを、 コンピュータが制御プログラムおよびそのデータを用いて実行するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の移動体周辺監視方法における移動ベクトル情報抽出ステップは、撮像されたフレーム画像の画像データのうち、取り込んだ前記特定領域の画像データを複数の分割領域に分割する分割ステップと、分割した分割領域毎に画像データ値の合算値を算出する合算値算出ステップと、該現画像データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画像データの分割領域を抽出する分割領域抽出ステップと、抽出された前画像データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右いずれにあるかを移動方向情報に基づいて判断する左右判断ステップと、前記移動ベクトル情報の方向情報として、左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報とする移動ベクトル情報決定ステップとを有する。

さらに、好ましくは、本発明の移動体周辺監視方法における左右判断ステップは、前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定ステップと、該操作角度が増加している場合に、前記移動ベクトルの移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を大きくして該移動ベクトル情報の検出感度を弱くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは小さくして該移動ベクトル情報の検出感度を変化させないかまたは強くする検出感度制御ステップと、該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定ステップとを有する。

さらに、好ましくは、本発明の移動体周辺監視方法における左右判断ステップは、前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定ステップと、該操作角度が増加している場合に、前記移動ベクトル情報の移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を小さくして該移動ベクトル情報の検出感度を強くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは大きくして該移動ベクトル情報の検出感度を変化させないかまたは弱くする検出感度制御ステップと、該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定ステップとを有する。

本発明の制御プログラムは、請求項１８〜２１のいずれかに記載の移動体周辺監視方法の各ステップをコンピュータに実行させるためのものであって、そのことにより上記目的が達成される。

本発明の可読記録媒体は、請求項２２に記載の上記制御プログラムが記録されたコンピュータ読み取り可能なでものあって、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用を説明する。

本発明にあっては、検知範囲を特定領域に限定し、かつ、従来のように消失点や白線などを求めたり、オプティカルフローなどの手法を用いる高度な演算処理ではなく、フレーム画像間の前後の各特定領域における画像データを基に移動ベクトル情報を抽出し、その移動ベクトル情報の検知感度を自移動体の移動方向の変化に応じて調整して、他移動体接近情報として抽出する。この他移動体接近情報から、自移動体周辺（例えば後側方）に存在する他移動体を検知することが可能となる。

これによって、高度な演算処理が不要であり、より少ない演算処理量により、自移動体と他移動体との相対的な移動状態を検知することが可能となる。このため、高速処理可能な高価なＣＰＵなどを用いることなく、移動体周辺監視装置を安価に作製することが可能である。このように、演算処理量が少なく、リアルタイム（高速）に演算処理することができるため、時間経過に伴う移動量の算出および予測が不要であり、検知精度を一層向上させることが可能となる。

また、複数のフレーム画像間で、フレーム画像の水平方向に平行で、かつ、横長帯状の各特定領域における画像データを基に検知処理を行って演算処理を簡略化することにより、ノイズなどによる誤りを減らすことが可能であり、検知精度をさらに向上させることが可能となる。

さらに、移動ベクトル情報の検知感度を自移動体の移動方向情報を用いて調整することによって、自移動体と他移動体が共に直進している場合、または同じ曲率でカーブを移動中である場合に限らず、カーブへの進入時やカーブの曲率自体が変化している場合にも、自移動体周辺に接近してくる他移動体を正しく検出して、危険を検知することが可能となる。

以上により、本発明によれば、自移動体の移動方向を検知することにより、自移動体の移動方向に応じて、自移動体に接近する他移動体の検出感度を自動調整して、検知精度を向上させることができる。

自移動体の周辺を監視して、自移動体の動作（左右への移動、右折や左折など）時に移動方向（例えば後側方）に他移動体が存在しないかということをカメラなどの撮像手段で撮像し、衝突の危険性がある場合には警報を発することにより関係者（運転者）に報知することができるため、目視確認を含めた確認漏れなどによる接触防止や衝突防止に有効である。

以下に、本発明の移動体周辺監視装置およびこれを用いた移動体周辺監視方法の実施形態１，２を、自動車に適用した場合について、図面を参照しながら詳細に説明する。

なお、以下では、移動体の例として自動車を用いて説明するが、本発明は自動車に限らず、有人または無人の移動体、例えば船や車両（２輪車などのオートバイや自転車または４輪車などの自動車や電車などの乗り物を含む）、さらには人間であってもよい。
（実施形態１）
図１は、本発明の移動体周辺監視装置の実施形態１における要部構成例を示すブロック図であり、図２は、図１の移動体周辺監視装置を自動車に取り付けた場合の取り付け例をその周囲と共に模式的に示す上面図である。これらの図１および図２において、本出願人の特願２００４−０３１４３３号の図１３および図１４と同じ機能を有する構成部材については、同じ符号を付している。

図１に示すように、本実施形態１の移動体周辺監視装置１Ａは、自移動体の移動方向を検知する自移動体移動方向検知手段１１と、自動車周辺の画像を撮像する撮像手段２と、撮像手段２で撮像した自動車周辺の撮像画像および、自移動体移動方向検知手段１１で検知した自移動体移動方向情報に基づいて、詳細に後述する他移動体の接近による危険を検知するための警報検知演算処理を行う演算処理部３Ａと、この演算処理部３Ａからの警報検知情報により、関係する人（運転者）に警報を報知する変化通知手段４とを有している。

自移動体移動方向検知手段１１は、図２に示すように、自移動体５の進行方向制御手段としてのハンドルを操作したときの操舵角情報（操作角度情報）によって自移動体５の移動方向（操作方向）を検知し、この検知した移動方向（操作方向）に応じた自移動体５の移動方向情報を画像処理手段３２に出力する。このハンドルの操作角度情報は、ハンドルを右に切るときを正方向、ハンドルを左に切るときを負方向として操作角度に応じて増減するように構成されている。

撮像手段２は、アナログ出力カメラやデジタル出力カメラなどのカメラであって、この撮像手段２により自動車周辺の画像が撮像される。図２では、撮像手段２は、撮像装置として、自移動体５の後側方を撮像可能な側方位置（サイドミラーまたはドアミラーの上部または下部）に取り付けられており、図２に黒色の撮像領域Ａで示す左側の後側方範囲（自動車周辺）の画像が撮像される。他移動体６は、自移動体５に左後方から接近している他の自動車を示している。撮像手段２がアナログ出力カメラの場合には、演算処理部３に画像データが入力される前に、図示しないＡＤ変換器によってアナログ画像信号がデジタル画像信号に変換される。

演算処理部３Ａは、特定領域設定手段３１と、移動ベクトル情報抽出手段としての画像処理手段３２Ａと、記憶手段３３と、変化検知閾値設定手段３４と、変化検知手３５とを備え、撮像手段２で撮像された画像データから設定特定領域の画像データを取り込んで、自移動体移動方向検知手段１１で検知した自移動体５の移動方向情報に基づいて検出感度を調整して、自移動体５の周辺に存在する他移動体６の移動状態を示す移動ベクトル情報を検知するための演算処理を行う。

特定領域設定手段３１は、撮像手段２で撮像された画像面に対して充分に小さい特定領域７が設定される。この特定領域７（図１５（ａ）参照）は、画像処理手段３２および変化検知手段３５で自移動体５の周辺に存在して自移動体５と他移動体６との相対的な移動状態（接近の有無と距離関係）が変化する他移動体６を検知する処理が行われる検知領域であり、撮像手段２で撮像された画像に対して、フレーム画像の水平方向に平行でかつ、横長で矩形状（横長帯状）の領域として設定されている。このように特定領域７を設定する理由は、演算処理量を大幅に減らしてリアルタイムでかつ有効な演算処理を可能にするためである。

画像処理手段３２Ａは、撮像手段２で時系列に撮像された一または複数フレーム画像の各画像毎に、特定領域設定手段３１で設定した特定領域７の画像データを撮像手段２から取り込み、この取り込んだ特定領域７の画像データを基に、詳細に後述する移動ベクトル抽出処理により移動ベクトル情報を抽出する。このとき、自移動体移動方向検知手段１１から入力される自移動体５の移動方向情報に基づいて、移動ベクトル情報の検出感度を調整し、その移動ベクトル抽出結果の移動ベクトル情報を他移動体６の接近情報（危険判定情報）として出力する。この移動ベクトル抽出処理については、図７を用いて詳細に後述する。

記憶手段３３は、画像処理手段３２Ａによる移動ベクトル抽出処理結果を一時的に記憶する。この記憶手段３３のメモリ構成は、上記特願２００４−０３１４３３号のメモリ構成例である図１７の場合と同様の構成である。即ち、図１７に示すように、記憶手段３３は、前画面データ格納領域３３１、現画面データ格納領域３３２および移動ベクトル格納領域３３３を有している。このうち、前画面データ格納領域３３１と現画面データ格納領域３３２とは、メモリアドレスの切り替えにより１画面毎に切り替えられる。また、移動ベクトル格納領域３３３には、自移動体移動方向検知手段１１からの移動方向情報に基づいて調整された検出感度により抽出された移動ベクトル情報が画像処理手段３２Ａから供給されて、他移動体６の接近情報として格納される。

変化検知閾値設定手段３４は、自移動体５と他移動体６との相対的な移動状態を危険かどうかを判定するための危険判定閾値としての変化検知閾値を設定する。

変化検知手段３５は、画像処理手段３２で抽出されて記憶手段３３に記憶された移動ベクトル情報を基に、自移動体５の周辺に存在する他移動体６を検知し、変化検知閾値設定手段３４で設定された危険判定閾値を用いて、自移動体５と他移動体６との相対的な移動状態（距離関係）が危険かどうかを判定する。自移動体５と他移動体６との相対的な移動状態（距離関係）が危険判定閾値を越えた場合には、この変化検知手段３５による判定結果として警報検知情報を変化通知手段４に出力する。

変化通知手段４は、変化検知手段３５で検出された自移動体５と他移動体６との相対的な移動状態、例えば他移動体６が自移動体５に接近し過ぎて衝突の危険性がある場合（危険判定閾値を越えた場合）などに出力される警報検知情報によって警報音発生や警報表示などを行って、危険を自移動体５の運転者などに報知する。

上記構成により、以下に、右ハンドル車の右側のミラー部に撮像手段２を取り付けた場合において、本実施形態１の移動体周辺監視装置１Ａを用いて行う移動体周辺監視方法について説明する。自移動体５が直進、または、曲率が一定なカーブを移動中は、本出願人の上記特願２００４−０３１４３３号について詳述した方法（図１５〜図１８）に従えば、危険判定のために、自移動体５に接近する他移動体６を検出することが可能である。

しかしながら、自移動体５がカーブに差し掛かった場合やカーブから抜ける場合など、カーブの曲率が変化する場合（自移動体５と他移動体６で互いの進路の方向が異なる場合）には、接近する他移動体６の検出精度を高めるために、本発明の特徴構成として、自移動体移動方向検知手段１１からの移動方向情報に基づいて画像処理手段３２Ａにより検出感度の調整を行う必要がある。

図３は、直進してきた自移動体が右カーブに差し掛かった場合をその周囲と共に模式的に示している。ｔ時間経過前（前画像）、自移動体５の位置ａから見て、他移動体６が角度αの後方位置Ａ１にあったとする。ｔ時間経過後（現画像）の自移動体５の位置ｂから見た角度αと、他移動体６の経路が交差する位置をＢとすると、他移動体６がＢの位置を過ぎていれば、自移動体５から他移動体６の移動ベクトルは左向きに観測される。他移動体６がｔ時刻経過後（現画像）に位置Ｂを少しでも過ぎれば移動ベクトルは左向きとなるが、距離ａＡ１と距離ｂＣは同じであるから、明らかに他移動体６が自移動体５から遠ざかっている場合であっても、移動ベクトルは左向きとして検出されてしまう。したがって、この場合には、左方向の移動ベクトル検出感度を弱くする必要がある。

図４は、直進してきた自移動体５が図３の場合とは逆に左カーブに差し掛かった場合をその周囲と共に模式的に示している。ｔ時間経過前（前画像）、自移動体５の位置ａから見て、他移動体６が角度αの位置Ａ１にあったとする。ｔ時間経過後（現画像）の自移動体５の位置bから見た角度αと、他移動体６の経路が交差する位置をＢとすると、他移動体６がＢの位置を過ぎていれば、自移動体５から他移動体６の移動ベクトルは左向きに観測される。他移動体６がｔ時刻経過後（現画像）に位置Ｂから少しでも手前であれば移動ベクトルは右向きとなるが、距離ａＡ１と距離ｂＣは同じであるから、明らかに他移動体６が自移動体５に接近している場合であっても、移動ベクトルは右向きとして検出されてしまう。したがって、この場合には、左方向の移動ベクトル検出感度を強くする必要がある。

図５は、自移動体が左カーブから抜け出す場合をその周囲と共に模式的に示している。ｔ時間経過前（前画像）、自移動体５の位置aから見て、他移動体６が角度αの位置Ａ１にあったとする。ｔ時間経過後（現画像）の自移動体５の位置bから見た角度αと、他移動体６の経路とが交差する位置をＢとすると、他移動体６がＢの位置を過ぎていれば、自移動体５から他移動体６の移動ベクトルは左向きに観測される。他移動体６がｔ時刻経過後（現画像）に位置Ｂを少しでも過ぎれば移動ベクトルは左向きとなるが、距離ａＣと距離ｂＢは同じであるから、明らかに他移動体６が自移動体５から遠ざかっている場合であっても、移動ベクトルは左向きとして検出されてしまう。したがって、この場合には、左方向の移動ベクトル検出感度を弱くする必要がある。

図６は、自移動体が右カーブから抜け出す場合をその周囲と共に模式的に示している。ｔ時間経過前（前画像）、自移動体５の位置aから見て、他移動体６が角度αの位置Ａ１にあったとする。ｔ時間経過後（現画像）の自移動体５の位置ｂから見た角度αと、他移動体６の経路とが交差する位置をＢとすると、他移動体６がＢの位置を過ぎていれば、自移動体５からは他移動体６の移動ベクトルは左向きに観測される。他移動体６がｔ時刻経過後（現画像）に位置Ｂから少しでも手前であれば移動ベクトルは右向きとなるが、距離ａＣと距離ｂＢは同じであるから、明らかに他移動体６が自移動体５に接近している場合であっても、移動ベクトルは右向きとして検出されてしまう。したがって、この場合には、左方向の移動ベクトル検出感度を強くする必要がある。

上述したように、自移動体５がカーブに差し掛かった場合や、カーブから抜ける場合など、カーブの曲率が変化する場合（自移動体５と他移動体６の各進行方向が異なる場合）には、接近する他移動体６の検出精度を高めるために、検出感度の調整を行う必要がある。そこで、本実施形態１では、自移動体５の移動方向に基づいて、移動ベクトルの検出感度の調節を行う。

図７は、本実施形態１における図１の画像処理手段３２Ａによる移動ベクトル情報と他移動体情報の抽出処理を説明するためのフローチャートである。なお、図７では、図１６に対して、ステップＳ７Ａの内容だけが異なっているため、ここではステップＳ７Ａのみ説明する。

図７に示すように、ステップＳ７Ａでは、ステップＳ６で抽出された領域の前画像位置と現画像位置との位置関係と、自移動体移動方向検知手段１１から入力される自移動体５の移動方向情報とに基づいて、自移動体５に対して他移動体６が接近しているかどうかを判断する。他移動体６が自移動体５に対して接近していると判断された場合（ステップＳ７Ａでは「ＹＥＳ」）にはステップＳ８の処理に進み、他移動体６が自移動体５に対して接近していない（遠ざかっている）と判断された場合（ステップＳ７Ａでは「ＮＯ」）にはステップＳ９の処理に進む。

自移動体移動方向検知手段１１で検知される自移動体５の移動方向情報は、例えば移動体が自動車である場合、図８に示すように、操舵角情報（自移動体５のハンドルの角度）として入手することが可能である。操舵角は、例えばハンドルを右に切るときを正方向、左に切るときを負方向と定義する。

図９は、図７のステップＳ７Ａにおける他移動体接近の有無検知処理を詳細に説明するためのフローチャートである。

図９に示すように、まず、ステップＳ７１で、自移動体移動方向検知手段１１から入力される移動方向情報に基づいて、自移動体５のハンドルの操舵角が変化しているかどうかを判断する。この操舵角が変化している場合（ステップＳ７１では「ＹＥＳ」）にはステップＳ７２の処理に進み、この操舵角が一定の角度である場合（ステップＳ７１では「ＮＯ」）には、図７のステップＳ７Ａの「ＮＯ側出力」でステップＳ９の処理に進む。

次に、ステップＳ７２で、自移動体５のハンドルの操舵角が増加しているかどうかを判断する。この操舵角が増加している場合（ステップＳ７２では「ＹＥＳ」）にはステップＳ７３の処理に進み、この操舵角が減少している場合（ステップＳ７２では「ＮＯ」）にはステップＳ７４の処理に進む。なお、操舵角が増加している場合は上記図３および図５の場合のようにハンドルが右側にきられた場合（図８で右方向が正方向）に相当し、この操舵角が減少している場合は上記図４および図６の場合のようにハンドルが左側にきられた場合（図８で左方向が負方向）に相当する。

さらに、ステップＳ７３で、移動ベクトルの移動量から他移動体６が接近しているかどうかを判断する際の感度設定閾値を大きくし、移動ベクトル検出感度を弱くする。

さらに、ステップＳ７４で、移動ベクトルの移動量から他移動体６が接近しているかどうかを判断する際の感度設定閾値を小さくし、移動ベクトル検出感度を強くする。

さらに、ステップＳ７５では、移動ベクトルの移動量と感度設定閾値を比較し、移動ベクトルの移動量が感度設定閾値以上かどうかを判定する。移動ベクトルの移動量が感度設定閾値以上の場合（ステップＳ７５では「ＹＥＳ」）には、図７のステップＳ７Ａの「ＹＥＳ側出力」でステップＳ８の処理に進み、移動ベクトルの移動量が感度設定閾値未満の場合（ステップＳ７５では「ＮＯ」）には、図７のステップＳ７Ａの「ＮＯ側出力」でステップＳ９の処理に進む。

このようにして検出された他移動体接近情報（自移動体移動方向検知手段１１からの移動方向情報に基づいて調整された感度設定閾値を用いて検出された移動ベクトル）を用いて、上記特願２００４−０３１４３３号における図１８のフローチャートの場合と同様に、変化検知手段３５による自移動体５と他移動体６との危険判定のための相対的な移動状態の検知処理が行われる。

なお、上記特願２００４−０３１４３３号では、図１８のステップＳ１２の「移動ベクトルの読出」において、画像処理手段３２Ａにより記憶手段３３の移動ベクトル格納領域３３３に書き込まれた移動ベクトル情報が変化検知手段３５に読み出されるように構成したが、本実施形態１では、移動ベクトル格納領域３３３に、他移動体接近情報として調整された感度設定閾値を用いて検出された移動ベクトルが格納されており、図１８のステップＳ１３〜Ｓ１６では、この移動ベクトルを用いて危険判定のための自移動体５と他移動体６との相対的な移動状態の検知処理が行われる。

このようにして、従来よりも自移動体５の周囲に存在する他移動体６を精度良く確実に検出できて、接触事故や衝突事故などの危険性がある場合に、運転者などに警報を報知し、運転者は危険を未然に回避することができる。

以上により、本実施形態１によれば、高度な演算処理や多量の演算処理を必要とせず、リアルタイム（高速）に自移動体周辺に存在する他移動体６の移動状態を精度良く検出して、接触事故や衝突事故などの危険性がある場合にそれを運転者などに通知することができる。
（実施形態２）
上記実施形態１では、右ハンドル車の右側のミラー部に撮像手段２を取り付けた場合の危険判定処理について説明したが、本実施形態２では、右ハンドル車の左側のミラー部に撮像手段２を取り付けた場合の危険判定処理について説明する。このように、撮像手段２が自移動体５の左側に取り付けられている場合には、右方向への移動ベクトルが自移動体５と他移動体６との接近を示すことになるため、他移動体接近情報抽出処理における移動ベクトルの検出感度調整、および自移動体５と他移動体６との相対的な移動状態の検知処理における移動量のベクトル数の加算は、右方向への移動ベクトル情報に対して行われる。図１０および図１１を用いて、右ハンドル車の左側のミラー部に撮像手段２を取り付けた場合の危険判定処理について説明する。

図１０は、撮像手段２が自移動体の左側ミラーに取り付けられている本実施形態２の場合に、直進してきた自移動体５が左カーブに差し掛かったときの状態示す上面図である。

図１０に示すように、ｔ時間経過前（前画面）、自移動体５の位置ａから見て、他移動体６が角度αの位置Ａ２にあったとする。ｔ時間経過後（現画面）の自移動体５の位置ｂから見た角度αと、他移動体６の経路とが交差する位置をＢとすると、他移動体６がＢの位置を過ぎていれば、自移動体５から他移動体６の移動ベクトルは右向きに観測される。他移動体６がｔ時刻経過後（現画像）に位置Ｂを少しでも過ぎれば移動ベクトルは右向きとなるが、距離ａＡ２と距離ｂＣは同じであるから、明らかに他移動体６が自移動体５から遠ざかっている場合であっても、移動ベクトルは右向きとして検出されてしまう。したがって、この場合には、右方向の移動ベクトル検出感度を弱くする必要がある。

同様に、撮像手段２が自移動体５の左側に取り付けられている場合、直進してきた自移動体５が右カーブに差し掛かった場合には右方向の移動ベクトル検出感度を強くする必要があり、また、自移動体５が左カーブから抜け出す場合には右方向の移動ベクトル検出感度を強くする必要があり、さらに、自移動体５が右カーブから抜け出す場合には右方向の移動ベクトル検出感度を弱くする必要がある。

図１１は、撮像手段２が自移動体５の左側ミラーに取り付けられている本実施形態２の場合について、図７のステップＳ７Ａの処理を詳細に説明するためのフローチャートである。なお、上記の場合と同様に、操舵角情報は、例えばハンドルを右に切るときを正方向、ハンドルを左に切るときを負方向とする。また、図１１では、ステップＳ７３’およびステップＳ７４’だけが図９のステップＳ７３および ステップＳ７４と異なるだけでそれ以外のステップについては図７および図９の場合と同様である。

図１１に示すように、まず、ステップＳ７１で、自移動体移動方向検知手段１１から入力される移動方向情報に基づいて、自移動体５のハンドルの操舵角が変化しているかどうかを判断する。この操舵角が変化している場合（ステップＳ７１では「ＹＥＳ」）にはステップＳ７２の処理に進み、この操舵角が一定の角度である場合（ステップＳ７１では「ＮＯ」）には、図７のステップＳ７Ａの「ＮＯ側出力」でステップＳ９の処理に進む。

次に、ステップＳ７２で、自移動体５のハンドルの操舵角が増加しているかどうかを判断する。この操舵角が増加している場合（ステップＳ７２では「ＹＥＳ」）にはステップＳ７３’の処理に進み、この操舵角が減少している場合（ステップＳ７２では「ＮＯ」）にはステップＳ７４’の処理に進む。なお、操舵角が増加している場合は上記図３および図５の場合のようにハンドルが右側にきられた場合（図８で右方向が正方向）に相当し、この操舵角が減少している場合は上記図４および図６の場合のようにハンドルが左側にきられた場合（図８で左方向が負方向）に相当する。

さらに、ステップＳ７３’では、移動ベクトルの移動量から他移動体６が接近しているかどうかを判断する際の感度設定閾値を小さくし、移動ベクトル検出感度を強くする。

さらに、ステップＳ７４’で、移動ベクトルの移動量から他移動体６が接近しているかどうかを判断する際の感度設定閾値を大きくし、移動ベクトル検出感度を弱くする。

さらに、ステップＳ７５では、移動ベクトルの移動量と感度設定閾値を比較し、移動ベクトルの移動量が感度設定閾値以上かどうかを判定する。移動ベクトルの移動量が感度設定閾値以上の場合（ステップＳ７５では「ＹＥＳ」）には、図７のステップＳ７Ａの「ＹＥＳ側出力」でステップＳ８の処理に進み、移動ベクトルの移動量が感度設定閾値未満の場合（ステップＳ７５では「ＮＯ」）には、図７のステップＳ７Ａの「ＮＯ側出力」でステップＳ９の処理に進む。

このようにして検出された他移動体接近情報（自移動体移動方向検知手段１１からの移動方向情報に基づいて調整された感度設定閾値を用いて検出された移動ベクトル）を用いて、上記特願２００４−０３１４３３号における図１８のフローチャートの場合と同様に、変化検知手段３５による自移動体５と他移動体６との相対的な移動状態の危険検知処理が行われる。ただし、撮像手段２が自移動体５の左側に設置されているため、ステップＳ１５において、右方向への移動量のベクトル数が算出され、ステップＳ１６では算出された右移動ベクトル数（加算値）がステップＳ１１で設定された閾値よりも大きい場合に、自移動体５に接近する他移動体６が存在すると判定される。

なお、上記実施形態１では、右ハンドル車の右側のミラー部に撮像手段２を取り付けた場合の危険判定処理について説明し、上記実施形態２では、右ハンドル車の左側のミラー部に撮像手段２を取り付けた場合の危険判定処理について説明したが、これに限らず、運転席側およびその反対側の両サイドミラーまたは両ドアミラーにそれぞれ各撮像手段２がそれぞれ取り付けられていてもよく、要は、運転席側およびその反対側の少なくとも一方のサイドミラーまたはドアミラーに撮像手段２が取り付けられていればよい。

右ハンドルの場合、左側のミラー部に撮像手段２を取り付けることによって、１台の撮像手段２でも死角をカバーすることができるという効果がある。また、左ハンドルの場合には、右側のミラー部に撮像手段２を取り付けることによって、１台の撮像手段２で死角をカバーすることができるという効果がある。さらに、左右のミラー部に各撮像手段２をそれぞれ１台づつ取り付けることによって、右ハンドルの場合でも左ハンドルの場合でも、死角をより一層カバーすることができるという効果がある。

また、上記実施形態１，２では特に説明しなかったが、ハードウェア構成の他に、ソフトウェア構成によっても本発明を構成することができる。この場合、図１の演算処理部３Ａを装置全体を制御しているコントローラ（ＣＰＵを有する制御部）内に収容し、上記フローチャートの各処理をコンピューターに実行させるための制御プログラムおよびそのデータを可読記録媒体としてコントローラ内のハードディスクなどのメモリに記憶させておき、このメモリからコントローラ内のワークメモリにその制御プログラムおよびデータを読み出して実行させることができる。

このような可読記録媒体としては、ハードディスクの他に、各種ＩＣメモリ、ＣＤやＤＶＤなどの光ディスク、ＦＤなどの磁気記録媒体などであってもよく、読み取られた制御プログラムおよびそのデータはコントローラ内のワークメモリとしてのＲＡＭ内に格納されてコントローラ内のＣＰＵ（制御部）によって実行可能とされる。

このようなコントローラ内のＣＰＵ（制御部）は、上記可読記録媒体（ＲＯＭまたはＲＡＭ）内の制御プログラムおよびそのデータに基づいて、自移動体５周辺の画像データを時系列にフレーム画像として撮像手段２に撮像させる撮像ステップ（手段）と、この撮像した一または複数のフレーム画像毎に、フレーム画像の水方向に平行で、かつ、横長帯状の特定領域を設定する設定ステップ（手段）と、自移動体５の移動方向を検知して移動方向情報を出力する自移動体移動方向検知ステップ（手段）と、撮像した一または複数のフレーム画像毎に、特定領域の画像データを取り込み、この取り込んだ特定領域の画像データとその移動方向情報とに基づいて他移動体６に関する移動ベクトル情報を抽出する移動ベクトル情報抽出ステップ（手段）と、この移動ベクトル情報に基づいて自移動体５の周辺に存在する他移動体６の移動状態を検知する変化検知ステップ（手段）とを実行する。

この場合に、上記移動ベクトル情報抽出ステップ（手段）は、撮像されたフレーム画像の画像データのうち、取り込んだ特定領域の画像データを複数の分割領域に分割する分割ステップ（手段）と、分割した分割領域毎に画像データ値の合算値を算出する合算値算出ステップ（手段）と、現画像データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画像データの分割領域を抽出する分割領域抽出ステップ（手段）と、この抽出された前画像データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右いずれにあるかを判断する左右判断ステップ（手段）と、「左」にある場合には左移動ベクトル情報とし、「右」にある場合には右移動ベクトル情報とする移動ベクトル情報決定ステップ（手段）とを有している。

さらに、この上記実施形態１の場合の左右判断ステップ（手段）としては、自移動体５が車両の場合に、自移動体５のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定ステップ（手段）と、この操作角度が増加している場合に、移動ベクトル情報の移動量から他移動体６が接近しているかどうかを判断する際の感度設定閾値を大きくして移動ベクトル情報の検出感度を弱くし、また、このハンドルの操作角度が増加していない場合に、その感度設定閾値を変化させないかまたは小さくして移動ベクトル情報の検出感度を変化させないかまたは強くする検出感度制御ステップ（手段）と、その移動ベクトル情報の移動量と感度設定閾値を比較して、その移動ベクトル情報の移動量が該感度設定閾値以上かどうかを判定することにより、前画像データの分割領域に対して、これに対応する現画像データの分割領域が「左」および「右」のいずれにあるかを判断する比較接近判定ステップ（手段）とを有している。

また、この上記実施形態２の場合の左右判断ステップ（手段）としては、自移動体５が車両の場合に、自移動体５のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定ステップ（手段）と、この操作角度が増加している場合に、移動ベクトル情報の移動量から他移動体６が接近しているかどうかを判断する際の感度設定閾値を小さくして移動ベクトル情報の検出感度を強くし、また、この操作角度が増加していない場合に、その感度設定閾値を変化させないかまたは大きくして移動ベクトル情報の検出感度を変化させないかまたは弱くする検出感度制御ステップ（手段）と、移動ベクトル情報の移動量と感度設定閾値を比較して、この移動ベクトル情報の移動量が感度設定閾値以上かどうかを判定することにより、前画像データの分割領域に対して、これに対応する現画像データの分割領域が「左」および「右」のいずれにあるかを判断する接近判定ステップ（手段）とを有している。

以上のように、本発明の好ましい実施形態１，２を用いて本発明を例示してきたが、本発明は、この実施形態１，２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１，２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、有人または無人の移動体、例えば船や車両（２輪車などのオートバイや自転車または４輪車などの自動車や電車などの乗り物）、人間などの移動時に安全監視などを行うために用いられ、例えば移動体（自移動体５）が左右に移動するときなどに、その周辺に他の移動体（他移動体６）が存在して両者が接触や衝突する危険性がある場合などに、移動体に関わる人（運転者）に対して警報などにより、他移動体の接近による危険を報知して安全確認を支援するために用いられる移動体周辺監視装置、これを用いた移動体周辺監視方法、これをコンピュータに実行させるための制御プログラムおよび、これが記録されたコンピュータ読み取り可能な可読記録媒体の分野において、高度な演算処理や多量の演算処理を必要とせず、リアルタイム（高速）に自移動体周辺に存在する他移動体を精度良く検出して、接触事故や衝突事故などの危険性がある場合にそれを運転者などに通知することができるため、車両安全システムや交通システムなどに広く利用できて、接触事故や衝突事故などの交通事故の発生を未然に防止することができる。

本発明の移動体周辺監視装置の実施形態１における要部構成例を示すブロック図である。 図１の移動体周辺監視装置を自動車に取り付けた場合の取り付け例をその周囲と共に模式的に示す上面図である。 直進してきた自移動体が右カーブに差し掛かった場合をその周囲と共に模式的に示す上面図である。 直進してきた自移動体が左カーブに差し掛かった場合をその周囲と共に模式的に示す上面図である。 自移動体が左カーブから抜け出て直線に差し掛かった場合をその周囲と共に模式的に示す上面図である。 自移動体が右カーブから抜け出て直線に差し掛かった場合をその周囲と共に模式的に示す上面図である。 図１の画像処理手段による移動ベクトル情報と他移動体情報の抽出処理を説明するためのフローチャートである。 操舵角情報の定義について説明するための図である。 図７に示すフローチャートのＳ７Ａの内容を詳細に説明するためのフローチャートである。 撮像手段が自移動体の左側ミラーに取り付けられている本実施形態２の場合に、直進してきた自移動体５が左カーブに差し掛かったときの状態示す上面図である。 撮像手段が自移動体の左側ミラーに取り付けられている本実施形態２の場合について、図７のステップＳ７Ａの処理を詳細に説明するためのフローチャートである。 従来技術(特許文献１)における検知領域を模式的に示すイメージ図である。 特願２００４−０３１４３３号の実施形態における移動体周辺監視装置の要部構成例を示すブロック図である。 図１３の移動体周辺監視装置を自動車に取り付けた場合の取り付け例をその周囲と共に模式的に示す上面図である。 （ａ）は、図１３の撮像手段で撮像された自移動体の周辺撮像画像を模式的に示すイメージ図、（ｂ）は、（ａ）のｔ時間後に撮像手段で撮像された自移動体の周辺撮像画像を模式的に示すイメージ図である。 図１３の画像処理手段による移動ベクトル情報の抽出処理例を説明するためのフローチャートである。 図１３の記憶手段のメモリ構成例を示すブロック図である。 図１３の変化検知手段による自移動体と他移動体との相対的な移動状態の危険検知処理例を説明するためのフローチャートである。 図１５に示すイメージ図を自移動体と他移動体が直進している場合について上方から見た図である。 図１５に示すイメージ図を自移動体が右カーブに差し掛かった場合について上方から見た図である。

符号の説明

１Ａ 移動体周辺監視装置
２ 撮像手段
３Ａ 演算処理部
３１ 特定領域設定手段
３２Ａ 画像処理手段
３３ 記憶手段
３３１ 前画面データ格納領域
３３２ 現画面データ格納領域
３３３ 移動ベクトル格納領域
３４ 変化検知閾値設定手段
３５ 変化検知手段
４ 変化通知手段
５ 自移動体
６ 他移動体
７ 特定領域
８ 位置固定物体（電柱）
９ 他移動体（左端）の撮像判定位置
１１ 自移動体移動方向検知手段

Claims (23)

1. 自移動体周辺の画像を撮像する撮像手段と、
   該撮像手段により撮像された画像データに対して、フレーム画像の水平方向に平行で、かつ、横長帯状の特定領域を設定する特定領域設定手段と、
   該自移動体の移動方向を検知して移動方向情報を出力する自移動体移動方向検知手段と、
   該撮像手段により時系列に撮像された一または複数フレーム画像毎に、該特定領域の画像データを取り込んで、該移動方向情報に基づいて検出感度を調整して他移動体に関する移動ベクトル情報を抽出する移動ベクトル情報抽出手段と、
   該移動ベクトル情報に基づいて該自移動体の周辺に存在する該他移動体の移動状態を検知する変化検知手段とを有する移動体周辺監視装置。
2. 前記撮像手段は、前記自移動体の後側方を撮像可能な位置に取り付けられている請求項１に記載の移動体周辺監視装置。
3. 前記撮像手段は、前記自移動体が車両である場合に、運転席側および運転席とは反対側の少なくとも一方のサイドミラーまたはドアミラーに取り付けられている請求項２に記載の移動体周辺監視装置。
4. 前記特定領域設定手段は、前記自移動体の撮像画像を含まず、前記他移動体の撮像画像の少なくとも一部が含まれるように、前記撮像された画像データに前記特定領域を設定する請求項１に記載の移動体周辺監視装置。
5. 前記自移動体移動方向検知手段は、前記自移動体の進行方向制御手段が操作されたときの操作方向に応じた移動方向情報を該自移動体の移動方向として検知する請求項１に記載の移動体周辺監視装置。
6. 前記進行方向制御手段がハンドルである場合、該ハンドルの操作角度情報は、該ハンドルを右に切るときを正方向、該ハンドルを左に切るときを負方向として操作角度に応じて増減するように構成されている請求項５に記載の移動体周辺監視装置。
7. 前記移動ベクトル情報は、前記自移動体の周辺に存在する前記他移動体の移動状態を示す移動量および方向情報である請求項１に記載の移動体周辺監視装置。
8. 前記移動ベクトル情報抽出手段は、前記特定領域を複数に分割した各分割領域に対してそれぞれ、現在の画像データの合算値とｔ（ｔ＞０）時間前の前画像データの合算値とを比較してその差分値が最小となる両分割領域を抽出し、該抽出された前画像データの分割領域の位置をｔ時間前の現画像データの位置と判断して、該抽出された両分割領域の前画像データと現画像データとの位置関係を前記移動ベクトル情報の移動量として抽出すると共に、前記移動方向情報に基づいて前記移動ベクトル情報の方向情報を抽出する請求項１または７に記載の移動体周辺監視装置。
9. 前記移動ベクトル情報抽出手段は、前記抽出された両分割領域の位置関係に基づいて、該分割領域の現画像データが該分割領域の前画像データに対して左に移動しているか、または右に移動しているかを判定して前記移動ベクトル情報の方向情報を抽出する際の感度設定閾値を、前記移動方向情報に応じて大きくするかまたは小さくして、前記移動ベクトルの移動量と感度設定閾値を比較し、該移動ベクトルの移動量が該感度設定閾値以上である場合に前記自移動体に対して前記他移動体が接近していると判定した該移動ベクトル情報の方向情報を抽出する請求項８に記載の移動体周辺監視装置。
10. 前記移動ベクトル情報抽出手段は、
    撮像されたフレーム画像の画像データのうち、取り込んだ前記特定領域の画像データを複数の分割領域に分割する分割手段と、
    分割した分割領域毎に画像データ値の合算値を算出する合算値算出手段と、
    該現画像データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画像データの分割領域を抽出する分割領域抽出手段と、
    抽出された前画像データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右のいずれにあるかを前記移動方向情報に基づいて判断する左右判断手段と、
    前記移動ベクトル情報の方向情報として、左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報とする移動ベクトル情報決定手段とを有する請求項７〜９のいずれかに記載の移動体周辺監視装置。
11. 前記左右判断手段は、
    前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定手段と、
    該操作角度が増加している場合に、前記移動ベクトル情報の移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を大きくして該移動ベクトル情報の検出感度を弱くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは小さくして該移動ベクトル情報の検出感度を変化させないかまたは強くする検出感度制御手段と、
    該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定手段とを有する請求項１０に記載の移動体周辺監視装置。
12. 前記左右判断手段は、
    前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定手段と、
    該操作角度が増加している場合に、前記移動ベクトル情報の移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を小さくして該移動ベクトル情報の検出感度を強くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは大きくして該移動ベクトル情報の検出感度を変化させないかまたは弱くする検出感度制御手段と、
    該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定手段とを有する請求項１０に記載の移動体周辺監視装置。
13. 前記変化検知手段は、前記移動ベクトル情報に基づいて、前記自移動体と前記他移動体との相対的な移動状態を検知する請求項１に記載の移動体周辺監視装置。
14. 前記変化検知手段は、前記特定領域を複数に分割した各分割領域毎に前記移動ベクトル情報を読み出し、読み出した移動ベクトル情報のうち、所定方向情報の移動量のベクトル数を加算した加算値が所定の判定閾値よりも大きい場合に、前記自移動体に危険接近する前記他移動体が存在すると検知する請求項１または１３に記載の移動体周辺監視装置。
15. 前記変化検知手段は、前記撮像手段が前記自移動体の右側に設置されている場合に前記方向情報として左方向のベクトル数を算出し、該撮像手段が該自移動体の左側に設置されている場合には該方向情報として右方向のベクトル数を算出する請求項１４に記載の移動体周辺監視装置。
16. 前記変化検知手段が検出した前記自移動体と前記他移動体との相対的な移動状態に応じて警報出力する変化通知手段をさらに有する請求項１に記載の移動体周辺監視装置。
17. 前記移動ベクトル情報抽出手段の抽出結果を一時的に記憶する記憶手段をさらに有し、前記変化検知手段は、該記憶手段から該移動ベクトル情報抽出手段の抽出結果を読み出して前記変化検知処理に用いる請求項１および８〜１６のいずれかに記載の移動体周辺監視装置。
18. 自移動体周辺の画像データを時系列にフレーム画像として撮像手段に撮像させる撮像ステップと、
    撮像した一または複数のフレーム画像毎に、該フレーム画像の水方向に平行で、かつ、横長帯状の特定領域を設定する設定ステップと、
    該自移動体の移動方向を検知して移動方向情報を出力する自移動体移動方向検知ステップと、
    該撮像した一または複数のフレーム画像毎に、該特定領域の画像データを取り込み、該取り込んだ該特定領域の画像データと該移動方向情報とに基づいて他移動体に関する移動ベクトル情報を抽出する移動ベクトル情報抽出ステップと、
    該移動ベクトル情報に基づいて該自移動体の周辺に存在する該他移動体の移動状態を検知する変化検知ステップとを、
    コンピュータが制御プログラムおよびそのデータを用いて実行する移動体周辺監視方法。
19. 前記移動ベクトル情報抽出ステップは、
    撮像されたフレーム画像の画像データのうち、取り込んだ前記特定領域の画像データを複数の分割領域に分割する分割ステップと、
    分割した分割領域毎に画像データ値の合算値を算出する合算値算出ステップと、
    該現画像データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画像データの分割領域を抽出する分割領域抽出ステップと、
    抽出された前画像データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右いずれにあるかを移動方向情報に基づいて判断する左右判断ステップと、
    前記移動ベクトル情報の方向情報として、左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報とする移動ベクトル情報決定ステップとを有する請求項１８に記載の移動体周辺監視方法。
20. 前記左右判断ステップは、
    前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定ステップと、
    該操作角度が増加している場合に、前記移動ベクトルの移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を大きくして該移動ベクトル情報の検出感度を弱くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは小さくして該移動ベクトル情報の検出感度を変化させないかまたは強くする検出感度制御ステップと、
    該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定ステップとを有する請求項１９に記載の移動体周辺監視方法。
21. 前記左右判断ステップは、
    前記自移動体が車両の場合に、該自移動体のハンドルの操作角度が増加しているかどうかを判定する操作角度増加判定ステップと、
    該操作角度が増加している場合に、前記移動ベクトル情報の移動量から前記他移動体が接近しているかどうかを判断する際の感度設定閾値を小さくして該移動ベクトル情報の検出感度を強くし、また、該操作角度が増加していない場合に、該感度設定閾値を変化させないかまたは大きくして該移動ベクトル情報の検出感度を変化させないかまたは弱くする検出感度制御ステップと、
    該移動ベクトル情報の移動量と該感度設定閾値を比較して、該移動量が該感度設定閾値以上かどうかを判定することにより前記左右のいずれにあるかを判断する比較判定ステップとを有する請求項１９に記載の移動体周辺監視方法。
22. 請求項１８〜２１のいずれかに記載の移動体周辺監視方法の各ステップをコンピュータに実行させるための制御プログラム。
23. 請求項２２に記載の制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体。