JP7119317B2 - 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラムに関する。

今日において、歩行者又は自動車等との衝突の際に、いかに歩行者を守れるか及び乗員を保護できるかという、自動車の安全性における観点から自動車のボディー構造等の開発が行われている。近年においては、情報処理技術、画像処理技術の発達により、人及び自動車等を高速に検出する技術が知られている。これらの技術を用いることで、衝突する前に自動的にブレーキをかけて衝突を未然に防止する衝突防止システムが設けられた自動車も知られている。この衝突防止システムの場合、ミリ波レーダ装置、レーザレーダ装置又はステレオカメラ装置等を用いて人又は他車等までの距離を測距し、この測距した結果に基づいて、ブレーキ制御を行う。これにより、人又は他車等との距離に応じて、自動的にブレーキをかけることができる。

特許文献１（特開２０１３－２２８９８７号公報）には、踏切遮断機推定装置が開示されている。この踏切遮断機推定装置は、時間の経過に伴って横幅が増加する外部物体及び地面から特定の高さにおいて所定の長さを有する外部物体のうち、少なくとも一方の外部物体を踏切遮断機として推定する。これにより、踏切遮断機の存在を簡易に推定可能となっている。

しかし、衝突防止システムにおいて、例えば高速道路又は有料道路等に設けられているＥＴＣバー（ETC：Electronic Toll Collection）及び踏切の遮断機等の物体を通常の立体物として検出すると、以下の不都合を生ずる。すなわち、衝突防止システムは、車両がＥＴＣバー又は踏切の遮断機に近づくと警報音を発生し、運転者に不快感を与えることが懸念される。このため、ＥＴＣバー又は踏切の遮断機等の物体は、車両にとって障害物ではあるが、正確に検出したうえで、衝突防止システムの検出対象物から除外することが好ましい。

本発明は、上述の課題に鑑みてなされたものであり、物体を正確に検出できる情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、距離情報に基づいて物体領域を検出する物体領域検出部と、検出した物体領域を分割した分割領域内における物体について、路面からの最大高さ及び最小高さに基づいて前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たすか判断し、前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たす場合に、当該分割領域を局所領域として検出する局所領域検出部と、局所領域内における前記物体の路面からの最大高さと隣接する局所領域内における物体の路面からの最大高さとの差が連続して閾値未満の場合に、検出される物体領域を特定対象の物体として特定する物体特定部とを有する。

本発明によれば、物体を正確に検出できるという効果を奏する。

図１は、実施の形態の機器制御システムである車両に設けられたステレオカメラの位置を示す図である。 図２は、車両が有するステレオカメラ及びその周辺の構成を示す図である。 図３は、ステレオカメラを備えた撮像装置の構成例を示す図である。 図４は、実施の形態の機器制御システムのソフトウェア構成を示す図である。 図５は、画像処理装置のＣＰＵが、立体物認識プログラムを実行することで実現される各機能の機能ブロック図である。 図６は、画像処理装置のＣＰＵが、立体物認識プログラムを実行することで実現される各機能の詳細な機能ブロック図である。 図７は、マッピング画像の一例を示す図である。 図８は、物体検出結果の一例を示す図である。 図９は、除去対象判定部が、マッピング画像から棒状物体の検出候補となる物体を検出する動作を説明するためのフローチャートである。 図１０は、棒状物体の検出処理に用いられる基本特徴量を説明するための図である。 図１１は、背景視差の検出動作の流れを示すフローチャートである。 図１２は、棒状物体の検出候補となっている領域を示す模式図である。 図１３は、第１の局所バー領域検出処理の流れを示すフローチャートである。 図１４は、第１の局所バー領域検出処理における棒状物体の検出結果を示す図である。 図１５は、第２の局所バー領域検出処理の流れを示すフローチャートである。 図１６は、第２の局所バー領域検出処理における棒状物体の検出結果を示す図である。 図１７は、垂れ幕領域検出処理の流れを示すフローチャートである。 図１８は、垂れ幕領域検出処理における棒状物体の検出結果を示す図である。 図１９は、バー領域統合処理の流れを示すフローチャートである。 図２０は、バー領域統合処理における棒状物体の検出結果を示す図である。 図２１は、物体の傾きに応じた、棒状物体の検出対象とするか否かの判別動作を説明するための図である。 図２２は、物体の検出出力から、棒状物体として検出された物体を全棄却する処理を説明するための図である。 図２３は、物体の検出出力から、棒状物体として検出された物体の一部を除去する処理を説明するための図である。

以下、図面を参照して、実施の形態の機器制御システムの説明をする。

（システム構成）
実施の形態の機器制御システムは、図１に示すように車両１のフロントガラス等に設けられ、進行方向前側の所定の撮像範囲を撮像するステレオカメラ２を有している。ステレオカメラ２は、図３を用いて後述するように２つの画像センサ２２を備え、左目視界と右目視界の２つの画像を撮像する撮像部である。

図２は、移動体の一例である車両１が有するステレオカメラ２及びその周辺の構成例を示す図である。ステレオカメラ２は、例えば撮像した２つの画像を車両ＥＣＵ（Engine Control Unit）３に対して出力する。車両ＥＣＵ３は車両１に設置され、例えば車両１のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の車両１に対する制御を行う。車両ＥＣＵ３は、制御部の一例である。なお、以下、移動体の一例である車両について説明するが、本実施の形態の機器制御システムは、船舶、航空機、ロボット等にも適用可能である。

（撮像装置の構成）
図３は、ステレオカメラ２を備えた撮像装置４の構成例を示す図である。撮像装置４は、例えばステレオカメラ２及び画像処理装置３０を有する。ステレオカメラ２は、左目用となるカメラ部２ａと、右目用となるカメラ部２ｂが平行（水平）に組みつけられ、撮像対象領域の動画（又は静止画）を撮影する。

カメラ部２ａ、２ｂは、それぞれレンズ２１、画像センサ２２、及びセンサコントローラ２３を備えている。画像センサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。センサコントローラ２３は、例えば画像センサ２２の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。

画像処理装置３０は、例えば図２に示した車両ＥＣＵ３内に設けられる。画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central Processing Unit）３０４、ＦＰＧＡ（Field-Programmable Gate Array）３０６、ＲＯＭ（Read Only Memory）３０８、ＲＡＭ（Random Access Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。

上述したステレオカメラ２は、データバスライン３００及びシリアルバスライン３０２を介して画像処理装置３０と接続されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御し、画像処理及び画像認識処理を実行する。カメラ部２ａ、２ｂそれぞれの画像センサ２２が撮像した撮像画像の輝度画像データは、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。

ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ３１０に再度書き込む。ＣＰＵ３０４は、ステレオカメラ２の各センサコントローラ２３の制御、及び画像処理装置３０の全体的な制御を行う。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば自車両のＣＡＮ（Controller Area Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。

検出対象（認識対象）の検出データ（認識データ）は、シリアルＩＦ３１２を介して、車両ＥＣＵ３に供給され、車両ＥＣＵ３の制御機能として設けられた例えば自動ブレーキシステム又は走行アシストシステム等で用いられる。自動ブレーキシステムは、車両１のブレーキ制御を行う。また、走行アシストシステムは、車両１の走行レーンキープアシスト及び操舵アシスト等を行う。

（画像処理装置に設けられているソフトウェア）
図４に、画像処理装置３０に設けられているソフトウェアを示す。この図４に示すように、画像処理装置３０には、定数パラメータ、バー領域検出パラメータ、及び、立体物認識プログラムが設けられている。各ソフトウェアの記憶場所は、ＲＯＭ３０８又はＲＡＭ３１０等の記憶部に記憶されている。定数パラメータは、バー領域検出除外対象判定で用いられるパラメータである。バー領域検出パラメータは、バー領域の検出に用いられるパラメータである。立体物認識プログラムは、状況認識、予測、及び物体認識等を実行するためのプログラムである。

ＣＰＵ３０４は、立体物認識プログラムに従って、ＲＡＭ３１０に記憶されている輝度画像データ及び視差画像データを用いて、状況認識等の各種処理を実行し、例えば先行車両等の検出対象の検出（認識）を行う。また、画像データの棄却処理もＣＰＵ３０４が実施する。また、ＣＰＵ３０４は、立体物認識プログラムに従って、後述する棒状物体の検出処理を行う。なお、本実施形態では、棒状物体を検出対象として説明するが、これは一例である。以下に説明する本実施形態の物体検出手法は、棒状物体以外の他の物体に対しても応用可能であり、後述するように良好に物体を検出することができる。

（立体物認識プログラムの機能）
図５に、ＣＰＵ３０４が立体物認識プログラムを実行することで実現される各機能の機能ブロックを示す。この図５に示すように、ＣＰＵ３０４は、立体物認識プログラムを実行することで、除去対象判定部６１、バー領域検出部６２、及びバー領域除去部６３の各機能を実現する。

図６は、除去対象判定部６１、バー領域検出部６２、及びバー領域除去部６３が有する詳細な機能を示している。この図６に示すように、除去対象判定部６１は、近距離物体検出部７１、重なり処理部７２、及び、除去処理部７３を有している。バー領域検出部６２は、第１の局所バー領域検出部８１、第２の局所バー領域検出部８２、垂れ幕領域検出部８３、及び、バー領域結合部８４を有している。バー領域除去部６３は、傾き判定部９１、除去判定部９２及び除去処理部９３を有している。バー領域除去部６３は、棒状物体検出部の一例である。近距離物体検出部７１は、物体検出部の一例である。第１の局所バー領域検出部８１は、第１の局所領域検出部の一例である。第２の局所バー領域検出部８２は、第２の局所領域検出部の一例である。除去処理部９３は、除去部の一例である。

なお、この例では、除去対象判定部６１～バー領域除去部６３をソフトウェアで実現することとしたが、除去対象判定部６１～バー領域除去部６３のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、立体物認識プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、立体物認識プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、立体物認識プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（実施の形態の動作）
実施の形態の機器制御システムは、ステレオカメラ２で撮像される各撮像画像から、縦方向位置、横方向位置、及び、奥行方向位置を対応付けた視差画像を形成する。また、実施の形態の機器制御システムは、視差画像に基づいて、横方向位置及び奥行方向位置を対応づけたマッピング画像（鳥瞰画像、俯瞰画像）を形成する。図７は、マッピング画像の一例である。実施の形態の機器制御システムは、マッピング画像上から、棒状物体の検出候補となる物体領域を検出し、検出候補とした物体領域が棒状物体に対応するか否かを判定する。そして、棒状物体と判定された検出候補の全部又は一部をマッピング画像上から除去し、棒状物体を除去したマッピング画像に基づいて、障害物等の物体を検出して制動制御及び運転アシスト等を行う。これにより、ＥＴＣバー又は踏切の遮断機等の棒状物体に影響されることなく、好ましい運転アシスト制御を行うことができる。

なお、マッピング画像の形成時には、視差画像から路面形状を特定し、当該路面より実空間上で上方にある情報のみを用いることが好ましい。これにより物体検出の際のノイズを除去することができる。当該路面は、種々の周知の方法により特定することができ、参考文献である例えば特開２００８－６５６３４号公報等にも記載されている道路モデルのような直線式により特定することができる。以下、本実施形態において路面からの高さを物体検出の際の判断に用いる箇所があるが、このような周知の方法により視差画像から特定される路面の情報を利用するものとする。

以下では、制御対象の候補として検出される物体領域から、棒状物体を棄却するために棒状物体を検出する例を記載する。ただし、棒状物体を棄却の対象とせず、積極的に検出対象とする場合にも本手法を用いることができることは言うまでもない。

（除外対象判定処理）
ここで、横方向に連続する細長い物体を含む領域が、棒状物体の検出候補の領域となる。除去対象判定部６１は、棒状物体の検出候補とする領域に対して、棒状物体の検出候補であることを示すフラグ（情報）を設定し、棒状物体の検出候補としない領域に対しては、棒状物体の検出候補ではないことを示すフラグ（情報）を設定する。

しかしながら、図８に示すように車両１の前方を走行する軽トラック自動車の荷台部分は、横方向に連続する物体であるため、棒状物体を含む検出候補の領域として検出されるおそれがある。軽トラック自動車の荷台部分を棒状物体として誤検出すると、本来、車両１から軽トラック自動車の荷台部分までの間の距離に応じて行う制動制御等が、車両１から軽トラック自動車の運転席までの間の距離に応じて行われる不都合を生ずる。

このため、除外対象判定部６１は、物体の直後に別の物体を検出した場合は、手前（車
両１寄り）の物体を、棒状物体の検出候補とはしないフラグを設定する。すなわち、例えば軽トラック自動車の場合、図８に示すように荷台の領域とは別に、荷台の領域の直後に運転席の領域が検出される。この場合、荷台の領域は、棒状物体の検出候補とはしないフラグを設定する。これにより、軽トラック自動車の荷台部分を、棒状物体の検出処理から除外でき、車両１から軽トラック自動車の荷台部分までの間の距離に応じて正確に制動制御等を行うことを可能とすることができる。

なお、物体の直後に別の物体が検出されている場合は，手前（車両１寄り）の物体の領域を、棒状物体の検出候補の領域としないことで、例えば下がっている駐車場のバーの奥行側に車両が停止している場合、駐車場のバーを棒状物体として検出することが困難となる。しかし、このような状況は、車両１を進行させると、駐車場のバー及び奥行側の車両に衝突する状況である。このため、物体の直後に別の物体が検出されている場合に、手前（車両１寄り）の物体の領域を、棒状物体の検出候補の領域としなくても問題はない。上述の思想のもと、除外対象判処理のフローは、以下のようになる。

まず、上述のマッピング画像が形成されると、図５に示す除外対象判定部６１は、図９のフローチャートに示すように、マッピング画像から棒状物体の検出候補となる物体領域を検出する。

ステップＳ１：近距離物体検出部７１が、近距離物体を抽出。
ステップＳ２：重なり処理部７２が、近距離物体ペアを選択。
ステップＳ３：除去処理部７３が、後方重なり近距離物体棄却。
ステップＳ４：マッピング画像上に判定すべき近距離物体ペアが残っているか否かを判別し、判定すべき近距離物体ペアが残っている場合は、ステップＳ２からの処理を繰り返し実行し、判定すべき近距離物体ペアが残っていない場合は、処理をステップＳ５に進める。
ステップＳ５：近距離物体検出部７１が、近距離物体を選択。
ステップＳ６：重なり処理部７２が、近距離物体の直後（奥行側）における、他の物体の有無を判別。
ステップＳ７：除去処理部７３が、近距離物体の直後（奥行側）に他の物体が存在する場合、近距離物体を棒状物体の検出候補から除外。
ステップＳ８：判定すべき近距離物体が残っている場合は、ステップＳ５からの処理を繰り返し実行し、判定すべき近距離物体が残っていない場合は、除外対象判定処理を終了。なお、「近距離物体」とは、ある閾値よりも車両１に近い距離において検出された物体をいい、「他の物体」とは、近距離物体以外に検出された物体をいうものとする。

また、マッピング画像から物体領域を検出する方法は種々の公知の方法が用いられる。例えば、連結する画素群を公知のラベリング処理により抽出し、抽出された画素群が所定の大きさを超える場合に、物体であるとして検出すればよい。なお、検出された物体領域としては、検出される物体を囲む枠が特定されることとなる。ここでいう枠とは、物体の位置と大きさを示す情報であり、例えば、当該枠（矩形）の角の座標と当該枠の高さと幅の情報である。

また、上述の処理では物体を示す枠が視差情報の一例であるマッピング画像を用いて得られるものとしているが、輝度情報を用いて枠が特定されるものとしてもよい。このとき、公知の種々の方法を用いることができる。

具体的には、除外対象判定部６１（近距離物体検出部７１）は、車両１から比較的近い距離（例えば、２０ｍ）以内の物体であり、かつ、ある高さ（例えば、２ｍ）未満の物体を近距離物体として検出する。これらのパラメータを用いることで、マッピング画像上の全物体から、近距離かつ高さが高過ぎない物体が含まれる領域（棒状物体の検出候補となる領域）を抽出する（ステップＳ１）。

また、除外対象判定部６１（重なり処理部７２）は、例えば５０（％）を、近距離物体同士の重なり率の判定閾値として用いて、棒状物体の検出候補の領域とするか否かの除外対象判定処理を行う。また、除外対象判定部６１（重なり処理部７２）は、例えば１ｍを、他の近距離物体と同じ距離とみなす距離差の最大値として用いて除外対象判定処理を行う。そして、除外対象判定部６１（除去処理部７３）は、当該除外対象判定処理により除外対象と判定された物体を棄却する。すなわち、最も車両１に近い近距離物体を検出するため、近距離物体同士の「重なり率」を基準としつつ、ある近距離物体よりも一定距離以上離れている近距離物体を、棒状物体の検出候補から除外する（ステップＳ２～Ｓ４）。

この条件は、同一物体が二重に検出されたものでなく、異なる物体が重なって検出されているものを想定している。除外対象判定部６１（重なり処理部７２）は、撮像画像上で重なり合っており、同一距離にあるとは言えないぐらい奥に位置している物体を、一番手前に位置する近距離物体ではないと判定する。除外対象判定部６１（除去処理部７３）は、このような条件を満たす場合、その物体を近距離物体から除外する。これに対して、このような条件を満たさない場合、除外対象判定部６１（重なり処理部７２）は、以下の条件に基づく除外対象判定処理に移行する。

また、除外対象判定部６１（重なり処理部７２）は、近距離物体と他の物体とが重なり合っており、奥に存在する他の物体までの距離が例えば２ｍ未満であれば、近距離物体の領域を、棒状物体の検出候補の領域から除外する領域として判定する。また、除外対象判定部６１（重なり処理部７２）は、「７０（％）」を、近距離物体と他の物体との重なり率の判定閾値として用いて除外対象判定処理を行う。そして、除外対象判定部６１（除去処理部７３）は、当該除外対象判定処理により除外対象と判定された物体を棄却する。これにより、軽トラック自動車の荷台部分等を、棒状物体の検出処理から除外可能となる。

この条件は、例えば軽トラック自動車の荷台と運転席との関係を想定している。除外対象判定部６１は、他の物体が軽トラック自動車のキャビンと荷台との距離程度以内の奥に存在し、マッピング画像上で重なりがある物体は、棒状物体ではないと判定する。この場合、除外対象判定部６１は，その物体の領域に対して、棒状物体の検出処理を行わないことを示す情報（フラグ）を設定する。

上述の除外対象判定部６１による一連の処理は必須ではないが、処理速度の向上と、軽トラックの存在や誤検出防止を考慮すると、ある方が好ましい。

なお、除外対象判定部６１（重なり処理部７２）は、２つの物体の重なり率を算出する場合、まず、「重なり領域＝ｍｉｎ（物体Ａの右端，物体Ｂの右端）－ｍａｘ（物体Ａの左端，物体Ｂの左端）」の演算を行う。そして、除外対象判定部６１は、「（重なり領域×１００）／物体Ａの幅」の演算を行うことで、物体Ａの重なり率を算出し、「（重なり領域×１００）／物体Ｂの幅重なり領域」の演算を行うことで、物体Ｂの重なり率を算出する。

なお、除外対象とされなかった物体には、除外対象判定部６１により棒状物体の検出候補としてフラグが付されることとなる。

（棒状物体の検出処理）
次に、図５に示すバー領域検出部６２は、除外対象判定部６１により、棒状物体の検出候補としてフラグが付された領域に、棒状物体が含まれるか否かの判定を行う。例えば、ＥＴＣ（Electronic Toll Collection）システムのバー、踏切の遮断機等は、バー単独で検出されるとは限らず、バーを上下動させる昇降機と共に、一つの物体として検出されることがある。この場合、バー領域検出部６２は、棒状物体であるバーの部分のみを検出する。

棒状物体の検出処理においては、視差情報（距離情報）を利用しつつ、図１０に示す局所の路面からの最大高さ（トップ）と、局所の路面からの最小高さ（ボトム）を基本特徴量として用いる。バー領域検出部６２は、背景視差の有無を用いて、棒状物体であるか否かを判定する処理も行う。なお、「局所」とは、棒状物体の検出候補となっている枠（物体の位置と大きさを示す矩形を示す情報であり、例えば当該矩形の角の座標と当該矩形の高さと幅の情報）を画像の横方向（幅方向）に分割した部分領域である。分割数は、実験的に決定される。「背景視差」は、棒状物体の検出候補となっている領域の背景に位置する物体の視差である。

このように、視差情報を用いることにより、棒状物体に模様が付されていて輝度情報では検出が困難になる場合であっても、棒状物体を確実に検出することができる。また、「局所」の情報を用いることにより、水平方向の視差情報が得られにくい場合であっても、確実に棒状物体を検出することができる（視差算出におけるマッチング処理は水平方向に行われることが多いことから、一般に水平方向のエッジは視差情報が得られにくくなる）。また、「局所」の情報を用いることにより、昇降中の棒状物体も検出しやすくなる。

バー領域検出部６２は、背景視差も考慮しつつ、
１．検出候補となっている物体のトップとボトムの差が小さい（物体自体の高さが低い。すなわち、物体の太さが細い）
２．検出候補となっている物体の路面からの高さが高い（例えば、物体のボトムの路面からの高さが高い）
３．検出候補となっている領域の物体の各局所のトップの高さが連続している（隣との差分が小さい）
といった条件を用いて、その検出候補の領域に含まれる物体を棒状物体として検出する。

（棒状物体の検出処理の詳細）
次に、バー領域検出部６２における棒状物体の検出処理を詳細に説明する。バー領域検出部６２は、第１の局所バー領域検出部８１における第１の局所バー領域検出処理、第２の局所バー領域検出部８２における第２の局所バー領域検出処理、垂れ幕領域検出部８３における垂れ幕領域検出処理、及び、バー領域統合部８４におけるバー領域統合処理により、棒状物体を検出している。単なる棒状物体だけでなく、棒状物体に垂れ幕が付された物体も検出対象とすることができる。

（第１の局所バー領域検出処理）
バー領域検出部６２は、棒状物体の検出を行う場合、まず、第１の局所バー領域検出部８１で第１の局所バー領域検出処理を行う。第１の局所バー領域検出処理では、物体の局所に対して背景視差が存在し、局所の高さ（太さ）が、太さ特徴量（棒状物体として検出する限界の太さを想定して実験的に決定された値）未満であり、局所の路面からの高さが、高さ特徴量（路面から棒状物体までの最低限の高さを想定して実験的に決定された値）以上である場合に、棒状物体の局所として検出する。

ここで、図１１及び図１２を参照し、バー領域検出部６２が、棒状物体の検出候補となっている領域の背景視差を検出する処理について説明する。図１１は、出力する物体領域を選択する処理の一例を示すフローチャートである。また、図１２は、棒状物体の検出候補となっている領域を示す模式図である。まず、バー領域検出部６２は、図１２（ａ）で示す領域のような棒状物体の検出候補となっている領域における、当該領域内の物体に対応する視差範囲の視差頻度の合計値を示す図１２（ｂ）で示すようなヒストグラム（以下、「物体視差ヒストグラム」と称する。）を作成する（ステップＳ７１）。当該領域内の物体は、種々の方法によって特定できる。例えば、公知の物体認識処理によって特定しても良いし、当該領域内において最も多い視差範囲の塊を物体としても良い。

続いて、バー領域検出部６２は、当該領域における、棒状物体の距離（視差）よりも所定距離以上遠方を示す視差点の視差頻度の合計値を示す、図１２（ｃ）で示すようなヒストグラム（以下、「背景視差ヒストグラム」と称する。）を作成する（ステップＳ７２）。続いて、バー領域検出部６２は、当該領域において、物体視差ヒストグラムの値が、物体視差頻度閾値以下であり、背景視差ヒストグラムの値が、背景視差頻度閾値以上である部分が存在するか否かを判定する（ステップＳ７３）。

当該部分が存在すると判別した場合（ステップＳ７３：Ｙｅｓ）、バー領域検出部６２は、当該範囲において背景が存在すると判定し（ステップＳ７４）、図１１のフローチャートの処理を終了する。これに対して、当該部分が存在しないと判別した場合（ステップＳ：Ｎｏ）、バー領域検出部６２は、当該範囲において背景が存在しないと判定し（ステップＳ７５）、図１１のフローチャートの処理を終了する。すなわち、バー領域検出部６２は、棒状物体の検出候補となっている領域内において、当該棒状物体の距離よりも遠い箇所がどの程度含まれているかを基準として、背景の有無を検出している。

そして、第１の局所バー領域検出部８１は、背景が検出されて棒状物体の検出候補とされた領域内の物体の局所のトップとなる高さと、その隣接した局所の高さとの差が、連続閾値（実験的に決定された値）未満の場合、第１の局所バー領域検出部８１は、この隣接する局所同士は連続していると判定する。棒状物体の検出処理に、背景の有無を用いることで、棒状物体及び昇降機が結合して検出された際等に、棒状物体及び昇降機を分離して検出し易くすることができる。背景視差の検出には、例えば第１の背景視差頻度閾値と、第１の背景視差頻度閾値の１／２の値の第２の背景視差頻度閾値との、２つの閾値を用いるのが、より好ましい。これにより、背景が存在するとして局所バーが一度検出された場合には、横方向に隣り合う局所領域としての次の局所バーの検出に用いる閾値を低くして（第１の背景視差頻度閾値の１／２の値の第２の背景視差頻度閾値に変更して）、背景を検出し易くすることができる。

このような第１の局所バー領域検出処理の流れを、図１３のフローチャートに示す。第１の局所バー領域検出部８１は、以下のステップＳ１１～ステップＳ２０の各処理を実行する。

ステップＳ１１：路面からトップまでの高さ、路面からボトムまでの高さ、背景視差頻度、及び、判定に用いる各特徴量（所定値）を取得。なお、「背景視差頻度」は、棒状物体の検出候補となっている物体の背景に位置する物体の視差の頻度値である。
ステップＳ１２：背景視差頻度の閾値を初期値に設定。
ステップＳ１３～ステップＳ１７間において、ステップＳ１４～ステップＳ１６及びステップＳ１８～ステップＳ２０の各処理を繰り返し実行する。すなわち、ステップＳ１４で、検出候補に含まれる物体の局所の高さが、棒状物体として検出する最大限の高さ（太さ）未満であると判別される間は、ステップＳ１４～ステップＳ１６の各処理が繰り返し実行され、棒状物体として検出する局所が順次更新される。換言すると、棒状物体として検出される局所が徐々に延長され（局所が徐々に増えていき）、最後に棒状物体全体の検出に至る。また、棒状物体全体が検出されると、ステップＳ１４からステップＳ１８に処理が進み、背景視差頻度の閾値を初期値に戻す処理等が行われた後、次の第１の局所領域から棒状物体を検出する処理に移行する。

ステップＳ１４：物体の路面からの最低高さが、所定の高さ特徴量よりも高く、かつ、背景視差頻度が背景視差頻度閾値より大きく、かつ、物体の高さ（太さ）が、所定の太さ特徴量未満であるか否かを判別。
ステップＳ１５：ステップＳ１４でＹｅｓと判別した場合に、第１の局所バー領域検出処理を行う局所を、次の局所に移行（更新）。
ステップＳ１６：背景差頻度閾値を初期値の１／２に変更。
ステップＳ１８：２回続けて、物体の局所ではない領域に対して、第１の局所バー領域検出処理が続けて行われたか否かを判別。Ｎｏの場合は、ステップＳ１４に処理を戻す。
ステップＳ１９：ステップＳ１８でＹｅｓと判別した場合に、次の検出候補となる領域に対して、第１の局所バー領域検出処理を施すべく、背景視差頻度閾値を初期値に戻す。
ステップＳ２０：現在、第１の局所バー領域検出処理を行っていた検出候補に対する処理を終了し、次の検出候補に対する第１の局所バー領域検出処理を行うために、各値を初期化する。

図１４は、このような第１の局所バー領域検出処理により得られる、棒状物体の検出出力を示している。この図１４は、駐車場の昇降機１００により、バー１０１が約３０度程度上げられた状態を示している。バー１０１の略々中央には、垂れ幕１０２が設けられている。なお、この図１４においては、下方向の矢印及び上方向の矢印の間の距離が、「バー１０１の幅」、及び、「垂れ幕１０２の幅を含めたバー１０１の幅」を示している。垂れ幕１０２が設けられている箇所の幅は、バー１０１のみの幅よりも広い幅となっている。

このような状態のバー１０１を第１の局所バー領域検出処理で検出すると、垂れ幕１０２が設けられている箇所は、棒状物体として検出する最大限の高さ（太さ）以上となるため、バー１０１として検出されない。また、背景視差の存在しない箇所も、バー１０１として検出されない。このため、バー１０１は、実際には連続して形成されているが、この第１の局所バー領域検出処理においては、図１４に示すようにバー検出出力Ｒ１、バー検出出力Ｒ２、及び、バー検出出力Ｒ３のように、断続的に検出される。

このように、第１の局所バー領域検出処理では、所定の特徴量（太さ特徴量や高さ特徴量）に加え、背景視差の情報を用いて検出した背景の情報を利用して棒状物体の局所を検出するため、棒状物体を正確に検出することができる。

（第２の局所バー領域検出処理）
次に、バー領域検出部６２は、第２の局所バー領域検出部８２で第２の局所バー領域検出処理を行う。上述の第１の局所バー領域検出処理の場合、背景視差を考慮して棒状物体の検出を行ったが、以下に説明する第２の局所バー領域検出処理の場合、背景視差の有無にかかわらず、物体の局所の高さが、所定の太さ特徴量（棒状物体の最大高さ（太さ）を想定した実験的に決定された値）未満であり，局所の路面からの高さが、所定の高さ特徴量以上の物体を検出する。

このとき、第２の局所バー検出処理における所定の特徴量（太さ特徴量や高さ特徴量）は、第１の局所バー検出処理における特徴量よりも厳しいものを用いる。すなわち、所定の太さ特徴量としてはより小さく、所定の高さ特徴量としてはより高いものを用いる。なお、太さ特徴量と高さ特徴量のいずれか一方のみを厳しくしても良い。

物体の局所のトップとなる路面からの高さと、隣接する局所の高さとの差が、連続閾値未満の場合、第２の局所バー領域検出部８２は、各局所は連続していると判定する。これにより、垂れ幕が付加されていないＥＴＣバー又は駐車場のバー等の細いバー部分を検出することが可能となる。垂れ幕が付加されていないバーを検出する場合、上述の第１の局所バー領域検出処理を行わずに、このような第２の局所バー領域検出処理を行えばよい。

図１５のフローチャートに、第２の局所バー領域検出処理の流れを示す。第２の局所バー領域検出部８２は、以下のステップＳ２１～ステップＳ２８の各処理を実行する。

ステップＳ２１：路面からトップまでの高さ、路面からボトムまでの高さ、及び、判定に用いる各特徴量（所定値）を取得。ステップＳ２１を実行すると、第２の局所バー領域検出部８２は、ステップＳ２２及びステップＳ２５の間における、ステップＳ２３、ステップＳ２４、ステップＳ２６～ステップＳ２８の処理を繰り返し実行する。

ステップＳ２３：検出候補となっている領域に含まれる物体の局所の路面からの最低高さが、所定の高さ特徴量を超え、かつ、局所の高さ（太さ）が、所定の太さ特徴量未満、かつ、検出候補となっている新たな領域に対して第２の局所バー領域検出処理が開始されていない、又は、前の局所のトップと現在の局所のトップとの差が、連続閾値未満であるか否かを判別。Ｙｅｓの場合は、ステップＳ２４に処理が移行し、Ｎｏの場合は、ステップＳ２６に処理が移行する。

ステップＳ２４：第２の局所バー領域検出処理を行う検出候補の領域を更新、又は、局所トップを次の局所のトップに更新。
ステップＳ２６：検出候補の領域に含まれる物体の幅が、幅特徴量以下か否かを判別。Ｙｅｓの場合は、ステップＳ２７に処理を移行し、Ｎｏの場合は、ステップＳ２８に処理を移行する。
ステップＳ２７：次の検出候補の領域に第２の局所バー領域検出処理を移行すべく、現在の検出候補の領域を破棄又は初期化。
ステップＳ２８：第２の局所バー領域検出処理を終了、又は、次の検出候補の領域に第２の局所バー領域検出処理を移行すべく、各値を初期化。

図１６は、このような第２の局所バー領域検出処理により得られる、棒状物体の検出出力を示している。この図１６は、図１４と同様の状態の昇降機１００、バー１０１及び垂れ幕１０２の状態を示している。このような状態のバー１０１を第２の局所バー領域検出処理で検出すると、垂れ幕１０２が設けられている箇所は、棒状物体の最大限の高さ（太さ）以上となるため、バー１０１として検出されない。

また、第２の局所バー領域検出処理の場合、背景視差の有無に関わらず、棒状物体の検出を行う。このため、第２の局所バー領域検出処理の場合、上述の第１の局所バー領域検出処理とは異なり、背景視差が存在する箇所でも、バー１０１が検出される。このため、第２の局所バー領域検出処理においては、連続するバー１０１は、垂れ幕１０２が設けられている箇所を除き、バー検出出力Ｒ１１及びバー検出出力Ｒ１２として断続的に検出される。

このように、第２の局所バー領域検出処理では、背景情報を用いることなく、かつ検出に用いる特徴量（太さ特徴量や高さ特徴量）として第１の局所バー検出処理における特徴量よりも厳しいものを用いるので、簡易な処理で、正確に棒状物体を検出できる。

（垂れ幕領域検出処理）
次に、バー領域検出部６２は、垂れ幕領域検出部８３で垂れ幕領域検出処理を行う。垂れ幕領域検出処理では、踏切のバー又は駐車場のバー等に設けられている垂れ幕を含めて棒状物体の検出を行う。垂れ幕領域検出部８３は、バーが下がった状態においては、棒状物体の高さ（太さ）が、第１の太さ特徴量（路面からの垂れ幕の最大限の高さ（太さ）を想定して実験的に決定した値）未満であり、路面から棒状物体のボトムまでの高さが、所定の高さ特徴量（垂れ幕の路面からの最小限の高さを想定して実験的に決定された値）以上の物体を棒状物体として検出する。

また、垂れ幕領域検出部８３は、路面からのバーの高さが、バーが上昇中であるか否かを判別し、バーが上昇中であると判別した場合、垂れ幕領域検出部８３は、所定の高さ特徴量以上、かつ、第２の太さ特徴量未満の物体を棒状物体として検出する。

なお、バーが上昇中であるか否かの判別の方法は、公知の手法が適用可能である。以下では、物体のボトムに相当する局所の路面からの高さが、所定の昇降閾値よりも大きいか否かで判別するものとする。

また、垂れ幕領域検出部８３は、物体の局所の路面からトップまでの高さと、隣接する局所のトップの高さとの差が、連続閾値未満の場合は、物体が連続して形成されていると判定する。

このような垂れ幕領域検出処理で用いられる連続閾値は、上述の第１及び第２の局所バー領域検出処理で用いられる連続閾値よりも小さな値となっている。このため、上述の第１及び第２の局所バー領域検出処理よりも、垂れ幕領域検出処理の方が、物体の各局所を、棒状物体の局所として連続的に検出し易くなっている。

このような垂れ幕領域検出処理の流れを、図１７のフローチャートに示す。垂れ幕領域検出部８３は、ステップＳ３１において、物体の局所の路面からトップまでの高さ、物体の局所の路面からボトムまでの高さ、及び、判定に用いる各特徴量（所定値）を取得し、ステップＳ３２からステップＳ３９の間のステップＳ３３～ステップＳ４３の処理を繰り返し実行する。

ステップＳ３３：検出候補となっている領域に含まれる物体のボトムに相当する局所の路面からの高さが、所定の高さ特徴量より大きいか否かを判別する。
ステップＳ３４：物体のボトムに相当する局所の路面からの高さが、所定の昇降閾値よりも低いと判別された際に（ステップＳ３３：Ｎｏ）、第１の太さ閾値（垂れ幕付きのバーが下がっている状態における太さ閾値）を設定。
ステップＳ４０：物体のボトムに相当する局所の路面からの高さが、所定の昇降閾値よりも高いと判別された際に（ステップＳ３３：Ｙｅｓ）、第２の太さ閾値（垂れ幕付きのバーが上昇している状態における太さ閾値）を設定。

ステップＳ３５：物体のボトムに相当する局所の路面からの高さが、所定の高さ閾値より大きいか否かを判別。
ステップＳ３６：物体のボトムに相当する局所の路面からの高さが、所定の高さ閾値より大きい場合（ステップＳ３５：Ｙｅｓ）、前のトップと現在のトップの差が連続閾値未満であるか否かを判別。
ステップＳ３７；物体の局所の高さ（太さ）が、ステップＳ３４又はステップＳ４０で設定した太さ閾値以下であるか否かを判別。
ステップＳ３８：次の検出候補の領域に垂れ幕領域検出処理を移行（更新）し、又は、垂れ幕領域検出処理を行う局所を前の局所のトップから、次の局所のトップに移行（更新）する。

ステップＳ４１：ステップＳ３５～ステップＳ３７においてＮｏと判別した場合、垂れ幕の幅が狭すぎる（幅特徴量以下）であるか否かを判別。
ステップＳ４２：垂れ幕の幅が十分な幅である場合（ステップＳ４１でＮｏと判別した場合）、現在行っている垂れ幕領域検出処理を終了し、次の検出候補の領域に垂れ幕領域検出処理を移行する。
ステップＳ４３：垂れ幕の幅が狭すぎる場合（ステップＳ４１でＹｅｓと判別した場合）、現在行っている垂れ幕領域検出処理を終了し、次の検出候補の領域に垂れ幕領域検出処理を移行すべく、各値を初期化する。

図１８は、このような垂れ幕領域検出処理により得られる、棒状物体の検出出力を示している。この図１８は、図１４と同様の状態の昇降機１００、バー１０１及び垂れ幕１０２の状態を示している。上述のように、垂れ幕領域検出処理で用いられる連続閾値は、第１及び第２の局所バー領域検出処理で用いられる閾値よりも小さな値となっており、垂れ幕領域検出処理の方が、棒状物体を連続的に検出し易くなっている。このため、上述の第１及び第２の局所バー領域検出処理においては、垂れ幕１０２の部分は棒状物体として検出されなかったが、この垂れ幕領域検出処理では、垂れ幕１０２の部分も含めて棒状物体として検出され、実際のバー１００に相当する、先端部から後端部にかけて連続する棒状物体を示すバー検出出力Ｒ２１が得られる。

このように、垂れ幕領域検出処理では、垂れ幕の高さを考慮しつつ、バーが下がっているか上昇中かに基づいて、垂れ幕の高さ閾値を可変にしている。バーが昇降すると局所の垂れ幕の高さ（太さ）の変動が大きいからである。これにより、垂れ幕付きの棒状物体であっても正確に検出できる。

（バー検出出力の統合処理）
次に、第１の局所バー領域検出部８１でバー検出出力Ｒ１、Ｒ２、Ｒ３が検出され、第２の局所バー領域検出部８２でバー検出出力Ｒ１１、Ｒ１２が検出され、垂れ幕領域検出部８３でバー検出出力Ｒ２１が検出されると、バー領域統合部８４は、各検出出力Ｒ１、Ｒ２、Ｒ３、Ｒ１１、Ｒ１２、Ｒ２１を統合処理する。統合処理の基本的な思想は、垂れ幕領域の中に第１、第２のバー領域が含まれているか否かを判断基準として、最終的な特定対象の棒状物体として統合するものである。図１９のフローチャートに、バー領域統合部８４のバー領域統合処理の流れを示す。

ステップＳ５１：第１の局所バー領域検出部８１で検出されたバー検出出力Ｒ１、Ｒ２、Ｒ３、及び、第２の局所バー領域検出部８２で検出されたバー検出出力Ｒ１１、Ｒ１２を取得。
ステップＳ５２：バー検出出力Ｒ１、Ｒ２、Ｒ３、Ｒ１１、Ｒ１２を合成（例えば、加算）して合成バー検出出力Ｒ３１，Ｒ３２（合成バー領域）を形成し、合成バーの水平方向の長さである合成バー水平長を算出。
ステップＳ５３：合成バーの水平長が、予め設定した第１の水平長特徴量（合成バーの水平方向の検出最低幅）以下か否かを判別。
ステップＳ５４：合成バーの水平長が、予め設定した第１の水平長特徴量（合成バーの水平方向の検出最低幅）以下の場合（ステップＳ５３：Ｙｅｓ）、当該物体に対して合成バーフラグを設定。

ステップＳ５５：垂れ幕領域検出部８３で検出されたバー検出出力Ｒ２１を取得。
ステップＳ５６：垂れ幕バーの実際の長さと水平長を算出。
ステップＳ５７：垂れ幕バーの水平長が、予め設定した第２の水平長特徴量（垂れ幕領域の水平方向の検出最低幅）以上で、かつ、垂れ幕付きバーの実際の長さが、長さ特徴量（垂れ幕領域の検出最低長）以上であるか否かを判別。
ステップＳ５８：垂れ幕付きバーの水平長が、予め設定した第２の水平長特徴量（垂れ幕領域の水平方向の検出最低幅）以上であり、かつ、垂れ幕付きバーの実際の長さが、長さ特徴量以上の場合（ステップＳ５７：Ｙｅｓ）、当該物体に対して垂れ幕フラグを設定。

ステップＳ５９：垂れ幕付きバーの領域に合成バーの領域が含まれるか否かを判別。
ステップＳ６０：垂れ幕付きバーの領域に合成バーの領域が含まれることを示す含有フラグを設定。
ステップＳ６１：含有フラグが設定されており、かつ、垂れ幕フラグが設定されているか否かを判別。
ステップＳ６２：ステップＳ６１でＹｅｓの場合、垂れ幕付きバーの領域を最終的なバー領域として特定（本実施形態では削除対象として設定）。
ステップＳ６３：ステップＳ５９でＮｏの場合、又は、ステップＳ６１でＮｏの場合、ステップＳ５４で設定される合成バーフラグが設定されているか否かを判別。合成バーフラグが設定されていない場合は（ステップＳ６３：Ｎｏ）、そのまま処理を終了。
ステップＳ６４：合成バーフラグが設定されている場合は（ステップＳ６３：Ｙｅｓ）、合成バーの領域を最終的なバー領域として特定（本実施形態では削除対象として設定）。

このように、垂れ幕領域の中に第１、第２のバー領域が含まれているか否かを基準として最終的な特定対象としてのバー領域に統合するので、それぞれの検出処理のみを行う場合に比べて、より正確な棒状物体の検出を行うことができる。また、あわせて垂れ幕領域の長さや第１、第２のバー領域の長さも判断基準として用いることで、不正確な検出を防いで正確な棒状物体の検出を行うことができる。

図２０は、このようなバー領域統合部８４によるバー領域統合処理を模式的に示す図である。この図２０に示すように、バー領域統合部８４は、第１の局所バー領域検出部８１で検出されたバー検出出力Ｒ１、Ｒ２、Ｒ３と、第２の局所バー領域検出部８２で検出されたバー検出出力Ｒ１１、Ｒ１２とを加算処理することで、合成バー検出出力Ｒ３１，Ｒ３２を形成する。そして、バー領域統合部８４は、合成バー検出出力Ｒ３１，Ｒ３２の全体が、垂れ幕領域検出処理で検出されたバー検出出力Ｒ２１に含まれる場合に、垂れ幕領域検出処理で検出されたバー検出出力Ｒ２１を有効と判定して、最終的なバー検出出力Ｒ４１として出力する。

ただし、垂れ幕領域検出処理で検出されたバー検出出力Ｒ２１に合成バー検出出力Ｒ３１、Ｒ３２が含まれ（ステップＳ５９：Ｙｅｓ）、ステップＳ６０で含有フラグがセットされた場合、かつ、ステップＳ５８で垂れ幕フラグがセットされた場合（ステップＳ６１：Ｙｅｓ）、バー領域統合部８４は、垂れ幕領域検出処理で検出されたバー検出出力Ｒ２１の領域全体をバー領域Ｒ４１として特定（削除対象設定）する（ステップＳ６２）。

これに対して、垂れ幕領域検出処理で検出されたバー検出出力Ｒ２１に合成バー検出出力Ｒ３１、Ｒ３２が含まれていないか（ステップＳ５９：Ｎｏ）または、垂れ幕フラグが設定されていない場合(ステップＳ６１：Ｎｏ)、合成バーフラグが設定されているならば（ステップＳ６３：Ｙｅｓ）、バー領域統合部８４は、合成バー検出出力Ｒ３１、Ｒ３２をバー領域Ｒ４１として特定（削除設定）する(ステップＳ６４)。

以上のように、バー検出出力の統合処理においては、垂れ幕領域検出処理の検出結果Ｒ２１が妥当であればこれを優先し、垂れ幕領域検出処理の検出結果が妥当でなく合成バー検出結果Ｒ３１，Ｒ３２が妥当であればこれを用いることとしている。なお、本実施形態においては、第１，第２の局所バー検出処理および垂れ幕領域検出処理による検出出力を統合処理するものとしているが、いずれかの検出処理を選択して実装することもできる。

（バー領域の除去処理）
次に、図５に示すバー領域除去部６３は、最終的なバー検出出力Ｒ４１に対応するバー領域のうち、除去すると判定された（削除設定された）バー領域を、上述のマッピング画像上から除去する。なお、既にバー領域除去除外対象と判定された物体は、マッピング画像上から除去しない。

まず、バー領域除去部６３は、傾き判定部９１により、最終的なバー検出出力Ｒ４１に対応するバー領域の棒状物体の傾き判定を行うことで、棒状物体をマッピング画像上から除去するか否かを判別する。すなわち、昇降機１００等のバーは、図２１（ｂ）に示すように、外に向かって上がる方向に動作する。これに対して車両のピラー等は、図２１（ａ）に示すように車両本体の屋根側からタイヤ側にかけて、外に向かって下がるかたちで形成されている。傾き判定部９１は、このような棒状物体の傾き方向の違いに基づいて、バー領域除去判定処理を行う。

例えば、除去判定部９２は、棒状物体が１５度以上外側に向かって下がっていた場合、その棒状物体は、駐車場又は踏切の遮断機の等のバーではないとして、マッピング画像上から除去しないと判定する。

さらに具体的には、バー領域が検出矩形（検出された物体領域）の左側にあり、左下がりになっているということは、例えば車両の左側のピラー等の物体を意味しており、バーではない。この場合、除去判定部９２は、バー領域除去を行わないと判定する。

同様に、バー領域が検出矩形（検出された物体領域）の右側にあり，右下がりになっているということは、例えば車両の右側のピラー等の物体を意味しており、バーではない。この場合、除去判定部９２は、バー領域除去を行わない。

次に、バー領域除去部６３の除去処理部９３は、以下の条件に基づいて、マッピング画像上からバー領域全体を除去し、又は、バー領域の一部をマッピング画像上から除去する。

画像処理装置３０は、このようにバー領域が除去されたマッピング画像に基づいて、例えば先行車両、路面、歩行者、ガードレール等の物体検出を行い、この物体検出結果（図３に示す認識データ）を車両ＥＣＵ３に供給する。車両ＥＣＵ３は、先行車両等の認識データに基づいて、自動ブレーキ制御、走行レーンキープアシスト及び操舵アシスト等の走行アシストを行う。

これにより、衝突防止システムは、車両１がＥＴＣバー又は踏切の遮断機等に近づいた際に、物体に接近したことを示す警報音を発生し、運転者に不快感を与える不都合を防止できる等、衝突防止システムの好ましい動作に貢献できる。

上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、距離の値（距離値）と視差値は等価に扱うことができる。このため、上述の実施の形態の説明では、距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

このような実施の形態及び実施の形態の変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
２ ステレオカメラ（撮像部）
２ａ カメラ部
２ｂ カメラ部
３ 車両ＥＣＵ
４ 撮像装置
３０ 画像処理装置
５１ 立体物認識プログラム
５２ 定数パラメータ
５３ バー領域検出パラメータ
６１ 除去対象判定部
６２ バー領域検出部
６３ バー領域除去部
７１ 近距離物体検出部
７２ 重なり処理部
７３ 除去処理部
８１ 第１の局所バー領域検出部
８２ 第２の局所バー領域検出部
８３ 垂れ幕領域検出部
８４ バー領域統合部
９１ 傾き判定部
９２ 除去判定部
９３ 除去処理部

特開２０１３－２２８９８７号公報

Claims (11)

1. 距離情報に基づいて物体領域を検出する物体領域検出部と、
   検出した前記物体領域を分割した分割領域内における物体について、路面からの最大高さ及び最小高さに基づいて前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たすか判断し、前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たす場合に、当該分割領域を局所領域として検出する局所領域検出部と、
   前記局所領域内における前記物体の路面からの最大高さと隣接する局所領域内における物体の路面からの最大高さとの差が連続して閾値未満の場合に、検出される前記物体領域を特定対象の物体として特定する物体特定部とを有する情報処理装置。
2. 前記局所領域検出部は、第１の局所領域検出部を含み、
   前記第１の局所領域検出部は、前記分割領域内において、前記物体領域内の物体よりも遠い領域が存在する場合に、前記分割領域を前記局所領域として検出すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記局所領域検出部は、第２の局所領域検出部をさらに含み、
   前記第１の局所領域検出部は、前記分割領域内における物体について、当該物体自体の太さが第１の太さ特徴量より小さい条件および当該物体の路面からの高さが第１の高さ特徴量より大きい条件の少なくとも一方を満たす場合に、当該分割領域を第１の局所領域として検出し、
   前記第２の局所領域検出部は、前記分割領域内における物体について、当該物体自体の太さが前記第１の太さ特徴量より小さい第２の太さ特徴量より小さい条件および当該物体の路面からの高さが前記第１の高さ特徴量より大きい第２の高さ特徴量より大きい条件の少なくとも一方を満たす場合に、当該分割領域を第２の局所領域として検出し、
   前記物体特定部は、前記第１の局所領域および前記第２の局所領域に基づいて、前記特定対象の物体を特定すること
   を特徴とする請求項２記載の情報処理装置。
4. 前記局所領域検出部は、前記局所領域の路面からの高さに応じて、前記局所領域を検出する際の条件を変化させること
   を特徴とする請求項１から請求項３のうち、いずれか一項に記載の情報処理装置。
5. 前記物体領域検出部により検出された前後の位置関係となる各物体が、一塊の物体を部分的に分割して検出したことを示す距離内に位置する場合、前後の位置関係となる前記各物体のうち、少なくとも前側に位置する物体は、前記物体の特定対象から除外する除外部を有すること
   を特徴とする請求項１から請求項４のうち、いずれか一項に記載の情報処理装置。
6. 前記物体領域検出部で検出された各物体領域から、前記物体特定部で特定された
   物体に対応する物体領域を除去する除去部を、さらに有すること
   を特徴とする請求項１から請求項５のうち、いずれか一項に記載の情報処理装置。
7. 撮像情報に基づいて、距離情報を生成する撮像部と、
   請求項１から請求項６のうち、いずれか一項に記載の情報処理装置と
   を有する撮像装置。
8. 請求項７に記載の撮像装置と、
   前記特定対象の物体の特定結果に基づいて、所定の機器を制御する制御部と
   を有する機器制御システム。
9. 請求項８に記載の機器制御システムの前記制御部により制御されること
   を特徴とする移動体。
10. 物体領域検出部が、距離情報に基づいて物体領域を検出する物体領域検出ステップと、
    局所領域検出部が、検出した前記物体領域を分割した分割領域内における物体について、路面からの最大高さ及び最小高さに基づいて前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たすか判断し、前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たす場合に、当該分割領域を局所領域として検出する局所領域検出ステップと、
    物体特定部が、前記局所領域内における前記物体の路面からの最大高さと隣接する局所領域内における物体の路面からの最大高さとの差が連続して閾値未満の場合、検出される前記物体領域を特定対象の物体として特定する物体特定ステップとを有する情報処理方法。
11. コンピュータを、
    距離情報に基づいて物体領域を検出する物体領域検出部と、
    検出した前記物体領域を分割した分割領域内における物体について、路面からの最大高さ及び最小高さに基づいて前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たすか判断し、前記物体自体の太さおよび前記物体の路面からの最小高さが所定の条件を満たす場合に、当該分割領域を局所領域として検出する局所領域検出部と、
    前記局所領域内における前記物体の路面からの最大高さと隣接する局所領域内における物体の路面からの最大高さとの差が連続して閾値未満の場合に、検出される前記物体領域を特定対象の物体として特定する物体特定部として機能させること
    を特徴とする情報処理プログラム。
    

Images