JP6592991B2 - 物体検出装置、物体検出方法及びプログラム - Google Patents

Description

本発明は、物体検出装置、物体検出方法及びプログラムに関する。

近年、情報処理技術や画像処理技術の発達により、人や自動車等の物体を高速に検出する技術が開発されている。また、この物体検出に係る技術を自動車の走行支援に適用することで、人や車両等への接近や衝突が予測される場合に、運転者への報知や自動ブレーキ等の衝突防止制御が行われている。例えば、特許文献１には、ステレオカメラで撮像された一対の濃淡画像から距離画像を生成し、当該距離画像に基づいて物体を検出する技術が開示されている。

しかしながら、従来の技術では、複数の物体が密接して存在するような場合、それら複数の物体を一つの物体として検出してしまう可能性があった。

本発明は、上記に鑑みてなされたものであって、物体の検出精度を向上させることが可能な物体検出装置、物体検出方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画素毎に視差情報又は距離情報を含んだ画像を入力する画像入力手段と、前記画像の一軸方向での画素位置と、当該画素位置での視差値と、当該視差値が出現する視差頻度とを対応付けた第１マップを生成する第１生成手段と、前記第１マップでの画素位置の単位を、実距離の単位に変換した第２マップを生成する第２生成手段と、前記第２マップにおいて、所定値以上の視差頻度を有する連結した画素群の領域を、物体が存在する孤立領域として検出する検出手段と、前記孤立領域を構成する各画素の視差頻度に基づいて、前記孤立領域を分割する分割手段と、を備える。

本発明によれば、物体の検出精度を向上させることができるという効果を奏する。

図１は、実施形態に係る車両制御システムの概略構成を示す模式図である。 図２は、図１に示した撮像部及び画像解析部の概略構成を示す図である。 図３は、画像解析部の機能構成の一例を示す図である。 図４は、基準画像の一例を模式的に示す図である。 図５は、図４の基準画像に対応する視差画像を模式的に示す図である。 図６は、図５の視差画像に対応する第１Ｕマップを模式的に示す図である。 図７は、図６の第１Ｕマップに対応する第２Ｕマップを模式的に示す図である。 図８は、孤立領域検出部の動作を説明するための図である。 図９は、孤立領域検出部の動作を説明するための図である。 図１０は、基準画像の他の例を模式的に示す図である。 図１１は、図１０の基準画像に対応する第２Ｕマップを模式的に示す図である。 図１２は、図１１で示した画素群を拡大した図である。 図１３は、分離処理部の構成の一例を示す図である。 図１４は、分離処理部が行う処理の流れを示すフローチャートである。 図１５は、ヒストグラムの一例を模式的に示す図である。 図１６は、ヒストグラム分離部が行う処理の流れを示すフローチャートである。 図１７は、ヒストグラムの他の例を模式的に示す図である。 図１８は、分離処理部による分離後の孤立領域の一例を示す図である。 図１９は、対応領域検出部の動作を説明するための図である。 図２０は、基準画像の他の例を模式的に示す図である。 図２１は、図２０の基準画像に対応する第２Ｕマップを模式的に示す図である。 図２２は、図２１で示した画素群を拡大した図である。 図２３は、変形例１に係る分離処理部の機能構成を示す図である。 図２４は、画像変換部の動作を説明するための図である。 図２５は、画像変換部による変換後の孤立領域の一例を示す図である。 図２６は、変形例２に係る分離処理部の機能構成を示す図である。 図２７は、変形例３に係る分離処理部の機能構成を示す図である。

以下に添付図面を参照して、この発明に係る実施形態を詳細に説明する。なお、本実施形態では、本発明に係る物体検出装置、物体検出方法及びプログラムを、自動車の衝突防止機能の一部に適用した例について説明するが、適用先の装置や対象はこれに限定されないものとする。

図１は、本実施形態に係る車両制御システムの概略構成を示す模式図である。車両制御システム１は、移動体である自動車等の自車両Ｍに搭載され、撮像部１０と、画像解析部２０と、車両制御部３０とを備える。

撮像部１０は、自車両Ｍの前方領域を撮像領域として撮像する。撮像部１０は、例えば、自車両ＭのフロントガラスＦＧのルームミラー（図示せず）付近に設置される。撮像部１０の撮像によって得られる画像データは、画像解析部２０に入力される。画像解析部２０は、撮像部１０から送信される画像データを解析して、自車両Ｍの前方に存在する人や他車両等の物体を検出する。画像解析部２０の検出結果は、車両制御部３０に出力される。

車両制御部３０は、自車両Ｍに設けられた各種のセンサ（図示せず）から得られる車両情報に基づき、自車両Ｍの走行を支援するための制御を行う。車両情報は、例えば、車速や加速度、舵角、ヨーレート等を含む。また、車両制御部３０は、画像解析部２０から送信される検出結果に基づき、衝突を回避するための制御を行う。係る制御としては、例えば、自車両Ｍの運転者に物体の接近を報知する警告報知や、自動ブレーキ制御等が挙げられる。

図２は、撮像部１０及び画像解析部２０の概略構成を示す模式図である。撮像部１０は、ステレオカメラであり、水平方向（左右方向）に設置された２台のカメラ１１を有する。各カメラ１１は、レンズ１２、画像センサ１３及び画像センサ制御部１４を備える。

画像センサ１３は、ＣＣＤやＣＭＯＳ等のイメージセンサである。画像センサ１３は、レンズ１２により結像される画像を画像データとして順次取得する。画像センサ制御部１４は、画像解析部２０（ＣＰＵ２１、ＦＰＧＡ２２）からシリアルバスＬ１を介して入力される露光制御値等の各種指示データに基づき、画像センサ１３の動作を制御する。また、画像センサ制御部１４は、画像センサ１３で取得された画像データを、データバスＬ２を介して、画像解析部２０のＲＡＭ２４に転送する。これにより、画像解析部２０のＲＡＭ２４には、視差情報を含む左右一対の画像データが順次記憶されることになる。

なお、後段の画像解析部２０では、画像データに含まれる輝度信号に基づき画像の解析を行う。そこで、カメラ１１の各々は、画像データとして輝度信号を画像解析部２０に出力する構成としてもよい。また、画像センサ１３がカラーイメージセンサの場合、例えば、画像センサ制御部１４が、下記変換式（１）に基づいてＲＧＢ信号から輝度信号（Ｙ）を取得することで、当該輝度信号を画像解析部２０に出力する構成としてもよい。以下、輝度信号で構成される画像データを輝度画像という。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ … （１）

画像解析部２０は、ＣＰＵ２１、ＦＰＧＡ２２、ＲＯＭ２３、ＲＡＭ２４、シリアルＩＦ２５及びデータＩＦ２６等を備える。ＣＰＵ２１は、画像解析部２０の動作を統括的に制御する。ＦＰＧＡ２２は、ＲＡＭ２４に保存された画像データに対し所定の処理を施す。例えば、ＦＰＧＡ２２は、ガンマ補正やゆがみ補正（左右画像の平行化）、後述する視差画像の生成等、リアルタイム性が要求される画像処理を実行する。また、カラーの画像データが撮像部１０から入力される場合、ＦＰＧＡ２２が、上記変換式（１）に基づいてＲＧＢ信号から輝度信号（輝度画像）を取得する構成としてもよい。

ＲＯＭ２３は、ＣＰＵ２１が実行可能な各種のプログラムや設定データを記憶する。例えば、ＲＯＭ２３は、後述するオブジェクトタイプテーブル等を記憶する。ＲＡＭ２４は、ワークエリアとして機能する。例えば、ＲＡＭ２４は、各種の画像データ（輝度画像、視差画像等）や、後述する第１Ｕマップ（第１マップに対応）、第２Ｕマップ（第２マップに対応）等を一時記憶する。

シリアルＩＦ２５及びデータＩＦ２６は、車両制御部３０（図１参照）とＣＰＵ２１との間のデータ授受を制御する。ＣＰＵ２１は、自車両Ｍの車両情報を、データＩＦ２６を介して車両制御部３０から取得する。また、ＣＰＵ２１は、画像データから得られる各種の検出データを、シリアルＩＦ２５やデータＩＦ２６を介して、車両制御部３０に出力する。

次に、画像解析部２０が備える機能構成について説明する。本実施形態において、画像解析部２０は、物体検出装置として機能する。

図３は、画像解析部２０の機能構成の一例を示す図である。図３に示すように、画像解析部２０は、平行化画像生成部４１、視差画像生成部４２、第１Ｕマップ生成部４３、第２Ｕマップ生成部４４、孤立領域検出部４５、分離処理部４６、対応領域検出部４７、オブジェクトタイプ分類部４８及び３次元位置決定部４９等を備える。なお、画像解析部２０の各機能部は、ＣＰＵ２１とＲＯＭ２３に記憶されたプログラムとの協働により実現されるソフトウェア構成としてもよい。また、画像解析部２０の各機能部は、ＦＰＧＡ２２や専用のハードウェア等により実現されるハードウェア構成としてもよい。

平行化画像生成部４１は、撮像部１０から入力される左右一対の画像データ（輝度画像）毎に、平行化処理を実行する。平行化処理では、左右のカメラ１１における光学系の歪みや相対的な位置関係に基づいて、各カメラ１１から出力される左右一対の輝度画像を、平行化ステレオ画像となるように変換する。ここで、平行化ステレオ画像は、２つのピンホールカメラが平行に取り付けられたときに得られる理想的なステレオ画像を意味する。

なお、平行化処理の方法は特に問わず、公知の技術を用いることができる。例えば、平行化画像生成部４１は、Δｘ＝ｆ（ｘ、ｙ）、Δｙ＝ｇ（ｘ、ｙ）という多項式を用いて各画素での歪み量を計算する。そして、平行化画像生成部４１は、その計算結果を用いて、各カメラ１１から出力される輝度画像の各画素を変換することで、平行化ステレオ画像を生成する。多項式は、例えば、ｘ（画像の横方向位置）、ｙ（画像の縦方向位置）に関する５次多項式に基づく。

視差画像生成部４２は、平行化理後の一対の輝度画像から左右の視差値を検出する。ここで視差値とは、輝度画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を表すものである。

例えば、視差画像生成部４２は、基準画像の或る行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、視差画像生成部４２は、比較画像における同じ行において、定義した基準画像のブロックと同じサイズのブロックを１画素ずつ横ライン方向へずらす。また、視差画像生成部４２は、基準画像で定義したブロックの画素値の特徴を示す特徴量と、比較画像における各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、視差画像生成部４２は、算出した相関値に基づき、比較画像における各ブロックの中で最も基準画像のブロックと相関があった比較画像のブロックを選定するマッチング処理を行う。その後、視差画像生成部４２は、基準画像のブロックの注目画素と、マッチング処理で選定された比較画像のブロックの対応画素との位置ズレ量を視差値ｄとして算出する。視差画像生成部４２は、このような視差値ｄを算出する処理を基準画像の全域又は特定の一領域について行う。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができる。また、相関値としては、例えば、基準画像のブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像のブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、総和値が最小となるブロックが、最も相関を有するものとなる。

マッチング処理の方法は特に問わないものとする。例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）等の方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。サブピクセルレベルの視差値を推定する推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。また、このサブピクセルレベルの推定視差値には誤差が発生するので、この推定誤差を減少させるＥＥＣ（推定誤差補正）等を用いてもよい。

また、視差画像生成部４２は、基準画像上の各画像部分（画素）について検出される視差値を、それぞれの画像部分の画素値として表した視差画像を生成する。ここで、視差画像を構成する各画素の画素位置は、点（ｕ、ｖ）で表される。なお、ｕは横座標、ｖは縦座標である。また、点（ｕ、ｖ）における画素の画素値は、ｄ（ｕ、ｖ）で表され、該点（ｕ、ｖ）における視差値（視差情報）を表す。なお、視差画像の生成方法については、公知の技術を用いることが可能である。

第１Ｕマップ生成部４３は、視差画像生成部４２が生成した視差画像に基づき、視差画像の一軸方向での画素位置と、当該画素位置での視差値と、当該視差値が出現する視差頻度とを対応付けた第１Ｕマップを生成する。具体的に、第１Ｕマップ生成部４３は、視差画像におけるｕ方向位置と、視差値ｄと、視差頻度とを、３次元の各軸方向に設定することで、２次元ヒストグラムを生成する。この２次元ヒストグラムを、第１Ｕマップと呼ぶ。なお、第１Ｕマップは、一般的にＵ−Ｄｉｓｐａｒｉｔｙマップと呼ばれるデータに対応する。

第２Ｕマップ生成部４４は、第１Ｕマップのｕ軸を、視差画像の画素単位から実際の距離の単位に変換した第２Ｕマップを生成する。画素単位から実距離の単位への変換方法は、特に問わないものとする。

ここで、図４〜図７を参照して、視差画像、第１Ｕマップ及び第２Ｕマップについて説明する。図４は、基準画像（輝度画像）の一例を模式的に示す図である。図５は、図４の基準画像に対応する視差画像を模式的に示す図である。この視差画像では、基準画像の横軸がｕ方向位置に対応し、基準画像の縦軸がｖ方向位置に対応する。図６は、図５の視差画像に対応する第１Ｕマップを模式的に示す図である。この第１Ｕマップでは、横軸が視差画像におけるｕ方向位置に対応し、縦軸が視差値ｄに対応する。また、図７は、図６の第１Ｕマップに対応する第２Ｕマップを模式的に示す図である。この第２Ｕマップでは、横軸が視差画像におけるｕ方向位置を実距離に変換した位置ｒｕに対応し、縦軸が視差値ｄに対応する。なお、図６、図７の縦軸では、下方に向かうほど視差値ｄが大きくなる。

図４に示す画像例では、路面の左右両側にガードレールＡ１１、Ａ１２が存在する。また、ガードレールＡ１１、Ａ１２の間に、他車両として、先行車両Ａ１３と対向車両Ａ１４とがそれぞれ１台ずつ存在する。また、図４の基準画像と図示しない比較画像との関係から、図５に示す視差画像が得られる。この視差画像では、画素群Ｂ１１、画素群Ｂ１２が、基準画像でのガードレールＡ１１、Ａ１２に対応する。また、画素群Ｂ１３が、基準画像での先行車両Ａ１３に対応し、画素群Ｂ１４が、基準画像での対向車両Ａ１４に対応する。なお、視差画像では、視差値ｄは画素値として表される。

また、第１Ｕマップでは、図６に示すように、ガードレールＡ１１、Ａ１２（画素群Ｂ１１、Ｂ１２）、に対応する高頻度の画素群Ｃ１１、Ｃ１２が、左右両端部から中央に向かって延びるような略直線状に分布する。また、先行車両Ａ１３（画素群Ｂ１３）及び対向車両Ａ１４（画素群Ｂ１４）に対応する高頻度の画素群Ｃ１３、Ｃ１４は、画素群Ｃ１１と画素群Ｃ１２との間で、略ｕ軸方向に平行に延びる線分の状態で分布する。なお、先行車両Ａ１３の背面部分又は対向車両Ａ１４の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図６に示すように、他車両に対応する高頻度の画素群は、略ｕ軸方向に延びる線分と略ｕ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

また、図６の第１Ｕマップから生成される第２Ｕマップは、図７のように表される。この第２Ｕマップでは、被写体との距離に応じて視差値ｄを間引きした、間引き視差という単位を縦軸に用いた例を示している。なお、視差値ｄの間引き量は、近距離に存在する物体ほど大きくすることが好ましい。近距離の場合は物体が大きく写るため、視差情報（視差値ｄの個数）が多く距離の分解能も大きいので大きく間引くことができる。

図７の第２Ｕマップにおいて、ガードレールＡ１１、Ａ１２（画素群Ｃ１１、Ｃ１２）に対応する高頻度の画素群Ｄ１１、Ｄ１２は、左右両端部において垂直に延びるような略直線状に分布する。また、先行車両Ａ１３（画素群Ｃ１３）及び対向車両Ａ１４（画素群Ｃ１４）に対応する高頻度の画素群Ｄ１３、Ｄ１４は、画素群Ｄ１１と画素群Ｄ１２との間で、略Ｌ字状の線分の状態で分布する。ここで、略Ｌ字状を構成する線分のうち、ｒｕ軸方向の線分は、先行車両Ａ１３の背面部分又は対向車両Ａ１４の前面部分に対応する。また、略Ｌ字状を構成する線分のうち、ｄ軸方向の線分は、先行車両Ａ１３及び対向車両Ａ１４の側面部分に対応する。

図３に戻り、孤立領域検出部４５は、第２Ｕマップ上において、視差頻度が周囲より高い領域を孤立領域として検出する。具体的に、孤立領域検出部４５は、視差頻度が所定値（閾値）以上の一の画素（以下、有効画素という）について、当該有効画素を中心とする８近傍に他の有効画素が存在するか否かを判定する。ここで、有効画素か否かを判別するための閾値は特に問わないものとするが、孤立領域の検出結果等に基づき、孤立領域の検出を適正に行うことが可能な値を採用することが好ましい。例えば、閾値は、撮像領域の環境や、物体を測定する測定モード等の条件に応じて切り替える構成してもよい。なお、有効画素は、図７で示した画素群Ｄ１３等を構成する各画素に対応するものである。

他の有効画素が８近傍に存在する場合、孤立領域検出部４５は、中心の有効画素と他の有効画素とが連結した画素群と判断する。また、孤立領域検出部４５は、第２Ｕマップ上の各有効画素について上記処理を実行することで、各有効画素を一又は複数の画素群にグルーピングする。そして、孤立領域検出部４５は、各画素群に外接する矩形状の領域を孤立領域としてそれぞれ検出する。

ここで、図８、図９を参照して、孤立領域検出部４５の動作について説明する。図８、図９は、孤立領域検出部４５の動作を説明するための図であり、有色で表した各画素は、第２Ｕマップ上での有効画素を示している。

例えば、図８の場合、孤立領域検出部４５は、上記した８近傍のルールに基づき、複数の有効画素を、画素群Ｄ１と画素群Ｄ２とにそれぞれグルーピングする。そして、孤立領域検出部４５は、画素群Ｄ１、Ｄ２にそれぞれ外接する矩形状の領域を、孤立領域Ｅ１、Ｅ２としてそれぞれ検出する。また、図９の場合、孤立領域検出部４５は、上記した８近傍のルールに基づき、複数の有効画素を、一の画素群Ｄ３にグルーピングする。そして、孤立領域検出部４５は、画素群Ｄ３に外接する矩形状の領域を孤立領域Ｅ３として検出する。

なお、孤立領域検出部４５は、孤立領域の検出に先駆けて、第２Ｕマップに含まれるノイズの除去や、孤立領域の検出を容易化するための処理を施してもよい。例えば、孤立領域検出部４５は、平滑化フィルタ等を用いることで第２Ｕマップを平滑化する処理を施してもよい。また、孤立領域検出部４５は、閾値の値に基づいて第２Ｕマップに二値化処理を施してもよい。また、グルーピング後の画素群の大きさ（幅や高さ、画素数等）が所定値以下のものを、検出対象から除外する構成としてもよい。

ところで、撮像領域内において複数の物体（オブジェクト）が並んで存在するような場合、図９に示したように、各の物体に対応する画素群（有効画素）が接続された状態で表されることがある。

例えば、図１０に示すように、道路の中央で人Ａ２１、Ａ２２が並んでいる状態を撮像した基準画像からは、図１１に示すように、人Ａ２１、Ａ２２に対応する画素群Ｄ２３が表された第２Ｕマップが得られる。ここで、図１０は、基準画像の他の例を模式的に示す図である。また、図１１は、図１０の基準画像に対応する第２Ｕマップを模式的に示す図である。

図１０では人Ａ２１と人Ａ２２とが密接して並んでいるため、当該人Ａ２１、Ａ２２に対応する第２Ｕマップ上での有効画素は、一塊の画素群Ｄ２３として表される。この場合、孤立領域検出部４５は、図１２に示すように、画素群Ｄ２３を一塊の画素群としてグルーピングする。また、孤立領域検出部４５は、画素群Ｄ２３に外接する矩形状の領域を孤立領域Ｅ２３として検出する。なお、図１２は、図１１で示した画素群Ｄ２３部分の拡大図であり、画素の濃度が濃くなるほど視差頻度が高いことを示している。

このように、複数の物体が隣接して存在するような場合、孤立領域検出部４５では、個々の物体の孤立領域を検出できない可能性がある。また、個々の物体の孤立領域を検出することができない場合、孤立領域を大きく見積もることになるため、物体の本来の大きさを特定することができず、物体の識別精度が低下することなる。

そこで、本実施形態の分離処理部４６では、複数の物体分の画素群で構成される一の孤立領域を、物体毎の孤立領域に分割するための処理を実行する。以下、分離処理部４６について説明する。

図１３は、分離処理部４６の構成の一例を示す図である。図１３に示すように、分離処理部４６は、ヒストグラム生成部４６１、ヒストグラム平滑化部４６２及びヒストグラム分離部４６３等の機能部を備える。また、分離処理部４６は、各機能部と協働して図１４に示す処理を実行することで、孤立領域検出部４５で検出された孤立領域を、物体毎の孤立領域に分割する。ここで、図１４は、分離処理部４６が行う処理の流れを示すフローチャートである。

まず、ヒストグラム生成部４６１は、分離処理部４６で検出された孤立領域毎に、視差頻度の分布を示すヒストグラムを、視差頻度分布情報として生成する（ステップＳ１１）。具体的に、ヒストグラム生成部４６１は、孤立領域に含まれる各画素（有効画素）の視差頻度に基づき、当該孤立領域の横軸方向の各位置（ｒｕ）をビンとしたヒストグラムを生成する。ここで、ヒストグラムの生成方法は特に問わないものとする。例えば、ヒストグラム生成部４６１は、孤立領域の縦軸（ｄ軸）方向について視差頻度を積算することで、各位置ｒｕをビンとしたヒストグラムを生成する。また、他の生成方法としては、ヒストグラム生成部４６１は、孤立領域の縦軸（ｄ軸）方向について視差頻度の中央値をとることで、各位置ｒｕをビンとしたヒストグラムを生成する。なお、本実施形態では、視差頻度を積算する前者の生成方法を用いるものとする。

ヒストグラム平滑化部４６２は、ヒストグラム生成部４６１が生成したヒストグラムを平滑化する処理を施す（ステップＳ１２）。ここで、平滑化は公知の技術を用いるものとする。なお、ヒストグラム平滑化部４６２は、ヒストグラムの全体を一度に平滑化する構成としてもよい。また、後述するヒストグラム分離処理において処理対象のビンが選択される毎に、周辺のビンの視差頻度に基づき処理対象のビンを平滑化する構成としてもよい。

例えば、図１２に示した孤立領域Ｅ２３についてヒストグラムを生成すると、その結果は図１５に示すものとなる。図１５は、ヒストグラムの一例を示す図であり、ヒストグラム平滑化部４６２による平滑化後の状態を示している。また、横軸は孤立領域での横軸方向位置（ｒｕ）に対応し、縦軸は視差頻度の積算値に対応する。

図１４に戻り、ヒストグラム分離部４６３は、ヒストグラム平滑化部４６２で平滑化されたヒストグラムに対し、孤立領域を分離するための処理を施す（ステップＳ１３）。以下、ヒストグラム分離部４６３がステップＳ１３で行う処理について説明する。

図１６は、ヒストグラム分離部４６３が実行する処理の流れを示すフローチャートである。まず、ヒストグラム分離部４６３は、ヒストグラムを分割する際の指標値となる、最大値ＭＡＸ及び第１閾値ＴＨ１の値を０に初期化する（ステップＳ２１）。次いで、ヒストグラム分離部４６３は、位置ｒｕが最小のビン（ヒストグラム）を最初の処理対象に設定する（ステップＳ２２）。

続いて、ヒストグラム分離部４６３は、処理対象のビンの視差頻度（積算値）が最大値ＭＡＸを上回るか否かを判定する（ステップＳ２３）。視差頻度が最大値ＭＡＸを上回る場合（ステップＳ２３；Ｙｅｓ）、ヒストグラム分離部４６３は、その視差頻度に基づき、最大値ＭＡＸ及び第１閾値ＴＨ１を更新する（ステップＳ２４）。具体的に、ヒストグラム分離部４６３は、最大値ＭＡＸを視差頻度の値に更新する。また、ヒストグラム分離部４６３は、更新後の最大値ＭＡＸに所定の比率αを乗算することで、新たな第１閾値ＴＨ１を算出する。

ここで、比率αの値は特に問わず、例えば０．８等の任意の値を設定することができる。なお、比率αの値は、孤立領域の分離結果等に基づき、適正な分離を行うことが可能な値を採用することが好ましい。また、比率αの値は、撮像領域の環境や各種の条件に応じて切り替える構成としてもよい。

次いで、ヒストグラム分離部４６３は、処理対象のビンにラベル番号を付与し（ステップＳ２５）、ステップＳ３１に移行する。ここで、付与されるラベル番号は、例えば“１”であり、後述するステップＳ３１でインクリメントが行われるまで、同一のラベル番号が付与されるものとする（ステップＳ２８も同様）。

一方、ステップＳ２３において、視差頻度が最大値ＭＡＸ以下と判定した場合（ステップＳ２３；Ｎｏ）、ヒストグラム分離部４６３は、当該視差頻度が第１閾値ＴＨ１を上回るか否かを判定する（ステップＳ２６）。視差頻度が第１閾値ＴＨ１を上回る場合（ステップＳ２６；Ｙｅｓ）、ヒストグラム分離部４６３は、ステップＳ２５に移行することでラベル番号の付与を行う。また、視差頻度が第１閾値ＴＨ１以下の場合（ステップＳ２６；Ｎｏ）、ヒストグラム分離部４６３は、処理対象のビンに隣接する他のビンの視差頻度と比較し、処理対象のビンの視差頻度が最小か否かを判定する（ステップＳ２７）。

ステップＳ２７において、視差頻度が最小とならない場合（ステップＳ２７；Ｎｏ）、ヒストグラム分離部４６３は、ステップＳ２５に移行することでラベル番号の付与を行う。また、視差頻度が最小となった場合（ステップＳ２７；Ｙｅｓ）、ヒストグラム分離部４６３は、処理対象のビンにラベル番号を付与した後（ステップＳ２８）、そのラベル番号をインクリメントする（ステップＳ２９）。次いで、ヒストグラム分離部４６３は、最大値ＭＡＸ及び第１閾値ＴＨ１の値を０に初期化した後（ステップＳ３０）、ステップＳ３１に移行する。

続くステップＳ３１において、ヒストグラム分離部４６３は、末尾のビンまで処理したか否かを判定する（ステップＳ３１）。未処理のビンが存在する場合（ステップＳ３１；Ｎｏ）、ヒストグラム分離部４６３は、次のビンを処理対象に設定した後（ステップＳ３２）、ステップＳ２３に戻る。また、末尾のビンまで処理した場合（ステップＳ３１；Ｙｅｓ）、ヒストグラム分離部４６３は、次のステップＳ３３に移行する。

ここで、図１５のヒストグラムを参照して、ステップＳ２１〜Ｓ３１の処理について説明する。なお、図１５では、左端のビンを位置ｒｕが最小のビンとして説明を進めるが、第２Ｕマップ内での孤立領域の配置位置等に応じて、右端のビンを位置ｒｕが最小のビンとしてもよい。

ヒストグラム分離部４６３は、左端のビン（１）から右端のビン（１６）にかけてステップＳ２１〜Ｓ３１の処理を順次実行する。ここで、ビン（１）からビン（５）にかけては視差頻度が増加するため、ヒストグラム分離部４６３は、最大値ＭＡＸ及び第１閾値ＴＨ１を順次更新する。また、視差頻度はビン（５）でピークを迎えるため、ヒストグラム分離部４６３は、ビン（５）以降、最大値ＭＡＸ及び第１閾値ＴＨ１の更新を停止する。そして、ヒストグラム分離部４６３は、ビン（８）で視差頻度の最小値（谷）を検出するまで、ビン（１）からビン（８）にかけて、同一のラベル番号“１”を順次付与する。

続いて、ヒストグラム分離部４６３は、ラベル番号を“２”にインクリメントし、最大値ＭＡＸ及び第１閾値ＴＨ１を初期化する。続くビン（９）からビン（１１）にかけて視差頻度が増加するため、ヒストグラム分離部４６３は、最大値ＭＡＸ及び第１閾値ＴＨ１を順次更新する。また、視差頻度はビン（１１）でピークを迎えるため、ヒストグラム分離部４６３は、ビン（１１）以降、最大値ＭＡＸ及び第１閾値ＴＨ１の更新を停止する。そして、ヒストグラム分離部４６３は、ビン（１６）で視差頻度の最小値（谷）を検出するまで、ビン（９）から末尾のビン（１６）にかけて、同一のラベル番号“２”を順次付与する。

上記の処理により同一のラベル番号が付与されたビンのグループは、ヒストグラムの山を形成する。例えば、ヒストグラム分離部４６３は、図１５のヒストグラムについて、ビン（１）〜ビン（８）の山と、ビン（９）〜ビン（１６）の山とを検出する。

図１６に戻り、ヒストグラム分離部４６３は、続くステップＳ３３において、最後に検出された山（ヒストグラム）の最大値が、予め定められた第２閾値ＴＨ２を上回っているか否かを判定する（ステップＳ３３）。第２閾値ＴＨ２を上回っていると判定した場合（ステップＳ３３；Ｙｅｓ）、ヒストグラム分離部４６３は本処理を終了し、図１４のステップＳ１４に移行する。また、第２閾値ＴＨ２以下と判定した場合（ステップＳ３３；Ｎｏ）、ヒストグラム分離部４６３は、最後の山の各ビンに付与したラベル番号をデクリメントし（ステップＳ３４）、図１４のステップＳ１４に移行する。

ここで、図１７を参照して、ステップＳ３３、Ｓ３４の処理について説明する。図１７は、ヒストグラムの他の例を示す図である。図１７に示すように、視差頻度の最小値（ビン（１４））が出現した直後に小規模な山（ビン（１５）、（１６））が出現する場合がある。この場合、ヒストグラム分離部４６３は、上記したステップＳ２１〜Ｓ３１の処理により、ビン（１５）及びビン（１６）に対し、他のグループとは異なるラベル番号“３”を付与することになる。

しかしながら、図１７のヒストグラムの場合、ラベル番号“３”が付与されたグループは独立したグループでなく、ラベル番号“２”が付与された直前のグループの一部と考えることが適正である。そこで、ヒストグラム分離部４６３は、最後のグループの山の最大値（ピーク値）が第２閾値ＴＨ２以下となる場合、直前のグループに付与したラベル番号に振りなおすことで、グループ分けの誤りを訂正する。これにより、孤立領域が不用意に分割されてしまうことを防ぐことができるため、孤立領域の大きさをより適切に見積もることができる。

なお、第２閾値ＴＨ２の値は特に問わないものとする。例えば、第２閾値ＴＨ２は、固定値としてもよいし、直前のグループの最大値ＭＡＸに所定の比率βを乗算することで導出してもよい（但しα＞β）。また、第２閾値ＴＨ２や比率βの値は、孤立領域の分離結果等に基づき、適正な分離を行うことが可能な値を採用することが好ましい。また、第２閾値ＴＨ２や比率βの値は、撮像領域の環境や各種の条件に応じて切り替える構成してもよい。また、本実施形態では、末尾のグループにステップＳ３３、Ｓ３４の処理を施す構成としたが、これに限らず、新たなグループ（ヒストグラムの山）を検出する度に、当該グループに処理を施す構成としてもよい。

図１４に戻り、分離処理部４６は、ステップＳ１３で各孤立領域のヒストグラムに付与されたラベル番号に基づき、孤立領域を分割するための処理を行う（ステップＳ１４）。例えば、図１２の孤立領域Ｅ２３は、図１５のヒストグラムに付与されたラベル番号に基づき、図１８に示すように、ビン（８）、（９）間を分離位置とした二つの孤立領域Ｅ２１とＥ２２とに分割される。なお、全てのヒストグラム（ビン）に同一のラベル番号が付された孤立領域については、分割の対象外となる。

ここで、孤立領域の幅（第２Ｕマップ上でのＵ軸方向長さ）は、その孤立領域が表す物体の幅に対応する。また、矩形領域の高さは、その孤立領域が表す物体の奥行きに対応する。一方、物体の高さについては、この段階では不明である。

そこで、対応領域検出部４７は、物体の高さを得るため、孤立領域に対応する視差画像上での対応領域を検出する。なお、分離処理部４６で複数の孤立領域に分割された場合、対応領域検出部４７は、分割後の各孤立領域について対応領域の検出を行うものとする。

図１９は、対応領域検出部４７の動作を説明するための図であり、図５に示した視差画像に対応する。まず、対応領域検出部４７は、第２Ｕマップ上での孤立領域の幅、すなわちｒｕ軸方向座標がｒｕｍｉｎからｒｕｍａｘまでの範囲に対応する検出幅Ｗ１、Ｗ２について、視差画像のｖ軸方向に走査する。次いで、対応領域検出部４７は、第２Ｕマップ上での孤立領域の高さ、すなわちｄ軸方向の座標がｄｍｉｎからｄｍａｘまでの範囲の値を視差値ｄとする画素を、上記検出幅の中から候補画素として抽出する。

対応領域検出部４７は、このようにして抽出した候補画素群の中で、検出幅Ｗ１、Ｗ２に対して所定の数以上の候補画素が存在する横方向のラインを、オブジェクト候補ラインとして決定する。次に、対応領域検出部４７は、視差画像をＶ軸方向に走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

対応領域検出部４７は、各孤立領域に対応する各検出幅について、オブジェクトラインを探索する。そして、対応領域検出部４７は、各孤立領域について検出したオブジェクトライン群の外接矩形を、当該孤立領域に対応する視差画像上での領域（オブジェクト領域）Ｆ１３、Ｆ１４として決定する。

オブジェクトタイプ分類部４８は、対応領域検出部４７で検出されたオブジェクト領域の特性に基づき、このオブジェクト領域に表された物体の種別（オブジェクトタイプ）を分類する。

具体的に、オブジェクトタイプ分類部４８は、下記式（１）に基づき、オブジェクト領域の高さ（ｙｏｍａｘ−ｙｏｍｉｎ）から、そのオブジェクト領域に表された物体の高さＨｏを算出する。ここで、「ｚｏ」は、オブジェクト領域内での最小視差値ｄｍｉｎから計算される、当該オブジェクト領域に対応するオブジェクトと自車両との間の距離である。また、「ｆ」はカメラの焦点距離である。
Ｈｏ＝ｚｏ×（ｙｏｍａｘ−ｙｏｍｉｎ）／ｆ …（１）

また、オブジェクトタイプ分類部４８は、下記式（２）に基づき、オブジェクト領域の幅（ｘｏｍａｘ−ｘｏｍｉｎ）から、そのオブジェクト領域に表された物体の幅Ｗｏを算出する。
Ｗｏ＝ｚｏ×（ｘｏｍａｘ−ｘｏｍｉｎ）／ｆ …（２）

さらに、オブジェクトタイプ分類部４８は、下記の式（３）に基づき、オブジェクト領域内での最大視差値ｄｍａｘと最小視差値ｄｍｉｎとから、そのオブジェクト領域に表された物体の奥行きＤｏを算出する。ここで、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。
Ｄｏ＝ＢＦ×（１／（ｄｍｉｎ−ｏｆｆｓｅｔ）−１／（ｄｍａｘ−ｏｆｆｓｅｔ）） …（３）

オブジェクトタイプ分類部４８は、オブジェクト領域（孤立領域）の各々について、その領域に表された物体の種別を分類（特定）する。具体的に、オブジェクトタイプ分類部４８は、各オブジェクト領域の幅Ｗｏ、高さＨｏ、奥行きＤｏを特徴量として取得すると、予め用意した各オブジェクトタイプの特徴量と比較することで該当するオブジェクトタイプを特定する。ここで、オブジェクトタイプとしては、例えば、歩行者（子供）や歩行者（大人）、オートバイや自転車、普通自動車や大型自動車等が挙げられる。これらオブジェクトタイプの特徴量（幅Ｗｏ、高さＨｏ、奥行きＤｏ）は、例えば、テーブル（オブジェクトタイプテーブル）等のデータ形式でＲＯＭ２３に記憶される。

３次元位置決定部４９は、対応領域検出部４７で検出された各オブジェクト領域に対応する物体の３次元位置を特定する。ここで、３次元位置は、実空間上での存在位置を意味する。本実施形態では、カメラ１１に対する相対的な横方向位置Ｘｏ及び高さ方向位置Ｙｏを、３次元位置とする。

具体的に、３次元位置決定部４９は、視差画像上における画像中心座標（ｉ＿ｃｅｎｔｅｒＸ，ｉ＿ｃｅｎｔｅｒＹ）と、各オブジェクト領域の中心座標（ｒ＿ｃｅｎｔｅｒＸ，ｒ＿ｃｅｎｔｅｒＹ）とを取得する。そして、３次元位置決定部４９は、下記式（４）及び式（５）に基づき、撮像部１０（ステレオカメラ）に対する相対的な横方向位置Ｘｏ及び高さ方向位置Ｙｏを算出する。なお、「Ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））である。ここで、「ＢＦ」は、撮像部１０の基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。また、「ｆ」は撮像部１０の焦点距離である。
Ｘｏ＝Ｚ×（ｒ＿ｃｅｎｔｅｒＸ−ｉ＿ｃｅｎｔｅｒＸ）／ｆ …（４）
Ｙｏ＝Ｚ×（ｒ＿ｃｅｎｔｅｒＹ−ｉ＿ｃｅｎｔｅｒＹ）／ｆ …（５）

画像解析部２０は、オブジェクト領域の各々について、オブジェクトタイプ分類部４８及び３次元位置決定部４９で取得されたオブジェクトタイプと３次元位置とを組とし、車両制御部３０に出力する。

そして、車両制御部３０では、画像解析部２０から入力されるオブジェクトタイプと３次元位置との組に基づき衝突回避制御を行う。例えば、車両制御部３０は、図示しない表示装置や音声出力装置を介して、物体のオブジェクトタイプや自車両Ｍとの位置関係を運転者に報知する。また、例えば、車両制御部３０は、物体との衝突が予測される場合、ブレーキを掛けることで自車両Ｍを減速させる。

以上のように、本実施形態によれば、孤立領域検出部４５で検出された孤立領域を、当該孤立領域を構成する各画素の視差頻度に基づいて分割する。これにより、物体の大きさをより適切に見積もることができるため、物体の検出精度を向上させることができる。また、本実施形態によれば、物体の大きさが適切に見積もられた孤立領域に基づき、オブジェクトタイプを分類することができるため、オブジェクトタイプの分類精度を向上させることができる。

［変形例１］
次に、上記実施形態の変形例（変形例１）について説明する。上記実施形態では、孤立領域を検出するため、第１Ｕマップの横軸を実際の距離の単位に変換した第２Ｕマップを生成する構成を説明した。しかしながら、この第１Ｕマップから第２Ｕマップへの変換では、物体を表す画素領域の形状が変形することが知られている。係る変形は、特に遠方で且つ画角端で顕著となる。

例えば、図２０のように、遠方で且つ画角端に存在する人Ａ３１、Ａ３２を撮像した場合、この基準画像に基づき生成される第２Ｕマップは図２１のようになる。ここで、図２０は、基準画像の他の例を模式的に示す図である。また、図２１は、図２０の基準画像に対応する第２Ｕマップを模式的に示す図である。なお、図２０は、図１０に示した場面（場所）と同様である。

図２０の状態の場合、人Ａ３１と人Ａ３２とが密接して並んでいるため、当該人Ａ３１、Ａ３２に対応する第２Ｕマップ上での有効画素は、一塊の画素群Ｄ３３として表される。ここで、道路の中央に存在する人Ａ２１、Ａ２２を撮像した基準画像から得られる画素群Ｄ２３（図１１参照）と、図２１の画素群Ｄ３３とを比較すると、画素群Ｄ３３の形状は画素群Ｄ２３の形状と比較し傾斜（変形）していることが分かる。

また、図２１の場合、孤立領域検出部４５は、図２２に示すように、傾斜した画素群Ｄ３３を一塊の画素群としてグルーピングし、この画素群Ｄ３３に外接する矩形状の領域を孤立領域Ｅ３３として検出する。なお、図２２は、図２１で示した画素群Ｄ３３部分の拡大図であり、画素の濃度が濃くなるほど視差頻度が高いことを示している。

このように、孤立領域内の画素群に変形が生じている場合、ヒストグラム生成部４６１が生成するヒストグラムも影響を受けることになる。例えば、図２２の孤立領域Ｅ３３についてヒストグラムを生成すると、ヒストグラム生成部４６１は、孤立領域Ｅ３３の縦軸方向について視差頻度の加算等を行う。このとき、ヒストグラム生成部４６１は、孤立領域Ｅ３３の中央部周辺において、異なる物体に係る視差頻度を混合することになるため、物体間の境界は不鮮明となる。このように生成されたヒストグラムでは、個々の物体について孤立領域を分離することが困難となる可能性がある。

そこで、変形例１では、孤立領域（画素群）に生じた変形を補正することで、孤立領域の分離を容易に行うことが可能な構成について説明する。以下、本変形例に係る分離処理部４６Ａの構成について説明する。分離処理部４６Ａは、上記実施形態の分離処理部４６に対応するものである。なお、上記実施形態と同様の構成については、同一の符号を付与し説明を省略する。

図２３は、変形例１に係る分離処理部４６Ａの構成を模式的に示す図である。図２３に示すように、分離処理部４６Ａは、画像変換部５１１、ヒストグラム生成部４６１、ヒストグラム平滑化部４６２及びヒストグラム分離部４６３等の機能部を備える。

画像変換部５１１には、孤立領域検出部４５で検出された孤立領域と、各孤立領域の位置情報（画素位置、座標等）とが入力される。なお、位置情報は、孤立領域検出部４５から入力される構成としてもよいし、ＣＰＵ２１から入力される構成としてもよい。画像変換部５１１は、孤立領域の各々について、当該孤立領域内で画素位置を変換し、変換後の孤立領域をヒストグラム生成部４６１に出力する。以下図２４を参照しながら、画像変換部５１１の動作について説明する。

図２４は、画像変換部５１１の動作を説明するための図である。ここで、図２４は、第２Ｕマップを表しており、横軸が位置ｒｕに対応し、縦軸が視差値ｄに対応する。また、図２４中に示す孤立領域は、図２２に示した孤立領域Ｅ３３に対応する。なお、第２Ｕマップの中央を走る縦軸方向の破線は、撮像部１０のカメラ位置（カメラ中心）を示している。

まず、画像変換部５１１は、孤立領域Ｅ３３内において、変換処理の基準となる基準位置（視差値ｄ）を設定する。ここで、基準位置は、特に問わないものとするが、図２４に示すように、孤立領域Ｅ３３の中心位置に対応する視差値ｄとすることが好ましい。

次いで、画像変換部５１１は、孤立領域Ｅ３３を構成する各画素の横軸方向の画素位置ｘ_org（単位：ピクセル）を、下記式（６）に基づき、新たな画素位置ｘ_new（単位：ピクセル）に変換する。ここで、ｄｉｓｔ₁は、基準位置と撮像部１０（自車両Ｍ）との間の距離（単位：ｍｍ）である。また、ｄｉｓｔ₂は、処理対象の画素と撮像部１０（自車両Ｍ）との間の距離（単位：ｍｍ）である。なお、ｄｉｓｔ₁及びｄｉｓｔ₂は、第２Ｕマップ上での距離としてもよいし、視差値ｄにより導出される実際の距離としてもよい。
ｘ_new＝（ｄｉｓｔ₂／ｄｉｓｔ₁）×ｘ_org …（６）

例えば、図２４に示すように、孤立領域Ｅ３３の中心を基準位置とした場合、当該基準位置より視差値ｄの大きい画素、つまり基準位置より下の画素は、上記式（６）により横軸のプラス方向（右方向）に移動する。また、基準位置より視差値ｄの小さい画素、つまり基準位置より上の画素は、上記式（６）により横軸のマイナス方向（左方向）に移動する。その結果、孤立領域Ｅ３３内での傾斜した画素群Ｄ３３は（図２２参照）は、図２５に示すように、当該傾斜が補正された画素群Ｄ３３ａに変換される。

このように、本変形例の分離処理部４６Ａでは、遠方且つ画角端で検出された孤立領域であっても、孤立領域に含まれる画素群の形状を補正することができるため、孤立領域の分離を容易に行うことができる。

なお、画像変換部５１１は、孤立領域検出部４５で検出された孤立領域の全てを処理する構成としてもよいし、選択的に処理する構成としてもよい。後者の構成の場合、画像変換部５１１は、第２Ｕマップ上における孤立領域の位置情報に基づき、変形の生じる位置に存在する孤立領域を処理の対象とする。例えば、画像変換部５１１は、図２１に示した領域Ｇ１に存在する孤立領域に上記の変換処理を施し、変換処理後の孤立領域をヒストグラム生成部４６１に出力する。また、画像変換部５１１は、図２１に示した領域Ｇ２に存在する孤立領域を処理の対象から除外し、当該孤立領域をそのままヒストグラム生成部４６１に出力する。これにより、変形の発生する孤立領域のみを処理の対象とすることができるため、処理の効率化を図ることができる。

［変形例２］
上記変形例１では、画像変換部５１１が、処理対象の孤立領域を選択し、変換処理を施す構成を説明した。変形例２では、画像変換部５１１とは異なる独立した機能部が孤立領域の選択を行う構成について説明する。以下、本変形例に係る分離処理部４６Ｂの構成について説明する。分離処理部４６Ｂは、上記実施形態の分離処理部４６に対応するものである。なお、上記実施形態及び変形例と同様の構成については、同一の符号を付与し説明を省略する。

図２６は、変形例２に係る分離処理部４６Ｂの構成を模式的に示す図である。図２６に示すように、分離処理部４６Ｂは、画像変換部５１１、選択部５１２、ヒストグラム生成部４６１、ヒストグラム平滑化部４６２及びヒストグラム分離部４６３等の機能部を備える。なお、画像変換部５１１は、変形例１で説明した選択機能を備えてもよいし、備えなくてもよい。

ここで、選択部５１２には、孤立領域検出部４５で検出された孤立領域と、画像変換部５１１で変換された孤立領域と、各孤立領域の位置情報とが入力される。選択部５１２は、各孤立領域の位置情報に基づき、入力された孤立領域の中からヒストグラム分離部４６３に出力する孤立領域を選択する。具体的に、選択部５１２は、変形が生じる領域の孤立領域については、画像変換部５１１で変換された孤立領域を選択し、変形が生じない領域の孤立領域については、孤立領域検出部４５で検出された孤立領域を選択する。なお、選択の基準となる領域は、例えば、図２１に示した領域Ｇ１、Ｇ２を用いてもよい。

このように、本変形例の分離処理部４６Ｂでは、遠方且つ画角端で検出された孤立領域であっても、孤立領域に含まれる画素群の形状を補正することができるため、変形例１と同様、孤立領域の分離を容易に行うことができる。

［変形例３］
上記変形例１、２では、画像変換部５１１で孤立領域に変換処理を施した後、この変化処理後の孤立領域に基づいてヒストグラムを生成する構成を説明した。変形例３では、画像変換部５１１を用いずに、ヒストグラムの生成を行う構成について説明する。以下、本変形例に係る分離処理部４６Ｃの構成について説明する。分離処理部４６Ｃは、上記実施形態の分離処理部４６に対応するものである。なお、上記実施形態及び変形例と同様の構成については、同一の符号を付与し説明を省略する。

図２７は、変形例３に係る分離処理部４６Ｃの構成を模式的に示す図である。図２７に示すように、分離処理部４６Ｃは、投票位置決定部５１３、ヒストグラム生成部５１４、ヒストグラム平滑化部４６２及びヒストグラム分離部４６３等の機能部を備える。

投票位置決定部５１３には、孤立領域検出部４５で検出された孤立領域と、各孤立領域の位置情報とが入力される。投票位置決定部５１３は、孤立領域の各々について、当該孤立領域のエリア内に存在する各画素（有効画素）の投票位置を決定する。ここで、投票位置は、その有効画素の視差頻度に係るヒストグラムのビンの位置、つまり第２Ｕマップの横座標の位置を指定するものである。なお、投票位置決定部５１３は、上記式（６）に基づき算出した画素位置ｘ_newを、投票位置として決定するものとする。

また、投票位置決定部５１３は、孤立領域毎に、有効画素の視差頻度と当該有効画素の投票位置とを対応付け、ヒストグラム生成部５１４に出力する。

ヒストグラム生成部５１４は、投票位置決定部５１３から入力される有効画素の視差頻度と投票位置とに基づき、孤立領域毎にヒストグラムを生成する。ここで、ヒストグラム生成部５１４が生成するヒストグラムは、孤立領域に生じた変形の補正後の結果を反映したものとなる。そのため、ヒストグラム分離部４６３では、ヒストグラム生成部５１４が生成したヒストグラムから、孤立領域の分離を容易に行うことができる。

このように、本変形例の分離処理部４６Ｃでは、遠方且つ画角端で検出された孤立領域であっても、補正後の結果を反映したヒストグラムを生成することができるため、上記変形例と同様、孤立領域の分離を容易に行うことができる。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、撮像部１０としてステレオカメラを用いる形態を説明したが、これに限らないものとする。例えば、撮像部１０として、被写体との距離（奥行き）を示す距離情報を画素毎に含む画像データ（距離画像）を取得可能な、単眼の距離画像カメラを用いる構成としてもよい。また、レーザ等の測距手段と、通常の単眼カメラとを組み合わせることで、距離画像を取得可能な構成としてもよい。これらの構成を採用した場合、被写体との距離は、視差値ｄの逆数に比例するため、距離画像に基づき、視差画像や第１Ｕマップ、第２Ｕマップ等を生成することができる。

また、上記実施形態では、視差頻度分布情報としてヒストグラムの画像を用いて説明したが、これは説明を容易にするために例として示したものである。画像解析部２０で孤立領域の分離を行う際、ヒストグラム生成部４６１は、実際にヒストグラムを画像として生成する必要はない。例えば、ヒストグラム生成部４６１は、例えばヒストグラムを表す数値情報を、視差頻度分布情報として生成してもよい。

１ 車両制御システム
１０ 撮像部
２０ 画像解析部
３０ 車両制御部
４１ 平行化画像生成部
４２ 視差画像生成部
４３ 第１Ｕマップ生成部
４４ 第２Ｕマップ生成部
４５ 孤立領域検出部
４６、４６Ａ、４６Ｂ、４６Ｃ 分離処理部
４７ 対応領域検出部
４８ オブジェクトタイプ分類部
４９ ３次元位置決定部
４６１ ヒストグラム生成部
４６２ ヒストグラム平滑化部
４６３ ヒストグラム分離部
５１１ 画像変換部
５１２ 選択部
５１３ 投票位置決定部
５１４ ヒストグラム生成部

特開２０１４−０９６００５号公報

Claims (10)

1. 画素毎に視差情報又は距離情報を含んだ画像を入力する画像入力手段と、
   前記画像の一軸方向での画素位置と、当該画素位置での視差値と、当該視差値が出現する視差頻度とを対応付けた第１マップを生成する第１生成手段と、
   前記第１マップでの画素位置の単位を、実距離の単位に変換した第２マップを生成する第２生成手段と、
   前記第２マップにおいて、所定値以上の視差頻度を有する連結した画素群の領域を、物体が存在する孤立領域として検出する検出手段と、
   前記孤立領域を構成する各画素の視差頻度に基づいて、前記孤立領域を分割する分割手段と、
   を備える物体検出装置。
2. 前記孤立領域を構成する各画素の視差頻度に基づいて、画素位置毎の視差頻度分布情報を生成する第３生成手段を更に備え、
   前記分割手段は、前記視差頻度分布情報に基づいて、前記孤立領域を分割する請求項１に記載の物体検出装置。
3. 前記第３生成手段は、前記孤立領域を構成する各画素の視差頻度の和を前記画素位置毎に算出したヒストグラムを、前記視差頻度分布情報として生成する請求項２に記載の物体検出装置。
4. 前記第３生成手段は、前記孤立領域を構成する各画素の視差頻度の中央値を前記画素位置毎に算出したヒストグラムを、前記視差頻度分布情報として生成する請求項２に記載の物体検出装置。
5. 前記分割手段は、前記ヒストグラムの谷に対応する画素位置で、前記孤立領域を分割する請求項３又は４に記載の物体検出装置。
6. 前記分割手段は、前記ヒストグラムの最小の画素位置から末尾の画素位置までの間、順に、所定の第１の閾値との比較、及び、隣接する視差頻度同士の値の比較を行い、直前の視差頻度の値を上回り、かつ、前記第１の閾値を上回った視差頻度に対してラベルを付与すると共に、前記第１の閾値及び最大視差頻度の値を更新し、また、直前の視差頻度の値を下回ったが、前記第１の閾値を上回った視差頻度に対し、前記ラベルと同じラベル番号のラベルを付与し、また、直前の視差頻度の値及び前記第１の閾値をそれぞれ下回った視差頻度に対し、前記ラベルと同じラベル番号のラベルを付与し、最小の視差頻度が検出された際に、ラベル番号をインクリメントすると共に、前記第１の閾値及び最大視差頻度の値を初期値に戻す動作を繰り返し行うことで前記孤立領域の分割を行い、最後に検出した孤立領域の視差頻度の最大値が、所定の第２の閾値を下回る場合に、最後に検出した孤立領域の各視差頻度に対して付与したラベルのラベル番号を、最後に検出した孤立領域の直前の孤立領域の視差頻度に対して付与したラベルと同じラベル番号に修正する請求項３〜５の何れか一項に記載の物体検出装置。
7. 前記第３生成手段が生成したヒストグラムを平滑化する平滑化手段を更に備え、
   前記分割手段は、前記平滑化手段で平滑化されたヒストグラムに基づき、前記孤立領域を分割する請求項３〜６の何れか一項に記載の物体検出装置。
8. 前記検出手段は、前記所定値以上の視差頻度を有する画素間の距離が８近傍内の場合に、連結した画素群と判断する請求項１に記載の物体検出装置。
9. 画素毎に視差情報又は距離情報を含んだ画像を入力し、
   前記画像の一軸方向での画素位置と、当該画素位置での視差値と、当該視差値が出現する視差頻度とを対応付けた第１マップを生成し、
   前記第１マップでの画素位置の単位を、実距離の単位に変換した第２マップを生成し、
   前記第２マップにおいて、所定値以上の視差頻度を有する連結した画素群の領域を、物体が存在する孤立領域として検出し、
   前記孤立領域を構成する各画素の視差頻度に基づいて、前記孤立領域を分割する、
   ことを含む物体検出方法。
10. 物体検出装置のコンピュータを、
    画素毎に視差情報又は距離情報を含んだ画像を入力する画像入力手段と、
    前記画像の一軸方向での画素位置と、当該画素位置での視差値と、当該視差値が出現する視差頻度とを対応付けた第１マップを生成する第１生成手段と、
    前記第１マップでの画素位置の単位を、実距離の単位に変換した第２マップを生成する第２生成手段と、
    前記第２マップにおいて、所定値以上の視差頻度を有する連結した画素群の領域を、物体が存在する孤立領域として検出する検出手段と、
    前記孤立領域を構成する各画素の視差頻度に基づいて、前記孤立領域を分割する分割手段と、
    して機能させるためのプログラム。

Images