WO2021171776A1

WO2021171776A1 - 処理装置

Info

Publication number: WO2021171776A1
Application number: PCT/JP2020/048700
Authority: WO
Inventors: 雅幸竹村; 健志磨; 春樹的野
Original assignee: 日立Astemo株式会社
Priority date: 2020-02-25
Filing date: 2020-12-25
Publication date: 2021-09-02
Also published as: JP7225149B2; US20230051270A1; US11881034B2; DE112020005547T5; JP2021135596A

Abstract

視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知する。車載環境認識装置１は、車両に搭載されたステレオカメラ部１００により取得された一対の画像を処理する処理装置を備える。処理装置は、一対の画像の視差を測定し、視差画像を生成するステレオマッチング部２００と、ステレオマッチング部２００により生成された視差画像から、車両が走行する道路の段差候補を抽出する段差候補抽出部３００と、ステレオカメラ部１００により取得された画像から線分候補を抽出する線分候補抽出部４００と、段差候補抽出部３００により抽出された段差候補を、線分候補抽出部４００により抽出された線分候補と照合し、照合結果と前記線分候補の傾きとに基づいて、段差候補の妥当性を解析する解析部５００と、解析部５００の解析結果に基づいて、道路に存在する段差を検知する立体物検知部６００と、を備える。

Description

処理装置

　本発明は、処理装置に関し、例えば、車載環境認識装置に備えられる処理装置に関する。

　車両に搭載されたカメラ等により車両の周囲環境を認識し、未然に事故を防止する予防安全技術が普及期を迎えており、周囲環境の認識技術の開発も加速している。認識対象の周囲環境の１つに、道路に存在する段差がある。

　道路に存在する段差は、道路の側方に位置する路端部に存在する縁石や側溝等の段差、路面に存在するバンプや継目等の段差、路面に存在する障害物等であり、多種多様である。特に、一般道路の路端部に存在する段差は、歩道の縁石又は壁の有無や区画線の有無等が道路毎に大きく異なったり、電柱、岩又は草等の障害物が走行車線へはみ出していたり、何らかの物体が落下していたりするため、極めて複雑である。道路に存在する段差を正確に検知することは、走行車線間の区画線を正確に検知することよりも難易度が高い。

　道路に存在する段差を検知する発明として、例えば、特許文献１に記載された画像処理装置がある。特許文献１に記載の画像処理装置は、ステレオ画像を取得する入力部と、入力部で取得したステレオ画像から視差分布を算出し、視差分布に基づいて視差が等しい点を結ぶ複数の等視差線を算出し、複数の等視差線に基づいて路面の形状を検知するプロセッサとを備える。

特開２０１８－２００１９０号公報

　特許文献１に記載の画像処理装置は、ステレオ画像から視差分布を算出する際、画像上の小領域を水平方向にずらしながらステレオ画像を成す第１画像と第２画像との対応点を探索することによって視差を算出している。

　第１画像及び第２画像上の線分は、当該線分上の複数の箇所において同じような特徴量を有している。当該線分の延びる方向と、第１画像と第２画像との対応点の探索方向とが同じ方向である場合、正しい対応点の位置を探索することが困難となり、視差の誤測定が発生し易い。視差の誤測定が発生すると、視差に応じて測定される奥行方向の距離についても測定結果に大きな誤差が含まれる。これにより、実際には存在しない箇所に段差が存在すると誤って検知してしまう可能性が有る。

　特許文献１に記載の画像処理装置は、視差の誤測定について何ら考慮されていないため、道路に存在する段差をより正確に検知する点で、改善の余地がある。

　本発明は、上記に鑑みてなされたものであり、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することを目的とする。

　上記課題を解決するために、本発明は、一対の画像の特徴を取得し、特徴画像を生成する特徴画像生成部と、前記特徴画像生成部により生成された前記特徴画像から、前記車両が走行する道路の段差候補を抽出する段差候補抽出部と、前記画像から線分候補を抽出する線分候補抽出部と、前記段差候補抽出部により抽出された前記段差候補を、前記線分候補抽出部により抽出された前記線分候補と照合し、照合結果と前記線分候補の傾きとに基づいて、前記段差候補の妥当性を解析する解析部と、前記解析部の解析結果に基づいて、前記道路に存在する段差を検知する立体物検知部とを備えることを１つの特徴とする。

　本発明によれば、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。
　上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

車載環境認識装置の構成を示す図。三角測量の原理を利用した距離の測定方法について説明する図。ステレオカメラ部の構成を示す図。ステレオマッチング部の構成を示す図。マッチングウィンドウ内の特徴量の偏りが縦方向に有る場合の解析結果を説明する図。マッチングウィンドウ内の特徴量の偏りが横方向に有る場合の解析結果を説明する図。マッチングウィンドウ内の特徴量の偏りが斜め方向に有る場合の解析結果を説明する図。図１に示す段差候補抽出部の構成を示す図。図８に示す路面平面解析部の処理を説明する図。図８に示す路端部段差抽出部及び走行路面段差抽出部の処理を説明する図。図１に示す線分候補抽出部の構成を示す図。図１に示す解析部の構成を示す図。図１２に示す３次元点群解析部の処理を説明する図。図１２に示す横線確認部の処理を説明する図。図１２に示す斜線確認部の処理を説明する図。図１２に示す斜線確認部の処理を説明する図。図１に示す立体物検知部の構成を示す図。図１に示す車載環境認識装置によって行われる周囲環境認識処理を示すフローチャート。

　以下、本発明の実施形態について図面を用いて説明する。なお、各実施形態において同一の符号を付された構成は、特に言及しない限り、各実施形態において同様の機能を有するため、その説明を省略する。なお、以降では、車載環境認識装置により構成されたセンシングシステムの一例として、ステレオビジョンシステムを採用する例について説明するが、本発明はステレオビジョンシステムに限定されない。視差は画像の特徴の一例である。

［車載環境認識装置］
　図１は、車載環境認識装置１の構成を示す図である。

　車載環境認識装置１は、周囲環境認識処理を行う装置である。周囲環境認識処理は、車両に搭載された一対のカメラにより取得された周囲の画像を処理して、道路、先行車両、歩行者又は障害物等の周囲環境を認識し、車両の走行制御や警報の報知等に必要な情報を出力する処理である。車載環境認識装置１は、マイクロコンピュータ等のハードウェアと、周囲環境認識処理の内容を記述したプログラムを含むソフトウェアとの協働によって実現される。

　車載環境認識装置１は、図１に示すように、ステレオカメラ部１００と、ステレオマッチング部２００と、段差候補抽出部３００と、線分候補抽出部４００と、解析部５００と、立体物検知部６００と、警報制御部７００とを備える。

　ステレオカメラ部１００は、車両のウィンドウシールドガラスの内側に進行方向前方に向けて設置された一対のカメラを含むセンシングシステムである。ステレオカメラ部１００は、一対のカメラが同期して車両の周囲を撮像し、一対の画像を取得する。

　ステレオマッチング部２００は、ステレオカメラ部１００により取得された一対の画像を用いてステレオマッチング処理を行い、一対の画像のそれぞれに映る同一物体の同一箇所の視差を測定する。ステレオマッチング部２００は、三角測量の原理を利用して、測定された視差から３次元空間上の距離や位置を測定する。図１に示すステレオマッチング部２００は、一対の画像間の対応点を一対のカメラ同士を結ぶ方向（基線方向）に探索するステレオマッチング処理を行い、視差画像を生成する。視差画像は、一対の画像のそれぞれの画素間の視差に応じて測定された各画素の奥行方向の距離を、画素毎にマッピングした画像である。視差画像は、ステレオカメラ部１００により取得された一対の画像の特徴を表した特徴画像の一例である。ステレオマッチング部２００は、一対の画像の特徴を取得し、特徴画像を生成する特徴画像生成部の一例である。一対の画像の特徴は、例えば、一対の画像同士を比較することによって得られる一対の画像間の差分であってもよい。

　ステレオマッチング処理では、一対の画像間の対応点を探索する方向と、画像上の線分が延びる方向とが概ね一致する場合、画像上の線分が複数の箇所において同じような特徴量を有するため、同等の類似度が連続し、正しい対応点を探索することが困難となる可能性が有る。この場合、視差の誤測定が発生し、視差の測定結果には大きな誤差が含まれ得る。視差の誤測定は、三角測量の原理を利用する限り避けられない問題である。視差の誤測定が発生すると、視差に応じて測定される奥行方向の距離も誤測定され、距離の測定結果にも大きな誤差が含まれ得る。

　本実施形態では、ステレオマッチング処理での対応点の探索方向に沿った画像上の方向を、「第１方向」とも称する。画像上において第１方向に垂直な方向を「第２方向」とも称する。画像上において第１方向及び第２方向に交差する方向を「第３方向」とも称する。

　ステレオカメラ部１００に含まれる一対のカメラが、車両の車幅方向である左右方向に間隔を空けて設置される場合、ステレオマッチング処理での対応点の探索方向は、左右方向であり、画像上の横方向に対応する。この場合、第１方向は横方向であり、第２方向は縦方向であり、第３方向は横方向と縦方向とに交差する斜め方向である。また、この場合、画像上の線が横方向（第１方向）又は斜め方向（第３方向）に延びる場合、視差の誤測定が発生する可能性が有る。

　同様に、ステレオカメラ部１００に含まれる一対のカメラが、車両の高さ方向である上下方向に間隔を空けて設置される場合、ステレオマッチング処理での対応点の探索方向は、上下方向であり、画像上の縦方向に対応する。この場合、第１方向は縦方向であり、第２方向は横方向であり、第３方向は縦方向と横方向とに交差する斜め方向である。また、この場合、画像上の線が縦方向（第１方向）又は斜め方向（第３方向）に延びる場合、視差の誤測定が発生する可能性が有る。

　段差候補抽出部３００は、ステレオマッチング部２００により生成された視差画像から、道路の段差候補を抽出する。具体的には、段差候補抽出部３００は、ステレオマッチング部２００により生成された視差画像を用いて、車両が走行する走行路の路面平面部を解析する。路面平面部は、走行路の路面（以下、「走行路面」とも称する）であって概ね平面とみなすことができる部分である。段差候補抽出部３００は、路面平面部と比較して高低差を有する３次元点群を、道路の段差候補として抽出する。

　道路に存在する段差は、路面平面部に対して高低差を有する立体物である。道路に存在する段差は、路面平面部に対して高い凸形状の段差と、路面平面部に対して低い凹形状の段差とを含む。道路に存在する段差は、走行路の側方に位置する路端部に存在する段差や、走行路面に存在するバンプ、継目又は穴等の段差や、走行路面に存在する障害物等を含む。路端部は、走行路面の側方に隣接する路肩、路側帯又は歩道を含む。路端部に存在する凸形状の段差は、例えば、走行路面と路肩との間に存在する高低差の小さい段差や、歩道と路肩との間に存在する縁石等の段差等である。路端部に存在する凹形状の段差は、路面平面部に対して低い側溝等である。

　線分候補抽出部４００は、ステレオカメラ部１００により取得された画像のエッジ画像を用い、エッジの連続性及び直線性から、画像に含まれる直線候補を探索する。線分候補抽出部４００は、探索された直線候補のうちから、始点及び終点を有する線分候補を抽出し、抽出された線分候補をその延びる方向に応じて分類する。例えば、線分候補抽出部４００は、抽出された線分候補を、第１方向に延びる線分候補と、第２方向に延びる線分候補と、第３方向に延びる線分候補とに分類する。

　解析部５００は、視差の誤測定の影響によって誤った段差候補が抽出されていないかを解析する。具体的には、解析部５００は、段差候補抽出部３００により抽出された段差候補を、線分候補抽出部４００により抽出された線分候補と照合する。この照合処理は、例えば、段差候補が線分候補に重畳するかを確認する処理であってよい。そして、解析部５００は、照合結果と線分候補の傾きとに基づいて、段差候補抽出部３００により抽出された段差候補の妥当性を解析する。

　段差候補の妥当性が高いとは、段差候補が道路に実際に存在する段差を示す可能性が高いことを意味する。段差候補の妥当性が低いとは、段差候補が道路に実際に存在する段差を示すかどうか判断し難く、視差の誤測定により抽出された可能性を排除できないことを意味する。

　高低差の小さい段差候補は、第１方向又は第３方向に延びる線分候補と重畳する場合、実際に道路に存在する段差でない可能性が有る。例えば、一対のカメラが左右方向に設置される場合、横方向又は斜め方向に延びる線分候補と重畳する高低差の小さい段差候補は、路面に描かれた区画線や導流帯（ゼブラ）等の、横方向又は斜め方向に延びる路面標示である可能性が有る。第１方向又は第３方向に延びる線分候補と重畳する段差候補は、視差の誤測定が発生したことによって抽出された可能性が有る。

　解析部５００は、段差候補が道路に存在する段差であると照合結果から判断しない場合、すなわち、段差候補の妥当性が低い場合、段差候補を構成する３次元点群の配置を解析して、段差候補が視差の誤測定により抽出された可能性が有るかを解析する。解析部５００は、段差候補が視差の誤測定により抽出され可能性が有る場合、視差の誤測定の発生要因を解析する。

　例えば、解析部５００は、視差の誤測定の発生要因が、一対の画像の平行化処理において画像同士の高さが一致していないこと（以下、「Ｙずれ」とも称する）であるか、マッチングウィンドウ内のテクスチャの偏りであるか、又は、ランダムノイズか等を解析する。解析部５００は、段差候補が視差の誤測定により抽出された可能性が高い場合、ステレオマッチング処理を再度行って視差を再測定すると共に視差に応じた距離を修正したり、抽出された段差候補をノイズとして削除したりする。

　立体物検知部６００は、解析部５００により再測定された視差を用いて路面平面部の高さ及び傾きを修正し、修正された路面平面部に基づいて、道路に存在する段差を検知する処理を行う。すなわち、立体物検知部６００は、修正された路面平面部に基づいて、道路に存在する段差と路面標示とを識別し、路端部に存在する段差や、走行路面に存在するバンプ等の段差や、走行路面に存在する障害物等を検知する。なお、立体物検知部６００は、修正前の路面平面部に基づいて、道路に存在する段差を検知する処理を行ってもよい。

　警報制御部７００は、立体物検知部６００の検知結果に基づいて、車両の走行制御や警報の報知等に必要な情報を、車両の制御装置へ出力する。

　本実施形態では、ステレオカメラ部１００に含まれる一対のカメラを、左右方向に間隔を空けて設置された一対のカメラとし、ステレオマッチング処理での対応点の探索方向を、画像上の横方向として説明する。左右一対のカメラのうち、右方のカメラにより取得された画像を「右画像」とも称し、左方のカメラにより取得された画像を「左画像」とも称する。但し、本実施形態は、ステレオカメラ部１００に含まれる一対のカメラが上下方向に間隔を空けて設置された一対のカメラである場合にも適用可能である。

［距離の測定方法］
　図２は、三角測量の原理を利用した距離の測定方法について説明する図である。

　図２では、直方体の左下の頂点が、一対の画像のうちの右画像では座標（ＸＲ，ＹＲ）に映り、一対の画像のうちの左画像では座標（ＸＬ，ＹＬ）に映っているとする。直方体の左下の頂点における視差をｄとし、奥行方向の座標をＺとし、一対の画像を取得する一対のカメラの光軸間の距離（基線長）をＢとし、一対のカメラの焦点距離をｆとする。

　完全に平行に設置された同一仕様の一対のカメラにおいて、カメラの歪みや光軸のずれ等が補正してある場合、一対の画像のそれぞれに映る同一物体の同一箇所は、左画像と右画像とで同一高さに映る。この場合、視差ｄ及び奥行方向の座標Ｚは、下記の式から算出される。
　　ｄ＝ＸＬ－ＸＲ　　Ｚ＝（Ｂ・ｆ）／ｄ

　上記の座標Ｚは、一対のカメラから前方の物体までの距離を表す。一対の画像の対応点の横方向の差分（ＸＬ－ＸＲ）、すなわち、視差ｄが小さいほど物体までの距離が長くなり、視差ｄが大きいほど物体までの距離が短くなる。座標Ｚを算出する式において視差ｄが分母になることから、視差ｄが大きいほど奥行方向の座標Ｚの分解能が高くなる。言い換えると、一対のカメラから物体までの距離が短いほど、奥行方向の距離が精緻に測定され得る。

［ステレオカメラ部］
　図３は、ステレオカメラ部１００の構成を示す図である。

　ステレオカメラ部１００は、図３に示すように、画像取得部１１０と、露光調整部１２０と、感度較正部１３０と、幾何較正部１４０と、エッジ生成部１５０とを含む。

　画像取得部１１０は、車両の車幅方向である左右方向に間隔を空けて設置された一対のカメラにより構成されたステレオカメラである。画像取得部１１０を構成する一対のカメラは、互いの光軸が平行で且つ前方を向くように配置される。この一対のカメラは、それぞれにより取得された画像が平行化するような設置状態にキャリブレーションされている。画像取得部１１０は、互いに同期して車両の周囲を撮像し、一対の画像を取得する。画像取得部１１０により取得された一対の画像では、同一物体が同一高さに映る。

　露光調整部１２０は、画像取得部１１０において一対の画像が同一の露光条件にて取得されるよう、露光条件を調整する。例えば、露光調整部１２０は、取得された一対の画像のうちの右画像の走行路面の輝度を解析して、次のフレームの露光条件を決定し、決定された露光条件を、画像取得部１１０の各カメラに反映することによって調整する。

　感度較正部１３０は、画像取得部１１０を構成する一対のカメラの感度をキャリブレーションする。画像取得部１１０により取得される一対の画像では、画像取得部１１０の露光条件が同一であっても、カメラの個体差に伴う輝度の差や、レンズの光軸から離れた位置ほど輝度が低下する等の特性によって、同一物体の同一箇所が同一輝度を有しないことがある。感度較正部１３０は、これらの特性を補正し、一対の画像のそれぞれに映る同一物体の同一箇所が同一輝度を有するよう、一対のカメラの感度をキャリブレーションする。

　幾何較正部１４０は、画像取得部１１０を構成する一対のカメラの歪みや光軸のずれ等を補正し、一対の画像が平行化するよう、一対の画像の幾何的条件をキャリブレーションする。ステレオカメラ部１００では、感度較正部１３０及び幾何較正部１４０によりキャリブレーションを行うことにより、一対の画像のそれぞれに映る同一物体の同一箇所を探索し易くなり得る。

　エッジ生成部１５０は、画像取得部１１０により取得された一対の画像のうちの基準画像、例えば、右画像にエッジ抽出処理を行って、エッジ画像を生成する。エッジ画像は、横方向に輝度変化を有する横エッジと、縦方向に輝度変化を有する縦エッジとを含む。なお、基準画像は、左画像であってもよい。

［ステレオマッチング部］
　図４は、ステレオマッチング部２００の構成を示す図である。図５は、マッチングウィンドウ内の特徴量の偏りが縦方向に有る場合（縦偏りテクスチャの場合）の解析結果を説明する図である。図６は、マッチングウィンドウ内の特徴量の偏りが横方向に有る場合（横偏りテクスチャの場合）の解析結果を説明する図である。図７は、マッチングウィンドウ内の特徴量の偏りが斜め方向に有る場合（斜め線のテクスチャの場合）を説明する図である。

　ステレオマッチング部２００は、図４に示すように、ウィンドウ設定部２１０と、ウィンドウ内特徴解析部２２０と、重心計算部２３０と、探索部２４０と、信頼度評価部２５０とを含む。

　ここで、図２を参照しながら、ステレオマッチング部２００により行われるステレオマッチング処理について説明する。図２では、直方体の左下の角が、一対の画像のうちの右画像では座標（ＸＲ，ＹＲ）に映り、一対の画像のうちの左画像では座標（ＸＬ，ＹＬ）に映っているとする。右画像を基準画像とする。

　このとき、ウィンドウ設定部２１０は、右画像の座標（ＸＲ，ＹＲ）の画素に注目し、座標（ＸＲ，ＹＲ）の周囲に有る小矩形領域をマッチングウィンドウとして設定する。ウィンドウ設定部２１０は、幾何較正部１４０により右画像及び左画像の幾何的条件がキャリブレーションされているため、右画像に設定されたマッチングウィンドウと同一大きさ及び同一高さのマッチングウィンドウを左画像に設定する。探索部２４０は、右画像のマッチングウィンドウ内の特徴量と、左画像のマッチングウィンドウ内の特徴量との類似度を計算する。探索部２４０による類似度の計算の後、ウィンドウ設定部２１０は、左画像のマッチングウィンドウを１画素ずつ横方向に移動させて、左画像にマッチングウィンドウを設定する。探索部２４０は、左画像及び右画像のマッチングウィンドウにおける類似度を計算する。このような処理を繰り返しながら、探索部２４０は、類似度が最も高い左画像のマッチングウィンドウを探索する。探索部２４０は、類似度が最も高い左画像のマッチングウィンドウの位置を、右画像の注目画素に対応する左画像の画素の位置とする。
探索部２４０は、右画像の注目画素の座標と、この注目画素に対応する左画像の画素の座標とから、右画像と左画像との視差を測定する。

　探索部２４０により、右画像の注目画素に対応する左画像の画素が探索され、視差が測定されると、ウィンドウ設定部２１０は、右画像の注目画素を横方向に移動させて、マッチングウィンドウを設定する。探索部２４０は、移動された注目画素に対応する左画像の画素を探索し、視差を測定する。このような処理を繰り返しながら、探索部２４０は、右画像と左画像との対応点を探索すると共に視差を測定して、視差画像を生成することができる。

　ウィンドウ内特徴解析部２２０は、ウィンドウ設定部２１０により右画像に設定されたマッチングウィンドウ内における特徴量の偏りについて解析する。ウィンドウ内特徴解析部２２０は、探索部２４０の探索が実施される前に、マッチングウィンドウ内の特徴量の偏りについて解析する。

　ウィンドウ内特徴解析部２２０は、マッチングウィンドウ内における特徴量の偏りについて解析するために、エッジ生成部１５０により生成されたエッジ画像を用いる。具体的には、ウィンドウ内特徴解析部２２０は、エッジ生成部１５０により生成されたエッジ画像のうち、ウィンドウ設定部２１０により右画像に設定されたマッチングウィンドウと同一の領域についてマッチングウィンドウを設定する。そして、ウィンドウ内特徴解析部２２０は、エッジ画像に設定されたマッチングウィンドウ内のエッジを、マッチングウィンドウ内における特徴量として解析する。

　ウィンドウ内特徴解析部２２０は、図５～図７に示すように、マッチングウィンドウ内の画像に対して、横エッジ抽出処理と縦エッジ抽出処理とを行う。横エッジ抽出処理は、マッチングウィンドウ内の画像に対して、横エッジ抽出用のフィルタを用いてエッジ抽出を行う処理のことである。縦エッジ抽出処理は、マッチングウィンドウ内の画像に対して、縦エッジ抽出用のフィルタを用いてエッジ抽出を行う処理のことである。ウィンドウ内特徴解析部２２０は、横エッジ抽出処理及び縦エッジ抽出処理のそれぞれの処理結果を、横方向及び縦方向のそれぞれに投影する。

　詳細には、ウィンドウ内特徴解析部２２０は、横エッジ抽出処理結果の横方向への投影結果として、横エッジ強度を横方向に累積した累積値を縦方向座標毎に表して、横エッジ強度の累積値の縦方向分布を示すヒストグラムを生成する。ウィンドウ内特徴解析部２２０は、横エッジ抽出処理結果の縦方向への投影結果として、横エッジ強度を縦方向に累積した累積値を横方向座標毎に表して、横エッジ強度の累積値の横方向分布を示すヒストグラムを生成する。すなわち、ウィンドウ内特徴解析部２２０は、マッチングウィンドウ内において横方向に輝度変化を有するエッジの強度（横エッジ強度）を、横方向に累積した累積値のヒストグラムを生成する。ウィンドウ内特徴解析部２２０は、マッチングウィンドウ内において横方向に輝度変化を有するエッジの強度（横エッジ強度）を、縦方向に累積した累積値のヒストグラムを生成する。

　同様に、ウィンドウ内特徴解析部２２０は、縦エッジ抽出処理結果の横方向への投影結果として、縦エッジ強度を横方向に累積した累積値を縦方向座標毎に表して、縦エッジ強度の累積値の縦方向分布を示すヒストグラムを生成する。ウィンドウ内特徴解析部２２０は、縦エッジ抽出処理結果の縦方向への投影結果として、縦エッジ強度を縦方向に累積した累積値を横方向座標毎に表して、縦エッジ強度の累積値の横方向分布を示すヒストグラムを生成する。

　ウィンドウ内特徴解析部２２０は、生成したヒストグラムに基づいて、ウィンドウ内における特徴量の偏りの有無及び偏りの方向を把握することができる。

　図５を参照しながら、マッチングウィンドウ内における特徴量の偏りが縦方向に有る場合の解析結果について説明する。図５は、図５の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の下部に密集している場合について説明する。図５の中段左側には、横エッジ抽出用のフィルタが示されている。図５の中段右側には、横エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図５の中段下側には、横エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。図５の下段左側には、縦エッジ抽出用のフィルタが示されている。図５の下段右側には、縦エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図５の下段下側には、縦エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。

　図５の上段に示すマッチングウィンドウ内の画像は、横方向には輝度変化がない。すなわち、図５の上段に示すマッチングウィンドウ内の画像は、強い横エッジが存在しない。図５の上段に示すマッチングウィンドウ内の画像は、縦方向には輝度変化があり、この縦方向の輝度変化が同じ状態のまま横方向に連続している。すなわち、図５の上段に示すマッチングウィンドウ内の画像は、強い縦エッジが存在する。

　横エッジ抽出処理結果を横方向へ投影した結果は、図５の中段右側に示すように、横エッジ強度の累積値が予め定められた基準値より小さく、縦方向に亘って一定である、という結果を示す。横エッジ抽出処理結果を縦方向へ投影した結果は、図５の中段下側に示すように、横エッジ強度の累積値が基準値より小さく、横方向に亘って一定である、という結果を示す。

　縦エッジ抽出処理結果を横方向へ投影した結果は、図５の下段右側に示すように、ウィンドウ内の上部から下部までの間では、縦エッジ強度の累積値が基準値より小さく一定であるが、ウィンドウ内の下部では、縦エッジ強度の累積値が基準値より極めて大きくなる、という結果を示す。縦エッジ抽出処理結果を縦方向へ投影した結果は、図５の下段下側に示すように、縦エッジ強度の累積値が、横エッジ強度を縦方向に累積した累積値（図５の中段下側のヒストグラムを参照）よりも大きく、横方向に亘って一定である、という結果を示す。

　ウィンドウ内特徴解析部２２０は、図５に示すヒストグラムに基づいて、ウィンドウ内における特徴量が縦方向に偏っていると把握することができる。

　図６を参照しながら、マッチングウィンドウ内における特徴量の偏りが横方向に有る場合の解析結果について説明する。図６は、図６の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の右部に密集している場合について説明する。図６の中段左側には、横エッジ抽出用のフィルタが示されている。図６の中段右側には、横エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図６の中段下側には、横エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。図６の下段左側には、縦エッジ抽出用のフィルタが示されている。図６の下段右側には、縦エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図６の下段下側には、縦エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。

　図６の上段に示すマッチングウィンドウ内の画像は、縦方向には輝度変化がない。すなわち、図６の上段に示すマッチングウィンドウ内の画像は、強い縦エッジが存在しない。図６の上段に示すマッチングウィンドウ内の画像は、横方向には輝度変化があり、この横方向の輝度変化が同じ状態のまま縦方向に連続している。すなわち、図６の上段に示すマッチングウィンドウ内の画像は、強い横エッジが存在する。

　このため、横エッジ抽出処理結果を横方向へ投影した結果は、図６の中段右側に示すように、横エッジ強度の累積値が、縦エッジ強度を横方向に累積した累積値（図６の下段右側のヒストグラムを参照）よりも大きく、縦方向に亘って一定である、という結果を示す。横エッジ抽出処理結果を縦方向へ投影した結果は、図６の中段下側に示すように、ウィンドウ内の左部から右部までの間では、横エッジ強度の累積値が基準値より小さく一定であるが、ウィンドウ内の右部では、横エッジ強度の累積値が基準値より極めて大きくなる、という結果を示す。

　縦エッジ抽出処理結果を横方向へ投影した結果は、図６の下段右側に示すように、縦エッジ強度の累積値が基準値より小さく、縦方向に亘って一定である、という結果を示す。縦エッジ抽出処理結果を縦方向へ投影した結果は、図６の下段下側に示すように、縦エッジ強度の累積値が基準値より小さく、横方向に亘って一定である、という結果を示す。

　ウィンドウ内特徴解析部２２０は、図６に示すヒストグラムに基づいて、ウィンドウ内における特徴量が横方向に偏っていると把握することができる。

　図７を参照しながら、マッチングウィンドウ内における特徴量の偏りが斜め方向に有る場合の解析結果について説明する。図７は、図７の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の左上部に密集している場合について説明する。図７の中段左側には、横エッジ抽出用のフィルタが示されている。図７の中段右側には、横エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図７の中段下側には、横エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。図７の下段左側には、縦エッジ抽出用のフィルタが示されている。図７の下段右側には、縦エッジ抽出処理結果の横方向への投影結果を表すヒストグラムが示されている。図７の下段下側には、縦エッジ抽出処理結果の縦方向への投影結果を表すヒストグラムが示されている。

　図７の上段に示すマッチングウィンドウ内の画像は、マッチングウィンドウ内の左上部では、横方向及び縦方向のそれぞれにおいて輝度変化が有るが、マッチングウィンドウ内の左上部以外では、横方向及び縦方向のそれぞれにおいて輝度変化がない。すなわち、図７の上段に示すマッチングウィンドウ内の画像は、マッチングウィンドウ内の左上部だけに、強い横エッジ及び強い縦エッジが存在し、マッチングウィンドウ内の左上部以外では、強い横エッジ及び強い縦エッジが存在しない。

　このため、横エッジ抽出処理結果を横方向へ投影した結果は、図７の中段右側に示すように、ウィンドウ内の上部では、横エッジ強度の累積値が、ウィンドウ内の上部以外よりも大きくなる、という結果を示す。横エッジ抽出処理結果を縦方向へ投影した結果は、図７の中段下側に示すように、ウィンドウ内の左部では、横エッジ強度の累積値が、ウィンドウ内の左部以外よりも大きくなる、という結果を示す。

　縦エッジ抽出処理結果を横方向へ投影した結果は、図７の下段右側に示すように、ウィンドウ内の上部では、縦エッジ強度の累積値が、基準値より大きく、ウィンドウ内の上部以外よりも大きくなる、という結果を示す。縦エッジ抽出処理結果を縦方向へ投影した結果は、図７の下段下側に示すように、ウィンドウ内の左部では、縦エッジ強度の累積値が、基準値より大きく、ウィンドウ内の左部以外よりも大きくなる、という結果を示す。

　ウィンドウ内特徴解析部２２０は、図７に示すヒストグラムに基づいて、ウィンドウ内における特徴量が斜め方向に偏っていると把握することができる。

　なお、マッチングウィンドウ内の画像に輝度変化がない場合、図５～図７に示したヒストグラムは、横エッジ強度を横方向へ累積した累積値、横エッジ強度を縦方向へ累積した累積値、縦エッジ強度を横方向へ累積した累積値、縦エッジ強度を縦方向へ累積した累積値の何れも、累積値が基準値より小さく且つ一定となる。ウィンドウ内特徴解析部２２０は、これらヒストグラムに基づいて、マッチングウィンドウ内における特徴量の偏りが無いことを把握することができる。

　重心計算部２３０は、ウィンドウ設定部２１０により右画像に設定されたマッチングウィンドウ内の特徴量の重心位置を計算する。デフォルトの重心位置は、マッチングウィンドウの中心位置である。重心計算部２３０は、ステレオマッチング処理での対応点の探索方向が横方向であるため、横方向の輝度変化を抽出する横エッジ抽出処理の結果に基づいて、マッチングウィンドウ内の特徴量の重心位置を計算する。具体的には、重心計算部２３０は、横エッジ強度を横方向に累積した累積値の縦方向分布を示すヒストグラム（図５～図７の各中段の右側のヒストグラム）と、横エッジ強度を縦方向に累積した累積値の横方向分布を示すヒストグラム（図５～図７の各中段の下側のヒストグラム）とに基づいて、マッチングウィンドウ内の特徴量の重心位置を計算する。

　詳細には、重心計算部２３０は、横エッジ強度を横方向に累積した累積値の縦方向分布を示すヒストグラムと、横エッジ強度を縦方向に累積した累積値の横方向分布を示すヒストグラムとを平滑化する。そして、重心計算部２３０は、平滑化された各ヒストグラムにおいて、累積値の分布が予め定められた基準値以上の累積値を有し、且つ、ピークを有する場合、ピークを有する位置の縦方向座標又は横方向座標を計算する。そして、重心計算部２３０は、計算された縦方向座標又は横方向座標を、マッチングウィンドウ内における特徴量の重心位置の縦方向座標又は横方向座標に決定する。

　一方、重心計算部２３０は、各ヒストグラムにおいて、累積値の分布が基準値以上の累積値を有しない場合、又は、ピークを有しない場合、重心計算部２３０は、デフォルトの重心位置であるマッチングウィンドウ内の中心位置の縦方向座標又は横方向座標を、マッチングウィンドウ内における特徴量の重心位置の縦方向座標又は横方向座標に決定する。

　例えば、図５の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の下部に密集している場合、図５の中段右側に示すように、横エッジ強度を横方向に累積した累積値の縦方向分布は、縦方向に亘って一定であり、ピークを有しない。この場合、重心計算部２３０は、マッチングウィンドウの中心位置の縦方向座標を、マッチングウィンドウ内の特徴量の重心位置の縦方向座標に決定する。図５の中段下側に示すように、横エッジ強度を縦方向に累積した累積値の横方向分布は、横方向に亘って一定であり、ピークを有しない。この場合、重心計算部２３０は、マッチングウィンドウの中心位置の横方向座標を、マッチングウィンドウ内の特徴量の重心位置の横方向座標に決定する。結果的に、マッチングウィンドウ内の下部に特徴量が密集している場合、マッチングウィンドウ内の特徴量の重心位置は、図５の中段の画像において十字を丸にて囲んだ印が示す位置となる。

　図６の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の右部に密集している場合、図６の中段右側に示すように、横エッジ強度を横方向に累積した累積値の縦方向分布は、縦方向に亘って一定であり、ピークを有しない。この場合、重心計算部２３０は、マッチングウィンドウの中心位置の縦方向座標を、マッチングウィンドウ内の特徴量の重心位置の縦方向座標に決定する。図６の中段下側に示すように、横エッジ強度を縦方向に累積した累積値の横方向分布は、マッチングウィンドウ内の右部において、基準値以上の累積値を有し、且つ、ピークを有する。この場合、重心計算部２３０は、このピークの位置であるマッチングウィンドウ内の右部の位置の横方向座標を、マッチングウィンドウ内の特徴量の重心位置の横方向座標に決定する。結果的に、マッチングウィンドウ内の右部に特徴量が密集している場合、マッチングウィンドウ内の特徴量の重心位置は、図６の中段の画像において十字を丸にて囲んだ印が示す位置となる。

　図７の上段に示すように、マッチングウィンドウ内における特徴量が、マッチングウィンドウ内の左上部に密集している場合、図７の中段右側に示すように、横エッジ強度を横方向に累積した累積値の縦方向分布は、マッチングウィンドウ内の上部において、基準値以上の累積値を有し、且つ、ピークを有する。この場合、重心計算部２３０は、このピークの位置であるマッチングウィンドウ内の上部の位置の縦方向座標を、マッチングウィンドウ内の特徴量の重心位置の縦方向座標に決定する。図７の中段下側に示すように、横エッジ強度を縦方向に累積した累積値の横方向分布は、マッチングウィンドウ内の左部において、基準値以上の累積値を有し、且つ、ピークを有する。この場合、重心計算部２３０は、このピークの位置であるマッチングウィンドウ内の左部の位置の横方向座標を、マッチングウィンドウ内の特徴量の重心位置の横方向座標に決定する。結果的に、マッチングウィンドウ内の左上部に特徴量が密集している場合、マッチングウィンドウ内の特徴量の重心位置は、図７の中段の画像において十字を丸にて囲んだ印が示す位置となる。

　マッチングウィンドウ内においてテクスチャが分散している場合のように、マッチングウィンドウ内において特徴量の偏りが無い場合、マッチングウィンドウの中心位置を基準として視差の測定が行われても、視差の測定誤差は小さい。一方、マッチングウィンドウ内において輝度変化が大きいテクスチャが局所的に存在する場合のように、マッチングウィンドウ内において特徴量の偏りが大きい場合、マッチングウィンドウの中心位置を基準として視差の測定が行われると、視差の測定誤差が大きくなる。

　マッチングウィンドウ内において特徴量の偏りが大きい場合、視差の測定は、特徴量の重心位置を基準として行われることに相当する。なぜなら、マッチングウィンドウ内において特徴量の偏りが大きい場合、マッチングウィンドウ内の対応点探索の手掛かりとなるのは、横方向に大きな輝度変化を有する横エッジが局所的に存在する箇所だけだからであり、横エッジが存在する箇所で対応点の位置が決まるからである。

　このため、距離の測定は、マッチングウィンドウ内の特徴量の重心位置を基準として行われると、視差の測定における基準位置と整合するため、距離の測定誤差を低減することができる。車載環境認識装置１は、距離の測定がマッチングウィンドウの中心位置を基準として行われた場合、マッチングウィンドウ内における特徴量の重心位置を用いて、距離の測定結果を修正することによって、距離の測定誤差を低減することができる。これにより、車載環境認識装置１は、段差候補を構成する３次元点群によって道路を存在する段差を正確に再現することができ、道路に存在する段差を正確に検知することができる。但し、距離の測定結果を実際に修正するか否かは、下記で述べるステレオマッチング処理の信頼度の評価結果や、マッチングウィンドウ内に線分候補が存在するか等の他の情報を考慮した上で、判断される。

　信頼度評価部２５０は、ステレオマッチング処理の信頼度を評価する。信頼度評価部２５０は、ウィンドウ内特徴解析部２２０により計算された横エッジ強度の累積値の分布が、予め定められた基準値以上の累積値を有するか否かを判断する。加えて、信頼度評価部２５０は、ウィンドウ内特徴解析部２２０により計算された横エッジ強度の累積値の分布が、横方向においてピークを有するか否かを判断する。横エッジ強度の累積値の分布が横方向においてピークを有することは、探索部２４０により計算された類似度が横方向の一箇所で高くなっていることを意味し得る。

　信頼度評価部２５０は、横エッジ強度の累積値の分布が基準値以上の累積値を有し、且つ、類似度が横方向の一箇所で高くなっている場合、ステレオマッチング処理の信頼度が高いと評価する。すなわち、信頼度評価部２５０は、横エッジ強度の累積値の分布が、基準値以上の累積値を有し、且つ、横方向においてピークを有する場合、ステレオマッチング処理の信頼度が高いと評価する。

　信頼度評価部２５０は、横エッジ強度の累積値の分布が基準値以上の累積値を有しないか、又は、類似度が画像上の横方向の一箇所で高くなっていない場合、ステレオマッチング処理の信頼度が低いと評価する。すなわち、信頼度評価部２５０は、横エッジ強度の累積値の分布が、基準値以上の累積値を有しないか、又は、横方向においてピークを有しない場合、ステレオマッチング処理の信頼度が低いと評価する。

　横エッジ強度の累積値の分布が基準値以上の累積値を有しない場合には、対応点を特定するための情報源に欠けていることを示す。横エッジ強度の累積値の分布が基準値以上の累積値を有する場合でも、画像上の横方向の複数箇所で基準以上となっている場合には、背景に類似した画像の特徴が有ることを示唆しており、これらの複数箇所の何れの箇所が正しい対応点であるかを判別することは困難である。なお、横エッジ強度の累積値の分布が基準値以上の累積値を有し、且つ、類似度が画像上の横方向の一箇所で高くなっている場合でも、画像上で斜め方向に延びる線をマッチングする場合には、マッチングウィンドウ内のテクスチャの偏りやＹずれ等が信頼度に影響を及ぼす可能性が有る。

［段差候補抽出部］
　図８は、図１に示す段差候補抽出部３００の構成を示す図である。図９は、図８に示す路面平面解析部３１０の処理を説明する図である。図１０は、図８に示す路端部段差抽出部３２０及び走行路面段差抽出部３３０の処理を説明する図である。

　段差候補抽出部３００は、路端部に存在する段差、走行路面に存在するバンプ等の段差、又は、走行路面に存在する障害物等の、路面平面部と比較して高低差を有する段差候補を抽出する。段差候補抽出部３００は、抽出された段差候補の確度やノイズを確認する。

　段差候補抽出部３００は、図８に示すように、路面平面解析部３１０と、路端部段差抽出部３２０と、走行路面段差抽出部３３０と、単体ノイズ削除部３４０と、連結成分抽出部３５０とを含む。

　路面平面解析部３１０は、図９の上段に示すように、車両の進路の予測結果と車幅とに基づいて、車両が走行すると予測される走行路の走行路面を処理対象とする。そして、路面平面解析部３１０は、ステレオマッチング部２００により生成された視差画像を用いて、処理対象の視差を解析する。

　具体的には、路面平面解析部３１０は、処理対象の視差を３次元空間座標に変換した上で、図９の下段に示すような路面断面図を生成して、路面平面部の高さ及び傾きを推定する。路面平面解析部３１０は、処理対象の視差を３次元空間座標に変換して、処理対象の３次元点群を取得し、取得された３次元点群を用いて、図９の下段に示すような路面断面図を生成することができる。図９の下段に示す路面断面図は、奥行方向の距離を横軸とし、走行路面の高さを縦軸とするグラフである。

　路面平面解析部３１０は、路面断面図を生成する際、視差画像の処理領域３１１を横方向に走査して、３次元点群の高さの最頻値を、路面断面図において走行路面を表す直線を通る１点の候補点として投票する。路面平面解析部３１０は、このような投票処理を奥行方向に沿って繰り返し、図９の下段に示された十字印のような候補点の列を取得する。路面平面解析部３１０は、得られた候補点の列に対して直線推定処理を行う。路面平面解析部３１０は、直線推定処理において、候補点が最も多く通過する直線を推定する。

　路面平面解析部３１０は、直線推定処理により推定された直線から大きく外れた候補点のうち、走行路面に存在する段差を示すことが明らかな候補点を、段差候補を構成する候補点として抽出し、これ以外の候補点をノイズとして削除する。走行路面に存在する段差を示すことが明らかな候補点とは、例えば、バンプを示す半楕円状（蒲鉾状）に並んだ候補点のことである。これにより、路面平面解析部３１０は、走行路面に存在するバンプ等の段差候補を抽出することができる。

　路面平面解析部３１０は、直線の近傍に有る候補点だけを用いて、フィッティング処理を行い、路面平面部の高さ及び傾きを推定する。路面平面解析部３１０は、直線の近傍に有る候補点だけを用いてフィッティング処理を行うため、路面平面部の高さ及び傾きを正確に推定することができる。

　路端部段差抽出部３２０は、図１０の上段に示すように、走行路面の中心線から路端部へ向かって横方向に走査し、路端部に存在する段差候補を構成する候補点を抽出する。図１０の上段は、路端部の歩道と走行路との間に段差が存在する場合を例に挙げ、走行路面の中心線から路端部へ向かって左方向に走査する例を示している。

　具体的には、路端部段差抽出部３２０は、まず、走行路面の中心線の高さが、路面平面解析部３１０により推定された路面平面部の高さから大きく外れていないかを確認する。
走行路面の中心線の高さが、路面平面部の高さから大きく外れている場合、ノイズと判断する。ノイズと判断された場合には、以後の処理をスキップする。

　路面平面解析部３１０により推定された路面平面部の高さから大きく外れていない場合、路端部段差抽出部３２０は、次のような処理を行う。すなわち、路端部段差抽出部３２０は、走行路面の中心線から路端部へ向かって横方向に走査し、走査方向に沿った走行路面を構成する３次元点群を取得する。路端部段差抽出部３２０は、取得された３次元点群の高さと、路面平面解析部３１０により推定された路面平面部の高さとを比較する。そして、路端部段差抽出部３２０は、図１０の中段に示すように、路面平面部に対する、取得された３次元点群の高さを示すグラフを生成する。図１０の中段に示す路面断面図は、走行路面の中心線から左方向への距離を横軸とし、走行路面の高さを縦軸とするグラフである。

　路端部段差抽出部３２０は、図１０の中段に示すグラフにおいて、一定範囲の高さの３次元点群が、走査方向において所定範囲に亘って連続する場合、この一定範囲の高さの平均値を、路面平面部の高さとして確定する。

　そして、路端部段差抽出部３２０は、取得された３次元点群の高さの変化を確認する。詳細には、路端部段差抽出部３２０は、路面平面部の高さを基準とした３次元点群の高さが、走行路面の横方向外側において、所定条件を満たすように変化しているか否かを判断する。路端部段差抽出部３２０は、路面平面部の高さを基準とした３次元点群の高さが、走行路面の横方向外側において所定条件を満たすように変化している場合、この高さが所定条件を満たすように変化した３次元点群を、路端部に存在する段差候補を構成する候補点として抽出する。

　例えば、走行路の側方に、走行路面よりも高い歩道が存在する場合、３次元点群の高さは、路面平面部と同じ高さにて暫く横方向に連続した後、路面平面部よりも高い高さにて横方向に連続して示すこととなる。この場合、路端部段差抽出部３２０は、例えば、路面平面部よりも高さの高い３次元点群が、路面の外側において、横方向に少なくとも２つ連続している場合、路面平面部と同じ高さから路面平面部よりも高い高さへと変化した位置の３次元点群を、路端部に存在する段差候補を構成する候補点として抽出する。上記の所定条件、すなわち、路端部に存在する段差候補を構成する候補点として抽出される条件は、例えば、路面平面部よりも高い高さを有する３次元点群が、走行路面の外側において横方向に少なくとも２つ連続していることである。

　路端部段差抽出部３２０は、注目する走行路面の中心線の位置を奥行方向にずらして、ずらされた中心線の位置から横方向への走査を継続する。このような処理を繰り返しながら、路端部段差抽出部３２０は、路端部に存在する段差候補を構成する候補点を抽出することができる。

　走行路面段差抽出部３３０は、図１０の上段に示すように、車両から消失点（無限遠点）へ向かって奥行方向に走査し、走行路面に存在する段差候補を構成する候補点を抽出する。具体的には、走行路面段差抽出部３３０は、路端部段差抽出部３２０と同様に、奥行方向に走査し、走査方向に沿った走行路面を構成する３次元点群を取得して、図１０の下段に示すような路面断面図を生成する。図１０の下段に示す路面断面図は、奥行方向の距離を横軸とし、走行路面の高さを縦軸とするグラフである。

　走行路面段差抽出部３３０は、路面平面解析部３１０により推定された路面平面部の近傍の３次元点群のみを処理対象とし、推定された路面平面部から大きく外れた３次元点群をノイズとして削除する。走行路面段差抽出部３３０は、処理対象の３次元点群の高さに基づいて、路面平面部の高さを確定する。走行路面段差抽出部３３０は、路面平面部の高さを基準とした３次元点群の高さの変化を確認する。

　走行路面に存在するバンプ等の段差候補を構成する候補点は、路面平面解析部３１０により既に抽出されている。走行路面段差抽出部３３０は、路面平面解析部３１０により抽出されたバンプ等の段差候補を構成する候補点を、奥行方向への走査によって取得された３次元点群と照合する。また、走行路面に存在する障害物等は、その３次元点群の高さが、路面平面部に対して、奥行方向に沿って連続して高くなることが多い。走行路面段差抽出部３３０は、路面平面部の高さを基準とした３次元点群の高さが、奥行方向に沿って連続して高くなっているかを確認し、奥行方向に沿って連続して高くなっている３次元点群を、走行路面に存在する障害物等の段差候補を構成する候補点として抽出する。これにより、走行路面段差抽出部３３０は、走行路面に存在する障害物等の段差候補を構成する候補点を抽出する。

　なお、走行路面段差抽出部３３０の処理では、基本的に走査方向に延びる線上の３次元点群のみを処理しているため、簡単且つ高速に実行可能であるが、ノイズ等の影響を受け易いことがある。走行路面段差抽出部３３０によって抽出された候補点には、ノイズか否かの最終的な判断が再度行われる。

　単体ノイズ削除部３４０は、路端部段差抽出部３２０又は走行路面段差抽出部３３０により抽出された段差点を用いて、ノイズの削除を行う。但し、走行路面に存在するバンプ等の段差候補を構成する候補点は、既に最頻値を用いた投票処理によって抽出されているため、単体ノイズ削除部３４０においてはノイズの削除を行わない。

　連結成分抽出部３５０は、単体ノイズ削除部３４０によるノイズの削除によって残った候補点について、ある程度の連結性や集合性を有しているかを確認する。例えば、連結成分抽出部３５０は、路端部段差抽出部３２０により抽出された候補点には、走行路の延びる方向に沿って連続する他の候補点が有るかを確認する。また、例えば、連結成分抽出部３５０は、走行路面段差抽出部３３０により抽出された候補点には、その周囲の横方向又は奥行方向に類似する他の候補点が有るかを確認する。これにより、連結成分抽出部３５０は、路端部段差抽出部３２０又は走行路面段差抽出部３３０により抽出された候補点が段差候補を成すことを確認ことができ、これらを抽出し得る。

［線分候補抽出部］
　図１１は、図１に示す線分候補抽出部４００の構成を示す図である。

　線分候補抽出部４００は、図１１に示すように、直線候補探索部４１０と、直線特徴比較部４２０と、線分分類部４３０とを含む。

　直線候補探索部４１０は、エッジ生成部１５０により生成された右画像のエッジ画像を用いて、直線候補を探索する。エッジ画像は、横方向に輝度変化を有する横エッジと、縦方向に輝度変化を有する縦エッジとを含む。直線候補探索部４１０は、エッジ画像の横エッジと縦エッジとを合成してエッジ角度画像を生成する。エッジ角度画像は、横エッジの強度と縦エッジの強度とを用いてエッジをベクトル化し、ベクトル化されたエッジと座標軸との成す角度を数値化して、保存した画像である。直線候補探索部４１０は、生成されたエッジ角度画像を用いて、ハフ変換を行い、直線候補を探索する。

　直線特徴比較部４２０は、直線候補探索部４１０により探索された直線候補上に並んだエッジ角度が、ある程度の類似性を有するかを確認し、直線候補がランダムテクスチャ上に描かれた線でないことを確認する。直線特徴比較部４２０は、直線候補探索部４１０により探索された直線候補のうちから、線分候補の特徴を有する直線候補を探索し、線分候補として抽出する。例えば、直線特徴比較部４２０は、エッジ角度画像及びエッジ画像を用いて、ある程度のエッジ強度を有し、且つ、エッジ角度の類似性が高く、始点及び終点を有して線分状にある程度連続するような直線候補を探索し、線分候補として抽出する。

　線分分類部４３０は、線分候補の傾き、すなわち、エッジ角度に応じて、直線特徴比較部４２０により抽出された線分候補を分類する。具体的には、線分分類部４３０は、画像上の横方向に延びる線分候補と、画像上の縦方向に延びる線分候補と、画像上の斜め方向に延びる線分候補とに分類する。

［解析部］
　図１２は、図１に示す解析部５００の構成を示す図である。図１３は、図１２に示す３次元点群解析部５２０の処理を説明する図である。図１４は、図１２に示す横線確認部５３０の処理を説明する図である。図１５は、図１２に示す斜線確認部５４０の処理を説明する図であって、視差の誤測定の発生要因がマッチングウィンドウ内の特徴量の重心位置のずれである場合を説明する図である。図１６は、図１２に示す斜線確認部５４０の処理を説明する図であって、視差の誤測定の発生要因がＹずれである場合を説明する図である。

　解析部５００は、図１２に示すように、照合部５１０と、３次元点群解析部５２０と、横線確認部５３０と、斜線確認部５４０と、マッチング修正部５５０とを含む。

　照合部５１０は、段差候補抽出部３００により抽出された段差候補を、線分候補抽出部４００により抽出された線分候補と照合する。具体的には、照合部５１０は、段差候補抽出部３００により抽出された段差候補が、エッジ画像上又は画像上において、線分候補抽出部４００により抽出された線分候補と重畳するかを確認する。

　照合部５１０は、段差候補抽出部３００により抽出された段差候補が、線分候補抽出部４００により抽出された線分候補と重畳しない場合、又は、縦方向に延びる線分候補と重畳する場合、ステレオマッチング処理の信頼度が高いことから、この段差候補を、道路に存在する段差を示す段差候補であると確定する。すなわち、この場合、照合部５１０は、段差候補抽出部３００により抽出された段差候補の妥当性が高いと判断する。

　これにより、車載環境認識装置１は、妥当性の高い段差候補については、道路に存在する段差を示すと直ちに判断するため、妥当性の低い段差候補の解析にコンピュータのリソースを多く割り当て、視差の再測定等の処理を行うことができる。よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を直ちに抑制して、道路に存在する段差を正確に検知することができる。

　一方、照合部５１０は、段差候補抽出部３００により抽出された段差候補が、横方向又は斜め方向に延びる線分候補と重畳する場合、この段差候補を、道路に存在する段差を示す段差候補であると直ちに判断しない。すなわち、この場合、照合部５１０は、段差候補抽出部３００により抽出された段差候補の妥当性が低いと判断する。

　特に、高低差の小さい段差候補、すなわち、３次元点群の高さが路面平面部と大差ない段差候補が、横方向又は斜め方向に延びる線分候補と重畳する場合、この段差候補は、走行路面に描かれた区画線や導流帯（ゼブラ）等の、横方向又は斜め方向に延びる路面標示である可能性が有る。横方向又は斜め方向に延びる線分候補と重畳する高低差の小さい段差候補は、視差の誤測定が発生したことによって抽出された可能性が有る。

　段差候補抽出部３００により抽出された段差候補の妥当性が低い場合、３次元点群解析部５２０は、この段差候補を構成する３次元点群の配置を、図１３に示す手法を用いて解析する。そして、３次元点群解析部５２０は、この段差候補を構成する３次元点群の配置に基づいて、この段差候補が視差の誤測定によって抽出された可能性が有るかを解析する。

　これにより、車載環境認識装置１は、妥当性の低い段差候補については、視差を再測定して距離を修正したり、ノイズとして削除したりすることができるため、段差候補を構成する３次元点群によって道路を存在する段差だけを正確に再現することができる。車載環境認識装置１は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。

　具体的には、３次元点群解析部５２０は、視差画像上において、この段差候補を含み横方向に分布する３次元点群を特定する。３次元点群解析部５２０は、図１３に示すように、特定された３次元点群が示す走行路面を含む横方向の路面断面図を生成する。この際、３次元点群解析部５２０は、カメラの視点を路面断面図上に設定し、設定されたカメラの視点から視た３次元点群の配置を示す路面断面図を生成する。路面断面図上に設定されたカメラの視点の位置は、消失点に対応する位置であってよい。

　路面断面図上に設定されたカメラの視点は、３次元的に奥行方向の位置が実際とは異なり、路面断面図上に存在するものではない。３次元点群解析部５２０は、カメラの視点が路面断面図上に存在すると仮定して、路面断面図上にカメラの視点を設定する。そして、３次元点群解析部５２０は、路面断面図上のカメラの視点と３次元点群のそれぞれとを通る直線を設定する。

　３次元点群解析部５２０により生成される路面断面図では、設定されたカメラの視点の真下に位置する３次元点群は走行路面を示し、カメラの真下から横方向の端部に位置する３次元点群は路端部を示す。図１３には、図１３の右方向の路端部において、路面平面部に対して低い側溝が存在し、図１３の左方向の路端部において、路面平面部に対して高い縁石が存在する例が示されている。図１３には、右方向の路端部において、走行路面が途切れて側溝の穴部分を形成する側壁が出現している様子が示されている。

　カメラの視点と３次元点群のそれぞれとを通る複数の直線は、カメラに入射する光線に相当するが、光線は基本的に曲がったりしないことから、カメラの視点と３次元点群のそれぞれとを通る複数の直線も基本的に曲がったりしない。このため、カメラの視点と３次元点群のそれぞれとを通る複数の直線同士は、基本的に、互いに交差したり、互いの間隔が不均一になったりすることが無い。言い換えると、カメラの視点と３次元点群のそれぞれとを通る複数の直線同士が交差したり、複数の直線同士の間隔が不均一になったりするような物体は、カメラよって撮像されることが無い。このため、カメラの視点と３次元点群のそれぞれとを通る複数の直線同士が交差したり、複数の直線同士の間隔が不均一になったりする場合、複数の直線を通る各３次元点により構成された段差候補は、視差の誤測定によって抽出された可能性が高い。

　カメラの視点と３次元点群のそれぞれとを通る複数の直線が交差したり、複数の直線同士の間隔が不均一になったりする場合、３次元点群のそれぞれの走行路面に対する高さは、ランダムに上下に変化し易い。走行路面に対する高さがランダムに上下に変化する３次元点群とは、横方向に隣接する複数の３次元点の高さ方向の位置が、走行路面より高い位置と、走行路面より低い位置とに不規則に変化する３次元点群である。

　図１３の一点鎖線にて囲まれた３次元点群のそれぞれとカメラの視点とを通る複数の直線は互いに交差しており、一点鎖線にて囲まれた３次元点群の走行路面に対する高さはランダムに上下に変化している。３次元点群解析部５２０は、一点鎖線にて囲まれた３次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断する。

　すなわち、３次元点群解析部５２０は、段差候補を構成する３次元点群のそれぞれとカメラの視点とを通る複数の直線同士が互いに交差する場合、又は、複数の直線同士の間隔が不均一である場合、複数の直線を通る３次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断する。

　これにより、車載環境認識装置１は、視差の誤測定によって抽出された可能性が有る段差候補を、簡単な手法によって特定することができる。車載環境認識装置１は、段差候補を構成する３次元点群によって道路を存在する段差だけを正確に再現することができる。
よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を容易に抑制することができ、道路に存在する段差を正確且つ容易に検知することができる。

　なお、３次元点群解析部５２０は、３次元点群のそれぞれとカメラの視点とを通る複数の直線を用いる上記の手法以外の手法を用いて、横方向又は斜め方向に延びる線分候補と重畳する段差候補が、視差の誤測定によって抽出された可能性が有るかを解析することができる。例えば、３次元点群解析部５２０は、横方向又は斜め方向に延びる線分候補と重畳する段差候補であって、段差候補を構成する３次元点群の走行路面に対する高さがランダムに上下に変化する場合、当該３次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断する。

　具体的には、３次元点群解析部５２０は、走行路面を構成する３次元点群を基準として、走行路面より高い位置の３次元点と、走行路面より低い位置の３次元点とを特定する。
そして、３次元点群解析部５２０は、特定された３次元点同士が所定範囲内で横方向に隣接していれば、走行路面に対する高さがランダムに上下に変化する３次元点群であると判断する。そして、３次元点群解析部５２０は、走行路面に対する高さがランダムに上下に変化する３次元点群により構成される段差候補を、視差の誤測定によって抽出された可能性が有ると判断することができる。

　この手法は、３次元点群のそれぞれとカメラの視点とを通る複数の直線を用いる上記の手法よりも、簡易に実装することができる。よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を更に容易に抑制することができ、道路に存在する段差を正確且つ更に容易に検知することができる。

　横線確認部５３０は、横方向に延びる線分候補と重畳する段差候補が、視差の誤測定によって抽出された可能性が高いか否かを最終的に判断する。図１４の上段に示すように、左画像と右画像とが適切に平行化されており、且つ、縦方向の輝度変化以外に特徴量を有しない画素が横方向に並んでいる場合、信頼度評価部２５０により評価されたステレオマッチング処理の信頼度が低い。横線確認部５３０は、横方向に並ぶ画素列の大半が縦方向の輝度変化以外に特徴量を有しない線分候補を探索し、ステレオマッチング処理の信頼度が低いことを確認する。

　更に、図１４の下段のＢ部分に示すように、図１４の上段と比べて縦方向に輝度分布が僅かに変化する画素列により構成された線分候補の場合、この線分候補が量子化される際に横方向の何処で輝度分布が縦方向に変化するのかを正確に特定し難く、正確に量子化できない可能性が有る。このような細かい事象であっても、視差の誤測定の発生要因となり得る。更に、左画像と右画像とが適切に平行化されていないこと、すなわち、Ｙずれが発生していることも、視差の誤測定の発生要因となり得る。Ｙずれが発生している場合、ステレオマッチング処理の信頼度が全体的に低く、横方向に延びる線分候補と重畳する段差候補を構成する３次元点群は、走行路面に対する高さがランダムに上下に変化する３次元点群であることが多い。

　横線確認部５３０は、図１４の上段及び下段に示すような横方向に延びる線分候補と重畳する段差候補は、視差の誤測定によって抽出された可能性が高いと判断する。言い換えると、横線確認部５３０は、図１４の上段及び下段に示すような横方向に延びる線分候補に起因して、視差の誤測定が発生した可能性が高いと判断する。

　斜線確認部５４０は、斜め方向に延びる線分候補と重畳する段差候補が、視差の誤測定によって抽出された可能性が高いか否かを最終的に判断する。ここで、図１５及び図１６に示すように、右画像においてマッチングウィンドウの左上部に白線が映っている場合を例に挙げて、斜線確認部５４０の処理について説明する。白線は、路面標示であり、道路標示と区画線とを含む。道路標示は、導流帯（ゼブラ）や停止線等の路面標示である。区画線は、複数の走行路同士の境界線（例えば、車両通行帯の境界線）や、走行路と路端部との境界線（例えば、車道外側線）等の路面標示である。本実施形態では、白線として車道外側線がマッチングウィンドウの左上部に映っている場合を例に挙げて説明する。

　図１５の上段は、マッチングウィンドウ内の特徴量の重心位置がマッチングウィンドウの中心位置から大きくずれている場合を示す。図１５の中段は、図１５の上段に示すマッチングウィンドウを拡大した図である。図１５の下段は、図１５の上段及び中段と比べて、マッチングウィンドウ内の特徴量の重心位置がマッチングウィンドウの中心位置から殆どずれていない場合を示す。なお、図１５の中段及び下段において、十字を丸にて囲んだ印はマッチングウィンドウ内の特徴量の重心位置を示し、斜線を丸にて囲んだ印はマッチングウィンドウの中心位置を示す。

　マッチングウィンドウを用いたステレオカメラの距離測定法において、距離の測定は、マッチングウィンドウの中心位置を基準として行われることが多い。一方、上記の重心計算部２３０の説明で述べたように、マッチングウィンドウ内において特徴量の偏りが存在する場合、視差の測定は、マッチングウィンドウ内の特徴量の重心位置を基準として行われた方が正確である。しかしながら、通常のステレオマッチング処理では、特徴量の重心位置を基準として測定された視差を、マッチングウィンドウの中心位置を基準として測定された視差として扱うことが多いため、視差の誤測定を発生させる要因となり得る。

　例えば、図１５の中段に示すように、マッチングウィンドウの左上部にだけ白線が映っており、他に目立った特徴が無い場合、マッチングウィンドウ内において特徴量の偏りが存在する。この場合、マッチングウィンドウ内の特徴量の重心位置は、マッチングウィンドウの中心位置からΔＺ及びΔＸだけ大きく離れた左上部に位置する。マッチングウィンドウ内の特徴量の重心位置を基準として視差の測定を行うと、測定誤差は小さい。しかしながら、マッチングウィンドウの中心位置を基準として視差の測定を行うと、ΔＺ及びΔＸが問題となり、マッチングウィンドウの大きさに対して視差の測定誤差が大きくなる。視差の測定誤差に応じて、距離の測定誤差も大きくなる。

　一方、図１５の下段に示すように、マッチングウィンドウの中心位置を通るように白線が映っており、他に目立った特徴が無い場合、マッチングウィンドウ内の特徴量の重心位置とマッチングウィンドウの中心位置とは、実質的に同一の位置となる。この場合、マッチングウィンドウの中心位置を基準として視差の測定を行っても、視差の測定誤差は微小であり、距離の測定誤差も微小である。

　斜線確認部５４０は、図１５の上段及び中段に示すような斜め方向に延びる線分候補と重畳する段差候補は、視差の誤測定によって抽出された可能性が高いと判断する。言い換えると、斜線確認部５４０は、図１５の上段及び中段に示すような斜め方向に延びる線分候補に起因して、視差の誤測定が発生した可能性が高いと判断する。

　図１６の上段は、左画像と右画像とが適切に平行化されており、Ｙずれが発生していない場合を示す。図１６の下段は、左画像と右画像とが適切に平行化されておらず、Ｙずれが発生している場合を示す。

　左画像と右画像とが適切に平行化されておらず、Ｙずれが発生している場合には、視差の誤測定が発生する。本来であれば、図１６の下段の右画像において実線で示すマッチングウィンドウに対して、左画像のマッチングウィンドウを横方向に移動させて対応点を探索したい。Ｙずれが発生している場合、図１６の下段の右画像において破線で示すマッチングウィンドウに対して、左画像のマッチングウィンドウを横方向に移動させて対応点を探索してしまう。すなわち、Ｙずれが発生している場合、左画像と右画像との高さが同一で無いことから、異なる高さにおいて右画像と左画像との対応点を探索してしまうため、視差の誤測定が発生し得る。

　斜線確認部５４０は、視差の誤測定が発生した可能性が高いと判断された斜め方向に延びる線分候補について、Ｙずれが発生しているかを確認する。具体的には、斜線確認部５４０は、右画像に設定されたマッチングウィンドウと左画像に設定されたマッチングウィンドウとの何れかを、縦方向へ所定量だけずらしてマッチングウィンドウを再設定する。斜線確認部５４０は、再設定されたマッチングウィンドウを用いて、この斜め方向に延びる線分候補についてステレオマッチング処理を行い、類似度を再計算する。この際、斜線確認部５４０は、マッチングウィンドウを縦方向のうちの上方向及び下方向のそれぞれに複数回に亘って所定量だけずらしてマッチングウィンドウを再設定し、類似度を再計算してよい。斜線確認部５４０は、再設定されたマッチングウィンドウを用いた場合の類似度と、再設定される前の既存のマッチングウィンドウを用いた場合の類似度とを比較する。Ｙずれが発生していなければ、既存のマッチングウィンドウを用いた場合の類似度が、再設定されたマッチングウィンドウを用いた場合の類似度よりも高くなる。Ｙずれが発生していれば、再設定されたマッチングウィンドウを用いた場合の類似度が、既存のマッチングウィンドウを用いた場合の類似度よりも高くなる。これにより、斜線確認部５４０は、視差の誤測定が発生した可能性が高いと判断された斜め方向に延びる線分候補について、Ｙずれが発生しているかを確認することができる。

　なお、横線確認部５３０は、斜線確認部５４０と同様の手法によって、視差の誤測定が発生した可能性が高いと判断された横方向に延びる線分候補について、Ｙずれが発生しているかを確認する。

　マッチング修正部５５０は、横線確認部５３０及び斜線確認部５４０により視差の誤測定が発生した可能性が高いと判断された線分候補について、視差の誤測定の発生要因の種類に応じて、視差に応じた距離を修正する。

　マッチング修正部５５０は、図１５の上段及び中段に示すような斜め方向に延びる線分候補について、マッチングウィンドウ内の特徴量の重心位置を用いて、視差に応じた距離を修正する。例えば、マッチング修正部５５０は、マッチングウィンドウ内の特徴量の重心位置と、マッチングウィンドウの中心位置との差分ΔＺ及びΔＸを用いて、視差に応じた距離を修正する。

　これにより、車載環境認識装置１は、テクスチャの偏り等によってマッチングウィンドウ内の特徴量が偏っている場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置１は、段差候補を構成する３次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。

　マッチング修正部５５０は、図１６の下段に示すような斜め方向に延びる線分候補、又は、横方向に延びる線分候補について、Ｙずれの発生が確認された場合、横線確認部５３０又は斜線確認部５４０によるＹずれの発生の確認処理の結果に基づいて、左画像及び右画像を平行化し、視差に応じた距離を修正する。

　すなわち、横線確認部５３０又は斜線確認部５４０は、縦方向へ所定量だけずらして再設定されたマッチングウィンドウを用いた場合の類似度と、再設定される前の既存のマッチングウィンドウを用いた場合の類似度とを比較することによって、Ｙずれが発生しているかを確認する。マッチング修正部５５０は、この類似度の比較結果に基づいて、視差に応じた距離を修正する。具体的には、マッチング修正部５５０は、この類似度の比較結果において類似度が最も高かったステレオマッチング処理に用いられたマッチングウィンドウを特定する。マッチング修正部５５０は、特定されたマッチングウィンドウの既存のマッチングウィンドウからのずれ量に応じて、左画像及び右画像を平行化する。マッチング修正部５５０は、平行化された左画像を及び右画像について、ステレオマッチング処理を再度行う。マッチング修正部５５０は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。

　これにより、車載環境認識装置１は、左画像及び右画像が適切に平行化していない場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置１は、段差候補を構成する３次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。

　マッチング修正部５５０は、図１４の上段及び下段に示すような横方向に延びる線分候補について、マッチングウィンドウの大きさを縦方向に拡大して、ステレオマッチング処理を再度行う。具体的には、マッチング修正部５５０は、この横方向に延びる線分候補の周囲にある縦方向に延びる線分候補（すなわち横エッジ）がマッチングウィンドウ内に入るまで、マッチングウィンドウの大きさを縦方向に拡大し、マッチングウィンドウを再設定する。マッチング修正部５５０は、再設定されたマッチングウィンドウを用いて、この横方向に延びる線分候補についてステレオマッチング処理を再度行う。マッチング修正部５５０は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。マッチングウィンドウの縦方向の大きさを拡大することで、周囲の３次元形状を詳細に再現することは難しくなる可能性が有るが、マッチングウィンドウの外にあった横エッジがマッチングウィンドウ内に入り易くなる。横エッジは一対の画像間の対応点探索の手掛かりとなるため、横エッジがマッチングウィンドウ内に入ると対応点が正しく探索され易くなり、ステレオマッチング処理の信頼度を向上させることができる。

　これにより、車載環境認識装置１は、横方向に延びる線分候補が、縦方向に輝度分布が僅かに変化する画素列にて構成されることに伴って正確に量子化できない場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置１は、段差候補を構成する３次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。

　なお、マッチング修正部５５０は、図１６の下段に示すような斜め方向に延びる線分候補、又は、横方向に延びる線分候補について、Ｙずれの発生が確認された場合、マッチングウィンドウの縦方向の大きさを拡大して、ステレオマッチング処理を再度行ってもよい。マッチング修正部５５０は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正してもよい。マッチング修正部５５０は、マッチングウィンドウの縦方向の大きさを拡大することで、Ｙずれがマッチングウィンドウ内に与える影響を軽減することができ、視差の測定誤差及び距離の測定誤差を低減することができる。

　また、マッチング修正部５５０は、視差の誤測定が発生した可能性が高いと判断された横方向又は斜め方向に延びる線分候補について、マッチングウィンドウ内に存在するエッジのうちでエッジ強度が所定強度以上のエッジをマスクする。マッチング修正部５５０は、マスクされたエッジを除いて、横方向又は斜め方向に延びる線分候補についてステレオマッチング処理を再度行う。マッチング修正部５５０は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。

　マッチングウィンドウ内に存在するエッジ強度が所定強度以上のエッジをマスクすると、マッチングウィンドウ内において特徴量の偏りが低減する。マッチングウィンドウ内において特徴量の偏りが低減すると、特徴量の重心位置とマッチングウィンドウの中心位置とが近接するため、マッチングウィンドウの中心位置を基準として視差の測定を行っても、視差の測定誤差は小さくなる。

　これにより、車載環境認識装置１は、マッチングウィンドウ内のテクスチャが偏っている場合でも、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができる。車載環境認識装置１は、段差候補を構成する３次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。

　ここで、ステレオマッチング部２００は、ステレオマッチング処理において、上記のように、マッチングウィンドウ内のエッジの強度をマッチングウィンドウ内の特徴量として、類似度の計算を行う。すなわち、ステレオマッチング部２００は、マッチングウィンドウ内の輝度変化の大きさがそのまま類似度の計算に影響を及ぼすような手法によって、ステレオマッチング処理を行っている。

　マッチング修正部５５０は、マッチングウィンドウ内の輝度変化の大きさがそのまま類似度の計算に影響を及ぼさないような手法によって、ステレオマッチング処理を再度行うことができる。例えば、マッチング修正部５５０は、マッチングウィンドウ内のエッジの角度をマッチングウィンドウ内の特徴量として、類似度の計算を行うことができる。エッジの角度は、横エッジの強度と縦エッジの強度とを用いてエッジをベクトル化し、ベクトル化されたエッジと座標軸との成す角度である。

　具体的には、マッチング修正部５５０は、視差の誤測定が発生した可能性が高いと判断された横方向又は斜め方向に延びる線分候補において、マッチングウィンドウ内の縦エッジの強度と横エッジの強度とから算出されたエッジの角度を特定する。この際、マッチング修正部５５０は、直線候補探索部４１０により生成されたエッジ角度画像から、エッジの角度を特定してよい。マッチング修正部５５０は、特定されたエッジの角度を類似度の計算に用いて、横方向又は斜め方向に延びる線分候補についてステレオマッチング処理を再度行う。マッチング修正部５５０は、再度行われたステレオマッチング処理の結果に応じて、視差を再測定すると共に、視差に応じた距離を修正する。

　エッジの角度を類似度の計算に用いる場合、横方向又は斜め方向に延びる線分候補が、最低限の強度を有するエッジを含んでいるだけで、ステレオマッチング処理が可能となる。そして、この場合、強いエッジだけでなく、マッチングウィンドウ内に存在する最低限の強度を有する弱いエッジも類似度の計算に反映させることができる。よって、マッチング修正部５５０は、エッジの角度を用いて類似度の計算を行うことにより、強いエッジだけに依存していたことに伴って発生していた視差の誤測定を低減することができる。

　これにより、車載環境認識装置１は、視差の誤測定に伴って発生する視差の測定誤差を低減し、距離の測定誤差を低減することができるため、段差候補を構成する３次元点群によって道路を存在する段差を正確に再現することができる。よって、車載環境認識装置１は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。

［立体物検知部］
　図１７は、図１に示す立体物検知部６００の構成を示す図である。

　立体物検知部６００は、図１７に示すように、路端部段差検知部６１０と、走行路面段差検知部６２０と、障害物検知部６３０とを備える。

　立体物検知部６００は、マッチング修正部５５０により再度行われたステレオマッチング処理の結果により、３次元点群を再度取得する。そして、立体物検知部６００は、再度取得された３次元点群を用いて路面平面部の高さ及び傾きを修正し、修正された路面平面部を用いて、道路に存在する段差を検知する処理を行う。なお、立体物検知部６００は、既に取得された３次元点群を用いて、立体物の検知を行ってもよい。すなわち、立体物検知部６００は、路面平面解析部３１０により推定された路面平面部の高さ及び傾きを用いて、道路に存在する段差を検知する処理を行ってもよい。

　路端部段差検知部６１０は、路面平面部に関する推定結果と、連結成分抽出部３５０により抽出された段差候補とに基づいて、路端部に存在する段差を検知し、路端部に存在する段差と路面標示とを識別する。例えば、路端部段差検知部６１０は、路端部段差抽出部３２０により抽出され連結成分抽出部３５０により抽出された段差候補において、視差の誤測定によって抽出された可能性が高いと判断されていない段差候補については、修正された路面平面部に対して高低差を有することを再確認する。また、例えば、路端部段差検知部６１０は、路端部段差抽出部３２０により抽出され連結成分抽出部３５０により抽出された段差候補において、視差の誤測定によって抽出された可能性が高いと判断された段差候補については、再度取得された３次元点群と、修正された路面平面部とを比較することによって、段差候補として誤って抽出されたことを確認する。

　これにより、路端部段差検知部６１０は、路端部に存在する段差と、横方向又は斜め方向に延びる線分候補に起因して視差の誤測定によって誤って抽出された段差候補とを、確実に識別することができる。特に、路端部段差検知部６１０は、走行路面と路肩との間に存在する高低差の小さい段差と、走行路面に描かれた区画線や導流帯（ゼブラ）等の横方向又は斜め方向に延びる路面標示とを、確実に識別することができる。路端部段差検知部６１０は、導流帯（ゼブラ）の影響を除去するために、時系列的な処理も行い得る。

　走行路面段差検知部６２０は、修正された路面平面部に基づいて、走行路面に存在する段差を検知する。走行路面段差検知部６２０は、走行路面段差抽出部３３０により抽出され連結成分抽出部３５０により抽出された段差候補において、修正された路面平面部から大きく外れた３次元点群をノイズとして削除する。そして、走行路面段差検知部６２０は、残った３次元点群の形状を確認し、走行路面に存在するバンプ等の段差を検知する。すなわち、走行路面段差検知部６２０は、車両が走行時に容易に乗り越え可能な走行路面の段差であるが、車両に衝撃を与え得る段差を検知する。

　障害物検知部６３０は、修正された路面平面部に基づいて、走行路面に存在する障害物等を検知する。障害物検知部６３０は、修正された路面平面部に対して高低差を有する３次元点群が集合性を有しているかを判断することによって、走行路面に存在する障害物等を検知する。この際に利用される視差は、マッチング修正部５５０により視差の測定結果が修正されたものであり、障害物検知部６３０は、高低差の小さい障害物であっても、正確に検知することができる。

［警報制御部］
　警報制御部７００は、立体物検知部６００の検知結果に基づいて、車両の走行又は警報の報知を制御する制御情報を、車両の制御装置へ出力する。

　例えば、路端部段差検知部６１０の検知結果に基づいて、車両が走行路の区画線から逸脱しそうであることが検知されると、警報制御部７００は、警報を報知する制御情報や、操舵角を調整する制御情報や、車速を抑制する制御情報を、車両の制御装置へ出力する。
これにより、警報制御部７００は、車両が区画線から逸脱することを防止し、路端部に存在する縁石や壁等に衝突することを防止することができる。

　また、例えば、走行路面段差検知部６２０の検知結果に基づいて、走行路面にバンプ等の段差が存在することが検知されると、警報制御部７００は、車速を抑制する制御情報や、アクティブサスペンションにおいて衝撃を吸収するよう設定を変更する制御情報を、車両の制御装置へ出力する。これにより、警報制御部７００は、車両が走行路面に存在する段差を通過する際に車両に加わる衝撃を緩和することができる。

　また、例えば、障害物検知部６３０の検知結果に基づいて、走行路面に障害物等が存在し、車両が障害物に衝突しそうであることが検知されると、警報制御部７００は、障害物への衝突を防止するよう、走行を停止するブレーキの制御情報や、障害物を回避する操舵角の制御情報を、車両の制御装置へ出力する。これにより、警報制御部７００は、車両が走行路面に存在する障害物に衝突することを防止することができる。なお、警報制御部７００は、ブレーキや操舵角の制御情報を出力する前に、警報を報知する制御情報を、車両の制御装置へ出力してもよい。

　車載環境認識装置１は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知した上で、車両の走行又は警報の報知を制御する制御情報を、車両の制御装置へ出力することができる。よって、車載環境認識装置１は、車両の予防安全機能や運転支援機能等を高度化することができる。

［周囲環境認識処理］
　図１８は、図１に示す車載環境認識装置１によって行われる周囲環境認識処理を示すフローチャートである。

　車載環境認識装置１は、画像取得部１１０を構成する一対のカメラにより一対の画像を取得すると（ステップＳ０１）、エッジ画像の生成処理を行う（ステップＳ０２）。具体的には、車載環境認識装置１は、一対のカメラにより取得された一対の画像のうちの基準画像である右画像にエッジ抽出処理を行うことによって、エッジ画像を生成する。

　車載環境認識装置１は、一対のカメラの感度や取得された一対の画像の幾何的条件をキャリブレーションした後、ステレオマッチング処理を行い（ステップＳ０３）、一対の画像間の対応点を探索する。一対の画像間の対応点が探索されると、３次元空間上の３点の位置が特定され、一対の画像間の視差の測定が可能となる。車載環境認識装置１は、一対の画像間の視差を測定し、視差画像を生成すると共に、測定された視差から三角測量の原理に基づいて奥行方向の距離を測定する。これにより、一対のカメラの視野内における３次元点群が取得され得る。

　車載環境認識装置１は、走行路の路面平面部の解析処理を行う（ステップＳ０４）。具体的には、車載環境認識装置１は、取得された３次元点群から路面平面部の高さ及び傾きを推定する。これにより、一対のカメラと走行路面との位置関係が推定され得る。

　車載環境認識装置１は、道路に存在する段差候補の抽出処理を行う（ステップＳ０５）。具体的には、車載環境認識装置１は、ステップＳ０４において推定された路面平面部に対して高低差を有する３次元点群を特定し、特定された３次元点群の高さに基づいて、道路に存在する段差候補を抽出する。その後、車載環境認識装置１は、ステップＳ０７へ移行する。

　また、車載環境認識装置１は、ステップＳ０３～ステップＳ０５の処理と並行して、線分候補の抽出処理を行う（ステップＳ０６）。具体的には、車載環境認識装置１は、ステップＳ０２において生成されたエッジ画像に基づいて、画像に含まれる直線候補を探索し、探索された直線候補のうちから、始点及び終点を有する線分候補を抽出する。車載環境認識装置１は、画像上の線分候補の傾きに応じて、抽出された線分候補を、縦方向に延びる線分候補と、横方向に延びる線分候補と、斜め方向に延びる線分候補とに分類する。車載環境認識装置１は、線分候補が連続したエッジ上に存在するかを確認すると共に、最低限のノイズを削除した後、ステップＳ０７へ移行する。

　車載環境認識装置１は、ステップＳ０５において抽出された段差候補と、ステップＳ０６において抽出された線分候補との照合処理を行う（ステップＳ０７）。そして、車載環境認識装置１は、照合結果と線分候補の傾きとに基づいて、抽出された段差候補の妥当性を解析する。

　具体的には、車載環境認識装置１は、段差候補が線分候補と重畳しない場合、又は、段差候補が縦方向に延びる線分候補と重畳する場合、ステレオマッチング処理が正しく行われている可能性が高いため、段差候補の妥当性が高いと判断し（ステップＳ０７：ＹＥＳ）、ステップＳ１０へ移行する。一方、車載環境認識装置１は、段差候補が横方向又は斜め方向に延びる線分候補と重畳する場合、ステレオマッチング処理の結果に視差の誤測定が含まれている可能性が高いため、段差候補の妥当性が低いと判断し（ステップＳ０７：ＮＯ）、ステップＳ０８へ移行する。

　車載環境認識装置１は、視差の誤測定に関する解析処理を行う（ステップＳ０８）。具体的には、車載環境認識装置１は、段差候補を構成する３次元点群の配置を解析し、段差候補が視差の誤測定により抽出された可能性が有るか否かを判断する。

　車載環境認識装置１は、段差候補が視差の誤測定により抽出された可能性が有る場合、視差の誤測定の発生要因を解析する。例えば、車載環境認識装置１は、横方向に延びる線分候補について、輝度分布が縦方向に僅かに変化する画素列にて構成されることに伴って正確に量子化できないこと（図１４の下段を参照）、Ｙずれが発生していること（図１６の下段を参照）、カメラの歪みを完全に補正できず部分的に歪みが残っていること等を確認し、視差の誤測定の発生要因を解析する。また、例えば、車載環境認識装置１は、斜め方向に延びる線分候補について、マッチングウィンドウ内のテクスチャの偏り等に伴って特徴量の重心位置が偏っていること（図１５の中段を参照）、Ｙずれが発生していること（図１６の下段を参照）等を確認し、視差の誤測定の発生要因を解析する。

　車載環境認識装置１は、視差の誤測定の発生要因を解析して、段差候補が視差の誤測定により抽出された可能性が高いと判断された場合、ステップＳ０９へ移行する。一方、車載環境認識装置１は、視差の誤測定の発生要因を解析して、段差候補が視差の誤測定により抽出された可能性が低いと判断した場合、ステップＳ１０へ移行する。

　車載環境認識装置１は、段差候補が視差の誤測定により抽出された可能性が高いと判断された場合、マッチング修正処理を行う（ステップＳ０９）。具体的には、車載環境認識装置１は、視差の誤測定の発生要因に応じて、ステレオマッチング処理を再度行って視差を再測定すると共に視差に応じた距離を修正したり、抽出された段差候補をノイズとして削除したりする。その後、車載環境認識装置１は、ステップＳ１０へ移行する。

　車載環境認識装置１は、再測定された視差を用いて路面平面部の高さ及び傾きを修正し、修正された路面平面部に基づいて、道路に存在する段差を検知する立体物検知処理を行う（ステップＳ１０）。すなわち、車載環境認識装置１は、修正された路面平面部に基づいて、道路に存在する段差と路面標示とを識別し、路端部に存在する段差や、走行路面に存在するバンプ等の段差や、走行路面に存在する障害物等を検知する。ステップＳ０９のマッチング修正処理は、走行路面に存在する障害物、穴、側溝等の高低差の大きい段差に対する検知性能に与える影響は軽微である。反対に、ステップＳ０９のマッチング修正処理は、高低差の小さい段差（例えば、高さ５ｃｍ程の段差）やバンプ等の段差に対する検知性能に与える影響は大きい。すなわち、ステップＳ０９のマッチング修正処理により、車載環境認識装置１は、高低差の大きい段差に対する検知性能を殆ど低下させることなく、高低差の小さい段差やバンプ等の段差に対する検知性能を大幅に向上させることができる。

　車載環境認識装置１は、警報制御処理を行う（ステップＳ１１）。具体的には、車載環境認識装置１は、ステップＳ１０の検知結果に基づいて、車両の走行制御や警報の報知等に必要な情報を、車両の制御装置へ出力する。その後、車載環境認識装置１は、周囲環境認識処理を終了する。

　本実施形態では、車載環境認識装置１が備える各構成要素のうち、ステレオマッチング部２００と、段差候補抽出部３００と、線分候補抽出部４００と、解析部５００と、立体物検知部６００とをまとめて「処理装置」とも称する。処理装置は、ステレオカメラ部１００の一対のカメラにより取得された一対の画像を処理する。処理装置は、警報制御部７００を更に含んでもよい。処理装置は、ステレオカメラ部１００の露光調整部１２０、感度較正部１３０、幾何較正部１４０及びエッジ生成部１５０の少なくとも１つを更に含んでもよい。処理装置は、図１８に示す周囲環境認識処理を行うことが可能である。車載環境認識装置１は、一対のカメラと処理装置とを備えると表現することも可能である。

　言い換えると、処理装置は、少なくとも、車両に搭載された一対のカメラにより取得された一対の画像を処理する処理装置であって、一対の画像の視差を測定し、視差画像を生成するステレオマッチング部２００と、ステレオマッチング部２００により生成された視差画像から、車両が走行する道路の段差候補を抽出する段差候補抽出部３００と、一対のカメラにより取得された画像から線分候補を抽出する線分候補抽出部４００と、段差候補抽出部３００により抽出された段差候補を、線分候補抽出部４００により抽出された線分候補と照合し、照合結果と線分候補の傾きとに基づいて、段差候補の妥当性を解析する解析部５００と、解析部５００の解析結果に基づいて、道路に存在する段差を検知する立体物検知部６００とを備える。

　処理装置は、照合結果と線分候補の傾きとに基づいて段差候補の妥当性を解析することができる。これにより、処理装置は、視差の誤測定が発生し易い線分候補と重畳する段差候補については、視差を再測定して距離を修正したり、ノイズとして削除したりすることができる。処理装置は、段差候補を構成する３次元点群によって道路を存在する段差だけを正確に再現することができる。よって、処理装置は、視差の誤測定に伴う誤検知を抑制して、道路に存在する段差を正確に検知することができる。

　なお、処理装置は、一対のカメラと一体的に設けられてよい。例えば、処理装置は、車両のウィンドウシールドガラスの内側に設置された一対のカメラを含むステレオカメラ装置の筐体内に設けられてよい。また、処理装置は、一対のカメラと別体として設けられてよい。例えば、処理装置は、車両の制御装置の１つである電子制御ユニットの一部として設けられてよい。

［その他］
　本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段などは、それらの一部又は全部を、例えば集積回路にて設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テープ、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　１…車載環境認識装置　　　　　１００…ステレオカメラ部
　２００…ステレオマッチング部　　　３００…段差候補抽出部
　４００…線分候補抽出部　　　　　　５００…解析部
　６００…立体物検知部　　　　　　　７００…警報制御部

Claims

　車両に搭載された一対のカメラにより取得された一対の画像を処理する処理装置であって、
　前記一対の画像の特徴を取得し、特徴画像を生成する特徴画像生成部と、
　前記特徴画像生成部により生成された前記特徴画像から、前記車両が走行する道路の段差候補を抽出する段差候補抽出部と、
　前記画像から線分候補を抽出する線分候補抽出部と、
　前記段差候補抽出部により抽出された前記段差候補を、前記線分候補抽出部により抽出された前記線分候補と照合し、照合結果と前記線分候補の傾きとに基づいて、前記段差候補の妥当性を解析する解析部と、
　前記解析部の解析結果に基づいて、前記道路に存在する段差を検知する立体物検知部とを備えることを特徴とする処理装置。
　前記特徴画像生成部は、前記一対の画像の視差を測定し、視差画像を生成するステレオマッチング部を含む
　ことを特徴とする請求項１に記載の処理装置。
　前記ステレオマッチング部は、前記一対の画像間の対応点を前記一対のカメラ同士を結ぶ方向に沿って探索するステレオマッチング処理を行って前記視差を測定し、
　前記線分候補抽出部は、前記線分候補を、その傾きに応じて、前記対応点の探索方向に沿った方向である第１方向に延びる前記線分候補と、前記第１方向と垂直な第２方向に延びる前記線分候補と、前記第１方向及び前記第２方向に交差する第３方向に延びる前記線分候補とに分類し、
　前記解析部は、前記段差候補が前記線分候補と重畳しない場合、又は、前記段差候補が前記第２方向に延びる前記線分候補と重畳する場合、前記段差候補の前記妥当性が高いと判断する
　ことを特徴とする請求項２に記載の処理装置。
　前記ステレオマッチング部は、前記一対の画像間の対応点を前記一対のカメラ同士を結ぶ方向に沿って探索するステレオマッチング処理を行って前記視差を測定し、
　前記線分候補抽出部は、前記線分候補を、その傾きに応じて、前記対応点の探索方向に沿った方向である第１方向に延びる前記線分候補と、前記第１方向と垂直な第２方向に延びる前記線分候補と、前記第１方向及び前記第２方向に交差する第３方向に延びる前記線分候補とに分類し、
　前記解析部は、
　　前記段差候補が前記第１方向又は前記第３方向に延びる前記線分候補と重畳する場合、前記段差候補の前記妥当性が低いと判断し、前記段差候補を構成する３次元点群の配置に基づいて前記段差候補が前記視差の誤測定によって抽出された可能性が有るかを解析し、
　　前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、前記視差に応じた距離を修正する
　ことを特徴とする請求項２に記載の処理装置。
　前記解析部は、前記第１方向又は前記第３方向に延びる前記線分候補と重畳する前記段差候補であって、前記段差候補を構成する３次元点群のそれぞれと前記カメラの視点とを通る複数の直線同士が互いに交差する場合、又は、前記複数の直線同士の間隔が不均一である場合、前記複数の直線を通る前記３次元点群により構成される前記段差候補を、前記視差の誤測定によって抽出された可能性が有ると判断する
　ことを特徴とする請求項４に記載の処理装置。
　前記解析部は、前記第１方向又は前記第３方向に延びる前記線分候補と重畳する前記段差候補であって、前記段差候補を構成する３次元点群の前記道路の路面に対する高さがランダムに上下に変化する場合、当該３次元点群により構成される前記段差候補を、前記視差の誤測定によって抽出された可能性が有ると判断する
　ことを特徴とする請求項４に記載の処理装置。
　前記ステレオマッチング部は、
　　前記一対の画像にマッチングウィンドウを設定して前記ステレオマッチング処理を行い、
　　前記マッチングウィンドウ内において前記第１方向に輝度変化を有するエッジの強度を前記第１方向に累積した累積値のヒストグラムと、前記エッジの前記強度を前記第２方向に累積した累積値のヒストグラムとを生成し、
　　生成された各ヒストグラムが有するピーク位置から、前記マッチングウィンドウ内の特徴量の重心位置を決定し、
　前記解析部は、前記第１方向又は前記第３方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、前記重心位置を用いて、前記距離を修正する
　ことを特徴とする請求項４に記載の処理装置。
　前記ステレオマッチング部は、前記一対の画像にマッチングウィンドウを設定して前記ステレオマッチング処理を行い、
　前記解析部は、前記第１方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
　　前記第１方向に延びる前記線分候補の周囲にある前記第２方向に延びる前記線分候補が前記マッチングウィンドウ内に入るまで前記マッチングウィンドウの大きさを前記第２方向へ拡大し、前記マッチングウィンドウを再設定し、再設定された前記マッチングウィンドウを用いて、前記第１方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
　　再度行われた前記ステレオマッチング処理の結果に応じて前記距離を修正する
　ことを特徴とする請求項４に記載の処理装置。
　前記ステレオマッチング部は、前記一対の画像の一方に設定されたマッチングウィンドウ内の特徴量と、前記一対の画像の他方に設定されたマッチングウィンドウ内の特徴量との類似度を計算して、前記ステレオマッチング処理を行い、
　前記解析部は、前記第１方向又は前記第３方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
　　前記一対の画像の一方に設定された前記マッチングウィンドウと前記一対の画像の他方に設定された前記マッチングウィンドウとの何れかを、前記第２方向へ所定量だけずらして前記マッチングウィンドウを再設定し、再設定された前記マッチングウィンドウを用いて、前記第１方向又は前記第３方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
　　再設定された前記マッチングウィンドウを用いた場合の前記類似度と、再設定される前の前記マッチングウィンドウを用いた場合の前記類似度とを比較し、比較結果に基づいて前記一対の画像を平行化し、前記距離を修正する
　ことを特徴とする請求項４に記載の処理装置。
　前記ステレオマッチング部は、前記一対の画像にマッチングウィンドウを設定して前記ステレオマッチング処理を行い、
　前記解析部は、前記第１方向又は前記第３方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
　　前記第１方向又は前記第３方向に延びる前記線分候補において、前記マッチングウィンドウ内に存在するエッジのうちでエッジ強度が所定強度以上のエッジをマスクし、
　　マスクされた前記エッジを除いて、前記第１方向又は前記第３方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
　　再度行われた前記ステレオマッチング処理の結果に応じて前記距離を修正する
　ことを特徴とする請求項４に記載の処理装置。
　前記ステレオマッチング部は、前記一対の画像の一方に設定されたマッチングウィンドウ内の特徴量と、前記一対の画像の他方に設定されたマッチングウィンドウ内の特徴量との類似度を計算して、前記ステレオマッチング処理を行い、
　前記解析部は、前記第１方向又は前記第３方向に延びる前記線分候補と重畳する前記段差候補が前記視差の誤測定によって抽出された可能性が高い場合、
　　前記第１方向又は前記第３方向に延びる前記線分候補において、前記マッチングウィンドウ内に存在するエッジの角度を特定し、
　　特定された前記エッジの角度を前記特徴量として、前記第１方向又は前記第３方向に延びる前記線分候補について前記ステレオマッチング処理を再度行い、
　　再度行われた前記ステレオマッチング処理の結果に応じて前記距離を修正する
　ことを特徴とする請求項４に記載の処理装置。
　前記立体物検知部の検知結果に基づいて、前記車両の走行又は警報の報知を制御する制御情報を、前記車両の制御装置へ出力する警報制御部を更に備える
　ことを特徴とする請求項１に記載の処理装置。