JP6358160B2 - 走行路面検出装置及び走行路面検出方法 - Google Patents

Description

本発明の種々の側面は、車両の走行路面を検出する走行路面検出装置、及び走行路面検出方法に関する。

従来、車両の周囲の撮像画像の視差情報から、車両が走行する走行路面と、立体物が存在する立体物存在領域とを検出し、車両から見て立体物存在領域の手前までの領域を走行領域として検出する走行路面検出装置がある。このような走行路面検出装置として、例えば、下記の特許文献１に記載された装置が知られている。

米国特許出願公開第２０１４／００７１２４０号明細書

ここで、走行路面検出装置は、視差情報に基づいて立体物の検出を行う場合、例えば立体物が細い等のときには、立体物を精度良く検出できないことがある。この場合、走行路面検出装置は、実際には立体物が存在するにもかかわらず、当該立体物が存在する領域及び当該立体物が存在する領域からさらに先の領域を、走行路面として検出することがある。

そこで、本発明の種々の側面は、走行路面を精度良く検出可能な走行路面検出装置及び走行路面検出方法を提供することを目的とする。

本発明の一側面は、車両の走行路面を検出する走行路面検出装置であって、車載カメラの撮像した車両の周囲の撮像画像に基づいて、視差情報が対応付けられた画素である視差点を含む視差画像を生成する視差画像生成部と、視差画像に基づいて、車両の周囲の路面領域と、立体物が存在する立体物存在領域と、車両の周囲において路面領域及び立体物存在領域以外の不確定領域とを特定する領域特定部と、撮像画像に基づくグリッドマップ上において、車両から離れる方向に向かって順次延長されるように走行路面を検出する走行路面検出部と、視差情報に基づいて路面領域内の路面の高さ位置を推定する路面高さ推定部と、推定された路面の高さ位置と、視差情報とに基づいて、不確定領域のうち路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む領域を視差高さ存在領域として特定する視差高さ特定部と、を備え、走行路面検出部は、立体物存在領域及び視差高さ存在領域と、車両から見て立体物存在領域及び視差高さ存在領域よりも車両から離れる方向側の領域とを走行路面として検出しない。

この走行路面検出装置において視差高さ特定部は、推定された路面の高さ位置と、視差情報とに基づいて、不確定領域のうち、路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む視差高さ存在領域を特定する。走行路面検出部は、立体物存在領域及び視差高さ存在領域と、車両から見て立体物存在領域及び視差高さ存在領域よりも車両から離れる方向側の領域とを走行路面として検出しない。このように、走行路面検出装置は、立体物存在領域及び視差高さ存在領域と、車両から見て立体物存在領域及び視差高さ存在領域よりも車両から離れる方向側の領域とを走行路面として検出しないので、立体物を精度良く検出できない場合であっても、走行路面では無い領域を除外して走行路面を精度良く検出することができる。

本発明の他の一側面は、車両の走行路面を検出する走行路面検出装置の走行路面検出方法であって、走行路面検出装置の視差画像生成部により、車載カメラの撮像した車両の周囲の撮像画像に基づいて、視差情報が対応付けられた画素である視差点を含む視差画像を生成する視差画像生成工程と、走行路面検出装置の領域特定部により、視差画像に基づいて、車両の周囲の路面領域と、立体物が存在する立体物存在領域と、車両の周囲において路面領域及び立体物存在領域以外の不確定領域とを特定する領域特定工程と、走行路面検出装置の走行路面検出部により、撮像画像に基づくグリッドマップ上において、車両から離れる方向に向かって順次延長されるように走行路面を検出する走行路面検出工程と、走行路面検出装置の路面高さ推定部により、視差情報に基づいて路面領域内の路面の高さ位置を推定する路面高さ推定工程と、走行路面検出装置の視差高さ特定部により、推定された路面の高さ位置と、視差情報とに基づいて、不確定領域のうち路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む領域を視差高さ存在領域として特定する視差高さ特定工程と、を含み、走行路面検出工程では、立体物存在領域及び視差高さ存在領域と、車両から見て立体物存在領域及び視差高さ存在領域よりも車両から離れる方向側の領域とを走行路面として検出しない。

この走行路面検出装置は、視差高さ特定工程において、推定された路面の高さ位置と、視差情報とに基づいて、不確定領域のうち、路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む視差高さ存在領域を特定する。走行路面検出装置は、走行路面検出工程において、立体物存在領域及び視差高さ存在領域と、車両から見て立体物存在領域及び視差高さ存在領域よりも車両から離れる方向側の領域とを走行路面として検出しない。このように、走行路面検出方法によれば、立体物存在領域及び視差高さ存在領域と、車両から見て立体物存在領域及び視差高さ存在領域よりも車両から離れる方向側の領域とを走行路面として検出しないので、立体物を精度良く検出できない場合であっても、走行路面では無い領域を除外して走行路面を精度良く検出することができる。

本発明の種々の側面によれば、走行路面を精度良く検出できる。

走行路面検出装置の概略構成を示す図である。 視差画像中の横方向位置を横軸とし、視差を縦軸とした視差投票マップを示す図である。 （ａ）は立体物の属性が設定されたブロックに分類された視差点を示す図であり、（ｂ）は路面の属性が設定されたブロックに分類された視差点を示す図であり、（ｃ）は不確定の属性が設定されたブロックに分類された視差点を示す図であり、（ｄ）は視差高さ存在の属性が設定されたブロックに分類された視差点を示す図である。 撮像画像上に設定された放射線に沿って走行路面を検出する様子を示す図である。 立体物存在領域及び視差高さ存在領域等を特定する処理の流れを示すフローチャートである。 視差高さ存在領域等の特定結果に基づいて走行路面を検出する処理の流れを示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１に示すように、本実施形態に係る走行路面検出装置１は、例えば、乗用車等の車両Ｖに搭載され、車両Ｖの周囲を撮像した撮像画像から得られた視差情報（車載カメラからの距離情報）に基づいて、走行路面を検出する。走行路面とは、例えば、車両Ｖの走行可能な道路の路面である。なお、走行路面には、車両Ｖの走行する道路の路面の他、駐車場の通路及び駐車スペースの路面が含まれてもよい。

走行路面検出装置１は、車両Ｖの周囲を撮像する車載カメラにより撮像画像を取得し、撮像画像から生成した視差画像の視差情報（視差）に基づいて走行路面を検出する。視差画像とは、視差情報を含む画像である。

図１に示すように、走行路面検出装置１は、走行路面を検出するためのＥＣＵ［Electronic Control Unit］２、及びステレオカメラ（車載カメラ）３を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。

ステレオカメラ３は、車両Ｖの周囲を撮像して撮像画像を取得する画像取得機器である。ステレオカメラ３は、両眼視差を再現するように配置された第一カメラ３Ａ及び第二カメラ３Ｂを有している。第一カメラ３Ａ及び第二カメラ３Ｂは、例えば、車両Ｖのフロントガラスの裏側に設けられ、車両Ｖの前方を撮像する。

なお、走行路面検出装置１は、ステレオカメラ３に代えて、単眼カメラを備えていてもよい。単眼カメラにおいても、周知の手法（例えば撮像の時間差を利用した手法）を用いることにより、撮像画像から視差画像を得ることができる。

次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、画像取得部（視差画像生成部）２１、検出部２２、及び路面情報出力部２３を有している。

画像取得部２１は、ステレオカメラ３の撮像した撮像画像を取得する。画像取得部２１は、例えば、ステレオカメラ３における第一カメラ３Ａの撮像画像及び第二カメラ３Ｂの撮像画像に基づいて、周知の手法により視差情報を含む視差画像を生成する。例えば、視差画像を構成する各画素に視差情報が対応付けられている。以下、視差情報が対応付けられた視差画像中の画素を視差点という。

検出部２２は、視差情報に基づいて、ステレオカメラ３の撮像画像中の走行路面を検出する。なお、例えば、検出部２２は、ステレオカメラ３の撮像画像として、第一カメラ３Ａ又は第二カメラ３Ｂによって撮像されたいずれかの撮像画像を用いることができる。より詳細には、検出部２２は、領域特定部２２Ａ、走行路面検出部２２Ｂ、路面高さ推定部２２Ｃ、及び視差高さ特定部２２Ｄを有している。

領域特定部２２Ａは、画像取得部２１で生成された視差画像の視差情報に基づいて、路面領域と、立体物存在領域と、不確定領域とを特定する。路面領域とは、車両Ｖの周囲の路面の領域である。立体物存在領域とは、車両Ｖの周囲において、立体物が存在する領域である。不確定領域とは、車両Ｖの周囲において、路面領域及び立体物存在領域以外の領域である。

一例として、領域特定部２２Ａは、次のようにして路面領域と、立体物存在領域と、不確定領域とを特定してもよい。まず、領域特定部２２Ａは、図２に示すような視差投票マップを設定する。図２の視差投票マップは、横方向の辺が視差画像の横方向（水平方向）の位置に対応し且つ縦方向の辺が視差の大きさに対応するように定められた複数の矩形状のブロックを配列させて構成されている。領域特定部２２Ａは、視差画像中の視差点の位置、及び視差点の視差の大きさに基づいて、視差投票マップを構成する複数のブロックのうち対応するブロックに視差点を分類（投票）する。このようにして、領域特定部２２Ａは、視差投票マップのブロックと、各視差点とを対応させる。

次に、領域特定部２２Ａは、視差投票マップのブロックのそれぞれについて、視差の平均値、視差の偏差、視差点における視差画像の縦方向の座標の平均値、視差点における視差画像の縦方向の座標の偏差を算出する。

領域特定部２２Ａは、視差投票マップのブロックのそれぞれに対し、視差点の縦方向の分布が大きく、且つ、視差方向の分布が小さいブロックに立体物の属性を設定する。具体的には、領域特定部２２Ａは、例えば、視差点の縦方向の分布（視差点における視差画像の縦方向の座標の偏差）が、予め設定された第一閾値以上か否かを判定する。また、領域特定部２２Ａは、例えば、視差方向の分布（視差点における視差画像の縦方向の座標の偏差／視差の偏差）が、第二閾値以上か否かを判定する。領域特定部２２Ａは、視差点の縦方向の分布が予め設定された第一閾値以上、且つ視差方向の分布が第二閾値以上の場合に、当該ブロックに立体物の属性を設定する。すなわち、立体物の属性が設定されたブロック内には、第一閾値以上の高さの立体物が存在する。領域特定部２２Ａは、立体物の属性が設定されたブロックに分類された視差点を、立体物候補点として特定する。

例えば、図３（ａ）に示すように、視差投票マップのブロック内に、同程度の視差（距離）を有する視差点が視差画像における縦方向の位置の広い範囲に分布している場合、領域特定部２２Ａは、当該視差点の集合は立体物を示していると判定することができる。

また、領域特定部２２Ａは、視差投票マップのブロックのそれぞれに対し、視差点の縦方向の分布が小さく、且つ、視差方向の分布が大きいブロックに路面の属性を設定する。具体的には、領域特定部２２Ａは、例えば、視差点の縦方向の分布（視差点における視差画像の縦方向の座標の偏差）が、予め設定された第三閾値未満か否かを判定する。また、領域特定部２２Ａは、例えば、視差方向の分布（視差点における視差画像の縦方向の座標の偏差／視差の偏差）が、第四閾値未満か否かを判定する。領域特定部２２Ａは、視差点の縦方向の分布が予め設定された第三閾値未満、且つ視差方向の分布が第四閾値未満の場合に、当該ブロックに路面の属性を設定する。領域特定部２２Ａは、路面の属性が設定されたブロックに分類された視差点を、路面候補点として特定する。

例えば、図３（ｂ）に示すように、視差投票マップのブロック内に、同程度の視差（距離）を有する視差点が視差画像における縦方向の位置の狭い範囲に分布し、視差が減少するにつれて（距離が増大するにつれて）、滑らかに視差画像における縦方向の位置が上昇している場合、領域特定部２２Ａは、当該視差点の集合は路面を示していると判定することができる。

また、領域特定部２２Ａは、視差投票マップのブロックのうち、路面の属性及び立体物の属性のいずれも設定されていないブロックに、不確定の属性を設定する。領域特定部２２Ａは、立体物又は路面とは特定されずに不確定の属性が設定されたブロックに分類された視差点を、不確定候補点として特定する。不確定の属性が設定されたブロックとは、立体物の属性が設定されるほどの高さを有さない物体、或いは横幅の細い物体等を含むブロックであってもよい。また、不確定の属性が設定されたブロックとは、分類（投票）された視差点の数が予め設定された基準数未満であるために、不確定の属性が設定されたブロックであってもよい。また、不確定の属性が設定されたブロックとは、立体物が存在するかが不明なブロックであってもよい。

具体的には、不確定の属性が設定されたブロックとは、例えば、図３（ｃ）に示すように、ブロック内の視差点の数が少ないために、視差点の集合が表す対象物を判定することができないブロックが含まれていてもよい。また、不確定の属性が設定されたブロックとは、例えば、図３（ｄ）に示すように、同程度の視差（距離）を有する視差点が視差画像における縦方向の位置の狭い範囲に分布しているブロックが含まれていてもよい。同程度の視差（距離）を有する視差点が視差画像における縦方向の位置の狭い範囲に分布しているブロックとは、高さの低い立体物を含むブロックであってもよい。

領域特定部２２Ａは、ステレオカメラ３の撮像画像に対して、予め定められた間隔でグリッドを設定する（図４参照）。そして、領域特定部２２Ａは、視差点を撮像画像に対応させ、各グリッドのうち立体物候補点が存在するグリッドを立体物存在領域として特定する。また、領域特定部２２Ａは、各グリッドのうち路面候補点のみが存在する領域を、路面領域として特定する。領域特定部２２Ａは、各グリッドのうち不確定候補点が存在するグリッドを、不確定領域として特定する。

路面高さ推定部２２Ｃは、視差情報に基づいて、車両Ｖの周囲の路面の高さ位置を推定する。具体的には、まず、路面高さ推定部２２Ｃは、領域特定部２２Ａによって路面領域として特定されたグリッド内の路面候補点に基づいて、路面の高さ位置を推定する。路面高さ推定部２２Ｃは、路面候補点に基づいた路面の高さ位置の推定を、例えば、公知のV-disparity画像を用いて行うことができる。

視差高さ特定部２２Ｄは、推定された路面の高さ位置と、視差情報とに基づいて、不確定領域として特定されたグリッドのうち視差高さ存在領域を特定する。視差高さ存在領域とは、不確定領域として特定されたグリッドのうち、路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む領域である。

具体的には、まず、視差高さ特定部２２Ｄは、路面高さ推定部２２Ｃによって推定された路面の高さ位置を基準高さ位置として用いる。そして、視差高さ特定部２２Ｄは、各グリッド内における不確定候補点の集合に対し、基準高さ位置からの高さを算出する。例えば、視差高さ特定部２２Ｄは、基準高さ位置と不確定候補点の分布とに基づいて、当該不確定候補点の集合における基準高さ位置からの高さを算出する。すなわち、視差高さ特定部２２Ｄは、不確定候補点が表す物体における基準高さ位置からの高さを算出する。視差高さ特定部２２Ｄは、算出した不確定候補点の集合における基準高さ位置からの高さが、予め定められた閾値以上であるか否かを判定する。視差高さ特定部２２Ｄは、算出した不確定候補点の集合における基準高さ位置からの高さが、予め定められた閾値以上である場合、当該不確定候補点の集合を含むグリッドを視差高さ存在領域として特定する。すなわち、視差高さ特定部２２Ｄは、領域特定部２２Ａによって不確定領域として特定されたグリッドに対し、不確定から視差高さ存在に属性を書き換える。例えば、図３（ｄ）に示す視差点の集合を含むグリッドが、視差高さ存在領域として特定されてもよい。

このように、視差高さ存在領域として特定されたグリッドは、視差点の集合体の高さ幅が不足しているために領域特定部２２Ａによって立体物存在領域として特定されなかったが、立体物として特定されるほどの高さは無いものの路面からの高さをある程度有する視差点の集合体を含むブロックである。すなわち、視差高さ存在領域として特定されたグリッドは、路面からの高さをある程度有する視差点の集合体を含むために、少なくとも走行路面では無いとして特定されたグリッドである。

走行路面検出部２２Ｂは、撮像画像上において、車両Ｖから離れる方向に向かって順次延長されるように走行路面を検出する。本実施形態において走行路面検出部２２Ｂは、撮像画像に設定されたグリッドに対して、車両Ｖから放射方向に広がるように順次、走行路面を検出する。この場合、例えば、走行路面検出部２２Ｂは、撮像画像上において、車両Ｖを中心として車両Ｖから予め定められた角度で広がるように複数の放射線Ｌ（図４参照）を設定する。そして、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドに対し、車両Ｖに近い側から遠い側に向かって順番に、走行路面の領域が延長されるように走行路面を検出する。また、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドが視差高さ存在領域或いは立体物存在領域である場合、放射線Ｌ上において、視差高さ存在領域及び立体物存在領域と、車両Ｖから見て視差高さ存在領域及び立体物存在領域よりも車両Ｖから離れる方向側の領域とを走行路面として検出しない。

具体的には、まず、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて車両Ｖに最も近いグリッドが、視差高さ存在領域或いは立体物存在領域であるか否かを判定する。視差高さ存在領域或いは立体物存在領域では無い場合、走行路面検出部２２Ｂは、当該グリッド内の視差点及び画素情報（輝度、テキスチャ等）の少なくともいずれかに基づいて、当該グリッド内の領域が走行路面であるか否かを判定する。走行路面検出部２２Ｂは、視差点及び画素情報の少なくともいずれかに基づいて走行路面であるか否かを判定する方法として、既知の画像処理方法等、種々の方法を用いることができる。

グリッド内の領域が走行路面であると判定された場合、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて、次に車両Ｖから近い位置に存在するグリッドについて、上述したように、視差高さ存在領域或いは立体物存在領域であるか否かを判定する。そして、上述したように、走行路面検出部２２Ｂは、グリッド内の視差点及び画素情報の少なくともいずれかに基づいて、走行路面を検出する。

このように、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて、車両Ｖに近い側から順次、走行路面の領域をつなげるように走行路面の検出を行う。すなわち、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて、視差高さ存在領域或いは立体物存在領域であるグリッドよりも一つ手前のグリッド（一つ車両Ｖ側のグリッド）までを、又は視差点及び画素情報の少なくともいずれかに基づいて走行路面では無いと判定されたグリッドよりも一つ手前のグリッドまでを、走行路面として検出する。走行路面検出部２２Ｂは、放射線Ｌに沿った走行路面の検出を、各放射線Ｌに対して順次行う。

図４に、検出された走行路面の一例を示す。なお、図４は、検出された走行路面の範囲を見やすくするために、ステレオカメラ３の撮像画像を車両Ｖの上方から見た状態に変換して示している。図４に示す例では、車両Ｖの前方に先行車両Ｖ１が走行している。この先行車両Ｖ１が存在するグリッドは、領域特定部２２Ａによって立体物存在領域として特定されたとする。また、車両Ｖの前方に２本のポールＰが設置されている。このポールＰが存在するグリッドは、領域特定部２２Ａによって不確定領域として特定され、視差高さ特定部２２Ｄによって視差高さ存在領域として特定されたとする。例えば、ポールＰが細いために、ポールＰに対応する視差点は立体物候補点として特定されず、不確定候補点として特定されたとする。また、路面からのポールＰの高さが予め定められた閾値以上であるため、視差高さ特定部２２Ｄは、ポールＰに対応する視差点（不確定候補点）の集合を含むグリッドを視差高さ存在領域として特定したとする。なお、図４において、図中の下側に車両Ｖが存在するとする。

上述のように、走行路面検出部２２Ｂは、車両Ｖに近い側から放射線Ｌに沿って走行路面を検出する。走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて、視差高さ存在領域として特定されたポールＰを含むグリッドを走行路面Ｒとして特定しない。なお、図４中において走行路面Ｒは、細かい点々が付された領域である。また、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて、ポールＰを含むグリッドよりも車両Ｖから離れる方向側の領域を走行路面Ｒとして検出しない。また、走行路面検出部２２Ｂは、立体物存在領域として特定された先行車両Ｖ１を含むグリッドを走行路面Ｒとして特定しない。また、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて、先行車両Ｖ１を含むグリッドよりも車両Ｖから離れる方向側の領域を走行路面Ｒとして検出しない。

路面情報出力部２３は、検出部２２によって検出された走行路面Ｒの情報を外部に出力する。路面情報出力部２３は、例えば、車両Ｖの自動運転を行うＥＣＵ又は車両Ｖの運転支援を行うＥＣＵに対して、走行路面Ｒの情報を出力してもよい。

次に、走行路面検出装置１で行われる走行路面検出方法の処理の流れについて説明する。なお、図５及び図６に示す走行路面Ｒを検出する処理は、例えば、車両Ｖがエンジン駆動中である間、予め設定された時間毎に実行される。まず、ステレオカメラ３の撮像画像から、立体物存在領域及び視差高さ存在領域等を特定する処理の流れについて、図５のフローチャートを用いて説明する。画像取得部２１は、ステレオカメラ３の撮像した撮像画像を取得する（Ｓ１０１）。画像取得部２１は、取得した撮像画像に基づいて視差画像を生成する（Ｓ１０２：視差画像生成工程）。領域特定部２２Ａは、例えば視差投票マップを用いて、視差画像中の視差点を、立体物候補点と、路面候補点と、不確定候補点とに分類する（Ｓ１０３）。

領域特定部２２Ａは、ステレオカメラ３の撮像画像に対してグリッドを設定する。そして、領域特定部２２Ａは、各グリッドのうち立体物候補点が存在するグリッドを立体物存在領域として特定し、路面候補点のみが存在する領域を路面領域として特定し、不確定候補点が存在するグリッドを不確定領域として特定する（Ｓ１０４：領域特定工程）。

路面高さ推定部２２Ｃは、領域特定部２２Ａによって路面領域として特定されたグリッド内の路面候補点に基づいて、路面の高さ位置を推定する（Ｓ１０５：路面高さ推定工程）。視差高さ特定部２２Ｄは、各グリッド内における不確定候補点の集合に対し、基準高さ位置からの高さを算出する。視差高さ特定部２２Ｄは、算出した不確定候補点の集合における基準高さ位置からの高さが、予め定められた閾値以上である場合、当該不確定候補点の集合を含むグリッドを視差高さ存在領域として特定する（Ｓ１０６：視差高さ特定工程）。

次に、視差高さ存在領域等の特定結果に基づいて走行路面Ｒを検出する処理の流れについて、図６のフローチャートを用いて説明する。走行路面検出部２２Ｂは、ステレオカメラ３の撮像画像上に、複数の放射線Ｌを設定する（Ｓ２０１）。走行路面検出部２２Ｂは、複数の放射線Ｌのうち、走行路面Ｒの検出対象となる放射線Ｌを設定する（Ｓ２０２）。なお、Ｓ２０２の処理の実行が２回目以降である場合、走行路面検出部２２Ｂは、複数の放射線Ｌのうち検出対象として設定されていない放射線Ｌを、検出対象の放射線Ｌとして設定する。

走行路面検出部２２Ｂは、走行路面Ｒの検出対象となるグリッドを設定する（Ｓ２０３）。このグリッドとは、Ｓ１０４において撮像画像上に設定したグリッドである。具体的には、走行路面検出部２２Ｂは、Ｓ２０２で設定した検出対象となる放射線Ｌが通過するグリッドにおいて、車両Ｖに最も近いグリッドを検出対象のグリッドとして設定する。なお、Ｓ２０３の処理の実行が２回目以降である場合、走行路面検出部２２Ｂは、前回Ｓ２０３の処理を行う際に検出対象として設定したグリッドよりも車両Ｖから一つ離れた側に位置するグリッドを検出対象として設定する。このように、走行路面検出部２２Ｂは、放射線Ｌが通過するグリッドにおいて、車両Ｖに近い側から離れる側に向かって順に、検出対象となるグリッドを順次設定する。

走行路面検出部２２Ｂは、検出対象として設定されたグリッドが視差高さ存在領域であるか否かを判定する（Ｓ２０４：走行路面検出工程）。検出対象として設定されたグリッドが視差高さ存在領域である場合（Ｓ２０４：ＹＥＳ）、走行路面検出部２２Ｂは、検出対象として設定されたグリッドを走行路面Ｒとして検出しない。そして、走行路面検出部２２Ｂは、Ｓ２０１で設定した全ての放射線Ｌについて、走行路面Ｒの検出処理が終了したか否かを判定する（Ｓ２０５）。全ての放射線Ｌについて走行路面Ｒの検出処理が終了している場合（Ｓ２０５：ＹＥＳ）、路面情報出力部２３は、走行路面検出部２２Ｂによって検出された走行路面Ｒの情報を外部に出力する（Ｓ２０６）。全ての放射線Ｌについて走行路面Ｒの検出処理が終了していない場合（Ｓ２０５：ＮＯ）、走行路面検出部２２Ｂは、上述のＳ２０２の処理を行う。

検出対象として設定されたグリッドが視差高さ存在領域でない場合（Ｓ２０４：ＮＯ）、走行路面検出部２２Ｂは、検出対象として設定されたグリッドが立体物存在領域であるか否かを判定する（Ｓ２０７：走行路面検出工程）。検出対象として設定されたグリッドが立体物存在領域である場合（Ｓ２０７：ＹＥＳ）、走行路面検出部２２Ｂは、検出対象として設定されたグリッドを走行路面Ｒとして検出しない。そして、走行路面検出部２２Ｂは、上述のＳ２０５の処理を行う。

検出対象として設定されたグリッドが立体物存在領域でない場合（Ｓ２０７：ＮＯ）、走行路面検出部２２Ｂは、検出対象として設定されたグリッド内の視差点及び画素情報の少なくともいずれかに基づいて、検出対象として設定されたグリッド内の領域が走行路面Ｒであるか否かを判定する（Ｓ２０８）。検出対象として設定されたグリッド内の領域が走行路面Ｒでない場合（Ｓ２０８：ＮＯ）、走行路面検出部２２Ｂは、検出対象として設定されたグリッドを走行路面Ｒとして検出しない。そして、走行路面検出部２２Ｂは、上述のＳ２０５の処理を行う。

検出対象として設定されたグリッド内の領域が走行路面Ｒである場合（Ｓ２０８：ＹＥＳ）、走行路面検出部２２Ｂは、検出対象として設定されたグリッドを走行路面Ｒとして検出する（Ｓ２０９：走行路面検出工程）。次に、走行路面検出部２２Ｂは、Ｓ２０２で設定された放射線Ｌが通過する全てのグリッドについて、走行路面Ｒの検出処理が終了したか否かを判定する（Ｓ２１０）。全てのグリッドについて走行路面Ｒの検出処理が終了した場合（Ｓ２１０：ＹＥＳ）、走行路面検出部２２Ｂは、上述のＳ２０５の処理を行う。全てのグリッドについて走行路面Ｒの検出処理が終了していない場合（Ｓ２１０：ＮＯ）、走行路面検出部２２Ｂは、上述のＳ２０３の処理を行う。

ここで、全てのグリッドについて走行路面Ｒの検出処理が終了した場合とは、放射線Ｌ上において、さらに先のグリッドが無くなった場合であってもよい。また、全てのグリッドについて走行路面Ｒの検出処理が終了した場合とは、車両Ｖから予め設定された範囲に対して走行路面Ｒの検出処理が全て終了した場合であってもよい。

本実施形態は以上のように構成され、視差高さ特定部２２Ｄは、路面高さ推定部２２Ｃによって推定された路面の高さ位置と、視差情報とに基づいて、不確定領域のうち、路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む領域を視差高さ存在領域として特定する。走行路面検出部２２Ｂは、立体物存在領域及び視差高さ存在領域と、車両Ｖから見て立体物存在領域及び視差高さ存在領域よりも車両Ｖから離れる方向側の領域とを走行路面Ｒとして検出しない。ここで、視差高さ存在領域は、立体物は検出されなかったものの、路面からの高さをある程度有する視差点の集合体を含むために、少なくとも走行路面Ｒでは無い領域である。このように、走行路面検出装置１は、立体物存在領域及び視差高さ存在領域と、車両Ｖから見て立体物存在領域及び視差高さ存在領域よりも車両Ｖから離れる方向側の領域とを走行路面Ｒとして検出しないので、立体物を精度良く検出できない場合であっても、走行路面では無い領域を除外して走行路面Ｒを精度良く検出することができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、走行路面検出部２２Ｂは、車両Ｖから予め定められた角度で広がる放射線Ｌに沿って走行路面Ｒを検出したが、放射線Ｌ以外の基準線に沿って走行路面Ｒを検出してもよい例えば、走行路面検出部２２Ｂは、ステレオカメラ３の撮像画像上において、車両Ｖの進行方向に平行な基準線を、車幅方向に所定の間隔で複数設定する。そして、走行路面検出部２２Ｂは、設定された基準線に沿って、車両Ｖの手前側から順次走行路面Ｒの検出を行ってもよい。

１…走行路面検出装置、３…ステレオカメラ（車載カメラ）、２１…画像取得部（視差画像生成部）、２２Ａ…領域特定部、２２Ｂ…走行路面検出部、２２Ｃ…路面高さ推定部、２２Ｄ…視差高さ特定部、Ｒ…走行路面、Ｖ…車両。

Claims (2)

1. 車両の走行路面を検出する走行路面検出装置であって、
   車載カメラの撮像した車両の周囲の撮像画像に基づいて、視差情報が対応付けられた画素である視差点を含む視差画像を生成する視差画像生成部と、
   前記視差画像に基づいて、前記車両の周囲の路面領域と、立体物が存在する立体物存在領域と、前記車両の周囲において前記路面領域及び前記立体物存在領域以外の不確定領域とを特定する領域特定部と、
   前記撮像画像に基づくグリッドマップ上において、前記車両から離れる方向に向かって順次延長されるように前記走行路面を検出する走行路面検出部と、
   前記視差情報に基づいて前記路面領域内の路面の高さ位置を推定する路面高さ推定部と、
   推定された前記路面の高さ位置と、前記視差情報とに基づいて、前記不確定領域のうち前記路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む領域を視差高さ存在領域として特定する視差高さ特定部と、
   を備え、
   前記走行路面検出部は、前記立体物存在領域及び前記視差高さ存在領域と、前記車両から見て前記立体物存在領域及び前記視差高さ存在領域よりも前記車両から離れる方向側の領域とを前記走行路面として検出しない、走行路面検出装置。
2. 車両の走行路面を検出する走行路面検出装置の走行路面検出方法であって、
   前記走行路面検出装置の視差画像生成部により、車載カメラの撮像した車両の周囲の撮像画像に基づいて、視差情報が対応付けられた画素である視差点を含む視差画像を生成する視差画像生成工程と、
   前記走行路面検出装置の領域特定部により、前記視差画像に基づいて、前記車両の周囲の路面領域と、立体物が存在する立体物存在領域と、前記車両の周囲において前記路面領域及び前記立体物存在領域以外の不確定領域とを特定する領域特定工程と、
   前記走行路面検出装置の走行路面検出部により、前記撮像画像に基づくグリッドマップ上において、前記車両から離れる方向に向かって順次延長されるように前記走行路面を検出する走行路面検出工程と、
   前記走行路面検出装置の路面高さ推定部により、前記視差情報に基づいて前記路面領域内の路面の高さ位置を推定する路面高さ推定工程と、
   前記走行路面検出装置の視差高さ特定部により、推定された前記路面の高さ位置と、前記視差情報とに基づいて、前記不確定領域のうち前記路面の高さ位置から予め定められた閾値以上の高さを有する視差点を含む領域を視差高さ存在領域として特定する視差高さ特定工程と、
   を含み、
   前記走行路面検出工程では、前記立体物存在領域及び前記視差高さ存在領域と、前記車両から見て前記立体物存在領域及び前記視差高さ存在領域よりも前記車両から離れる方向側の領域とを前記走行路面として検出しない、走行路面検出方法。

Images