JP2016134090A - 画像処理装置及びそれを用いた運転支援システム - Google Patents

Abstract

【課題】移動体と障害物の接触を予測する。【解決手段】一つの実施形態によれば、画像処理装置は、復元部、取得部、距離算出部、及び可視化処理部を有する。復元部は、周囲の３次元情報を復元する。取得部は、３次元データから障害物データを取得する。距離算出部は、移動体から障害物までの最短距離を計算して、移動体に対する障害距離マップを算出する。可視化処理部は、等値線を用いて、障害距離マップを可視化する。【選択図】 図１

Description

本発明の実施形態は、画像処理装置及びそれを用いた運転支援システムに関する。

自動車、ラジコン、飛行機などの移動体では、狭路走行の際、衝突防止のために障害物を精度よく検出する技術が求められている。例えば、運転者が運転する車両では、ヘッドアップディスプレイ等を利用して自車両の前方に仮想的な自車両を投影することで、すれ違い可能かを視覚的に支援する方法等が提案されている。

ところが、実際の狭路走行では、対向車両を避けるために自車両を道端に寄せるような複雑な操作を行うと、仮想的なガイド表示が進行方向と一致しなくなるため、運転支援が機能しなくなるという問題点がある。

特開２００５−７８４１４号公報

本発明は、移動体と障害物の接触を予測する画像処理装置及びそれを用いた運転支援システムを提供することにある。

一つの実施形態によれば、画像処理装置は、復元部、取得部、距離算出部、及び可視化処理部を有する。復元部は、周囲の３次元情報を復元する。取得部は、３次元データから障害物データを取得する。距離算出部は、移動体から障害物までの最短距離を計算して、移動体に対する障害距離マップを算出する。可視化処理部は、等値線を用いて、障害距離マップを可視化する。

第一の実施形態に係る画像処理装置の構成を示す図である。 第一の実施形態に係る画像処理装置が搭載された車両を示す概略図である。 第一の実施形態に係る画像処理装置による画像処理を示すフローチャート。 第一の実施形態に係る地面推定を説明する図、図４（ａ）は一般的な平面、図４（ｂ）はセンサ角度が地面と平行な場合の図である。 第一の実施形態に係るＲＡＮＳＡＣを用いた平面抽出を示すフローチャート。 第一の実施形態に係るＲＡＮＳＡＣを用いた平面抽出を示す図である。 第一の実施形態に係る地面推定を示すフローチャート。 第一の実施形態に係る平面一致計算処理部を示すブロック図である。 第一の実施形態に係る平面一致計算処理部の演算ユニットを示すブロックである。 第一の実施形態に係る障害距離計算を示すフローチャート。 第一の実施形態に係る最短距離算出処理部を示すブロック図である。 第一の実施形態に係る最短距離算出処理部の演算ユニットを示すブロックである。 第一の実施形態に係る障害距離マップの一例を示す図である。 第一の実施形態に係る障害距離マップの等値線図である。 第一の実施形態に係る３次元データを示す斜視図である。 第一の実施形態に係る障害物データの一例を示す図である。 第一の実施形態に係る視覚化された障害距離マップの一例を示す図である。 図１７を元図像に合成した一例を示す図である。 図１８を俯瞰映像に変換した一例を示す図である。 第一の実施形態に係る通行可能・通行不可能の経路を示す図である。 第一の実施形態に係る通行可能・通行不可能の経路を示す上から見た図である。 第二の実施形態に係る画像処理装置の構成を示す図である。 第二の実施形態に係る画像処理装置による画像処理を示すフローチャート。 第三の実施形態に係る画像処理装置の構成を示す図である。 第三の実施形態に係る画像処理装置による画像処理を示すフローチャート。

以下本発明の実施形態について図面を参照しながら説明する。

（第一の実施形態）
まず、本発明の第一の実施形態に係る、画像処理装置及びそれを用いた運転支援システムについて図面を参照して説明する。図１は、画像処理装置の構成を示す図である。図２は、画像処理装置が搭載された車両を示す概略図である。

本実施形態では、画像処理装置を用いて、車両に対する障害物の接触を事前に予測している。

図１に示すように、画像処理装置１００は、画像取得部１、記憶部２、及び画像処理演算器３を有する。画像処理装置１００は、障害物までの距離を精度よく検出し、車両に対する障害物の接触を事前に予測することができる。詳細は後述する。

画像処理装置１００で可視化された画像は、表示部２００に表示される。画像処理装置１００から出力される障害距離マップ情報は、障害物判定器３００に入力される。障害物判定器３００は、車両に対する障害物の接触の可能性を事前に判定する。

画像取得部１は、画像センサ１１と画像距離センサ１２を有する。画像センサ１１は、障害物を含む周囲の画像を出力する。例えば、画像センサ１１には、可視領域を検出し、昼間の画像を検出するカメラ、近赤外領域或いは遠赤外線領域を検出し、夜間の画像を検出するナイトビジョンカメラ等が搭載される。画像距離センサ１２は、障害物との距離情報を取得する。画像距離センサ１２には、例えば、昼夜対応できるＴＯＦ（Time of Flight）カメラや昼夜対応できる複数台のステレオカメラ等が搭載される。

記憶部２は、カメラ画像部２１、距離画像部２２、中間画像部２３、障害距離マップ部２４、及び可視化画像部２５を有する。

カメラ画像部２１は、画像センサ１１で取得されたカメラ画像情報を格納する。距離画像部２２は、距離画像センサ１２で取得された距離画像情報を格納する。中間画像部２３は、画像処理装置１００で実行される画像処理によって取得された中間画像を格納する。障害距離マップ部２４は、画像処理演算器３で算出された障害距離マップ情報を格納する。可視化画像部２５は、画像処理演算器３で算出された可視化画像情報を格納する。

画像処理演算器３は、フィルタ部３１、復元部３２、取得部３３、距離算出部３４、及び可視化処理部３５を有する。

フィルタ部３１は、カメラ画像部２１、距離画像部２２、及び中間画像部２３から出力されるカメラ画像情報、距離画像情報中のノイズを除去する。復元部３２は、取得されたカメラ画像情報、距離画像情報から３次元情報の復元を行う。取得部３３は、復元された３次元情報から、例えば地面に相当するデータを抽出し、残りを障害物データとして抽出する。距離算出部３４は、障害物までの最短距離を算出する。可視化処理部３５は、障害物間の位置、障害物との位置関係を可視化する。

図２に示すように、運転者（図示せず）は、車両５００に乗車して車両５００を走行する。車両５００は、画像センサ１１、画像距離センサ１２、ミラー４１、ドア４２、表示部２００、障害物判定器３００、及びＥＣＵ（Engine Control Unit）４００を有する。

車両５００は、障害物の接触を事前に予測する運転支援システムを搭載する。運転支援システムは、例えば、記憶部２、画像処理演算器３、画像センサ１１、画像距離センサ１２、表示部２００、及び障害物判定器３００から構成される。

画像センサ１１は、車両５００の左前部に設けられ、障害物６００ａ、６００ｂを含むカメラ画像情報を取得する。画像距離センサ１２は、車両５００の右前部に設けられ、障害物との距離画像情報を取得する。ＥＣＵ４００は、車両５００の後部に設けられ、記憶部２と画像処理演算器３を有する。障害物判定器３００は、左後部のドア４２付近に設けられ、記憶部２に格納される障害距離マップ情報を入力する。

表示部２００は、右部のミラー４１付近に設けられ、記憶部２に格納される可視化画像情報を表示する。表示部２００は、障害物判定器３００から出力される障害物との接触可能性情報を表示する。表示部２００には、ＨＵＤ（Head-Up Display）、車内モニタ等が用いられる。

次に、画像処理装置１００の画像処理について、図３乃至２１を参照して説明する。図３は画像処理装置１００による画像処理を示すフローチャートである。図４乃至２１は、画像処理の各ステップの詳細を説明する図である。

図３に示すように、画像センサ１１で画像センサ情報が取得される（ステップＳ１）。距離画像センサ１２で距離画像センサ情報が取得される（ステップＳ２）。取得された画像センサ情報はカメラ画像部２１にカメラ画像として格納される（ステップＳ３）。取得された距離画像センサ情報は距離画像部２２に距離画像として格納される（ステップＳ４）。

復元部３２は、カメラ画像、距離画像から、点群（ポイントクラウド）などの３次元座標（ｘ、ｙ、ｚ）を含むデータを有する３次元情報を復元する（ステップＳ５）。復元部３２は、３次元情報を３次元データとする。

取得部３３は、地面推定（ステップＳ６）、地面データ抽出（ステップＳ７）、障害物データ抽出（ステップＳ８）を行う。

次に、ステップＳ６における地面推定を図４（ａ）、図４（ｂ）、図５を用いて具体的に説明する。ステップＳ７及びステップＳ８における地面データ抽出と障害物データ抽出については図６、図７を用いて具体的に説明する。

図４（ａ）は、一般的な地面での地面推定を説明する図である。図４（ｂ）は、センサ角度が地面と平行な場合での地面推定を説明する図である。図５は、ＲＡＮＳＡＣを用いた平面抽出を示すフローチャートである。図６は、ＲＡＮＳＡＣを用いた平面抽出を示す図である。図７は、地面推定および障害物データ抽出を示すフローチャートである。

取得部３３は、取得された3次元データから、地面に相当するデータを抽出し、残りを障害物データとして出力する。

図４（ａ）に示すように、一般的に3次元空間では、3次元座標を(ｘ、ｙ、ｚ)で表わした場合、地面は平面方程式ａｘ+ｂｙ+ｃｚ+ｄ=0で表わすことができる。

センサが車体等に固定されている場合は、センサの位置・角度と地面の関係が常に同じであることから、係数ａ、ｂ、ｃ、ｄは一意に決まる。例えば、図４（ｂ）に示すように、カメラが地面に対して、平行である場合は、地面からの距離をｈとすると、ｙ=−ｈ(ａ=0、ｂ=1、ｃ=0, ｄ=ｈ)と簡単に表すことができる。

センサ位置・画角が変動する（車体の振動などによるブレが大きい場合等を含む）場合は、得られた3次元データにおいて、毎フレーム、地面に相当する平面を推定する必要がある。この場合、多くの点を含む平面方程式の内の１つが地面であると想定できるので、これを選びだす。3次元データは、地面以外にも障害物等の点を多く含むため、単純な最小二乗法ではうまく平面を抽出することはできない。この場合、RANSAC(RANDdom Sample Consensus)アルゴリズムを用いるのが好ましい。本実施形態は、RANSACを利用して平面を抽出する。

図５に示すように、ＲＡＮＳＡＣを用いた平面抽出法では、3次元点群を抽出する（ステップＳ２１）。点群の中からランダムに３点を選出する（ステップＳ２２）。平面方程式の係数（ａ、ｂ、ｃ、ｄ）を算出する（ステップＳ２３）。３次元点群から１点Ｐを選択する（ステップＳ２４）。平面Ａと点Ｐの距離ｄを計算する（ステップＳ２５）。

閾値ｔｈが距離ｄよりも大きいかを判定する（ステップＳ２６）。閾値ｔｈが距離ｄよりも大きな場合、スコアに１を加算する（ステップＳ２７）。閾値ｔｈが距離ｄ以下の場合、スコアに０（ゼロ）を加算する（ステップＳ２８）。

全点処理したかを判定する（ステップＳ２９）。全点処理されていない場合、ステップＳ２４に戻る。全点処理されている場合、スコアを出力する（ステップＳ３０）。

試行回数が十分かの判定を行う（ステップＳ３１）。試行回数が不十分の場合、スッテプＳ２２に戻る。試行回数が十分の場合、最もスコアが高い平面Ａを出力する（ステップＳ３２）。

多くの場合、センサに対して地面は大きく映るから、RANSAC法による平面推定の結果、地面を推定できる。誤って建物等の壁面が推定された場合、平面の向きとセンサとの関係（カメラに対して地面が垂直に映ることはない）から、容易に誤りであることが判定できる。このため、誤検出した平面データを削除後、再度RANSAC法による平面推定を行う等で、地面を推定することができる。

RANSAC法による平面推定を平面αと平面βを例にした場合を、図６に示す。ここでは、平面αは適合点数が多く、平面βは適合点数が少ない。図６では、２面しか例示していないが、実際は膨大な数の平面をシミュレートし、最適な平面を１つ選び出している。

取得部３３は、得られた地面を表す平面方程式を用いて、データを地面であるかどうかを判断する。この際、平面方程式に一致するか、もしくは平面からの距離が一定値以内である場合に地面であると判断する。具体的には、平面からの点までの距離ｈは、
h=|ax+by+cz+d|/ (a^２+b^２+c^２)^1/2・・・・・・式（１）
と表すことができる。距離ｈが一定の閾値ｔｈより小さい(h<=th)場合を、平面と見なす。以上から、点が地面である場合、地面データとして出力する。点が地面データでない場合、障害物データとして出力する。

図７に示すように、地面推定を示す処理フローでは、３次元点群抽出（ステップＳ２１）後、ＲＡＮＳＡＣによる平面抽出を行う（ステップＳａ）。平面抽出後、ステップＳ２４〜ステップＳ２６までは図５と同じステップである。

閾値ｔｈが距離ｄよりも大きな場合、地面データに追加する（ステップＳｂ）。閾値ｔｈが距離ｄ以下の場合、障害物データに追加する（ステップＳｃ）。

全点処理したかを判定する（ステップＳ２９）。全点処理されていない場合、ステップＳ２４に戻る。全点処理されている場合、障害物データを出力する（ステップＳｄ）。

取得部３３は、入力された点群データ全点に対し、平面方程式までの距離を計算し、平面に一致するかどうかの判断を行う処理を含むが、これらの計算は各点毎に独立しており、同時に並列処理することが可能である。したがって、マルチコアプロセッサを用いたり、GPGPU（General-Purpose computing on Graphics Processing Unit）を用いて処理を高速化することができる。

次に、取得部３３での平面一致計算処理を実行する具体的な回路構成について、図８及び図９を参照して説明する。図８は、取得部３３に設けられる平面一致計算処理部を示すブロック図である。図９は、平面一致計算処理部の演算ユニットを示すブロック図である。

図８に示すように、平面一致計算処理部５０は、点群データ分配器５１、演算ユニットＵ０乃至Ｕｎ、結果結合部５２を有する。

点群データ分配器５１は、３次元点群（ポイントクラウド）データを入力し、データを分配して、分配された３次元座標Pｉ（ｘ、ｙ、ｚ）（ｉは０〜ｎ）を演算ユニットＵ０乃至Ｕｎにそれぞれ送付する。

図９に示すように、演算ユニットＵ０乃至Ｕｎ（ここでは、演算ユニットＵとして代表例示）は、入力される３次元座標P（ｘ、ｙ、ｚ）、係数（ａ、ｂ、ｃ、ｄ）、閾値ｔｈを用いて、演算処理を実行する。演算ユニットＵは、平面までの距離が閾値ｔｈ以内である場合に１を出力し、平面までの距離が閾値ｔｈより大きい場合に０（ゼロ）を出力する。

結果結合部５２は、演算ユニットＵ０乃至Ｕｎからそれぞれ出力された出力データを入力する。結果結合部５２は、１つのデータに結合される（例えば、０からｎまで順に０／１を並べてｎ−ｂｉｔのデータとする）。この際、１の数を加算し、スコアとして出力してもよい。この結果、結合されたデータ（一致点群の情報）を元に、点群を地面か、障害物に分ける。

平面一致計算処理部５０は、複数（ｎ）個の演算ユニットＵを並列配置しているので、汎用演算器で長時間演算する場合に比べて、地面推定・分離処理を高速に実現でき、低消費電力化することができる。

次に、距離算出部３４は、障害距離算出を行う（ステップＳ９（図３参照））。障害距離算出の詳細について、図１０乃至１３を参照して説明する。図１０は、障害距離計算を示すフローチャートである。図１１は、距離算出部３４に設けられる最短距離算出処理部を示すブロック図である。図１２は、最短距離算出処理部の演算ユニットを示すブロックである。

図１０に示すように、障害距離計算では、移動体（例えば、運転者が運転する車両など）周囲で障害物の認識を支援したい領域を微小領域に分割する（ステップＳ１１１）。微小区画の位置座標Ｐを選択する（ステップＳ１１２）。障害物データの点群から１点Oを選択する（ステップＳ１１３）。

点ｐと点Oの距離ｄを計算する（ステップＳ１１４）。例えば、位置情報が３次元の場合、地点Ｐ(x0, y0, z0)から障害物O(x1, y1, z1)までの距離ｄは、
d={(x0−x1)²+(y0−y1)²+(z0−z1)²}^１／２・・・・・・・・式（２）
で表わすことができる。

距離ｄがこれまでの最短距離ｍｉｎｉ．ｄよりも小さいかを判定する（ステップＳ１１５）。距離ｄがこれまでの最短距離ｍｉｎｉ．ｄよりも小さい場合、最短距離ｍｉｎｉ．ｄと判定する（ステップＳ１１６）。距離ｄがこれまでの最短距離ｍｉｎｉ．ｄよりも小さくない場合、この距離ｄを無視する（ステップＳ１１７）。全点処理かを判断する（ステップＳ１１８）。全点処理されていない場合、ステップＳ１１３に戻る。全点処理されている場合、地点Ｐにおける障害物までの最短距離ｍｉｎｉ．ｄを出力する（ステップＳ１１９）。

全領域処理かを判断する（ステップＳ１２０）。全領域処理されていない場合、ステップＳ１１２に戻る。全領域処理されている場合、最短障害距離をマップにして出力する（ステップＳ１２１）。

上記ステップでは、障害物マップを作成する場合の疑似コードとして、以下を用いている。

for (float x0=min_x; x0<max_x; x0+=dx) {
for (float y0=min_y; y0<max_y; y0+=dy) {
for (float z0=min_z; z0<max_z; z0+=dz) {
for (int i=0; i<obstacles->size(); i++) {
Point P(x0, y0, z0):
Point O = obstacles->at(i);
float dist = sqrt((P.x − O.x)^２) + (P.y − O.y)^２) + (P.z − O.z)^２);
if (dist < min_dist) min_dist = dist;
}
map(x,y, z) = min_dist;
}}}
上述の計算は、区切られた微小領域の数、障害物点の数により、乗数で計算オーダーが増える。しかし、計算自体は単純であることから、専用ハードウェアによる高速化、GPGPU等の並列計算手法が容易に適用できるので、これらの手法を使って高速化することが好ましい。

図１１に示すように、距離算出部３４に設けられる最短距離算出処理部６０は、点群データ分配器５１、演算ユニットＵＵ０乃至ＵＵｎ、最短距離選出部５３を有する。

点群データ分配器５１は、障害物の３次元点群（ポイントクラウド）データを入力し、データを分配して、分配された３次元座標Pｉ（ｘ、ｙ、ｚ）（ｉは０〜ｎ）を演算ユニットＵＵ０乃至ＵＵｎにそれぞれ送付する。

図１２に示すように、演算ユニットＵＵ０乃至ＵＵｎ（ここでは、演算ユニットＵＵとして代表例示）は、障害物の３次元座標Ｏ（ｘ、ｙ、ｚ）、ある地点の３次元座標Ｐ（ｘ、ｙ、ｚ）を用いて、演算処理を実行する。演算ユニットＵＵは、距離ｄの情報を出力する。

最短距離選出部５３は、演算ユニットＵＵ０乃至ＵＵｎからそれぞれ出力された距離ｄの情報を入力する。最短距離選出部５３は、ある地点Ｐでの障害物までの最短距離を選出する。

最短距離算出処理部６０は、ある地点Pにおける障害物までの最短距離を高速に取得することができる。最短距離算出処理部６０は、認識支援したい領域において、微小区間ごとに位置を変えながら（ある地点Pの座標を変更しながら）、上述のハードウェアを利用して、障害物までの最短距離を計算する。

次に、距離算出部３４は、得られた障害物までの最短距離を微小区間の代表値として、障害距離マップを作成する（ステップＳ１０（図３参照））。図１３に、距離算出部３４で作成された障害距離マップの一例を示す。ここでは、例えば、一区画を１０ｃｍ×１０ｃｍとし、記載の数値はｃｍである。障害物（距離が０（ゼロ）ｃｍ）がある箇所が８×８ポイント中、９ポイントあることが明示される。

上述したように、取得部３３、距離算出部３４における演算は、専用ハードウェアによる実装が望ましいが、これには多数の乗算器など、多くの演算回路を必要となる。このため、他の計算処理での再利用性や、実装面積、電力効率等、システム全体でのバランスを考慮すると、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics processing Unit）を用いたソフトウェアによる処理を用いてもよい。

次に、可視化処理部３５は、可視化処理を行い（ステップＳ１１（図３参照））、可視化画像を作成する（ステップＳ１２（図３参照））。図１４乃至図２１を参照して、可視化処理部３５の処理の詳細について説明する。

可視化処理部３５は、取得された障害距離マップに対して等値線図を作成する。図１４は、障害距離マップの等値線図である。図１４に示すように、値が一定以内の領域は識別表示している。ここでは、２５ｃｍよりも短い距離の領域を識別表示しているが、代わりに着色表示してもよい。移動体の幅をＤとした場合、障害距離Ｄ／２以内の領域は、移動体が障害物に接触する可能性があるため、この値を基準に着色すると、接触可能性が容易に判断できるようになる。先の例では、５０ｃｍの移動体が識別領域を通過しようとすると、移動体が障害物に接触する恐れがある。

可視化処理部３５は、3次元データにも適用できる。図１５は、３次元データを示す斜視図である。図１５に示すように、例えば、ある領域内で障害物７０ａ乃至７０ｄが認識され、３次元像として表示される。なお、図１６は、図１６は、障害物データの一例を示す図である。

図１７は、視覚化された障害距離マップの一例を示す図である。図１７に示すように、障害物７０ａ乃至７０ｃから所定距離（例えば、２５ｃｍ）よりも短い距離の領域が障害物からの最短距離７１ａと表示され、障害物７０ｄから所定距離よりも短い距離の領域が障害物からの最短距離７１ｂと表示される。

図１８は、図１７を元図像に合成した一例を示す図である。図１９は、図１８を鳥瞰映像に変換した一例を示す図である。

障害物判定器３００は、障害物間を移動体（車両や人など）が接触せずに通行できるかを判断する。移動体の幅をＤとした場合、障害距離Ｄ／２以内の領域は移動体が障害物に接触する恐れがある。図２０は、通行可能・不可能の経路を示す図である。図２１は、通行可能・不可能の経路を示す上から見た図である。図２０及び図２１に示すように、通行可能、通行不可能の経路が明示される。

例えば、移動体である車両の幅が１８０ｃｍの場合、その半分の値である９０ｃｍを可視化処理部３５に設定すれば、障害間を移動体が通り抜けできるかが一目で判断できるようになる。また、障害物判定機３００に設定すれば、運転者の通行可能かどうかの判断が容易となる。

上述したように、画像処理装置及びそれを用いた運転支援システムでは、画像取得部１、記憶部２、及び画像処理演算器３が画像処理装置１００に設けられる。画像取得部１は、画像センサ１１と画像距離センサ１２を有する。記憶部２は、カメラ画像部２１、距離画像部２２、中間画像部２３、障害距離マップ部２４、及び可視化画像部２５を有する。画像処理演算器３は、フィルタ部３１、復元部３２、取得部３３、距離算出部３４、及び可視化処理部３５を有する。運転支援システムは、車両５００に搭載される。運転支援システムは、記憶部２、画像処理演算器３、画像センサ１１、画像距離センサ１２、表示部２００、及び障害物判定器３００から構成される。運転支援システムは、障害物情報を可視化する。

このため、運転者は、車両に対する障害物の接触を事前に予測することができる。運転者は、通行可能の経路を事前に（障害物に到達する前に）選択することができるので、安全運転することができる。

なお、本実施形態では、移動体を運転者が運転する車両としているが、ラジコン、飛行機、移動中の人間や動物、航行中の船舶などであってもよい。

また、画像取得部１に画像センサ１１を設けているが、可視情報を使わず、３次元の形状情報のみで一連の処理を実行することもできる。この場合、画像センサ１１を省き、距離画像センサ１２のみでもよい。

また、３次元情報の取得には、１点測距型やライン型のTOFセンサを使うこともできる。この場合、取得する情報は画像ではなく、点やライン情報となるが、画像情報の一部とみなし、上記のようなセンサは、画像取得部１に含むものとする。

（第二の実施形態）
次に、本発明の第二の実施形態に係る画像処理装置について、図面を参照して説明する。図２２は、画像処理装置の構成を示す図である。図２３は、画像処理装置による画像処理を示すフローチャートである。本実施形態では、記憶部に通行可能経路情報部を設けている。

以下、第一の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。

図２２に示すように、画像処理装置１００ａは、画像取得部１、記憶部２ａ、及び画像処理演算器３ａを有する。画像処理装置１００ａは、障害物までの距離を精度よく検出し、車両に対する障害物の接触を事前に予測することができる。

記憶部２ａは、カメラ画像部２１、距離画像部２２、中間画像部２３、障害距離マップ部２４、及び通行可能経路情報部２６を有する。

画像処理演算器３ａは、フィルタ部３１、復元部３２、取得部３３、距離算出部３４、及び通行可能判断部３６を有する。

通行可能判断部３６は、画像処理演算器３内で生成された障害距離マップと、既知の地図情報などから得られた通行可能な経路情報を組み合わせ、これから通行しうる経路が障害物により通行不可能となっていないかを判断する。

通行可能判断部３６は、図２３に示すように、通行可能判断し（ステップＳ１４（図２３参照））、通行可能な経路と、通行不可能な経路を情報として通行格納経路情報部２６に出力する（ステップＳ１５（図２３参照））。通行格納経路情報部２６は、通行可能な経路情報と通行不可能な経路情報を格納する。通行格納経路情報部２６は、カーナビ情報などの経路情報を格納する。

警告部７００は、例えば、車両の右前部（図２参照）に設けられる。警告部７００は、図？に示すように警告を発する（ステップＳ１６）。

具体的には、警告部７００は、通行可能経路情報部２６に格納される通行可能経路情報に基づいて、例えば、カーナビ等で設定された経路が、通行不可能となっている場合、運転者に警告を行う。警告は、例えば、カーナビ画面かコクピットに表示し、音による通知にて行うのが好ましい。

上述したように、画像処理装置及びそれを用いた運転支援システムでは、画像取得部１、記憶部２ａ、及び画像処理演算器３ａが画像処理装置１００ａに設けられる。画像取得部１は、画像センサ１１と画像距離センサ１２を有する。記憶部２ａは、カメラ画像部２１、距離画像部２２、中間画像部２３、障害距離マップ部２４、及び通行可能経路情報部２６を有する。画像処理演算器３ａは、フィルタ部３１、復元部３２、取得部３３、距離算出部３４、可視化処理部３５、及び通行可能判断部３６を有する。運転支援システムは、記憶部２、画像処理演算器３、画像センサ１１、画像距離センサ１２、表示部２００、障害物判定器３００、及び警告部７００から構成される。運転支援システムは、通行不可能となっている経路を運転者に警告する。

このため、本実施形態では、第一の実施形態と同様の効果を有する。

（第三の実施形態）
次に、本発明の第三の実施形態に係る画像処理装置について、図面を参照して説明する。図２４は、画像処理装置の構成を示す図である。図２５は、画像処理装置による画像処理を示すフローチャートである。本実施形態では、運転支援システムを用いて自動運転制御を行っている。

以下、第一の実施形態と同一構成部分には、同一符号を付してその部分の説明を省略し、異なる部分のみ説明する。

図２４に示すように、画像処理装置１００ｂは、画像取得部１、記憶部２ｂ、及び画像処理演算器３ａを有する。

記憶部２ｂは、カメラ画像部２１、距離画像部２２、中間画像部２３、障害距離マップ部２４、及び通行可能経路情報部２６ａを有する。

障害物移動予測情報部２６ｂは、通行可能判断部３６から出力される通行可能な経路情報と通行不可能な経路情報、障害物が固定物か移動物であるかの判断情報を格納する。障害物が移動物である場合、その進行方向、進行速度などの情報が含まれる。進行方向、進行速度などの情報は、画像取得部１、画像処理演算器３ａを用いて算出される。

障害物移動予測情報部２６ｂは、障害物移動予測情報を自動運転制御部８００へ出力する（ステップＳ１７（図２５参照））。

自動運転制御部８００は、得られた通行可能・不可能経路を元に、障害物が長時間に渡って変化しないか（障害物が無くなるか）どうかを別で判断し、例えば、障害物が長時間移動しないようであれば、道を迂回して目的地まで到達するようなルートを選択して、自動運転を行う（ステップＳ１８（図２５参照））。

上述したように、画像処理装置及びそれを用いた運転支援システムでは、画像取得部１、記憶部２ｂ、及び画像処理演算器３ａが画像処理装置１００ｂに設けられる。記憶部２ｂは、カメラ画像部２１、距離画像部２２、中間画像部２３、障害距離マップ部２４、及び通行可能経路情報部２６ａを有する。運転支援システムは、記憶部２ｂ、画像処理演算器３ａ、画像センサ１１、画像距離センサ１２、表示部２００、障害物判定器３００、及び自動運転制御部８００から構成される。運転支援システムは、車両の自動運転を制御する。

このため、本実施形態では、第一の実施形態と同様の効果を有する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本発明は、以下の付記に記載されているような構成が考えられる。
（付記１）
障害物を含む周囲の画像を取得する画像センサと、
前記障害物との距離を取得する画像距離センサと、
取得された前記画像及び前記距離の情報から、３次元情報を復元する復元部と、
３次元データから障害物データを取得する取得部と、
運転者が運転する車両から前記障害物までの最短距離を計算して、前記移動体に対する障害距離マップを算出する距離算出部と、
等値線を用いて、前記障害距離マップを可視化する可視化処理部と、
可視化された画像を表示する表示部と、
を具備することを特徴とする運転支援システム。

（付記２）
障害物を含む周囲の画像を取得する画像センサと、
前記障害物との距離を取得する画像距離センサと、
取得された前記画像及び前記距離の情報から、３次元情報を復元する復元部と、
３次元データから障害物データを取得する取得部と、
運転者が運転する車両から前記障害物までの最短距離を計算して、前記移動体に対する障害距離マップを算出する距離算出部と、
前記車両に対する前記障害物の接触の可能性を事前に判定する障害物判定器と、
を具備することを特徴とする運転支援システム。

（付記３）
障害物を含む周囲の画像を取得する画像センサと、
前記障害物との距離を取得する画像距離センサと、
取得された前記画像及び前記距離の情報から、３次元情報を復元する復元部と、
３次元データから障害物データを取得する取得部と、
運転者が運転する車両から前記障害物までの最短距離を計算して、前記移動体に対する障害距離マップを算出する距離算出部と、
通行可能な経路と、通行不可能な経路を判断する通行可能判断部と、
前記通行可能判断部で算出された通行可能経路情報に基づいて、通行経路が、通行不可能となっている場合、前記運転者に警告を行う警告部と、
を具備することを特徴とする運転支援システム。

（付記４）
障害物を含む周囲の画像を取得する画像センサと、
前記障害物との距離を取得する画像距離センサと、
取得された前記画像及び前記距離の情報から、３次元情報を復元する復元部と、
３次元データから障害物データを取得する取得部と、
運転者が運転する車両から前記障害物までの最短距離を計算して、前記移動体に対する障害距離マップを算出する距離算出部と、
通行可能な経路と、通行不可能な経路を判断し、前記障害物が移動物かを判断する通行可能判断部と、
得られた通行可能・不可能経路を元に、前記障害物が長時間に渡って変化しないかどうかを別で判断し、障害物が長時間移動しないようであれば、道を迂回して目的地まで到達するようなルートを選択して、自動運転を行う自動運転制御部と、
を具備することを特徴とする運転支援システム。

（付記５）
前記画像センサは、可視領域を検出して昼間の画像を検出するカメラ、近赤外領域或いは遠赤外線領域を検出して夜間の画像を検出するナイトビジョンカメラを有する
ことを特徴とする付記１乃至４のいずれかに記載の運転支援システム。

（付記６）
前記距離画像センサは、昼夜対応できるＴＯＦ（Time of Flight）カメラ、或いは昼夜対応できる複数台のカメラを有する
ことを特徴とする付記１乃至４のいずれかに記載の運転支援システム。

１ 画像取得部
２、２ａ、２ｂ 記憶部
３、３ａ 画像処理演算器
１１ 画像センサ
１２ 距離画像センサ
２１ カメラ画像部
２２ 距離画像部
２３ 中間画像部
２４ 障害距離マップ部
２５ 可視化画像部
２６ 通行可能経路情報部
２６ｂ 障害物移動予測情報部
３１ フィルタ部
３２ 復元部
３３ 取得部
３４ 距離算出部
３５ 可視化処理部
４１ ミラー
４２ ドア
５０ 平面一致計算処理部
５１ 点群データ分配器
５２ 結果結合部
５３ 最短距離選出部
６０ 最短距離算出処理部
７０ａ〜７０ｄ、６００ａ、６００ｂ 障害物
７１ａ、７１ｂ 障害物からの最短距離
１００、１００ａ 画像処理装置
２００ 表示部
３００ 障害物判定器
４００ ＥＣＵ
５００ 車両
７００ 警告部
８００ 自動運転制御部
Ｕ、Ｕ０〜Ｕｎ、ＵＵ、ＵＵ０〜ＵＵｎ 演算ユニット

Claims (5)

1. 周囲の３次元情報を復元する復元部と、
   ３次元データから障害物データを取得する取得部と、
   移動体から障害物までの最短距離を計算して、前記移動体に対する障害距離マップを算出する距離算出部と、
   等値線を用いて、前記障害距離マップを可視化する可視化処理部と、
   を具備することを特徴とする画像処理装置。
2. 前記距離算出部は、前記移動体の周囲を微小領域に分割し、各微小領域の代表点から、障害物データの全点もしくはサンプリングした点に対して距離を計算し、最短の値を障害距離マップ情報として出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記可視化処理部は、各微小領域から障害物までの最短距離の値が一定の範囲内である領域を識別・着色し、等値線図として可視化する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記可視化処理部は、各微小領域から障害物までの最短距離と、移動体の幅の１／２を基準とした値を利用して、移動体が障害物へ接触する恐れのある領域を判断し、識別・着色して可視化する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 周囲の画像情報を取得する画像取得部と、
   取得された画像情報から、３次元情報を復元する復元部と、
   ３次元データから障害物データを取得する取得部と、
   運転者が運転する車両から障害物までの最短距離を計算して、前記移動体に対する障害距離マップを算出する距離算出部と、
   等値線を用いて、前記障害距離マップを可視化する可視化処理部と、
   可視化された画像を表示する表示部と、
   を具備することを特徴とする運転支援システム。

Images