JP7101350B2 - 画像処理装置および移動支援装置 - Google Patents

Description

本発明は、画像処理装置および移動支援装置に関する。

撮像したステレオ画像に基づいて前方空間の様子を推定する画像処理装置が知られている。

視覚障がい者等が歩行する際に装着し、自身の前方に段差や階段、壁、物体などの障害物があるかどうかを簡便に判別することができる画像処理装置が必要とされている。

例えば特許文献１には、ロボットや自動車が自律的に移動する際に、平面検出を行うための画像処理装置が開示されている。この画像処理装置は、距離センサの前方視野内における水平平面と垂直平面を算出している。

特許文献２には、自律的に移動可能なロボットに階段の昇降動作を行わせるための段差エッジ推定装置が開示されている。この発明は、目前に段差があることを前提に、段差部の位置および方向を推定するものである。

特許文献３には、ステレオカメラで撮像した複数の画像データから路面の段差を検出する路面段差検出装置が開示されている。

しかしながら、歩行者の場合は、段差や階段、足元の物体など、水平平面と垂直平面以外にも留意すべき障害物が多数存在する。いずれの特許文献にも、歩行者自身の前方にある障害物を簡便に判別する画像処理装置は開示されていない。

そこで、前方空間に段差や階段、壁、物体などの障害物があるかどうかを簡便に判別することができる画像処理装置が必要とされている。

特開平１０－０６３２１０号公報 特開２０１５－０４３３１７号公報

本発明は、簡素な構成で、移動体の前方空間における障害物の有無を判定する画像処理装置を提供することを目的とする。

本発明にかかる画像処理装置は、前方空間のステレオ画像を撮像する撮像部と、ステレオ画像に撮像される面上から複数の計測点を選択する位置選択部と、複数の計測点の３次元空間座標に基づいて、複数の平面方程式を算出する平面方程式算出部と、複数の平面方程式に基づいて、前方空間における障害物の有無を判定する判定部と、を備えることを特徴とする。

本発明によれば、簡素な構成で、移動体の前方空間における障害物の有無を判定する。

本発明にかかる移動支援装置の実施の形態を示す（ａ）概略構成図、（ｂ）上記移動支援装置が有する撮像部を装着者が装着した様子を示す正面斜視図である。 上記移動支援装置の機能ブロック図である。 上記装着者の前方空間において、上記移動支援装置が備える画像処理装置が有する位置選択部が選択する計測点を示す模式図である。 上記撮像部の光軸が水平であると仮定して描画された、上記計測点を通る平面の様子を示す模式図である。 上記移動支援装置のフローチャートである。 前方右側に壁のある場所で前進した場合の（ａ）前方空間の様子、（ｂ）上記画像処理装置による解析例である。 前方左側に壁のある場所で左方向に回転した場合の（ａ）前方空間の様子、（ｂ）上記画像処理装置による解析例である。 前方正面に障害物がある場合における（ａ）前方空間の様子、（ｂ）上記画像処理装置による解析例である。 前方正面に下り階段がある場合における、（ａ）前方空間の様子、（ｂ）上記画像処理装置による解析例である。 前方正面に下り階段がある場合における、計測点と、上記計測点から算出した法線ベクトルの様子を示す模式図である。 前方正面に上り階段がある場合における、（ａ）前方空間の様子、（ｂ）上記画像処理装置による解析例である。 前方正面に上り階段がある場合における、計測点と、上記計測点から算出した法線ベクトルの様子を示す模式図である。 前方正面に上り段差がある場合における、計測点と、上記計測点から算出した法線ベクトルの様子を示す模式図である。

以下、本発明にかかる画像処理装置および移動支援装置の実施の形態について、図面を参照しながら説明する。

●移動支援装置の概要
図１（ａ）および（ｂ）に示すように、移動支援装置１は、固定部２と、撮像部３と、伝達部４と、演算装置５と、バッテリ６と、を備える。撮像部３は、使用者の進行方向の画像を撮像できるように、固定部２により使用者に固定されている。撮像部３および演算装置５は、画像処理装置１０を構成する。

固定部２、撮像部３および伝達部４は、使用者１００の頭部外周に対応するリング状に構成されている。撮像部３は、１対のカメラにより構成されるステレオカメラである。撮像部３は、使用者１００の左右のこめかみ付近にそれぞれ固定される。１対のカメラは、使用者１００の前面側においては樹脂製の部材で連結されていて、１対のカメラ相互の距離が変化しないようになっている。ステレオカメラ３は、使用者１００の背面側においては固定部２で連結されている。固定部２は、例えば金具を有するベルトであり、使用者１００の頭部の外周長に合わせて長さが調節可能である。また、固定部２は、弾性を有するベルトであってもよい。

撮像部３および伝達部４は、有線又は無線で、それぞれ演算装置５に接続されている。演算装置５は、撮像部３により撮像されるステレオ画像に基づいて、使用者１００の進行方向の画像を解析し、障害物の有無などを判定する。演算装置５は、判定された結果を伝達部４に出力する。

ここで障害物とは、段差や階段、壁、足元の物体等の、移動時に留意すべき物体および障害を広く含む概念である。段差は１段の上り段差や下り段差を含み、階段は上り階段および下り階段を含む。また、障害物は、上り斜面や下り斜面を含む。移動は、移動支援装置１を視覚障がい者が着用して使用する場合には、歩行を想定している。

伝達部４は、演算装置５により演算した結果を受信して、使用者１００の進行方向に障害物があるか否か、また、どのような障害物があるか等の情報を使用者１００に伝達する機構部である。伝達部４は、例えば骨伝導ヘッドホンである。本実施の形態においては、伝達部４は、撮像部３の一方のカメラと固定部２との連結部分において、使用者１００の頭部に接触するように固定されている。なお、伝達部４は、骨伝導ヘッドホンに限らず、音声で情報を伝達するイヤホン、スピーカーなどの機器であってもよいし、触覚で情報を伝達する装置であってもよい。また、使用者１００の網膜にレーザで投影するなど種々の装置が適用可能である。

バッテリ６は、撮像部３、伝達部４および演算装置５に電源を供給する。

演算装置５およびバッテリ６は、使用者１００の腰や胸等に装着される。

なお、撮像部３の固定位置は、使用者１００の前方空間が撮像可能な位置であれば、頭部でなくてもよい。例えば、肩や、胸部などであってもよい。撮像部３の固定位置に応じて、固定部２の形状も、ネックピロー型や胸部バンド型など種々の形状が適用可能である。

●移動支援装置１の構成
図２に示すように、移動支援装置１は、撮像部３、Ａ／Ｄ変換部３１、位置選択部３２、位置演算部３３、平面方程式算出部３６を備える。また、移動支援装置１は、撮像部３の傾きを補正するための撮像部角度演算部４０、および座標変換部４１を備える。さらに、移動支援装置１は、平坦路判定部５０、記録部６０、伝達部４を備える。

以降の説明において、水平面上における使用者１００の進行方向をｘ軸方向、水平面上におけるｘ軸に直交する方向をｙ軸方向、水平面に直交する方向をｚ軸方向とする。このｘｙｚ座標系は、使用者座標系ともいう。また、ステレオ画像内における前方方向をＸ軸方向、Ｘ軸に直交する左右方向をＹ軸方向、Ｘ軸およびＹ軸に直交する上下方向をＸ軸方向とする。このＸＹＺ座標系は、撮像部座標系ともいう。撮像部座標系は、撮像部の画素の配列によって求められる。

撮像部３は、使用者１００の進行方向前方の空間のステレオ画像を撮像する。使用者１００の足元の路面を撮像するため、撮像部３は、水平よりやや下方を向いて固定されている。

Ａ／Ｄ変換部３１は、撮像部３により撮像されるステレオ画像をデジタル変換する。

位置選択部３２は、図３に示すように、デジタル変換されたステレオ画像に撮像された面上から複数の計測点を選択する。複数の計測点は、使用者１００の足元に近い面上の点Ｐ０、点Ｐ１、点Ｐ２（以下、「第１計測点群」ともいう。）および、使用者の足元より少し前方の面上の点Ｐ３、点Ｐ４、点Ｐ５（以下、「第２計測点群」ともいう。）の、計６点である。

第１計測点群および第２計測点群は、それぞれ互いに同一直線上にはない点である。例えば、点Ｐ０は使用者１００の正面であり、点Ｐ１は点Ｐ０に対して右斜め前方、点Ｐ２は点Ｐ０に対して左斜め前方である。点Ｐ３は、使用者１００の正面であって進行方向において点Ｐ０よりも使用者１００からやや遠い位置である。点Ｐ４は点Ｐ３に対して右斜め前方、点Ｐ５は点Ｐ３に対して左斜め前方である。第２計測点群のうち撮像部３から最も離れている計測点Ｐ４およびＰ５は、第１計測点群のいずれの計測点よりも撮像部３から前方に離れた位置にある。

位置演算部３３は、点Ｐ０乃至点Ｐ５の、撮像部座標系における３次元空間座標を計測する。

●撮像部３の角度補正
撮像部３は、光軸が水平よりやや下方を向いて固定されている。言い換えれば、図４に示すように、撮像部３により撮像されるステレオ画像における水平を、使用者座標系における水平と同一と解釈してしまうと、路面は、斜めに立ち上がっているように見える。

そこで、撮像部角度演算部４０および座標変換部４１は、使用者座標系における水平面に対する撮像部３の光軸の角度を算出して、撮像部座標系上で得られた計測点Ｐ０乃至Ｐ５の３次元空間座標を、使用者座標系上の３次元空間座標に変換する。

図２乃至図４に示すように、撮像部角度演算部４０は、点Ｐ０および点Ｐ１を結ぶベクトルＶ１と、点Ｐ０および点Ｐ２を結ぶベクトルＶ２をそれぞれ求める。そして、撮像部角度演算部４０は、ベクトルＶ１とベクトルＶ２の外積を計算し、点Ｐ０乃至点Ｐ２を通る平面Ｐ１００の法線ベクトルＶ１００を導出する。平面Ｐ１００は、法線ベクトルＶ１００に垂直で、点Ｐ０を通る平面であるので、撮像部角度演算部４０は、法線ベクトルＶ１００および点Ｐ０から平面Ｐ１００の平面方程式を求めることができる。

成分（Ａ、Ｂ、Ｃ）の法線ベクトルＶ１００を持つ平面Ｐ１００の平面方程式は、以下のように表される。
ＡＸ＋ＢＹ＋ＣＺ＋Ｄ＝０ （１）
Ｘ、Ｙ、Ｚは変数であり、Ａ、Ｂ、Ｃ、Ｄは定数である。

なお、法線ベクトルＶ１００の導出は、後述する平面方程式算出部３６が行い、撮像部角度演算部４０は、法線ベクトルＶ１００の情報を平面方程式算出部３６から受信してもよい。

撮像部角度演算部４０は、平面Ｐ１００の法線ベクトルＶ１００の、ｘｚ軸空間における傾き角度Ａ１００を、（２）式により算出する。

（２）

は、法線ベクトルＶ１００の長さである。

座標変換部４１は、角度Ａ１００を撮像部３の光軸の角度として用いて、撮像部座標系上で得られた点Ｐ０乃至点Ｐ５の３次元空間座標を、使用者座標系に変換する。点Ｐｎ（ｎは０から始まる自然数）の撮像部座標系上で得られた３次元空間座標を（Ｘｎ、Ｙｎ、Ｚｎ）とすると、使用者座標系における点Ｐｎの３次元空間座標（ｘｎ、ｙｎ、ｚｎ）はそれぞれ以下の式（３）乃至（５）により求められる。本実施の形態においては、ｎは０から５までの自然数である。
ｘｎ＝Ｘｎ×ｃｏｓ（－π／２＋角度Ａ１００）－Ｚｎ×ｓｉｎ（－π／２＋角度Ａ１００） （３）
ｚｎ＝Ｚｎ×ｓｉｎ（－π／２＋角度Ａ１００）＋Ｚｎ×ｃｏｓ（－π／２＋角度Ａ１００） （４）
ｙｎ＝Ｙｎ （５）
角度Ａ１００の単位はラジアンである。式（３）乃至（５）により、点Ｐ０乃至点Ｐ５の、使用者座標系における３次元空間座標が求められる。

法線ベクトルＶ１００は、実際の路面ではｙｚ軸空間においてもやや傾いている可能性がある。ｙｚ軸空間の傾きの影響は微小であるため、本実施の形態ではｙｚ軸空間の傾きは無視されている。しかしながら、撮像部角度演算部４０はｙｚ軸空間の傾きを演算してもよい。また、座標変換部４１は、ｙｚ軸空間の傾きに基づいて、計測点Ｐ０乃至Ｐ５の３次元空間座標を使用者座標系に変換してもよい。

平面方程式算出部３６は、図３に示すように、第１計測点群を通る平面を表す平面方程式、および第２計測点群を通る平面を表す平面方程式をそれぞれ導出する。具体的には、平面方程式算出部３６は、使用者座標系に変換された点Ｐ０および点Ｐ１を結ぶベクトルｖ１と、使用者座標系に変換された点Ｐ０および点Ｐ２を結ぶベクトルｖ２を求める。そして、平面方程式算出部３６は、ベクトルｖ１とベクトルｖ２の外積を計算し、点Ｐ０乃至点Ｐ２を通る平面Ｐ１０の法線ベクトルＶ１０を導出する。

さらに、平面方程式算出部３６は、使用者座標系に変換された点Ｐ３および点Ｐ４を結ぶベクトルｖ３と、使用者座標系に変換された点Ｐ３および点Ｐ５を結ぶベクトルｖ４を求める。平面方程式算出部３６は、ベクトルｖ３とベクトルｖ４の外積を計算し、点Ｐ３乃至点Ｐ５を通る平面Ｐ１１の法線ベクトルＶ１１を導出する。

法線ベクトルＶ１０を持つ平面Ｐ１０の平面方程式は、以下のように表される。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ （６）
ｘ、ｙ、ｚは変数であり、ａ、ｂ、ｃ、ｄは定数である。

●平坦路判定部５０
図２に示すように、平坦路判定部５０は、平面高さ算出部５２、平面角度算出部５３、判定部７０を有する。

平面高さ算出部５２は、第１計測点群点Ｐ０乃至Ｐ２のｚ成分、すなわち高さの平均を計算し、高さＺ１０を算出する。また、平面高さ算出部５２は、第２計測点群点Ｐ３乃至Ｐ５のｚ成分、すなわち高さの平均を計算し、高さＺ１１を算出する。

平面角度算出部５３は、平面Ｐ１０の法線ベクトルＶ１０、および平面Ｐ１１の法線ベクトルＶ１１の成分に基づいて、平面Ｐ１０および平面Ｐ１１の傾きを算出する。まず、平面角度算出部５３は、法線ベクトルＶ１０およびＶ１１をそれぞれ正規化し、正規化法線ベクトルＶ２０およびＶ２１を算出する。

正規化法線ベクトルＶ２０の成分を（ａ２０、ｂ２０、ｃ２０）とすると、ベクトルＶ１０の、進行方向に対する倒れ角度Ａ１０は式（６）により求められる。
Ａ１０＝π／２－ａｃｏｓ（ａ２０） （６）
ベクトルＶ１０の左右方向に対する倒れ角度Ｂ１０は、式（７）により求められる。
Ｂ１０＝π／２－ａｃｏｓ（ｂ２０） （７）

平面角度算出部５３は、同様に、式（６）および式（７）を用いて式ベクトルＶ１１の進行方向に対する倒れ角度Ａ１１および左右方向に対する倒れ角度Ｂ１１を算出する。

記録部６０は、過去に算出された高さＺ１０およびＺ１１、並びに平面Ｐ１０および平面Ｐ１１の進行方向に対する倒れ角度Ａ１０およびＡ１１、左右方向に対する倒れ角度Ｂ１０およびＢ１１を記録する。記録部６０は、過去に算出された各値を複数個ずつ記録することができる。記録部６０は、判定部７０からの呼び出しに応じて、各値を判定部７０に送信する。

記録部６０は、計測開始以降のすべての各値を保存していても良いし、直近の各値を複数個ずつ記録し、新しいデータを受信する際に、記録されている最も古い各値のデータを削除するようにしてもよい。

判定部７０は、高さＺ１０およびＺ１１、および平面Ｐ１０および平面Ｐ１１の倒れ角度Ａ１０、Ａ１１、Ｂ１０、Ｂ１１に基づいて、使用者１００の前方空間における障害物の有無などを判定する。

判定部７０は、各値について予め定められた閾値を記憶していて、現在算出される各値が閾値を超えている際に、前方空間に障害物が有ることを判定してもよい。判定部７０は、過去に算出された各値を記録部６０から受信して、過去に算出された各値および現在算出される各値に基づいて障害物の有無等を判定してもよい。具体的には、直近に算出された複数回の各値および現在算出される各値において、連続して閾値を超えている場合に、前方空間に障害物があると判定してもよい。

●移動支援装置１のフローチャート
ここまで説明してきた移動支援装置１の動作を説明する。図５に示すように、まず、移動支援装置１は、撮像部３により使用者１００の前方空間を撮像し、ステレオ画像を得る（ステップＳ１）。そして、移動支援装置１は、撮像される画像をＡ／Ｄ変換部３１によりＡ／Ｄ変換する（ステップＳ２）。

次に、位置選択部３２は、Ａ／Ｄ変換された画像の面上から、複数の計測点を選択する（ステップＳ３）。複数の計測点は、使用者１００の足元に近い面上の点Ｐ０、点Ｐ１、点Ｐ２および、使用者の足元より少し前方の面上の点Ｐ３、点Ｐ４、点Ｐ５の、計６点である。

次に、位置演算部３３は、複数の計測点Ｐ０乃至Ｐ５の、撮像部座標系における３次元空間座標を算出する（ステップＳ４）。

撮像部角度演算部４０は、第１計測点群点Ｐ０乃至点Ｐ２の３次元空間座標から、撮像部３の光軸の傾きを算出する（ステップＳ５）。また、記録部６０は、算出される撮像部３の光軸の傾きを記録する（ステップＳ６１）。

撮像部角度演算部４０は、過去に算出された撮像部３の光軸の傾きを記録部６０から読み出し、過去に算出された光軸の傾き、および現在算出される光軸の傾きに基づいて撮像部３の光軸の傾きを算出してもよい。また、現在算出される光軸の傾きが大きすぎる場合は、現在算出される値に代えて過去に算出された値を、撮像部３の光軸の傾きとして座標変換部４１に送信してもよい。さらに、撮像部角度演算部４０は、過去に算出された複数の値に基づいて、現在の撮像部３の光軸の傾きを算出してもよい。過去に算出された光軸の傾きを計算に使用することで、階段を上り下りしている途中や、階段室などの狭い空間において、使用者１００の足元の空間が平坦でない場合にも、前方空間の障害物の有無等を適切に判定することができる。

座標変換部４１は、撮像部３の光軸の傾きに基づいて、点Ｐ０乃至点Ｐ５の撮像部座標系における３次元空間座標を、使用者座標系における３次元空間座標に変換する（ステップＳ６）。

平面方程式算出部３６は、点Ｐ０、点Ｐ１、点Ｐ２を通る平面Ｐ１０の法線ベクトルＶ１０を算出する（ステップＳ７）。また、平面方程式算出部３６は、点Ｐ３、点Ｐ４、点Ｐ５を通る平面Ｐ１１の法線ベクトルＶ１１を算出する（ステップＳ８）。

平面高さ算出部５２は、第１計測点群の高さＺ１０を算出する（ステップＳ９）。また、平面高さ算出部５２は、第２計測点群の高さＺ１１を算出する（ステップＳ１０）。記録部は、高さＺ１０およびＺ１１を記録する（ステップＳ６２）。

平面角度算出部５３は、平面Ｐ１０の、水平に対する進行方向の倒れ角度Ａ１０、および左右方向の倒れ角度Ｂ１０を算出する（ステップＳ１１）。また、平面角度算出部５３は、平面Ｐ１１の、水平に対する進行方向の倒れ角度Ａ１１、および左右方向の倒れ角度Ｂ１１を算出する（ステップＳ１２）。記録部は、算出される平面Ｐ１０および平面Ｐ１１のそれぞれの倒れ角度Ａ１０、Ａ１１、Ｂ１０、Ｂ１１を、それぞれ記録する（ステップＳ６３）。

判定部７０は、記録部６０から、過去に算出された高さＺ１０、Ｚ１１および倒れ角度Ａ１０、Ａ１１、Ｂ１０、Ｂ１１の情報をそれぞれ呼び出す（ステップＳ１３）。判定部７０は、過去に算出された高さおよび倒れ角度、ならびに現在算出される高さおよび倒れ角度に基づいて、使用者１００の前方空間に障害物の有無等を判定する（ステップＳ１４）。また、記録部６０は、判定結果を記録する（ステップＳ６４）。

移動支援装置１は、例えば歩行中の使用者が装着し、逐次的に前方の障害物の有無等を判定することを想定している。そのため、判定部７０は、過去に算出された各値を判定に用いることで、歩行するにつれ使用者と障害物との距離が次第に変化していく様子を捉えることができる。したがって、障害物の判定精度が向上する。

判定の結果に基づいて、判定部７０が使用者に伝達する必要があると判定した場合は、判定部７０は伝達部４にその旨を送信する。伝達部４は、種々の方法により判定結果を使用者に伝達する（ステップＳ１５）。判定部７０が使用者に伝達する必要がないと判定した場合は、判定部７０は伝達部４への情報送信を行わない。

なお、伝達部４は、障害物がある場合にのみその旨を使用者に通知してもよいし、障害物がない場合に、安全に歩行してよいことを知らせる通知を行ってもよい。

最後に、移動支援装置１はステップＳ１に戻り、ステップＳ１乃至Ｓ１５、ステップＳ６１乃至Ｓ６３の動作を定期的に繰り返す。

このように、移動支援装置１は、足元の空間および足元よりもやや前方の空間の面を分析することにより、簡素な構成で使用者１００の周囲の障害物の有無などを判定することができる。

●測定例１：使用者の進行方向右側前方に壁がある場合
図６（ａ）に示すように、使用者１００の足元よりやや前方に壁２００が存在する場合、第２計測点群の点Ｐ３および点Ｐ５は床面上にあり、点Ｐ４が壁２００上に乗りかかる。したがって、平面Ｐ１１は右上から左下に向かって傾いて計測される。

図６（ｂ）は、使用者１００が壁に向かって斜めに近づいてくる場合の、各値の時系列の変化を示す。本測定例では、過去に算出された１５回の各値、および現在算出される値の、各々計１６個の値を示している。すなわち、現在算出される値の時点をフレーム０、１回前に算出された値の時点をフレーム－１として、フレーム－１５までの各値がプロットされている。

以降の各測定例において、移動支援装置１の測定頻度は１０Ｈｚである。すなわち、移動支援装置１は１００ｍｓごとに１回の測定を行い、前方空間の様子を解析している。さらに言い換えれば、フレーム間の時間間隔は１００ｍｓである。測定頻度は任意であり、測定が頻繁であるほど正確性は増すが、移動支援装置１の演算装置５の処理負担が増大する。人が装着して使用する場合においては、人の歩行速度を約１ｍ／ｓと考えると、前方空間の変化を約０．１ｍ毎に解析する１０Ｈｚ程度の測定が適している。このような移動支援装置１によれば、瞬間的な変動による誤検知を軽減することができ、移動中の使用者１００の前方空間をより正確に判断することができる。

同図では、平面Ｐ１１の左右方向の倒れ角度Ｂ１１がフレーム－１０あたりから５０°近辺まで上がっている。また、平面Ｐ１１の進行方向の倒れ角度Ａ１１が－４０°近辺まで下がっている。さらに、使用者１００が進行するにつれて点Ｐ１も壁２００上に乗りかかるのを反映して、平面Ｐ１０の左右方向の倒れ角度Ｂ１０も緩やかに上昇している。これらの情報から、判定部７０は、進行方向に対し右斜めに傾斜した平面が前方に存在していると判定することができる。この場合、判定部７０は、右側前方に壁があると判定し、伝達部４を通じて使用者にその旨を通知する。

●測定例２：使用者の回転方向前方に壁がある場合
図７（ａ）に示すように、使用者１００の左側前方に壁がある場合において、使用者１００が壁近傍で左方向に回転した場合、第２計測点群のうち、点Ｐ５は床面上にあり、点Ｐ３および点Ｐ４が壁２０１上に乗りかかる。また、使用者１００が回転するにつれて第１計測点群の点Ｐ２も壁２０１上に乗りかかる。

図７（ｂ）に示すように、平面Ｐ１０および平面Ｐ１１の倒れ角度は、進行方向および左右方向の両方において、フレーム－９近辺からマイナス方向に次第に大きくなっている。このことから、判定部７０は、使用者１００が回転するにつれて前方に障害物が出現したことを判定し、伝達部４を通じてその旨を使用者１００に伝達する。

●測定例３：使用者の進行方向正面に障害物がある場合
図８（ａ）に示すように、使用者１００が障害物２０２に向かって歩行した場合、点Ｐ４および点Ｐ５がほぼ同時に障害物２０２に乗りかかる。

図８（ｂ）に示すように、平面Ｐ１１の左右方向における倒れ角度Ｂ１１はほとんど変化していないが、進行方向における倒れ角度Ａ１１は、フレーム－１１から急激にマイナス方向へ変化して－５０°近辺まで下がっている。このことから、判定部７０は、使用者１００の進行方向正面に障害物があることを判定し、伝達部４を通じてその旨を使用者１００に伝達する。

●測定例４：使用者の進行方向正面に下り階段がある場合
図９（ａ）に示すように、使用者１００が下り階段の手前に差し掛かると、平面Ｐ１１が下り階段の段上に配置される。図９（ｂ）に示すように、フレーム－１３から平面Ｐ１１の倒れ角度Ａ１１がプラス方向に増加している。平面Ｐ１０の倒れ角度Ａ１０は、ほぼ一定に推移している。また、平面Ｐ１１の平面高さＺ１１は、平面Ｐ１０の平面高さＺ１０よりも下に位置するように変化する。これらのことから、判定部７０は、使用者１００の進行方向正面に下り階段又は下り斜面が出現したと判定する。なお、平面Ｐ１１の進行方向への倒れ角度Ａ１１は、平面Ｐ１１が階段に差し掛かっているとき約２０°である。図１０に示すように、この値は階段の斜度に対応していることから、画像処理装置１０が下り階段の様子を分析できていることがわかる。

●測定例５：使用者の進行方向正面に上り階段がある場合
図１１（ａ）に示すように、使用者１００が上り階段の手前に差し掛かると、平面Ｐ１１が上り階段の段上に配置される。図１１（ｂ）に示すように、フレーム－１０近辺から平面Ｐ１１倒れ角度Ａ１１が－側へ増加している。また、平面Ｐ１１の平面高さは平面Ｐ１０より上に位置するような変化が始まっている。これらのことから、判定部７０は、使用者１００の進行方向正面に上り階段又は上り斜面が出現したと判定する。なお、平面Ｐ１１の進行方向への倒れ角度Ａ１１は、平面Ｐ１１が階段に差し掛かっているとき約－２０°である。図１２に示すように、この値は階段の斜度に対応していることから、画像処理装置１０が上り階段の様子を分析できていることがわかる。

●測定例６：使用者の進行方向正面に段差がある場合
図１３に示すように、例えば玄関の床面と土間との間の段差がある場合、倒れ角度Ａ１０、Ａ１１、Ｂ１０、Ｂ１１は小さいが、高さＺ１０およびＺ１１が互いに異なる。したがって、判定部７０は、平面高さＺ１０およびＺ１１を比較して前方に段差があるか否かを判定する。これは、上りの段差および下りの段差において同様である。

このように、画像処理装置１０は、簡素な構成で、移動体の前方空間における障害物の有無を判定することができる。また、画像処理装置１０を備える移動支援装置１は、移動体の前方空間における障害物の有無等を、装着する使用者１００に伝達することができる。

なお、本発明に係る移動支援装置を説明するに当たり、人間に装着されて使用される装置を想定して説明した。しかしながら、本発明の技術思想は、例えば、ロボットに取り付けて、又はロボットに組み込んで障害物の有無等を判定する機構部にも適用可能である。

１ 移動支援装置
３ 撮像部
１０ 画像処理装置
３２ 位置選択部
３６ 平面方程式算出部
７０ 判定部

Claims (10)

1. 移動体の進行方向 前方の空間のステレオ画像を撮像する撮像部と、
   前記ステレオ画像から複数の計測点を選択する位置選択部と、
   前記複数の計測点の３次元空間座標に基づいて、複数の平面方程式を算出する平面方程式算出部と、
   前記複数の平面方程式に基づいて、前記進行方向前方の空間における障害物の有無を判定する判定部と、
   を備え、
   前記複数の計測点は、第１点と、前記第１点に対して進行方向右斜め前方の第２点と、前記第１点に対して左斜め前方である第３点と、前記第１点よりもあらかじめ定められた所定の距離だけ進行方向前方の第４点と、前記第４点に対して右斜め前方の第５点と、前記第４点に対して左斜め前方の第６点と、を少なくとも含み、
   前記平面方程式算出部は、前記第１点、前記第２点および前記第３点を第１計測点群として、前記第１計測点群の３次元空間座標に基づいて第１平面方程式を算出するとともに、前記第４点、前記第５点および前記第６点を第２計測点群として、前記第２計測点群の３次元空間座標に基づいて第２平面方程式を算出し、
   前記判定部は、前記第１平面方程式および前記第２平面方程式に基づいて、前記進行方向前方の空間における障害物の有無を判定する、
   ことを特徴とする、画像処理装置。
2. 前記判定部は、前記複数の平面方程式から前記複数の平面方程式が表す平面の傾きをそれぞれ算出し、前記それぞれの平面の傾きに基づいて前記前方の空間における障害物の有無を判定する、請求項１記載の画像処理装置。
3. 前記判定部は、前記複数の平面方程式から、前後方向および前記前後方向に直交する左右方向における、前記複数の平面方程式が表す平面の傾きをそれぞれ算出し、前記前後方向における平面の傾きおよび前記左右方向における平面の傾きに基づいて前記前方の空間における障害物の種類を判定する、請求項１又は２記載の画像処理装置。
4. 前方空間のステレオ画像を撮像する撮像部と、
   前記ステレオ画像から複数の計測点を選択する位置選択部と、
   前記複数の計測点の３次元空間座標に基づいて、複数の平面方程式を算出する平面方程式算出部と、
   前記複数の平面方程式に基づいて、前記前方空間における障害物の有無を判定する判定部と、
   を備え、
   前記判定部は、前記複数の平面方程式から、前後方向および前記前後方向に直交する左右方向における、前記複数の平面方程式が表す平面の傾きをそれぞれ算出し、前記前後方向における平面の傾きおよび前記左右方向における平面の傾きに基づいて前記前方空間における障害物の種類を判定する、
   ことを特徴とする、画像処理装置。
5. 前記複数の平面方程式は、第１平面方程式および第２平面方程式からなり、前記複数の計測点は、複数の計測点からなる第１計測点群、および前記第１計測点群とは異なる複数計測点からなる第２計測点群からなり、前記平面方程式算出部は、前記第１計測点群を通る平面を表す前記第１平面方程式を算出し、前記第２計測点群を通る平面を表す前記第２平面方程式を算出する、請求項４記載の画像処理装置。
6. 前記第２計測点群のうち前記撮像部から最も離れている計測点は、前記第１計測点群のいずれの計測点よりも前記撮像部から前方に離れた位置にある、請求項５記載の画像処理装置。
7. 前記判定部は、前記第１計測点群および前記第２計測点群の平均高さをそれぞれ算出し、前記平均高さに基づいて前記前方の空間における障害物の有無を判定する、請求項１、２、３、５および６のいずれかに記載の画像処理装置。
8. 過去に算出された平面の傾きを記録する記録部をさらに備え、前記判定部は、前記過去に算出された平面の傾き、および現在算出される平面の傾きに基づいて、前記前方の空間における障害物の有無を判定する、請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記平面方程式に基づいて、前記撮像部の前記平面方程式が表す平面に対する角度を撮像部角度として算出する撮像部角度演算部と、前記撮像部角度に基づいて前記ステレオ画像の傾きを補正する座標変換部と、をさらに備える、請求項１乃至８のいずれかに記載の画像処理装置。
10. 移動体に固定可能に構成され、前記移動体の前方空間のステレオ画像を撮像する撮像部を有する画像処理装置と、
    前記画像処理装置の処理結果を前記移動体に伝達する伝達部と、
    を備える移動支援装置であって、
    前記画像処理装置は、請求項１乃至９のいずれかに記載の画像処理装置である、移動支援装置。

Images