JP2015184874A - 移動体操作支援装置、移動体操作支援方法、および移動体操作支援プログラム - Google Patents

Abstract

【課題】移動体操作者が、移動体と物体との衝突を回避するための操作を行いやすい移動体操作支援装置、移動体操作支援方法、および移動体操作支援プログラムを提供する。【解決手段】実施形態によれば、移動体操作支援装置は、移動体の表面上の位置を表す端点からの、前記移動体の周囲の物体上の点までの距離が、前記移動体の移動範囲の拘束条件から設定された計測範囲内であるときの前記物体上の前記点を衝突点として取得する計測点選択部を備えている。【選択図】図１

Description

本発明の実施形態は、移動体操作支援装置、移動体操作支援方法、および移動体操作支援プログラムに関する。

車両搭載センサからの距離情報を俯瞰画像上に重畳する方法が提案されているが、センサからの距離情報を俯瞰画像上に重畳するだけでは、移動体のどの部位が周囲物体のどの位置と衝突するかを判断しにくかった。

特開２００５−２１６２５５号公報 特開２００２−３１４９９１号公報

本発明の実施形態は、移動体操作者が、移動体と物体との衝突を回避するための操作を行いやすい移動体操作支援装置、移動体操作支援方法、および移動体操作支援プログラムを提供する。

実施形態によれば、移動体操作支援装置は、移動体の表面上の位置を表す端点からの、前記移動体の周囲の物体上の点までの距離が、前記移動体の移動範囲の拘束条件から設定された計測範囲内であるときの前記物体上の前記点を衝突点として取得する計測点選択部を備えている。

実施形態の移動体操作支援システムの構成の一例を示すブロック図。 実施形態における端点の設定を説明するための模式図。 実施形態における端点の設定を説明するための模式図。 実施形態における端点の設定を説明するための模式図。 実施形態における計測範囲の設定を説明するための模式図。 実施形態における計測範囲の設定を説明するための模式図。 実施形態における計測範囲の設定を説明するための模式図。 実施形態における表示画像の一例を示す模式図。 実施形態における表示画像の一例を示す模式図。

以下、図面を参照し、実施形態について説明する。なお、各図面中、同じ要素には同じ符号を付している。

図１は、実施形態の移動体操作支援システム１００の構成の一例を示すブロック図である。

実施形態の移動体操作支援システム１００は、操作者による移動体（操作対象）の操作を支援する。移動体は、例えば、自動二輪車、自動四輪車などの自動車、飛行体、遠隔操作ロボットなどである。

移動体操作支援システム１００は、記憶部１０１と、端点設定部１０２と、距離計測部１０３と、拘束条件設定部１０４と、計測点選択部１０５と、画像取得部１０６と、画像加工部１０７と、カメラ１０８と、表示部１０９と、を備える。

カメラ１０８と距離計測部１０３は、移動体に搭載される。移動体が無線で操作する遠隔操作のロボットや飛行体の場合には、移動体に搭載されたカメラ１０８の撮像データや距離計測部１０３の計測データは、コントローラ側のユニットに無線送信される。また、画像取得及び加工の処理が移動体内部で可能である場合は、画像加工した結果をコントローラ側のユニットに送信してもよい。

表示部１０９は、移動体操作支援システム１００に対する入出力データを表示する例えばディスプレイである。表示部１０９は、操作者が移動体を操作中に視認可能な位置に設置される。移動体に操作者が搭乗する自動車、飛行体などの場合には、表示部１０９は移動体に搭載される。移動体が遠隔操作のロボットや飛行体の場合には、表示部１０９は、コントローラ側のユニットに設置される。

記憶部１０１、端点設定部１０２、拘束条件設定部１０４、計測点選択部１０５、画像取得部１０６、および画像加工部１０７は、移動体に操作者が搭乗する自動車、飛行体などの場合には移動体に搭載される。

記憶部１０１、端点設定部１０２、拘束条件設定部１０４、計測点選択部１０５、画像取得部１０６、および画像加工部１０７は、遠隔操作のロボットや飛行体の場合には、移動体に搭載することもできるし、コントローラ側のユニットに設置することもできる。

端点設定部１０２、拘束条件設定部１０４、計測点選択部１０５、画像取得部１０６、および画像加工部１０７は、ＩＣ（Integrated Circuit）チップなどの半導体デバイスの形態として形成され、実施形態の移動体操作支援装置を構成する。

記憶部１０１は、例えば、磁気ディスク、半導体メモリなどである。記憶部１０１には、移動体の形状データが記憶されている。形状データは、移動体の三次元モデルを示す構成点データを持つ。構成点データは、一般的な三次元ＣＧ（computer graphics）モデルで用いるポリゴンの頂点などを用いることができる。

記憶部１０１には、さらに、移動体上における距離計測部１０３の設置位置と姿勢を表すデータも記憶されている。

また、形状データとしては、構成点データのほか、複数の構成点で形成される面データを含んでもよい。面データは、一般的なＣＧモデルで用いるポリゴンを用いることができる。

また、記憶部１０１には、画像取得を行うカメラ１０８の移動体上での設置位置と姿勢を表すデータも記憶されている。

端点設定部１０２は、記憶部１０１に記憶されている構成点の移動体座標上での三次元位置を端点として抽出する。

図２（ａ）は、移動体１０として例えば自動車のＣＧモデルを表す模式図である。

端点設定部１０２は、移動体１０の形状データを構成する構成点の移動体座標上での三次元位置を端点１１として抽出する。

移動体座標系は、例えば、構成点の重心を原点とし、移動体１０の進行方向前方をｚ軸、向かって右手側をｘ軸とするような座標系である。端点１１は、移動体１０の表面上の三次元位置を表す。

また、移動体の形状が複雑な場合には、図２（ｂ）に示すように、移動体の形状データを単純化し、その単純化された移動体１０’の形状データに設定された構成点を端点１１とすることもできる。

なお、図２（ａ）、（ｂ）には、移動体１０、１０’に設定されるすべての構成点（端点）の図示は省略し、一部の構成点（端点）１１のみを模式的に図示している。

移動体の形状データの単純化の一例として、端点設定部１０２は、移動体の形状データを、その形状データ包含する立体、例えば直方体で均等にボクセル化し、形状データの構成点、または複数の構成点から形成される面を含むボクセルで構成される移動体の近似形状を形成することもできる。

ボクセル化の手法としては、例えば図３（ａ）に示すように移動体１０の外接直方体１２を縦、横、高さで等分割し、分割された各ボクセルに構成点が含まれていたら、さらに分割、なければ分割したボクセルを破棄するということを繰り返す。この繰り返し処理の結果、図３（ｂ）に示すように、あらかじめ定めた大きさまで分割された時点で得られるボクセル１３を使用するということもできる。

この移動体１０の近似形状を構成するボクセル１３の頂点のうち、他のボクセルで隠されていない頂点を端点１１とする。あるいは、ボクセル１３の面の中心点のうち、他のボクセルで隠されていない中心点を端点１１としてもよい。あるいは、ボクセル１３の重心のうち、他のボクセルで隠されていない重心を端点１１としてもよい。

ボクセルを作成するときは、外接直方体１２を分割するのではなく、あらかじめ指定されたサイズのボクセルを構成点が含まれるように設置していってもよい。

また、ボクセル化せずに、図４において黒丸で示す構成点１１をクラスタリングし、得られたクラスタの重心を、新たな端点（図４において白丸で示す）１１’として追加してもよい。端点の設定数が増えると、物体に衝突する端点の位置を高精度に特定することができる。また、端点の設定数を抑えると、メモリ使用量を抑え、また処理速度を向上できる。

距離計測部１０３は、例えば、赤外線距離計測センサや、超音波センサなどであり、距離計測部１０３から周囲の物体までの距離を計測する。また、カメラ１０８が撮像し、画像取得部１０６が取得した画像から、移動体と周囲の物体との距離を計測することもできる。

距離計測部１０３は、記憶部１０１に記憶されている距離計測部１０３の位置及び姿勢データから、計測された周囲の物体上の距離計測点の、移動体座標系での３次元位置を求める。さらに、距離計測点の位置を、距離計測部１０３に対する端点の相対位置だけ平行移動することで、移動体上に設定されたそれぞれの端点に対する周囲物体上の距離計測点の位置を求める。すなわち、それぞれの端点から、周囲物体上の距離計測点までの距離が求められる。

拘束条件設定部１０４は、移動体の移動範囲の拘束条件から計測範囲を設定する。具体的には、拘束条件設定部１０４は、移動体が単位時間で動きうる範囲を包含する直方体や球体などの立体データを上記計測範囲として設定する。

図５（ａ）は、歩行構造を有する移動体（ロボット）３２の歩行面より上の空間に円柱近似で、移動体が単位時間で動きうる範囲（計測範囲）４０が設定された例を示す。
図５（ｂ）は、歩行構造を有する移動体（ロボット）３２の歩行面より上の空間に直方体近似で、移動体が単位時間で動きうる範囲（計測範囲）４０が設定された例を示す。
図６（ａ）は、飛行構造を有する移動体（飛行体）３１の上下左右の全方位に球体近似で、移動体が単位時間で動きうる範囲（計測範囲）４０が設定された例を示す。
図６（ｂ）は、飛行構造を有する移動体（飛行体）３１の上下左右の全方位に直方体近似で、移動体が単位時間で動きうる範囲（計測範囲）４０が設定された例を示す。

図７（ａ）は、移動体（自動車）３５の走行面より上の空間に直方体近似で、移動体が単位時間で動きうる範囲（計測範囲）４０が設定された例を示す。

例えば、図７（ａ）に示すように、移動体３５がステアリング式移動機構を有するものであれば、車輪３５ａ間の距離、車輪３５ａの車輪径、車輪３５ａの最大回転速度を用いて、単位時間あたりに移動体３５が動きうる範囲（計測範囲）４０が計算される。

全方向移動機構、歩行機構、飛行機構などを有する移動体についても、それぞれの機構的な条件から単位時間あたりに移動体が動きうる範囲（計測範囲）を計算できる。

また、移動体構造、最大速度から、単位時間あたりの動き範囲を計算して得られる動き領域を包含する直方体をボクセル化して、移動体が単位時間に動きうる範囲を含むボクセルを立体データ（計測範囲）として設定してもよい。

例えば、図７（ｂ）に示すステアリング式移動機構を有する移動体（自動車）３５の場合、進行方向側の前方および左右の動きうる範囲（計測範囲）をボクセル４１で近似している。

計測点選択部１０５は、距離計測部１０３で計測された物体上の計測点のうち、拘束条件設定部１０４で設定された立体データ（計測範囲）に含まれる計測点を衝突点として抽出する。

すなわち、計測点選択部１０５は、移動体の表面上の位置を表す端点からの、移動体周囲の物体上の点までの距離が、移動体の移動範囲の拘束条件から設定された計測範囲内であるときの物体上の計測点を衝突点として取得する。

端点と、この端点に対応する衝突点との組は複数ありうる。この複数組の中から、計測点選択部１０５は、衝突点と最短距離にある端点を衝突予想端点として抽出する。

あるいは、計測点選択部１０５は、衝突点との距離があらかじめ設定した閾値よりも短い端点を衝突予想端点として抽出する。この場合、複数の衝突予想端点が抽出されることがありうる。その複数の衝突予想端点の中から、衝突点との距離が短い上位ｎ個をさらに抽出してもよい。

画像取得部１０６は、移動体に搭載されたカメラ１０８の撮像画像を取得する。この撮像画像は、画像加工部１０７を介して、表示部１０９に出力される。

カメラ１０８は、移動体の周囲を撮像する。例えば、カメラ１０８は、移動体の進行方向前方を撮像する。カメラ１０８の視野に移動体の進行を妨げるような物体があれば、その物体も撮像される。

そして、画像加工部１０７は、計測点選択部１０５が抽出した前述した物体上の衝突点の位置を、その物体における衝突点以外の部分と区別して画像（カメラ１０８の撮像画像）上に重畳する。この衝突点が重畳された画像は、表示部１０９に出力される。

図８（ａ）は、表示部１０９に表示された画像の一例を模式的に示す。
図８（ａ）では、移動体自身は撮像されず、移動体の進行方向の前方の画像が表示されている。例えば、移動体上の前部の左右角部に端点が設定され、その端点に対応する物体７０上の衝突点６１が表示される。例えば、所定の色の丸など、操作者にとって認識しやすい、色、形状及び大きさで衝突点６１が表示される。

例えば、移動体形状及び移動傾向（挙動）がある程度決まっている自動車などでは、端点を画像に表示しなくても、どこの端点が衝突点６１に衝突する可能性があるのかを認識しやすい。なお、端点についても擬似的に画像上に重畳してもよい。

また、画像加工部１０７は、衝突点６１と、この衝突点６１に対応する移動体上の端点とをつなぐ線６２を画像上に重畳する。端点を表示しなくても、端点と衝突点６１とをつなぐ線６２を表示することで、衝突点６１までの距離感を視覚的に与えつつ、移動体を進める操作方向も示すことができ、衝突を回避しやすくなる。

また、熟練した操作者や、線６２が煩わしく感じる操作者には、図８（ｂ）に示すように、衝突点６１だけを画像上に重畳して表示させることもできる。

衝突点６１及びこの衝突点６１に対応する線６２は、例えば同色で表示される。衝突点６１及び線６２の表示色は、端点と衝突点６１との距離に応じて変更することもできる。例えば、端点から衝突点６１までの距離が相対的に近い場合は赤色、相対的に遠い場合は青色といったように、距離に対応した色で衝突点６１及びこの衝突点６１に対応する線６２を表示することができる。

また、図８（ａ）では、端点と衝突点６１とをつなぐ線６２を直線で示したが、点線で示すなど、端点と衝突点６１とを対応付ける他の表示を行うこともできる。

画像上に移動体自身を表示させない形態では、移動体に搭載するカメラ１０８は１台で済む。

移動体に複数のカメラ１０８を搭載することもできる。この場合、画像加工部１０７は、複数のカメラ１０８が撮像した画像から、擬似的に移動体を俯瞰した俯瞰画像を作成し、表示部１０９に表示することができる。

図９（ａ）は、移動体８０を真上から俯瞰した画像の一例を模式的に示す。
図９（ｂ）は、移動体８０を斜め上から俯瞰した画像の一例を模式的に示す。
また、図９（ａ）及び（ｂ）に示す俯瞰画像上には、移動体８０の周囲の物体７１と物体７２も表示されている。

画像加工部１０７は、前述した計測点選択部１０５によって抽出された例えば物体７２上の衝突点７３、およびこの衝突点７３に対応する移動体８０上の端点８１を俯瞰画像上に重畳し、さらに、衝突点７３と端点８１とをつなぐ線７４を俯瞰画像上に重畳する。

衝突点７３、この衝突点７３に対応する端点８１、および衝突点７３と端点８１とをつなぐ線７４は、例えば同色で表示される。衝突点７３、端点８１、および線７４の表示色は、端点８１と衝突点７３との距離に応じて変更することもできる。例えば、端点８１から衝突点７３までの距離が相対的に近い場合は赤色、相対的に遠い場合は青色といったように、距離に対応した色で衝突点７３、端点８１、および線７４を表示することができる。

また、図９（ａ）及び（ｂ）では、端点８１と衝突点７３とをつなぐ線７４を直線で示したが、点線で示すなど、端点８１と衝突点７３とを対応付ける他の表示を行うこともできる。

実施形態によれば、移動体にとって障害物になり得る物体上の衝突点を、移動体の表面上に設定した端点と対応付けて求めるため、移動体と移動体周囲の衝突可能性位置との関係が瞬時に把握でき、移動体操作者が、移動体と物体との衝突を回避するための操作を行いやすい。

記憶部１０１には、実施形態の移動体操作支援プログラムが格納され、端点設定部１０２、拘束条件設定部１０４、計測点選択部１０５、画像取得部１０６、および画像加工部１０７などの移動体操作支援装置はそのプログラムを読み込み、その命令のもと前述した処理（移動体操作支援方法）を実行する。

なお、実施形態の移動体操作支援プログラムは、記憶部１０１以外の記憶装置に格納されていてもよい。また、実施形態の移動体操作支援プログラムは、移動体やコントローラ側のユニットに据え付けられた記憶装置に格納されていることに限らず、可搬性のディスク状記録媒体や半導体メモリに格納されてもよい。

端点設定部１０２で設定された端点は、その移動体に固有のデータとして記憶部１０１に記憶しておくことができる。あるいは、例えば遠隔操作ロボットの場合には、ロボットが物をつかんで持ち上げると、移動体の形状データが変わり、周囲物体に衝突する可能性のある移動体表面上の端点が変わる。すなわち、ロボットがつかんだ物も移動体の一部に包含される。このような場合には、端点設定部１０２は、ロボット自身の形状をもとにあらかじめ設定した端点を更新することで、移動体の形状データの変化に対応することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…移動体操作支援システム、１０１…記憶部、１０２…端点設定部、１０３…距離計測部、１０４…拘束条件設定部、１０５…計測点選択部、１０６…画像取得部、１０７…画像加工部、１０８…カメラ、１０９…表示部

Claims (13)

1. 移動体の表面上の位置を表す端点からの、前記移動体の周囲の物体上の点までの距離が、前記移動体の移動範囲の拘束条件から設定された計測範囲内であるときの前記物体上の前記点を衝突点として取得する計測点選択部を備えた移動体操作支援装置。
2. 前記端点は複数設定され、
   前記計測点選択部は、前記衝突点と最短距離にある端点を衝突予想端点として抽出する請求項１記載の移動体操作支援装置。
3. 前記端点は複数設定され、
   前記計測点選択部は、前記衝突点との距離が閾値よりも短い端点を衝突予想端点として抽出する請求項１記載の移動体操作支援装置。
4. 前記移動体に搭載されたカメラが前記物体を撮像した画像上に、前記衝突点の位置を、前記物体における前記衝突点以外の部分と区別して重畳する画像加工部をさらに備えた請求項１〜３のいずれか１つに記載の移動体操作支援装置。
5. 前記画像加工部は、前記衝突点と、前記衝突点に対応する端点とをつなぐ線を前記画像上に重畳する請求項４記載の移動体操作支援装置。
6. 前記画像加工部は、前記カメラが撮像した画像から、擬似的に前記移動体を俯瞰した俯瞰画像を作成するとともに、前記衝突点に対応する端点を前記俯瞰画像上の移動体に重畳する請求項４記載の移動体操作支援装置。
7. 前記画像加工部は、前記衝突点と前記端点とをつなぐ線を前記俯瞰画像上に重畳する請求項６記載の移動体操作支援装置。
8. 前記画像加工部は、前記画像上の前記衝突点の色を、前記端点との距離に応じて変える請求項４記載の移動体操作支援装置。
9. 前記画像加工部は、前記画像上の前記線の色を、前記衝突点と前記端点との距離に応じて変える請求項５記載の移動体操作支援装置。
10. 前記画像加工部は、前記俯瞰画像上の前記線の色を、前記衝突点と前記端点との距離に応じて変える請求項７記載の移動体操作支援装置。
11. 前記画像加工部は、前記俯瞰画像上の前記衝突点の色を、前記衝突点と前記端点との距離に応じて変える請求項６記載の移動体操作支援装置。
12. 移動体の表面上の位置を表す端点からの、前記移動体の周囲の物体上の点までの距離が、前記移動体の移動範囲の拘束条件から設定された計測範囲内であるときの前記物体上の前記点を衝突点とする移動体操作支援方法。
13. 移動体の表面上の位置を表す端点からの、前記移動体の周囲の物体上の点までの距離が、前記移動体の移動範囲の拘束条件から設定された計測範囲内であるときの前記物体上の前記点を衝突点として取得する処理をコンピュータに実行させる移動体操作支援プログラム。

Images