JP4188632B2 - 距離画像の統合方法及び距離画像統合装置 - Google Patents
距離画像の統合方法及び距離画像統合装置 Download PDFInfo
- Publication number
- JP4188632B2 JP4188632B2 JP2002206622A JP2002206622A JP4188632B2 JP 4188632 B2 JP4188632 B2 JP 4188632B2 JP 2002206622 A JP2002206622 A JP 2002206622A JP 2002206622 A JP2002206622 A JP 2002206622A JP 4188632 B2 JP4188632 B2 JP 4188632B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- viewpoint
- normal vector
- plane group
- viewpoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、距離画像の統合方法及び距離画像統合装置に関するものである。
【０００２】
【従来の技術】
近年、物対認識やバーチャルリアリティ等の分野において、物体やシーンの３次元形状を計測し、その形状をモデル化することが重要となっている。一方、高精度かつ比較的安価なレンジファインダの出現に伴い、レンジデータ、すなわち、距離画像の取得が容易となっている。レンジファインダによる単一視点からの計測では、裏側や凹凸に隠された部分など、データの得られない部分が存在するため、物体やシーン全体の３次元形状を得るためには、複数の視点から計測し得られたレンジデータを統合しなければならない。
【０００３】
複数の視点から得られた距離画像の統合では、距離画像間で対応する特徴を見つけ、その対応点を基に統合する手法が提案されている。ここで用いられる特徴としては、例えば、予め形状が既知のマーカ（例えば、四角、丸等などの形状）などから得られるエッジや点等の情報や、曲率等の運動不変な情報を対応点とする例がある。
【０００４】
【発明が解決しようとする課題】
しかし、複数の距離画像のデータ間に適当な対応点を持たない点が多数含まれていた場合、これらの点の影響によって、正しく統合されず、ロバスト性に欠けることがある。又、曲率等を特徴点とする場合、ノイズを含んだ距離画像から正しく特徴点を抽出することは困難な場合があった。
【０００５】
本発明の目的は、従来の距離画像の統合のために設置していたマーカ等の道具が不要であり、多視点間の変換パラメータ（回転パラメータと並進パラメータ）を効率良くロバストに推定できる距離画像の統合方法及び距離画像統合装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記問題点を解決するため、請求項１記載の発明は、複数の視点から所定範囲を撮像して得られた距離画像に基づき各視点毎に局所法線ベクトルを求め、同局所法線ベクトルのヒストグラムを生成し、同局所法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出し、前記得られた平面グループの前記局所法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影した局所平面パッチの面積ヒストグラム（以下、グローバル統計量という）を求め、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求めるとともに、マッチングした平面グループ同士間の変換パラメータを推定し、求めた変換パラメータに基づいて、各視点の距離画像の座標系を１つの座標系に統合する距離画像の統合方法を要旨とするものである。
【０００７】
請求項２の発明は、複数の視点から所定範囲を撮像して得られた距離画像に基づき各視点毎に局所法線ベクトルを求める法線ベクトル算出手段と、同局所法線ベクトルのヒストグラムを生成するヒストグラム生成手段と、同局所法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出する平面グループ抽出手段と、前記得られた平面グループの前記局所法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影した局所平面パッチの面積ヒストグラム（以下、グローバル統計量という）を生成するグローバル統計量生成手段と、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求める平面グループマッチング手段と、マッチングした平面グループ同士間の変換パラメータを推定する変換パラメータ推定手段と、求めた変換パラメータに基づいて、各視点の距離画像の座標系を１つの座標系に統合する統合手段とを備えたことを特徴とする距離画像統合装置を要旨とするものである。
【０００８】
【発明の実施の形態】
以下、本発明を具体化した一実施の形態を図１〜図１３を参照して説明する。
図１は、距離画像統合装置１０の全体図である。
【０００９】
距離画像統合装置１０は、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、グローバル統計量生成部１５、平面グループマッチング部１６、変換パラメータ推定部１７、統合部１８から構成されている。
【００１０】
法線ベクトル算出部１２は法線ベクトル算出手段に相当し、ヒストグラム生成部１３は、ヒストグラム生成手段に相当する。平面グループ抽出部１４は平面グループ抽出手段に相当し、グローバル統計量生成部１５はグローバル統計量生成手段に相当する。平面グループマッチング部１６は平面グループマッチング手段に相当する。又、変換パラメータ推定部１７は変換パラメータ推定手段に相当する。統合部１８は、統合手段に相当する。
【００１１】
本実施形態では、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４及びグローバル統計量生成部１５を１つの組として、３つの組を備えている。各組における、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４及びグローバル統計量生成部１５は、１つのコンピュータにて構成される。すなわち、３つの組に対応して、３つのコンピュータがそれぞれ設けられている。又、平面グループマッチング部１６、変換パラメータ推定部１７、統合部１８は、前記各組毎に設けたコンピュータとは別の１つのコンピュータにて構成されている。
【００１２】
なお、以下の説明では、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４及びグローバル統計量生成部１５を、１つの組のものとして説明し、他の組のものは同様に機能するため説明を省略する。
【００１３】
（データ入力部１１）
データ入力部１１としては、レンジデータ測定装置（レンジファインダ）を用いており、物体のレンジデータを所定の視点（各組に合わせてそれぞれ視点Ａ、視点Ｂ、視点Ｃという）から周囲環境３６０°の３次元データ、すなわち、パノラマレンジデータを得る。得られるレンジデータは、レンジデータ測定装置を原点とした視点座標系で表現されることになる。なお、パノラマレンジデータは、距離画像に相当する。
【００１４】
図２（ａ）〜（ｃ）は、同一の部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図である。図３は、部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図である。
【００１５】
（法線ベクトル算出部１２）
前記パノラマレンジデータは、一般的な３次元計測器で得られた３次元データと異なり、３次元情報量が多い全方位の３次元データである。なお、以下ではパノラマレンジデータを単にレンジデータという。
【００１６】
そして、同一平面上にある点は、似た局所法線を持つため、局所法線ベクトルを基にしたヒストグラム空間を生成し、そこでのピーク値を検出することにより、平面グループの抽出を行う。
【００１７】
そこで、各組の法線ベクトル算出部１２では、データ入力部１１で得られたパノラマレンジデータに基づいて単位法線ベクトル（以下、単に法線ベクトルという）を算出する。前記法線ベクトルは、局所法線ベクトルに相当する。
【００１８】
前記法線ベクトルの算出について詳細に説明する。法線ベクトル算出部１２は、本実施形態ではレンジデータに対して、はじめに注目点を中心とする７×７の局所領域内で、以下の平面方程式を用いた最小２乗近似により平面の当てはめを行う。図４は、７×７の場合の注目点を示している。なお、本発明は７×７に限定するものではない。
【００１９】
ｐＸ＋ｑＹ＋ｒＺ＋ｓ＝０ …（１）
（ｐ，ｑ，ｒ，ｓはパラメータである）
ｐ２＋ｑ２＋ｒ２＋ｓ２＝１ …（２）
の制約条件下で、
Σ（ｐＸｉ＋ｑＹｉ＋ｒＺｉ＋ｓ）２
を最小化することにより、平面の前記パラメータを推定する。
【００２０】
得られた平面のパラメータを基に単位法線ベクトルを求め、その向きが外に向くように単位法線ベクトルの符号を決める。
（ヒストグラム生成部１３）
法線ベクトル算出部１２で得られた法線ベクトルは球面に分布しているが、球面座標系は扱いにくいため、ヒストグラム生成部１３は、図５（ａ）、図６（ａ）に示すように球面に投票された法線ベクトルヒストグラムを２つのリング状領域の直交座標空間に展開して、これを法線ベクトルの特徴空間とする。
【００２１】
なお、図５（ａ）、図６（ａ）は、法線ベクトル投票空間の斜視図である。図５（ｂ）、図６（ｂ）は、同じく法線ベクトル投票空間の正面図を示し、ハッチング領域は、リング状領域を示している。
【００２２】
さらに、同じ大きさの領域でも、レンジデータ測定装置（レンジファインダ）からの距離や角度によって、ヒストグラム空間に占める大きさが変化するのを防ぐため、ヒストグラム生成部１３は、ヒストグラムを注目点の局所領域が占める実際の面積から求める。
【００２３】
なお、得られた２つのヒストグラム空間には、互いに重なり部分が生ずるが、この重なり部分については、後述する平面グループ抽出部１４では、いずれか一方のものを使用する。
【００２４】
図５（ａ），図５（ｂ）のθxz（ｎ）及び図６（ａ），図６（ｂ）のθyz（ｎ）はそれぞれ法線ベクトルｎからｘｚ平面とｙｚ平面に投影したときの方位角である。又、φy（ｎ）はｘｚ平面と法線ベクトルｎとの角度、φx（ｎ）はｙｚ平面と法線ベクトルｎとの角度である。
【００２５】
又、ヒストグラム空間の均一性を保つため、ヒストグラム生成部１３は得られた法線ベクトルヒストグラムに対して、φ軸に沿ってスケール関数１／sin（φy）又は関数１／sin（φx）を掛ける。
【００２６】
図７（ａ）は、ヒストグラム生成部１３により得られたリング状領域におけるヒストグラム空間（θxz（ｎ），φy（ｎ））の例を示している。
又、図７（ｂ）は、ヒストグラム生成部１３により得られたリング状領域におけるヒストグラム空間（θyz（ｎ），φx（ｎ））の例を示している。
【００２７】
図７（ａ）、図７（ｂ）のヒストグラム空間では、似た向きを持つ平面グループは１つの分布をなす。
（平面グループ抽出部１４）
平面グループ抽出部１４は、得られたヒストグラム空間から平面グループを抽出するため、ヒストグラム空間上に存在するピーク値を検出し、その分布を抽出することで、平面グループを得る。すなわち、平面グループ抽出部１４は、図７（ａ）、図７（ｂ）の２つのヒストグラムの分布を基に最も大きなピーク値から順に複数のピークを検出する。これらの１つ１つのピーク値が平面グループとなる。
【００２８】
本実施形態では、各平面グループ抽出部１４は複数個、例えば１０個の平面グループを抽出する。
（グローバル統計量生成部１５）
ここで、グローバル統計量生成部１５の作用を説明する。
【００２９】
同じ法線ベクトルの向きを持つ１つの平面グループにおいては、そこに含まれる各平面は、実際の３次元空間上のいろいろな場所に分布している。そこで、その分布特徴を平面グループのグローバル特徴とし、平面グループの類似度の計算に用いる。
【００３０】
本実施形態では、グローバル統計量生成部１５はロバスト性を考慮し、平面グループの法線ベクトルと、ある程度角度が類似している平面も用いて、グローバル特徴空間を生成する。すなわち、グローバル統計量生成部１５は、対象とする平面グループとほぼ同じ向きから４５°の角度をなす平面までを対象として、グローバル特徴空間を生成する。なお、本発明は４５°の角度に限定するものではない。
【００３１】
なお、視点の位置から見えるピクセル数を用いてグローバル特徴空間を生成する場合、３次元空間上で同じ大きさの領域でも、レンジデータ測定装置（レンジファインダ）からの距離や角度により、グローバル特徴空間上に占める大きさが不均一になる。
【００３２】
図８では、視点Ａ，Ｂ，Ｃで、共通の平面５０，５１を見た場合の距離、角度の相違を示している。又、図８での矢印は、各平面５０，５１に関する法線ベクトルの向きを示している。
【００３３】
そこで、グローバル統計量生成部１５では、図９に示すように法線軸Ｌにセンサ中心（視点）を投影した点αと平面を法線軸Ｌに投影した点間の距離βに応じて投影した局所平面パッチの面積ヒストグラムをグローバル特徴空間としている。前記局所平面パッチの面積ヒストグラムはグローバル統計量に相当する。なお、図９は３次元モデルとグローバル特徴空間の説明図である。
【００３４】
平面とは部屋ＣＨ内に存在する平面であり、法線軸Ｌは抽出された平面グループの法線ベクトルの軸である。
この場合、図９に示す面積ヒストグラムの横軸は、法線軸Ｌにセンサ中心（視点）を投影した点αと平面を法線軸Ｌに投影した点間の距離βを示し、縦軸は面積となる。図９は、３次元モデル（ａ）と、得られるグローバル特徴空間分布（ｂ）の例を示している。図９では、６個の平面が３次元空間上に存在しているが、面積の大きい平面（Ｉ）や、平面（ＶＩ）は、グローバル特徴空間上では、大きい値となって現れる。平面（ＩＩ）や、平面（Ｖ）のように法線ベクトルと角度がある場合には、グローバル特徴空間では、広がった分布となって現れる。
【００３５】
グローバル統計量生成部１５では、Ａ〜Ｃ組の平面グループ抽出部１４でそれぞれ得られた平面グループについて、上記の処理を行う。
（平面グループマッチング部１６）
平面グループマッチング部１６〜統合部１８では、平面グループ抽出部１４で得られた平面グループ、及びグローバル統計量生成部１５で得られたグローバル特徴空間分布を用いて、多視点のパノラマレンジデータの統合を行う。
【００３６】
ここで、平面グループマッチング部１６の処理の概要を説明する。
なお、以下の説明では、特に断らない限り、便宜上、視点Ｂの座標系を視点Ａの座標系に変換する場合について説明するが、視点Ｃの座標系を視点Ａの座標系に変換する場合も同様であるので、説明を省略している。
【００３７】
平面グループマッチング部１６は、１つの視点内の平面グループ間の角度差と、他の１つ視点内の平面グループ間の角度差が、互いに等しい複数の平面グループ同士のマッチングを探索する（図１０のＳ３０参照）。その後、平面グループにおけるグローバル特徴空間分布を用いて対応する平面グループ同士の類似度を求め、最も類似度の高い平面グループ同士のマッチングを探索する（図１０のＳ５０参照）。
【００３８】
前記グローバル特徴空間分布においては、異なる視点から得られた平面グループの中で、同一平面グループがあれば、その平面グループ同士のグローバル特徴空間分布は似ている。そこで、平面グループマッチング部１６は、それぞれの視点の２つの平面グループの類似度として、グローバル特徴空間分布の面積ヒストグラムの類似度、すなわち、グローバル統計量の類似度を用いるのである。
【００３９】
又、平面グループの類似度の算出は、各視点間、すなわち、Ａ点とＢ点間、Ａ点とＣ点間、Ｂ点とＣ点間のそれぞれの平面グループの類似度について行う。
具体的には、平面グループマッチング部１６による平面グループの類似度の算出は、片方の面積ヒストグラムを横軸方向（図９に示す距離βを参照）にシフトし、もう一方の面積ヒストグラムとＳＳＤ（残差２乗和）を用いて演算することである。
【００４０】
又、平面グループマッチング部１６は、２つの面積ヒストグラムから最も類似度の大きい時のシフト量とその類似度を求める。又、片方の面積ヒストグラムしか存在しない場合にも類似度を求める（図１０のＳ４０参照）。これらの類似度は、２つの視点間における同一平面グループを決定する際に用いる。
【００４１】
以下、平面グループマッチング部１６が行う処理を詳細に説明する。
なお、本実施形態では、平面グループマッチング部１６は下記の（１）、（２）の制約条件で、マッチングを行う。
【００４２】
（１） １つの視点内の平面グループ間の角度差の関係が、他の１つの視点内の平面グループ間にも成立する。
（２） ２つの視点間で３つの平面グループ同士の対応関係が求まれば、回転パラメータ（回転行列）を求めることが可能である。
【００４３】
図１０のフローチャートにおいて、Ｓ１０〜Ｓ７０は、平面グループマッチング部１６が処理するステップ（以下、ステップをＳという）である。
（Ｓ１０）
Ｓ１０では、平面グループ抽出部１４において、各視点は１０個の平面グループを抽出しているため、この中からそれぞれの視点から３つずつ平面グループを選択する。すなわち、視点間の平面グループの組合せを生成する。ここで各視点間とは、本実施形態では視点Ａ，Ｂ間、視点Ａ，Ｃ間、視点Ｂ，Ｃ間である。
【００４４】
（Ｓ２０）
Ｓ２０では、それぞれの視点において、平面グループ間の角度差を計算する。図１２は、視点Ａと、視点Ｂにおいて、それぞれ選択された平面グループＰ11，Ｐ12．Ｐ13、及び平面グループＰ21，Ｐ22，Ｐ23を示している。各視点における平面グループ間の角度差は、図１２に示すように、θａ１，θａ２，θａ３、及びθｂ１，θｂ２，θｂ３とする。
【００４５】
（Ｓ３０）
Ｓ３０ではそれぞれの視点間における平面グループ間の角度差が６０°以上（第１条件）、かつ、１つの視点における平面グループ間の角度差が、他の１つの視点の対応する平面グループ間の角度差と等しい（第２条件）か否かを判定する。
【００４６】
図１２の例では、平面グループＰ11，Ｐ12．Ｐ13間の角度差θａ１，θａ２，θａ３及び平面グループＰ21，Ｐ22，Ｐ23の角度差θｂ１，θｂ２，θｂ３が６０°以上か否かを判定する。さらに、角度差θａ１，θａ２，θａ３が角度差θｂ１，θｂ２，θｂ３に等しいか否かを判定する。
【００４７】
なお、それぞれの視点間における平面グループ間の角度差が６０°以上であるか否かを判定する理由は下記の通りである。
回転パラメータ（回転行列）を安定的に求めるため、対応付けられた平面グループ間はある程度の角度差があるものを探索する必要がある。一般に、最小の閉空間を構成するには３つの面が必要であり、その場合、面同士の角度は平均６０°であることが分かっている。そこで、本実施形態では、この６０°以上の角度差を持つ平面グループを探索するのである。
【００４８】
Ｓ３０で、第１条件、第２条件を共に満足する平面グループの組合せの場合は、Ｓ４０に移行する。第１条件、第２条件のいずれかを満足しない平面グループの組合せである場合には、Ｓ１０に戻って、次の平面グループの組合せを生成する。
【００４９】
（Ｓ４０）
Ｓ４０では、平面グループ間の類似度演算を行う。
平面グループ間の類似度演算では、異なる視点間における平面グループ同士の類似度そのものの演算と、類似度の和の演算が含まれている。
【００５０】
まず、異なる視点間における平面グループ同士の類似度そのものの演算処理では、前述したように、片方の面積ヒストグラムを横軸方向（図９に示す距離βを参照）にシフトし、もう一方の面積ヒストグラムとＳＳＤ（残差２乗和）を用いて演算する。
【００５１】
演算されて得た平面グループ同士の類似度は、図示しない記憶手段に記憶しておき、後記する類似度の和の演算の際に読み出される。
次に、類似度の和の演算について説明する。
【００５２】
類似度の和の演算、すなわち、グローバル特徴空間分布（グローバル統計量）の類似度の和の算出は下記の手順で行う。
１） まず、ＳＵＭ＝０とする。
【００５３】
２） 対応する平面グループＰ11とＰ21，Ｐ12とＰ22，Ｐ13とＰ23の３つの法線ベクトルから３×３の回転パラメータ（回転行列）Ｒを求める。
回転パラメータは、変換パラメータに相当する。
【００５４】
（回転パラメータの演算）
ここで、回転パラメータ（回転行列）の求め方について説明する。
なお、この「回転パラメータの演算」では、２つの視点における平面グループを、説明の便宜上それぞれｅ及びｆで区別して説明する。
【００５５】
図１１は２つの視点間にある平面グループの対応例を示している。
対応する平面グループ（ｅ１，ｆ１），（ｅ２，ｆ２），（ｅ２，ｆ２），……，（ｅｉ，ｆｉ）から回転パラメータＲ（３×３）を推定する。（ｉ＝１，２，３……Ｎ）
なお、この回転パラメータの求め方は下記の参考文献で公知である。
【００５６】
＜参考文献＞
Kenichi Kanatani:"Analysis of 3-D Rotation Fitting". IEEE Trans. PAMI,Vol.16,No.5,pp543-549,1994
回転パラメータＲの推定方法は、下記の通りに行われる。
【００５７】
まず、対応するＮ個の平面グループがある２つの集合｛ｅｉ｝，｛ｆｉ｝（ｉ＝１，２，３……Ｎ）から回転パラメータを求めるには、
【００５８】
【数１】
を満たすＲを求める。そこで、｛ｅｉ｝，｛ｆｉ｝からなる相関行列Ｋを以下のように定義する。
【００５９】
ここでは、上付きＴは転置行列を示している。
【００６０】
【数２】
ここで、相関行列Ｋの特異値分解によって下記式が得られる。ここで、行列Ｖ，Ｕは正規直交行列である。
【００６１】
【数３】
すると、回転パラメータＲは以下のように求めることができる。
【００６２】
【数４】
上記のように求められた、回転パラメータＲを使用して下記の処理を行う。
【００６３】
３） 視点Ａの全ての平面グループの法線ベクトルｎｉに対して前記求めた回転パラメータ（回転行列）を掛ける。
Ｒｎｉ＝ｍｊ …（７）
４） 視点Ｂにおいて、上記ｍｊと等しい法線ベクトルを持つ平面グループが存在すれば、法線ベクトルｎｉを持つ平面グループと法線ベクトルｍｊを持つ平面グループの類似度をＳＵＭに加算する。
【００６４】
もし、ｍｊと等しい平面グループが視点Ｂになければ、視点Ａの法線ベクトルｎｉを持つ平面グループしか存在しない場合の類似度をＳＵＭに加算する。
５） ３×３の回転パラメータ（回転行列）の逆行列Ｒ−１を求める。
【００６５】
６） 次に視点Ｂの平面グループの法線ベクトルｍｊに対して回転パラメータ（回転行列）を掛ける。
逆行列Ｒ−１ｍｊ＝ｎｉ …（８）
７） 次に視点Ａにおいて、ｎｉと等しい法線ベクトルを持つ平面グループが存在すれば、法線ベクトルｎｉを持つ平面グループと法線ベクトルｍｊを持つ平面グループの類似度をＳＵＭに加算する。
【００６６】
もし、ｎｉと等しい平面グループが視点Ａになければ、視点Ｂの法線ベクトルｍｊを持つ平面グループしか存在しない場合の類似度をＳＵＭに加算する。
上記のようにして、平面グループ間の類似度演算を行う。
【００６７】
なお、上記説明では、視点Ａ、視点Ｂで説明したが、視点Ａ、視点Ｃにおいても、同様に処理する。
（Ｓ５０）
次のＳ５０では、今回算出した類似度の和（ＳＵＭの値）と過去に算出した最大の類似度の和（過去に算出したＳＵＭの値）と比較して、今回の類似度の和（今回値）が、過去の最大の類似度の和よりも大きいか否かを判定する。今回値の方が大きければ、Ｓ６０に移行し、そうでなければ、Ｓ７０に移行する。
【００６８】
（Ｓ６０）
Ｓ６０では、今回値を最大の類似度の和として更新するとともに、その対応する平面グループと、シフト量を記憶手段に格納する。
【００６９】
（Ｓ７０）
Ｓ７０では、全ての平面グループの組合せを探索したかを判定し、全ての平面グループの探索が終了していない場合には、Ｓ１０に戻る。全ての平面グループの探索が終了した場合には、Ｓ８０に移行する。
【００７０】
（変換パラメータ推定部１７）
変換パラメータ推定部１７は、図１０のＳ８０の処理を行う。
すなわち、Ｓ８０では、前記記憶手段に記憶させた対応する平面グループを基に変換パラメータとしての回転パラメータ及び並進パラメータを推定する。
【００７１】
ここでは、精度良く、回転パラメータ（回転行列）を推定するため、３つの平面グループ以外の互いに対応する平面グループがないかを調べる必要がある。この場合、対応関係があったとしても、全体の誤差を大きくするような、「外れ平面グループ」を持つ組合せは、削除する必要がある。
【００７２】
そこで、Ｓ８０では、下記の手順で、外れ平面グループを検出し、回転パラメータを求める際に、この外れ平面グループを含む、平面グループの組合せを除外する。
【００７３】
（外れ平面グループの検出及び除外）
１） 平面グループ間の角度差が互いに等しい平面グループ同士の法線ベクトルｎp11とｍp21、ｎp12とｍp22、ｎp13とｍp23との内積を用いて、誤差εを下記式（９）で求める。なお、ｎp11は平面グループＰ11の法線ベクトルの意味であり、他の法線ベクトルｎ，ｍも同様に平面グループの符号に対応して付している。
【００７４】
ε＝(ｎp11・ｍp21-1)2+(ｎp12・ｍp22-1)2+(ｎp13・ｍp23-1)2
…（９）
２） 誤差εに対して、Ｍｅｄｉａｎ（メディアン）をとり、
ε≧（Ｍｅｄｉａｎ × ２．０）
となる平面グループを外れ平面グループとする。
【００７５】
上記の条件で、外れ平面グループを含む平面グループの組合せを排除する。
そして、上記のように、外れ平面グループの組合せを排除して、Ｓ４０と同様の方法により回転パラメータを推定する。
【００７６】
並進パラメータの推定は下記の通りに行う。
まず、対応する平面グループに関する３つの法線ベクトルｎ１，ｎ２，ｎ３とそれぞれのシフト量ｄ１，ｄ２，ｄ３から、それぞれの法線ベクトルと垂直で、かつ原点からそれぞれのシフト量だけ移動した３つの平面を得る。
【００７７】
なお、
ｎ１＝（ａ１，ｂ１，ｃ１）
ｎ２＝（ａ２，ｂ２，ｃ２）
ｎ３＝（ａ３，ｂ３，ｃ３）
とする。
【００７８】
それらの３つの平面の交点（図１３参照）は、１つの視点に対する他の１つの視点の平行移動量Ｔとなる。ここで、並進パラメータはＲＴとなる。平面グループマッチング部１６により既に求めた回転パラメータ（回転行列）と平行移動量Ｔを基に、１つの視点の座標系を下記式（１０）を使用して他の１つの視点の座標系に変換する。
【００７９】
ここでは、説明の便宜上、視点Ｂの座標系Ｐｂを視点Ａの座標系Ｐａに変換する場合を説明する。
Ｐａ＝Ｒ（Ｐｂ＋Ｔ） …（１０）
平行移動量Ｔ（３つの平面の交点）の推定は、下記の通りに行われる。
【００８０】
１） ３つの平面方程式を求める。
これは、対応する３つの法線ベクトルｎ１＝（ａ１，ｂ１，ｃ１），ｎ２＝（ａ２，ｂ２，ｃ２），ｎ３＝（ａ３，ｂ３，ｃ３）とそれぞれのシフト量ｄ１，ｄ２，ｄ３から下記（１１）式の方程式を得る。
【００８１】
【数５】
２） ３つの平面方程式から平行移動量Ｔを得る。
【００８２】
上記式（１１）の交点（平行移動量Ｔ）は以下のように求める。
但し、下記式のＵ１はＵの逆行列を示している。
【００８３】
【数６】
本実施形態では、変換パラメータ推定部１７は、さらに、視点Ｃの座標系Ｐｃを視点Ａの座標系Ｐａに変換するが、前記と同様に処理して、回転パラメータ及び並進パラメータを推定する。
【００８４】
（統合部１８）
統合部１８は、図１０のＳ９０の処理を行う。
すなわち、Ｓ９０では、統合部１８はそれぞれ求められた回転パラメータ及び並進パラメータを基に、各視点におけるパノラマレンジデータを、１つの座標系に変換する。
【００８５】
本実施形態では、視点Ｂ及び視点Ｃのパノラマレンジデータを視点Ａの座標系に変換する（図３参照）。
この変換した結果、複数の視点から得られたパノラマレンジデータの座標系を１の視点の座標系に統合することができる。
【００８６】
上記実施形態によれば、下記の効果を有する。
（１） 本実施形態では、視点Ａ、視点Ｂ、視点Ｃの複数の視点から周囲環境３６０°（所定範囲）を撮像して得られたパノラマレンジデータ（距離画像）に基づき各視点毎に法線ベクトル（局所法線ベクトル）を求めるようにした。次に、法線ベクトルのヒストグラムを生成し、同法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出した。
【００８７】
そして、得られた平面グループの法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影したグローバル統計量を求めた。
さらに、視点Ａ、視点Ｂ、視点Ｃのそれぞれの視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求めた。
【００８８】
又、マッチングした平面グループ同士間の回転パラメータ及び並進パラメータ（変換パラメータ）を推定し、求めた回転パラメータ及び並進パラメータに基づいて、視点Ａ、視点Ｂ、視点Ｃの各視点の距離画像の座標系を１つの座標系に統合するようにした。
【００８９】
この結果、本実施形態の距離画像の統合方法によれば、従来の距離画像の統合のために設置していたマーカ等の道具が不要である効果を奏する。
又、各視点毎に、平面の法線ベクトルを求めるようにして、従来手法と異なり対応点を設置することがないため、複数の距離画像のデータ間に適当な対応点を持たない点が多数含まれていた場合があっても、これらの点の影響を受けることがなく、ロバスト性が高い効果がある。
【００９０】
又、曲率等を対応点としないため、ノイズを含んだ距離画像から正しく特徴点を抽出することが困難となることはなく、この点からもロバスト性が高い効果がある。すなわち、本実施形態によれば、多視点間の変換パラメータ（回転パラメータと並進パラメータ）を効率良くロバストに推定できる効果がある。
【００９１】
（２） 本実施形態の距離画像統合装置１０は、視点Ａ、視点Ｂ、視点Ｃの複数の視点から周囲環境３６０°（所定範囲）を撮像して得られたパノラマレンジデータ（距離画像）に基づき各視点毎に法線ベクトル（局所法線ベクトル）を求める法線ベクトル算出部１２（法線ベクトル算出手段）を備えるようにした。又、法線ベクトルのヒストグラムを生成するヒストグラム生成部１３（ヒストグラム生成手段）と、同法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出する平面グループ抽出部１４（平面グループ抽出手段）を備えた。そして、得られた平面グループの法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影したグローバル統計量を生成するグローバル統計量生成部１５（グローバル統計量生成手段）を備えた。
【００９２】
さらに、視点Ａ、視点Ｂ、視点Ｃのそれぞれの視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求める平面グループマッチング部１６（平面グループマッチング手段）を備えた。又、マッチングした平面グループ同士間の回転パラメータ及び並進パラメータ（変換パラメータ）を推定する変換パラメータ推定部１７（変換パラメータ推定手段）を備えた。
【００９３】
さらに、求めた回転パラメータ及び並進パラメータに基づいて、視点Ａ、視点Ｂ、視点Ｃの各視点の距離画像の座標系を１つの座標系に統合する統合部１８（統合手段）とを備えた。
【００９４】
この結果、本実施形態では、装置として上記（１）と同様の効果を奏する。
（３） 本実施形態では、グローバル統計量生成部１５はロバスト性を考慮し、平面グループの法線ベクトルと、ある程度角度が類似している平面も用いて、グローバル特徴空間を生成するようにした。
【００９５】
この結果、ロバスト性を高くすることができる。
（４） 本実施形態では、回転パラメータ（回転行列）を安定的に求めるために、対応付けられた平面グループ間においては、６０°以上の角度差を持つ平面グループを探索するようにした。
【００９６】
この結果、回転パラメータ（回転行列）を安定的に求めることができる。
なお、本発明の実施形態は上記実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、適宜に変更して次のように実施することもできる。
【００９７】
（１） 前記実施形態では、周囲環境３６０°の範囲のレンジデータ、すなわち、パノラマレンジデータを使用したが、所定範囲は３６０°に限定するものではなく、各視点からそれぞれ、共通の撮像対象を含むようにして、レンジデータ測定装置にて撮像するものであれば、３６０°よりも少ない範囲でもよい。
【００９８】
（２） 前記実施形態では、視点は、３つの視点としたが、視点の数は、２つ以上であればよい。
（３） 前記実施形態では、平面グループマッチング部１６はＳ８０において、「外れ平面グループの検出及び除外」を行ったが、この処理を省略してもよい。この場合、誤差が出る場合があるが、本発明の効果を奏することができる。
【００９９】
又、こうすると、対応する平面グループ同士を３個のみ求め、この平面グループに係る３方向の法線ベクトルから回転パラメータを推定することになるが、それ以外の対応する平面グループを用いれば、より精度良く回転パラメータを推定することができる。
【０１００】
（４） 前記実施形態では、グローバル統計量生成部１５はロバスト性を考慮し、平面グループの法線ベクトルと、ある程度角度が類似している平面も用いて、グローバル特徴空間を生成するようにした。すなわち、グローバル統計量生成部１５は、対象とする平面グループとほぼ同じ向きから４５°の角度をなす平面までを対象として、グローバル特徴空間を生成するようにした。しかし、４５°に限定するものではなく、他の角度にしてもよい。
【０１０１】
（５） 前記実施形態では、各視点毎に、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５を設けた。これに代えて、データ入力部１１のみ、各視点に応じて複数個設け、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５は単一のものとしてもよい。この場合、各視点に配置されたデータ入力部１１は図１に点線で示すように、１つの法線ベクトル算出部１２に出力する。そして、各視点毎に、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５にて処理してもよい。
【０１０２】
この場合、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５は、各部共通の１つのコンピュータにて構成されている。
【０１０３】
又、平面グループマッチング部１６、変換パラメータ推定部１７、統合部１８は、各部共通の１つのコンピュータにて構成されている。
この場合、法線ベクトル算出部１２、ヒストグラム生成部１３、及び平面グループ抽出部１４を構成するコンピュータと、平面グループマッチング部１６、変換パラメータ推定部１７、及び統合部１８を構成するコンピュータとは、別体でも、共通でもよい。
【０１０４】
次に、上記した実施形態から把握できる請求項に記載した発明以外の技術的思想について、それらの効果とともに以下に記載する。
（１） 請求項１において、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて複数視点間の最も類似度の高い平面グループ同士を求めるとともに、前記マッチングした平面グループ同士間の変換パラメータを推定する際に、対応付けられた平面グループ間においては、６０°以上の角度差を持つ平面グループを探索するようにしたことを特徴とする距離画像の統合方法。こうすると、回転パラメータ（回転行列）を安定的に求めることができる。
【０１０５】
（２） 請求項２において、平面グループマッチング手段は、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて複数視点間の最も類似度の高い平面グループの対応を求めるとともに、前記マッチングした平面グループ同士間の変換パラメータを推定する際に、対応付けられた平面グループ間においては、６０°以上の角度差を持つ平面グループを探索するようにしたことを特徴とする距離画像統合装置。こうすると、回転パラメータ（回転行列）を安定的に求めることができる。
【０１０６】
（３） 請求項２において、平面グループマッチング手段は、複数視点間の最も類似度の高い、対応する平面グループ同士を３個のみ求め、この平面グループに係る３方向の法線ベクトルから回転パラメータを推定することを特徴とする距離画像統合装置。
【０１０７】
なお、対応する平面グループ同士を３個以上用いた方が精度良く回転パラメータを求めることができる。
【０１０８】
【発明の効果】
以上詳述したように、請求項１及び請求項２に記載の発明は、従来の距離画像の統合のために設置していたマーカ等の道具が不要であり、多視点間の変換パラメータ（回転パラメータと並進パラメータ）を効率良くロバストに推定できる効果を奏する。
【図面の簡単な説明】
【図１】距離画像統合装置１０の全体図。
【図２】（ａ）〜（ｃ）は、同一の部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図。
【図３】部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図。
【図４】７×７の場合の注目点を示すための説明図。
【図５】（ａ）は法線ベクトル投票空間を示す斜視図、（ｂ）は、同じく法線ベクトル投票空間の正面図。
【図６】（ａ）は法線ベクトル投票空間を示す斜視図、（ｂ）は、同じく法線ベクトル投票空間の正面図。
【図７】（ａ）はヒストグラム空間（θxz（ｎ），φy（ｎ））の説明図、（ｂ）は、ヒストグラム空間（θyz（ｎ），φx（ｎ））の説明図。
【図８】視点Ａ，Ｂ，Ｃで、共通の平面５０，５１を見た場合の距離、角度の相違を示すための説明図。
【図９】３次元モデルとグローバル特徴空間の説明図。
【図１０】平面グループマッチング部１６〜統合部１８が実行するフローチャート。
【図１１】２つの視点間にある平面グループの対応例を示す説明図。
【図１２】同じく２つの視点間にある平面グループの対応例を示す説明図。
【図１３】３法線ベクトルとそのシフト量に基づく３平面の説明図。
【符号の説明】
１０…距離画像統合装置
１１…データ入力部
１２…法線ベクトル算出部（法線ベクトル算出手段）
１３…ヒストグラム生成部（ヒストグラム生成手段）
１４…平面グループ抽出部（平面グループ抽出手段）
１５…グローバル統計量生成部（グローバル統計量生成手段）
１６…平面グループマッチング部（平面グループマッチング手段）
１７…変換パラメータ推定部（変換パラメータ推定手段）
１８…統合部（統合手段）
Ｌ…法線軸
Ａ，Ｂ，Ｃ…視点
【発明の属する技術分野】
本発明は、距離画像の統合方法及び距離画像統合装置に関するものである。
【０００２】
【従来の技術】
近年、物対認識やバーチャルリアリティ等の分野において、物体やシーンの３次元形状を計測し、その形状をモデル化することが重要となっている。一方、高精度かつ比較的安価なレンジファインダの出現に伴い、レンジデータ、すなわち、距離画像の取得が容易となっている。レンジファインダによる単一視点からの計測では、裏側や凹凸に隠された部分など、データの得られない部分が存在するため、物体やシーン全体の３次元形状を得るためには、複数の視点から計測し得られたレンジデータを統合しなければならない。
【０００３】
複数の視点から得られた距離画像の統合では、距離画像間で対応する特徴を見つけ、その対応点を基に統合する手法が提案されている。ここで用いられる特徴としては、例えば、予め形状が既知のマーカ（例えば、四角、丸等などの形状）などから得られるエッジや点等の情報や、曲率等の運動不変な情報を対応点とする例がある。
【０００４】
【発明が解決しようとする課題】
しかし、複数の距離画像のデータ間に適当な対応点を持たない点が多数含まれていた場合、これらの点の影響によって、正しく統合されず、ロバスト性に欠けることがある。又、曲率等を特徴点とする場合、ノイズを含んだ距離画像から正しく特徴点を抽出することは困難な場合があった。
【０００５】
本発明の目的は、従来の距離画像の統合のために設置していたマーカ等の道具が不要であり、多視点間の変換パラメータ（回転パラメータと並進パラメータ）を効率良くロバストに推定できる距離画像の統合方法及び距離画像統合装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記問題点を解決するため、請求項１記載の発明は、複数の視点から所定範囲を撮像して得られた距離画像に基づき各視点毎に局所法線ベクトルを求め、同局所法線ベクトルのヒストグラムを生成し、同局所法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出し、前記得られた平面グループの前記局所法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影した局所平面パッチの面積ヒストグラム（以下、グローバル統計量という）を求め、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求めるとともに、マッチングした平面グループ同士間の変換パラメータを推定し、求めた変換パラメータに基づいて、各視点の距離画像の座標系を１つの座標系に統合する距離画像の統合方法を要旨とするものである。
【０００７】
請求項２の発明は、複数の視点から所定範囲を撮像して得られた距離画像に基づき各視点毎に局所法線ベクトルを求める法線ベクトル算出手段と、同局所法線ベクトルのヒストグラムを生成するヒストグラム生成手段と、同局所法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出する平面グループ抽出手段と、前記得られた平面グループの前記局所法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影した局所平面パッチの面積ヒストグラム（以下、グローバル統計量という）を生成するグローバル統計量生成手段と、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求める平面グループマッチング手段と、マッチングした平面グループ同士間の変換パラメータを推定する変換パラメータ推定手段と、求めた変換パラメータに基づいて、各視点の距離画像の座標系を１つの座標系に統合する統合手段とを備えたことを特徴とする距離画像統合装置を要旨とするものである。
【０００８】
【発明の実施の形態】
以下、本発明を具体化した一実施の形態を図１〜図１３を参照して説明する。
図１は、距離画像統合装置１０の全体図である。
【０００９】
距離画像統合装置１０は、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、グローバル統計量生成部１５、平面グループマッチング部１６、変換パラメータ推定部１７、統合部１８から構成されている。
【００１０】
法線ベクトル算出部１２は法線ベクトル算出手段に相当し、ヒストグラム生成部１３は、ヒストグラム生成手段に相当する。平面グループ抽出部１４は平面グループ抽出手段に相当し、グローバル統計量生成部１５はグローバル統計量生成手段に相当する。平面グループマッチング部１６は平面グループマッチング手段に相当する。又、変換パラメータ推定部１７は変換パラメータ推定手段に相当する。統合部１８は、統合手段に相当する。
【００１１】
本実施形態では、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４及びグローバル統計量生成部１５を１つの組として、３つの組を備えている。各組における、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４及びグローバル統計量生成部１５は、１つのコンピュータにて構成される。すなわち、３つの組に対応して、３つのコンピュータがそれぞれ設けられている。又、平面グループマッチング部１６、変換パラメータ推定部１７、統合部１８は、前記各組毎に設けたコンピュータとは別の１つのコンピュータにて構成されている。
【００１２】
なお、以下の説明では、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４及びグローバル統計量生成部１５を、１つの組のものとして説明し、他の組のものは同様に機能するため説明を省略する。
【００１３】
（データ入力部１１）
データ入力部１１としては、レンジデータ測定装置（レンジファインダ）を用いており、物体のレンジデータを所定の視点（各組に合わせてそれぞれ視点Ａ、視点Ｂ、視点Ｃという）から周囲環境３６０°の３次元データ、すなわち、パノラマレンジデータを得る。得られるレンジデータは、レンジデータ測定装置を原点とした視点座標系で表現されることになる。なお、パノラマレンジデータは、距離画像に相当する。
【００１４】
図２（ａ）〜（ｃ）は、同一の部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図である。図３は、部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図である。
【００１５】
（法線ベクトル算出部１２）
前記パノラマレンジデータは、一般的な３次元計測器で得られた３次元データと異なり、３次元情報量が多い全方位の３次元データである。なお、以下ではパノラマレンジデータを単にレンジデータという。
【００１６】
そして、同一平面上にある点は、似た局所法線を持つため、局所法線ベクトルを基にしたヒストグラム空間を生成し、そこでのピーク値を検出することにより、平面グループの抽出を行う。
【００１７】
そこで、各組の法線ベクトル算出部１２では、データ入力部１１で得られたパノラマレンジデータに基づいて単位法線ベクトル（以下、単に法線ベクトルという）を算出する。前記法線ベクトルは、局所法線ベクトルに相当する。
【００１８】
前記法線ベクトルの算出について詳細に説明する。法線ベクトル算出部１２は、本実施形態ではレンジデータに対して、はじめに注目点を中心とする７×７の局所領域内で、以下の平面方程式を用いた最小２乗近似により平面の当てはめを行う。図４は、７×７の場合の注目点を示している。なお、本発明は７×７に限定するものではない。
【００１９】
ｐＸ＋ｑＹ＋ｒＺ＋ｓ＝０ …（１）
（ｐ，ｑ，ｒ，ｓはパラメータである）
ｐ２＋ｑ２＋ｒ２＋ｓ２＝１ …（２）
の制約条件下で、
Σ（ｐＸｉ＋ｑＹｉ＋ｒＺｉ＋ｓ）２
を最小化することにより、平面の前記パラメータを推定する。
【００２０】
得られた平面のパラメータを基に単位法線ベクトルを求め、その向きが外に向くように単位法線ベクトルの符号を決める。
（ヒストグラム生成部１３）
法線ベクトル算出部１２で得られた法線ベクトルは球面に分布しているが、球面座標系は扱いにくいため、ヒストグラム生成部１３は、図５（ａ）、図６（ａ）に示すように球面に投票された法線ベクトルヒストグラムを２つのリング状領域の直交座標空間に展開して、これを法線ベクトルの特徴空間とする。
【００２１】
なお、図５（ａ）、図６（ａ）は、法線ベクトル投票空間の斜視図である。図５（ｂ）、図６（ｂ）は、同じく法線ベクトル投票空間の正面図を示し、ハッチング領域は、リング状領域を示している。
【００２２】
さらに、同じ大きさの領域でも、レンジデータ測定装置（レンジファインダ）からの距離や角度によって、ヒストグラム空間に占める大きさが変化するのを防ぐため、ヒストグラム生成部１３は、ヒストグラムを注目点の局所領域が占める実際の面積から求める。
【００２３】
なお、得られた２つのヒストグラム空間には、互いに重なり部分が生ずるが、この重なり部分については、後述する平面グループ抽出部１４では、いずれか一方のものを使用する。
【００２４】
図５（ａ），図５（ｂ）のθxz（ｎ）及び図６（ａ），図６（ｂ）のθyz（ｎ）はそれぞれ法線ベクトルｎからｘｚ平面とｙｚ平面に投影したときの方位角である。又、φy（ｎ）はｘｚ平面と法線ベクトルｎとの角度、φx（ｎ）はｙｚ平面と法線ベクトルｎとの角度である。
【００２５】
又、ヒストグラム空間の均一性を保つため、ヒストグラム生成部１３は得られた法線ベクトルヒストグラムに対して、φ軸に沿ってスケール関数１／sin（φy）又は関数１／sin（φx）を掛ける。
【００２６】
図７（ａ）は、ヒストグラム生成部１３により得られたリング状領域におけるヒストグラム空間（θxz（ｎ），φy（ｎ））の例を示している。
又、図７（ｂ）は、ヒストグラム生成部１３により得られたリング状領域におけるヒストグラム空間（θyz（ｎ），φx（ｎ））の例を示している。
【００２７】
図７（ａ）、図７（ｂ）のヒストグラム空間では、似た向きを持つ平面グループは１つの分布をなす。
（平面グループ抽出部１４）
平面グループ抽出部１４は、得られたヒストグラム空間から平面グループを抽出するため、ヒストグラム空間上に存在するピーク値を検出し、その分布を抽出することで、平面グループを得る。すなわち、平面グループ抽出部１４は、図７（ａ）、図７（ｂ）の２つのヒストグラムの分布を基に最も大きなピーク値から順に複数のピークを検出する。これらの１つ１つのピーク値が平面グループとなる。
【００２８】
本実施形態では、各平面グループ抽出部１４は複数個、例えば１０個の平面グループを抽出する。
（グローバル統計量生成部１５）
ここで、グローバル統計量生成部１５の作用を説明する。
【００２９】
同じ法線ベクトルの向きを持つ１つの平面グループにおいては、そこに含まれる各平面は、実際の３次元空間上のいろいろな場所に分布している。そこで、その分布特徴を平面グループのグローバル特徴とし、平面グループの類似度の計算に用いる。
【００３０】
本実施形態では、グローバル統計量生成部１５はロバスト性を考慮し、平面グループの法線ベクトルと、ある程度角度が類似している平面も用いて、グローバル特徴空間を生成する。すなわち、グローバル統計量生成部１５は、対象とする平面グループとほぼ同じ向きから４５°の角度をなす平面までを対象として、グローバル特徴空間を生成する。なお、本発明は４５°の角度に限定するものではない。
【００３１】
なお、視点の位置から見えるピクセル数を用いてグローバル特徴空間を生成する場合、３次元空間上で同じ大きさの領域でも、レンジデータ測定装置（レンジファインダ）からの距離や角度により、グローバル特徴空間上に占める大きさが不均一になる。
【００３２】
図８では、視点Ａ，Ｂ，Ｃで、共通の平面５０，５１を見た場合の距離、角度の相違を示している。又、図８での矢印は、各平面５０，５１に関する法線ベクトルの向きを示している。
【００３３】
そこで、グローバル統計量生成部１５では、図９に示すように法線軸Ｌにセンサ中心（視点）を投影した点αと平面を法線軸Ｌに投影した点間の距離βに応じて投影した局所平面パッチの面積ヒストグラムをグローバル特徴空間としている。前記局所平面パッチの面積ヒストグラムはグローバル統計量に相当する。なお、図９は３次元モデルとグローバル特徴空間の説明図である。
【００３４】
平面とは部屋ＣＨ内に存在する平面であり、法線軸Ｌは抽出された平面グループの法線ベクトルの軸である。
この場合、図９に示す面積ヒストグラムの横軸は、法線軸Ｌにセンサ中心（視点）を投影した点αと平面を法線軸Ｌに投影した点間の距離βを示し、縦軸は面積となる。図９は、３次元モデル（ａ）と、得られるグローバル特徴空間分布（ｂ）の例を示している。図９では、６個の平面が３次元空間上に存在しているが、面積の大きい平面（Ｉ）や、平面（ＶＩ）は、グローバル特徴空間上では、大きい値となって現れる。平面（ＩＩ）や、平面（Ｖ）のように法線ベクトルと角度がある場合には、グローバル特徴空間では、広がった分布となって現れる。
【００３５】
グローバル統計量生成部１５では、Ａ〜Ｃ組の平面グループ抽出部１４でそれぞれ得られた平面グループについて、上記の処理を行う。
（平面グループマッチング部１６）
平面グループマッチング部１６〜統合部１８では、平面グループ抽出部１４で得られた平面グループ、及びグローバル統計量生成部１５で得られたグローバル特徴空間分布を用いて、多視点のパノラマレンジデータの統合を行う。
【００３６】
ここで、平面グループマッチング部１６の処理の概要を説明する。
なお、以下の説明では、特に断らない限り、便宜上、視点Ｂの座標系を視点Ａの座標系に変換する場合について説明するが、視点Ｃの座標系を視点Ａの座標系に変換する場合も同様であるので、説明を省略している。
【００３７】
平面グループマッチング部１６は、１つの視点内の平面グループ間の角度差と、他の１つ視点内の平面グループ間の角度差が、互いに等しい複数の平面グループ同士のマッチングを探索する（図１０のＳ３０参照）。その後、平面グループにおけるグローバル特徴空間分布を用いて対応する平面グループ同士の類似度を求め、最も類似度の高い平面グループ同士のマッチングを探索する（図１０のＳ５０参照）。
【００３８】
前記グローバル特徴空間分布においては、異なる視点から得られた平面グループの中で、同一平面グループがあれば、その平面グループ同士のグローバル特徴空間分布は似ている。そこで、平面グループマッチング部１６は、それぞれの視点の２つの平面グループの類似度として、グローバル特徴空間分布の面積ヒストグラムの類似度、すなわち、グローバル統計量の類似度を用いるのである。
【００３９】
又、平面グループの類似度の算出は、各視点間、すなわち、Ａ点とＢ点間、Ａ点とＣ点間、Ｂ点とＣ点間のそれぞれの平面グループの類似度について行う。
具体的には、平面グループマッチング部１６による平面グループの類似度の算出は、片方の面積ヒストグラムを横軸方向（図９に示す距離βを参照）にシフトし、もう一方の面積ヒストグラムとＳＳＤ（残差２乗和）を用いて演算することである。
【００４０】
又、平面グループマッチング部１６は、２つの面積ヒストグラムから最も類似度の大きい時のシフト量とその類似度を求める。又、片方の面積ヒストグラムしか存在しない場合にも類似度を求める（図１０のＳ４０参照）。これらの類似度は、２つの視点間における同一平面グループを決定する際に用いる。
【００４１】
以下、平面グループマッチング部１６が行う処理を詳細に説明する。
なお、本実施形態では、平面グループマッチング部１６は下記の（１）、（２）の制約条件で、マッチングを行う。
【００４２】
（１） １つの視点内の平面グループ間の角度差の関係が、他の１つの視点内の平面グループ間にも成立する。
（２） ２つの視点間で３つの平面グループ同士の対応関係が求まれば、回転パラメータ（回転行列）を求めることが可能である。
【００４３】
図１０のフローチャートにおいて、Ｓ１０〜Ｓ７０は、平面グループマッチング部１６が処理するステップ（以下、ステップをＳという）である。
（Ｓ１０）
Ｓ１０では、平面グループ抽出部１４において、各視点は１０個の平面グループを抽出しているため、この中からそれぞれの視点から３つずつ平面グループを選択する。すなわち、視点間の平面グループの組合せを生成する。ここで各視点間とは、本実施形態では視点Ａ，Ｂ間、視点Ａ，Ｃ間、視点Ｂ，Ｃ間である。
【００４４】
（Ｓ２０）
Ｓ２０では、それぞれの視点において、平面グループ間の角度差を計算する。図１２は、視点Ａと、視点Ｂにおいて、それぞれ選択された平面グループＰ11，Ｐ12．Ｐ13、及び平面グループＰ21，Ｐ22，Ｐ23を示している。各視点における平面グループ間の角度差は、図１２に示すように、θａ１，θａ２，θａ３、及びθｂ１，θｂ２，θｂ３とする。
【００４５】
（Ｓ３０）
Ｓ３０ではそれぞれの視点間における平面グループ間の角度差が６０°以上（第１条件）、かつ、１つの視点における平面グループ間の角度差が、他の１つの視点の対応する平面グループ間の角度差と等しい（第２条件）か否かを判定する。
【００４６】
図１２の例では、平面グループＰ11，Ｐ12．Ｐ13間の角度差θａ１，θａ２，θａ３及び平面グループＰ21，Ｐ22，Ｐ23の角度差θｂ１，θｂ２，θｂ３が６０°以上か否かを判定する。さらに、角度差θａ１，θａ２，θａ３が角度差θｂ１，θｂ２，θｂ３に等しいか否かを判定する。
【００４７】
なお、それぞれの視点間における平面グループ間の角度差が６０°以上であるか否かを判定する理由は下記の通りである。
回転パラメータ（回転行列）を安定的に求めるため、対応付けられた平面グループ間はある程度の角度差があるものを探索する必要がある。一般に、最小の閉空間を構成するには３つの面が必要であり、その場合、面同士の角度は平均６０°であることが分かっている。そこで、本実施形態では、この６０°以上の角度差を持つ平面グループを探索するのである。
【００４８】
Ｓ３０で、第１条件、第２条件を共に満足する平面グループの組合せの場合は、Ｓ４０に移行する。第１条件、第２条件のいずれかを満足しない平面グループの組合せである場合には、Ｓ１０に戻って、次の平面グループの組合せを生成する。
【００４９】
（Ｓ４０）
Ｓ４０では、平面グループ間の類似度演算を行う。
平面グループ間の類似度演算では、異なる視点間における平面グループ同士の類似度そのものの演算と、類似度の和の演算が含まれている。
【００５０】
まず、異なる視点間における平面グループ同士の類似度そのものの演算処理では、前述したように、片方の面積ヒストグラムを横軸方向（図９に示す距離βを参照）にシフトし、もう一方の面積ヒストグラムとＳＳＤ（残差２乗和）を用いて演算する。
【００５１】
演算されて得た平面グループ同士の類似度は、図示しない記憶手段に記憶しておき、後記する類似度の和の演算の際に読み出される。
次に、類似度の和の演算について説明する。
【００５２】
類似度の和の演算、すなわち、グローバル特徴空間分布（グローバル統計量）の類似度の和の算出は下記の手順で行う。
１） まず、ＳＵＭ＝０とする。
【００５３】
２） 対応する平面グループＰ11とＰ21，Ｐ12とＰ22，Ｐ13とＰ23の３つの法線ベクトルから３×３の回転パラメータ（回転行列）Ｒを求める。
回転パラメータは、変換パラメータに相当する。
【００５４】
（回転パラメータの演算）
ここで、回転パラメータ（回転行列）の求め方について説明する。
なお、この「回転パラメータの演算」では、２つの視点における平面グループを、説明の便宜上それぞれｅ及びｆで区別して説明する。
【００５５】
図１１は２つの視点間にある平面グループの対応例を示している。
対応する平面グループ（ｅ１，ｆ１），（ｅ２，ｆ２），（ｅ２，ｆ２），……，（ｅｉ，ｆｉ）から回転パラメータＲ（３×３）を推定する。（ｉ＝１，２，３……Ｎ）
なお、この回転パラメータの求め方は下記の参考文献で公知である。
【００５６】
＜参考文献＞
Kenichi Kanatani:"Analysis of 3-D Rotation Fitting". IEEE Trans. PAMI,Vol.16,No.5,pp543-549,1994
回転パラメータＲの推定方法は、下記の通りに行われる。
【００５７】
まず、対応するＮ個の平面グループがある２つの集合｛ｅｉ｝，｛ｆｉ｝（ｉ＝１，２，３……Ｎ）から回転パラメータを求めるには、
【００５８】
【数１】
【００５９】
ここでは、上付きＴは転置行列を示している。
【００６０】
【数２】
【００６１】
【数３】
【００６２】
【数４】
【００６３】
３） 視点Ａの全ての平面グループの法線ベクトルｎｉに対して前記求めた回転パラメータ（回転行列）を掛ける。
Ｒｎｉ＝ｍｊ …（７）
４） 視点Ｂにおいて、上記ｍｊと等しい法線ベクトルを持つ平面グループが存在すれば、法線ベクトルｎｉを持つ平面グループと法線ベクトルｍｊを持つ平面グループの類似度をＳＵＭに加算する。
【００６４】
もし、ｍｊと等しい平面グループが視点Ｂになければ、視点Ａの法線ベクトルｎｉを持つ平面グループしか存在しない場合の類似度をＳＵＭに加算する。
５） ３×３の回転パラメータ（回転行列）の逆行列Ｒ−１を求める。
【００６５】
６） 次に視点Ｂの平面グループの法線ベクトルｍｊに対して回転パラメータ（回転行列）を掛ける。
逆行列Ｒ−１ｍｊ＝ｎｉ …（８）
７） 次に視点Ａにおいて、ｎｉと等しい法線ベクトルを持つ平面グループが存在すれば、法線ベクトルｎｉを持つ平面グループと法線ベクトルｍｊを持つ平面グループの類似度をＳＵＭに加算する。
【００６６】
もし、ｎｉと等しい平面グループが視点Ａになければ、視点Ｂの法線ベクトルｍｊを持つ平面グループしか存在しない場合の類似度をＳＵＭに加算する。
上記のようにして、平面グループ間の類似度演算を行う。
【００６７】
なお、上記説明では、視点Ａ、視点Ｂで説明したが、視点Ａ、視点Ｃにおいても、同様に処理する。
（Ｓ５０）
次のＳ５０では、今回算出した類似度の和（ＳＵＭの値）と過去に算出した最大の類似度の和（過去に算出したＳＵＭの値）と比較して、今回の類似度の和（今回値）が、過去の最大の類似度の和よりも大きいか否かを判定する。今回値の方が大きければ、Ｓ６０に移行し、そうでなければ、Ｓ７０に移行する。
【００６８】
（Ｓ６０）
Ｓ６０では、今回値を最大の類似度の和として更新するとともに、その対応する平面グループと、シフト量を記憶手段に格納する。
【００６９】
（Ｓ７０）
Ｓ７０では、全ての平面グループの組合せを探索したかを判定し、全ての平面グループの探索が終了していない場合には、Ｓ１０に戻る。全ての平面グループの探索が終了した場合には、Ｓ８０に移行する。
【００７０】
（変換パラメータ推定部１７）
変換パラメータ推定部１７は、図１０のＳ８０の処理を行う。
すなわち、Ｓ８０では、前記記憶手段に記憶させた対応する平面グループを基に変換パラメータとしての回転パラメータ及び並進パラメータを推定する。
【００７１】
ここでは、精度良く、回転パラメータ（回転行列）を推定するため、３つの平面グループ以外の互いに対応する平面グループがないかを調べる必要がある。この場合、対応関係があったとしても、全体の誤差を大きくするような、「外れ平面グループ」を持つ組合せは、削除する必要がある。
【００７２】
そこで、Ｓ８０では、下記の手順で、外れ平面グループを検出し、回転パラメータを求める際に、この外れ平面グループを含む、平面グループの組合せを除外する。
【００７３】
（外れ平面グループの検出及び除外）
１） 平面グループ間の角度差が互いに等しい平面グループ同士の法線ベクトルｎp11とｍp21、ｎp12とｍp22、ｎp13とｍp23との内積を用いて、誤差εを下記式（９）で求める。なお、ｎp11は平面グループＰ11の法線ベクトルの意味であり、他の法線ベクトルｎ，ｍも同様に平面グループの符号に対応して付している。
【００７４】
ε＝(ｎp11・ｍp21-1)2+(ｎp12・ｍp22-1)2+(ｎp13・ｍp23-1)2
…（９）
２） 誤差εに対して、Ｍｅｄｉａｎ（メディアン）をとり、
ε≧（Ｍｅｄｉａｎ × ２．０）
となる平面グループを外れ平面グループとする。
【００７５】
上記の条件で、外れ平面グループを含む平面グループの組合せを排除する。
そして、上記のように、外れ平面グループの組合せを排除して、Ｓ４０と同様の方法により回転パラメータを推定する。
【００７６】
並進パラメータの推定は下記の通りに行う。
まず、対応する平面グループに関する３つの法線ベクトルｎ１，ｎ２，ｎ３とそれぞれのシフト量ｄ１，ｄ２，ｄ３から、それぞれの法線ベクトルと垂直で、かつ原点からそれぞれのシフト量だけ移動した３つの平面を得る。
【００７７】
なお、
ｎ１＝（ａ１，ｂ１，ｃ１）
ｎ２＝（ａ２，ｂ２，ｃ２）
ｎ３＝（ａ３，ｂ３，ｃ３）
とする。
【００７８】
それらの３つの平面の交点（図１３参照）は、１つの視点に対する他の１つの視点の平行移動量Ｔとなる。ここで、並進パラメータはＲＴとなる。平面グループマッチング部１６により既に求めた回転パラメータ（回転行列）と平行移動量Ｔを基に、１つの視点の座標系を下記式（１０）を使用して他の１つの視点の座標系に変換する。
【００７９】
ここでは、説明の便宜上、視点Ｂの座標系Ｐｂを視点Ａの座標系Ｐａに変換する場合を説明する。
Ｐａ＝Ｒ（Ｐｂ＋Ｔ） …（１０）
平行移動量Ｔ（３つの平面の交点）の推定は、下記の通りに行われる。
【００８０】
１） ３つの平面方程式を求める。
これは、対応する３つの法線ベクトルｎ１＝（ａ１，ｂ１，ｃ１），ｎ２＝（ａ２，ｂ２，ｃ２），ｎ３＝（ａ３，ｂ３，ｃ３）とそれぞれのシフト量ｄ１，ｄ２，ｄ３から下記（１１）式の方程式を得る。
【００８１】
【数５】
【００８２】
上記式（１１）の交点（平行移動量Ｔ）は以下のように求める。
但し、下記式のＵ１はＵの逆行列を示している。
【００８３】
【数６】
【００８４】
（統合部１８）
統合部１８は、図１０のＳ９０の処理を行う。
すなわち、Ｓ９０では、統合部１８はそれぞれ求められた回転パラメータ及び並進パラメータを基に、各視点におけるパノラマレンジデータを、１つの座標系に変換する。
【００８５】
本実施形態では、視点Ｂ及び視点Ｃのパノラマレンジデータを視点Ａの座標系に変換する（図３参照）。
この変換した結果、複数の視点から得られたパノラマレンジデータの座標系を１の視点の座標系に統合することができる。
【００８６】
上記実施形態によれば、下記の効果を有する。
（１） 本実施形態では、視点Ａ、視点Ｂ、視点Ｃの複数の視点から周囲環境３６０°（所定範囲）を撮像して得られたパノラマレンジデータ（距離画像）に基づき各視点毎に法線ベクトル（局所法線ベクトル）を求めるようにした。次に、法線ベクトルのヒストグラムを生成し、同法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出した。
【００８７】
そして、得られた平面グループの法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影したグローバル統計量を求めた。
さらに、視点Ａ、視点Ｂ、視点Ｃのそれぞれの視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求めた。
【００８８】
又、マッチングした平面グループ同士間の回転パラメータ及び並進パラメータ（変換パラメータ）を推定し、求めた回転パラメータ及び並進パラメータに基づいて、視点Ａ、視点Ｂ、視点Ｃの各視点の距離画像の座標系を１つの座標系に統合するようにした。
【００８９】
この結果、本実施形態の距離画像の統合方法によれば、従来の距離画像の統合のために設置していたマーカ等の道具が不要である効果を奏する。
又、各視点毎に、平面の法線ベクトルを求めるようにして、従来手法と異なり対応点を設置することがないため、複数の距離画像のデータ間に適当な対応点を持たない点が多数含まれていた場合があっても、これらの点の影響を受けることがなく、ロバスト性が高い効果がある。
【００９０】
又、曲率等を対応点としないため、ノイズを含んだ距離画像から正しく特徴点を抽出することが困難となることはなく、この点からもロバスト性が高い効果がある。すなわち、本実施形態によれば、多視点間の変換パラメータ（回転パラメータと並進パラメータ）を効率良くロバストに推定できる効果がある。
【００９１】
（２） 本実施形態の距離画像統合装置１０は、視点Ａ、視点Ｂ、視点Ｃの複数の視点から周囲環境３６０°（所定範囲）を撮像して得られたパノラマレンジデータ（距離画像）に基づき各視点毎に法線ベクトル（局所法線ベクトル）を求める法線ベクトル算出部１２（法線ベクトル算出手段）を備えるようにした。又、法線ベクトルのヒストグラムを生成するヒストグラム生成部１３（ヒストグラム生成手段）と、同法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出する平面グループ抽出部１４（平面グループ抽出手段）を備えた。そして、得られた平面グループの法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影したグローバル統計量を生成するグローバル統計量生成部１５（グローバル統計量生成手段）を備えた。
【００９２】
さらに、視点Ａ、視点Ｂ、視点Ｃのそれぞれの視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求める平面グループマッチング部１６（平面グループマッチング手段）を備えた。又、マッチングした平面グループ同士間の回転パラメータ及び並進パラメータ（変換パラメータ）を推定する変換パラメータ推定部１７（変換パラメータ推定手段）を備えた。
【００９３】
さらに、求めた回転パラメータ及び並進パラメータに基づいて、視点Ａ、視点Ｂ、視点Ｃの各視点の距離画像の座標系を１つの座標系に統合する統合部１８（統合手段）とを備えた。
【００９４】
この結果、本実施形態では、装置として上記（１）と同様の効果を奏する。
（３） 本実施形態では、グローバル統計量生成部１５はロバスト性を考慮し、平面グループの法線ベクトルと、ある程度角度が類似している平面も用いて、グローバル特徴空間を生成するようにした。
【００９５】
この結果、ロバスト性を高くすることができる。
（４） 本実施形態では、回転パラメータ（回転行列）を安定的に求めるために、対応付けられた平面グループ間においては、６０°以上の角度差を持つ平面グループを探索するようにした。
【００９６】
この結果、回転パラメータ（回転行列）を安定的に求めることができる。
なお、本発明の実施形態は上記実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、適宜に変更して次のように実施することもできる。
【００９７】
（１） 前記実施形態では、周囲環境３６０°の範囲のレンジデータ、すなわち、パノラマレンジデータを使用したが、所定範囲は３６０°に限定するものではなく、各視点からそれぞれ、共通の撮像対象を含むようにして、レンジデータ測定装置にて撮像するものであれば、３６０°よりも少ない範囲でもよい。
【００９８】
（２） 前記実施形態では、視点は、３つの視点としたが、視点の数は、２つ以上であればよい。
（３） 前記実施形態では、平面グループマッチング部１６はＳ８０において、「外れ平面グループの検出及び除外」を行ったが、この処理を省略してもよい。この場合、誤差が出る場合があるが、本発明の効果を奏することができる。
【００９９】
又、こうすると、対応する平面グループ同士を３個のみ求め、この平面グループに係る３方向の法線ベクトルから回転パラメータを推定することになるが、それ以外の対応する平面グループを用いれば、より精度良く回転パラメータを推定することができる。
【０１００】
（４） 前記実施形態では、グローバル統計量生成部１５はロバスト性を考慮し、平面グループの法線ベクトルと、ある程度角度が類似している平面も用いて、グローバル特徴空間を生成するようにした。すなわち、グローバル統計量生成部１５は、対象とする平面グループとほぼ同じ向きから４５°の角度をなす平面までを対象として、グローバル特徴空間を生成するようにした。しかし、４５°に限定するものではなく、他の角度にしてもよい。
【０１０１】
（５） 前記実施形態では、各視点毎に、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５を設けた。これに代えて、データ入力部１１のみ、各視点に応じて複数個設け、データ入力部１１、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５は単一のものとしてもよい。この場合、各視点に配置されたデータ入力部１１は図１に点線で示すように、１つの法線ベクトル算出部１２に出力する。そして、各視点毎に、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５にて処理してもよい。
【０１０２】
この場合、法線ベクトル算出部１２、ヒストグラム生成部１３、平面グループ抽出部１４、及びグローバル統計量生成部１５は、各部共通の１つのコンピュータにて構成されている。
【０１０３】
又、平面グループマッチング部１６、変換パラメータ推定部１７、統合部１８は、各部共通の１つのコンピュータにて構成されている。
この場合、法線ベクトル算出部１２、ヒストグラム生成部１３、及び平面グループ抽出部１４を構成するコンピュータと、平面グループマッチング部１６、変換パラメータ推定部１７、及び統合部１８を構成するコンピュータとは、別体でも、共通でもよい。
【０１０４】
次に、上記した実施形態から把握できる請求項に記載した発明以外の技術的思想について、それらの効果とともに以下に記載する。
（１） 請求項１において、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて複数視点間の最も類似度の高い平面グループ同士を求めるとともに、前記マッチングした平面グループ同士間の変換パラメータを推定する際に、対応付けられた平面グループ間においては、６０°以上の角度差を持つ平面グループを探索するようにしたことを特徴とする距離画像の統合方法。こうすると、回転パラメータ（回転行列）を安定的に求めることができる。
【０１０５】
（２） 請求項２において、平面グループマッチング手段は、複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて複数視点間の最も類似度の高い平面グループの対応を求めるとともに、前記マッチングした平面グループ同士間の変換パラメータを推定する際に、対応付けられた平面グループ間においては、６０°以上の角度差を持つ平面グループを探索するようにしたことを特徴とする距離画像統合装置。こうすると、回転パラメータ（回転行列）を安定的に求めることができる。
【０１０６】
（３） 請求項２において、平面グループマッチング手段は、複数視点間の最も類似度の高い、対応する平面グループ同士を３個のみ求め、この平面グループに係る３方向の法線ベクトルから回転パラメータを推定することを特徴とする距離画像統合装置。
【０１０７】
なお、対応する平面グループ同士を３個以上用いた方が精度良く回転パラメータを求めることができる。
【０１０８】
【発明の効果】
以上詳述したように、請求項１及び請求項２に記載の発明は、従来の距離画像の統合のために設置していたマーカ等の道具が不要であり、多視点間の変換パラメータ（回転パラメータと並進パラメータ）を効率良くロバストに推定できる効果を奏する。
【図面の簡単な説明】
【図１】距離画像統合装置１０の全体図。
【図２】（ａ）〜（ｃ）は、同一の部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図。
【図３】部屋ＣＨ内において、視点Ａ，Ｂ，Ｃのそれぞれの位置を示す説明図。
【図４】７×７の場合の注目点を示すための説明図。
【図５】（ａ）は法線ベクトル投票空間を示す斜視図、（ｂ）は、同じく法線ベクトル投票空間の正面図。
【図６】（ａ）は法線ベクトル投票空間を示す斜視図、（ｂ）は、同じく法線ベクトル投票空間の正面図。
【図７】（ａ）はヒストグラム空間（θxz（ｎ），φy（ｎ））の説明図、（ｂ）は、ヒストグラム空間（θyz（ｎ），φx（ｎ））の説明図。
【図８】視点Ａ，Ｂ，Ｃで、共通の平面５０，５１を見た場合の距離、角度の相違を示すための説明図。
【図９】３次元モデルとグローバル特徴空間の説明図。
【図１０】平面グループマッチング部１６〜統合部１８が実行するフローチャート。
【図１１】２つの視点間にある平面グループの対応例を示す説明図。
【図１２】同じく２つの視点間にある平面グループの対応例を示す説明図。
【図１３】３法線ベクトルとそのシフト量に基づく３平面の説明図。
【符号の説明】
１０…距離画像統合装置
１１…データ入力部
１２…法線ベクトル算出部（法線ベクトル算出手段）
１３…ヒストグラム生成部（ヒストグラム生成手段）
１４…平面グループ抽出部（平面グループ抽出手段）
１５…グローバル統計量生成部（グローバル統計量生成手段）
１６…平面グループマッチング部（平面グループマッチング手段）
１７…変換パラメータ推定部（変換パラメータ推定手段）
１８…統合部（統合手段）
Ｌ…法線軸
Ａ，Ｂ，Ｃ…視点
Claims (2)
- 複数の視点から所定範囲を撮像して得られた距離画像に基づき各視点毎に局所法線ベクトルを求め、
同局所法線ベクトルのヒストグラムを生成し、
同局所法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出し、
前記得られた平面グループの前記局所法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影した局所平面パッチの面積ヒストグラム（以下、グローバル統計量という）を求め、
複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて複数視点間の最も類似度の高い平面グループの対応を求めるとともに、マッチングした平面グループ同士間の変換パラメータを推定し、
求めた変換パラメータに基づいて、各視点の距離画像の座標系を１つの座標系に統合することを特徴とする距離画像の統合方法。 - 複数の視点から所定範囲を撮像して得られた距離画像に基づき各視点毎に局所法線ベクトルを求める法線ベクトル算出手段と、
同局所法線ベクトルのヒストグラムを生成するヒストグラム生成手段と、
同局所法線ベクトルのうち、同じ向きを持つもの同士を平面グループとして抽出する平面グループ抽出手段と、
前記得られた平面グループの前記局所法線ベクトルに基づき、法線軸に対して、視点からの距離に応じて投影した局所平面パッチの面積ヒストグラム（以下、グローバル統計量という）を生成するグローバル統計量生成手段と、
複数視点間における、平面グループ間の角度差と、対応する平面グループ同士のグローバル統計量の類似度に基づいて、複数視点間の最も類似度の高い平面グループの対応を求める平面グループマッチング手段と、
マッチングした平面グループ同士間の変換パラメータを推定する変換パラメータ推定手段と、
求めた変換パラメータに基づいて、各視点の距離画像の座標系を１つの座標系に統合する統合手段とを備えたことを特徴とする距離画像統合装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002206622A JP4188632B2 (ja) | 2002-07-16 | 2002-07-16 | 距離画像の統合方法及び距離画像統合装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002206622A JP4188632B2 (ja) | 2002-07-16 | 2002-07-16 | 距離画像の統合方法及び距離画像統合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004054308A JP2004054308A (ja) | 2004-02-19 |
| JP4188632B2 true JP4188632B2 (ja) | 2008-11-26 |
Family
ID=31931301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002206622A Expired - Fee Related JP4188632B2 (ja) | 2002-07-16 | 2002-07-16 | 距離画像の統合方法及び距離画像統合装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4188632B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5405741B2 (ja) * | 2004-07-26 | 2014-02-05 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 道路使用弱者保護システム |
| KR101971948B1 (ko) | 2011-07-28 | 2019-04-24 | 삼성전자주식회사 | 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법 |
| JP5949814B2 (ja) * | 2014-03-06 | 2016-07-13 | トヨタ自動車株式会社 | 自律移動ロボット、及びその制御方法 |
| JP6693193B2 (ja) * | 2016-03-15 | 2020-05-13 | 富士通株式会社 | 情報処理装置及び情報合成プログラム |
| JP6903987B2 (ja) * | 2017-03-24 | 2021-07-14 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
| KR101983586B1 (ko) * | 2017-10-20 | 2019-09-03 | 주식회사 씨오티커넥티드 | 스테레오 이미지들에 관한 깊이 맵 스티칭 방법 |
| CN110859044B (zh) * | 2018-06-25 | 2023-02-28 | 北京嘀嘀无限科技发展有限公司 | 自然场景中的集成传感器校准 |
| EP3936815A4 (en) * | 2019-03-04 | 2022-05-04 | Panasonic Intellectual Property Management Co., Ltd. | DEVICE FOR CALCULATING QUANTITY OF OBJECTS AND METHOD FOR CALCULATING QUANTITY OF OBJECTS |
-
2002
- 2002-07-16 JP JP2002206622A patent/JP4188632B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004054308A (ja) | 2004-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pagani et al. | Structure from motion using full spherical panoramic cameras | |
| Urban et al. | Mlpnp-a real-time maximum likelihood solution to the perspective-n-point problem | |
| Ke et al. | Quasiconvex optimization for robust geometric reconstruction | |
| US6587601B1 (en) | Method and apparatus for performing geo-spatial registration using a Euclidean representation | |
| Sim et al. | Recovering camera motion using l\infty minimization | |
| Soatto et al. | Recursive 3-d visual motion estimation using subspace constraints | |
| US20140334679A1 (en) | Information processing apparatus, information processing method, and computer program | |
| EP2573734B1 (en) | Systems and methods for evaluating plane similarity | |
| CN103858148A (zh) | 用于移动设备的平面映射和跟踪 | |
| Chiodini et al. | Retrieving scale on monocular visual odometry using low-resolution range sensors | |
| CN110570474B (zh) | 一种深度相机的位姿估计方法及系统 | |
| Schneider et al. | Bundle adjustment for multi-camera systems with points at infinity | |
| JP4188632B2 (ja) | 距離画像の統合方法及び距離画像統合装置 | |
| CN116929348A (zh) | 基于单基站uwb和视觉惯性的工厂agv定位方法 | |
| US12022052B2 (en) | Method and apparatus for 3D reconstruction of planes perpendicular to ground | |
| JP7498404B2 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| Guillemaut et al. | Using points at infinity for parameter decoupling in camera calibration | |
| US9245343B1 (en) | Real-time image geo-registration processing | |
| Zakharov et al. | An algorithm for 3D-object reconstruction from video using stereo correspondences | |
| Antone et al. | Scalable, absolute position recovery for omni-directional image networks | |
| Kuo et al. | Calibrating a wide-area camera network with non-overlapping views using mobile devices | |
| Clipp et al. | A new minimal solution to the relative pose of a calibrated stereo camera with small field of view overlap | |
| Walvoord et al. | Geoaccurate three-dimensional reconstruction via image-based geometry | |
| Hoang et al. | Automatic calibration of camera and LRF based on morphological pattern and optimal angular back-projection error | |
| CN113793379A (zh) | 相机姿态求解方法及系统、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040129 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080811 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080911 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140919 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |