JP2021047516A - 情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラム - Google Patents

Abstract

【課題】実空間に配置されたマーカーを用いて、実空間の座標系と機器が有する座標系との位置合わせを精度高く行うことを可能とする、情報処理装置、座標変換システム、座標変換方法及び座標変換プログラムを提供する。【解決手段】複数のＡＲ機器１２がネットワークを介してサーバと接続されたシステムにおいて、ＡＲ機器は、実空間内に異なる向きで配置された複数のマーカー３２Ａ、３２Ｂを一組とした座標マーカーをカメラ２４が撮像した撮像画像に基づいて、座標マーカーを撮像したＡＲ機器１２から見た座標マーカー位置及び姿勢を推定する。そして、ＡＲ機器１２は、実空間の座標系における座標マーカーの位置と、ＡＲ機器１２から見た座標マーカーの位置及び姿勢に基づいて、実空間の座標系をＡＲ機器が有する独自座標系に変換する。【選択図】図４

Description

本発明は、情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラムに関する。

昨今、カメラで撮像された現実の空間（以下「実空間」という。）を示す画像と仮想の空間（以下「仮想空間」という。）に存在する仮想物体とを重畳し、実空間内に仮想物体が存在するかのようにディスプレイに表示させる拡張現実（ＡＲ：Augmented Reality）に関する技術開発が進んでいる。

ＡＲを実現するためには、ＡＲ機器が存在する実空間の座標系と仮想物体が存在する仮想空間の座標系とを一致させる必要がある。この仮想空間の座標系とは、すなわち、ＡＲ機器が有する座標系（以下「独自座標系」という。）である。

しかしながら、複数のＡＲ機器で同じＡＲを同時に実行する場合において、異なるＡＲ機器やプラットフォーム間で簡易に座標系を共有することが難しい。例えば、特定のプラットフォームでは、実空間内の画像特徴点（以下「空間認識特徴点」という。）を定めてサーバ上に登録し、同じプラットフォームを使用する他のＡＲ機器は、自身が認識したが空間認識特徴点が登録済みの空間認識特徴点と一致するか否かを判定することで、ＡＲを行うための空間座標系を共有する。

ところが、これらの空間認識特徴点の検出方法や、登録処理、類似データの検索など、空間座標系を共有する手法は、どのような機器でも共通して利用可能なものではない。異なるＡＲ機器やプラットフォームでは各々独自座標系が異なるため、上記手法を共通して用いることができない場合がある。

ここで、空間認識特徴点として実空間にマーカーを配置し、このマーカーを基準として実空間の座標系と独自座標系を一致させる方法がある。

例えば特許文献１に開示されているように、実空間の原点に配置され、原点及び座標軸の方向を示すマーカーを検知し、検知したマーカーの仮想空間における座標系における座標値及びマーカーの向きにより、実空間の空間データにおける座標系を仮想空間における座標系（独自座標系）に変換する手法が開示されている。

特開２０１９−７９４３９号公報

特許文献１に開示されている手法において、実空間に配置されているマーカーはＡＲ機器に搭載されるカメラによって撮像されて、その位置や姿勢が推定される。しかしながら、ＡＲ機器に搭載される一般的なカメラは単眼カメラであり、マーカーとＡＲ機器（カメラ）との位置関係によっては、単眼カメラでは正確に検知し難いマーカーの位置や姿勢が存在する。例えば、単眼カメラは、被写体の奥行き方向の距離を検知することは難しい。また、マーカーとＡＲ機器とのなす角度によっては、単眼カメラではマーカーの姿勢（ロール角、ピッチ角、ヨー角）を正しく検知することが難しい場合もある。

このため、単眼カメラでの撮像によるマーカーの位置や姿勢の推定精度が十分ではなく、実空間の座標系と独自座標系との位置合わせを精度高くできない場合があった。また、実空間に配置されたマーカーを用いて、実空間の座標系と独自座標系との位置合わせを精度高く行うことができれば、複数のＡＲ機器で同じＡＲを同時に実行することも可能となる。

そこで本発明は、上記背景に鑑み、実空間に配置されたマーカーを用いて、実空間の座標系と機器が有する座標系との位置合わせを精度高く行うことを可能とする、情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラムを提供することを目的とする。

本発明の情報処理装置は、実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーを撮像手段が撮像した撮像画像に基づいて、前記座標マーカーを撮像した機器から見た前記座標マーカーの位置及び姿勢を推定する推定手段と、実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する変換手段と、を備える。

本構成によれば、複数のマーカーが実空間内に異なる向きで配置されて一組の座標マーカーとされる。そして、機器が有する座標系と実空間の座標系との座標変換を行うために撮像手段によって座標マーカーが撮像される。このため、撮像画像から姿勢又は位置の正確な検知が難しいマーカーが存在しても、向きが異なる他のマーカーが撮像されることにより、上記検知の難しい姿勢又は位置を他のマーカーで検知することが可能となる。すなわち、座標マーカーとなる複数のマーカーは、マーカーの位置及び姿勢を精度良く推定するために、各々が補完関係にある。従って、本構成によれば、実空間に配置されたマーカーを用いて、機器が有する座標系と実空間の座標系との位置合わせをより精度高く行うことができる。

本発明の情報処理装置によれば、前記マーカー毎に、前記座標マーカーの位置及び姿勢のパラメーターのうちのどのパラメーターの推定に用いられるかが定められてもよい。

座標マーカーの位置及び姿勢を規定する距離、ロール角、ピッチ角、ヨー角等のパラメーターは、マーカーの向きによって推定のし易さが異なる。本構成によれば、抽出されるマーカー毎にどのパラメーターの推定に用いられるかが定められているので、座標マーカーの位置及び姿勢をより精度高く推定できる。

本発明の情報処理装置によれば、前記座標マーカーは、水平面に配置された前記マーカー、及び前記水平面に直交する垂直面に配置された前記マーカーを含んでもよい。

本構成によれば、マーカーを水平面及び垂直面に配置することで向きが約９０°異なり、座標マーカーの位置及び姿勢を推定する際にマーカーが適切な補完関係となるので、実空間に配置されたマーカーを用いた機器が有する座標系と実空間の座標系との位置合わせをより精度高く行うことを可能となる。

本発明の情報処理装置によれば、前記マーカーは、天地方向を示す識別子が表記されてもよい。

本構成によれば、マーカーの天地が簡易に認識可能となる。

本発明の情報処理装置によれば、前記マーカーは、前記実空間の座標系における位置を示す識別子が表記されてもよい。

本構成によれば、マーカーを認識することでマーカーの実空間内の位置が判別できるので、マーカーの位置を判別するためにサーバ等の他の情報処理装置にマーカーの位置を記憶させる必要がない。

本発明の座標変換システムによれば、実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーと、前記座標マーカーを撮像する撮像手段を備える機器と、を備え、撮像手段が撮像した撮像画像に基づいて、前記機器から見た前記座標マーカーの位置及び姿勢を推定する推定手段と、実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する変換手段と、を備える。

本発明の座標変換方法は、実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーを撮像手段が撮像した撮像画像に基づいて、前記座標マーカーを撮像した機器から見た前記座標マーカーの位置及び姿勢を推定する第１工程と、実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する第２工程と、を有する。

本発明の座標変換プログラムは、コンピュータを、実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーを撮像手段が撮像した撮像画像に基づいて、前記座標マーカーを撮像した機器から見た前記座標マーカーの位置及び姿勢を推定する推定手段と、実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する変換手段と、して機能させる。

本発明によれば、実空間に配置されたマーカーを用いて、実空間の座標系と機器が有する座標系との位置合わせを精度高く行うことができる。

本実施形態のＡＲシステムの概略構成図である。 本実施形態の座標マーカーを示す模式図である。 本実施形態のマーカーを示す図である。 本実施形態のカメラに対する水平マーカー及び垂直マーカーの位置や姿勢を示す模式図である。 本実施形態の座標変換機能に関する機能ブロック図である。 本実施形態の座標変換処理の流れを示すフローチャートである。 他の実施形態の座標マーカーの配置位置を示す模式図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

図１は、本実施形態のＡＲ（Augmented Reality）システム１０の概略構成図である。

図１に示されるように、ＡＲシステム１０は、複数のＡＲ機器１２とサーバ１４によって構成される。複数のＡＲ機器１２とサーバ１４とは、通信回線１６を介して情報の送受信が可能とされている。なお、通信回線１６は、電気事業者によって提供される広域通信回線又はＬＡＮ（Local Area Network）等の構内通信網等であり、有線回線又は無線回線の何れであってもよい。

ＡＲ機器１２は、演算処理部２０、ディスプレイ２２、及びカメラ２４を備える携帯型の情報処理装置であり、例えば、スマートフォン、ラップトップ型パソコン、ヘッドマウントディスプレイ等である。複数のＡＲ機器１２は、各々、異なる情報処理装置であってもよい。また、ＡＲシステム１０は、ＡＲ機器１２が一つであってもよい。

演算処理部２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びコンピュータ読み取り可能な記憶媒体（例えば半導体メモリ）等から構成されている。そして、各種機能を実現するための一連の処理は、一例として、プログラムの形式で記憶媒体等に記憶されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、ＲＯＭやその他の記憶媒体に予めインストールしておく形態や、コンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。なお、本実施形態の記憶媒体には、ＡＲを実現するためのプログラム（以下「ＡＲアプリ」という。）が記憶されている。

ディスプレイ２２は、演算処理部２０による画像処理に応じた画像を表示するものであり、例えば、タッチパネルディスプレイでもよい。

カメラ２４は、一例として単眼カメラであり、ＡＲ機器１２のユーザによる操作に応じて被写体を撮像する。カメラ２４による撮像画像は、演算処理部２０が備えるＲＡＭ又は記憶媒体に適宜記憶され、ディスプレイ２２に表示される。また、ＡＲ機器１２がＡＲを実行している間、カメラ２４は撮像を連続して行っており、撮像画像をディスプレイ２２に連続して表示させる。

また、ＡＲ機器１２は、加速度センサやＧＰＳ（Global Positioning System）センサ等の各種センサを備えている。そして、ＡＲ機器１２は、これらのセンサにより自己の姿勢や位置を推定（モーション推定）して推定結果に基づく自己の位置及び姿勢を記憶、更新する。また、ＡＲ機器１２は、ユーザによる操作を受け付ける操作入力手段を備える。なお、操作入力手段は、例えば、上述のタッチパネルディスプレイでもよい。

サーバ１４は、ＡＲ機器１２との間でＡＲを実現するための各種データの送受信を行う。サーバ１４は、例えば、ＡＲ機器１２のディスプレイ２２に表示される仮想物体等を示すデータをＡＲ機器１２へ送信する。

なお、本実施形態のＡＲシステム１０は、システムを構成する複数のＡＲ機器１２に対して、同じタイミングで同じ仮想物体を各ＡＲ機器１２のディスプレイ２２に表示させ、表示されている仮想物体をユーザが操作することを可能とする。そして、あるユーザがＡＲ機器１２に表示されている仮想物体を操作した場合、この仮想物体に対する操作が他のユーザのＡＲ機器１２にも反映される。

ここで、ＡＲを実行する場合、カメラ２４による撮像画像に仮想物体を重畳させてディスプレイ２２に表示されるため、仮想空間と実空間との座標変換が行われる必要がある。そこで、本実施形態のＡＲシステム１０では、画像マーカーであるＡＲマーカーを実空間に配置し、当該ＡＲマーカーの位置を示す座標に基づいて、仮想空間と実空間との座標変換を行う。

ここで、カメラ２４が単眼カメラの場合は、ＡＲマーカーとＡＲ機器（カメラ２４）との位置関係によっては、単眼カメラでは正確な検知し難いＡＲマーカーの位置や姿勢（向き）が存在する。そこで、本実施形態では、各々が補完し合う複数のマーカーを一組としてＡＲマーカーの位置や姿勢を精度良く推定する。

図２は、本実施形態のＡＲマーカーである座標マーカー３０を示す模式図である。本実施形態の座標マーカー３０は、実空間内に異なる向きで配置された複数のマーカー３２Ａ，３２Ｂを一組としたものである。一例として、座標マーカー３０は、水平面に配置された水平マーカー３２Ａ及び水平面に直交する垂直面に配置された垂直マーカー３２Ｂで構成される。以下、各マーカー３２Ａ，３２Ｂを区別する必要がないときは、単に「マーカー３２」という。

座標マーカー３０を屋内に配置する場合、例えば、水平面は床面３４又は床面３４に平行な面であり、垂直面は床面３４に立設する壁面３６又は壁面３６に平行な面である。本実施形態の水平マーカー３２Ａは一例として床面３４に配置され、垂直マーカー３２Ｂは一例として床面３４に対して垂直方向に立設する支持部３８に支持されて配置される。

複数のマーカー３２が異なる向きで配置されるとは、マーカー３２の表面に対する法線３９が各々交差するように配置されることである。一例として、水平マーカー３２Ａの法線３９と垂直マーカー３２Ｂの法線３９とは９０°で交差する。

本実施形態の水平マーカー３２Ａ及び垂直マーカー３２Ｂは、一例として各々同じ画像が表記されるが、詳細を後述するように、実空間内に配置された場合にその位置や姿勢が画像認識によって判別可能な画像であれば異なる画像が表記されてもよい。なお、点対称のような画像、上下や左右が鏡像のような画像等は、その姿勢（向き）の判別が困難であるため好ましくない。すなわち、各マーカー３２は、撮像された場合に天地方向（上下方向や左右方向）が認識可能な画像が表記される。

図３は、マーカー３２の一例を示す図である。マーカー３２は周縁を矩形状に黒く縁取りした黒枠部４０が表記されている。ＡＲ機器１２は、マーカー３２を撮像して黒枠部４０の大きさや形を判別することで、座標マーカー３０の位置及び姿勢を推定する。黒枠部４０の内側に表記されている数字は、マーカー３２であることを認識させるためのマーカー識別子４２である。なお、図３に示されるマーカー識別子４２は一例であり、マーカー３２を識別可能であれば、数字である必要はなく、数も一つでよい。また、マーカー３２の中心位置は、例えば十字で示される中心識別子４３によって表記される。

また、本実施形態のマーカー３２には、その天地方向を示す方向識別子４４が表記される。図３の例では、方向識別子４４として黒枠部４０の内側角部の一つに三角形状が表記される。図３の例では、方向識別子４４の表記された方向がマーカー３２の左上方向であると認識される。なお、図３に示される方向識別子４４の形状は一例であり、これに限られない。

また、本実施形態の座標マーカー３０には、実空間の座標系における位置（以下「実空間位置」という。）を示す識別子である位置識別子４６が表記される。実空間位置とは、例えば、予め定められた基準原点（０，０，０）に基づく座標マーカー３０の位置であり、座標マーカー３０の配置位置を基準原点としてもよい。位置識別子は、座標マーカー３０の撮像画像に基づいて認識可能な表記であればよく、例えば、ＱＲコード（登録商標）等の２次元コードとして表記されてもよいし、実空間内の座標（ｘ，ｙ，ｚ）が表記されてもよい。

本実施形態の座標マーカー３０は、複数のマーカー３２毎に位置識別子４６が表記されるものの、位置識別子４６が示す実空間位置は同じである。すなわち、座標マーカー３０は複数のマーカー３２で構成されているものの、座標マーカー３０として設定される実空間位置は一つである。

また、座標マーカー３０が配置される実空間では基準方向が予め定められている。座標マーカー３０には、当該基準方向に対する向きが設定される。より具体的には、座標マーカー３０は、垂直マーカー３２Ｂの表面に対する垂直方向が正面方向とされ、この正面方向の基準方向に対する向き（上面方向と基準方向とのなす角度）が設定される。

このように、座標マーカー３０の配置位置は、実空間における基準位置からの距離と向きで特定されており、これらが位置識別子４６として座標マーカー３０に表記されている。

図４は、カメラ２４に対する水平マーカー３２Ａ及び垂直マーカー３２Ｂの位置や姿勢を示す模式図である。図４において、床面に垂直な方向がｚ軸、ｚ軸に垂直で座標マーカー３０からカメラ２４に向かう方向がｘ軸、ｘ軸とｚ軸の両方に垂直で紙面奥に向かう方向がｙ軸である。

マーカー３２がｚ軸回りにどれだけ回転して撮像されたか、また、ｘ軸回りまたはｙ軸周りにどれだけ回転して撮像されたかによって、マーカー３２に対するカメラ２４の位置および姿勢が特定される。なお、x軸回りの回転をロール回転、ｙ軸回りの回転をピッチ回転、ｚ軸回りの回転をヨー回転ともいう。また、カメラ２４と座標マーカー３０との距離Ｌによって、カメラ２４に対する座標マーカー３０の相対位置が特定される。

すなわち、本実施形態の座標マーカー３０の位置及び姿勢は、一例として、ｘ座標位置，ｙ座標位置，ｚ座標位置、ロール角、ピッチ角、及びヨー角によって特定される。床面３４が歪みのない水平であると仮定すると、例えば、水平マーカー３２Ａのロール回転とピッチ回転や、垂直マーカー３２Ｂのピッチ回転は生じていないとしてもよい。

そして、本実施形態では、詳細を後述するように、座標マーカー３０を撮像したＡＲ機器１２（カメラ２４）から見た座標マーカー３０の位置及び姿勢を推定する。

ここで、単眼カメラは、正面に存在する被写体の位置（奥行き方向）を正確に検知することが難しい。すなわち、カメラ２４の正面に位置する垂直マーカー３２Ｂに基づいて距離Ｌを正確に推定することが難しい。一方で、カメラ２４に対して角度をもって配置される水平マーカー３２Ａに基づく推定した距離Ｌの方がより正確となる。なお、高さＨは、水平面から垂直マーカー３２Ｂの中心位置までの長さとされ、垂直マーカー３２Ｂにより推定される。

また、カメラ２４に対するマーカー３２の姿勢は、ヨー角は水平マーカー３２Ａに基づく推定の方がより正確となる一方、ピッチ角は垂直マーカー３２Ｂに基づく推定の方がより正確となる。また、ロール角は水平マーカー３２Ａに基づく推定の方がより正確となる。このように、座標マーカー３０の位置及び姿勢の推定に抽出する距離Ｌやロール角、ピッチ角、及びヨー角度等のパラメーターは、マーカー３２の配置位置に応じてその適性が異なる。

そこで本実施形態では、異なる向きで配置されたマーカー３２毎に、座標マーカー３０の位置及び姿勢のパラメーターのうちのどのパラメーターの推定に用いられるかが定められる。なお、座標マーカー３０が配置される場所（水平度の程度や背景の配色や特徴）によっても、パラメーターの推定に抽出するマーカー３２は定められてもよい。

図５は、ＡＲ機器１２が有する座標変換機能に関する機能ブロック図である。ＡＲ機器１２は、カメラ制御部５０、マーカー認識部５２、位置姿勢推定部５４、座標変換部５６、及び画像表示制御部５８を備える。なお、以下の説明では、仮想空間の座標系をＡＲ機器１２が各々有する座標系である独自座標系ともいう。

カメラ制御部５０は、ＡＲ機器１２に搭載されているカメラ２４の起動及び撮像画像の取得を、ユーザ操作やＡＲ機器１２にインストールされているアプリケーションからの指示に基づいて実行する。

マーカー認識部５２は、カメラ２４によって取得された撮像画像から、画像処理によってマーカー３２を認識する。マーカー３２の認識手法は、従来既知の手法でよく、例えば撮像画像を二値化して、各種識別子に基づいてマーカー３２であると認識された画像領域を抽出する。また、マーカー認識部５２は、マーカー３２を認識すると共に、マーカー３２の実空間における基準原点からの位置や向きをマーカー３２に表記されている位置識別子４６に基づいて認識する。

さらに、マーカー認識部５２は、方向識別子４４に基づいて、撮像画像に含まれるマーカー３２が水平マーカー３２Ａであるか、垂直マーカー３２Ｂであるかを認識する。例えば、マーカー認識部５２は、方向識別子４４が上方向に位置しているマーカー３２を垂直マーカー３２Ｂでると認識し、方向識別子４４が撮像画像の奥行き方向に位置しているマーカー３２を水平マーカー３２Ａであると認識する。

位置姿勢推定部５４は、水平マーカー３２Ａ及び垂直マーカー３２Ｂをカメラ２４が撮像した撮像画像に基づいて、座標マーカー３０を撮像したＡＲ機器１２から見た座標マーカー３０の位置及び姿勢を推定する。推定手法は、従来既知の方法でよく、例えば、水平マーカー３２Ａ及び垂直マーカー３２Ｂの黒枠部４０の大きさや形状に基づいて、座標マーカー３０とカメラ２４との相対位置や相対姿勢を推定する。

なお、本実施形態では、上述のように水平マーカー３２Ａ及び垂直マーカー３２Ｂ毎に座標マーカー３０の位置及び姿勢を推定するために抽出するパラメーター（ｘ座標位置，ｙ座標位置，ｚ座標位置、ロール角、ピッチ角、及びヨー角）が定められている。このため、本実施形態の位置姿勢推定部５４は、水平マーカー３２Ａ及び垂直マーカー３２Ｂから定められているパラメーターを抽出する。なお、位置姿勢推定部５４は、ＡＲ機器１２と座標マーカー３０の相対位置や相対姿勢を独自座標系で取得する。

座標変換部５６は、実空間の座標系における座標マーカー３０の位置と、ＡＲ機器１２から見た座標マーカー３０の位置及び姿勢に基づいて、実空間の座標系をＡＲ機器が有する座標系（独自座標系）に変換する。より具体的には、座標変換部５６は、独自座標系における座標マーカー３０の座標と、座標マーカー３０に設定されている実空間位置に基づいて、実空間の座標系を独自座標系に変換するための設定値（以下「座標変換設定値」）を算出する。

画像表示制御部５８は、ディスプレイ２２における画像表示を制御する。本実施形態の画像表示制御部５８は、カメラ２４で撮像した実空間の画像に仮想物体を重畳して表示する機能を有する。このとき、画像表示制御部５８は、座標変換設定値を用いて実空間の座標系を独自座標系に変換し、カメラ２４によって撮像された実空間の画像に対して仮想物体をディスプレイ２２に重畳表示する。

このような処理により、ＡＲ機器１２のディスプレイ２２に仮想物体をカメラ２４の撮像画像に重畳表示させ、表示されている仮想物体をユーザが操作する指示を、ＡＲ機器１２毎の独自座標系に置き換えて仮想物体に対する操作を行うことが可能となる。また、異なるＡＲ機器１２同士であっても、実空間の基準原点を同一とすることで、同一の仮想空間において同一の仮想物体を同時に扱うことが可能となる。

図６は、本実施形態の座標変換処理の流れを示すフローチャートである。座標変換処理は、例えば、ＡＲ機器１２でＡＲアプリを起動させた場合に演算処理部２０によって実行される。

まず、ステップ１００では、カメラ制御部５０がカメラ２４を起動させ、カメラ２４による撮像を開始する。カメラ２４によって撮像されている画像は、ＡＲ機器１２のディスプレイ２２に表示され、ユーザが確認可能とされる。

次のステップ１０２では、カメラ２４が撮像している画角（図４参照）に座標マーカー３０が含まれているか否かをマーカー認識部５２が判定し、肯定判定の場合はステップ１０４へ移行し、否定判定の場合は座標マーカー３０が画角に含まれるまで待ち状態となる。

なお、ステップ１０２で肯定判定となる場合は、水平マーカー３２Ａ及び垂直マーカー３２Ｂが共に同じ画角内に含まれる場合である。このためユーザは、水平マーカー３２Ａ及び垂直マーカー３２Ｂが同じ画角内に含まれるように移動する。また、水平マーカー３２Ａ及び垂直マーカー３２Ｂが同じ画角内に含まれたとしても、ユーザとの距離Ｌが遠い場合には、マーカー認識部５２がそれを水平マーカー３２Ａ及び垂直マーカー３２Ｂであると認識できない場合がある。そのような場合には、ユーザは、マーカー認識部５２が水平マーカー３２Ａ及び垂直マーカー３２Ｂを認識できるように、水平マーカー３２Ａ及び垂直マーカー３２Ｂに近づく方向に移動する。

ステップ１０４では、カメラ制御部５０が撮像画像を取得するようにカメラ２４を制御し、撮像画像を記憶部に記憶させる。

次のステップ１０６では、記憶した撮像画像に基づいて位置姿勢推定部５４がＡＲ機器１２と座標マーカー３０の相対位置や相対姿勢を独自座標系で取得する。

次のステップ１０８では、座標マーカー３０の独自座標系における座標と、座標マーカー３０に設定されている実空間における基準原点とに基づいて、実空間の座標を独自座標系に変換するための座標変換設定値を座標変換部５６が算出する。

以上説明したように、本実施形態の座標マーカー３０は、複数のマーカー３２が実空間内に異なる向きで配置される。そして、本実施形態のＡＲ機器１２は、ＡＲ機器１２の独自座標系と実空間の座標系との座標変換を行うためにカメラ２４によって座標マーカー３０を撮像する。このため、撮像画像から姿勢又は位置の正確な検知が難しいマーカー３２が存在しても、向きが異なる他のマーカー３２が撮像されることにより、上記検知の難しい姿勢又は位置を他のマーカー３２で検知することが可能となる。従って、本実施形態のＡＲ機器１２によれば、実空間に配置された座標マーカー３０を用いて、ＡＲ機器１２の独自座標系と実空間の座標系との位置合わせをより精度高く行うことができる。

また、これにより、ＡＲシステム１０を構成する各ＡＲ機器１２が共通の座標マーカー３０に基づいて実空間と独自座標空間との座標変換を行い、それが精度のよい座標変換となるので、ＡＲシステム１０を構成する各ＡＲ機器１２が異なる機器であったとしても機器の構成に関係なく、各ＡＲ機器１２のユーザは同一の仮想空間を共有できる。

以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、該変更または改良を加えた形態も本発明の技術的範囲に含まれる。

例えば、水平マーカー３２Ａ及び垂直マーカー３２Ｂには、マーカー３２毎に抽出するパラメーターを示した識別子が表記されてもよい。

また、上記実施形態では、実空間位置や実空間における向きを示す位置識別子４６を座標マーカー３０に表記する形態について説明したが、本発明はこれに限定されない。例えば、座標マーカー３０の実空間位置や実空間における向きを示す位置識別情報がサーバ１４に記憶され、ＡＲ機器１２が座標マーカー３０を認識すると、サーバ１４から当該位置識別情報を読み出してもよい。

また、上記実施形態ではマーカー３２に表記されている方向識別子４４に基づいて、水平マーカー３２Ａであるか垂直マーカー３２Ｂであるかを認識する形態について説明したが、本発明はこれに限定されない。例えば、各マーカー３２に水平マーカー３２Ａであるか垂直マーカー３２Ｂであるかを示す識別情報が表記されてもよい。

また、ＡＲ機器１２の動きによってマーカー３２の配置位置を推定されてもよい。例えば、ＡＲ機器１２を下方向に向けてマーカー３２を撮像した場合には、当該マーカー３２は水平マーカー３２Ａであると推定される。また、ＡＲ機器１２を水平方向に向けてマーカー３２を撮像した場合には、当該マーカー３２は垂直マーカー３２Ｂであると推定される。

また、本実施形態ではマーカー認識部５２、位置姿勢推定部５４、及び座標変換部５６をＡＲ機器１２が備える形態について説明したが、本発明はこれに限定されない。例えば、マーカー認識部５２、位置姿勢推定部５４、及び座標変換部５６をサーバ１４が備える形態としてもよい。この形態の場合、ＡＲ機器１２が備えるカメラ２４によって撮像された座標マーカー３０を含む撮像画像がＡＲ機器１２からサーバ１４へ送信される。そして、サーバ１４が備えるマーカー認識部５２、位置姿勢推定部５４、及び座標変換部５６によって座標変換設定値が算出され、当該座標変換設定値がサーバ１４からＡＲ機器１２へ送信される。

また、ＡＲ機器１２がディスプレイ２２とカメラ２４とを備えるヘッドマウントディスプレイであり、当該ヘッドマウントディスプレイが他の情報処理装置（例えばデスクトップ型パソコン等）に接続され、当該情報処理装置がマーカー認識部５２、位置姿勢推定部５４、及び座標変換部５６等の機能を有してもよい。この形態の場合、情報処理装置とサーバ１４とが適宜データの送受信を行う。

また、上記実施形態では、座標マーカー３０を水平マーカー３２Ａ及び垂直マーカー３２Ｂで構成する形態について説明したが、本発明はこれに限定されない。例えば、図７に示されるように、座標マーカー３０を水平マーカー３２Ａ、垂直マーカー３２Ｂ、及び垂直マーカー３２Ｃとのように３つのマーカー３２で構成する形態としてもよい。なお、垂直マーカー３２Ｃは、水平マーカー３２Ａが配置される水平面と垂直マーカー３２Ｂが配置される垂直面とに対して直交する面、例えば壁面３６Ａに９０°で直交する壁面３６Ｂに配置される。これにより、座標マーカー３０の位置及び姿勢の推定に用いるパラメーター毎により適切なマーカー３２の選択が可能となり、座標マーカー３０の位置及び姿勢の推定精度をより高くできる。

さらに、本実施形態では本発明をＡＲに適用する形態について説明したが、本発明はこれに限定されず、ＭＲ（Mixed Reality：複合現実）に適用されてもよい。

例えば、実空間と仮想空間とを組み合わせてディスプレイに表示させるＡＲ技術やＭＲ技術に適用する技術として有用である。

１２ ＡＲ機器（情報処理装置）
２４ カメラ（撮像手段）
３０ 座標マーカー
３２Ａ 水平マーカー
３２Ｂ 垂直マーカー
５４ 位置姿勢推定部（推定手段）
５６ 座標変換部（変換手段）

Claims (8)

1. 実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーを撮像手段が撮像した撮像画像に基づいて、前記座標マーカーを撮像した機器から見た前記座標マーカーの位置及び姿勢を推定する推定手段と、
   実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する変換手段と、
   を備える情報処理装置。
2. 前記マーカー毎に、前記座標マーカーの位置及び姿勢のパラメーターのうちのどのパラメーターの推定に用いられるかが定められている、請求項１記載の情報処理装置。
3. 前記座標マーカーは、水平面に配置された前記マーカー、及び前記水平面に直交する垂直面に配置された前記マーカーを含む、請求項１又は請求項２記載の情報処理装置。
4. 前記マーカーは、天地方向を示す識別子が表記される、請求項１から請求項３の何れか１項記載の情報処理装置。
5. 前記マーカーは、前記実空間の座標系における位置を示す識別子が表記される、請求項１から請求項４の何れか１項記載の情報処理装置。
6. 実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーと、
   前記座標マーカーを撮像する撮像手段を備える機器と、
   を備え、
   撮像手段が撮像した撮像画像に基づいて、前記機器から見た前記座標マーカーの位置及び姿勢を推定する推定手段と、
   実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する変換手段と、
   を備える座標変換システム。
7. 実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーを撮像手段が撮像した撮像画像に基づいて、前記座標マーカーを撮像した機器から見た前記座標マーカーの位置及び姿勢を推定する第１工程と、
   実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する第２工程と、
   を有する座標変換方法。
8. コンピュータを、
   実空間内に異なる向きで配置された複数のマーカーを一組とした座標マーカーを撮像手段が撮像した撮像画像に基づいて、前記座標マーカーを撮像した機器から見た前記座標マーカーの位置及び姿勢を推定する推定手段と、
   実空間の座標系における前記座標マーカーの位置と、前記機器から見た前記座標マーカーの位置及び姿勢に基づいて、前記実空間の座標系を前記機器が有する座標系に変換する変換手段と、
   して機能させる座標変換プログラム。
   

Images