JP6326996B2 - 端末装置、情報処理システム、及び表示制御プログラム - Google Patents

Description

本発明は、端末装置、情報処理システム、及び表示制御プログラムに関する。

端末装置に設けられたカメラ（撮像部）により撮像された画像の一部に表示情報を重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲを用いて表示される表示情報の一例であるデジタルコンテンツは、ＡＲコンテンツ等と呼ばれる。端末装置は、撮像画像を表示する画面に、向きや大きさを調整したＡＲコンテンツを表示することで、あたかもＡＲコンテンツがカメラにより撮影された空間にあるかのように表示させることができる。

ＡＲコンテンツには、基準物（例えば、ＡＲマーカ等）との位置関係が定義される。基準物とカメラとの位置関係、及びＡＲコンテンツと基準物との位置関係により、カメラとＡＲコンテンツとの位置関係が算出できる。画面に表示させるＡＲコンテンツの画像は、カメラとＡＲコンテンツとの位置関係に応じた方向にＡＲコンテンツを投影させることにより生成される。

端末装置で認識したＡＲマーカに基づいて表示される重畳画像等のＡＲコンテンツは、予め管理者の操作により登録されるもののみでなく、作業員等の操作により登録されるものもある。この登録操作により、管理者や作業員等のユーザは、ＡＲマーカからの相対位置にＡＲコンテンツを設定することができる。

特開２００７−２９３８９５号公報

しかしながら、同じ基準物を基準とするＡＲコンテンツの数が多いと、画面上での表示スペースがないため、ＡＲコンテンツの投影画像同士が重なって表示されてしまう。例えば、予め複数のＡＲコンテンツ同士が互いに重ならないように配置させる位置を設定したとしても、別の視点（場所）からその基準物を撮影するとＡＲコンテンツ群が互いに重なって表示されてしまう。例えば、複数ユーザが随時ＡＲコンテンツを追加する場合には、別のユーザにより設定されるＡＲコンテンツと重ならないようにＡＲコンテンツの位置の調整を行うことは困難である。また、システム側でＡＲコンテンツの位置の調整を自動で行う場合には、ユーザが注目する画像中の対象物がＡＲコンテンツで隠れてしまう。

一つの側面では、本発明は、表示情報を適切に重畳表示することを目的とする。

一つの態様では、端末装置は、基準物が配置された空間に含まれる第１の領域の前記基準物を基準とする座標と、前記基準物及び撮像部の位置関係とに基づいて、前記撮像部により撮像される撮像画像のうち、前記第１の領域に対応する画像領域を示す第１の投影領域を算出する算出部と、前記算出部により得られる前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行う表示領域制御部とを有する。

一つの側面として、表示情報を適切に重畳表示することができる。

情報処理システムの概略構成の一例を示す図である。 サーバの機能構成例を示す図である。 端末装置の機能構成の一例を示す図である。 サーバのハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 実物体にＡＲマーカを設置した例を示す図である。 第１実施例における表示制御処理の一例を示すフローチャートである。 第２実施例における表示制御処理の一例を示すフローチャートである。 配置領域情報の設定例を示す図である。 ＡＲコンテンツの表示例を示す図である。 表示可否マップの具体例を示す図である。 統合した表示可否マップの生成例を示す図である。 表示位置テーブルの生成例を示す図である。 画面表示例を示す図（その１）である。 画面表示例を示す図（その２）である。 画面表示例を示す図（その３）である。

以下、図面に基づいて実施形態を説明する。

＜情報処理システムの概略構成例＞
図１は、情報処理システムの概略構成の一例を示す図である。図１に示す情報処理システム１０は、情報処理装置の一例としてのサーバ１１と、１又は複数の端末装置１２−１〜１２−ｎ（以下、必要に応じて「端末装置１２」と総称する）とを有する。サーバ１１及び端末装置１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。

サーバ１１は、基準物の一例としてのＡＲマーカや、各ＡＲマーカの識別情報（例えば、マーカＩＤ）に対応付けて登録された１又は複数のＡＲコンテンツ、配置領域情報（配置可能領域（第１の空間）、配置不可領域（第２の空間））等を管理する。ＡＲマーカとは、例えばＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるものである。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像や物体等であるが、これに限定されるものではない。

ＡＲコンテンツとは、例えば現実空間に対応する三次元の仮想空間上に配置された三次元物体のモデルデータ等であり、例えば端末装置１２で撮影された画像に重畳されて表示される表示情報（オブジェクト情報）である。また、ＡＲコンテンツは、例えば撮影画像中に含まれるＡＲマーカを基準とした相対座標（マーカ座標系）で設定された位置に表示される。本実施形態のＡＲコンテンツは、マーカＩＤ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。

配置領域情報とは、例えば実空間上にあるＡＲマーカを撮影した画像に対し、画像内のＡＲマーカのマーカＩＤに対応付けられたＡＲコンテンツを重畳表示するための制御に用いられる情報である。配置領域情報としては、例えば画像内においてＡＲコンテンツを配置することが可能な三次元上の領域（第１の空間、配置可能領域）と、ＡＲコンテンツの重畳表示を不可とする三次元上の領域（第２の空間、配置不可領域）との何れか又は両方を有する。なお、配置領域情報は、二次元の情報であってもよい。

配置可能領域（第１の空間）は、例えば撮像された空間において、ユーザが注目対象としない物体や空間であり、例えば点検対象ではない壁や床（地面）、天井（空）に対応する空間（領域）であるが、これに限定されるものではない。また、配置不可領域（第２の空間）は、例えば撮像された空間において、ユーザが注目対象としている物体や空間であり、例えば点検対象物である配管やサーバ等に対応する空間等であるが、これに限定されるものではない。配置領域情報（配置可能領域、配置不可領域）は、例えばＡＲマーカを基準にした相対座標（マーカ座標系）で設定する。マーカ座標系は、例えば三次元空間座標系（Ｘ，Ｙ，Ｚ）であるが、これに限定されるものではなく、二次元平面座標系（Ｘ，Ｙ）でもよい。

サーバ１１は、例えば端末装置１２におけるＡＲコンテンツの設定処理（オーサリング処理）により、端末装置１２から得られるＡＲマーカに関する情報（例えば、マーカＩＤ、ＡＲマーカの位置情報等）と、ＡＲマーカの位置を基準とする相対位置座標により設定された配置領域情報とを登録する。また、サーバ１１は、端末装置１２におけるオーサリング処理により、端末装置１２からマーカＩＤに対応する１又は複数のＡＲコンテンツの設定情報を取得した場合には、そのＡＲコンテンツ情報（例えば、ＡＲコンテンツＩＤ、コンテンツ種別、大きさ、回転角、文字情報等）を登録して管理する。

また、サーバ１１は、端末装置１２から配置領域情報の取得要求やＡＲコンテンツの取得要求等を受信した場合には、端末装置１２から送信されたマーカＩＤを用いて、予め登録された配置領域情報やＡＲコンテンツを参照し、対応する情報を抽出する。また、サーバ１１は、抽出した情報を取得要求のった端末装置１２に送信する。

なお、本実施形態では、これに限定されるものではなく、例えばサーバ１１は、端末装置１２からマーカＩＤや端末装置１２の位置情報、ＡＲマーカを撮影した画像等を受信して、サーバ１１側で、マーカＩＤに対応する配置領域情報を用いたＡＲコンテンツの表示制御を行ってもよい。その場合、サーバ１１は、制御された表示内容（例えば、ＡＲコンテンツを所定の位置に重畳した画像等）を端末装置１２に送信する。

サーバ１１は、例えばＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）等でもよいが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよい。

端末装置１２は、内蔵カメラ等の撮像部により、実空間上の対象物（例えば、配管やサーバラック等の管理（点検）対象物等）付近に設置されたＡＲマーカを撮影する。また、端末装置１２は、撮影された画像や映像等（以下、「撮像画像」という）からＡＲマーカを認識し、マーカ認識により得られるマーカＩＤに対応させて、ＡＲマーカの撮影位置を基準としたＡＲコンテンツの配置領域情報（配置可能領域、配置不可領域）を設定する。また、端末装置１２は、マーカＩＤに対応させて、ＡＲコンテンツを設定する。また、端末装置１２は、マーカＩＤと、配置領域情報と、ＡＲコンテンツとをサーバ１１に登録する。

また、端末装置１２は、撮像部による撮像画像から、マーカ認識によるマーカＩＤを取得し、取得したマーカＩＤを用いてサーバ１１に対して配置領域情報やＡＲコンテンツの取得要求を行う。また、端末装置１２は、サーバ１１からマーカＩＤに対応する配置領域情報やＡＲコンテンツを取得し、取得した情報を用いて、撮像画像の配置可能領域にＡＲコンテンツを重畳表示する。このとき、端末装置１２は、ＡＲマーカの位置と現時点での視点（カメラ位置）に対応させて、撮像画像に対する配置可能領域の投影領域を動的に調整する。これにより、例えば配置領域情報を設定した位置とは異なる位置からＡＲマーカを検出した場合でも、ユーザが調整することなく自動的にＡＲコンテンツの適切な重畳表示が可能となる。

また、端末装置１２は、マーカ認識により認識されたＡＲマーカのマーカＩＤや、撮影した位置情報、撮像画像等の情報をサーバ１１に送信し、サーバ１１側で処理されたＡＲコンテンツの重畳画像を取得して画面に表示してもよい。

端末装置１２は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。

通信ネットワーク１３は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等であるが、これに限定されるものではない。また、通信ネットワーク１３は、有線でも無線でもよく、これらの組み合わせでもよい。

図１に示す情報処理システム１０において、サーバ１１と端末装置１２とは、１対ｎの構成となっているが、これに限定されるものではなく、例えば複数のサーバを有していてもよい。

図１に示すような情報処理システム１０を用いたＡＲコンテンツの表示制御では、撮像画像に含まれる空間上うち、ＡＲコンテンツの配置領域情報を設定し、設定された空間に基づいて配置可能な領域にＡＲコンテンツを配置させる。また、本実施形態では、ＡＲマーカとカメラ（撮像部）との位置関係に応じて、配置対象の空間の撮像部に対する投影領域を調整し、調整された投影領域内に重畳画像を配置する。また、本実施形態では、配置対象の空間が複数定義される場合に、それぞれに対応する投影領域の重なりを考慮して重畳画像を配置してもよい。

＜サーバ１１の機能構成例＞
次に、上述したサーバ１１の機能構成例について図を用いて説明する。図２は、サーバの機能構成例を示す図である。サーバ１１は、通信部２１と、記憶部２２と、登録部２３と、抽出部２４と、制御部２５とを有する。

通信部２１は、通信ネットワーク１３を介して端末装置１２や他のコンピュータ等との間でデータの送受信を行う。通信部２１は、例えば端末装置１２からのマーカＩＤ、配置領域情報（配置可能領域、配置不可領域）、ＡＲコンテンツ等の登録要求等を受信する。また、通信部２１は、端末装置１２からマーカＩＤ等を受信し、対応する配置領域情報やＡＲコンテンツを端末装置１２に送信する。

記憶部２２は、本実施形態における表示制御処理に必要な各種情報を記憶する。記憶部２２は、例えば端末装置１２でマーカＩＤに対応付けて配置領域情報やＡＲコンテンツ等を記憶する。

登録部２３は、端末装置１２から得られた配置領域情報や、ＡＲコンテンツ等の各種登録情報等を登録する。例えば、登録部２３は、マーカＩＤと、マーカＩＤの位置情報、マーカＩＤに対応して設定された配置領域情報、ＡＲコンテンツ情報等を登録する。登録された情報は、記憶部２２に記憶される。

抽出部２４は、端末装置１２から得られたマーカＩＤに基づいて、記憶部２２を参照し、対応する配置領域情報やＡＲコンテンツ情報等を抽出する。抽出部２４により抽出された配置領域情報やＡＲコンテンツ等は、通信部２１によりマーカＩＤを送信した端末装置１２に送信される。

なお、抽出部２４は、端末装置１２からマーカＩＤだけでなく、撮影位置情報や撮像画像等を取得した場合には、マーカＩＤに対応付けられた配置領域情報等に基づき、撮像画像に対する配置可能領域や配置不可領域を調整する。なお、領域調整時には、例えば後述する表示可否マップ等を用いることができるが、これに限定されるものではない。また、抽出部２４は、調整された配置領域情報に基づいて、マーカＩＤに対して設定されているＡＲコンテンツを撮像画像に重畳し、重畳画像を端末装置１２に送信してもよい。

制御部２５は、サーバ１１内の各構成全体を制御する。制御部２５は、例えば通信部２１による各種情報の送受信、記憶部２２によるデータ記憶、登録部２３による配置領域情報やＡＲコンテンツ等の登録、抽出部２４による配置領域情報やＡＲコンテンツ等の抽出等の処理を行う。制御部２５が行う制御内容については、これに限定されるものではない。

＜端末装置１２の機能構成の一例＞
次に、上述した端末装置１２の機能構成例について、図を用いて説明する。図３は、端末装置の機能構成の一例を示す図である。端末装置１２は、通信部３１と、撮像部３２と、記憶部３３と、表示部３４と、入力部３５と、配置領域設定部３６と、表示領域制御部３７と、認識部３８と、生成部３９と、算出部４０と、制御部４１とを有する。

通信部３１は、通信ネットワーク１３を介してサーバ１１や他のコンピュータ等とデータの送受信を行う。例えば、通信部３１は、例えばＡＲマーカのマーカＩＤと対応付けたＡＲコンテンツ情報、配置領域情報（配置可能領域、配置不可領域）等の各種設定情報をサーバ１１等に送信する。また、通信部３１は、マーカ認識により認識されたマーカＩＤをサーバ１１に送信し、送信したマーカＩＤに対応する配置領域情報やＡＲコンテンツ等を受信する。

撮像部３２は、予め設定されたフレーム間隔で画像を撮像する。撮像部３２は、撮像した画像を制御部４１へ出力したり、記憶部３３に記憶させる。なお、以下の説明では、撮像部３２から得られた撮像画像を入力画像の一例として、その入力画像にＡＲコンテンツを重畳表示する例を示すが、これに限定されるものではなく、例えば他の装置から撮影された画像を入力画像としてもよい。

記憶部３３は、本実施形態における表示制御に必要な各種情報（例えば、配置領域情報、表示可否マップ、表示位置テーブル、ＡＲコンテンツ、アイコン、サムネイル画像等）を記憶する。また、記憶部３３は、例えば処理経過や処理結果等の情報、エラー情報等を記憶してもよい。なお、これらの情報は、端末装置１２が設定した情報だけでなく、サーバ１１から取得した情報も含まれる。また、端末装置１２により取得や設定した情報は、サーバ１１へ送信した後に削除してもよい。

表示部３４は、認識部３８によるＡＲマーカの認識（検出）結果に基づき、撮像画像に配置領域情報やＡＲコンテンツを登録するための画面等を表示する。また、表示部３４は、ＡＲマーカのマーカＩＤに対応して取得したＡＲコンテンツを撮像画像に重畳した重畳画像や、その他の各種設定画像等を表示する。

入力部３５は、ユーザ等による操作内容の入力を受け付ける。例えば、表示部３４が、タッチパネル等で構成されている場合には、入力部３５は、タッチパネル上のタッチ位置座標を取得することもできる。入力部３５は、例えばタッチパネル上に表示された入力キー等への操作により入力された情報を受け付ける。また、入力部３５は、端末装置１２に設けられた、又は外付けのキーボードや操作ボタン等により入力された情報を受け付けてもよい。

配置領域設定部３６は、撮像部３２で撮像された画像に対し、その画像に含まれるＡＲマーカの位置情報を基準に、ＡＲマーカのマーカＩＤに対応付けられたＡＲコンテンツの配置領域情報（配置可能領域、配置不可領域）を設定する。例えば、ユーザは、撮像画像に含まれる実物体（例えば、点検対象物等）に対してＡＲコンテンツを重畳表示させる場合に、実物体を基準とした位置（例えば、実物体付近）にＡＲマーカを設置する。そして、そのＡＲマーカのマーカＩＤに対応するＡＲコンテンツを登録するときに、配置領域設定部３６により配置可能領域又は配置不可領域を定義する。定義した配置領域情報等は、サーバ１１に登録される。配置領域設定部３６は、例えば撮像画像に対して配置可能領域を設定することで、設定された配置可能領域以外の領域（空間）を配置不可領域としてもよい。また、配置領域設定部３６は、例えば撮像画像に対して配置不可領域を設定することで、設定された配置不可領域以外の領域を配置可能領域としてもよい。

また、配置領域設定部３６は、例えば撮像画像の認識処理により画像中の特徴点を抽出し、特徴量が少ない領域（例えば壁や床等）を配置可能領域として設定してもよい。なお、特徴点は、画素に対する輝度値や周辺画素との輝度差等に基づいて抽出することができるが、これに限定されるものではない。また、特徴量が少ない領域とは、例えば輝度差が所定値以下の領域や、特徴点の数が所定値以下の領域等であるが、これに限定されるものではない。

また、配置領域設定部３６は、配置領域を示す情報（例えば、座標値等）を予めテキストデータで管理しておき、例えばユーザの操作が困難な状況等の場合に、記憶部３３やサーバ１１等からそのテキストデータを取得することで配置領域の設定等を行ってもよい。なお、上述した手法のうち、どの手法を用いるかについては、ユーザ等が設定したり変更してもよく、所定の条件等に基づいて設定や変更を行ってもよい。

配置領域情報は、三次元空間で設定する場合と、二次元平面で設定する場合のどちらも可能であり、ユーザの設定や表示対象等によって使い分けることができる。例えば、表示対象物（実物体）が三次元の場合は、実物に合わせて三次元情報（体積）で空間を定義するのが好ましい。また、表示対象物が二次元平面の場合は、実物に合わせて二次元情報（面積）で平面領域を定義するのが好ましいが、これに限定されるものではない。

また、配置領域設定部３６は、撮影画像中に複数のＡＲマーカを含む場合に、ＡＲマーカの組み合わせの設定を行ってもよい。ＡＲマーカの組み合わせの設定とは、例えば撮影画像中に複数のＡＲマーカが存在する場合に、そのうちのどのＡＲマーカが同時に撮影された場合に、共通の画像の特徴情報等を設定するかを指定するものである。

表示領域制御部３７は、配置領域設定部３６で設定された配置可能領域又は配置不可領域を撮像画像に投影し、配置可能領域又は配置不可領域に対する投影領域を取得する。なお、配置可能領域又は配置不可領域は、サーバ１１や記憶部３３に記憶されている。したがって、表示領域制御部３７は、認識部３８により認識されたマーカＩＤを用いて記憶部３３を参照し、記憶部３３にマーカＩＤに対応する配置領域情報があれば、それを取得する。また、表示領域制御部３７は、記憶部３３に配置領域情報がない場合は、サーバ１１等に取得要求を行って、マーカＩＤに対応する配置領域情報を取得する。

また、表示領域制御部３７は、撮像画像に対する配置可能領域の投影領域内（第１の投影領域内）にＡＲコンテンツを表示させるための表示制御を行う。投影領域は、ＡＲマーカの位置と撮像部３２のカメラ位置との関係により変動し、例えば配置可能領域に対する投影領域（第１の投影領域）と配置不可領域に対する投影領域（第２の投影領域）とが重なる場合もある。したがって、表示領域制御部３７は、ＡＲマーカとカメラ（撮像部３２）との位置関係に応じて配置対象の空間の投影領域を調整し、調整した投影領域内にＡＲコンテンツを重畳する。例えば、表示領域制御部３７は、配置可能領域と、配置不可領域とが重なる場合には、配置不可領域が優先され、配置可能領域と配置不可領域とが重なった領域を除いた配置可能領域内に、ＡＲコンテンツを表示する。このため、表示領域制御部３７は、重なる前に配置可能領域に表示されていたＡＲコンテンツを他の配置可能領域に移動して再配置表示を行う。

例えば、表示領域制御部３７は、投影領域の調整時に表示可否マップ等を生成し、生成したマップに基づいて表示領域の制御を行ってもよい。表示可否マップとは、ＡＲマーカに対応付けられて定義された配置可能領域及び配置不可領域を用いて、現在の撮影位置（視点）から撮影された撮像画像の領域（空間）に対してＡＲコンテンツを表示できる領域（空間）をマップとして表したものである。表示可否マップは、例えば所定の時間間隔又は撮影位置が移動した場合に継続的に生成される。また、表示可否マップは、例えば撮像画像中における配置可能領域と配置不可領域とをビットデータ等で表示したものであるが、これに限定されるものではない。

認識部３８は、撮像画像に含まれる基準物（例えば、ＡＲマーカ）等を認識する。例えば、認識部３８は、撮像部３２により得られる撮像画像に対して画像認識を行い、その認識結果から、ＡＲマーカの情報を取得する。また、認識部３８は、ＡＲマーカの撮像部３２に対する位置（スクリーン座標）を取得したりＡＲマーカの識別情報（マーカＩＤ）を取得する。なお、本実施形態では、複数の異なる基準物（ＡＲマーカ）から同じマーカＩＤが得られる場合もある。

本実施形態では、例えば撮像画像中に含まれる実空間上の物体（対象物）に対してＡＲマーカを付与しておくことで、そのＡＲマーカのマーカＩＤに対応付けられたＡＲコンテンツとして、例えばその物体の使用方法や作業手順、注意事項、点検結果等を撮像画像に重畳して表示させることができる。

生成部３９は、認識部３８による認識結果に基づいて、ＡＲマーカのマーカＩＤに対応するＡＲコンテンツを撮像画像の配置可能領域の投影領域内に重畳した重畳画像を生成する。生成部３９は、例えばサーバ１１等に対しマーカＩＤに対応するＡＲコンテンツの取得要求を行い、対応するＡＲコンテンツを取得する。また、生成部３９は、例えば撮像画像に対する配置可能領域の投影領域内に、取得したＡＲコンテンツを表示する。なお、ＡＲコンテンツを重畳する場合、生成部３９は、例えばＡＲコンテンツの座標をスクリーン座標系に変換し、ＡＲコンテンツの投影画像（図形）を生成し、生成した投影画像を重畳してもよい。

例えば、ＡＲコンテンツのサイズが大きかったり、コンテンツ数が多いため、配置可能領域の投影領域内にＡＲコンテンツ（詳細情報）が重畳表示できない場合がある。そのような場合、生成部３９は、所定の縮小率で縮小した画像（サムネイル画像等）を生成したり、予め設定されたコンテンツ種別等に対応するアイコン等に変換したり、複数のＡＲコンテンツを集約した集約情報等を生成し、それらの情報を重畳してもよい。また、ユーザが上述したサムネイル画像やアイコン等を選択すると、表示領域制御部３７は、サムネイル画像を拡大表示したり、アイコンに対応するＡＲコンテンツの詳細表示を重畳表示する。

また、生成部３９は、例えば認識部３８によるマーカ認識がＯＫの場合やＮＧの場合で、異なるＡＲコンテンツを生成して画面に重畳させてもよい。また、生成部３９は、重畳表示するときの時間情報に応じて異なるＡＲコンテンツを生成して画面に重畳させてもよい。

算出部４０は、例えば配置可能領域に対応付けられて外部（例えば、ユーザ操作等）から受け付けた配置可能領域を指定する座標と、座標の基準となるＡＲマーカ及びカメラ（撮像部３２）の位置関係とに基づいて、配置可能領域が撮像部３２により撮像される撮像画像内に占める領域（第１の投影領域）を算出する。また、算出部４０は、例えば配置不可領域に対応付けられて外部から受け付けた配置不可領域を指定する座標と、座標の基準となるＡＲマーカ及び撮像部３２の位置関係とに基づいて、配置不可領域が撮像部３２により撮像される撮像画像内に占める領域（第２の投影領域）を算出する。例えば、算出部４０は、配置領域設定部３６において設定された配置可能領域に対して、三次元又は二次元における位置情報と、ＡＲコンテンツの大きさ等の情報等から、どの位置にどのように配置するかといった位置情報を取得するための算出を行う。例えば、算出部４０は、配置領域情報の座標、又は配置可能領域におけるＡＲコンテンツの座標を、所定の変換行列等を用いて撮像画像を基準にしたスクリーン座標系に変換する処理を行ってもよい。

制御部４１は、端末装置１２が有する各構成における処理全体を制御する。制御部４１は、撮像部３２による画像撮影、表示部３４による各種情報の画面表示、入力部３５によるユーザからの入力情報を受け付け等の処理を行う。また、制御部４１は、配置領域設定部３６によるＡＲコンテンツの配置領域の設定、表示領域制御部３７による表示領域の制御、認識部３８による撮影画像に含まれるＡＲマーカの認識等の処理を行う。また、制御部４１は、生成部３９によるＡＲコンテンツや重畳する画像等の生成、算出部４０による所定の演算（算出）等の処理を行う。

＜サーバ１１のハードウェア構成例＞
次に、サーバ１１のハードウェア構成例について、図を用いて説明する。図４は、サーバのハードウェア構成の一例を示す図である。図４の例において、サーバ１１は、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、主記憶装置５５と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）５６と、ネットワーク接続装置５７とを有し、これらはシステムバスＢで相互に接続されている。

入力装置５１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。

出力装置５２は、本実施形態における処理を行うためのコンピュータ本体（サーバ１１）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置５２は、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体５８等により提供される。記録媒体５８は、ドライブ装置５３にセット可能である。ＣＰＵ５６からの制御信号に基づき、記録媒体５８に格納された実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。

補助記憶装置５４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段等である。補助記憶装置５４は、ＣＰＵ５６からの制御信号に基づき、本実施形態における実行プログラム（表示制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置５４は、ＣＰＵ５６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。主記憶装置５５は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。

ＣＰＵ５６は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等の制御プログラム、及び主記憶装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。

ＣＰＵ５６は、例えば入力装置５１から得られるプログラムの実行指示等に基づき、補助記憶装置５４にインストールされたプログラムを実行させることにより、主記憶装置５５上でプログラムに対応する処理を行う。例えば、ＣＰＵ５６は、表示制御プログラムを実行させることで、上述した登録部２３によるＡＲマーカによる配置領域情報、ＡＲコンテンツの登録、抽出部２４による各種情報の抽出、制御部２５による表示制御等の処理を行う。ＣＰＵ５６における処理内容は、上述した内容に限定されるものではない。ＣＰＵ５６により実行された内容は、必要に応じて補助記憶装置５４等に記憶される。

ネットワーク接続装置５７は、上述した通信ネットワーク１３を介して、端末装置１２や他の外部装置との通信を行う。ネットワーク接続装置５７は、ＣＰＵ５６からの制御信号に基づき、通信ネットワーク１３等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、ネットワーク接続装置５７は、プログラムを実行することで得られた実行結果を端末装置１２等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。

記録媒体５８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体５８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。

図４に示すハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。

＜端末装置１２のハードウェア構成例＞
次に、端末装置１２のハードウェア構成例について図を用いて説明する。図５は、端末装置のハードウェア構成の一例を示す図である。図５の例において、端末装置１２は、マイクロフォン（以下、「マイク」という）６１と、スピーカ６２と、表示部６３と、操作部６４と、センサ部６５と、電力部６６と、無線部６７と、近距離通信部６８と、補助記憶装置６９と、主記憶装置７０と、ＣＰＵ７１と、ドライブ装置７２とを有し、これらはシステムバスＢで相互に接続されている。

マイク６１は、ユーザが発した音声や、その他の音を入力する。スピーカ６２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク６１及びスピーカ６２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。

表示部６３は、ユーザに対してＯＳや各種アプリケーションで設定された画面を表示する。また、表示部６３は、タッチパネルディスプレイ等でもよく、その場合には表示部６３は、入出力部としての機能を有する。

表示部６３は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。

操作部６４は、表示部６３の画面に表示された操作ボタンや端末装置１２の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。

ユーザは、例えば表示部６３の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部６３により画面上のタッチ位置が検出される。また、表示部６３は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。

センサ部６５は、端末装置１２のある時点又は継続的な動作を検出する。例えば、センサ部６５は、端末装置１２の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部６５としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）等であるが、これに限定されるものではない。

電力部６６は、端末装置１２の各構成に対して電力を供給する。電力部６６は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部６６は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。

無線部６７は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。無線部６７により、通信ネットワーク１３を介して基地局等からサーバ１１とデータの送受信を行うことができる。

近距離通信部６８は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の端末装置１２等のコンピュータと近距離通信を行うことができる。上述した無線部６７及び近距離通信部６８は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。

補助記憶装置６９は、例えばＨＤＤやＳＳＤ等のストレージ手段である。補助記憶装置６９は、各種のプログラム等を記憶し、必要に応じてデータの入出力を行う。

主記憶装置７０は、ＣＰＵ７１からの指示により補助記憶装置６９から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置７０は、例えばＲＯＭやＲＡＭ等であるが、これに限定されるものではない。

ＣＰＵ７１は、ＯＳ等の制御プログラム、及び主記憶装置７０に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、表示制御における各処理を実現する。

ＣＰＵ７１は、例えば操作部６４等から得られるプログラムの実行指示等に基づき、補助記憶装置６９にインストールされたプログラムを実行させることにより、主記憶装置７０上でプログラムに対応する処理を行う。例えば、ＣＰＵ７１は、表示制御プログラムを実行させることで、上述した撮像部３２による画像撮影、表示部３４による各種情報の画面表示、入力部３５によるユーザからの入力情報を受け付け等の処理を行う。また、ＣＰＵ７１は、配置領域設定部３６によるＡＲコンテンツの配置領域の設定、表示領域制御部３７による表示領域の制御、認識部３８による撮影画像に含まれるＡＲマーカの認識等の処理を行う。また、ＣＰＵ７１は、生成部３９によるＡＲコンテンツや重畳する画像等の生成、算出部４０による所定の演算（算出）等の処理を行う。ＣＰＵ７１における処理内容は、上述した内容に限定されるものではない。ＣＰＵ７１により実行された内容は、必要に応じて補助記憶装置６９等に記憶される。

ドライブ装置７２は、例えば記録媒体７３等を着脱自在にセットすることができ、セットした記録媒体７３に記録された各種情報を読み込んだり、所定の情報を記録媒体７３に書き込むことができる。ドライブ装置７２は、例えば媒体装填スロット等であるが、これに限定されるものではない。

記録媒体７３は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体７３は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体７３は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。

本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における表示制御処理等を実現することができる。

また、上述した表示制御処理に対応する表示制御プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。

＜ＡＲマーカ例＞
次に、本実施形態における基準物の一例としてＡＲマーカ例について図を用いて説明する。図６は、実物体にＡＲマーカを設置した例を示す図である。例えば、図６（Ａ）の例では、現実空間にある実物体（例えば、点検対象物等）の一例としてパイプ（配管）８０が設置されている。パイプ８０は、複数のバルブ（弁）８１−１〜８１−５を有する。本実施形態では、例えば上述したパイプ８０と共に撮影できる位置にＡＲマーカ９０が取り付けられている。

本実施形態では、ＡＲマーカ９０をパイプ８０と共に、端末装置１２の撮像部３２で撮影し、認識部３８が画像認識によりＡＲマーカ９０の識別情報（マーカＩＤ）を読み取る。また、配置領域設定部３６は、撮像画像の空間に対する投影された配置領域情報（配置対象情報、配置不可情報）等を設定する。撮像画像のうち、パイプ８０等が表示されている領域は、ＡＲコンテンツの表示で隠れてしまうことを抑制するため、配置不可領域として設定（定義）する。また、パイプ８０以外の領域は、配置可能領域として設定する。なお、パイプ８０上であってもユーザの注目対象でなければ、パイプ８０上に配置可能領域を設定してもよい。

また、配置領域情報の設定後（すでに設定されている場合は省略可能）、設定された配置可能領域に対してＡＲマーカ９０のマーカＩＤに対応するＡＲコンテンツを設定する。

また、ユーザは、点検作業時等に撮影した画像からＡＲマーカ９０が認識されると、ＡＲマーカ９０のマーカＩＤに対応して設定されたＡＲコンテンツが、撮像画像に対する配置可能領域の投影領域に重畳表示される
これにより、ユーザ（作業者等）は、端末装置１２の画面に表示されたＡＲコンテンツ情報に基づいて、例えばバルブ（弁）８１−１〜８１−５を直接操作して、パイプ８０の制御等を行うことができる。また、複数のユーザがＡＲコンテンツ情報を共有することができる。

また、ＡＲマーカ９０から得られるＡＲコンテンツ情報としては、上述した操作内容に限定されるものではなく、例えばパイプ８０がひび割れ等の破損をしている場合や修理が必要である場合等に、その情報や注意事項等をユーザ等に通知するための情報でもよい。

ＡＲマーカ９０は、１つの対象物（例えば、パイプ８０）に対して１以上設けてもよく、複数の対象物に対して１つのＡＲマーカ９０であってもよい。また、画像中に複数のＡＲマーカが存在する場合には、それらのＡＲマーカに対して共通の判定条件を用いて判定を行い、その判定結果に応じたＡＲコンテンツを表示してもよい。

また、ＡＲマーカ９０は、図６（Ｂ）に示すように、例えばサーバ等のコンピュータを収納するサーバラック８２等の機器（対象物）に対して、その操作内容やメンテナンス情報（稼働スケジュール、故障時の連絡先）等の各種情報（詳細情報）を、そのサーバラックと共に撮影可能な位置に取り付けられたＡＲマーカ９０の画像を撮影し、その画像に対して画像認識することで取得することができる。

ＡＲマーカ９０の例としては、例えばバーコード、ＱＲコード（登録商標）等の二次元コードでもよく、カラー等を用いた多次元コードでもよいが、これらに限定されるものではなく、その他の基準物でもよい。なお、ＡＲマーカ９０によりＡＲコンテンツを表示させる対象物については、これに限定されるものではない。

＜端末装置１２における表示制御処理の一例＞
次に、上述した端末装置１２における表示制御処理の一例について、フローチャートを用いて説明する。なお、端末装置１２における処理としては、例えば、管理者や作業者のユーザ等がＡＲマーカに対応付けて、配置領域情報やＡＲコンテンツ等を設定する場合と、ＡＲマーカを認識して対応付けられたＡＲコンテンツを表示する場合とがある。このような場合には、１台の端末装置１２を管理者及び作業者が用いてもよく、例えば複数の端末装置１２をそれぞれの所有者（管理者、作業者）に割り当てて、処理を行ってもよい。以下の説明では、上記の各場合における処理例を分けて説明する。

＜第１実施例＞
図７は、第１実施例における表示制御処理の一例を示すフローチャートである。図７の例において、端末装置１２は、本実施形態における表示制御プログラム等を実行して、例えばＡＲ表示モードを起動する（Ｓ０１）。Ｓ０１の処理では、撮像部３２における撮像等を実行すると共にＡＲマーカの認識状態に遷移する。

次に、端末装置１２の認識部３８は、撮像部３２で撮影された画像からＡＲマーカを検知したか否かを判断し（Ｓ０２）、ＡＲマーカを検知した場合（Ｓ０２において、ＹＥＳ）、ＡＲマーカに対応する配置領域情報（例えば、配置可能領域、配置不可領域）を取得する（Ｓ０３）。ＡＲコンテンツは、例えばＡＲマーカに対応するマーカＩＤをサーバ１１に送信し、送信したサーバ１１からマーカＩＤに対応する配置領域情報を取得することができるが、これに限定されるものではない。例えば、端末装置１２は、すでにマーカＩＤに対応する配置領域情報を記憶部３３等に保持している場合には、その情報を用いてもよい。なお、Ｓ０３の処理では、配置領域情報の一例として、配置可能領域、配置不可領域の座標（例えば、ＡＲマーカからの相対座標等）を取得する。

次に、端末装置１２は、配置可能領域及び配置不可領域の座標を撮像部３２で撮影された空間に対応したスクリーン座標系に変換する（Ｓ０４）。Ｓ０４の処理により配置可能領域、配置不可領域それぞれの投影領域（第１の投影領域、第２の投影領域）が得られる。また、端末装置１２は、検出された他のＡＲマーカがあるか否かを判断する（Ｓ０５）。他のＡＲマーカがある場合（Ｓ０５において、ＹＥＳ）、Ｓ０３の処理に戻る。

また、他のＡＲマーカがない場合（Ｓ０５において、ＮＯ）、端末装置１２の表示領域制御部３７は、全ＡＲマーカ分のスクリーン座標を重ね合わせて、撮像画像内におけるＡＲコンテンツの表示可否マップを生成する（Ｓ０６）。例えば、Ｓ０６の処理において、表示領域制御部３７は、例えば予め設定された配置可能領域（重畳可能領域）と配置不可領域（重畳不可領域）とが、重なっている場合には、配置不可領域として表示可否マップを生成する。これは、配置不可とユーザが定義した領域にＡＲコンテンツ重畳しないためである。また、表示領域制御部３７は、予め定義した２つの配置可能領域が重なる場合に、その重なった領域は配置可能領域のままとする。また、表示領域制御部３７は、２つの配置不可領域が重なる場合に、その重なった領域は配置不可領域のままとする。

次に、端末装置１２は、Ｓ０２の処理により得られたＡＲマーカに対応するＡＲコンテンツを取得する（Ｓ０７）。Ｓ０７の処理では、例えばＡＲマーカに対応するマーカＩＤ等をサーバ１１等に送信し、サーバ１１からマーカＩＤに対応するＡＲコンテンツを取得する。なお、Ｓ０７の処理では、これに限定されるものではなく、予め記憶部３３等にマーカＩＤに対応するＡＲコンテンツが存在する場合には、そのＡＲコンテンツを取得してもよい。

次に、端末装置１２は、ＡＲコンテンツの座標をスクリーン座標系に変換し（Ｓ０８）、ＡＲコンテンツの投影画像（図形）を生成する（Ｓ０９）。次に、端末装置１２は、投影画像の表示位置と、上述した表示可否マップとを照合し（Ｓ１０）、投影画像の全領域が配置可能領域か否かを判断する（Ｓ１１）。Ｓ１１の処理において、投影画像の全領域が配置可能領域である場合（Ｓ１１において、ＹＥＳ）、投影画像を撮像画像上の指定位置に重畳表示する（Ｓ１２）。

また、投影画像の全領域が配置可能領域でない場合（Ｓ１１において、ＮＯ）、投影画像の一部の領域が配置可能領域か否かを判断する（Ｓ１３）。投影画像の一部の領域が配置可能領域である場合（Ｓ１３において、ＹＥＳ）、投影画像を変形して撮像画像上の指定位置に重畳表示する（Ｓ１４）。なお、Ｓ１４の処理において、投影画像の変形とは、例えば投影画像を所定の縮小率で縮小することであるが、これに限定されるものではない。また、所定の縮小率とは、例えば投影画像を縮小することで、その投影画像の全て又は所定領域以上が配置可能領域上に表示されるような縮小率をいうが、これに限定されるものではなく、例えば予め設定された固定の縮小率であってもよい。

また、Ｓ１４の処理では、投影画像の変形の一例として、ＡＲコンテンツ（投影画像）に対応するサムネイル画像を生成して重畳表示してもよく、ＡＲコンテンツ（投影画像）に対応するアイコン等を重畳表示してもよい。アイコンは、例えばＡＲコンテンツの種別に対応させて予め記憶部３３やサーバ１１等に記憶されており、表示するＡＲコンテンツに対応するアイコン等を取得して重畳表示させてもよい。画面に表示されたサムネイル画像やアイコンをユーザが選択することで、実際の投影画像を、例えばポップアップ画面等で表示させることができる。なお、Ｓ１２又はＳ１４の処理後、例えば表示位置テーブル等に表示領域（座標）等を記録する（Ｓ１５）。

また、端末装置１２は、Ｓ１３の処理において、投影画像の一部の領域が配置可能領域でない場合（Ｓ１３において、ＮＯ）、投影画像の全てが配置不可領域に配置されることになるため、現在の角度（視点）等から撮影された領域には、投影画像を表示せずに記憶部３３等に保存する（Ｓ１６）。

Ｓ１５又はＳ１６の処理後、端末装置１２は、他のＡＲマーカがあるか否かを判断し（Ｓ１７）、他のＡＲマーカがある場合（Ｓ１７において、ＹＥＳ）、Ｓ０７に戻る。また、他のＡＲマーカがない場合（Ｓ１７において、ＹＥＳ）、Ｓ１６の処理により保存された表示されていない投影画像を取得し（Ｓ１８）、表示位置テーブルを参照して配置可能領域の空き領域に、Ｓ１８の処理により取得した投影画像を表示する（Ｓ１９）。また、端末装置１２は、保存される他の投影画像があるか否かを判断し（Ｓ２０）。他の投影画像がある場合（Ｓ２０において、ＹＥＳ）、Ｓ１８の処理に戻る。

また、Ｓ２０の処理において、他の投影画像がない場合（Ｓ２０において、ＮＯ）、又は、Ｓ０２の処理において、ＡＲマーカを検知しなかった場合（Ｓ０２において、ＮＯ）、ユーザ等の操作による終了指示があったか否かを判断し（Ｓ２１）、終了指示がなかった場合（Ｓ２１において、ＮＯ）、Ｓ０２に戻る。また、終了指示があった場合（Ｓ２１において、ＹＥＳ）、処理を終了する。

＜第２実施例＞
図８は、第２実施例における表示制御処理の一例を示すフローチャートである。第２実施例では、例えば端末装置１２のユーザとして管理者等が配置領域（配置可能領域、配置不可領域）やＡＲマーカに対応するＡＲコンテンツ等を設定する時のフローチャートである。

図８の例において、端末装置１２は、本実施形態における表示制御プログラム等を実行して、例えば配置領域設定用のＡＲ表示モードを起動する（Ｓ３１）。Ｓ３１の処理では、撮像部３２における撮像等を実行すると共にＡＲマーカの認識状態に遷移する。

次に、端末装置１２の認識部３８は、撮影された画像中にＡＲマーカを検知したか否かを判断し（Ｓ３２）、ＡＲマーカを検知した場合（Ｓ３２において、ＹＥＳ）、マーカ認識処理を行う（Ｓ３３）。Ｓ３３の処理は、例えば上述した第１実施例のＳ０３〜Ｓ０５と同様の処理を行うため、ここでの具体的な説明は省略する。

次に、端末装置１２は、配置領域情報を設定するための編集処理の呼び出しを行い（Ｓ３４）、静止画表示モードに切り替え（Ｓ３５）、撮像部３２により撮像された撮像画像及び予め設定された操作メニュー等を表示する（Ｓ３６）。

次に、端末装置１２は、配置領域情報情報（配置可能領域、配置不可領域）を設定する（Ｓ３７）。ＡＲ定義オブジェクトを選択する（Ｓ３７）。Ｓ３７の処理では、例えば表示された撮影画像の静止画に対して配置可能領域や配置不可領域を設定することができる。なお、配置領域情報がすでに設定されている場合には、Ｓ３７の処理を省略してもよい。

次に、端末装置１２は、ＡＲマーカに対応するＡＲコンテンツを設定する（Ｓ３８）。なお、Ｓ３８の処理では、ＡＲマーカに対応するマーカＩＤに対応付けてＡＲコンテンツを設定する。設定されるＡＲコンテンツは、例えば予め記憶部３３に記憶されている複数のＡＲコンテンツのうち少なくとも１つを選択してもよく、サーバ１１等の外部装置にアクセスして、サーバ１１等に蓄積された複数のＡＲコンテンツのうち少なくとも１つを選択してもよい。

次に、端末装置１２は、設定したＡＲコンテンツの投影画像を生成し（Ｓ３９）、ＡＲオブジェクトの投影画像を撮像画像に重畳合成する（Ｓ４０）。次に、端末装置１２は、操作メニュー等によるユーザ等からの位置決定入力があるか否かを判断する（Ｓ４１）。端末装置は、位置決定入力がない場合（Ｓ４１において、ＮＯ）、次に、位置指定があるか否かを判断する（Ｓ４２）。Ｓ４２の処理では、例えばユーザによる端末装置１２の表示画面に対するタッチ操作によって位置指定を行ってもよく、座標パラメータ等の数値設定による位置指定等であってもよいが、これに限定されるものではない。位置指定は、例えばＡＲコンテンツが、配置可能領域内に設定されるのが好ましいが、配置可能領域内に設定しても、その後の撮影角度の違いによって配置不可領域内にＡＲコンテンツが表示される可能性があるため、これに限定されるものではない。

Ｓ４２の処理において、位置指定がある場合（Ｓ４２において、ＹＥＳ）、端末装置１２は、指定された座標をスクリーン座標系に座標変換する（Ｓ４３）。また、端末装置１２は、ＡＲコンテンツの座標を更新し（Ｓ４４）、Ｓ３６の処理に戻る。また、端末装置１２は、Ｓ４２の処理において、位置指定がない場合（Ｓ４２において、ＮＯ）、同様にＳ３６の処理に戻る。

上述したＳ４１の処理において、位置決定入力があった場合（Ｓ４１の処理において、ＹＥＳ）、ＡＲコンテンツに対して指定された位置の座標をマーカ座標系（撮像画像に含まれるＡＲマーカの位置を基準にした相対座標系）に座標変換を行う（Ｓ４５）。次に、端末装置１２は、編集終了か否かを判断し（Ｓ４６）、編集終了でない場合（Ｓ４６において、ＮＯ）、Ｓ３６の処理に戻る。また、編集終了である場合（Ｓ４６において、ＹＥＳ）、編集データを登録する（Ｓ４７）。Ｓ４７の処理では、例えばＡＲマーカに対応するマーカＩＤと、設定した配置領域情報やＡＲコンテンツ等とをサーバ１１に登録したり、記憶部３３に記憶させることで登録することができるが、これに限定されるものではない。

次に、端末装置１２は、ユーザ等から終了指示があったか否かを判断し（Ｓ４８）、終了指示がなかった場合（Ｓ４８において、ＮＯ）、Ｓ３２に戻る。また、終了指示があった場合（Ｓ４８において、ＹＥＳ）、処理を終了する。

＜表示制御の具体例＞
次に、本実施形態における表示制御の具体例について、図を用いて説明する。図９は、配置領域情報の設定例を示す図である。図９（Ａ），（Ｂ）の例では、三次元空間における配置領域情報の設定例を示し、図９（Ｃ），（Ｄ）は二次元平面における配置領域情報の設定例を示している。また、図９（Ａ），（Ｃ）は、ＡＲマーカ９０を正面から撮影した撮像画像例を示し、図９（Ｂ），（Ｄ）は、図９（Ａ）,（Ｃ）で撮影された空間を上から見た例を示している。

本実施形態では、例えば実空間におけるＡＲマーカ設置後に、ＡＲコンテンツの配置可能領域や配置不可領域を設定し、設定された情報がサーバ１１又は端末装置１２の記憶部３３等に登録される。この場合、配置領域情報は、図９（Ａ），（Ｂ）に示すように三次元空間で設定してもよく、図９（Ｃ），（Ｄ）に示すように二次元平面で設定してもよい。これらの設定は、例えばＡＲコンテンツを配置する対象物（実物体）の内容やＡＲコンテンツの形状等によって使い分けることができる。

例えば、図９（Ａ），（Ｂ）に示すように、ＡＲコンテンツを表示する対象の実物体１０１が三次元物体の場合には、実物に合わせて三次元情報（体積）で配置領域情報を設定するのが好ましい。なお、図９（Ｃ），（Ｄ）に示すように、表示されるＡＲコンテンツが二次元平面でもよい場合には、実物に合わせて二次元情報（面積）で平面を設定してもよい。

例えば、図９（Ａ）、（Ｂ）に示すようにバルブが設けられた配管（パイプ）等の実物体（注目対象物）１０１−１〜１０１−３に対して、配置可能領域（例えば、壁や床等の空き領域）１０２−１〜１０２−４と配置不可領域１０３−１〜１０３−３とが三次元座標で設定される。図９（Ａ）、（Ｂ）の例では、実物体１０１−１〜１０１−３が隠れないように配置不可領域１０３−１〜１０３−３が設定されている。

また、図９（Ｃ）,（Ｄ）に示す例では、大型サーバ等の実物体１１１−１〜１１１−３に対して、配置可能領域１１２と配置不可領域１１３とが二次元座標で平面的に設定されている。図９（Ｃ）,（Ｄ）の例では、複数の実物体１１１−１〜１１１−３又は複数のＡＲマーカ９０−１〜９０−３に対して１つの配置可能領域１１２が設定されているが、これに限定されるものではなく、実物体毎又はＡＲマーカ毎に配置領域情報を設定してもよい。配置領域情報の登録時には、ＡＲ９０−１〜９０−３のそれぞれに対応付けられて配置可能領域１１２と配置不可領域１１３とが設定される。

配置領域情報（配置可能領域、配置不可領域）の設定手法としては、例えば端末装置１２のオーサリング処理により、ユーザの画面へのタッチ操作で配置領域情報を設定することができる。また、他の手法としては、例えば撮像画像の認識処理により画像中の特徴点を抽出し、特徴量が少ない領域（例えば壁や床等）を配置可能領域として設定する。また、他の手法としては、配置領域を示す情報（例えば、座標値等）を予めテキストデータで管理しておき、例えばユーザの操作が困難な状況等の場合に、記憶部３３やサーバ１１等からそのテキストデータを取得することで配置領域情報の設定等を行う。配置領域情報（配置可能領域、配置不可領域）は、例えばマーカＩＤに対応付けて、マーカＩＤの位置を基準にした頂点（矩形の場合は４点）の相対位置座標が登録される。また、複数の配置可能領域があれば、それぞれの領域毎に領域を示す座標が登録される。

配置領域情報としては、例えば、
マーカＩＤ：１００
＜配置可能領域＞
エリアＩＤ１：(x,y,z)={(-50,30,0)、(-50,-10,0)、(-5,30,0)、(-5,-100,0)}
エリアＩＤ２：｛略｝
＜配置不可領域＞
エリアＩＤ１：(x,y,z)={(-20,30,0)、(-20,-10,0)、(10,30,0)、(10,-100,0)}
エリアＩＤ２：｛略｝
等であるが、これに限定されるものではない。また、マーカＩＤに対応付けてＡＲコンテンツと、ＡＲコンテンツの表示位置等が登録される。

図１０は、ＡＲコンテンツの表示例を示す図である。図１０（Ａ）〜（Ｄ）は、上述した図９（Ａ）に対応する図を示している。また、図１０（Ａ）は、図１０（Ｂ）に示す上からの図の視点Ａから撮影された画像例を示し、図１０（Ｃ）は、図１０（Ｄ）に示す上からの図の視点Ｂから撮影された画像例を示している。図１０（Ａ）〜（Ｄ）の例では、説明の便宜上、配置可能領域１０２及び配置不可領域１０３が表示されている。

図１０の例では、端末装置１２が、検出したＡＲマーカ９０に対応するマーカＩＤを用いて、サーバ１１にアクセスし、サーバ１１からマーカＩＤに対応するＡＲコンテンツや配置領域の情報を取得し、配置可能領域に画像表示を行う。

例えば、本実施形態では、図１０（Ｂ），（Ｄ）に示すように撮影する視点（角度）が異なった場合に、図１０（Ａ），（Ｃ）に示すように調整された配置可能領域１０２の所定の位置にＡＲコンテンツ１２０−１〜１２０−６が表示される。本実施形態では、ユーザの注目物である配管等の実物体１０１〜１０３上にＡＲコンテンツ１２０−１〜１２０−６が配置されて、ユーザの視界が阻害されないように、配置不可領域１０３にはＡＲコンテンツ１２０を重畳表示しないようにする。なお、図１０（Ａ），図１０（Ｃ）に示すＡＲコンテンツ１２０−１〜１２０−６は、一例として「作成日時」、「担当者」、「コメント」等を有するテキスト情報のコンテンツであるが、これに限定されるものではなく、例えば標識やマーク、画像、映像、絵文字、スタンプ等であってもよい。

また、本実施形態では、図１０（Ａ）のＡＲコンテンツ１２０−４〜１２０−６に示すように、配置可能領域１０２−２の大きさに対応させてＡＲコンテンツを縮小して表示させて表示させてもよい。また、図１０（Ｄ）に示す視点Ｂから撮影した場合には、図１０（Ｃ）に示すように、配置可能領域１０２−２と、配置不可領域１０３−１とが重なる場合がある。そのような場合には、配置不可領域１０３−１が優先され、配置可能領域１０２−２と配置不可領域１０３−１とが重なった領域を除いた配置可能領域内に、ＡＲコンテンツを表示させる。このため、配置可能領域１０２−２に表示されていたＡＲコンテンツ１２０−４〜１２０−６は、他の配置可能領域（例えば、配置可能領域１０２−１）に移動して表示される（再配置表示）。なお、図１０（Ｃ）の例では、すでに配置可能領域１０２−１に表示されていたコンテンツ１２０−１〜１２０−３を含めて表示位置が再調整されて、撮像画像に重畳表示される。

上述したように、撮影角度（視点）の変更に対応させてＡＲコンテンツ１２０−１〜１２０−６の重畳位置が変更（再配置）されるため、実際にユーザが指定した表示位置（座標）からずれてしまう。そのため、本実施形態では、例えば図１０（Ｃ）に示すように、ＡＲコンテンツ１２０−１〜１２０−６からユーザが指定した表示位置に対して矢印等を表示する。これにより、ユーザは、表示されたＡＲコンテンツがどの位置（空間）に位置付けられたものかを適切且つ迅速に把握することができる。

上述したＡＲコンテンツの表示制御により、ＡＲマーカ９０を含む領域（空間）を撮影する角度（視点）が変わった場合でも、ユーザが注目する実物体等の対象物に重ならずに、ＡＲコンテンツを分散して配置することができる。

＜表示可否マップの具体例＞
次に、上述した表示可否マップの具体例について説明する。図１１は、表示可否マップの具体例を示す図である。なお、図１１の例では、上述した図９（Ａ）の図に対応している。本実施形態では、図１１に示すように、現時点において認識できる各ＡＲマーカ９０のマーカ座標系での配置可能領域１０２−１〜１２０−４、配置不可領域１０３−１〜１０３−３の位置情報を取得し、取得した位置情報を、例えば画像の左上を基準としたスクリーン座標系（Ｘ，Ｙ）に変換した投影領域から表示可否マップを生成する。

例えば、図１１に示す表示可否マップは、スクリーン解像度分のビットマップデータとして配置可能領域及び配置不可領域の投影領域を保持する。表示可否マップのデータ形式において、マスクビットとして保持する。この場合、図１１の例に示すように「１」を配置可能領域（「表示可」）、「０」を配置不可領域（「表示不可」）としたビットパターンを設定されるが、これに限定されるものではなく、例えば「１」と「０」の割り当てを逆にしてもよい。また、本実施形態では、配置可能領域や配置不可能領域以外の領域を有していてもよい。その場合には、例えば配置可能領域又は配置不可領域を「１」とし、それ例外の領域として「１」を設定してもよい。また、図１１の例では、表示可否マップのビットパターンを模式的に示しているが、例えば画素毎にビットパターンが設定されてもよい。

また、本実施形態では、例えば撮像画像に複数のＡＲマーカ（例えば、ＡＲマーカ９０−１，９０−２）が検出された場合、その検出されたＡＲマーカ毎に、上述した表示可否マップが生成され、生成されたそれぞれの表示可否マップが統合されて複数のＡＲマーカに対応する表示可否マップが生成される。

図１２は、統合した表示可否マップの生成例を示す図である。例えば、図１２（Ａ）の例では、撮像画像に実物体１０１−１〜１０１−３が存在する場合に、ＡＲマーカ９０−１に対して配置可能領域１２１−１，１２１−２及び配置不可領域１２２−１が設定される。また、図１２（Ｂ）の例では、図１２（Ａ）と同様の撮像画像に含まれるＡＲマーカ９０−２に対して配置可能領域１２１−３，１２１−４及び配置不可領域１２２−２が設定される。

この場合、撮像画像に対する最終的な表示可否マップは、図１２（Ａ）,（Ｂ）のそれぞれの領域を統合した図１２（Ｃ）に示すような領域となる。領域の統合では、配置可能領域と配置不可領域とが重なった場合に、その領域は配置不可領域を優先する。また、複数の配置可能領域が重なった場合に、その領域は配置可能領域とする。また、複数の配置不可領域が重なった場合に、その領域を配置不可領域とする。

これにより、図１２（Ｃ）の例では、図１２（Ａ），（Ｂ）の設定結果を統合して配置可能領域１２１−５〜１２１−７及び配置不可領域１２２−１，１２２−２が設定される。また、この結果から、図１２（Ｄ）に示すような表示可否マップが生成される。なお、上述したような表示可否マップの生成は、撮像中の間は所定時間間隔で繰り返し処理され、例えばＡＲマーカの撮影角度（視点）等が異なれば、その位置から撮像された画像に対応する配置可能領域及び配置不可領域の投影領域に基づく表示可否マップが生成される。

＜表示位置テーブルの生成例＞
次に、上述した表示位置テーブルの生成例について図を用いて説明する。図１３は、表示位置テーブルの生成例を示す図である。図１３（Ａ）〜（Ｃ）では、図の左側に示す撮像画像に重畳される各ＡＲコンテンツの表示状態に対応させた表示位置テーブルが図の右側に示されている。図１３（Ａ）〜（Ｃ）の撮影画像には、ＡＲマーカ９０−１，９０−２に対する配置可能領域１２１−５〜１２１−７及び配置不可領域１２２−１，１２２−２が設定されている。

表示位置テーブルの項目としては、例えば「ＡＲコンテンツ」、「マーカＩＤ」、「表示領域」等があるが、これに限定されるものではない。「ＡＲコンテンツ」は、ＡＲマーカのマーカＩＤに対応して表示されるＡＲコンテンツの識別情報である。「マーカＩＤ」は、ＡＲマーカから得られるマーカの識別情報である。「表示領域」は、ＡＲコンテンツの表示領域を示す情報である。図１３（Ａ）〜（Ｃ）の例において、表示領域は、例えばＡＲコンテンツの矩形領域の各頂点の座標で示されるが、これに限定されるものではない。また、表示領域は、撮像画像に対する二次元のスクリーン座標系（Ｘ，Ｙ）を用いたＡＲコンテンツの表示位置情報が示されているが、これに限定されるものではななく、例えば三次元の座標系等を用いてもよい。

例えば、ＡＲマーカのマーカＩＤに対応して設定された各ＡＲコンテンツは、上述した表示可否マップと照合を行い、撮像画像中に含まれる配置可能（「表示可」）領域に順番に配置される。

例えば、図１３（Ａ）に示すように、ＡＲコンテンツ（例えば、重畳１，重畳２）の投影画像（図形）の重畳領域が全て配置可能領域１２１−５にあり、各ＡＲコンテンツが重なっていない。したがって、全てのＡＲコンテンツをそのまま表示する。また、ＡＲコンテンツの表示領域等については、スクリーン座標系等に基づく座標等が表示位置テーブルに記憶される。例えば、ＡＲコンテンツ（重畳１）では、｛ＴｏｐＬｅｆｔ：（５０，５），ＢｏｔｔｏｍＬｅｆｔ（５０，５０），ＴｏｐＲｉｇｈｔ：（１００，５），ＢｏｔｔｏｍＲｉｇｈｔ（１００，５０）｝が記憶されている。

また、図１３（Ａ）の表示内容から、更に図１３（Ｂ）に示すようにＡＲコンテンツ（例えば、重畳３）を配置可能領域１２１−６に表示する場合に、重畳３の投影画像の一部が配置可能領域内であれば、ＡＲコンテンツ（投影画像）の面積を縮小して表示する。例えば、投影画像の全表示領域のうち、所定の閾値（例えば、約８０％）以上が配置可能領域内であれば、その投影画像の一部が配置可能領域内であるとみなすが、これに限定されるものではない。また、上述した投影画像の面積の縮小率に対応させて、投影画像内に表示されるテキスト情報の文字サイズを小さくしてもよい。

また、図１３（Ｂ）の例では、投影画像の面積を縮小する一例として、ＡＲコンテンツ（重畳３）があることを示すサムネイル画像や所定のアイコン等を表示してもよい。重畳３における表示領域等については、ＡＲコンテンツやマーカＩＤ等と共に表示位置テーブルに記憶される。

ここで、例えばＡＲコンテンツ（例えば、重畳４）を画面表示する場合に、予め指定された重畳４の表示位置（領域）は、撮影角度等の影響で配置不可（「表示不可」）の領域（配置不可領域１２２−２）を含んでいる。そのため、ＡＲコンテンツ（重畳４）を指定された位置にそのまま表示することができない。このような場合には、ＡＲコンテンツ（重畳４）を記憶部３３に保存し、他のＡＲコンテンツ（重畳１〜重畳３）の表示が終了した後に、表示位置テーブルや表示可否マップ等から、配置可能領域のうちＡＲコンテンツが重畳されていない領域（空き領域）を検索する。そして、空き領域があった場合には、その領域を利用してＡＲコンテンツ（重畳４）を表示する。

例えば、図１３（Ｃ）では、ＡＲコンテンツが配置可能領域１２１−６の空き領域を利用して表示されている。また、図１３（Ｃ）では、縮小されたＡＲコンテンツ（重畳４）が表示されている。ＡＲコンテンツ（重畳４）における表示領域等については、ＡＲコンテンツやマーカＩＤ等と共に変更された表示領域が表示位置テーブルに記憶される。

なお、図１３（Ａ）〜（Ｃ）の示す表示位置テーブルの表示領域は、二次元における矩形領域の頂点座標が設定されているが、これに限定されるものではなく、例えば三次元座標でもよく、またＡＲコンテンツの中心座標を基準して所定の半径からなる円領域又は球領域でもよい。

＜画面表示例＞
次に、ＡＲコンテンツの画面表示例について図を用いて説明する。図１４〜図１６は、ＡＲコンテンツの画面表示例を示す図（その１〜その３）である。なお、図１４〜図１６の各表示例は、例えば生成部３９により表示内容が生成され、表示領域制御部３７により表示制御される。また、図１４〜図１６に示す撮像画像や配置可能領域、配置不可領域は、図９（Ａ）に対応している。また、図１４〜図１６の例に示すように、本実施形態では、ＡＲコンテンツ（テキスト情報、画像等）の表示において、ＡＲコンテンツの表示による他の情報の視認が阻害されることを抑制するための表示制御が行われる。

生成部３９における表示内容の生成としては、例えばＡＲコンテンツのサムネイル画像の生成、アイコンへの変換、フォント（文字サイズ）変更、メッセージ集約（集約情報）の生成等がある。また、表示領域制御部３７による表示制御としては、例えば最新情報のみの出力、ユーザ権限レベルに基づく優先表示、サムネイル画像やアイコンからユーザの選択による拡大表示等がある。また、表示制御の一例としては、利用履歴の表示、時間帯に対応したＡＲコンテンツ表示等があるが、これに限定されるものではない。

例えば、図１４の例では、ＡＲコンテンツの種別（例えば、テキスト、画像、手書き）等に対応させたアイコン１３１−１〜１３１−３等を設定する。アイコンの種類は、図１４の例に限定されるものではない。

図１４（Ａ）の例において、配置可能領域１０２−１には、詳細表示のＡＲコンテンツ１２０−１〜１２０−３が表示されている。また、配置可能領域１０２−２には、ＡＲコンテンツの種別に対応するアイコン１３１−１〜１３１−３が表示されている。本実施形態では、例えば元の詳細情報のＡＲコンテンツの表示領域が、配置可能領域１０２−２よりも所定の閾値以上大きかった場合や配置不可領域１０３−１等と重なった場合等にアイコン表示されるが、これに限定されるものではない。例えばＡＲコンテンツの設定時にユーザ等がアイコン表示の有無の設定を行ってもよい。

また、配置可能領域１０２−２に表示されているアイコン１３１−１〜１３１−３のうち、何れかのアイコン（例えば、アイコン１３１−１）をユーザが選択することで、図１４（Ｂ）に示すように選択したアイコンに対応する詳細情報１３２−１を表示することができる。また、アイコン１３１ではなく、縮小表示されているＡＲコンテンツについては、ユーザの選択によりＡＲコンテンツの拡大表示を行う。なお、上述した詳細表示されたＡＲコンテンツや拡大表示されたＡＲコンテンツは、配置不可領域上に表示されることになるが、ユーザの許可（選択）により表示制御される内容であるため、視認が阻害されるものではない。また、詳細表示や拡大表示されたＡＲコンテンツは、そのＡＲコンテンツの表示部分をユーザが選択したり、所定時間（例えば、１０秒）経過した後に表示が消去され、元の画像に戻る。

このように、本実施形態では、ユーザに対して、最初にＡＲマーカのマーカＩＤに対応するＡＲコンテンツの存在をアイコン等で通知し、ユーザの選択に応じて詳細情報を提示することができる。

図１５の例では、表示領域制御部３７は、配置可能領域の投影領域内に表示する複数のＡＲコンテンツを集約し、集約された件数を配置可能領域内に表示する。表示領域制御部３７は、例えば図１５（Ａ）に示すように、表示するＡＲコンテンツをメッセージ集約し、集約した件数を画面表示してもよい。図１５（Ａ）の例では、アイコン１３１−１に対して集約件数８件を示すＡＲコンテンツ１４１−１が表示され、アイコン１３１−２に対して集約件数３件を示すＡＲコンテンツ１４１―２が表示されている。

ここで、例えばアイコン１３１−１に対応する集約件数（８件）の表示部分（ＡＲコンテンツ１４１−１）を選択することで、図１５（Ｂ）に示すように、８件のメッセージに対応するＡＲコンテンツ１４２が表示される。なお、表示領域制御部３７は、集約された全メッセージ（８件）のうち、少なくとも１つ（図１５（Ｂ）の例では、ＡＲコンテンツ１４２−１〜１４２−４）を所定順序（例えば、登録された順等）で表示させることができるが、これに限定されるものではない。

また、図１５（Ｂ）の例でもＡＲコンテンツ１４２−１〜１４２−４は、配置不可領域１０３−３上に表示されることになるが、ユーザの許可（選択）により表示制御される内容であるため、視認が阻害されるものではない。また、ＡＲコンテンツ１４２−１〜１４２−４は、そのＡＲコンテンツの表示部分をユーザが選択したり、所定時間（例えば、１０秒）経過した後に表示が消去され、元の画像に戻る。このように、本実施形態では、例えば集約件数の表示部分をユーザが選択することで、集約情報（メッセージ等）を展開して表示することができる。

図１６の例では、表示領域制御部３７は、配置可能領域の投影領域内に表示する複数のＡＲコンテンツを時系列に重ねて表示し、ユーザの選択により最前面にあるＡＲコンテンツを重ねられた他のＡＲコンテンツに変更して表示する。表示領域制御部３７は、例えば図１６（Ａ）に示すように、ＡＲマーカ９０のマーカＩＤに対して表示されるＡＲコンテンツが複数ある場合に、ＡＲコンテンツ群１５１として配置可能領域１０２−１に表示させる。この場合、表示領域制御部３７は、ＡＲコンテンツ群に含まれるＡＲコンテンツを登録順にソートし、登録した最新の情報を最前面に表示する。

また、例えばユーザがＡＲコンテンツ群１５１の表示部分を選択すると、表示領域制御部３７は、図１６（Ｂ）に示すように、それまで最前面にあったＡＲコンテンツをＡＲコンテンツ群１５１の最背面に配置し、その次に新しいＡＲコンテンツを最前面に表示する。これにより、ユーザの選択毎に時系列にＡＲコンテンツの情報を参照することができる。

このように、本実施形態では、ＡＲコンテンツ群１５１により、複数のＡＲコンテンツが存在することをユーザに通知することができ、その後のユーザの選択により、それぞれの情報を容易に参照することができる。また、図１６の例では、配置可能領域１０２−１内で複数のＡＲコンテンツを参照することができる。

上述したように、本実施形態では、表示情報を適切に重畳表示することができる。例えば、本実施形態では、基準物に対する相対位置座標で表示情報の配置可能領域（第１の空間）や配置不可領域（第２の空間）等を定義する。また、この定義情報を基にして、基準物の位置と視点に合わせた適切な表示領域を動的に計算することで、ユーザが調整することなく自動的に表示情報の適切な重畳表示が可能となる。例えば、多数の表示情報が同じ位置に紐付けられていても、ユーザが注目する対象物の視界を邪魔することなく、多くの表示情報を表示することができる。したがって、本実施形態によれば、表示情報の表示による他の情報の視認が阻害されることを抑制することができる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した実施例の一部又は全部を組み合わせることも可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
第１の空間に対応付けられて受け付けた前記第１の空間を指定する座標と、前記座標の基準となる基準物及び撮像部の位置関係とに基づいて、前記第１の空間が前記撮像部により撮像される撮像画像内に占める領域を示す第１の投影領域を算出する算出部と、
前記算出部により得られる前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行う表示領域制御部とを有することを特徴とする端末装置。
（付記２）
前記算出部は、第２の空間に対応付けられて受け付けた第２の空間を指定する座標と、前記位置関係とに基づいて、前記第２の空間が前記撮像画像内に占める領域を示す第２の投影領域を算出し、
前記表示領域制御部は、前記第１の投影領域から、前記第１の投影領域と前記第２の投影領域とが重なった領域を除いた領域内に、前記表示情報を表示させることを特徴とする付記１に記載の端末装置。
（付記３）
前記表示領域制御部は、
前記第１の投影領域内に表示させる前記表示情報の表示領域が、前記第２の投影領域と重なる場合に、所定の縮小率で縮小された前記表示情報を表示することを特徴とする付記２に記載の端末装置。
（付記４）
前記表示領域制御部は、
前記第１の投影領域内に表示させる前記表示情報の表示領域が、前記第２の投影領域と重なる場合に、前記表示情報に対応するサムネイル画像又はアイコンを表示することを特徴とする付記２又は３の何れか１項に記載の端末装置。
（付記５）
前記表示領域制御部は、
ユーザによる前記サムネイル画像又は前記アイコンの選択により、前記サムネイル画像又は前記アイコンに対応する表示情報を前記第２の投影領域を含む領域に表示することを特徴とする付記４に記載の端末装置。
（付記６）
前記表示領域制御部は、
前記第１の投影領域内に表示する複数の前記表示情報を集約し、集約された件数を前記第１の投影領域内に表示することを特徴とする付記１乃至５の何れか１項に記載の端末装置。
（付記７）
前記表示領域制御部は、
前記第１の投影領域内に表示する複数の前記表示情報を時系列に重ねて表示し、ユーザの選択により最前面にある表示情報を重ねられた他の表示情報に変更して表示することを特徴とする付記１乃至６の何れか１項に記載の端末装置。
（付記８）
基準物の識別情報に対応する表示情報の配置領域情報が登録された情報処理装置と、
入力画像から取得した基準物の識別情報に対応する配置領域情報を前記情報処理装置から取得し、取得した配置領域情報に含まれる第１の空間に対応付けられて受け付けた前記第１の空間を指定する座標と、前記座標の基準となる基準物及び前記入力画像を撮像した撮像部の位置関係とに基づいて、前記第１の空間が前記入力画像内に占める領域を示す第１の投影領域を算出し、算出した前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行う端末装置とを有することを特徴とする情報処理システム。
（付記９）
端末装置が、
第１の空間に対応付けられて受け付けた前記第１の空間を指定する座標と、前記座標の基準となる基準物及び撮像部の位置関係とに基づいて、前記第１の空間が前記撮像部により撮像される撮像画像内に占める領域を示す第１の投影領域を算出し、
算出した前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行うことを特徴とする表示制御方法。
（付記１０）
第１の空間に対応付けられて受け付けた前記第１の空間を指定する座標と、前記座標の基準となる基準物及び撮像部の位置関係とに基づいて、前記第１の空間が前記撮像部により撮像される撮像画像内に占める領域を示す第１の投影領域を算出し、
算出した前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行う、
処理をコンピュータに実行させる表示制御プログラム。

１０ 情報処理システム
１１ サーバ（情報処理装置）
１２ 端末装置
１３ 通信ネットワーク
２１，３１ 通信部
２２，３３ 記憶部
２３ 登録部
２４ 抽出部
２５，４１ 制御部
３２ 撮像部
３４，６３ 表示部
３５ 入力部
３６ 配置領域設定部
３７ 表示領域制御部
３８ 認識部
３９ 生成部
４０ 算出部
５１ 入力装置
５２ 出力装置
５３，７２ ドライブ装置
５４，６９ 補助記憶装置
５５，７０ 主記憶装置
５６，７１ ＣＰＵ
５７ ネットワーク接続装置
５８,７３ 記録媒体
６１ マイク
６２ スピーカ
６４ 操作部
６５ センサ部
６６ 電力部
６７ 無線部
６８ 近距離通信部
８０ パイプ（配管）
８１ バルブ（弁）
８２ サーバラック
９０ ＡＲマーカ（基準物）
１０１，１１１ 実物体
１０２，１１２，１２１ 配置可能領域
１０３，１１３，１２２ 配置不可領域
１２０，１４１ ＡＲコンテンツ
１３１ アイコン
１３２ 詳細情報
１５１ ＡＲコンテンツ群

Claims (8)

1. 基準物が配置された空間に含まれる第１の領域の前記基準物を基準とする座標と、前記基準物及び撮像部の位置関係とに基づいて、前記撮像部により撮像される撮像画像のうち、前記第１の領域に対応する画像領域を示す第１の投影領域を算出する算出部と、
   前記算出部により得られる前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行う表示領域制御部とを有することを特徴とする端末装置。
2. 前記算出部は、第２の領域の前記基準物を基準とする座標と、前記位置関係とに基づいて、前記撮像画像のうち、前記第２の領域に対応する画像領域を示す第２の投影領域を算出し、
   前記表示領域制御部は、前記第１の投影領域から、前記第１の投影領域と前記第２の投影領域とが重なった領域を除いた領域内に、前記表示情報を表示させることを特徴とする請求項１に記載の端末装置。
3. 前記表示領域制御部は、
   前記第１の投影領域内に表示させる前記表示情報の表示領域が、前記第２の投影領域と重なる場合に、所定の縮小率で縮小された前記表示情報を表示することを特徴とする請求項２に記載の端末装置。
4. 前記表示領域制御部は、
   前記第１の投影領域内に表示させる前記表示情報の表示領域が、前記第２の投影領域と重なる場合に、前記表示情報に対応するサムネイル画像又はアイコンを表示することを特徴とする請求項２又は３の何れか１項に記載の端末装置。
5. 前記表示領域制御部は、
   前記第１の投影領域内に表示する複数の前記表示情報を集約し、集約された件数を前記第１の投影領域内に表示することを特徴とする請求項１乃至４の何れか１項に記載の端末装置。
6. 前記表示領域制御部は、
   前記第１の投影領域内に表示する複数の前記表示情報を時系列に重ねて表示し、ユーザの選択により最前面にある表示情報を重ねられた他の表示情報に変更して表示することを特徴とする請求項１乃至５の何れか１項に記載の端末装置。
7. 基準物の識別情報に対応する表示情報の配置領域情報が登録された情報処理装置と、
   入力画像から取得した基準物の識別情報に対応する配置領域情報を前記情報処理装置から取得し、取得した配置領域情報に含まれる、前記基準物が配置された空間に含まれる第１の領域の前記基準物を基準とする座標と、前記基準物及び前記入力画像を撮像した撮像部の位置関係とに基づいて、前記入力画像のうち、前記第１の領域に対応する画像領域を示す第１の投影領域を算出し、算出した前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行う端末装置とを有することを特徴とする情報処理システム。
8. 基準物が配置された空間に含まれる第１の領域の前記基準物を基準とする座標と、前記基準物及び撮像部の位置関係とに基づいて、前記撮像部により撮像される撮像画像のうち、前記第１の領域に対応する画像領域を示す第１の投影領域を算出し、
   算出した前記第１の投影領域内に前記基準物の識別情報に対応して設定された表示情報を表示させる制御を行う、
   処理をコンピュータに実行させる表示制御プログラム。

Images