JP6025522B2 - 画像処理装置、画像処理方法、画像処理システム及びプログラム - Google Patents

Description

本発明は、拡張現実情報を処理する画像処理装置、画像処理方法、画像処理システム及びプログラムに関する。

カメラで撮像した現実空間の映像・画像に、拡張情報を重ね合わせて表示する拡張現実感技術が普及している。拡張現実感技術では、撮像結果内の画像特徴量を用いて、現実空間の物体に拡張現実感を与える画像あるいは映像（ＡＲコンテンツ）を対応付けて重畳表示することができる。

近年は特に、紙ドキュメントの画像特徴量や、紙ドキュメントに印刷したマーカに対してＡＲコンテンツを対応付けておき、撮影機能を持った端末で紙ドキュメントを撮影することで、ＡＲコンテンツを再生可能にするという利用形態の普及が進んでいる。この利用形態においては、ドキュメント同士に相互関係がある場合も多い。ドキュメントを撮影した現実空間内に、ＡＲマーカ若しくは画像特徴量が２つ以上存在する場合には、それらを用いてドキュメントの関係性をＡＲコンテンツで表現したいというニーズがある。

特許文献１においては、撮影した現実空間内に、ＡＲマーカが２つ以上存在する場合に、事前に定義されたＡＲマーカの組み合わせに応じてＡＲコンテンツの表示を変化させる技術が開示されている。また、特許文献２においては、撮影した現実空間内に同一のＡＲマーカが２つ以上存在する場合に、マーカを単一で閲覧する場合とは異なるＡＲコンテンツを表示する技術か開示されている。

特開２０１０−２６８１８ 特開２０１２−１４１７７９

これらの先行技術では、マーカなどの特徴情報同士の組み合わせを事前に定義しておくことで、撮像した現実空間内に特徴情報が２つ以上存在する場合に、その組み合わせに応じてＡＲコンテンツの表示を変更することができる。

しかし、いずれも特徴情報同士の組み合わせを定義する必要があり、特徴情報数が増加すると対応付けが困難である。また、特徴情報の組み合わせに対して一通りの表示形式しか対応付けることができないといった課題がある。

本発明は、上記の問題に鑑みてなされたものであり、特徴情報同士の組み合わせによるＡＲコンテンツを個別に定義することなく、拡張情報が対応づいている特徴情報が２つ以上撮影された場合に、複数の拡張情報を用いて新たな拡張情報を柔軟に生成する画像処理装置を提供することを目的とする。また、その方法、システム及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は以下の構成を備える。即ち、画像を撮像する端末と接続可能な画像処理装置であって、撮像された画像に対応付いている抽出された特徴情報から拡張情報と属性情報とを取得する取得手段と、前記特徴情報が複数抽出された場合、前記属性情報に基づいて、複数の前記特徴情報に対応付いている複数の拡張情報を用いて新たな拡張情報を少なくとも１つ生成する処理手段と、前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段。

本発明に係る画像処理装置は以下の構成を備える。即ち、画像を撮像する端末と接続可能な画像処理装置であって、撮像された画像から抽出された特徴情報から拡張情報を取得する取得手段と、前記特徴情報が複数抽出された場合、前記取得手段で取得される複数の拡張情報を用いて、前記特徴情報が抽出されたそれぞれの位置の関係に応じて異なる新たな拡張情報を少なくとも１つ生成する処理手段と、前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段。

本発明によれば、物体を撮影した現実空間内に拡張情報が対応付いていることを示す特徴情報が２つ以上存在する場合、複数の拡張情報を用いて新たな拡張情報を柔軟に生成処理することができる。

第１の実施形態の装置の構成図 本実施形態のＡＲ端末の模式図 第１の実施形態のデータ形式図 第１の実施形態におけるコンテンツ処理の模式図 第２の実施形態におけるコンテンツのデータ形式図 第１の実施形態におけるコンテンツ処理の模式図 第１の実施形態の全体処理の流れを示すフローチャート 第１の実施形態のコンテンツ処理判別の流れを示すフローチャート 第２の実施形態の装置の構成図 第２の実施形態のデータ形式図 第２の実施形態におけるコンテンツ処理の模式図 第２の実施形態におけるコンテンツのデータ形式図 第２の実施形態におけるコンテンツ処理の模式図 第２の実施形態の全体処理の流れを示すフローチャート 第３の実施形態のデータ形式図 第３の実施形態におけるコンテンツ処理の模式図 第４の実施形態のデータ形式図 第４の実施形態におけるコンテンツ処理の模式図

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

（第１の実施形態）
図１（Ａ）は、本実施形態を適用する拡張現実システムを示す構成図である。本実施形態の拡張現実システムは、ＡＲ端末１０１とサーバ１０９で構成され、ＡＲ端末１０１とサーバ１０９は、通信部１０８および通信部１１４を介して、インターネットやイントラネット経由で接続可能とすることができる。インターネットやイントラネットへの接続には、たとえば無線通信や携帯電話回線を利用することができる。

ＡＲ端末１０１は、少なくとも現実空間の撮影機能を備えたタブレット端末、携帯電話端末、デジタルカメラ等であり、撮像した映像に拡張現実感を与える画像あるいは映像（ＡＲコンテンツ）を重畳表示することができる。ＣＰＵ１０２は、ＲＯＭ１０３に格納されている制御プログラムを実行することにより、ＡＲ端末１０１の制御をおこなう。ＲＯＭ１０３は、ＡＲ端末１０１が実行するプログラムを格納する。ＡＲ端末１０１がプログラムを実行することにより、当該端末を含むシステムは後述するフローチャートに示す各処理を実行するための各種手段として機能する。ＲＡＭ１０４は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、ＡＲ端末１０１によって実行する。撮影部１０５は、光学装置および撮像素子等によって構成され、ＣＰＵ１０２からの指示に応じて、被写体の撮像をおこなう。入力部１０６は、操作ボタン、タッチパネル等で構成され、ユーザからの指示を受け付ける。表示部１０７は、液晶パネル等で構成され、本実施形態の処理対象となるデータを表示する。

サーバ１０９は、ＡＲ端末１０１に提供するＡＲコンテンツを管理・処理するものである。ＣＰＵ１１０は、ＲＯＭ１１１に格納されている制御プログラムを実行することにより、サーバ１０９の制御をおこなう。ＲＯＭ１１１は、サーバ１０９が実行するプログラムを格納する。ＣＰＵ１１０がプログラムを実行することにより、当該システムは後述するフローチャートに示す各処理を実行するための各種手段として機能する。ＲＡＭ１１２は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、サーバ１０９によって実行する。記憶装置１１３は、本実施形態の処理対象となるデータを保持している。たとえば、ＡＲコンテンツの識別をおこなうための識別情報やＡＲコンテンツのデータを保持している。記憶装置１１３としては、フラッシュメモリ、ＨＤＤなどを用いることができる。

なお、本実施形態では後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０２およびＣＰＵ１１０を用いてソフトウェアで実現するが、その処理の一部又は全部を電子回路などのハードウェアで実現するようにしても良い。

図１（Ｂ）は、本実施形態におけるデータ処理部分の構成を示した構成図である。ＡＲ端末１０１内は、撮影部１１５を用いて現実空間を画像あるいは映像として撮影した撮像結果をサーバ１０９に送信する。その上で、撮像結果に重畳表示するコンテンツをサーバ１０９から受信し、表示部１０７に表示する。

サーバ１０９では、受信した撮像結果に基づいて、ＡＲ端末１０１に拡張現実コンテンツを提供する。まず、撮像結果を認識部１１６で解析し、ＡＲマーカまたは画像特徴などの特徴情報を認識する。（認識部１１６はＡＲ端末側にあっても良い。）この特徴情報は、対応づいているＡＲコンテンツを識別するための識別情報になる。

識別情報に対応付けられたコンテンツおよび属性情報を、コンテンツ取得部１１７および属性情報取得部１１８によって取得する。

ここで、サーバ１０９は、属性情報に応じたコンテンツの処理方法を定義するルール記憶部１２０を保持している。ルール記憶部１２０に記憶されたルール（定義情報）に従い、コンテンツ処理方法判定部１１９で処理方法を判定し、コンテンツ処理部１２１を用いて加工処理をおこなう。ここで処理されたコンテンツを、ＡＲ端末１０１へ送信する。ＡＲ端末１０１は、サーバ１０９から受信したＡＲコンテンツをコンテンツ再生部１２２で、表示部１０７に表示する。

図２は、ＡＲ端末１０１を用いて拡張現実情報を閲覧する様子を示した図である。図２（Ａ）は、タブレット端末であるＡＲ端末１０１の概観を示した図である。図２（Ｂ）は、ＡＲ端末１０１を紙面２０１上にかざしている状態である。ここでは、紙面２０１内に埋め込まれた特徴情報に基づき、ＡＲコンテンツ２０２が拡張現実情報として、ＡＲ端末１０１の画面に表示されている。次に、図２（Ｃ）は、図２（Ｂ）とは別の紙面２０３上にＡＲ端末１０１をかざしている状態である。ここでは、紙面２０３内に埋め込まれた特徴情報に基づき、ＡＲコンテンツ２０４が拡張現実情報として、ＡＲ端末１０１の画面に表示されている。最後に、図２（Ｄ）は、紙面２０１と紙面２０３上にＡＲ端末１０１をかざしている状態である。このときＡＲ端末１０１には、図２（Ｂ）および図２（Ｃ）で表示されていたコンテンツとは異なるＡＲコンテンツ２０５が表示されている。ＡＲコンテンツ２０５は、ＡＲコンテンツ２０２およびＡＲコンテンツ２０４に対して何らかの処理を施したものである。このように、ユーザは、紙面２０１・紙面２０３をそれぞれ単体で閲覧しているときには得られなかった別のＡＲコンテンツ２０５を閲覧することができる。

図３は、本装置において扱うデータの形式を示した図である。図３（Ａ）に示すデータ３０１は、撮像結果に含まれる画像特徴量などの特徴情報とＡＲコンテンツおよび属性情報の対応付けを管理している。特徴情報は、ＡＲコンテンツを識別するための識別情報として使われる。属性情報は識別情報に対応付くものでも良いし、ＡＲコンテンツに対応付くものであっても良い。属性情報の例としては、ＡＲコンテンツの分類を示す情報や、分類に応じた付加情報、ドキュメントのバージョン情報、作成日などがある。図３（Ｂ）に示すコンテンツ処理ルール３０２は、属性情報の組み合わせに応じたＡＲコンテンツの処理内容を定義した定義情報である。コンテンツ処理ルール３０２は、ルール記憶部１２０が管理する。なお、ＡＲコンテンツのデータとしては、ＸＭＬのような構造化されたデータを用いることができ、その場合にはＡＲコンテンツ同士の合成や差分をとるといった処理を容易におこなうことができる。

また、本例では識別情報の例として画像特徴量を用いる構成とした。画像特徴量は、局所特徴点とその周辺の画像特徴とに基づいて当該特徴点に対応する局所特徴量を算出することで得られる。具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた画像上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素値が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。尚、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。そして、局所特徴点周辺の所定範囲を４×４の１６ブロックに分割し、それぞれのブロックについて、それぞれ４５度ずつ異なる８方向の勾配方向ヒストグラムを作成する。その１２８次元の特徴ベクトルを局所特徴量とする。このような局所特徴量をＳＩＦＴ特徴量と呼んでいる。尚、局所特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず、どのような特徴量算出方法でも適用可能である。

その他、ＱＲコード（登録商標）やバーコードのようなマーカ情報をＡＲコンテンツの識別情報としてもよい。この場合には、画像特徴量を用いる場合より、管理に必要なデータ量を減らすことができる。

図４は、特徴情報を埋め込んだドキュメントおよびＡＲコンテンツの具体例を示したものである。図４（Ａ）（Ｂ）は、ＡＲ端末１０１を用いてドキュメント４０１およびドキュメント４０２をそれぞれ単体で閲覧した場合のＡＲ端末１０１上における表示を示している。ここでは、ドキュメント４０１とドキュメント４０２は、それぞれＡ社とＢ社の決算報告書であり、対応付いたＡＲコンテンツとして、各社の業績がグラフ表示されている。ＡＲコンテンツ４０３は、Ａ社の売上高、売上総利益、営業利益、純利益を表わしており、ＡＲコンテンツ４０４は、Ｂ社の売上高、売上総利益、営業利益、純利益を表わしている。これに対し、図４（Ｃ）は、ＡＲ端末１０１を用いてドキュメント４０１およびドキュメント４０２を同時に閲覧した場合の、ＡＲ端末１０１上における表示を示している。以降、同時に閲覧するとは、ドキュメント４０１およびドキュメント４０２が近くに存在しており、ＡＲ端末１０１の画面上に２つのドキュメントが共に表示されている状態を指す。即ち、２つの特徴情報が端末１０１またはサーバ１０９で認識される状態である。ＡＲコンテンツ４０５は、Ａ社とＢ社の業績の相違を比較可能なように１つのグラフとして表現したものとなっている。この例では、ユーザがドキュメント４０１およびドキュメント４０２を同時に閲覧することで、特別な操作をおこなうことなく、Ａ社とＢ社の業績の相違を比較可能になる。

図５は、ＡＲコンテンツ４０３〜ＡＲコンテンツ４０５のデータ形式を示した図である。ここに示したデータ形式に対して表計算ソフトを用いることで、ＡＲコンテンツ４０３〜ＡＲコンテンツ４０５に示したようなグラフ表示をおこなうことができる。図５（Ａ）および図５（Ｂ）は、それぞれＡＲコンテンツ４０３、ＡＲコンテンツ４０４に対応するデータである。それぞれ、Ａ社およびＢ社の売上高、売上総利益、営業利益、純利益が数値データとして管理されている。一方、図５（Ｃ）は、ＡＲコンテンツ４０５に対応するデータである。このデータは、Ａ社とＢ社の売上高、売上総利益、営業利益、純利益を集計したものとなっており、表計算ソフトなどで明らかである公知の技術を適用することで容易にＡＲコンテンツ４０５を表示することができる。ＡＲコンテンツ４０５は、サーバ１０９側で予め記憶されている必要はない。ドキュメント４０１，４０２がＡＲ端末１０１で同時に閲覧され、サーバ１０９側でそれぞれの特徴情報からＡＲコンテンツ４０３，４０４とその属性情報とが得られてから、属性情報に基づいてＡＲコンテンツ４０３，４０４を処理して生成できる。

図６は、特徴情報を埋め込んだドキュメントおよびＡＲコンテンツの別の具体例を示したものである。図６（Ａ）（Ｂ）は、ＡＲ端末１０１を用いてドキュメント４０１およびドキュメント６０１をそれぞれ単体で閲覧した場合のＡＲ端末１０１上における表示を示している。ここでは、ドキュメント４０１とドキュメント６０１は、それぞれＡ社の２０１２年１Ｑ決算報告書とＡ社の２０１１年４Ｑ決算報告書であり、対応づいたＡＲコンテンツとして、各期の業績がグラフ表示されている。ＡＲコンテンツ４０３は、２０１２年１Ｑの売上高、売上総利益、営業利益、純利益を表わしており、ＡＲコンテンツ６０２は、２０１１年４Ｑの売上高、売上総利益、営業利益、純利益を表わしている。これに対し、図６（Ｃ）は、ＡＲ端末１０１を用いてドキュメント４０１およびドキュメント６０１を同時に閲覧した場合のＡＲ端末１０１上における表示を示している。ＡＲコンテンツ６０３は、２０１２年１Ｑと２０１１年４Ｑの業績の相違を比較可能なように１つのグラフとして表現したものとなっている。ＡＲコンテンツ６０２およびＡＲコンテンツ６０３のデータ形式としては、図５と同様の形式を用いることができ、表計算ソフトなどで明らかである公知の技術を適用することでグラフ形式のコンテンツを表示することができる。この例では、ユーザがドキュメント４０１およびドキュメント６０１を同時に閲覧することで、特別な操作をおこなうことなく、時期による業績の推移を把握可能になる。

図４、６で示した例以外にも、図１１のドキュメント１１０１とドキュメント１１０２とのように、日付の古いドキュメントと新しいドキュメントであることが属性情報によって分かれば、それぞれのドキュメントに対応づいたＡＲコンテンツの差分情報を生成することができる。

また、特徴情報が文書に１対１で関連付いている必要はなく、１つの文書内に拡張情報に対応づいた複数の特徴情報が存在することもある。

上述の動作を、フローチャートに従って説明する。

図７は、本実施形態における撮影部１１５〜コンテンツ再生部１２２の処理を示すフローチャートである。まず、ステップＳ７０１で、ＡＲ端末１０１の撮影部１０５を用いて現実空間を撮影する。つづいて、ステップＳ７０２では、認識部１１６により、ステップＳ７０１で撮影した撮像結果を用いて、ＡＲコンテンツを識別するための識別情報を認識する。ここでは、識別情報として画像特徴量を用いる構成としたが、専用のマーカを用いる構成としても良い。また、認識部１１６は、ＡＲ端末１０１側、サーバ１０９側のどちらにあってもよい。前述のＳＩＦＴ特徴量、専用のマーカから得られる特徴情報を、ＡＲコンテンツを識別するための識別情報に用いる。

ステップＳ７０３は、ステップＳ７０２で認識した識別情報に対応付けられたＡＲコンテンツをコンテンツ取得部１１７で取得する。本ステップでは、図３に示すデータ３０１を参照して、識別情報からＡＲコンテンツを取得する。ステップＳ７０４では、ステップＳ７０２で認識した識別情報に対応付けられた属性情報を属性情報取得部１１８で取得する。本ステップでは、ステップＳ７０２と同様に図３に示すデータ３０１を参照して、識別情報から属性情報を取得する。ここでは、識別情報に対し、属性情報が対応付く構成としたが、ＡＲコンテンツに対して対応付く構成としても良い。この構成によれば、複数の識別情報に対して同一のＡＲコンテンツが対応付いている場合に、管理に必要なデータ量を縮小することができる。たとえば、図３において、３つの画像特徴量に対して、いずれもＡＲコンテンツＡが対応付いていたとする。この場合には、識別情報に対し属性情報を対応付けると、同一の属性情報を３つ重複して格納する必要がある。一方、ＡＲコンテンツに対して属性情報を対応付ける構成とし、その対応付けを別表で管理すると、属性情報を重複して格納する必要がなくなる。

ステップＳ７０５では、ステップＳ７０２において２つ以上の識別情報が認識されたか否かを判定する。識別情報が１つしか認識されなかった場合には、ステップＳ７０８へ進みステップＳ７０３で取得したＡＲコンテンツをそのまま再生する。一方、識別情報が２つ以上認識された場合には、ステップＳ７０６へ進み、ステップＳ７０３で取得したＡＲコンテンツを処理する方法をコンテンツ処理方法判別部１１９で判別する。本ステップの処理の詳細については、別途図８で説明する。ステップＳ７０７では、ステップＳ７０６で判別した処理をＡＲコンテンツに対してコンテンツ処理部１２１で施す。最後に、ステップＳ７０８で、ステップＳ７０７で処理したＡＲコンテンツをコンテンツ再生部１２２で再生する。

図８は、図７のステップＳ７０６の処理の詳細を示すフローチャートである。本フローでは、図３に示すコンテンツ処理ルール３０２を参照して、属性情報の組み合わせに応じたコンテンツ処理方法を判別する。コンテンツ処理ルール３０２内のルールに対し、１つ１つ合致するか否かをチェックしていく。チェック対象のルールは、属性情報の分類情報に応じて事前に絞り込んでも良い。

まず、ステップＳ８０１では、最初に参照するルールを設定する。ステップＳ８０２では、ステップＳ７０４で取得した属性情報が、現在設定されているルールに合致するか否かを判定する。ルールの具体例としては、「２つの識別情報に対応づいた属性情報の内、分類情報がいずれも”決算報告”であり、なおかつ属性情報の社名が同一のものである」といったものがある。本ステップでルールに合致すると判定された場合には、ステップＳ８０３へ進む。ステップＳ８０３では、ルールに従ってＡＲコンテンツの処理方法を設定する。たとえば、「２つのＡＲコンテンツのグラフを合成して、年単位でグラフ化する」という処理を設定することができる。

一方、ステップＳ８０２でルールに合致しないと判定された場合には、ステップＳ８０４へと進む。ステップＳ８０４では、次に参照するべきルールがあるか否かを判定する。参照するべきルールがない場合には、ステップＳ７０６にてデフォルトの処理を設定し、本フローを終了する。たとえば、デフォルトの処理としては、「何も処理しない」という処理を設定することができる。一方、参照するべきルールがある場合には、ステップＳ８０５へ進み、次に参照するルールを設定し、ステップＳ８０２へ戻る。

なお、本実施形態においては、ルール記憶部１２０が属性の組み合わせに応じたコンテンツ処理方法を記憶する構成としたが、機械学習やデータマイニング手法を用いてルールを動的に生成する構成としても良い。

この場合には、まず、どのような属性情報のＡＲコンテンツに対して、ユーザがどういう操作をおこなったかというデータを収集する。ここで、ユーザの操作とは、コンテンツの合成処理指示や差分取得指示などがある。そのうえで、ある程度の数のデータ集合を対象に、クラスター分析やサポートベクターマシンなどを用いた解析をおこなう。たとえば、属性情報を多変量データとして扱い、似た属性情報をグループ化することができる。属性情報のグループごとに、ユーザの操作の確率を算出し、もっとも確率の高い操作をルールとして抽出することができる。このように機械学習などの手段を用いることで、事前に人手でルールを作成することなく、コンテンツを処理することが可能となる。

また、コンテンツ処理ルール３０２には、グラフとして合成表示する以外にも例えば、複数のＡＲコンテンツを比較して、最も数値の高いデータを強調処理するルールを入れても良い。強調処理は、太字にする、星などのマークを付ける、色を変えるなどの方法で行う。

本実施形態によって、ドキュメントを複数同時に閲覧した場合、単体で閲覧した場合とは異なるＡＲコンテンツを再生することができる。たとえば、ドキュメント同士の関係性に応じて、２つ以上のＡＲコンテンツの合成表示をおこなうことができる。ドキュメント同士の関係性を、ドキュメントに埋め込まれたＡＲマーカ若しくは画像特徴から得られる属性情報の組み合わせから判断するからである。このように、ユーザは２つ以上のドキュメントを同時に閲覧するだけで、ドキュメント同士の関係性に応じて加工処理されたＡＲコンテンツを閲覧することができる。もちろん、本実施形態は、ドキュメント以外の物体にも適用できる。

例えば、商品一般、ＡＲマーカを付加できるもの、若しくは画像特徴を抽出できるものなら本実施形態を適用できる。

（第２の実施形態）
以下、本発明の第２の実施形態を説明する。なお、第１の実施形態と同一構成部分についてはその説明を省略する。

第１の実施形態では、ＡＲ端末１０１またはサーバ１０９が２つ以上の特徴情報を認識した場合に、特徴情報あるいはＡＲコンテンツ何れかの属性情報の組み合わせに基づき、ＡＲコンテンツに加工処理を施す構成であった。本実施形態では、属性情報の代わりに、２つ以上の特徴情報の位置関係に応じて、ＡＲコンテンツに加工処理を施す。

図９は、本実施形態におけるデータ処理部分の構成を示した構成図である。ＡＲ端末１０１内は、撮影部１１５を用いて現実空間を画像あるいは映像として撮影した撮像結果をサーバ１０９に送信する。その上で、撮像結果に重畳表示するコンテンツをサーバ１０９から受信し、表示部１０７に表示する。

サーバ１０９では、受信した撮像結果に基づいて、ＡＲ端末１０１に拡張現実コンテンツを提供する。まず、撮像結果を認識部１１６で解析し、ＡＲマーカまたは画像特徴などの特徴情報を認識する。（認識部１１６はＡＲ端末側にあっても良い。）この特徴情報は、対応づいているＡＲコンテンツを識別するための識別情報になる。

コンテンツ取得部１１７によって、識別情報に対応付けられたコンテンツを取得する。つぎに、認識部１１６で認識した識別情報の位置関係を、特徴情報を抽出した位置を用いて、位置関係算出部９０１で算出する。ここで、サーバ１０９は、識別情報の位置関係に応じたコンテンツの処理方法を定義するルール記憶部１２０を保持している。ルール記憶部１２０に記憶されたルールに従い、コンテンツ処理方法判定部１１９で処理方法を判定し、コンテンツ処理部１２１を用いて加工処理をおこなう。ここで処理されたコンテンツを、ＡＲ端末１０１へ送信する。ＡＲ端末１０１は、サーバ１０９から受信したＡＲコンテンツをコンテンツ再生部１２２で、表示部１０７に表示する。

図１０は、本装置において扱うコンテンツ処理ルール１００１の形式を示した図である。コンテンツ処理ルール１００１は、位置関係算出部９０１で算出した識別情報間の位置関係に応じたＡＲコンテンツの処理内容を定義した定義情報である。本例では、２つの識別情報が横並びであるか重なっているかによって、２つのＡＲコンテンツの差分をとる、あるいは２つのＡＲコンテンツを合成するという処理判別をおこなうルールを定義している。さらに、２つの識別情報の内、一方が傾いた位置関係である場合には、傾いていない識別情報に対応づいたＡＲコンテンツのみを表示するというルールも定義している。その他、識別情報間の距離が近い場合には、ＡＲコンテンツを合成し、識別情報間の距離が遠い場合には、ＡＲコンテンツを合成せず、それぞれ単体のＡＲコンテンツを表示することにしても良い。距離は、絶対値で定義しても良いし、撮影領域の幅の７割以下など相対値で定義しても良い。コンテンツ処理ルール１００１は、ルール記憶部１２０が管理する。

図１１は、本実施形態における特徴情報を埋め込んだドキュメントおよびＡＲコンテンツの具体例を示したものである。図１１（Ａ）は、ＡＲ端末１０１を用いてドキュメント１１０１およびドキュメント１１０２を横に並べて近い距離で閲覧した場合のＡＲ端末１０１上における表示を示している。ここでは、ドキュメント１１０１とドキュメント１１０２は、発注日違いの注文書である。ＡＲコンテンツ１１０３は、ドキュメント１１０１とドキュメント１１０２の発注品の差分情報を表示している。なお、図示していないが、ＡＲ端末１０１を用いてドキュメント１１０１とドキュメント１１０２をそれぞれ単体で閲覧した場合には、それぞれの注文内容がＡＲコンテンツとして表示されるものとする。

これに対し、図１１（Ｂ）は、ＡＲ端末１０１を用いてドキュメント１１０１およびドキュメント１１０２を上下に重ねて閲覧した場合のＡＲ端末１０１上における表示を示している。ＡＲコンテンツ１１０４は、ドキュメント１１０１とドキュメント１１０２の発注品の合計情報を表示している。このように、ユーザが２つのドキュメントの位置関係を変更することで、２つの注文書間の差分および合計を閲覧可能になる。差分情報を生成する場合は、上に重なっているドキュメント１１０２のＡＲコンテンツから下に重なっているドキュメント１１０１のＡＲコンテンツのデータを引き算して差分情報を生成することをルール記憶手段１２１に記憶しておいても良い。

ドキュメントの配置が横並びであるか、重なっているかの算出方法としては、例えばドキュメントを撮像した画像に対して公知の画像処理技術を適用することで得られる、例えば、画像特徴量の欠損有無やエッジ検出結果を利用することができる。画像特徴量が欠損していた場合には、一方のドキュメントが他方のドキュメントで覆われている状態であり、２つのドキュメントが重なっているとみなすことができる。また、エッジ検出では、ドキュメントの境界を得ることができ、ドキュメントのエッジが不連続であれば、２つのドキュメントが重なっているとみなすことができる。

図１２（Ａ）（Ｂ）は、それぞれドキュメント１１０１およびドキュメント１１０２の注文内容に対応づいたＡＲコンテンツのデータ形式の例である。各注文書に対応する、商品コード、品名、単価、個数、金額が数値データとして管理されている。これらのデータに対して、表計算ソフトなどで明らかである公知の技術を適用することで、２つの注文書間の注文差分や注文合計を容易に計算することが可能である。

図１３は、本実施形態における特徴情報を埋め込んだドキュメントおよびＡＲコンテンツの別の具体例を示したものである。ＡＲ端末１０１を用いて、図４に示したドキュメント４０１およびドキュメント４０２を同時に近い距離で閲覧しているが、ドキュメント４０１の配置が大きく傾いている場合のＡＲ端末１０１上における表示を示している。この例では、ＡＲコンテンツ１３０１として、ドキュメント４０２を単体で閲覧した場合のＡＲコンテンツと同一のものが再生されている。

このように、一方のドキュメントの配置が大きく傾いている場合には、ユーザにはそのドキュメントを参照する意図がないとみなし、傾いていない方のドキュメントのＡＲコンテンツのみを表示することができる。ドキュメントの配置の傾きの算出方法としては、例えばドキュメントを撮像した画像に対して、公知の画像処理技術を適用することによって得られるエッジ検出結果を利用することができる。エッジ検出では、ドキュメントの境界を得ることができ、エッジが傾いているか否かをドキュメントの傾きの判定に用いることができる。

上述の動作を、フローチャートに従って説明する。

図１４は、本実施形態における撮影部１１５〜コンテンツ再生部１２２の処理を示すフローチャートである。まず、ステップＳ１４０１で、撮影部１０５を用いて現実空間を撮影する。つづいて、ステップＳ１４０２では、認識部１１６により、ステップＳ１４０１で撮影した撮像結果を用いて、ＡＲコンテンツを識別するための識別情報を認識する。また、認識部１１６は、ＡＲ端末１０１側、サーバ１０９側のどちらにあってもよい。前述のＳＩＦＴ特徴量、専用のマーカから得られる特徴情報を、ＡＲコンテンツを識別するための識別情報に用いる。

ステップＳ１４０３は、ステップＳ１４０２で認識した識別情報に対応付けられたＡＲコンテンツをコンテンツ取得部１１７で取得する。本ステップでは、図３に示すデータ３０２を参照して、識別情報からＡＲコンテンツを取得する。ステップＳ１４０４では、ステップＳ１４０２で認識した識別情報の位置関係を位置関係算出部９０１で算出する。位置関係としてはたとえば、２つの識別情報の並び方向、距離、重なりの有無、傾きを算出することができる。

ステップＳ１４０５では、ステップＳ１４０２において２つ以上の識別情報が認識されたか否かを判定する。識別情報が１つしか認識されなかった場合には、ステップＳ１４０８へ進みステップＳ１４０３で取得したＡＲコンテンツをそのまま再生する。一方、識別情報が２つ以上認識された場合には、ステップＳ１４０６へ進み、ステップＳ１４０３で取得したＡＲコンテンツを処理する方法をコンテンツ処理方法判別部１１９で判別する。本ステップの処理の詳細については、別途図８で説明したものと同一である。ステップＳ１４０７では、ステップＳ１４０６で判別した処理をＡＲコンテンツに対して施す。最後に、ステップＳ１４０８で、ステップＳ１４０７で処理したＡＲコンテンツを再生する。

本実施形態によって、ドキュメント同士の位置関係に応じたコンテンツを表示可能となる。たとえば、ドキュメントを並べて閲覧する場合と、重ねて閲覧した場合とで、異なるコンテンツを再生することができる。ドキュメント同士の位置関係を、ドキュメントに埋め込まれたＡＲマーカ若しくは画像特徴量の位置関係から判断したからである。このようにドキュメントの配置を変えるという直観的な操作によって、表示するコンテンツを変更することが可能となる。もちろん、本実施形態は、ドキュメント以外の物体にも適用できる。

例えば、商品一般、ＡＲマーカを付加できるもの、若しくは画像特徴を抽出できるものなら本実施形態を適用できる。

（第３の実施形態）
以下、本発明の第３の実施形態を説明する。本実施形態では、第１の実施形態におけるＡＲコンテンツに施す処理のバリエーションについて開示する。本実施形態においては、第１の実施形態と同一構成部分についてはその説明を省略する。

図１５は、本装置において扱うコンテンツ処理ルール１５０１の形式を示した図である。コンテンツ処理ルール１５０１は、属性情報の組み合わせに応じたＡＲコンテンツの処理内容を定義した定義情報である。本例では、属性情報の組み合わせに応じて、再生対象のコンテンツを切り替える処理をルールとしている。コンテンツ処理ルール１５０１は、ルール記憶部１２０が管理する。

図１６は、特徴情報を埋め込んだ看板およびＡＲコンテンツの具体例を示したものである。図１６（Ａ）は、ＡＲ端末１０１を用いて説明看板１６０１を単体で閲覧した場合のＡＲ端末１０１上における表示を示している。ここでは、説明看板１６０１に対応づいたＡＲコンテンツとして、説明映像であるＡＲコンテンツ１６０２が表示されている。これに対し、図１６（Ｂ）は、ＡＲ端末１０１を用いて説明看板１６０１および子ども用チケット１６０３を同時に閲覧した場合のＡＲ端末１０１上における表示を示している。ＡＲコンテンツ１６０４は、ＡＲコンテンツ１６０２に対応する子ども用映像である。この例では、ユーザが説明看板１６０１および子ども用チケット１６０３を同時に閲覧することで、特別な操作をおこなうことなく、子ども用の映像を閲覧可能になる。子ども用映像（ＡＲコンテンツ１６０４）は、通常映像（ＡＲコンテンツ１６０２）とは別のコンテンツとして事前に用意しておいてもよいが、通常映像に対して、漢字かな変換技術を適用して自動生成する構成としてもよい。適用技術は、漢字かな変換技術に限定されず、たとえば翻訳技術を適用することで外国人向け映像を生成することも可能である。このように映像を動的に生成する構成とする場合には、事前に映像のバリエーションを用意しておく必要がなく、管理するデータ量を削減することができる。

本実施形態によって、属性情報の組み合わせに応じて、再生対象のＡＲコンテンツを別コンテンツに切り替えることが可能となる。上記の例以外にも、ドキュメントとＩＤカードとの組み合わせに応じたコンテンツを再生することも可能であり、セキュリティ保護にも利用することができる。もちろん、本実施形態は、ドキュメント以外の物体にも適用できる。

例えば、商品一般、ＡＲマーカを付加できるもの、若しくは画像特徴を抽出できるものなら本実施形態を適用できる。

（第４の実施形態）
以下、本発明の第４の実施形態を説明する。本実施形態では、第２の実施形態におけるＡＲコンテンツに施す処理のバリエーションについて開示する。本実施形態においては、第２の実施形態と同一構成部分についてはその説明を省略する。

図１７は、本装置において扱うコンテンツ処理ルール１７０１を示した図である。コンテンツ処理ルール１７０１は、位置関係算出部９０１で算出した識別情報間の位置関係に応じたＡＲコンテンツの処理内容を定義した定義情報である。本例では、識別情報の上下の位置関係に応じて、ＡＲコンテンツを強調表示あるいは縮小表示するというルールを定義している。コンテンツ処理ルール１７０１は、ルール記憶部１２０が管理する。

図１８は、図４に示した識別情報を埋め込んだドキュメントに対して、コンテンツ処理ルール１７０１を適用した時のＡＲコンテンツの具体例を示したものである。ドキュメント４０１の上に、ドキュメント４０２を重ねて閲覧している状態である。ＡＲコンテンツ１８０１は、ＡＲコンテンツ４０３を縮小表示しており、ＡＲコンテンツ１８０２は、ＡＲコンテンツ４０４を強調表示している。ドキュメントの配置の上下関係の判定方法としては、例えばドキュメントを撮像した画像の画像特徴量の欠損有無やエッジ検出結果を利用することができる。ＡＲコンテンツの強調表示・縮小表示は、公知の画像処理技術による画像変換処理を用いることができる。

本実施形態によって、識別情報の位置関係に応じて、ＡＲコンテンツの拡大表示あるいは縮小表示をおこなうことができる。たとえば、複数のドキュメントを閲覧している場合に、一番上に重ねているドキュメントのＡＲコンテンツを、大きなサイズで閲覧することができる。もちろん、本実施形態は、ドキュメント以外の物体にも適用できる。

例えば、商品一般、ＡＲマーカを付加できるもの、若しくは画像特徴を抽出できるものなら本実施形態を適用できる。

以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ ＡＲ端末
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 撮像部
１０６ 入力部
１０７ 表示部
１０８ 通信部
１０９ サーバ
１１０ ＣＰＵ
１１１ ＲＯＭ
１１２ ＲＡＭ
１１３ 記憶装置
１１４ 通信部

Claims (26)

1. 画像を撮像する端末と接続可能な画像処理装置であって、
   撮像された画像から抽出された特徴情報に対応付いている拡張情報と属性情報とを取得する取得手段と、
   前記特徴情報が複数抽出された場合、前記属性情報に基づいて、複数の前記特徴情報に対応付いている複数の拡張情報を用いて新たな拡張情報を少なくとも１つ生成する処理手段と、
   前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段と、
   を備えることを特徴とする画像処理装置。
2. 前記特徴情報それぞれは、文書それぞれに関連付いており、前記取得手段では、前記特徴情報から前記文書の属性情報が取得されることを特徴とする請求項１記載の画像処理装置。
3. 前記属性情報は前記拡張情報に対応づいており、前記取得手段では、前記拡張情報に対応する前記属性情報を取得することを特徴とする請求項１または２記載の画像処理装置。
4. 前記属性情報の組み合わせに応じた前記新たな拡張情報の生成処理の定義情報を記憶する記憶手段を更に備え、前記処理手段では、前記定義情報を参照して処理をすることを特徴とする請求項１乃至３何れか１項に記載の画像処理装置。
5. 前記記憶手段には、前記端末で前記拡張情報に対する加工処理が指示された場合、該加工処理の指示を学習して作成した前記定義情報を記憶することを特徴とする請求項４記載の画像処理装置。
6. 前記記憶手段では、前記定義情報は構造化されたデータを用いて記憶することを特徴とする請求項４または５記載の画像処理装置。
7. 前記処理手段では、前記拡張情報の分類を示す前記属性情報に応じて絞り込んだ該分類の定義情報に基づいて、前記複数の拡張情報を用いて新たな拡張情報を少なくとも１つ生成することを特徴とする請求項４乃至６何れか１項に記載の画像処理装置。
8. 前記処理手段は、前記取得した複数の拡張情報を合成処理することを特徴とする請求項１乃至７何れか１項に記載の画像処理装置。
9. 前記処理手段は、前記取得した複数の拡張情報の差分情報を生成する処理をすることを特徴とする請求項１乃至７何れか１項に記載の画像処理装置。
10. 前記処理手段は、前記取得した拡張情報の少なくとも１つを強調処理することを特徴とする請求項１乃至７何れか１項に記載の画像処理装置。
11. 前記特徴情報は、マーカであることを特徴とする請求項１記載の画像処理装置。
12. 前記特徴情報は、ＱＲコード（登録商標）であることを特徴とする請求項１記載の画像処理装置。
13. 前記特徴情報は、画像特徴量であることを特徴とする請求項１記載の画像処理装置。
14. 前記画像特徴量は、ＳＩＦＴ特徴量であることを特徴とする請求項１３記載の画像処理装置。
15. 画像を撮像する端末と接続可能な画像処理装置であって、
    撮像された画像から抽出された特徴情報に対応付いている拡張情報を取得する取得手段と、
    前記特徴情報が複数抽出された場合、複数の前記特徴情報に対応付いている複数の拡張情報を用いて、前記特徴情報が抽出されたそれぞれの位置の関係に応じて異なる新たな拡張情報を少なくとも１つ生成する処理手段と、
    前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段と、
    を備えることを特徴とする画像処理装置。
16. 前記位置の関係に応じた前記新たな拡張情報の生成処理の定義情報を記憶する記憶手段を更に備え、前記処理手段では、前記定義情報を参照して処理をすることを特徴とする請求項１５記載の画像処理装置。
17. 前記記憶手段では、前記定義情報は構造化されたデータを用いて記憶することを特徴とする請求項１６記載の画像処理装置。
18. 前記処理手段では、前記特徴情報が抽出されたそれぞれの位置の距離に応じて、前記取得した拡張情報を加工することを特徴とする請求項１５記載の画像処理装置。
19. 前記特徴情報の傾きを判断する判断手段を更に備え、
    前記処理手段では、前記判断手段で傾きがあると判断された特徴情報から取得した拡張情報は用いないことを特徴とする請求項１５記載の画像処理装置。
20. 画像を撮像する端末と接続可能な画像処理装置の画像処理方法であって、
    撮像された画像から抽出された特徴情報に対応付いている拡張情報と属性情報とを取得する取得工程と、
    前記特徴情報が複数抽出された場合、前記属性情報に基づいて、複数の前記特徴情報に対応付いている複数の拡張情報を用いて新たな拡張情報を少なくとも１つ生成する処理工程と、
    前記処理工程で生成された新たな拡張情報を前記端末に送信する送信工程と、
    を備えることを特徴とする画像処理方法。
21. 画像を撮像する端末と接続可能な画像処理装置の画像処理方法であって、
    撮像された画像から抽出された特徴情報に対応付いている拡張情報を取得する取得工程と、
    前記特徴情報が複数抽出された場合、複数の前記特徴情報に対応付いている複数の拡張情報を用いて、前記特徴情報が抽出されたそれぞれの位置の関係に応じて異なる新たな拡張情報を少なくとも１つ生成する処理工程と、
    前記処理工程で生成された新たな拡張情報を前記端末に送信する送信工程と、
    を備えることを特徴とする画像処理方法。
22. コンピュータを、
    端末で撮像された画像から抽出された特徴情報に対応付いている拡張情報と属性情報とを取得する取得手段と、
    前記特徴情報が複数抽出された場合、前記属性情報に基づいて、複数の前記特徴情報に対応付いている複数の拡張情報を用いて新たな拡張情報を少なくとも１つ生成する処理手段と、
    前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段と、
    として機能させるためのプログラム。
23. コンピュータを
    端末で撮像された画像から抽出された特徴情報に対応付いている拡張情報を取得する取得手段と、
    前記特徴情報が複数抽出された場合、複数の前記特徴情報に対応付いている複数の拡張情報を用いて、前記特徴情報が抽出されたそれぞれの位置の関係に応じて異なる新たな拡張情報を少なくとも１つ生成する処理手段と、
    前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段と、
    として機能させるためのプログラム。
24. 画像を撮像する端末と前記端末が接続可能な画像処理装置とから構成される画像処理システムであって、
    前記画像処理装置は、
    撮像された画像から抽出された特徴情報に対応付いている拡張情報と属性情報とを取得する取得手段と、
    前記特徴情報が複数抽出された場合、前記属性情報に基づいて、複数の前記特徴情報に対応付いている複数の拡張情報を用いて新たな拡張情報を少なくとも１つ生成する処理手段と、
    前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段と、
    を備え、
    前記端末は、
    画像を撮像する撮像手段と、
    前記送信された拡張情報を表示する表示手段と、
    を備えることを特徴とする画像処理システム。
25. 画像を撮像する端末と前記端末が接続可能な画像処理装置とから構成される画像処理システムであって、
    前記画像処理装置は、
    撮像された画像から抽出された特徴情報に対応付いている拡張情報を取得する取得手段と、
    前記特徴情報が複数抽出された場合、複数の前記特徴情報に対応付いている複数の拡張情報を用いて、前記特徴情報が抽出されたそれぞれの位置の関係に応じて異なる新たな拡張情報を少なくとも１つ生成する処理手段と、
    前記処理手段で生成された新たな拡張情報を前記端末に送信する送信手段と、
    を備え、
    前記端末は、
    画像を撮像する撮像手段と、
    前記送信された拡張情報を表示する表示手段と、
    を備えることを特徴とする画像処理システム。
26. 前記撮像手段では、文書の画像を撮像することを特徴とする請求項２４または２５記載の画像処理システム。

Images