JP2015005018A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 撮像された画像に拡張情報を重畳して表示し、拡張情報に注目を促したい場合、撮像された画像中に、拡張情報よりも注目度が高い領域があれば、拡張情報に注目にさせることが困難である。画像は、様々な環境で撮影されるため、何れの環境においても注目されやすい拡張情報を用意しておくのは困難である。
【解決手段】 撮像された画像から抽出された特徴情報に関連付けられた拡張情報を取得し、撮像された画像を分割した領域画像の注目度それぞれと拡張情報の注目度とを比較し、比較結果に基づいて拡張情報の表示条件を変更することにより、様々な環境に対応した注目されやすいＡＲコンテンツを提供することができる。
【選択図】 図１

Description

本発明は、撮像された画像に関連する拡張情報を出力する画像処理装置、方法及びプログラムに関する。

タブレット端末やスマートフォン（以下、タブレット端末およびスマートフォンを併せて、「スマート端末」とも記載する）のカメラを用いて撮像した被写体に関連する拡張情報を検索し、検索された拡張情報をスマート端末の画面に表示する技術が知られている。たとえば、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（以下、「ＡＲ」とも記載する）と呼ばれる拡張現実技術では、カメラで撮像された被写体に関連する拡張情報を特定し、特定された拡張情報をカメラで撮像された被写体が表示される画面に重畳表示する。

さらに、被写体として紙文書を撮像すると、撮像された紙文書が表示される画面に拡張情報（以下、「ＡＲコンテンツ」とも記載する）が重畳表示されるサービスも展開されている。動画等のコンテンツを紙面上で表現（再生）することはできないが、紙文書に印刷されている静止画のＡＲコンテンツとして動画を特定し、当該動画をスマート端末の画面において静止画に重畳表示することが可能になる。たとえば、特許文献１では、撮像した紙文書から注目単語を検出し、該注目単語に関連する拡張情報を重畳表示する技術が開示されている。

特開２０１２−２２４４２

Ｊ．Ｊ．Ｋｏｅｎｄｅｒｉｎｋ ａｎｄ Ａ．Ｊ．ｖａｎ Ｄｏｏｒｎ， "Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｌｏｃａｌ ｇｅｏｍｅｔｒｙ ｉｎ ｔｈｅ ｖｉｓｕａｌ ｓｙｓｔｅｍ，" Ｒｉｏｌｏｇｉｃａｌ Ｃｙｂｅｒｎｅｔｉｃｓ， ｖｏｌ．５５， ｐｐ．３６７−３７５， １９８７ 菊田 裕次 井上 創造 岩井原 瑞穂、"重要度と誘目度を考慮した大量情報の提示手法および表示達成度を用いた評価について"、電子情報通信学会技術研究報告、２０００年５月、Ｖｏｌ．１００、Ｎｏ．３１、ｐｐ．４１−４８

前述した技術では、紙文書のＡＲコンテンツとして表示される情報を閲覧者が注目しない可能性がある。たとえば、紙文書を閲覧する際に、紙文書に非常に目立つ色合いのコンテンツが存在すると、閲覧者は目立つ色合いのコンテンツに注目してしまい、ＡＲコンテンツに注目しない可能性がある。ＡＲコンテンツの提供者にとって、閲覧者に注目してもらいたい重要なＡＲコンテンツの場合、ＡＲコンテンツが閲覧者に注目されないことが問題になってしまう。たとえば、紙文書に付随する重要な情報がＡＲコンテンツとして関連付けられており、ＡＲコンテンツの提供者は閲覧者に注目されていることを期待している。しかし、実際は、閲覧者が該ＡＲコンテンツに注目しないため、重要なＡＲコンテンツの情報が閲覧者によって理解されない状況が生じてしまうと考えられる。

撮像対象のコンテンツがどのようなものであっても、それ以上に注目されやすいＡＲコンテンツを用意しておくことも考えられるが、過度に目立つと美観を損なう。また、紙文書の情報を閲覧する環境は様々である。いずれの環境の下においても注目されやすいＡＲコンテンツを用意しておくことは困難である。例えば、ＡＲコンテンツを投影装置から紙文書が搭載されている平面に投射して閲覧する際には、周囲に存在する風景やその他の文書・オブジェクト、光源の位置などは、状況によって異なる。これらの状況に共通で注目されやすいＡＲコンテンツを作成することは難しい。

本発明は上記の課題に鑑みてなされたものであり、撮影された画像とともに表示する拡張情報を撮像情報に合わせて変更することにより拡張情報が注目されやすくする情報処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は以下の構成を備える。即ち、撮像された画像の特徴情報に基づいて当該撮像された画像とともに表示すべき拡張情報を取得する取得手段と、前記撮像された画像を分割した複数の領域画像のそれぞれの注目度を導出する導出手段と、前記複数の領域画像のそれぞれの注目度と、前記拡張情報の注目度とを比較する比較手段と、前記比較の結果に基づいて、前記拡張情報の表示条件を変更する変更手段。

本発明によれば、撮像情報に基づいて、注目されやすい拡張情報を動的に生成することで、様々な撮像環境下に対応した注目されやすい拡張情報を提供することが可能になる。

本発明の実施形態におけるＡＲ処理の概念図を示す。 本発明の実施形態におけるハードウェア構成の一例を示すブロック図を示す。 本発明の実施形態におけるＡＲ処理システムの構成を示すブロック図を示す。 本発明の実施形態におけるＡＲ処理全体の流れを示すフローチャートを示す。 本発明の実施形態における特徴量抽出処理の流れを示すフローチャートを示す。 本発明の実施形態における縮小画像の一例を示す。 本発明の実施形態におけるＡＲコンテンツ管理テーブルの一例を示す。 本発明の実施形態におけるＡＲコンテンツテーブルの一例を示す。 本発明の実施形態における注目度算出処理の流れを示すフローチャートを示す。 本発明の実施形態における撮像情報注目度算出処理の概念図を示す。 本発明の実施形態におけるＡＲコンテンツ変更処理の流れを示すフローチャートを示す。 本発明の実施形態におけるＡＲコンテンツ変更結果の一例を示す。 本発明の実施形態における情報処理装置の外観と構成の一例を示す。

以下、本発明の実施形態について添付の図面を参照して詳細に説明する。

＜実施形態１＞
はじめに、本実施形態における処理概要を説明する。紙文書内の特徴情報に関連するＡＲコンテンツ（拡張情報）を、スマート端末などの情報表示装置の画面に表示されている紙文書上に重畳表示するシステムである。以降、本システムのことを単にＡＲ処理システムと記載する。

当該ＡＲ処理システムでは、スマート端末のカメラにより紙文書を撮像すると、撮像画像から抽出された特徴情報と関連するＡＲコンテンツを特定し、ＡＲコンテンツ（拡張情報）をスマート端末などの情報表示装置の画面に表示されている紙文書上に重畳表示する。

図１は、本ＡＲ処理システムの概念図である。スマート端末１０２により紙文書１０１を撮像すると、紙文書の撮像画像から抽出された特徴情報に関連するＡＲコンテンツ（拡張情報）をＡＲコンテンツＤＢ１０３から特定する。そして、特定されたＡＲコンテンツ（拡張情報）をスマート端末の画面に紙文書の撮像情報とともに表示する。図１の表示結果例Ａでは、紙文書とＡＲコンテンツ１０５を含むビューが表示結果１０４として表示されている。表示結果例Ｂでは、ＡＲコンテンツ１０７を含むビューが表示結果１０６として表示されている。表示結果例Ｂでは、表示結果の生成を行う際に、ＡＲコンテンツ（拡張情報）は、ＡＲコンテンツ（拡張情報）の閲覧者にとって注目されやすいように表示処理が行われている。ＡＲコンテンツＤＢ１０３から特定したＡＲコンテンツ（拡張情報）に対し、閲覧者にとって注目しやすい形式に変換がおこなわれた後、変換後のＡＲコンテンツ（拡張情報）を表示出力されている。図１の表示結果例Ｂでは、注目を惹きつけてしまいやすいグラフを隠すようにＡＲコンテンツ（拡張情報）の表示位置とサイズを変更している。その他、ＡＲコンテンツ（拡張情報）自体に注目を惹きつけやすくなるように色を変換しても良い。本処理によって、ＡＲコンテンツが注目を惹きつけ易くなるので、閲覧者がＡＲコンテンツを見逃しにくい表示出力を動的に生成することが可能になる。

以降、図２〜図１２を用いて詳細に説明する。

図２は、本実施形態における情報処理システム（以下、「ＡＲ処理システム」とも記載する）に含まれる各ハードウェア構成の一例である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２は、各種処理のための演算や論理判断などを行い、バス２０１に接続された各種要素を制御する。

本ＡＲ処理システムは、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３であっても良いし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４であっても良い。あるいは、これらの組合せで実現しても構わない。

記憶装置２０５は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの装置である。また、本実施形態では、写真や文書等を保持しておくためにも利用される。なお、写真や文書等を保持しておく装置としては、外部接続やネットワークに接続された不図示のデータ保持装置を用いても良い。ここで、外部記憶装置２０６は、たとえば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、たとえば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。

入力装置２０７はユーザからの指示を入力するための装置である。ユーザは入力装置２０７を介して、当該ＡＲ処理システムに指示を行う。入力装置２０７は、たとえば、キーボードやポインティングデバイスにより実現することができる。

出力装置２０８は処理結果等を表示出力する表示手段としての装置である。出力装置２０８は、たとえば、出力のための回路を含むＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）や液晶表示器などのディスプレイ装置により実現することができる。本実施形態においては、写真や文書等を出力装置２０８に表示する。

インタフェース（以下、「Ｉ／Ｆ」とも記載する）２０９は、情報の仲介を行う装置であり、このＩ／Ｆ２０９を介して外部装置とのデータのやり取りを行う。ネットワークインタフェースや入出力インタフェースである。

図３は、本実施形態におけるＡＲ処理システムの構成を示すブロック図である。該システムは、ＡＲ表示装置３０１、ＡＲ処理装置３０２から構成される。各装置は、図２にて説明したハードウェア構成を持つ。

ＡＲ表示装置３０１は、カメラによる撮像処理を行う撮像部３０３、ＡＲ処理装置により生成されたＡＲコンテンツを表示する表示部３０４から構成される。撮像部３０３は、カメラにより紙文書等の撮像を行う。撮像された紙文書に関連する拡張情報としてＡＲコンテンツが表示部３０４に表示されることになる。

ＡＲ処理装置３０２は、撮像部３０３によりＩ／Ｆ２０９を介して入力された画像情報に基づき、表示部３０４に出力するＡＲコンテンツを生成する装置である。ＡＲ処理装置３０２は、特徴量抽出部３０５、コンテンツ特定部３０６、注目度算出部３０７、ＡＲコンテンツ変更部３０８から構成される。特徴量抽出部３０５は、撮像部３０３により入力された画像情報から特徴量を抽出する。特徴量の抽出方法の詳細については後述する。コンテンツ特定部３０６は、特徴量抽出部３０５により抽出された特徴量を用いて、対応するＡＲコンテンツを特定する。コンテンツ特定処理は、図１のＡＲコンテンツＤＢにて保持されるＡＲコンテンツ管理テーブルを参照して行われる。ＡＲコンテンツＤＢは、ＡＲ処理装置３０２の記憶装置２０５若しくはＩ／Ｆ２０９を介してアクセスできる外部記憶装置２０６に存在する。ＡＲコンテンツ管理テーブルの詳細は、図７を用いて後述する。注目度算出部３０７は、撮像部３０３により入力された画像情報およびＡＲコンテンツ特定部３０６により特定されたＡＲコンテンツに対する注目度算出処理を行う。注目度算出処理の詳細は、図９を用いて後述する。ＡＲコンテンツ変更部３０８は、注目度算出部３０７により算出された画像情報に対する注目度およびＡＲコンテンツに対する注目度に基づき、ＡＲコンテンツを変更する。ＡＲコンテンツ変更処理の詳細は、図１１を用いて後述する。

各処理は図２のＣＰＵ２０２によって制御されている。当該処理群の詳細は後述する。

撮影部３０１、表示部３０２と、特徴量抽出部３０５、コンテンツ特定部３０６、注目度算出部３０７、ＡＲコンテンツ変更部３０８と、を単体の装置で提供することも可能である。

尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。

なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。

図４は、本実施形態におけるＡＲ処理システム全体の流れをフローチャートにより説明するものである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

ステップＳ４０００は文書撮像処理であり、図３に示された撮像部３０３により紙文書を撮像する。

ステップＳ４０１０は特徴量抽出処理であり、図３に示された特徴量抽出部３０５により実行される。特徴量抽出処理では、ステップＳ４０００にて撮像された紙文書から特徴情報の画像特徴量を抽出する。特徴情報は、紙に印刷されていても良いし、その他、撮像部により認識できる特徴情報を指す。その他の特徴情報としては、不可視の透かし情報や紙文などが存在する。特徴量抽出処理の詳細は後述する。

ステップＳ４０２０はＡＲコンテンツ特定処理であり、図３に示したコンテンツ特定部３０６により実現する。ＡＲコンテンツ特定処理では、ステップＳ４０１０で抽出した特徴量および図７を用いて後述するＡＲコンテンツ管理テーブルを用いて、ＡＲコンテンツを特定する。

ステップＳ４０３０は、注目度算出処理であり、図３に示した注目度算出部３０７により実現される。注目度算出処理では、ステップＳ４０００にて撮像された紙文書の画像情報およびステップＳ４０２０にて特定されたＡＲコンテンツに対する注目度の算出を行う。特定されたＡＲコンテンツの情報は、図８を用いて後述するＡＲコンテンツテーブルを参照することで取得可能である。ＡＲコンテンツの注目度は予め算出しておき、ＡＲコンテンツテーブルで管理していれば、その注目度を用いて導出することもできる。注目度算出処理の詳細は後述する。

ステップＳ４０４０は、注目度判定処理である。注目度判定処理では、ステップＳ４０３０において算出した撮像された紙文書の注目度とＡＲコンテンツの注目度との比較処理を行う。比較の結果、ＡＲコンテンツの注目度の方が撮像された紙文書よりも高い場合、処理を終了する。一方、比較結果において、ＡＲコンテンツの注目度が撮像された紙文書よりも低い場合、ステップＳ４０５０へ移行する。

ステップＳ４０５０は、ＡＲコンテンツ変更処理であり、図３に示したＡＲコンテンツ変更部３０８により実現する。ＡＲコンテンツ変更処理では、ＡＲコンテンツの注目度が撮像された紙文書よりも高くなるように、ＡＲコンテンツを変更する。

次に、図４のステップＳ４０１０における特徴量抽出処理について詳細を説明する。特徴量抽出とは、画像の局所的な特徴量（以下、局所特徴量とも記載する）を抽出する処理である。局所特徴量は、回転不変、拡大・縮小不変という性質を持つ。当該特徴により、画像を回転もしくは拡大又は縮小した場合であっても特徴量を使った画像の特定処理を可能にする。

局所特徴量抽出処理は、既存の局所特徴量抽出技術を用いて行うことが可能である。以下、簡単に局所特徴量抽出技術の一例を示す。以下の例では、紙文書の撮像情報から得た画像データ全体の局所特徴量を求めているが、部分画像の局所特徴量を求めても良い。また、画像の局所特徴量を用いずに、ＱＲコード（登録商標）などを認識しても良い。

図５は、画像からの局所特徴量抽出処理の流れをフローチャートにより説明するものである。

入力画像の読み込みステップＳ５０００では、指定された画像を読み込む。

輝度成分画像の作成ステップＳ５０１０では、ステップＳ５０００で読み込まれた入力画像から輝度成分を抽出し、輝度成分画像を生成する。

縮小画像生成ステップＳ５０２０では、ステップＳ５０１０にて作成した輝度成分画像に対して、倍率ｐに従って順次縮小し、縮小画像をｎ枚生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め規定されているものとする。

図６は、ステップＳ５０２０の縮小画像生成処理の一例を示す図である。図６では、倍率ｐを２の−（１／４）乗、縮小によって生成される縮小画像の枚数ｎを８にした場合の例を示す。ただし、この例では、倍率ｐを面積比ではなく辺の長さの比としている。図６において、６０１はステップＳ５０１０で作成した輝度成分画像である。６０２は輝度成分画像６０１から倍率ｐに従って４回縮小された縮小画像であり、輝度成分画像６０１を１／２に縮小した画像に相当する。また、６０３は輝度成分画像６０１から倍率ｐに従って８回縮小された縮小画像であり、輝度成分画像６０１を１／４に縮小した画像に相当する。なお、画像を縮小する方法は単純に画素を間引く方法、線形補間を用いる方法、低域フィルタ適用後にサンプリングする方法など様々あるが、本実施形態での縮小画像の生成方法は何れの方法でもよい。６０４はスケール番号であり、縮小画像のサイズが大きい方から順に付与される番号である。

ステップＳ５０３０では、ステップＳ５０１０で作成した輝度成分画像およびステップＳ５０２０で得られたｎ枚の縮小画像のそれぞれから局所的な特徴点（局所特徴点）を抽出する。ここで抽出する局所特徴点は、画像に回転や縮小などの画像処理を施しても同じ場所から安定的に抽出されるようなロバストな局所特徴点である。このような局所特徴点を抽出する方法として、Ｈａｒｒｉｓ作用素などが存在する。

具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた画像の画素それぞれについて、着目画素とその周囲８近傍にある画素（合計９画素）の画素値を調べる。着目画素の画素値が予め定めた値以上であり、かつ局所極大になる（当該９画素の中で該当画素の画素値が最大になる）場合に、着目画素が位置する点を局所特徴点として抽出する。なお、ロバストな局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。

次にステップＳ５０４０では、ステップＳ５０３０で得られた局所特徴点それぞれについて、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。この局所特徴量の算出方法として、本実施形態では非特許文献１のＬｏｃａｌ Ｊｅｔ及びそれらの導関数の組合せを用いる。

当該手法により、算出される局所特徴量は、拡大もしくは縮小、又は回転に対して、比較的高い耐性を持つような特性を持たせることができる。具体的には、式（１）に示す局所的な特徴量を算出する。

ただし、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義されたＬｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

なお、局所特徴量の算出方法は上述の方法に限らず他の局所特徴量の算出方法も適用可能である。他の局所特徴量の例としては、ＳＩＦＴ特徴量、ＳＵＲＦ特徴量などがある。

次に、図４のステップＳ４０２０にて参照されるＡＲコンテンツ管理テーブルについて詳細に説明する。ＡＲコンテンツ管理テーブルは、ＡＲコンテンツと該ＡＲコンテンツを表示する際の条件となる画像特徴量とを対応付けて管理するテーブルである。図４のステップＳ４０２０において、本ＡＲコンテンツ管理テーブルを参照することで、撮像された紙文書と関連するＡＲコンテンツが特定される。本ＡＲコンテンツ管理テーブルは、紙文書が作成されると、紙文書に関連するＡＲコンテンツと紙文書の画像特徴量とが対応付けられて登録される。

図７は、ＡＲコンテンツ管理テーブルの一例である。ＡＲコンテンツ管理テーブルは、ＡＲコンテンツを一意に特定するＡＲコンテンツＩＤ７０１、ＡＲコンテンツを特定するためのキーとなる画像特徴量７０２から構成される。“ＩＤ７０１”はＡＲコンテンツの識別情報である。本ＡＲコンテンツ管理テーブルを用いて、図４のステップＳ４０１０にて抽出された画像特徴量と同一の画像特徴量が本ＡＲコンテンツ管理テーブルの画像特徴量７０２に含まれているかを判定する。そして、紙文書の撮像情報の画像特徴量が本ＡＲコンテンツ管理テーブルに含まれている場合には、合致した画像特徴量に関連付けられているＡＲコンテンツを撮像された紙文書に関連するＡＲコンテンツとして特定できる。

なお、本実施形態では、紙文書の作成と同時にＡＲコンテンツが登録されることとしたが、紙文書の作成と同時である必要はない。たとえば、紙文書が作成された後、関連するＡＲコンテンツとして本ＡＲコンテンツ管理テーブルに登録してもよい。また、撮像された紙文書に対して文字認識技術等の技術を用いて、紙文書に含まれる情報の抽出を行う。そして、抽出された情報を検索クエリとして、インターネット等から情報を検索し、検索された情報から動的にＡＲコンテンツを作成、登録してもよい。

次に、ステップＳ４０３０で参照されるＡＲコンテンツテーブルについて詳細を説明する。ＡＲコンテンツテーブルは、図７を用いて説明したＡＲコンテンツ管理テーブルに含まれるＡＲコンテンツＩＤ７０１が示すＡＲコンテンツの実体データおよび表示条件（表示位置、表示サイズ）を保持する。

図８は、ＡＲコンテンツテーブルの一例である。ＡＲコンテンツテーブルは、ＡＲコンテンツを特定するＡＲコンテンツＩＤ８０１、データの記憶場所を示すデータパス８０２、表示サイズを示す幅８０３、高さ８０４、表示位置を示す表示位置８０５から構成される。ＡＲコンテンツＩＤ８０１には、図７を用いて説明を行ったＡＲコンテンツＩＤ７０１に記載される情報と同一の情報が記載される。

図４のステップＳ４０２０にて特定されたＡＲコンテンツＩＤを用いて、本ＡＲコンテンツテーブルを参照することで、ＡＲコンテンツの実体データと表示条件が取得できる。

データパス８０２は、ＡＲコンテンツの実体データを示すファイルへのデータパスであり、ファイルシステムがサポートする相対パスもしくは絶対パスにて記載される。図８の例では、データパスは相対パスにて表現されており、画像データを示すファイルへのパス８０６、動画データを示すファイルへのパス８０７、ＨＴＭＬデータを示すファイルへのパス８０８が記載されている。本実施形態では、ファイルへのパス情報を記載するようにしたが、実体データを表現できるものであれば異なる形式でもよい。たとえば、ＡＲコンテンツの実体データを示す画像のバイナリデータを格納してもよい。また、ＨＴＭＬをテキスト形式で記載したデータを格納することも可能である。

表示サイズ（幅）８０３は、ＡＲコンテンツを表示する際の幅を示すデータである。幅を示すデータの単位は、ピクセルであり、ＡＲコンテンツを表示する際は、表示サイズ（幅）８０３で指定された値になるように表示される。表示サイズ（高さ）８０４は、ＡＲコンテンツを表示する際の高さを示すデータである。表示サイズ（幅）と同様に、本データの単位は、ピクセルで表現される。表示位置８０５は、ＡＲコンテンツを表示する際の位置を示すデータである。位置データの単位はピクセルで表現されており、表示デバイス上の左上を原点（０、０）としたデバイスのピクセルに対応する。なお、本実施形態では、表示サイズ（幅）８０３、表示サイズ（高さ）８０４および表示位置８０５の単位をピクセルとしたが、異なる単位を用いてもよい。たとえば、ｍｍなどの単位を用いることが可能である。また、表示位置８０５に関しては、表示デバイスの左上を原点とする座標系を用いたが、異なる方法を用いても良い。具体的には、表示デバイスの絶対座標を用いるのではなく、撮像されている紙文書の左上を原点とした相対座標を用いることも可能である。相対座標を用いることで、表示デバイスによらないＡＲコンテンツの情報を規定することが可能になる。

次に、ステップＳ４０３０における注目度算出処理について詳細を説明する。注目度算出処理では、図４のステップＳ４０１０にて撮像された紙文書の撮像画像およびステップＳ４０２０にて特定されたＡＲコンテンツに対して、注目度の算出処理を行う。当該処理の詳細について、図９を用いて説明を行う。

図９は、注目度算出処理の流れをフローチャートにより説明するものである。
ステップＳ９０００は、ＡＲコンテンツの注目度算出処理である。ＡＲコンテンツの注目度算出処理では、図４のステップＳ４０２０にて特定されたＡＲコンテンツについて注目度の算出処理を行う。注目度算出の対象となるＡＲコンテンツのデータについては、前述したＡＲコンテンツテーブルを用いて取得することが可能である。ＡＲコンテンツテーブルのデータパス８０２を参照し、取得したＡＲコンテンツに対して、注目度を算出する。本実施形態では、注目度の算出として既存の注目度算出技術を用いる。既存の注目度算出技術としては、たとえば、下記の非特許文献２がある。非特許文献２では、表示されたオブジェクトに対する注目の集めやすさを誘目度と表現し、誘目度を算出する方法を開示している。具体的には、オブジェクトの色相などを用いて、誘目度を算出することが可能である。

本実施形態では、上述の非特許文献２に記載される誘目度を算出する計算式を用いて、誘目度を求め、求められた誘目度を注目度として、不図示のＡＲコンテンツ注目度ＤＢに格納する。計算式の一例としては、式（８）がある。式（８）は色相を用いた注目度の算出式である。式（８）において、Ｈは表示されたオブジェクトの色相を示し、Ｈｄは色相を用いて算出される注目度（誘目度）を示す。

上記の計算式（８）を用いて、ＡＲコンテンツが画像データである場合に画像データの色相から注目度を算出することができる。また、ＨＴＭＬデータのようにＡＲコンテンツが画像データでない場合も、表示結果としてレンダリングした画像データを生成し、この画像データに対して誘目度を算出することで、注目度を計算することが可能である。

ステップＳ９０１０は、撮像情報の注目度算出処理である。撮像情報の注目度算出処理では、図４のステップＳ４０１０にて撮像された紙文書の撮像情報に対して注目度算出を行う。撮像情報には、紙文書以外にも周囲の情報を含んでも良い。紙文書の周囲に注目を惹く情報があれば、それに対応して、ＡＲコンテンツを変更する。

撮像情報の注目度算出では、規定の数に撮像情報を分割し、分割された領域画像毎に注目度算出を行う。注目度の算出方法は、ステップＳ９０００にて記載した方法と同様である。たとえば、上述の式（８）を用いることで、撮像情報の注目度を算出することが可能である。撮像された紙文書を画像情報として構成し、当該画像情報に対して、式（８）を用いることが可能である。画像情報として構成することで、光源の位置などが異なる状況においても注目度情報を適切に算出することが可能になる。

図１０は、撮像情報の注目度算出処理の概念図である。紙文書１００１が撮像された紙文書の情報である。この紙文書１００１を予め規定された一定の大きさの２４の領域に分割する。領域分割結果１００２が２４の領域に分割した結果である。この分割結果１００２の各領域を１つの画像としてみなし、画像毎の注目度を算出する。算出された注目度は、各領域に対応づけられ、注目度情報１００３として保持される。

本実施形態では、撮像情報の紙文書を規定数の領域画像に分割し、各領域画像に対する注目度算出を行ったが異なる方法でもよい。たとえば、既存の文書領域解析技術やオブジェクト抽出技術を用いて抽出した領域やオブジェクトに対して注目度を算出する方法を用いてもよい。既存の文書領域解析技術では、撮像された紙文書中の文字列が記載される文字領域、画像が存在する画像領域などの複数種の領域を抽出することが可能であり、これらの文字列領域、画像領域に対して、上述の方法を用いて注目度を算出することが可能である。

次に、図４のステップＳ４０４０およびステップＳ４０５０として説明したＡＲコンテンツ変更処理について詳細を説明する。ＡＲコンテンツ変更処理では、撮像された情報よりもＡＲコンテンツの注目度が低い場合に、ＡＲコンテンツの注目度が撮像された情報よりも高くなるようにＡＲコンテンツの表示条件を変更する。当該処理の詳細について、図１１を用いて説明を行う。

図１１は、ＡＲコンテンツ変更処理の流れをフローチャートにより説明するものである。

ステップＳ１１０００は、ＡＲコンテンツの注目度取得処理である。ＡＲコンテンツの注目度取得処理では、図９のステップＳ９０００にて算出したＡＲコンテンツの注目度を取得する。ＡＲコンテンツの注目度取得処理は、不図示のＡＲコンテンツ注目度ＤＢを参照し、ＡＲコンテンツ注目度を取得する。

ステップＳ１１０１０は、撮像情報の注目度取得処理である。撮像情報の注目度取得処理では、図１０の注目度情報１００３として記載した注目度情報を参照することで、撮像情報の注目度を取得する。該注目度は、前述したように複数の領域毎の注目度である。

ステップＳ１１０２０は、注目度の比較処理である。注目度の比較処理では、ステップＳ１１０００にて取得したＡＲコンテンツの注目度とステップＳ１１０１０にて取得した撮像情報の各領域に対応付けられた注目度を比較する。比較の結果、ＡＲコンテンツの注目度よりも高い注目度を持つ撮像情報の領域が存在する場合、該領域の情報を不図示の注目領域ＤＢに格納する。比較処理を撮像情報の全ての領域に対して行った後、前述の注目領域ＤＢにデータが格納されていない場合、撮像情報の注目度はＡＲコンテンツの注目度よりも低いと判断し、処理を終了する。前述の注目度ＤＢにデータが格納されている場合は、撮像情報の一部領域もしくは全領域の注目度がＡＲコンテンツの注目度よりも高いと判断し、ステップＳ１１０３０へ移行する。

ステップＳ１１０３０は、ＡＲコンテンツの表示位置・表示サイズなどの表示条件を変更する処理である。表示位置・表示サイズの変更処理では、ステップＳ１１０２０にて作成された注目領域ＤＢを参照し、ＡＲコンテンツの注目度よりも注目度が高い注目領域が隠れるようにＡＲコンテンツの表示位置・表示サイズを変更する。表示条件を変更されたＡＲコンテンツは、ＡＲ画像表示装置３０１にＩ／Ｆ２０９を介して送信される。

図１２を用いて詳しく説明する。図１２の注目領域結果１２０１は、撮像された紙文書に対して注目度ＤＢの情報を重ねて表現した情報である。注目度ＤＢに格納されたＡＲコンテンツ１２１０よりも注目度が高い領域が、注目領域１２０２〜１２０７である。注目領域１２０２〜１２０７のみを切り出した領域が高注目領域１２０９であり、ＡＲコンテンツの変更処理では、高注目領域１２０９が隠れるようにＡＲコンテンツ１２１０の表示位置および表示サイズを決定する。ＡＲコンテンツ変更後のＡＲコンテンツ表示結果を示したものが、表示結果１２０８である。表示結果１２０８からもわかる通り、ＡＲコンテンツよりも注目度が高い領域（高注目領域１２０９）がＡＲコンテンツ１２１０の表示によって隠れており、結果として、ＡＲコンテンツの注目度が一番高くなるように表示することが可能になる。

本実施形態の例では、各注目領域が隣接している例を説明したが、注目領域が隣接していなくてもよい。注目領域が隣接していない場合、注目領域でない領域も含めて、全ての注目領域を包含するようにＡＲコンテンツを変更することができる。

また、ＡＲコンテンツと並べて対比してみると意味のある領域の注目度が高いこともあり得る。意味のある領域が隠されないようにその領域を予めＡＲコンテンツ毎に特定しておき、その領域を隠す対象の領域から除く。

なお、表示されたＡＲコンテンツについては、非表示にするためのボタンをＡＲコンテンツと併せて提示する。ユーザがＡＲコンテンツの非表示を所望する場合、このボタンを指示することにより、ＡＲコンテンツを非表示にすることができる。

以上、詳細に説明したように、撮像された紙文書の情報に基づき、ＡＲコンテンツを動的に変更することで、様々な閲覧環境や閲覧対象において、ＡＲコンテンツに注目しやすい表示をすることが可能になる。

本実施形態では、撮像情報の注目度算出の対象として、紙文書としたが、異なる情報が含まれていてもよい。たとえば、紙文書を置いているテーブルや風景等の情報も含めて注目度を算出することが可能である。この場合も、テーブルや風景等の情報を含む画像情報に対して、本実施形態で説明した方法を用いることで注目度算出を実現することができる。

また、特徴量抽出の方法として画像に対する特徴量を抽出する方法を示したが、異なる方法を用いてもよい。たとえば、文字や画像を認識して、認識された結果を特徴量として扱うこともできる。

また、本実施形態では、単一の特徴量を用いたが、複数の特徴量を用いてもよい。たとえば、風景写真などの自然画に対する特徴量、文字列の画像に対する特徴量など、コンテンツに応じて特徴量の種別を変更してもよい。特徴量の種別毎に特徴量を抽出しやすいコンテンツが存在する場合、複数の特徴量を用いることで、ＡＲコンテンツの特定処理の精度を向上させることができる。

＜実施形態２＞
実施形態１では、撮像された紙文書の注目度算出方法として、前述の非特許文献２の方法を説明した。本実施形態では、撮像された紙文書の注目度算出方法として、ユーザの視線情報を用いる方法を説明する。

具体的には、図９のステップＳ９０１０において説明した注目度算出方法をユーザの視線情報を用いた方法として説明する。その他の処理については、実施形態１と同様であるので省略する。実施形態１と同様のＡＲ処理システムのハードウェア構成で実現され、実施形態１と同様の機能部を有する。

ユーザの視線情報を用いた注目度の算出方法では、ユーザの視線情報を図３における撮像部３０３において取得し、取得された視線情報が集中している領域を注目度の高い領域として特定する。撮像情報の領域については、実施形態１において説明したように、予め規定した領域に分割したうえで、各領域の視線情報を取得する。各領域での視線情報が規定回数または規定時間以上、収集された場合に注目領域として特定する。

以上、詳細に説明したように、ユーザの視線情報を用いて、注目領域を特定することで、ユーザの注目度に応じてＡＲコンテンツを変更することが可能になる。ユーザの注目度に応じたＡＲコンテンツの変更により、ユーザが既に注目しているＡＲコンテンツを変更する必要性がなくなり、閲覧者にとって違和感のない表示を実現するとともに、ＡＲコンテンツの変更処理に必要な計算負荷を軽減することができる。

＜実施形態３＞
実施形態１および実施形態２では、ＡＲコンテンツの変更方法として、ＡＲコンテンツよりも注目度が高い領域が見えなくなるように、ＡＲコンテンツの表示位置・表示サイズを決定する方法について説明した。本実施形態では、ＡＲコンテンツの色の表示条件を変更することでＡＲコンテンツを変更し、ＡＲコンテンツの注目度を向上させる方法を説明する。

具体的には、図１１のステップＳ１１０３０において説明したＡＲコンテンツの変更方法をＡＲコンテンツの色を変更することで実現する方法を説明する。その他の処理については、実施形態１と同様であるので省略する。実施形態１と同様のＡＲ処理システムのハードウェア構成で実現され、実施形態１と同様の機能部を有する。

ＡＲコンテンツの色を変更する処理では、前述した注目領域ＤＢの各領域に対応付けられる注目度よりもＡＲコンテンツの注目度が高くなるようにＡＲコンテンツの色を変更する。非特許文献２に記載するように、注目度は色に基づき算出することが可能である。当該計算式を用いて、ＡＲコンテンツの注目度が高くなるように変更することが可能である。例えば、赤みが強ければ、式（８）で算出される注目度が高くなるので、ＡＲコンテンツの赤みを強くすることを行う。

以上、詳細に説明したように、ＡＲコンテンツの色を変更することで、相対的に撮像された紙文書よりもＡＲコンテンツの注目度が高くなるようにすることができる。ＡＲコンテンツの色変更により、ＡＲコンテンツの注目度を向上させることで、他の注目度が高い撮像情報を隠すことなく、ＡＲコンテンツに注目させることができる。

本実施形態では、ＡＲコンテンツの色を変更したが、既存の注目度算出技術にて使用される他のパラメータを用いてもよい。具体的には、他の注目度が高い撮像情報を隠すことなくＡＲコンテンツの大きさを変更することで、注目度を向上させることが可能である。大きさを用いた注目度算出の一例としては、前述した非特許文献２に記載される下記式（９）が使用可能である。式（９）において、ｐｅが注目度であり、ｍがオブジェクトもしくは撮像画像（または撮像画像を複数領域に分割した各領域）の面積、ａｒが撮像画像全体の面積を示す。

また、大きさのほかにＡＲコンテンツを点滅させるなどの表示効果を与えることで、注目度を向上させることもできる。

＜実施形態４＞
本実施形態では、ＡＲコンテンツを、紙文書が搭載された平面の作業台に投影する。

図１３（ａ）は、本実施形態における情報処理装置１３００のハードウェア構成図である。ＣＰＵ１３０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１３０７に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０２は、後述するフローチャートに示す各種処理手順を含むＣＰＵによる制御のためのプログラムデータを格納する。ＲＡＭ１３０３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３０３は、データメモリであり、ＣＰＵ１３０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置１３０４はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。ＣＰＵ１３０１は、ＲＯＭ１３０２もしくは記憶装置１３０４に記憶された処理ステップやプログラムを読み出して実行する。これらの処理ステップやプログラムは、ディスクデバイスを始めとする記憶媒体から読み出されたり、ネットワーク通信によって取得されたりして、ＲＯＭ１３０２もしくは記憶装置１３０４に記憶されることができる。その際ＣＰＵ１３０１がコントローラとして機能する。本実施形態において、ＣＰＵ１３０１は、フローチャートに示された工程を実行することで、情報処理装置１３００の各機能部として動作する。撮像装置１３０５は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。投影装置１０６は後述する作業台１３２１に電子データやユーザインタフェース部品を含む映像を投影する。なお、本実施形態では、撮像装置１３０５及び投影装置１３０６は、情報処理装置１３００内に構成されるが、有線あるいは無線のインタフェースによって接続された外部装置でも良い。

ここで図１３（ｂ）は、本実施形態における情報処理装置１３００の外観の一例を示す図である。本実施形態では、作業台１３２１に対し、撮像装置１３０５は上部に設置され、作業台１３２１に上向きに置かれた紙などの物理データ１３２２を俯瞰撮像し、上に向いた読み取り対象面を読み取り、情報を認識する。また、投影装置１３０６も同様に、作業台１３２１の上面あるいは物理データ１３２２上に、ユーザインタフェースを構成する画像や情報処理装置１３００が生成した電子データ１３２３等を含む投影画像を投影する。本実施形態では、撮像装置１３０５と投影装置１３０６は同一の筐体で構成される。ただし、撮像装置１３０５の設置位置と撮像画角、および投影装置１３０６の位置と投影画角の情報を情報処理装置が予め把握していれば、それぞれ別の場所に設置されてもよい。

撮像装置１３０５は、実施形態１の図３の撮像部３０１に相当する。投影装置１３０６は、作業台１３２１の平面にＡＲコンテンツを投影して表示する。ＡＲ処理装置の各機能構成は、情報処理装置１３００内部に備えられても良いし、情報処理装置１３００からネットワークインタフェースを介してアクセス可能な情報処理装置１３０１とは別のＡＲ処理装置に備えられても良い。

情報処理装置１３００は、図４で示されたＡＲ処理システム全体の処理、図５で示された局所特徴量抽出処理、図９で示された注目度算出処理、図１１のＡＲコンテンツ変更処理を実行する。

以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。各実施形態の処理を組み合わせることも可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

３０１ ＡＲ表示装置
３０２ ＡＲ処理装置
３０３ 撮像部
３０４ 表示部
３０５ 特徴量抽出部
３０６ コンテンツ特定部
３０７ 注目度算出部
３０８ ＡＲコンテンツ変更部

Claims (24)

1. 撮像された画像の特徴情報に基づいて当該撮像された画像とともに表示すべき拡張情報を取得する取得手段と、
   前記撮像された画像の情報に基づいて前記拡張情報の少なくとも一部の表示条件を変更する変更手段と、を備えることを特徴とする画像処理装置。
2. 撮像された画像の特徴情報に基づいて当該撮像された画像とともに表示すべき拡張情報を取得する取得手段と、
   前記撮像された画像を分割した複数の領域画像のそれぞれの注目度を導出する導出手段と、
   前記複数の領域画像のそれぞれの注目度と、前記拡張情報の注目度とを比較する比較手段と、
   前記比較の結果に基づいて、前記拡張情報の表示条件を変更する変更手段と、を備えることを特徴とする画像処理装置。
3. 前記変更手段は、何れかの前記領域画像の注目度よりも前記拡張情報の注目度が低い場合に、前記拡張情報の表示条件を変更することを特徴とする請求項２記載の画像処理装置。
4. 前記比較手段は、特定の領域画像を除く前記複数の領域画像の注目度それぞれと、前記拡張情報の注目度とを比較することを特徴とする請求項２または３記載の画像処理装置。
5. 前記取得手段は、前記特徴情報と前記拡張情報の識別情報とが対応付けられたテーブルを参照して当該特徴情報に対応する拡張情報を取得することを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。
6. 前記変更手段は、前記拡張情報と前記拡張情報の表示条件とが対応付けられたテーブルを参照して取得される表示条件を変更することを特徴とする請求項１乃至５何れか１項に記載の画像処理装置。
7. 前記特徴情報は、画像特徴量であることを特徴とする請求項１乃至５何れか１項に記載の画像処理装置。
8. 前記変更手段は、前記拡張情報の注目度よりも高い注目度の領域画像を当該拡張情報が隠すように当該拡張情報の表示位置を変更することを特徴とする請求項２乃至７何れか１項に記載の画像処理装置。
9. 前記変更手段は、前記拡張情報の注目度よりも高い注目度の領域画像を当該拡張情報が隠すように当該拡張情報の表示サイズを変更することを特徴とする請求項２乃至７何れか１項に記載の画像処理装置。
10. 前記変更手段は、何れかの前記領域画像の注目度よりも前記拡張情報の注目度が低い場合に、前記拡張情報の色合いを注目度が高くなるように変更することを特徴とする請求項２乃至７何れか１項に記載の画像処理装置。
11. 前記画像特徴量は、Ｈａｒｒｉｓ作用素を作用させて得られた特徴点と該特徴点に対応する特徴量であることを特徴とする請求項７記載の画像処理装置。
12. 前記画像特徴量は、ＳＩＦＴ特徴量またはＳＵＲＦ特徴量であることを特徴とする請求項７記載の画像処理装置。
13. 前記導出手段は、前記領域画像の注目度を、色相を用いて導出することを特徴とする請求項２乃至７何れか１項に記載の画像処理装置。
14. 前記導出手段は、前記領域画像の注目度を、各領域画像に視線が向けられた回数または時間を用いて導出することを特徴とする請求項２乃至７何れか１項に記載の画像処理装置。
15. 前記領域画像は、前記撮像された画像を一定の大きさに分割することによって得られることを特徴とする請求項２乃至７何れか１項に記載の画像処理装置。
16. 前記領域画像は、前記撮像された画像を文字領域と画像領域とを含む複数種の領域に分割することによって得られることを特徴とする請求項２乃至７何れか１項に記載の画像処理装置。
17. 前記表示条件を変更された拡張情報を、表示手段を備える画像表示装置に送信する送信手段を更に備えることを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
18. 前記表示条件を変更された拡張情報を投影する投影手段を更に備えることを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
19. 前記特定の領域画像は、前記拡張情報と前記拡張情報の表示条件とが対応付けられたテーブルに、前記拡張情報ごとに特定して記憶されていることを特徴とする請求項４記載の画像処理装置。
20. 撮像された画像の特徴情報に基づいて当該撮像された画像とともに表示すべき拡張情報を取得する取得工程と、
    前記撮像された画像の情報に基づいて前記拡張情報の少なくとも一部の表示条件を変更する変更工程と、を備えることを特徴とする画像処理方法。
21. 撮像された画像を処理する画像処理方法であって、
    前記撮像された画像から抽出された特徴情報に関連付けられた拡張情報を取得する取得工程と、
    前記撮像された画像を分割した領域画像の注目度それぞれと、前記拡張情報の注目度とを比較する比較工程と、
    前記比較の結果に基づいて、前記拡張情報の表示条件を変更する変更工程と、を備えることを特徴とする画像処理方法。
22. コンピュータを、
    撮像された画像の特徴情報に基づいて当該撮像された画像とともに表示すべき拡張情報を取得する取得手段と、
    前記撮像された画像の情報に基づいて前記拡張情報の少なくとも一部の表示条件を変更する変更手段と、として機能させるためのプログラム。
23. コンピュータを、
    撮像された画像から抽出された特徴情報に関連付けられた拡張情報を取得する取得手段と、
    前記撮像された画像を分割した領域画像の注目度それぞれと、前記拡張情報の注目度とを比較する比較手段と、
    前記比較の結果に基づいて、前記拡張情報の表示条件を変更する変更手段と、
    として機能させるためのプログラム。
24. 画像処理装置と画像表示装置とから構成される画像処理システムであって、
    前記画像処理装置は、
    撮像された画像から抽出された特徴情報に関連付けられた拡張情報を取得する取得手段と、
    前記撮像された画像を分割した領域画像の注目度それぞれと、前記拡張情報の注目度とを比較する比較手段と、
    前記比較の結果に基づいて、前記拡張情報の表示条件を変更する変更手段と、
    前記表示条件を変更された拡張情報を、前記画像表示装置に送信する送信手段と、
    を備え、
    前記画像表示装置は、
    前記送信された拡張情報を受信する受信手段と、
    前記拡張情報を変更された前記表示条件で前記撮像された画像に重畳させて表示する表示手段と、
    を備えることを特徴とする画像処理システム。

Images