JP6641763B2 - 表示システム - Google Patents

Description

本発明は、表示システムに関する。

表示システムの一つとして、画像を撮影して表示する技術が表示する技術が知られている（例えば、特許文献１，２）。

特開２０１２−１６０８９８号公報 特開２０１２−０２３７６８号公報

特許文献１の技術では、作業者の頭部に装着されるヘッドマウントディスプレイと、表示装置とを備える遠隔支援システムが開示されている。この遠隔支援システムは、ヘッドマウントディスプレイが備えるカメラによって撮像された対象物を遠隔のモニター装置に表示させる。特許文献１の技術では、作業者が首を傾けた場合でも表示装置に表示される対象物の傾きを抑制するために、撮像された画像データーに対して傾き補正を行っている。

また、特許文献２の技術では、撮像装置が閾値を越える加速度で移動していると判定された場合に、撮像装置の撮像部のフレームレートを低下させている。

撮像部とは異なる場所に位置する表示装置に動画像を表示させる場合において、撮影者の意図しない動きによって、動画像が揺れているように表示装置に表示される場合がある。この場合、以下に例示するように、動画像が揺れているように表示されることに起因する種々の不具合が生じ得る。例えば、表示装置に表示された動画像を見る者が映像酔いを起こすという不具合があった。また例えば、表示装置に表示された動画像中の対象物を正確に把握できないという不具合があった。

一方で、撮像部の揺れを検出して、検出した揺れをキャンセルするように動画像データーを補正して表示装置に表示させることで、上記の不具合の発生を低減することが考えられる。しかしながら、検出した揺れをキャンセルするように動画像データーを補正する場合、撮影者が意図して撮像部を動かした場合においても動画像が補正されるため、実際に取得したい動画像とは異なる動画像が表示装置に表示されるという問題があった。

このほか、表示システムにおいて、小型化、低コスト化、省電力化、製造の容易化、使い勝手の向上等が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
［形態１］
表示システムであって、画像を撮像する撮像部と、前記撮像部が撮像した前記画像をフレーム画像データーとして記憶する記憶部と、前記撮像部の動きを検出するためのセンサーと、前記フレーム画像データーが表す前記画像の所定の切出領域を切り出して表示用画像データーを生成するデーター処理部と、前記表示用画像データーを表示装置に送信するデーター送信部と、を備え、前記データー処理部は、前記センサーにより検出された前記撮像部の動きが、所定の条件を満たす場合は、前記フレーム画像データーを切り出すための前記切出領域の位置を規定する規定位置を予め設定された基準切出位置に設定して前記フレーム画像データーから前記表示用画像データーを生成し、前記動きが前記所定の条件を満たさない場合は、基準位置からの前記撮像部の動きとは反対の方向に前記規定位置を前記基準切出位置からずらして前記フレーム画像データーから前記表示用画像データーを生成し、前記データー処理部は、前記所定の条件を満たさない場合に生成された前記表示用画像データーとしての第１の表示用画像データーが表す第１画像の後に、前記所定の条件を満たす場合に生成された前記表示用画像データーとしての第２の表示用画像データーが表す第２画像が前記表示装置に表示される場合に、前記第１画像と前記第２画像との差分を補間する補間表示用画像データーを生成する補間処理部を含み、前記補間処理部は、時系列に並んだ前記第１の表示用画像データーと前記第２の表示用画像データーとの間に前記補間表示用画像データーを挿入する、表示システム。
この形態によれば、対象物を含む動画像を表示装置に表示させつつ、所定の条件を満たさない撮像部の動きに起因した表示装置に表示される画像の揺れを低減できる。また、この形態によれば、時系列に並んだ第１の画像と第２の画像との間に補間画像が挿入されて表示装置に表示されるため、表示装置に表示された画像の内容が突然に切り替わることを抑制できる。
［形態２］
表示システムであって、画像を撮像する撮像部と、前記撮像部の動きを検出するためのセンサーと、前記画像の所定の切出領域を切り出して表示用画像データーを生成するデーター処理部と、前記表示用画像データーを表示装置に送信するデーター送信部と、を備え、前記データー処理部は、前記センサーにより検出された前記撮像部の動きが、所定の条件を満たす場合は、前記画像を切り出すための前記切出領域の位置を規定する規定位置を予め設定された基準切出位置に設定して前記表示用画像データーを生成し、前記動きが前記所定の条件を満たさない場合は、基準位置からの前記撮像部の動きとは反対の方向に前記規定位置を前記基準切出位置からずらして前記表示用画像データーを生成し、前記データー処理部は、前記所定の条件を満たさない場合に生成された前記表示用画像データーとしての第１の表示用画像データーが表す第１画像の後に、前記所定の条件を満たす場合に生成された前記表示用画像データーとしての第２の表示用画像データーが表す第２画像が前記表示装置に表示される場合に、前記第１画像と前記第２画像との差分を補間する補間表示用画像データーを生成する補間処理部を含み、前記補間処理部は、時系列に並んだ前記第１の表示用画像データーと前記第２の表示用画像データーとの間に前記補間表示用画像データーを挿入し、前記表示システムは、さらに、前記撮像部と前記画像に含まれる所定の対象物との距離を検出する距離検出部を有し、前記データー処理部は、さらに、前記距離検出部が検出した前記距離に応じて前記切出領域の大きさを変化させる切出領域設定部を有し、前記データー処理部の前記切出領域設定部は、前記距離が大きいほど前記切出領域を大きくする、表示システム。
この形態によれば、対象物を含む動画像を表示装置に表示させつつ、所定の条件を満たさない撮像部の動きに起因した表示装置に表示される画像の揺れを低減できる。またこの形態によれば、距離検出部が検出した距離に応じて切出領域の大きさを変えることができる。具体的には、表示部に表示される対象物の大きさが大きく変動することを抑制できる。また、この形態によれば、時系列に並んだ第１の画像と第２の画像との間に補間画像が挿入されて表示装置に表示されるため、表示装置に表示された画像の内容が突然に切り替わることを抑制できる。

（１）本発明の一形態によれば、表示システムが提供される。この表示システムは、画像を撮像する撮像部と、前記撮像部の動きを検出するためのセンサーと、前記画像の所定の切出領域を切り出して表示用画像データーを生成するデーター処理部と、前記表示用画像データーを表示装置に送信するデーター送信部と、を備え、前記データー処理部は、前記センサーにより検出された前記撮像部の動きが、所定の条件を満たす場合は、前記フレーム画像を切り出すための前記切出領域の規定位置を予め設定された基準切出位置に設定して前記表示用画像データーを生成し、前記動きが前記所定の条件を満たさない場合は、基準位置からの前記撮像部の動きとは反対の方向に前記規定位置を前記基準切出位置からずらして前記表示用画像データーを生成する。この形態によれば、対象物を含む動画像を表示装置に表示させつつ、所定の条件を満たさない撮像部の動きに起因した表示装置に表示される画像の揺れを低減できる。なお、本明細書において、データー処理部が画像を切り出す態様として、画像データーから表示用画像データーとして用いるデーターを読み出す態様も含む。

（２）上記形態の表示システムであって、前記所定の条件は、前記基準位置からの前記撮像部の移動量が連続して所定の時間以上だけ所定の閾値以上であるという条件であっても良い。この形態によれば、所定の時間よりも短い時間に生じた所定の閾値以上の撮像部の動きは表示装置に表示される画像に反映されないため、表示装置に表示される画像の揺れをさらに低減できる。

（３）上記形態の表示システムであって、前記データー処理部は、前記所定の条件を満たさない場合に生成された第１の前記表示用画像データーが表す第１画像の後に、前記所定の条件を満たす場合に生成された第２の前記表示用画像データーが表す第２画像が前記表示装置に表示される場合に、前記第１画像と前記第２画像との差分を補間する補間表示用画像データーを生成する補間処理部を含み、前記補間処理部は、時系列に並んだ前記第１と第２の表示用画像データーの間に前記補間表示用画像データーを挿入しても良い。この形態によれば、時系列に並んだ第１の画像と第２の画像との間に補間画像が挿入されて表示装置に表示されるため、表示装置に表示された画像の内容が突然に切り替わることを抑制できる。

（４）上記形態の表示システムであって、前記データー処理部は、前記撮像部が撮像し第１のフレームレートで生成された複数の画像を間引いて前記データー送信部によって前記第１のフレームレートよりも低い第２のフレームレートで前記表示用画像データーを送信させることが可能であり、前記補間処理部は、時系列において、前記第１の表示用画像データーの元となる前記画像データーと前記第２の表示用画像データーの元となる前記画像データーとの間に位置し、前記第２のフレームレートでは間引かれる予定の前記画像データーとしての補間用画像データーを選択し、前記補間用画像データーが表す画像に対して前記基準切出位置を中心とする前記切出領域で切り出して前記補間表示用画像データーを生成しても良い。この形態によれば、第２のフレームレートでは間引かれる予定の画像を有効に用いて補間表示用画像データーを生成できる。

（５）上記形態の表示システムであって、前記補間処理部は、前記第１の表示用画像データーの元となる第１の前記画像データーと、前記第２の表示用画像データーの元となる第２の前記画像データーとの時系列において間に位置する少なくとも１つの前記表示用画像データーの元となる前記画像データーに対して、前記第１の画像データーが生成されてから前記第２の画像データーが生成されるまでの間の前記撮像部の動きを補間するように前記規定位置を設定して前記補間表示用画像データーを生成しても良い。この形態によれば、表示用画像データーの元となる画像データーを用いて補間表示用画像データーを生成できる。

（６）上記形態の表示システムであって、前記データー処理部は、さらに、注目すべき注目領域に基づいて前記基準切出位置を設定する切出位置設定部を有しても良い。この形態によれば、注目領域に基づいて基準切出位置を容易に設定できる。

（７）上記形態の表示システムであって、前記切出位置設定部は、所定の期間において前記撮像部が撮像した複数の前記画像のうち重なる画像領域を前記注目領域として前記基準切出位置を設定しても良い。この形態によれば、重なる画像領域に基づいて注目領域を容易に設定できる。

（８）上記形態の表示システムであって、前記切出位置設定部は、外部から指定された指定対象物を含む領域を前記注目領域として前記基準切出位置を設定しても良い。この形態によれば、外部から指定された指定対象物を含む領域を注目領域として設定できる。

（９）上記形態の表示システムであって、さらに、前記指定対象物を前記撮像部の使用者に視認させる画像表示部を有しても良い。この形態によれば、使用者が画像表示部で指定対象物を視認できる。

（１０）上記形態の表示システムであって、さらに、注目対象物を検出するための特徴情報を記憶する記憶部を有し、前記切出位置設定部は、前記特徴情報を用いて画像データーが表す前記画像の中に前記注目対象物を検出した場合に、前記注目対象物を含む領域を前記注目領域として決定して前記基準切出位置を設定しても良い。この形態によれば、切出位置設定部によって自動的に注目対象物を検出することによって、基準切出位置を設定できる。

（１１）上記形態の表示システムであって、前記切出位置設定部は、前記注目領域の規定位置を前記基準切出位置として設定しても良い。この形態によれば、基準切出位置を中心とする切出領域内に注目対象物を確実に位置させることができる。

（１２）上記形態の表示システムであって、さらに、前記撮像部と前記画像に含まれる所定の対象物との距離を検出する距離検出部を有し、前記データー処理部は、さらに、前記距離検出部が検出した前記距離に応じて前記切出領域の大きさを変化させる切出領域設定部を有しても良い。この形態によれば、距離検出部が検出した距離に応じて切出領域の大きさを変えることができる。

（１３）上記形態の表示システムであって、前記データー処理部は、前記距離が大きいほど前記切出領域を大きくしても良い。この形態によれば、表示部２５１に表示される対象物の大きさが大きく変動することを抑制できる。

（１４）上記形態の表示システムであって、前記距離検出部は、前記所定の対象物の実際の大きさと、前記画像における前記所定の対象物の大きさとを比較することで、前記距離を検出しても良い。この形態によれば、所定の対象物の大きさと画像における所定の対象物の大きさとを比較して距離を検出できる。

（１５）上記形態の表示システムであって、前記画像を表す画像データーと、前記画像データーが生成されたときの前記センサーの検出情報とのそれぞれには同じ識別情報が付与されていても良い。この形態によれば、画像データーと検出情報とを容易に対応付けることができる。

（１６）上記形態の表示システムであって、さらに、前記撮像部が撮影した前記画像を取得する情報処理装置を有し、前記データー処理部は前記情報処理装置に設けられていても良い。この形態の表示システムによれば、サーバーにデーター処理部の機能を搭載できる。

（１７）上記形態の表示システムであって、虚像を表示し、外界を透過可能な表示部を有する画像表示装置を有し、前記データー処理部は前記画像表示装置に設けられていても良い。この形態によれば、画像表示装置にデーター処理部の機能を搭載できる。

（１８）上記形態の表示システムであって、さらに、前記表示用画像データーが表す表示用画像を表示する前記表示装置を有し、前記データー処理部は前記表示装置に設けられていても良い。この形態によれば、表示装置にデーター処理部の機能を搭載できる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、撮像部と、センサーと、データー処理部と、データー送信部との４つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、撮像部を有していてもよく、有していなくてもよい。また、この装置は、センサーを有していてもよく、有していなくてもよい。また、この装置は、データー処理部を有していてもよく、有していなくてもよい。また、この装置は、データー送信部を有していてもよく、有していなくてもよい。こうした装置は、例えば表示システムとして実現できるが、表示システム以外の他のシステムとしても実現可能である。前述した表示システムの各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、表示システム、表示システムを制御する方法、頭部装着型表示装置を備える画像表示システム、表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

第１実施形態における表示システムの概略構成を示す説明図である。 作業対象物としてのプリンターの外観斜視図である。 第１実施形態のＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤによる拡張現実表示の一例を示す説明図である。 サーバーの構成を機能的に示すブロック図である。 切出領域と撮像領域との関係を説明するための図である。 ＣＰＵが実行する画像データーの処理フローである。 切出位置設定部が設定する基準切出領域を説明するための図である。 処理フローを説明するための図である。 カメラの水平面内での動きの変化を示す図である。 基準時刻における撮像領域と基準切出領域との関係を示す図である。 時刻ｔ１における撮像領域と切出領域との関係を示す図である。 時刻ｔ８における撮像領域と切出領域との関係を示す図である。 第２実施形態のＨＭＤの構成を機能的に示すブロック図である。 第２実施形態のサーバーの構成を機能的に示すブロック図である。 補間処理部が実行する補間処理方法について説明するための図である。 補間処理部が実行する他の補間処理方法について説明するための図である。 切出領域設定部の処理内容を説明するための図である。 基準切出位置の第１の他の設定方法を説明するための図である。 基準切出位置の第２の他の設定方法を説明するための図である。 基準切出位置の第３の他の設定方法を説明するための図である。

Ａ．第１実施形態：
Ａ−１．表示システムの構成：
図１は、本発明の第１実施形態における表示システムの概略構成を示す説明図である。図２は、作業対象物としてのプリンター７０の外観斜視図である。

表示システム１（図１）は、画像表示装置としての頭部装着型表示装置１００と、データー処理装置（情報処理装置）としてのサーバー６０と、表示装置としてのパーソナルコンピューター（ＰＣ）２５０と、を備える。ＰＣ２５０は、画像を表示するための表示部２５１を有する。表示部２５１は、サーバー６０を経由して頭部装着型表示装置１００から送信される動画像を表示する。

頭部装着型表示装置１００は、通信キャリアＢＳを介して無線通信でインターネットＩＮＴに接続されている。ＰＣ２００は、通信キャリアＢＳを介して無線通信でインターネットＩＮＴに接続されている。サーバー６０は、有線通信でインターネットＩＮＴに接続されている。この結果、サーバー６０、頭部装着型表示装置１００、ＰＣ２５０は互いにインターネットＩＮＴを介してデーター通信できる。通信キャリアＢＳは、送受信アンテナや、無線基地局、交換局を含む。

表示システム１は、例えば、遠隔支援システムとして利用できる。遠隔支援システムは、例えば、使用者が装着した頭部装着型表示装置１００によって取得された動画像を遠隔の表示部２５１に表示させて、ＰＣ２５０を操作する指示者が動画像をもとに使用者に作業内容を指示する。本実施形態では、使用者が図２に示す作業対象物としてのプリンター７０の初期設定や保守・点検を行う際の表示システム１の動作を説明する。すなわち、頭部装着型表示装置１００によってプリンター７０を含む動画像を取得し、取得した動画像を表示部２５１に表示させる。そして、ＰＣ１００を操作する指示者が使用者に対してプリンター７０に対する作業内容を指示する。

プリンター７０（図２）は、図示しないロール紙を搬送してロール紙上にインクを吐出して画像を形成するインクジェットプリンターである。プリンター７０は、ロール紙を配置する給紙スロット７１と、ロール紙のスピンドルをセットするスピンドル受け７５と、ロール紙を覆う開閉可能なカバー７２と、画像が形成されたロール紙が排出される排出部７６と、排出されたロール紙を保持する箱型の保持部７７と、プリンター７０の状態（例えば、インク切れ状態や電源状態）を表示したりプリンター７０の動作を設定するための操作パネル７８と、を備える。

操作パネル７８は、プリンター７０の動作（例えば、電源ＯＮ／ＯＦＦ）を制御するための各種ボタンＢ１〜Ｂ６と、プリンター７０の状態を表示するための各種ランプＤ１〜Ｄ４と、プリンター７０の状態などを表示するディスプレイ７９とを有する。

頭部装着型表示装置１００（図１）は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、利用者が、虚像を視認すると同時に外景も直接視認することができる光学透過型のヘッドマウントディスプレイである。

サーバー６０は、動画像データーＤＭ１、及び、ＨＭＤ１００が備える９軸センサー６６の検出情報ＤＴ１をＨＭＤ１００から受信する。サーバー６０は、第１のフレームレートＦＲ１で動画像データーＤＭ１を受信する。サーバー６０は、受信した動画像データーＤＭ１及び検出情報ＤＴ１に基づいて動画像データーＤＭ１を構成するフレーム画像データーＦＭ１に対して所定のデーター処理を施して表示用フレーム画像データーＦＭ２を生成する。サーバー６０は、生成した表示用フレーム画像データーＦＭ２を順次、ＰＣ２５０に送信する。また、サーバー６０は、表示用フレーム画像データーＦＭ２を第２のフレームレートＦＲ２でＰＣ２５０に送信可能である。第２のフレームレートＦＲ２は第１のフレームレートＦＲ１よりも低い。例えば、第１のフレームレートＦＲ１は３０ｆｐｓであり、第２のフレームレートＦＲ２は５ｆｐｓである。なお、フレーム画像データーは、表示部２５１によって表示される画像を形成するため、フレーム画像とも呼ぶことができる。

表示用フレーム画像データーＦＭ２を受信したＰＣ２５０は、表示部２５１に第２のフレームレートＦＲ２によって表示用フレーム画像データーＦＭ２を表示させる。これにより、表示部２５１は、動画像データーＤＭ２が表す動画像を表示する。表示システム１を遠隔支援システムとして利用する場合、指示者は、表示部２５１に表示された動画像を見て、ＨＭＤ１００を装着する使用者に対して作業内容などの指示を行う。なお、サーバー６０が実行するフレーム画像データーＦＭ１のデーター処理の詳細については後述する。

Ａ−２．頭部装着型表示装置（ＨＭＤ）の構成：
図３は、ＨＭＤ１００の構成を機能的に示すブロック図である。図１と図３を用いてＨＭＤ１００の構成について説明する。図１に示すようにＨＭＤ１００は、ヘッドフォン部９０と、画像表示部２０と、マイク部３０と、制御部１０とを備える。

ヘッドフォン部９０は、使用者の頭部に装着可能である。ヘッドフォン部９０は、頭部に沿って装着可能なように湾曲したヘッドバンド９１と、ヘッドバンド９１の両端に設けられた右左のイヤーカップ９２，９３とを備える。右側のイヤーカップ９２の内部には音響の右チャンネル用のスピーカー９４（図３）が設けられており、左側のイヤーカップ９３の内部には音響の左チャンネル用のスピーカー９５（図３）が設けられている。ヘッドバンド９１には、画像表示部２０が固定した形で取り付けられている。

画像表示部２０は、使用者の頭部に装着された状態において使用者に虚像を視認させることが可能である。画像表示部２０は、眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含む。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者がヘッドバンド９１を装着した際に使用者の右および左の眼前に位置する。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから略水平方向に延び、ヘッドバンド９１の右側の端部付近に固定されている。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから略水平方向に延び、ヘッドバンド９１の左側の端部付近に固定されている。右保持部２１および左保持部２３は、ヘッドバンド９１を頭部に装着した使用者の眼前に光学像表示部２６，２８が位置するよう、光学像表示部２６，２８を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を区別せず「保持部」として説明する。同様に、右表示駆動部２２および左表示駆動部２４を区別せず「表示駆動部」として説明し、右光学像表示部２６および左光学像表示部２８を区別せず「光学像表示部」として説明する。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図３）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図３）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

マイク部３０（図１）は、マイクロフォン３１と、アーム３２と、連結部３３と、を有する。マイクロフォン３１は、音声を電気信号に変換する音声入力部であり、アーム３２の先端に接続されている。アーム３２のマイクロフォン３１とは反対側の端部は、連結部３３によって、画像表示部２０の右イヤーカップ９２の上面９２ａに連結されている。連結されることで、マイクロフォン３１は、使用者の口の前に位置する。なお、連結部３３は、アーム３２を回動可能に、かつ任意のポジションに固定可能に連結する。

画像表示部２０、マイク部３０、および、ヘッドフォン部９０の一体物と、制御部１０との間は、接続コード４０によって接続される。接続コード４０の一端は、ヘッドフォン部９０の右イヤーカップ９２内に挿入され、必要に応じて分岐され、画像表示部２０の左右の表示駆動部２２，２４、左右のスピーカー９４，９５や、マイク部３０のマイクロフォン３１に接続されている。接続コード４０の他端は、制御部１０に接続されている。接続コード４０における右イヤーカップ９２と反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられている。接続コード４０のコネクターと制御部１０のコネクターとの嵌合や嵌合解除により、上記の一体物と制御部１０との間が接続されたり切り離されたりする。接続コード４０には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０（図１）は、ＨＭＤ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーや十字キーの中心部分への押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

制御部１０（図３）は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１，５２と、タイマー１３５を備える。各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、ｉＢｅａｃｏｎ（登録商標）といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、表示制御部１６２、および音声処理部１７０として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続コード４０を介して画像表示部２０に供給することで、画像表示部２０を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データーＤａｔａとを生成し、送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。

一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１，５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１６２は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１６２は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１６２は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。同様に、表示制御部１６２は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、外部（例えば、コンテンツ）からの音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤーカップ９２内のスピーカー９４および左イヤーカップ９３内のスピーカー９５に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右左のスピーカー９４，９５からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューター２９１や携帯電話端末２９２、ゲーム端末２９３等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、撮像部としてのカメラ６１（図１も参照）と、９軸センサー６６と、を備えている。タイマー１３５は、現在時刻を検出する機能を有する。

カメラ６１は、ＲＧＢカメラであり、使用者が画像表示部２０を装着した際の使用者の鼻根部に対応する位置に配置されている。そのため、カメラ６１は、ＨＭＤ１００の所定の向き、すなわち、使用者が画像表示部２０を頭部に装着した状態において使用者が向いている方向の外界をカラー撮像する。なお、カメラ６１は、ＲＧＢカメラに換えて、白黒カメラとすることができる。カメラ６１は、動画像を撮像する。撮像された動画像は、複数のフレーム画像データーＦＭ１から構成される動画像データーＤＭ１として記憶部１２０に記憶される。また、フレーム画像データーＦＭ１には、タイマー１３５によってフレーム画像データーＦＭ１が記憶部１２０に記憶された時点の時刻データーが付与されている。フレーム画像データーＦＭ１が記憶部１２０に記憶された時点とは、フレーム画像データーＦＭ１が生成された時点であるとも言える。

センサーとしての９軸センサー６６は、加速度（Ｘ軸、Ｙ軸、Ｚ軸の３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーであり、本実施形態では使用者の眉間に対応する位置に配置されている。９軸センサー６６は、画像表示部２０に設けられている。これにより、画像表示部２０が使用者の頭部に装着されているときには、９軸センサー６６の検出情報ＤＴ１に基づいて使用者の頭部（詳細には、カメラ６１）の動きを検出できる。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界を特定できる。９軸センサー６６のセンサー検出情報は記憶部１２０に記憶される。また、検出情報ＤＴ１には、タイマーによって検出情報ＤＴ１が記憶部１２０に記憶された時点の時刻データーが付与されている。上記のごとく、フレーム画像データーＦＭ１と検出情報ＤＴ１とには、同じ識別情報としての時刻データーが付与されている。時刻データーによって、フレーム画像データーＦＭ１と検出情報ＤＴ１とを容易に対応付けることができる。なお、識別情報は時刻データーに限定されるものではない。例えば、識別情報は、同じ内容を表すデーター（例えば、番号データー）であっても良い。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、ＨＭＤ１００が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右ＬＣＤ２４１と同様に、左ＬＣＤ２４２は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左ＬＣＤ２４２を透過する光の透過率を変化させることにより、左バックライト２２２から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

図４は、ＨＭＤ１００による拡張現実表示の一例を示す説明図である。図４では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実（ＡＲ）としての画像ＶＩを視認する。また、光学像表示部２６，２８が外界ＳＣからの光を透過することで、使用者は外界ＳＣを視認する。このように、本実施形態のＨＭＤ１００の使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、画像ＶＩと、画像ＶＩの背後に外界ＳＣと、を見ることができる。また、視界ＶＲのうち画像ＶＩが表示されていない部分については、外界ＳＣだけを見ることができる。

図４の例では、画像ＶＩａ，ＶＩｂは、使用者が所定の作業を行うための待ち受け画面である。右下の画像ＶＩｂには、サーバー６０が実行するフレーム画像データーＦＭ１のデーター処理のトリガーとなるデーター処理開始マークＳＭが表示されている。また、左上の画像ＶＩａには、カメラ６１が撮像している画像が表示されている。使用者は、カメラ６１が撮像している画像ＶＩａを参考にして、注目対象物（例えば、操作パネル７８）が撮像領域ＣＰＲの中心ＲＣｅとなるように、頭部の位置を調整することでカメラ６１の向きを設定する。そして、使用者は、データー処理開始マークＳＭを選択する。これにより、注目対象物が撮像領域ＣＰＲの中心ＲＣｅに配置されたフレーム画像データーＦＭ１であって処理開始データーＳＤが付与されたフレーム画像データーＦＭ１が生成されて記憶部１２０に記憶される。

Ａ−３．サーバーの構成：
図５は、サーバー６０の構成を機能的に示すブロック図である。サーバー６０は、ＣＰＵ６４０と、ＲＯＭ６７０と、ＲＡＭ６７２と、通信インターフェイス（Ｉ／Ｆ）６３２と、記憶部６２０とを備える。各部は、図示しないバスにより相互に接続されている。

ＣＰＵ６４０は、ＲＯＭ３２０や記憶部６２０に格納されているコンピュータープログラムをＲＡＭ６７２に展開して実行することにより、サーバー６０の各部を制御する。その他、ＣＰＵ６４０は、通信インターフェイス（Ｉ／Ｆ）６３２を通じて外部からデーターを取得するデーター取得部６４２と、通信Ｉ／Ｆ６３２を通じて外部へデーターを送信するデーター送信部６４８としても機能する。

通信インターフェイス３４０は、無線通信インターフェイスと、有線通信インターフェイスとを含んでいる。無線通信インターフェイスは、図示しない送受信回路を含み、アンテナを介して受信した電波の復調とデーターの生成、および、アンテナを介して送信する電波の生成と変調を行う。有線通信インターフェイスは、有線ケーブルを介して他の装置と接続される。

記憶部３５０は、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部３５０は、条件判定部６４４で用いられる条件テーブル６２１を記憶する。また、記憶部３５０は、カメラ６１が撮像した動画像データーＤＭ１を記憶する。

ＣＰＵ６４０は、ＲＯＭ６７０に格納されているコンピュータープログラムをＲＡＭ６７２に転送して実行することによって、データー処理部６４６として機能する。データー処理部６４６は、切出位置設定部６４１と、切出部６４３と、条件判定部６４４とを含む。データー処理部６４６は、記憶部６２０に記憶された複数のフレーム画像データーＦＭ１の一部を抽出して、抽出したフレーム画像データーＦＭ１に対してデーター処理を行うことで表示用フレーム画像データーＦＭ２を生成する。また、データー処理部６４６は、データー送信部６４８を介して第２のフレームレートＦＲ２で表示用フレーム画像データーＦＭ２をＰＣ２５０に送信可能である。

切出部６４３は、動画像データーＤＭ１を構成するフレーム画像データーＦＭ１に対して、フレーム画像データーＦＭ１が表すフレーム画像の中から所定の切出領域を切り出して、表示部２５１に表示させるための表示用フレーム画像データーＦＭ２を生成する。

図６は、切出領域ＥＰＲと、フレーム画像データーＦＭ１が表すカメラ６１の撮像領域ＣＰＲとの関係を説明するための図である。カメラ６１によって、操作パネル７８を含む撮像領域ＣＰＲが撮像された場合、切出部６４３は撮像領域ＣＰＲよりも小さい切出領域ＥＰＲをフレーム画像から切り出して表示用フレーム画像データーＦＭ２を生成する。ＰＣ２５０は、切出領域ＥＰＲと表示部２５１の表示領域との大きさが一致するように表示用フレーム画像データーＦＭ２を表示部２５１に表示させる。処理開始データーＳＤを受信する前のサーバー６０の通常モードでは、切出領域ＥＰＲの規定位置としての中心位置Ｃｅは、撮像領域ＣＰＲの中心ＲＣｅに設定されている。また、サーバー６０は、処理開始データーＳＤを受信すると、処理モードに移行する。処理モードでは、所定の条件を満たすか否かによって中心位置Ｃｅの位置が決定される。なお、規定位置は、切出領域ＥＰＲの位置を規定していれば中心位置Ｃｅに限定されるものではなく、例えば、切出領域ＥＰの４隅の少なくとも一つの座標位置を規定位置としても良い。

本実施形態では、切出領域ＥＰＲの大きさは予め設定された一定の値である。なお、切出領域ＥＰＲの大きさはこれに限定されるものではなく、撮像領域ＣＰＲよりも小さい範囲であれば、ＨＭＤ１０（詳細には、カメラ６１）とフレーム画像データーＦＭ１が表すフレーム画像に含まれる所定の対象物（例えば、プリンター７０の操作パネル７８）との距離に応じて変更しても良い。

切出位置設定部６４１（図５）は、処理モードのときに、注目すべき注目領域に基づいて切出領域ＥＰＲの中心位置を設定する。条件判定部６４４は、９軸センサー６６の検出情報ＤＴ１によって検出されるカメラ６１の動きが、条件テーブル６２１に規定された所定の条件を満たすか否かを判定する。また、条件判定部６４４は、フレーム画像データーＦＭ１に処理開始データーＳＤが付与されているか否かを判定する。

切出部６４３は、切出位置設定部６４１によって中心位置が設定された切出領域ＥＰＲを用いて、フレーム画像データーＦＭ１から表示用フレーム画像データーＦＭ２を生成する。表示用フレーム画像データーＦＭ２は、記憶部６２０に記憶される。

データー送信部６４８は、記憶部６２０に記憶された動画像データーＤＭ２を構成する複数のフレーム画像データーＦＭ２をデーター処理部６４６からの指示に基づいて第２のフレームレートＦＲ２でＰＣ２５０に送信する。

Ａ−４．ＣＰＵ６４０が実行する画像データーの処理フロー：
図７は、ＣＰＵ６４０が実行する画像データーの処理フローである。図７に示す処理フローは、ＨＭＤ６０とサーバー６０との通信、及び、サーバー６０とＰＣ２５０の通信が接続された後に実行される。

まず、サーバー６０のデーター取得部６４２は、ＨＭＤ１０の記憶部１２０に記憶されたフレーム画像データーＦＭ１及び検出情報ＤＴ１を一定時間間隔で取得して、記憶部６２０に記憶させる（ステップＳ１０）。

条件判定部６４４は、フレーム画像データーＦＭ１に処理開始データーＳＤが付与されているか否かを判定する（ステップＳ１５）。フレーム画像データーＦＭ１に処理開始データーＳＤが付与されていないと判定された場合は、サーバー６０は通常モードによって表示用フレーム画像データーＦＭ２を生成する。すなわち、切出部６４３は、撮像領域ＣＰＲの中心ＲＣｅが中心位置Ｃｅとなる切出領域ＥＰＲでフレーム画像を切り出して表示用フレーム画像データーＦＭ２を生成する（ステップＳ７０）。ステップＳ７０で生成された表示用フレーム画像データーＦＭ２は、データー送信部６４８によってＰＣ２５０に送信される（ステップＳ８４）。

フレーム画像データーＦＭ１に処理開始データーＳＤが付与されていると判定された場合は、サーバー６０は処理モードによって表示用フレーム画像データーＦＭ２を生成する。まず、切出位置設定部６４１は、処理開始データーＳＤが付与されたフレーム画像データーＦＭ１に対して、基準切出位置Ｃｓを中心とする切出領域ＥＰＲを設定する（ステップＳ２０）。ここで、基準切出位置Ｃｓを中心とする切出領域ＥＰＲを基準切出領域ＥＰＲｓとも呼ぶ。本実施形態では、基準切出位置Ｃｓは、撮像領域ＣＰＲの中心ＲＣｅの座標位置である。

図８は、切出位置設定部６４１が設定する基準切出領域ＥＰＲｓを説明するための図である。本実施形態では、切出位置設定部６４１は、ＨＭＤ１００の使用者の視野の中心及びその周囲が注目領域であると推定して、使用者の視野の中心を基準切出位置Ｃｓとして設定する。すなわち、切出位置設定部６４１は、フレーム画像データーＦＭ１が表す撮像領域ＣＰＲの中心ＲＣｅを基準切出位置Ｃｓとして設定する。例えば、操作パネル７８を作業対象とする作業場面では、使用者は、カメラ６１が撮像している画像ＶＩａ（図４）を参考にして、操作パネル７８が撮像領域ＣＰＲの中心ＲＣｅとなるようにカメラ６１の向きを設定する。そして、使用者は、データー処理開始マークＳＭ（図４）を選択する。これにより、操作パネル７８が撮像領域ＣＰＲの中心ＲＣｅに配置されたフレーム画像データーＦＭ１であって処理開始データーＳＤが付与されたフレーム画像データーＦＭ１が生成される。

ステップＳ２０の後に、条件判定部６４４は、９軸センサー６６の検出情報ＤＴ１を元にカメラ６１の動きを算出し、算出された動きが条件テーブル６２１に記憶された所定の条件を満たすか否かを判定する（ステップＳ３０）。所定の条件は、カメラ６１の移動量と、処理開始データーＳＤから生成された基準時刻からの時間とを含む。所定の条件は、使用者が作業を行う対象物を意図的に変えたか否かを判定できる条件に設定されることが好ましい。

所定の条件は、カメラ６１の移動量が連続して所定の時間だけ所定の閾値以上であるという条件である。所定の閾値は、水平方向に沿った移動量、鉛直方向に沿った移動量、各軸（Ｘ軸，Ｙ軸，Ｚ軸）を中心とする回転方向の移動量の少なくとも１つに関する閾値である。所定の閾値は、使用者が対象物に対して作業（操作）を行ってる場合の頭の最大揺れ量以上に設定することが好ましい。また、所定の時間は、使用者が作業する対象物を意図して変えたと推認できる程度の時間に設定することが好ましい。

本実施形態では、所定の条件は以下の条件である。
＜所定の条件＞
処理開始データーＳＤが生成された基準時刻ｔ０におけるカメラ６１の位置を基準位置として、鉛直方向を中心として絶対値でθａ以上のカメラ６１の回転方向の移動量（角度変化）が連続して所定の時間Ｐｔ以上生じた。
ここで、所定の時間Ｐｔは、例えば２〜６秒の範囲に設定される。

条件判定部６４４によって、動きが所定の条件を満たすと判定された場合は（ステップＳ３０：ＹＥＳ）、ステップＳ６０の処理が実行される。すなわち、切出部６４３は、フレーム画像を切り出すための切出領域の中心位置を予め設定された基準切出位置Ｃｓに設定して表示用フレーム画像データー（標準画像データー）ＦＭ２を生成する（ステップＳ６０）。すなわち、フレーム画像データーＦＭ２が表すフレーム画像を基準切出領域ＥＰＲｓで切り出して、表示用フレーム画像データーＦＭ２を生成する。基準切出領域ＥＰＲｓを用いて生成された表示用フレーム画像データーＦＭ２を標準画像データーＦＭ２ｓとも呼ぶ。ステップＳ６０で生成された標準画像データーＦＭ２ｓは、データー送信部６４８によってＰＣ２５０に送信される（ステップＳ８３）。

条件判定部６４４によって、動きが所定の条件を満たさないと判定された場合は（ステップＳ３０：ＮＯ）、ステップＳ４０が実行される。すなわち、切出部６４３は、カメラ６１の動きが表示用フレーム画像ＦＭ２に反映されないように、切出領域の中心位置を基準切出位置Ｃｓからずらして表示用フレーム画像データーＦＭ２を生成する（ステップＳ４０）。基準切出位置Ｃｓからずらされた切出領域の中心位置を補正後切出位置Ｃｔとも呼ぶ。また、補正後切出位置Ｃｔを中心とする切出領域を補正後切出領域ＥＰＲｔとも呼ぶ。補正後切出領域ＥＰＲｔを用いて生成された表示用フレーム画像データーＦＭ２を補正画像データーＦＭ２ｔとも呼ぶ。本実施形態では、カメラ６１の基準時刻ｔ０からの動きに対応するフレーム画像データーＦＭ１におけるフレーム内動き分だけ、フレーム画像データーＦＭ１上の切出領域の中心位置を基準切出位置Ｃｓからずらす。フレーム内動きは、基準時刻ｔ０におけるフレーム画像データーＦＭ１と、処置対象のフレーム画像データーＦＭ１とを比較して算出しても良いし、カメラ６１と注目対象物（例えば、操作パネル７８）との距離が既値の場合は、カメラ６１の動きに基づいて算出して良い。ステップＳ４０で生成された補正画像データーＦＭ２ｔは、データー送信部６４８によってＰＣ２５０に送信される（ステップＳ８２）。

Ａ−５．基準切出領域ＥＰＲｓと補正後切出領域ＥＰＲｔの具体例：
図９は、処理フローを説明するための図である。図１０は、カメラ６１の水平面内での動きの変化を示す図である。図１１は、基準時刻ｔ０における撮像領域ＣＰＲと基準切出領域ＥＰＲｓとの関係を示す図である。図１２は、時刻ｔ１における撮像領域ＣＰＲと切出領域ＥＰＲとの関係を示す図である。図１３は、時刻ｔ８における撮像領域ＣＰＲと切出領域ＥＰＲとの関係を示す図である。

使用者９９は、プリンター７０の操作パネル７８を操作した後に、スピンドル受け７５（図２）を操作し、更にその後に操作パネル７８を操作する。図９に示すように、使用者９９がプリンターの操作パネル７８を操作する際には、視線の方向が矢印Ｙ１近傍を向いており、スピンドル受け７５を操作する際には、頭部を回転させて視線の方向が矢印Ｙ２近傍を向く。図１０において、時刻ｔ０〜時刻ｔ６までの期間では、使用者９９は操作パネル７８を操作しており、時刻ｔ７〜時刻ｔ９では、スピンドル受け７５を操作する。さらに時刻ｔ１０以降は、使用者９９は操作パネル７８を操作する。時刻ｔ８〜時刻ｔ９の期間では、カメラ６１の動きが所定の条件を満たしている。また、時刻ｔ２〜時刻ｔ５の期間では、使用者は、周囲の音（例えば、物音）に反応して、音の方向を見るために突発的に頭を回転させた後に、再び操作パネル７８の方向に視線の方向を変えている。

図１１に示すように、時刻ｔ０におけるフレーム画像データーＦＭ１には、処理開始データーＳＤが付与されている。よって切出位置設定部６４１は、フレーム画像データーＦＭ１が表す撮像領域ＣＰＲの中心ＲＣｅを基準切出位置Ｃｓとして設定する（図７のステップＳ２０）。時刻ｔ０における９軸センサー６６の検出情報ＤＴ１は、カメラ６１の動きを算出するための基準情報を表す。つまり、条件判定部６４４は、時刻ｔ０におけるカメラ６１の位置を基準とした時刻ｔ０以降のカメラ６１の動きが、所定の条件を満たすか否かについて判定する。

図１０に示すように、時刻ｔ２におけるカメラ６１は、基準時刻ｔ０におけるカメラ６１よりも時計回りにθ１だけ回転移動している。θ１は、所定の閾値θａよりも小さい。条件判定部６４４は、カメラ６１が時計回りにθ１だけ回転移動したことを検出情報ＤＴ１を元に算出し、算出したカメラ６１の移動量θ１が所定の閾値θａよりも小さいと判定する。つまり、条件判定部６４４は、時刻ｔ２におけるカメラ６１の動きが所定の条件を満たさないと判定する（ステップＳ３０：ＮＯ）。

切出位置設定部６４１は、時刻ｔ２におけるフレーム画像データーＦＭ１に対して補正後切出位置Ｃｔを設定する。すなわち、図１２に示すように、切出位置設定部６４１は、カメラ６１の動き（＋θ１）とは反対の方向に、切出領域の中心位置を基準切出位置Ｃｓからずらすことで補正後切出位置Ｃｔを設定する。本実施形態では、切出位置設定部６４１は、フレーム画像（フレーム画像データーＦＭ１が表すフレーム画像）において、切出位置をカメラ６１の動きとは反対の動き分（−Ｌ１）だけ基準切出位置Ｃｓからずらすことで補正後切出位置Ｃｔを設定する。補正後切出位置Ｃｔが設定されることで、補正後切出位置Ｃｔを中心とする一定範囲の補正後切出領域ＥＰＲｔが設定される。切出部６４３は、フレーム画像データーＦＭ１が表すフレーム画像を補正後切出領域ＥＰＲｔで切り出して補正画像データーＦＭ２ｔを生成する。補正画像データーＦＭ２ｔは、カメラ６１の動きがキャンセルされるように、中心に操作パネル７８が位置する。このため、時刻ｔ２の表示用フレーム画像は、基準時刻ｔ０からカメラ６１が動いていないときの画像のようにＰＣ２５０の表示部２５１に表示される。また、カメラ６１の移動量が所定の閾値θａ以上である時刻ｔ３から時刻ｔ４の期間においても、所定の時間Ｐｔの条件を満たさないため、カメラ６１の動きが所定の条件を満たさないと判定される。この場合、時刻ｔ２におけるフレーム画像データーＦＭ１のデーター処理と同様に、カメラ６１の動きに対応させた分だけ切出領域の中心位置がデーター処理部６４６によってずらされる。なお、補正後切出領域ＥＰＲｔの一部が、撮像領域ＣＰＲの範囲外に位置した場合には、範囲外に位置する領域の画像データーを黒データーや白データーにしても良い。また、範囲外に位置する領域の画像データーを、範囲内に位置する領域の画像データーを元に生成しても良い。

図１０の時刻ｔ８において、条件判定部６４４は、カメラ６１の動きが所定の条件を満たしたと判定する。この場合、図１３に示すように、切出位置設定部６４１は基準切出位置Ｃｓを設定する。そして、データー処理部６４６は、基準切出位置Ｃｓを中心とする基準切出領域ＥＰＲｓで標準画像データーＦＭ２ｓを生成する。すなわち、時刻ｔ８の表示用フレーム画像は、基準時刻ｔ０からのカメラ６１の動きを反映した画像である。すなわち、スピンドル受け７５を含む画像が表示用フレーム画像としてＰＣ２５０の表示部２５１に表示される。

図１０に示すように、時刻ｔ９以降では、カメラ６１の動きが所定の条件を満たさないため、データー処理部６４６は補正後切出領域ＥＰＲｔを用いて補正画像データーＦＭ２ｔを生成する。

以上のように、上記第１実施形態によれば、対象物（例えば操作パネル７８）を含む動画像を表示部２５１に表示させつつ、所定の条件を満たさないカメラ６１の動きに起因した表示部２５１に表示される画像の揺れを低減できる。また、所定の条件が、所定の時間という時間に関する条件も含む。これにより、カメラ６１の移動量が所定の閾値以上である場合でも、移動量が所定の閾値以上の時間が所定の時間より短い場合には、カメラ６１の動きを反映するように切出領域ＥＰＲの中心位置Ｃｅが基準切出位置Ｃｓからずらされる。これにより。所定の時間よりも短い時間に生じた所定の閾値以上のカメラ６１の動きは表示部２５１に表示される画像に反映されないため、表示部２５１に表示される画像の揺れをさらに低減できる。つまり、使用者が突発的に頭を動かした場合でも、その突発的な動きは表示部２５１に表示される画像に反映されない。

また上記第１実施形態によれば、切出位置設定部６４１は、注目すべき注目領域に基づいて基準切出位置Ｃｓを設定している。これにより、注目領域に基づいて容易に基準切出位置Ｃｓを設定できる。また上記第１実施形態によれば、サーバー６０がデーター処理部６４６と記憶部６２０とを有する。これにより、データー処理部６４６及び記憶部６２０の機能をＨＭＤ１００に搭載する必要がないため、ＨＭＤ１００のコストを低減できる。

Ｂ．第２実施形態：
Ｂ−１．ＨＭＤ及びサーバーの構成：
図１４は、第２実施形態のＨＭＤ１００ａの構成を機能的に示すブロック図である。第１実施形態のＨＭＤ１００（図３）と第２実施形態のＨＭＤ１００ａとの異なる点は、ＨＭＤ１００ａが新たにＴＯＦセンサー部６２と距離検出部１６４とを備える点である。その他の第２実施形態のＨＭＤ１００ａの構成については、第１実施形態のＨＭＤ１００の構成と同様であるため、同様の構成については第１実施形態と同じ符号を付すと共に説明を省略する。ＴＯＦセンサー部６２は、受光素子と赤外線ＬＥＤとを備える。

距離検出部１６４は、ＴＯＦセンサー部６２が検出した赤外線の反射光について、ＴＯＦ（Time of Flight）方式を用いることで、赤外線ＬＥＤから赤外線が発光されてから特定の対象物に反射してＴＯＦセンサー部６２の受光素子が受光するまでの時間を算出することで、ＴＯＦセンサー部６２が配置された画像表示部２０から特定の対象物までの距離（対象物距離）を検出する距離画像センサーである。

なお、距離を検出するための構成は上記に限定されるものではなく、以下の種々の他の検出方法を採用可能である。
・第１の他の距離検出方法：距離検出部１６４は、ＧＰＳモジュール１３４によって特定された画像表示部２０の位置と予め記憶部１２０に記憶された対象物との位置とに基づいて対象物距離を検出する。
・第２の他の距離検出方法：カメラ６１が間隔を開けて２つ設けられている場合は、９軸センサー６６によって検出される画像表示部２０の向き（使用者の視線の方向）と、２つのカメラ６１によって撮像された２つの対象物を含む画像と、に基づいて三角法を用いて対象物距離を検出する。
・第３の他の距離検出方法：距離検出部１６４は、対象物の実際の大きさと、フレーム画像における対象物の大きさとを比較することで、対象物距離を検出する。この場合、記憶部１２０には、対象物の実際の大きさを表すデーターが記憶されている。

対象物距離の距離データーＤＬは、現在時刻を表す時刻データーが付与されて記憶部１２０に記憶される。距離データーＤＬは、サーバー６０ａに送信される。なお、距離データーＤＬは、同じ時刻のときに生成されたフレーム画像データーＦＭに付与されても良い。

図１５は、第２実施形態のサーバー６０ａの構成を機能的に示すブロック図である。第１実施形態のサーバー６０（図５）と第２実施形態のＨＭＤ１００ａとの異なる点は、サーバー６０ａが記憶部６２０ａに新たに距離データーＤＬを記憶している点と、データー処理部６４６ａが、新たに補間処理部６４７と切出領域設定部６４５とを備える点である。その他の第２実施形態のサーバー６０ａの構成については、第１実施形態のサーバー６０の構成と同様であるため、同様の構成については第１実施形態と同じ符号を付すと共に説明を省略する。

補間処理部６４７は、表示部２５１に表示される動画全体の動きを滑らかにするための処理を実行する。補間処理部６４７は、カメラ６１の動きが所定の条件を満たさない場合に生成される補正画像データーＦＭ２ｔと、カメラ６１の動きが所定の条件を満たす場合に生成される標準画像データーＦＭ２ｓとが表す２つの表示用フレーム画像の間に挿入する新たな表示用フレーム画像（補間表示用フレーム画像）を生成する。補間処理部６４７による補間処理は、図７に示すステップＳ３０とステップＳ６０との間に実行される。補間処理部６４７の詳細は後述する。

切出領域設定部６４５は、距離検出部１６４によって検出された距離データーＤＬに応じて切出領域ＥＰＲの大きさを変化させる。本実施形態では、表示部２５１に表示される対象物の大きさが略一定となるように距離データーＤＬが表す対象物距離が大きいほど切出領域ＥＰＲを大きくする。なお、対象物距離が大きくなるにしたがって段階的に切出領域ＥＰＲを大きくしても良い。切出領域設定部６４５の詳細は後述する。

Ｂ−２．補間処理部の処理内容：
図１６は、補間処理部６４７が実行する補間処理方法について説明するための図である。図１６（Ａ）は、使用者９９の前方の外界ＳＣを示している。図１６（Ｂ）は、各時刻におけるＰＣ２５０の表示部２５１に表示されたフレーム画像を表している。図１６（Ｃ）は、データー処理部６４６ａの処理内容を説明するための図である。

図１６（Ａ）に示すように、外界ＳＣには、右から順に、第１対象物Ｍ１と第２対象物Ｍ２と第３対象物Ｍ３が配置されている。基準時刻ｔ０から時刻ｔ２までは、使用者９９は第１対象物Ｍ１の作業を行い、次に使用者は矢印Ｙａに示すように右側から左側へと移動して、時刻ｔ３以降は第２対象物Ｍ２の作業を行う。基準時刻ｔ０から時刻ｔ２までは、カメラ６１の動きが所定の条件を満たしておらず、時刻ｔ３以降ではカメラ６１の動きが所定の条件を満たしているものと仮定する。また、データー処理部６４６は、所定間隔Δｔごとに表示部２５１にフレーム画像を表示させるために第２のフレームレートＦＲ２で表示用フレーム画像データーＦＭ２をＰＣ２５０に送信する。

切出部６４３は、基準時刻ｔ０から時刻ｔ２までの期間では、補正後切出領域ＥＰＲｔを用いてフレーム画像データーＦＭ１から補正画像データーＦＭ２ｔを生成する。この補正画像データーＦＭ２ｔはデーター送信部６４８によってＰＣ２５０に送信され、ＰＣ２５０は、補正画像データーＦＭ２ｔが表す第１画像を表示する。すなわち、カメラ６１の動きに対応することなく第１対象物Ｍ１の位置が変化しない動画が、表示部２５１に表示される。図１６（Ｂ）に示すように、時刻ｔ２までは、第１対象物Ｍ１が表示部２５１の中心となる画像が表示されている。

切出部６４３は、時刻ｔ３以降では、基準切出領域ＥＰＲｓを用いてフレーム画像データーＦＭ１から標準画像データーＦＭ２ｓを生成する。この標準画像データーＦＭ２ｓはデーター送信部６４８によってＰＣ２５０に送信され、ＰＣ２５０は、標準画像データーＦＭ２ｓが表す第２画像を表示する。図１６（Ｂ）に示すように、時刻ｔ３では、第２対象物Ｍ２が表示部２５１の中心となる画像が表示されている。すなわち、補間処理部６４７が機能しない場合には、時刻ｔ２の第１画像の次に時刻ｔ３の第２画像が表示部２５１に突然に表示されることになり、表示部２５１側の指示者に対して違和感を生じさせる原因となる。時刻ｔ２はカメラ６１の動きが所定の条件を満たさない時点であり、時刻ｔ３はカメラ６１の動きが所定の条件を満たす時点である。

よって、補間処理部６４７は、以下の説明するように補間画像処理を実行する。まず、補間処理部６４７は、記憶部６２０ａに記憶された時刻ｔ２と時刻ｔ３の間に撮像された複数のフレーム画像データーＦＭ１としての補間用フレーム画像データーの中から少なくとも１枚のデーターを選択する。図１６（ｃ）では、補間処理部６４７は、時刻ｔｇと時刻ｔｍと時刻ｔｙのときのフレーム画像データーＦＭ１を選択している。次に、選択したフレーム画像データーＦＭ１のフレーム画像を基準切出領域ＥＰＲｓで切り出して補間画像データーＦＭ２ｍを生成する。補間画像データーＦＭ２ｍは、記憶部６２０ａに記憶される。補間画像データーＦＭ２ｍは、表示部２５１に表示するための画像データーであるため、「補間表示用フレーム画像データーＦＭ２ｍ」とも呼ぶ。補間画像データーＦＭ２ｍは、カメラ６１の動きを反映した画像を表す。

補間処理部６４７は、時系列に並んだ第１の表示用フレーム画像データー（第１の画像）と第２の表示用フレームが画像データー（第２の画像）との間に、生成された時刻ｔｇ、時刻ｔｍ、時刻ｔｙのときの補間画像データーＦＭ２ｍをこの順番で記憶部６２０ａに記憶させる。すなわち、補間処理部６４７は、第２のフレームレートＦＲ２で時系列で送信する時刻ｔ２の補正画像データーＦＭ２ｔと時刻ｔ３の標準画像データーＦＭ２ｓとの間に補間画像データーＦＭ２ｍを挿入して、データー送信部６４８によってこれらの画像データーをＰＣ２５０に送信させる。つまり、時刻ｔ２〜ｔ３の間は、第２のフレームレートＦＲ２よりも高いフレームレートでカメラ６１の動きを反映した画像が表示部２５１に表示される。具体的には、時刻ｔ２〜時刻ｔ３では、早送りのような動画であって第１対象物Ｍ１から第２対象物Ｍ２へと円滑に画像が切り替わる動画が表示部２５１に表示される。これにより、時刻ｔ２〜時刻ｔ３の間に表示部２５１に表示される画像の動きが滑らかになり、表示部２５１を見る指示者が動画について違和感を感じることを抑制できる。また、第２のフレームレートＦＲ２では用いられないフレーム画像を有効に利用して補間画像データーＦＭ２ｍを生成できる。

Ｂ−３．補間処理部の他の処理方法：
補間処理部６４７が実行する補間処理方法は上記に限定されるものではなく、カメラ６１の動きが所定の条件を満たさない場合に生成された第１の表示用フレーム画像データーが表す第１画像の後に、所定の条件を満たす場合に生成された第２の表示用フレーム画像データーが表す第２画像がＰＣ２５０に表示される場合に、第１画像と第２画像との差分を補間するような補間画像データーＦＭ２ｍを生成できれば、他の処理方法であっても良い。補間処理部６４７が実行する他の処理方法の具体例を以下に説明する。

図１７は、補間処理部６４７が実行する他の補間処理方法について説明するための図である。図１７（Ａ）は、使用者９９の前方の外界ＳＣを示している。図１７（Ｂ）は、データー処理部６４６ａの処理内容を説明するための図である。

基準時刻ｔ０から時刻ｔ２までは、使用者９９は第１対象物Ｍ１の作業を行い、次に使用者は距離Ｌだけ右側から左側へと移動して、時刻ｔ３以降は第２対象物Ｍ２の作業を行う。距離Ｌに相当するフレーム画像データーＦＭ１上の距離は距離Ｌｐである。基準時刻ｔ０から時刻ｔ２までは、カメラ６１の動きが所定の条件を満たしておらず、時刻ｔ３以降ではカメラ６１の動きが所定の条件を満たしているものと仮定する。また、データー処理部６４６ａは、所定間隔Δｔごとに表示部２５１にフレーム画像を表示させるために第２のフレームレートＦＲ２で表示用フレーム画像データーＦＭ２をＰＣ２５０に送信する。

補間処理部６４７は、第２のフレームレートＦＲ２を維持したまま、カメラ６１の動きが所定の条件を満たさない時点と所定の条件を満たす時点との境界部分におけるフレーム画像データーＦＭ１の補間を行う。補間処理部６４７によって補間処理が実行されるフレーム画像のフレーム数は予め設定されていても良いし、カメラ６１の移動量によって可変であっても良い。本実施形態では、補間処理が実行されるフレーム画像のフレーム数は２フレームである。なお、カメラ６１の移動量によって補間処理を行うフレーム数を可変させる場合は、移動量が大きくなるほどフレーム数を多くすることが好ましい。こうすることで、表示部２５１に表示される画像の動きがより滑らかになる。

補間処理部６４７は、カメラ６１の動きが所定の条件を満たした時刻から、時系列に並ぶ時刻ｔ３と時刻ｔ４の２つのフレーム画像データーＦＭ１に対して、カメラ６１の動きを補間するように切出領域ＥＰＲの中心位置Ｃｅを設定する。具体的には、時刻ｔ３のフレーム画像データーＦＭ１に対して、基準切出位置Ｃｓからカメラ６１の動きとは反対の方向に（２×Ｌｐ）／３だけずらした位置を中心位置Ｃｅとして設定する。そして設定した中心位置Ｃｅを中心とする切出領域ＥＰＲでフレーム画像データーＦＭ１を切り出して補間画像データーＦＭ２ｍを生成する。また、時刻ｔ４のフレーム画像データーＦＭ１に対して、基準切出位置Ｃｓからカメラ６１の動きとは反対の方向に（１×Ｌｐ）／３だけずらした位置を中心位置Ｃｅとして設定する。そして設定した中心位置Ｃｅを中心とする切出領域ＥＰＲでフレーム画像データーＦＭ１を切り出して補間画像データーＦＭ２ｍを生成する。なお、時刻ｔ３の補間画像データーＦＭ２ｍは、撮像領域ＣＰＲの範囲外にも切出領域ＥＰＲが位置するため、切出領域ＥＰＲのうち撮像領域ＣＰＲの外側部分は、時刻ｔ３の前後のフレーム画像を元に画像を予想して生成している。

このように、補間処理部６４７は、各フレーム画像データーＦＭ１に対してカメラ６１の動きとは反対の方向に、以下の関係式（１）で算出される距離（ずらし量）だけ基準切出位置Ｃｓからずらして中心位置Ｃｅを設定する。
[数１]
ずらし量Ｌｓ＝（Ｎｎ×Ｌｐ）／（Ｆｎ＋１）・・・（１）
ここで、Ｎｎは時系列に並んだ補間処理を行うフレームの最後から数えた順番、Ｌｐはカメラ６１の移動量Ｌに相当するフレーム画像データーＦＭ１上での距離、Ｆｎは補間処理を行うフレーム枚数である。

このように、補間処理部６４７は、第１のフレーム画像データーとしてのフレーム画像データーＦＭ１と、第２のフレーム画像データーとしてのフレーム画像データーＦＭ１との時系列において間に位置する少なくとも１つのフレーム画像データーＦＭに対して、カメラ６１の動きを補間するように中心位置Ｃｅを設定して補間画像データーＦＭ２ｍを生成する。これにより、時刻ｔ２〜時刻ｔ５の間に表示部２５１に表示される画像の動きが滑らかになり、表示部２５１を見る指示者が動画について違和感を感じることを抑制できる。また、第２のフレームレートＦＲ２で表示部２５１に動画を表示させつつ、表示部２５を見る指示者が動画についての違和感を感じることを抑制できる。

なお、図１７に示す補間処理は、カメラ６１の動きが所定の条件を満たさないと判定されたフレーム画像データーＦＭ１に対して実行しても良い。すなわち、図７に示すステップＳ３０とステップＳ４０との間に実行しても良い。例えば、カメラ６１の動きが所定の条件を満たさない時点と所定の条件を満たす時点との境界部分のデーターである時刻ｔ１と時刻ｔ２のフレーム画像データーＦＭ１に対して補間処理を行う場合を説明する。この場合、時刻ｔ２のフレーム画像データーＦＭ１に対して、補正後切出位置Ｃｔからカメラ６１の動きと同じ方向に（２×Ｌｐ）／３だけずらした位置を中心位置Ｃｅとして設定する。また、時刻ｔ１のフレーム画像データーＦＭ１に対して、補正後切出位置Ｃｔからカメラ６１の動きと同じ方向に（１×Ｌｐ）／３だけずらした位置を中心位置Ｃｅとして設定する。

図１８は、切出領域設定部６４５の処理内容を説明するための図である。図１８（Ｂ）に示す場合よりも図１８（Ａ）に示す場合のほうが、距離データーＤＬが表す対象物距離が大きい。このとき、切出領域設定部６４５は、中心位置Ｃｅを中心とする切出領域ＥＰＲを対象物距離が大きいほど大きく設定する。これにより、表示部２５１に表示される対象物（例えば、操作パネル７８）の大きさが大きく変動することを抑制できる。

上記第２実施形態によれば、第１実施形態と同様の構成については同様の効果を奏する。また、上記第２実施形態によれば、サーバー６０ａが補間処理部６４７を有するため、所定の条件を満たさない時点と所定の条件を満たす時点との境界部分において、表示部２５１に表示された画像の内容が突然に切り替わることを抑制できる。

Ｃ．切出位置設定部の変形例：
上記第１，第２実施形態では、切出位置設定部６４１（図５，図１５）は、フレーム画像データーＦＭ１が表す撮像領域ＣＰＲの中心ＲＣｅを基準切出位置Ｃｓとして設定していたが、これに限定されるものではなく、例えば、以下の第１〜第３の他の設定方法のいずれかによって基準切出位置Ｃｓを設定しても良い。

図１９は、基準切出位置Ｃｓの第１の他の設定方法を説明するための図である。切出位置設定部６４１は、データー処理開始マークＳＭが選択されてから所定の期間（時刻ｔ１ａ〜時刻ｔ１ｄ：例えば１〜１０秒間）において撮像された複数のフレーム画像ＦＭ１ａ〜ＦＭ１ｄのうちの注目候補領域ＦＡＡの中で、重なる画像領域を注目領域ＡＡとして決定する。また、切出位置設定部６４１は、決定した注目領域ＡＡの中心位置を基準切出位置Ｃｓとして設定する。各注目候補領域ＦＡＡは、各フレーム画像ＦＭ１ａ〜ＦＭ１ｄの中心位置Ｒｃｅを中心とするフレーム画像ＦＭ１ａ〜ＦＭ１ｄよりも小さい一定の領域である。切出位置設定部６４１は、ある時刻（例えば時刻ｔ１ａ）のフレーム画像ＦＭ１ａの注目候補領域ＦＡＡ内に存在する注目領域ＡＡの画像を画像処理によって判別する。そして、フレーム画像ＦＭ１ａ内における注目領域ＡＡの中心位置を基準切出位置として設定する。このように第１の他の設定方法によれば、使用者や指示者に操作によることなく、重なるデーターに基づいて注目領域ＡＡを容易に設定できる。

また、第１の他の設定方法は上記に限定されるものではなく、ＨＭＤ１００の使用者の視線の方向や瞳孔の開閉状態に基づいて注目領域ＡＡとして決定しても良い。例えば、ＨＭＤ１００に新たに使用者の視線の方向や瞳孔の状態を検出するセンサーやカメラを設ける。視線の方向に基づいて注目領域ＡＡを決定する方法としては、例えば、使用者の視線の方向が所定の時間、一定の領域内にあることをＨＭＤ１００が判定した場合に、一定の領域を注目領域ＡＡとして決定しても良い。また、瞳孔の開閉状態に基づいて注目領域ＡＡを決定する方法としては、例えば、センサーやカメラによって瞳孔の開閉状態を検出し、検出結果に基づいて使用者が注目している一定の領域を推定する。そして、推定した一定の領域を注目領域ＡＡとして決定する。

図２０は、基準切出位置Ｃｓの第２の他の設定方法を説明するための図である。切出位置設定部６４１は、外部（例えば、指示者）から指定された指定対象物を含む領域を注目領域として切出中心位置を設定する。例えば、ＰＣ２５０の指示者はＨＭＤ１００の使用者に対して、ＨＭＤ１００の使用者に注目すべき対象物（指定対象物）を指定して、画像表示部２０に指定対象物を画像ＶＩａとして表示させる。図２０では、ディスプレイ７９の画像が画像表示部２０に表示されている。使用者は、画像表示部２０に表示された注目領域を表す枠状の画像９７内に外景に存在するディスプレイ７９が位置するように、十字キー１６（図１）を用いて枠画像９７を移動させる。枠画像９７は、枠画像９７の中心位置を示すマーク１０１を含む。使用者は、枠画像９７内にディスプレイ７９を含む操作パネル７８を位置させた後に、画像表示されたデーター処理開始マークＳＭを選択する。これにより、枠画像９７の中心が基準切出位置Ｃｓに設定される。このように第２の他の設定方法によれば、外部から指定された指定対象物を含む領域を注目領域として設定できる。また、画像表示部２０に指定対象物の画像が表示されるため、使用者は画像表示部２０に表示された画像を視認することで容易に指定対象物を認識できる。

上記の第２の他の設定方法では、枠画像９７を用いて指定対象物を指定することによって注目領域を設定したが、これに限定されるものではなく、枠画像９７に代えて指定対象物を指定可能な他の方法を採用しても良い。例えば、外景を透過可能な色がついた画像（色画像）を画像表示部２０に表示して、色画像内に指定対象物である操作パネル７９が位置するように色画像を移動させる。そして、データー処理開始マークＳＭを選択することによって、色画像の中心が基準切出位置Ｃｓに設定される。色画像の外形形状は、矩形、円形など種々の形状を採用可能である。

図２１は、基準切出位置Ｃｓの第３の他の設定方法を説明するための図である。図２１（Ａ）は、注目オブジェクトテーブル１２２を説明するための図である。図２１（Ｂ）は、基準切出位置Ｃｓの設定方法を説明するための図である。

図２１（Ａ）に示すように、ＨＭＤ１００の記憶部１２０は、注目オブジェクトを記憶する注目オブジェクトテーブル１２２を新たに有する。注目オブジェクトテーブル１２２は、注目対象物ごとに注目対象物を特定するための特徴情報を有する。特徴情報は、注目対象物の形状や大きさや色などの情報である。図２１に示す注目オブジェクトテーブル１２２には、プリンター７０の各部（例えば、ディスプレイ７９）ごとに特徴情報が記憶されている。

切出位置設定部６４１は、パターンマッチングによって、フレーム画像データーＦＭの中から注目オブジェクトテーブル１２２に記憶された１つの注目対象物を検出すると、検出した注目オブジェクトを含む領域を注目領域ＡＡとして決定する。そして、切出位置設定部６４１は、注目領域ＡＡの中心位置を基準切出位置Ｃｓとして設定する。例えば、図２１（Ｂ）に示すように、切出位置設定部６４１は、フレーム画像データーＦＭの中から操作パネル７８を検出する。そして操作パネル７８を含む注目領域ＡＡの中心位置を基準切出位置Ｃｓとして設定する。基準切出位置Ｃｓが設定されたことを処理開始データーＳＤを受信したとみなしてステップＳ２０（図７）以降の処理がサーバー６０，６０ａによって実行される。なお、注目対象物を検出するためのフレーム画像データーＦＭ１の検出領域ＤＡは、撮像領域ＣＰＲよりも小さい領域であって、撮像領域ＣＰＲの中心位置を含む領域であることが好ましい。こうすることで、注目対象物が撮像領域ＣＰＲの端に位置するときに注目対象物が検出されることを防止できるため、基準切出位置Ｃｓが撮像領域ＣＰＲの端近傍に設定されることを防止できる。第３の他の設定方法によれば、切出位置設定部６４１によって自動的に注目対象物を検出することによって、基準切出位置Ｃｓを設定できる。

Ｄ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１:
上記第１，第２実施形態では、表示用フレーム画像データーＦＭ２を生成するためのデータ処理要素（記憶部６２０，６２０ａ及びデーター処理部６４６，６４６ａ）がＨＭＤ１００とＰＣ２５０との間のデーターを中継するサーバー６０，６０ａに設けられていたが、これに限定されるものではない。例えば、記憶部６２０，６２０ａ及びデーター処理部６４６，６４６ａはＨＭＤ１００に設けられていても良いし、ＰＣ２５０に設けられていても良い。こうすることで、単一の装置（例えば、ＨＭＤ１００）を用いた動画像データーのデーター処理を行うことができる。

また、表示用フレーム画像データーＦＭ２を生成するためのデータ処理要素（データー処理部６４６，６４６ａや記憶部６２０，６２０ａ）を有する情報処理装置が、ＨＭＤ１００と表示部２５１（図１）の少なくとも一方と有線ケーブルによって接続されていても良い。また、ＨＭＤ１００とＰＣ２５０のいずれかがデーター処理要素を有し、ＨＭＤ１００とＰＣ２５０とが有線ケーブルによって接続されていても良い。

・変形例２：
上記実施形態では、画像表示装置の例としてＨＭＤ１００を用いたがこれに限定されるものではない。画像表示装置は、動画像を撮像する撮像部と、撮像部の動きを検出するためのセンサーとを少なくとも有していれば良く、例えばビデオカメラやスマートフォンやタブレット型端末やロボットであっても良い。また、画像表示装置は画像を表示する機能を有していなくても良く、この場合、動画像取得装置と呼ぶこともできる。また、上記の表示システム１は遠隔支援システムを例に説明したがこれに限定されるものではない。例えば、野球中継を行うシステムなどに本発明は適用しても良い。また、ＨＭＤ１００，サーバー６０，６０ａ，ＰＣ２５０の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

ＨＭＤ１００は、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。また、使用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。また、例えば、画像表示部２０が備える右光学像表示部２６および左光学像表示部２８（図１）を、上記実施形態よりも小さく形成し、ＨＭＤの装着時における利用者の左右の眼の斜め上や斜め下などにそれぞれ配置しても良い。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。すなわち、光学像表示部の先にある外界からの光が、光学像表示部を覆っていない部分から瞳孔に入る瞳分割型のＨＭＤを本発明に採用しても良い。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）を採用してもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。また、例えば、手持ち型のハンドヘルドディスプレイ（Hand held display）として構成されてもよい。

・変形例３：
上記第１，第２実施形態では、切出位置設定部６４１は、９軸センサー６６の検出情報ＤＴ１に基づいて補正後切出位置Ｃｔを設定していたが、これに限定されるものではない。例えば、カメラ６１の定常的な動き（すなわち、ＨＭＤ１００の使用者の頭の定常的な揺れ）を予め計測しておき、予め計測した動きに基づいて切出位置設定部６４１が補正後切出位置Ｃｔを設定しても良い。

・変形例４：
上記第１，第２実施形態では、基準切出位置Ｃｓは撮像領域ＣＰＲの中心ＲＣｅを基準切出位置Ｃｓとして設定していたが、これに限定されるものではない。例えば、基準切出位置Ｃｓは、使用者や指示者によって指定されても良いし、撮像領域ＣＰＲの中心ＲＣｅからずれた位置に設定されても良い。

・変形例５：
上記第２実施形態では、距離検出部１６４は距離データーＤＬが表す対象物距離が大きいほど切出領域ＥＰＲを大きくしたが、これに限定されるものではない。例えば、距離検出部１６４は距離データーＤＬが表す対象物距離が大きいほど切出領域ＥＰＲを小さくしても良い。

また、カメラ６１と所定の対象物との距離（対象物距離）に代えて、ＨＭＤ１００の使用者の頭部の移動速度に応じて切出領域ＥＰＲの大きさを変化させても良い。頭部の移動速度は、９軸センサー６６によって検出したり、９軸センサー６６の検出結果に基づいてＣＰＵ１４０が算出したりする。例えば、移動速度が速いほど切出領域を大きくしても良い。こうすることで、広範囲の領域を表示部２５１に表示できるため、頭部の動きを指示者がより認識し易くできる。

・変形例６：
上記第１，２実施形態では、切出位置設定部６４１は、カメラ６１の動きとは反対の方向であって、フレーム画像中におけるカメラ６１の基準位置からの移動量分だけ、基準切出位置Ｃｓをずらすことで補正後切出位置Ｃｔを設定していたが、補正後切出位置Ｃｔの設定方法はこれに限定されるものではない。例えば、切出位置設定部６４１は、カメラ６１の動きが表示部２５１に反映されることを抑制できるように補正後切出位置Ｃｔを設定しても良い。具体的には、切出位置設定部６４１は、カメラ６１の動きとは反対の方向であって、カメラ６１の基準位置からの移動量未満（例えば、移動量の１／３や２／３）の距離だけ基準切出位置Ｃｓをずらすことで補正後切出位置Ｃｔを設定しても良い。

・変形例７：
表示装置が、両眼タイプのＨＭＤであったり、３次元的に画像を表示可能である場合、以下のように立体的に画像を表示しても良い。具体的には、所定の対象物と撮像部までの距離を距離検出部１６４によって検出し、検出結果に応じた視差を付して支持者の左右の目で視認されるそれぞれのフレーム画像を生成して、立体的に画像を表示させても良い。

・変形例８：
上記実施形態では、ＨＭＤ１００のカメラ６１は時系列的に連続する複数のフレーム画像データーＦＭ１を動画像データーＤＭ１としてサーバー６０、６０ａに送信し、サーバー６０，６０ａのデーター処理部６４６，６４６ａは、動画像データーＤＭ１に対してデーター処理を行っていたが、これに限定されるものではない。例えば、ＨＭＤ１００のカメラ６１は、所定期間ごとに画像を撮像し、撮像した複数の画像をサーバー６０、６０ａに送信し、サーバー６０，６０ａのデーター処理部６４６，６４６ａが複数の画像データーに対してデーター処理を行っても良い。

・変形例９：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１…表示システム
１０…制御部
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２５…表示部
２６…右光学像表示部
２８…左光学像表示部
３０…マイク部
３１…マイクロフォン
３２…アーム
３３…連結部
４０…接続コード
４６…連結部材
５１…送信部
５２…送信部
５３…受信部
６０，６０ａ…サーバー
６１…カメラ
６２…ＴＯＦセンサー部
６６…９軸センサー
７０…プリンター
７１…給紙スロット
７２…カバー
７６…排出部
７７…保持部
７８…操作パネル
７９…ディスプレイ
９０…ヘッドフォン部
９１…ヘッドバンド
９２…右イヤーカップ
９２ａ…上面
９３…左イヤーカップ
９４…スピーカー
９５…スピーカー
９７…枠画像
９９…使用者
１００…頭部装着型表示装置
１０１…マーク
１１０…入力情報取得部
１２０…記憶部
１２２…注目オブジェクトテーブル
１３０…電源
１３２…無線通信部
１３４…ＧＰＳモジュール
１３５…タイマー
１４０…ＣＰＵ
１６０…画像処理部
１６２…表示制御部
１６４…距離検出部
１７０…音声処理部
１８０…インターフェイス
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
２９１…パーソナルコンピューター
２９２…携帯電話端末
２９３…ゲーム端末
３２０…ＲＯＭ
３４０…通信インターフェイス
３５０…記憶部
６２０，６２０ａ…記憶部
６２１…条件テーブル
６４０…ＣＰＵ
６４１…切出位置設定部
６４２…データー取得部
６４３…切出部
６４４…条件判定部
６４５…切出領域設定部
６４６，６４６ａ…データー処理部
６４７…補間処理部
６４８…データー送信部
６７０…ＲＯＭ
６７２…ＲＡＭ
ＡＡ…注目領域
ＢＳ…通信キャリア
ＣＰＲ…撮像領域
Ｃｅ…中心位置
Ｃｓ…基準切出位置
Ｃｔ…補正後切出位置
ＤＡ…検出領域
ＤＬ…距離データー
ＤＭ１，ＤＭ２…動画像データー
ＤＴ１…検出情報
ＥＰＲ…切出領域
ＥＰＲｓ…基準切出領域
ＥＰＲｔ…補正後切出領域
ＦＭ，ＦＭ１…フレーム画像データー
ＦＭ２…表示用フレーム画像データー
ＦＭ２ｍ…補間画像データー
ＦＭ２ｓ…標準画像データー
ＦＭ２ｔ…補正画像データー
ＦＲ１…第１のフレームレート
ＦＲ２…第２のフレームレート
Ｍ１…第１対象物
Ｍ２…第２対象物
Ｍ３…第３対象物

Claims (18)

1. 表示システムであって、
   画像を撮像する撮像部と、
   前記撮像部が撮像した前記画像をフレーム画像データーとして記憶する記憶部と、
   前記撮像部の動きを検出するためのセンサーと、
   前記フレーム画像データーが表す前記画像の所定の切出領域を切り出して表示用画像データーを生成するデーター処理部と、
   前記表示用画像データーを表示装置に送信するデーター送信部と、を備え、
   前記データー処理部は、
   前記センサーにより検出された前記撮像部の動きが、所定の条件を満たす場合は、前記フレーム画像データーが表す前記画像を切り出すための前記切出領域の位置を規定する規定位置を予め設定された基準切出位置に設定して前記フレーム画像データーから前記表示用画像データーを生成し、
   前記動きが前記所定の条件を満たさない場合は、基準位置からの前記撮像部の動きとは反対の方向に前記規定位置を前記基準切出位置からずらして前記フレーム画像データーから前記表示用画像データーを生成し、
   前記データー処理部は、
   前記所定の条件を満たさない場合に生成された前記表示用画像データーとしての第１の表示用画像データーが表す第１画像の後に、前記所定の条件を満たす場合に生成された前記表示用画像データーとしての第２の表示用画像データーが表す第２画像が前記表示装置に表示される場合に、前記第１画像と前記第２画像との差分を補間する補間表示用画像データーを生成する補間処理部を含み、
   前記補間処理部は、時系列に並んだ前記第１の表示用画像データーと前記第２の表示用画像データーとの間に前記補間表示用画像データーを挿入する、表示システム。
2. 請求項１に記載の表示システムであって、
   前記所定の条件は、前記基準位置からの前記撮像部の移動量が連続して所定の時間以上だけ所定の閾値以上であるという条件である、表示システム。
3. 請求項１または請求項２に記載の表示システムであって、
   前記データー処理部は、前記撮像部が撮像し第１のフレームレートで生成された複数の画像を間引いて前記データー送信部によって前記第１のフレームレートよりも低い第２のフレームレートで前記表示用画像データーを送信させることが可能であり、
   前記補間処理部は、
   時系列において、前記第１の表示用画像データーの元となる前記フレーム画像データーとしての第１の画像データーと前記第２の表示用画像データーの元となる前記フレーム画像データーとしての第２の画像データーとの間に位置し、前記第２のフレームレートでは間引かれる予定の前記フレーム画像データーとしての補間用画像データーを選択し、
   前記補間用画像データーが表す画像に対して前記基準切出位置を中心とする前記切出領域で切り出して前記補間表示用画像データーを生成する、表示システム。
4. 請求項１または請求項２に記載の表示システムであって、
   前記補間処理部は、
   前記第１の表示用画像データーの元となる前記フレーム画像データーとしての第１の画像データーと、前記第２の表示用画像データーの元となる前記フレーム画像データーとしての第２の画像データーとの時系列において間に位置する少なくとも１つの前記表示用画像データーの元となる前記フレーム画像データーが表す前記画像に対して、前記第１の画像データーが生成されてから前記第２の画像データーが生成されるまでの間の前記撮像部の動きを補間するように前記規定位置を設定して前記補間表示用画像データーを生成する、表示システム。
5. 請求項１から請求項４までのいずれか一項に記載の表示システムであって、
   前記データー処理部は、さらに、
   注目すべき注目領域に基づいて前記基準切出位置を設定する切出位置設定部を有する、表示システム。
6. 請求項５に記載の表示システムであって、
   前記切出位置設定部は、所定の期間において前記撮像部が撮像した複数の前記画像のうち重なる画像領域を前記注目領域として前記基準切出位置を設定する、表示システム。
7. 請求項５に記載の表示システムであって、
   前記切出位置設定部は、外部から指定された指定対象物を含む領域を前記注目領域として前記基準切出位置を設定する、表示システム。
8. 請求項７に記載の表示システムであって、さらに、
   前記指定対象物を前記撮像部の使用者に視認させる画像表示部を有する、表示システム。
9. 請求項５に記載の表示システムであって、
   前記記憶部は、注目対象物を検出するための特徴情報を記憶し、
   前記切出位置設定部は、前記特徴情報を用いて前記フレーム画像データーが表す前記画像の中に前記注目対象物を検出した場合に、前記注目対象物を含む領域を前記注目領域として決定して前記基準切出位置を設定する、表示システム。
10. 請求項５から請求項９までのいずれか一項に記載の表示システムであって、
    前記切出位置設定部は、前記注目領域の規定位置を前記基準切出位置として設定する、表示システム。
11. 請求項１から請求項１０までのいずれか一項に記載の表示システムであって、さらに、
    前記撮像部と前記画像に含まれる所定の対象物との距離を検出する距離検出部を有し、
    前記データー処理部は、さらに、前記距離検出部が検出した前記距離に応じて前記切出領域の大きさを変化させる切出領域設定部を有する、表示システム。
12. 請求項１１に記載の表示システムであって、
    前記データー処理部は、前記距離が大きいほど前記切出領域を大きくする、表示システム。
13. 請求項１１又は請求項１２に記載の表示システムであって、
    前記距離検出部は、
    前記所定の対象物の実際の大きさと、前記画像における前記所定の対象物の大きさとを比較することで、前記距離を検出する、表示システム。
14. 請求項１から請求項１３までのいずれか一項に記載の表示システムであって、
    前記画像を表す前記フレーム画像データーと、前記フレーム画像データーが生成されたときの前記センサーの検出情報とのそれぞれには同じ識別情報が付与されている、表示システム。
15. 請求項１から請求項１４までのいずれか一項に記載の表示システムであって、さらに、
    前記撮像部が撮影した前記画像を取得する情報処理装置を有し、
    前記データー処理部は前記情報処理装置に設けられている、表示システム。
16. 請求項１から請求項１４までのいずれか一項に記載の表示システムであって、
    虚像を表示し、外界を透過可能な表示部を有する画像表示装置を有し、
    前記データー処理部は前記画像表示装置に設けられている、表示システム。
17. 請求項１から請求項１４までのいずれか一項に記載の表示システムであって、さらに、
    前記表示用画像データーが表す表示用画像を表示する前記表示装置を有し、
    前記データー処理部は前記表示装置に設けられている、表示システム。
18. 表示システムであって、
    画像を撮像する撮像部と、
    前記撮像部の動きを検出するためのセンサーと、
    前記画像の所定の切出領域を切り出して表示用画像データーを生成するデーター処理部と、
    前記表示用画像データーを表示装置に送信するデーター送信部と、を備え、
    前記データー処理部は、
    前記センサーにより検出された前記撮像部の動きが、所定の条件を満たす場合は、前記画像を切り出すための前記切出領域の位置を規定する規定位置を予め設定された基準切出位置に設定して前記表示用画像データーを生成し、
    前記動きが前記所定の条件を満たさない場合は、基準位置からの前記撮像部の動きとは反対の方向に前記規定位置を前記基準切出位置からずらして前記表示用画像データーを生成し、
    前記データー処理部は、
    前記所定の条件を満たさない場合に生成された前記表示用画像データーとしての第１の表示用画像データーが表す第１画像の後に、前記所定の条件を満たす場合に生成された前記表示用画像データーとしての第２の表示用画像データーが表す第２画像が前記表示装置に表示される場合に、前記第１画像と前記第２画像との差分を補間する補間表示用画像データーを生成する補間処理部を含み、
    前記補間処理部は、時系列に並んだ前記第１の表示用画像データーと前記第２の表示用画像データーとの間に前記補間表示用画像データーを挿入し、
    前記表示システムは、さらに、
    前記撮像部と前記画像に含まれる所定の対象物との距離を検出する距離検出部を有し、
    前記データー処理部は、さらに、前記距離検出部が検出した前記距離に応じて前記切出領域の大きさを変化させる切出領域設定部を有し、
    前記データー処理部の前記切出領域設定部は、前記距離が大きいほど前記切出領域を大きくする、表示システム。

Images