JP5176311B2 - 画像表示システム、表示装置、表示方法 - Google Patents

Description

本発明は、画像表示システム、表示装置、表示方法に関し、特に表示装置側での地図画像上での位置指定に基づいて、外部の撮像装置により撮像された画像表示を行う技術に関する。

特開２００５−３４１６０４号公報 特開２００５−３３７８６３号公報 特表２００４−５３８６８１号公報 特表２００４−５３７１９３号公報 特表２００４−５３８６７９号公報

上記特許文献１にはデータ通信システムの一例が述べられている。
上記特許文献２にはカメラによって撮像された画像を用いて、カーナビゲーションシステムが有する立体地図を更新する技術が示されている。
上記特許文献３、４、５には、放送済み・記録済みの番組をWWW（World Wide Web）上で拡張して楽しむ試みが開示されている。

しかしながら従来は、地図画像に対してユーザが任意に位置を指定し、その位置の画像を見ることができるようにする技術は提案されていない。
そこで本発明は、ユーザが地図画像上で、或る位置を指定することで、その位置で実際に撮像された画像を見ることができるようにすることを目的とする。

本発明の画像表示システムは、表示装置と、人以外の移動体に装着されて画像撮像を行う撮像装置と、サーバ装置とを有して成り、上記表示装置と上記撮像装置は、それぞれ上記サーバ装置と通信可能とされている。そして上記撮像装置は、画像撮像を行う撮像手段と、位置情報および移動方向を検出する位置検出手段と、上記撮像手段の撮像により得られた画像データと、少なくとも、その画像データの撮像の際に上記位置検出手段で検出された位置情報および移動方向を含む付加データを、上記サーバ装置に対して送信させる送信制御処理を行う制御手段とを備える。上記サーバ装置は、地図データベースおよび上記撮像装置から送信されてくる上記画像データ並びに上記付加データを格納する格納手段と、上記表示装置から送信されてくる地名又は住所に基づいて上記地図データベースから表示させる地図画像を作成し上記表示装置に送信させ、上記表示装置から送信されてくる位置指定情報および移動方向指定情報に基づいて、上記格納手段に格納された画像データの検索を行い、検索された画像データを再生して上記表示装置に送信させる検索送信制御処理を行う制御手段とを備える。上記表示装置は、画像表示を行う表示手段と、上記地名又は住所を入力する入力処理、該入力処理で入力された地名又は住所を送信して地図画像を要求する地図画像要求送信処理、上記地図画像要求送信処理に応じて上記サーバ装置から送信されてくる地図画像を受信し上記表示手段に表示させる地図表示処理、上記地図画像に対する入力に基づいて位置指定情報および移動方向指定情報を設定する位置指定処理、上記サーバ装置に上記位置指定情報および移動方向指定情報を送信して画像データを要求する画像要求送信処理、上記画像要求送信処理に応じて上記サーバ装置から送信されてくる画像データを受信し受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段とを備える。
上記移動体は、地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器のいずれかである。
上記撮像装置は、さらに現在日時を検出する日時検出手段を備え、上記撮像装置の制御手段は、上記付加データに、画像データの撮像の際に上記日時検出手段で検出された日時情報を含むようにし、上記表示装置の制御手段は、日時を指定する日時指定情報を設定する日時指定処理を行うとともに、上記画像要求送信処理では、上記位置指定情報と上記移動方向指定情報とともに上記日時指定情報を上記サーバ装置に送信し、上記サーバ装置の制御手段は、上記検索送信制御処理の際に、上記表示装置から送信されてくる位置指定情報と移動方向指定情報および日時指定情報に基づいて、上記格納手段に格納された画像データの検索を行う。

本発明の表示装置は、画像表示を行う表示手段と、外部のサーバ装置との間でデータ通信を行う通信手段と、地名又は住所を入力する入力処理、該入力処理で入力された地名又は住所を上記通信手段により上記サーバ装置に送信して地図画像を要求する地図画像要求送信処理、上記地図画像要求送信処理に応じて上記サーバ装置から送信されてくる地図画像を受信し上記表示手段に表示させる地図表示処理、上記地図画像に対する入力に基づいて位置指定情報および移動方向指定情報を設定する位置指定処理、上記通信手段により上記サーバ装置に上記位置指定情報および移動方向指定情報を送信して画像データを要求する画像要求送信処理、上記画像要求送信処理に応じて上記サーバ装置から送信されてくる、人以外の移動体で撮像された画像データを上記通信手段により受信させ受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段とを備える。
また上記制御手段は、上記位置指定処理において、上記地図画像に対して指定入力された地点の緯度・経度の情報を、上記位置指定情報とする。
また上記制御手段は、さらに、日時を指定する日時指定情報を設定する日時指定処理を行うとともに、上記画像要求送信処理では、上記位置指定情報と上記移動方向指定情報とともに上記日時指定情報を上記サーバ装置に送信する処理を行う。
また上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされる。
また人以外の移動体で画像撮像を行う撮像手段と、位置情報および移動方向を検出する位置検出手段とをさらに備え、上記制御手段は、上記撮像手段の撮像により得られた画像データと、少なくとも、その画像データの撮像の際に上記位置検出手段で検出された位置情報および移動方向を含む付加データを、上記通信手段から上記サーバ装置に対して送信させる送信制御処理も実行可能とされる。

本発明の表示方法は、地名又は住所を入力する入力処理ステップと、上記入力処理で入力された地名又は住所を外部のサーバ装置に送信して地図画像を要求する地図画像要求送信処理ステップと、地図画像要求送信処理に応じて上記サーバ装置から送信されてくる地図画像を受信し表示させる地図表示処理ステップと、上記地図画像に対する入力に基づいて位置指定情報および移動方向指定情報を設定する位置指定処理ステップと、上記サーバ装置に上記位置指定情報および移動方向指定情報を送信して画像データを要求する画像要求送信処理ステップと、上記画像要求送信処理に応じて上記サーバ装置から送信されてくる、人以外の移動体で撮像された画像データを受信し、受信した画像データに基づく表示を行う表示処理ステップとを備える。
を備える表示方法。

以上の本発明では、表示装置の使用者（ユーザ）は、地図画像上で位置を指定することで、その指定した位置において実際に撮像装置で撮像された画像を見ることができる。
例えば、外部の撮像装置として、他人が装着している撮像装置や、自動車、電車等に取り付けられた撮像装置、更には動物や鳥などに装着された撮像装置などを考える。そしてこれらの撮像装置によって撮像された画像データ（動画や静止画）が、撮像地点の位置情報を含む付加データとともにサーバ装置に送信され、サーバ装置において格納される。従ってサーバ装置では多数の撮像装置が各地で撮像した画像データが、位置情報とともに蓄積されていくことになる。
このようにしておくと、表示装置側で位置を指定して位置指定情報をサーバ装置に送信することで、サーバ装置は位置指定情報に基づいて画像データを検索できる。サーバ装置は位置指定情報に対応する画像データを検索し、それを表示装置に送信する。表示装置では受信した画像データを表示する。すると表示装置のユーザは、表示画像として、指定した地点で撮像された光景を見ることができる。
なお、本発明でいう地図画像とは、単に地上での道、地形、建物、自然物等を表した「地図」の画像のことだけでなく、海洋図、海中地形図、航空図、宇宙図など、或る特定の場所を指定することのできる各種の図の画像を含むものとする。

本発明によれば、表示装置のユーザは、地図画像上で位置を指定することで、その指定した位置において実際に撮像装置で撮像された画像を見ることができる。これにより本発明は、地図上で指定できる或る場所の光景を見て楽しみたい場合、地図上で指定できる或る場所の状況を知りたい場合など、ユーザの多様なニーズに対応できるシステム及び装置となる。また、地図画像上で位置を指定して、その位置の撮像画像を見ることができるということは、指定した位置の状況として、例えば地形、周りの建物や自然物の風景、道路の幅や車線数、日時に応じた様子などを知ることができるものであるため、いわゆるナビゲーションシステムとして拡張的な情報提供を行うことも可能となる。

以下、本発明の画像表示システム、表示装置、表示方法の実施の形態を説明する。実施の形態においては、撮像表示装置１又は表示装置４０が、本発明請求項でいう表示装置に該当し、撮像表示装置１又は表示装置４０の処理として本発明の表示方法が実行される。また撮像表示装置１又は撮像装置３０が、本発明請求項でいう撮像装置に該当する。なお、従って実施の形態の撮像表示装置１は、本発明請求項でいう表示装置、撮像装置の双方として機能できるものである。
説明は次の順序で行う。
［１．撮像表示装置、撮像装置、表示装置の外観例］
［２．システム形態］
［３．撮像表示装置、撮像装置、表示装置、サーバ装置の構成例］
［４．システム動作例］
［５．実施の形態の効果、及び変形例、拡張例］

［１．撮像表示装置、撮像装置、表示装置の外観例］

図１に実施の形態の撮像表示装置１の外観例を示す。この撮像表示装置１は眼鏡型ディスプレイカメラとしてユーザが装着できるものとしている。
撮像表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ｂが配置される構成とされている。この表示パネル部２ａ、２ｂには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａ，２ｂがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

またユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが、例えばＬＥＤ（Light Emitting Diode）等により設けられる。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。

なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、その状態で例えばユーザの眼の前方に近接して表示パネル部２ａ、２ｂが設けられ、また撮像レンズ３ａによる撮像方向がユーザの視界方向、つまりユーザの前方となるようにされていればよい。また表示パネル部２ａ，２ｂとして両眼に対応して表示部が一対設けられる構成の他、片側の眼に対応して１つ表示部が設けられる構成でもよい。
また撮像レンズ３ａによる撮像方向が、ユーザの後方、側方など、視界方向以外の方向とされていてもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、撮像表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部４ａを設けない構成も考えられる。
撮像表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を示したが、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。

ところで図１の撮像表示装置１は、撮像のための構成部分と画像をモニタできる表示パネル部２ａ，２ｂが一体に形成されてユーザに装着される機器とした例であるが、ユーザが装着する機器としては、図２（ａ）（ｂ）に示すような撮像装置３０や表示装置４０も考えられる。

図２（ａ）の撮像装置３０は、所定の装着フレームによりユーザの側頭部に装着される。そして装着状態においてユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａ及び発光部４ａが配置されている。また、外部音声を集音するマイクロホン６ａが設けられている。
即ちこの撮像装置３０は、表示機能は持たないが、ユーザに装着された状態でユーザの視界光景の撮像を行う装置とされる。なお、このような撮像装置３０についても、上記撮像表示装置１と同じく、形状、装着構造、構成要素などは多様に考えられる。

図２（ｂ）の表示装置４０は、腕時計型の表示装置とした例であり、リストバンドによってユーザの手首に装着された状態で、ユーザが視認できる表示パネル部２ａが形成されたものである。

なお、ここでは腕時計型の表示装置４０を示しているが、ユーザが装着又は所持する表示装置４０として多様な形状や装着構造が想定される。表示装置４０としては例えば携帯用の小型機器としてユーザが所持できるものであってもよい。また、図１のような眼鏡型の形状でユーザが装着できる表示装置４０（図１の撮像表示装置１から撮像機能を無くした装置）も考えられる。
さらにユーザが携帯できる表示装置４０を考えた場合、モニタリング表示のみの専用装置だけでなく、携帯電話機、携帯ゲーム機、ＰＤＡ（Personal Digital Assistant）などの表示機能を有する機器も、本例の表示装置４０となり得る。
また、ユーザが装着又は携帯する機器以外に、据置型の表示装置、コンピュータ装置、テレビジョン受像器、車載用ディスプレイモニタ機器なども、本例の表示装置４０として採用できる。

また図２（ａ）（ｂ）の撮像装置３０、表示装置４０は、それぞれを個別に使用しても良いが、ユーザが、この撮像装置３０、表示装置４０の両方を装着し、２つの機器で、撮像表示装置として使用する形態も想定される。例えば撮像装置３０、表示装置４０がデータ通信を行って、表示装置４０で撮像装置３０での撮像画像のモニタリングや、外部機器から送信されてきた画像表示を行うようにする場合である。

ところで本例においては、撮像表示装置１、表示装置４０はユーザ（人）が使用することを想定するが、撮像装置１については、人に限らず各種の移動体に装着されて用いられることが想定されており、移動体とは人を含めて多様に考えられる。上記図２（ａ）のような撮像装置３０は人が装着して、人の視界光景を撮像するものとされた例であるが、人以外の移動体に装着される撮像装置３０も多様に考えられる。

人以外の移動体とは、人以外の生物、又は地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器などである。
人以外の生物としては、鳥類、ほ乳類、は虫類、両生類、魚類、昆虫類その他の各種の生物である。
地上移動機器としては、乗用車、トラック、バス、タクシー、オートバイ等の自動車両や、自転車、人力車、遊具車など人力で移動する車両がある。また、電車、蒸気機関車などの鉄道車両も想定される。さらに遊園地等における乗り物、工場その他の施設における業務用の乗り物も想定される。また、人が乗る移動体でないものもある。例えば業務用や遊具としての各種ロボット、いわゆるラジコン等の遊具なども考えられる。
海上移動機器としては、各種船舶、水上バイク、サーフボード、手こぎボート、浮き輪、筏などが想定される。
海中移動機器としては、潜水艦、潜水ロボット、アクアラング等の潜水器具などが想定される。
航空移動機器としては、各種航空機、ヘリコプター、グライダー、パラシュート、気球、凧などが想定される。
宇宙移動機器としては、ロケット、宇宙探査機、人工衛星などが想定される。

移動体としての具体例は更に多様に考えられるが、撮像装置１は、それぞれ装着される移動体に応じた形状や装着構造とされればよい。

［２．システム形態］

実施の形態では、撮像表示装置１又は表示装置４０のユーザは、表示された地図画像において位置を指定することで、他の撮像表示装置１又は撮像装置３０で、該当位置で撮像された画像を見ることができる。つまり撮像表示装置１又は表示装置４０のユーザは、地図を見ているときに、実際に地図上で示した場所の光景の画像を、自分の撮像表示装置１又は表示装置４０で見ることができる。このためのシステム形態の例を図３に示す。
なお「地図画像」とは、上述のように地上の地図だけでなく、海洋図、海中図、航空図なども含むものとする。

図３には、撮像表示装置１、表示装置４０，撮像装置３０、サーバ装置７０がネットワーク６０を介して通信するシステム形態を示している。
なお、ネットワーク６０としてはインターネットなどの広域ネットワークが考えられるが、もちろんＬＡＮ（Local Area Network）その他の狭域ネットワークも想定される。

ここでは、ユーザＡ，Ｂ，Ｃは、例えば図１のような撮像表示装置１を装着しているとする。またユーザＤは例えば図２（ｂ）のような表示装置４０を装着し、ユーザＥは図２（ａ）のような撮像装置３０を装着しているとする。
さらにユーザＦは、図２（ａ）の撮像装置３０と図２（ｂ）の表示装置４０を共に装着し、２つの機器で撮像表示装置として機能するようにしているとする。
また、移動体Ｇ、移動体Ｈに搭載された撮像装置３０とは、所要の形状で自動車、鉄道車両、航空機その他の移動体（人以外の移動体）に装着された撮像装置であるとする。

この場合、ユーザＥが装着する撮像装置３０や、移動体Ｇ、Ｈに搭載された撮像装置３０は、常時、或いは定期的、或いは任意のタイミングで、ネットワーク６０を介した通信によりサーバ装置７０に対して撮像した画像データ及び少なくとも撮像場所の位置情報を含む付加データをアップロードする。
またユーザＡ，Ｂ，Ｃが装着している撮像表示装置１も、常時、或いは定期的、或いは任意のタイミングで、ネットワーク６０を介した通信によりサーバ装置７０に対して撮像した画像データ及び少なくとも撮像場所の位置情報を含む付加データをアップロードすることができる。
サーバ装置７０は、撮像表示装置１又は撮像装置３０を後述する地点画像データベースに登録して格納する。

一方、ユーザＡ，Ｂ，Ｃが装着している撮像表示装置１や、ユーザＤ、Ｆが使用する表示装置４０は、ユーザが地図画像上で位置を指定することに応じて、ネットワーク６０を介した通信でサーバ装置７０にアクセスし、位置指定情報を送信して画像要求を行う。
サーバ装置７０は位置指定情報に基づいて地点画像データベースを検索し、位置指定情報で指定された位置で撮像された画像データを抽出する。そしてその画像データを、撮像表示装置１又は表示装置４０に送信する。
撮像表示装置１又は表示装置４０では、サーバ装置７０から送信されてくる画像データを受信し、それを表示する。
これによりユーザＡ、Ｂ、Ｃ、Ｄ、Ｆは、地図上で指定した位置で実際に撮像された光景を見ることができる。

［３．撮像表示装置、撮像装置、表示装置、サーバ装置の構成例］

撮像表示装置１、撮像装置３０、表示装置４０、サーバ装置７０の各構成例を図４〜図８で説明する。
まず図４に、撮像表示装置１の構成例を示す。

システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像表示装置１内では、ユーザの視界方向の光景の撮像のための構成として、撮像部３が設けられる。
撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像による画像データが得られる。
システムコントローラ１０は、この撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレート制御、撮像信号処理部の各処理のパラメータや実行処理の設定などを行う。

この撮像部３の撮像動作によって得られた撮像画像データは、画像処理部１５を介して表示部２、ストレージ部２５，通信部２６に供給することができる。
画像処理部１５は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、表示部２でモニタ表示させるための所要の信号処理を行う。表示部２でモニタ表示させるための信号処理とは、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整、画面分割処理、キャラクタ画像の合成処理、拡大又は縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理などである。
また画像処理部１５は、撮像部３，表示部２，ストレージ部２５、通信部２６の間の画像データの転送処理も行う。即ち、撮像部３からの撮像画像データを表示部２，ストレージ部２５，通信部２６に供給する処理や、ストレージ部２５で再生された画像データを表示部２に供給する処理や、通信部２６で受信した画像データを表示部２に供給する処理も行う。

撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２が設けられる。この表示部２は、上述した液晶パネル等による表示パネル部２ａ、２ｂと、表示パネル部２ａ、２ｂを表示駆動する表示駆動部が設けられる。
表示駆動部は、画像処理部１５から供給される画像信号を、例えば液晶ディスプレイとされる表示パネル部２ａ，２ｂにおいて表示させるための画素駆動回路で構成されている。即ち表示パネル部２ａ，２ｂにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。この処理により、撮像部３での撮像モニタとしての表示や、ストレージ部２５で再生された再生画像の表示、さらには通信部２６で受信された受信画像の表示が、表示パネル部２ａ、２ｂにおいて行われる。
また表示駆動部は、表示パネル部２ａ、２ｂの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。
システムコントローラ１０は、この表示部２における表示動作のオン／オフ（スルー）制御、表示する画像データに対する処理パラメータの指示、画面領域設定制御、キャラクタ発生指示などを行う。

また撮像表示装置１には、音声入力部６、音声処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを出力する。

音声入力部６で得られた音声データは音声処理部１６に供給される。
音声処理部１６は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。即ち音声入力部６で得られた音声データを、音声出力部５、ストレージ部２５、通信部２６に供給する。或いは、ストレージ部２５で再生された音声データや、通信部２６で受信された音声データを音声出力部５に供給する。
また音声処理部１６は、システムコントローラ１０の制御に基づいて、音量調整、音質調整、音響エフェクト等の処理を行う。

音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路やＤ／Ａ変換器を有する。
即ち音声処理部から供給された音声データはＤ／Ａ変換器でアナログ音声信号に変換され、アンプ回路で増幅されてイヤホンスピーカ５ａから音声として出力される。これによりユーザは外部音声を聞いたり、ストレージ部２５で再生された音声データや通信部２６で受信した音声データによる音声を聞くことができる。
なお音声出力部５は、いわゆる骨伝導スピーカを用いた構成とされてもよい。

ストレージ部２５は、所定の記録媒体に対して画像データ（及び音声データ）の記録再生を行う部位とされる。例えばＨＤＤ（Hard Disk Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
このストレージ部２５は、システムコントローラ１０の制御に基づいて、撮像によって得られる画像データ（及び音声データ）や、通信部２６で受信された画像データ（及び音声データ）を記録媒体に記録する。即ち、画像処理部１５を介して供給される画像データや音声処理部１６を介して供給される音声データ、或いは通信部２６で受信された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録した画像データ、音声データを再生することができる。再生した画像データは画像処理部１５を介して表示部２に供給され、音声データは音声処理部１６を介して音声出力部５に供給される。また再生した画像データ／音声データは、外部機器に送信するデータとして通信部２６に供給することもできる。

通信部２６は図３のネットワーク６０を介して外部機器、特にサーバ装置７０との間でのデータの送受信を行う。
この通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成とすることが考えられる。
通信部２６に対しては、撮像部３で得られた撮像画像データが画像処理部１５を介して供給される。また音声入力部６で得られた音声データが音声処理部１６を介して供給される。通信部２６は、この画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って外部機器に送信することができる。つまりこの撮像表示装置１で現在撮像及び集音されている画像データ／音声データを、外部機器（サーバ装置７０）に送信することができる。
また、ストレージ部２５で再生された画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って外部機器に送信することもできる。

なお、この撮像表示装置１で現在撮像及び集音されている画像データ／音声データを例えばサーバ装置７０に送信する際には、システムコントローラ１０は付加データを生成し、画像データ／音声データとともに通信部２６でエンコードさせて送信させる。付加データは、画像データの管理情報や、後述する位置検出部１２で検出される現在位置情報や、日時計数部２８で計数されている現在日時情報を含むものとされる。
また、撮像及び集音されている画像データ／音声データをストレージ部２５に一旦記憶し、後の時点でストレージ部２５から読み出して、通信部２６からサーバ装置７０に送信するという動作も考えられるが、その場合、システムコントローラ１０は、画像データ／音声データをストレージ部２５に記憶する際に、上記の内容を含む付加データを生成し、共にストレージ部２５に記録させる。記録した画像データ／音声データをストレージ部２５から読み出してサーバ装置７０に送信する際には、共に記録されている付加データも、送信されることになる。
システムコントローラ１０が、このような処理を行うことで、サーバ装置７０に対して画像データ／音声データを送信する際には、その画像データ／音声データに関しての撮像時点の位置情報と、日時情報も、サーバ装置７０に送信されることになる。

また通信部２６は外部機器（サーバ装置７０）から送信されてきた画像データ／音声データを受信し、復調して画像処理部１５及び音声処理部１６に供給する。この場合、表示部２と音声出力部５により、受信した画像及び音声の出力が行われる。
もちろん、通信部２６で受信した画像データ／音声データをストレージ部２５に供給して記録媒体に記録することも可能である。

また撮像表示装置１には照明部4と照明制御部１８が設けられる。照明部４は、図１、図２に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１又は図２に示したように取り付けられていることで、照明部４は撮像レンズ３ａによる被写体方向に対する照明動作を行うことになる。

この撮像表示装置１では、ユーザの操作のために操作入力部１１が設けられる。
操作入力部１１は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン／オフ操作、撮像系の操作（例えばズーム等の操作や、信号処理の指示操作）、表示関連操作（例えば表示内容の選択や表示調整操作）、更には後述する外部装置の指定のための操作に用いる操作子が形成されればよい。

またユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像表示装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像表示装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。

さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
そしてシステムコントローラ１０は生体センサの検出情報を、ユーザの操作入力として認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像表示装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。

操作入力部１１は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの情報によりユーザの操作を検知する。

また撮像表示装置１は位置検出部１２を備える。位置検出部１２は例えばＧＰＳ受信部とされる。ＧＰＳ受信部は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ１０に出力する。
サーバ装置７０に対して画像データ／音声データ及び付加データの送信を行う際には、この位置検出部１２によって検出された撮像時の位置情報が、付加データに含まれることになる。
なお、位置検出部１２としては、ＷｉＦｉ（Wireless Fidelity）や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやＧＰＳを組み合わせて利用しても良い。
また、歩行速度（自動車等に搭載される装置の場合は車速等）を検出することで、検出位置を補正できるようにすることも考えられる。

日時計数部２８は、現在日時（年月日時分秒）を計数する。システムコントローラ１０は日時計数部２８での計数値により現在日時を認識できる。
サーバ装置７０に対して画像データ／音声データ及び付加データの送信を行う際には、この日時計数部２８によって検出された撮像時の日時情報が、付加データに含まれることになる。

撮像表示装置１は、表示部２において地図画像を表示することができる。この地図画像の表示のために地図データベース２９が備えられる。なお、地図データベース２９は、例えばストレージ部２５がＨＤＤ等とされる場合に、その一部領域に格納されるものとしてもよい。
地図データベース２９は、いわゆるナビゲーションシステムと同様に地図表示を行うための情報として、位置情報に対応した地図画像生成情報や各地点の名称等の付加的な情報、検索情報等がデータベース化されたものである。
システムコントローラ１０は、地図データベース２９を利用した地図検索及び地図表示処理を実行できる。

次に撮像装置３０の構成を図５に示す。なお図４と同一部分は同一符号を付して重複説明を避ける。図５の撮像装置３０は、図４の撮像表示装置１における画像及び音声の出力系である表示部２，音声出力部５と、地図表示のための情報となる地図データベース２９を無くした構成である。
即ちこの撮像装置３０は、図２のようにユーザに装着されたり、上述したように各種の移動体に装着された状態において、撮像部３により撮像を行い、撮像画像データを通信部２６から外部装置に送信したり、ストレージ部２５において記録することができる。
システムコントローラ１０は撮像動作、通信動作、記録動作等の制御を行う。

表示装置４０の構成例は図６のようになる。ここでも図４と同一部分は同一符号を付して重複説明を避ける。図６の表示装置４０は、図４の撮像表示装置１における画像撮像及び音声入力の機能のための撮像部３，音声入力部６を無くした構成である。また撮像のための補助となる照明部４，照明制御部１４も設けられない。
また表示装置４０はサーバ装置７０に対して画像データ／音声データを送信する機器とはならないため、送信時の付加データに含む位置情報、日時情報を生成するためという意味では、位置検出部１２や日時計数部２８が設けられなくて良い。
当然システムコントローラ１０は、画像データ／音声データのサーバ装置７０への送信制御処理を実行する機能を持たなくて良い。

この表示装置３０は、図２（ｂ）のような形態でユーザに装着されたり、或いはユーザが所持したり、或いはユーザが家庭や自動車等に設置する機器として所有する機器であり、外部装置から送信されてくる画像データ／音声データを通信部２６で受信する。そして受信した画像データ／音声データを表示部２，音声出力部６から出力したり、ストレージ部２５において記録する。
システムコントローラ１０は通信動作、表示動作、音声出力動作、記録動作等の制御を行う。
また家庭等に固定的に設置する形態の表示装置を考えた場合、通信部２６は有線接続によりネットワーク通信を行う構成とされても良い。

ところで、図３のユーザＦの所持する機器として述べたように、図２（ａ）（ｂ）のような撮像装置３０と表示装置４０の両方を用いて撮像表示装置１と同等の機能を持つようにしても良い。
その場合、撮像装置３０と表示装置４０として図７のような構成例が考えられる。
この図７の例では、撮像装置３０において、図４の撮像表示装置１とほぼ同様の構成を備えるようにする。但し撮像装置３０において表示部２は設けられず、代わりに送信部２７が設けられる。
送信部２７は、画像処理部１５から表示モニタ用として供給される画像データについて、表示装置４０への送信の為のエンコード処理を行う。そしてエンコードした画像データを表示装置４０に送信する。

また表示装置４０には、受信部４１、表示制御部４２、表示部２が設けられる。
受信部４１は、撮像装置３０の送信部２１との間でデータ通信を行う。そして撮像装置３０から送信されてくる画像データを受信し、デコード処理をおこなう。
受信部４１でデコードされた画像データは、表示制御部４２に供給される。表示制御部４２は、画像データについて表示のための信号処理や画面分割、キャラクタ合成等の処理を行って表示用の画像信号を生成し、例えば液晶ディスプレイとされる表示パネル部２ａを有する表示部２に供給する。
表示部２では、表示用の画像信号に応じて、マトリクス状に配置されている表示パネル部２ａの各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

このように構成することで、例えば図３のユーザＦのように撮像装置３０と表示装置４０を装着したユーザが、これらを撮像表示装置１と同様に使用することができる。

次に図８にサーバ装置７０の構成例を示す。
サーバ装置７０は、サーバ制御部７２、ネットワークストレージ部７１、通信部７３を備える。

ネットワークストレージ部７１は、例えばＨＤＤ等により実現され、後述する地点画像データベースを格納する。後に図１０で述べるが、地点画像データベースとは、撮像装置３０又は撮像表示装置１からネットワーク６０を介して送信されてくる画像データ／音声データ及び付加データをを蓄積したデータベースである。

通信部７３は、撮像表示装置１、撮像装置３０、表示装置４０の通信部２６との間で、ネットワーク６０を介したデータ通信を行う。
サーバ制御部７２は、サーバ装置７０としての必要な動作制御を行う。具体的には撮像表示装置１、撮像装置３０、表示装置４０との間の通信動作や、画像データ／音声データのネットワークストレージ部７１への格納処理、検索処理などを行う。

以上、撮像表示装置１、撮像装置３０、表示装置４０、サーバ装置７０の構成を示したが、これらはそれぞれ一例にすぎない。実際に実施されるシステム動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。また撮像装置３０、撮像表示装置１が搭載（装着）される移動体の別や、表示装置３０の形態（例えば腕時計型、携帯型、据置型など）の別に応じて、それぞれ適切な構成が考えられることはいうまでもない。

［４．システム動作例］

以下、本実施の形態として行われるシステム動作例について説明していく。
なお、以下の説明では、「装置Ａ」「装置Ｂ」という名称を用いる。
装置Ａとは、図３における撮像表示装置１又は表示装置４０のことである。また装置Ｂとは、図３における撮像表示装置１又は撮像装置３０のことである。
つまり装置Ａは、或るユーザが使用して、他の移動体で撮像された画像をサーバ装置７０から受信して表示する側の機器であり、本発明請求項でいう「表示装置」に該当する機器である。
一方装置Ｂは、サーバ装置７０に対して画像をアップロードする側の機器であり、人、生物、車両、その他の上述した移動体に装着／搭載される機器であって、本発明請求項でいう「撮像装置」に該当する機器である。

図９は装置Ａとしての撮像表示装置１、表示装置４０と、サーバ装置７０と、装置Ｂとしての撮像表示装置１、撮像装置３０を示している。
装置Ｂとしての撮像装置３０、撮像表示装置１は、撮像した画像データ（及び音声データ）をサーバ装置７０に送信する処理を行う。
例えば常時撮像を行って、撮像画像データ（及び音声データ）をサーバ装置７０に送信するものとしてもよいし、或いは時限的に撮像を行う際には、その撮像実行時には常に撮像画像データ（及び音声データ）をサーバ装置７０に送信するものとしてもよい。時限的に撮像／送信を行う場合としては、例えば定期的に撮像／送信を行うようにしたり、装置Ｂがユーザが装着する機器の場合はユーザ操作に基づいて撮像／送信を行うようにすることが考えられる。また、サーバ装置７０が位置情報を指定して撮像依頼データを送信しておくことで、装置Ｂのコントローラ１０が、現在位置が依頼された位置であると判別したときに、自動的に撮像／送信を行うようにすることも考えられる。

また上述のように、装置Ｂとしての撮像装置３０、撮像表示装置１は、画像データ／音声データをサーバ装置７０に送信する際には、付加データも加えて送信する。
付加データとは、送信する画像データ／音声データについての画像管理情報と、撮像場所の位置情報と、撮像時の日時情報を含むものとされる。

サーバ装置７０は、撮像表示装置１、撮像装置３０のそれぞれから送信されてくる画像データ（及び音声データ）や付加データを、ネットワークストレージ部７１において地点画像データベースに蓄積する。
即ちサーバ制御部７２は、通信部７３により装置Ｂからの画像データ（及び音声データ）と付加データを受信することに応じて、その受信したデータをネットワークストレージ部７１における地点画像データベースに登録する処理を行う。

図１０に、地点画像データベースの記録内容を模式的に示す。
地点画像データベースには、装置Ｂとしてのそれぞれの撮像表示装置１や撮像装置３０から送信されてくる画像が、所定単位で１つのエントリ＃１、＃２・・・として登録される。所定単位とは画像データサイズ、再生時間などに応じて上限が決められる単位でも良いし、装置Ｂから画像データが継続的な動画として送信されてくるような場合、撮像位置としての位置情報が変化するポイントで１つの単位が設定されても良い。どのような単位で１つのエントリとしての画像データを区切るかは、装置Ｂからの画像送信態様、送信継続時間、地点画像データベースの管理情報の都合、サーバ装置７０の画像提供サービスの都合などに応じて適宜決められればよい。

図１０に示すように、各エントリとして、画像データ（音声データも含む）ＶＤ１、ＶＤ２、ＶＤ３・・・が記録されていくが、これらの画像データにそれぞれ対応して、位置情報Ｐ１，Ｐ２，Ｐ３・・・、日時情報Date１、Ｄate２、Date３・・・、画像管理情報Ｃ１，Ｃ２，Ｃ３・・・が記録される。
位置情報、日時情報、画像管理情報は、画像データとともに付加データとして装置Ｂから送信されてきた情報である。
従って例えばエントリ＃１について言えば、位置情報Ｐ１は、画像データＶＤ１を撮像した場所としての位置情報であり、例えば緯度、経度の情報である。
また日時情報Date１は、画像データＶＤ１を撮像した時点の年月日時分秒の情報である。
画像管理情報Ｃ１は、画像データＶＤ１の管理情報であり、例えば画像種別（動画／静止画の別など）、データサイズ、圧縮方式、装置Ｂの識別情報、撮像地点の名称情報などの撮像位置関連情報である。なお撮像位置関連情報は、装置Ｂとしての撮像表示装置１又は撮像装置３０における地図データベース２９から、撮像時の現在位置情報に基づいて検索し、装置Ｂのシステムコントローラ１０が、これを付加データとして加えてサーバ装置７０に送信してもよいし、サーバ装置７０が地図データベースを備え、位置情報Ｐ１から地図データベースを検索して取得するようにしてもよい。

図９のように装置Ｂとしての撮像表示装置１又は撮像装置３０が、画像データと付加データを送信する動作を行うことで、この図１０のような地点画像データベースに、各地点の画像データが蓄積されていくことになる。
このように各地点の撮像画像がサーバ装置７０において蓄積されていくことで、サーバ装置７０は装置Ａのユーザに対して、画像提供サービスを行うことが可能となる。即ち装置Ａからの画像要求に応じて、地点画像データベースに蓄積された画像データを再生し、その再生画像データを装置Ａに送信できる。

以下、装置Ａとしての撮像表示装置１又は表示装置４０が、サーバ装置７０との間で通信を行い、サーバ装置７０からの画像データを取得して表示する動作例を説明する。つまり装置Ａのユーザがサーバ装置７０による画像提供サービスを享受する際の動作例である。
図１１に示す装置Ａの処理は、撮像表示装置１又は表示装置４０のシステムコントローラ１０の制御処理であり、サーバ装置７０の処理はサーバ制御部７２の制御処理と考えることができる。

装置Ａ側では、まずステップＦ１００として地図画像を用いた位置指定処理を行う。例えば装置Ａのシステムコントローラ１０は、地図データベース２９のデータを用いて地図表示を行う。またユーザの操作に応じて地図上の或る地域の検索やスクロール表示なども行う。これにより、ユーザが特定の地方、地域の地図画像を表示部２で見ることができるようにする。
例えばユーザが地名や縮尺を指定したり、スクロール操作を行うことに応じて、システムコントローラ１０は表示される地域や縮尺を変化させることで、例えば図１２（ａ）のように或る地区の地図画像を表示させる。

システムコントローラ１０は、このような地図画像上では例えば図１２（ｂ）のようにポインタＰＴを表示させ、ポインタＰＴがユーザ操作に基づいて地図画像上で移動されるようにする。即ちユーザは、ポインタＰＴを地図画像上の任意の位置に移動させて、所定の操作を行うことで、地図画像上の特定の位置を指定することができる。
なお、もちろんポインタＰＴによるものではなく、例えば表示部２にタッチパネル操作機能を付加し、地図画像に対してユーザが指でタッチした位置が指定位置となるようにすることもできる。

これらのようにして、ユーザが地図画像上で或る地点を指定する操作を行うことに応じて、システムコントローラ１０は位置指定情報を生成する。即ち地図上でユーザが指定したポイントの緯度、経度の値を含む位置指定情報を生成する。

装置Ａのシステムコントローラ１０は、ステップＦ１００で位置指定情報を生成したら、次にステップＦ１０１で、サーバ装置７０にアクセスする。即ちサーバ装置７０との間で通信接続状態を確立する。そしてこのとき、画像要求の情報と、位置指定情報をサーバ装置７０に送信する。

サーバ装置７０のサーバ制御部７２は、ステップＦ３００で、装置Ａとの通信接続を確立し、画像要求と位置指定情報を受け付ける。
そしてステップＦ３０１で再生画像を特定する。即ち受信した位置指定情報に基づいてネットワークストレージ部７１の地点画像データベースを検索する。そして地点画像データベースにおける位置情報が、位置指定情報に一致するエントリを抽出する。
又は位置指定情報で指定された緯度・経度の位置から近辺とみなすことのできる所定範囲内としての位置情報を有するエントリを抽出してもよい。
そして抽出したエントリの画像データを再生画像として特定する。

なお、複数のエントリが検索された場合は、日時情報を参照して、最新の日時のエントリの画像データを再生画像として選択してもよいし、全てのエントリを順番に再生する再生画像として決定してもよい。
また、位置指定情報に基づく検索で、１つのエントリも抽出されない場合もある。即ち位置指定情報で示される位置（もしくは近辺位置）に関して、これまで装置Ｂによる画像データのアップロードがされていない場合である。
そのような場合は、図１１では示していないが、サーバ制御部７２は装置Ａに対して該当する画像データが存在せず、画像提供不能ということの通知を行うことになる。これに応じて装置Ａ側では、画像提供不能の旨をユーザに提示して処理を終える。

サーバ制御部７２は、地点画像データベースの検索を行って再生するエントリ（画像データ）を特定したら、続いてステップＦ３０２で、再生画像として特定した画像データを、ネットワークストレージ部７１から再生させ、再生された画像データ及び音声データを、通信部７３から装置Ａに対して送信させる。

装置Ａ側ではステップ１０２で、サーバ装置７０から送信されてくる画像データの受信及び表示を実行する。即ち装置Ａのシステムコントローラ１０は、通信部２６で受信及び復調される画像データ（及び音声データ）を、画像処理部１５及び音声処理部１６に供給させ、表示部２での表示出力と音声出力部５での音声出力を実行させる。

装置Ａのシステムコントローラ１０はステップＦ１０３でサーバ装置から通信解除要求が送信されてきたか否かを監視する。
またステップＦ１０４で画像表示の終了か否かを判断する。例えばユーザが操作入力部１１により表示終了の操作を行ったら、終了と判断する。或いは、受信及び表示を所定時間行ったら自動的に終了とするような処理も考えられる。
ステップＦ１０３で通信解除要求の受信が確認されるか、或いはステップＦ１０４で表示終了と判断されるまで、ステップＦ１０２で受信したデータの表示出力（及び音声出力）を継続的に実行する。
またサーバ装置７０では、ステップＦ３０３で、再生しているエントリの画像データの再生が終了したか否かを監視し、またステップＦ３０４で装置Ａからの通信解除要求があるか否かを監視しており、これらの状況が検知されるまでは、画像再生及び画像データ（及び音声データ）の送信を継続する。
従ってこの間、装置Ａのユーザは、自分で地図画像上で指定した位置において、過去に装置Ｂで撮像された実光景の画像を見ることができる。

装置Ａのシステムコントローラ１０は、ステップＦ１０４で、ユーザ操作或いは他の終了条件により表示終了と判断したら、ステップＦ１０５に進み、通信部２６からサーバ装置７０に対して通信解除要求を送信させ、ステップＦ１０６に進む。サーバ装置７０は、通信解除要求を受信したら、ステップＦ３０４からＦ３０６に進む。
または、サーバ制御部７２は、再生対象となったエントリの再生及び送信を完了したと判断したら、ステップＦ３０３からＦ３０５に進み、通信部７３から装置Ａに対して通信解除要求を送信させる。装置Ａのシステムコントローラ１０は、通信解除要求を受信したら、ステップＦ１０３からＦ１０６に進む。
そして装置Ａのシステムコントローラ１０はステップＦ１０６でサーバ装置７０との間の通信接続解除処理を行う。またサーバ装置７０のサーバ制御部７２はステップＦ３０６で装置Ａとの通信及びサーバ処理を終了させる。以上でシステム動作を終える。

以上の処理により、装置Ａのユーザは、地図画像上で、任意に或る位置を指定することで、その位置で装置Ｂによって撮像された光景を、自分が装着又は所持している装置Ａにおいて見ることができる。
装置Ａのユーザが見ることのできる画像の例を図１３に示す。
例えば装置Ａのユーザが、地図上で或る道路の地点を指定したら、図１３（ａ）（ｂ）のように、その地点において過去に装置Ｂにおいて撮像された画像を見ることができる。例えば自動車に取り付けられた撮像装置３０や、運転手が装着していた撮像装置３０又は撮像表示装置１によって、その指定地点で撮像されていた画像である。
また例えば装置Ａのユーザが、地図上で或る鉄道線路上の地点を指定したら、図１３（ｃ）のように、その地点において過去に鉄道車両に装着された撮像装置３０、もしくは鉄道運転士が装着していた撮像装置３０又は撮像表示装置１としての装置Ｂにおいて撮像された画像を見ることができる。
また例えば装置Ａのユーザが、地図上で或るリゾート地の地点を指定したら、図１３（ｄ）のように、過去にその地点に居た人物が装着していた撮像装置３０又は撮像表示装置１としての装置Ｂにおいて撮像された画像を見ることができる。

例えば以上の例のように、装置Ａのユーザは、地図上の地点を指定することで、その地点で実際に撮像された画像を見ることができる。

なお、上記の説明では、装置Ａのユーザは地図画像上で位置のみを指定するものとしたが、図１１のステップＦ１００に付記しているように、日時指定も行うことができるようにしても良い。
例えばステップＦ１００の時点で、システムコントローラ１０は上述のように地図画像を表示させた状態でのユーザの位置指定操作に応じて、指定位置情報を生成するが、このときに、ユーザに、メニュー形式もしくは数値入力形式で、日時を指定する入力も実行させるようにする。
例えば特定に年月日、特定の時刻等を指定入力させるようにしたり、或る日付け範囲（例えば何月何日から何月何日まで）や時刻範囲（例えば何時から何時まで）を指定入力させるようにする。また入力した日時に基づいた検索条件を選択させるようにしてもよい。検索条件として、「指定した日時を含む」「指定の日時範囲内」「指定日時以前」「指定日時以降」などとする。そして指定日時、又は指定日時と検索条件を、日時指定情報として設定する。

装置Ａのシステムコントローラ１０は、ステップＦ１０１でサーバアクセスを行う際には、システムコントローラ１０は位置指定情報と共に、日時指定情報も送信する。サーバ制御部７２は、ステップＦ３００で、位置指定情報と共に日時指定情報を受け付ける。
そしてサーバ制御部７２はステップＦ３０１では、位置指定情報と日時指定情報の両方を用いて、地点画像データベースの検索を行う。
即ち、地点画像データベースにおける位置情報が、位置指定情報に一致（又は近辺）となるエントリを抽出し、さらに、地点画像データベースにおける日時情報が、日時指定情報の条件に合致するエントリを絞り込む。
このような検索により、位置及び撮像日時がユーザの指定に合致したエントリを抽出し、そのエントリの画像データを再生画像として特定する。

このように日時指定を行うようにすることで、装置Ａのユーザは、見たい画像を時期的に選定して見ることができる。
例えば或る地点の或る時期の光景、或る地点の最近の光景、或る地点の或る時期より前の光景、或る地点の特定の日の光景、或る地点の特定の時刻の光景、或る地点の夜の光景・・・などを、任意に選択して見ることができる。
これにより、任意の或る地点の光景として、より多様な光景を見ることができる。

［５．実施の形態の効果、及び変形例、拡張例］

以上、実施の形態を説明してきたが、上記した装置Ａに相当する撮像表示装置１又は表示装置４０のユーザは、地図画像上で位置を指定することで、その指定した位置において実際に撮像装置３０で撮像された画像を見ることができる。これにより地図上で指定できる或る場所の光景を見て楽しみたい場合、地図上で指定できる或る場所の状況を知りたい場合など、ユーザの多様なニーズに対応できるシステム及び装置を実現できる。
また、地図画像上で位置を指定して、その位置の撮像画像を見ることができるということは、指定した位置の状況として、例えば地形、周りの建物や自然物の風景、道路の幅や車線数、日時に応じた様子などを知ることができるものであるため、いわゆるナビゲーションシステムに適用して拡張的な情報提供を行うことも可能となる。

また、日時指定情報によって提供を受ける画像データを選定することによって、日時的な条件で異なる画像を見ることもできる。
例えば或る場所で或る時期より以前の撮像画像として、或る場所で或る建物が建設される前の光景を指定して見ることなども可能となる。

また装置Ｂとなる撮像表示装置１又は撮像装置３０は、人を含めた移動体に装着されるものとすることで、いわゆる定点カメラのような固定的な設備を設けることが不要である。
そして移動体に装着された撮像表示装置１又は撮像装置３０は、当然、多様な地点を移動しながら撮像するため、多様な地点での実撮像画像を集めて地点画像データベースの登録画像を充実させていくことが容易であるという利点もある。

なお、本発明の画像表示システム、表示装置、表示方法の実施の形態を説明してきたが、上記実施の形態の例に限らず多様な変形例や拡張例が考えられる。
本発明の表示装置に該当する装置Ａとしての撮像表示装置１又は表示装置４０の構成例や処理例、さらに本発明請求項でいう撮像装置に該当する装置Ｂとしての撮像表示装置１又は撮像装置３０の構成例や処理例、さらにサーバ装置７０の構成例や処理例は、それぞれ多様に考えられる。

例えば装置Ｂ側で、通常の撮像だけでなく、多様な撮像動作で撮像を行ってサーバ装置７０にアップロード送信したり、或いはサーバ装置７０が多様な撮像動作を要求できるようにしてもよい。例えば、望遠撮像、広角撮像、望遠から広角までの間のズームインもしくはズームアウトを行いながらの撮像、画像拡大撮像、画像縮小撮像、フレームレートの可変撮像（高フレームレートでの撮像や低フレームレートでの撮像など）、高輝度撮像、低輝度撮像、コントラスト可変撮像、シャープネス可変撮像、撮像感度上昇状態の撮像、赤外線撮像感度上昇状態の撮像、紫外線撮像感度上昇状態の撮像、特定波長帯域をカットした撮像、撮像画像データに対するモザイク処理／輝度反転処理／ソフトフォーカス処理／画像内の一部の強調処理／画像全体の色の雰囲気の可変処理などの画像エフェクトを加えた撮像、静止画撮像などである。

また、装置Ａからサーバ装置７０に画像を要求する際に、地点画像データベースに登録された画像の通常再生画像とする以外に、特殊再生画像を要求できるようにしてもよい。
例えば動画として格納されている或る画像データについて、１フレーム分のみの静止画を送信するように要求できるようにしたり、或いはスロー再生、高速再生などとしての画像データを要求できるようにしてもよい。
特に移動体に装着された装置Ｂによって撮像された画像データであるため、地点画像データベースに登録された画像データは、或る速度で移動しながら撮像した画像データである場合も多い。従って、サーバ装置７０がそのような画像データについて変速再生させ、それを装置Ａに送信することで、装置Ａのユーザは、高速で移動したときの光景の画像や、ゆっくり移動したときの光景の画像などを擬似的に見ることができる。

また装置Ａ側では、サーバ装置７０から送信されてきた画像データを、位置情報と共にストレージ部２５に記録しても良い。即ちシステムコントローラ１０はストレージ部２５に、受信した画像データを、位置情報（例えば図１１のステップＦ１００で設定した位置指定情報）に対応させて記録しておく。
このようにしておくことで、以降は、地図上で同一の地点を指定したら、ストレージ部２５に格納されている画像データをリプレイさせてみることができるようにもなる。

また装置Ａ側で、或る地点からの移動方向を指定できるようにしてもよい。
装置Ｂでは、位置検出部１２で移動方向も検出し、付加データに含めてサーバ装置７０に送信するようにする。サーバ装置７０では、地点画像データベースに、移動方向の情報も付加して登録する。
すると、装置Ａ側で移動方向も検索条件として指定すれば、ユーザが見たい移動方向の状態で撮像された画像データを選択するようにサーバ装置７０に要求できることになる。
例えば南北につながる或る道路の光景として、南から北へ移動しながら撮像された光景と、北から南へ移動しながら撮像された光景は異なるが、これらの移動方向を指定条件に加えることで、装置Ａのユーザが見たい移動方向の条件で画像データが検索され、装置Ａに提供されるようにすることができる。

また上記例では、地上の地図画像で位置指定を行うものとしたが、海洋図、海中地形図、航空図、宇宙図などから或る位置を指定することも可能である。
例えばサーバ装置７０では、船舶、潜水艦、航空機、衛星などで撮像された画像データを、その位置情報等とともに地点画像データベースに登録するようにしておけば、これら海洋図等による指定に基づいて、画像を検索し、装置Ａに提供することができる。もちろん海中、空、宇宙などの位置情報としては、緯度、経度だけでなく高度、深度の情報も加えても良い。
例えば宇宙図により衛星軌道上の或る場所を指定すると、その地点又は近辺で人工衛星で撮像された画像を見ることができるようにするなどである。

また、実施の形態の動作例では、装置Ａ側で地図データベース２９を備えて地図表示を行うようにしたが、サーバ装置７０が地図データベースを備え、サーバ装置７０が地図データベースに基づいて地図画像を送信して装置Ａ側で表示するようにしてもよい。
例えば装置Ａのユーザが、特定の地名や住所を入力し、その地名や住所等を位置指定情報としてサーバ装置７０に送信する。サーバ装置７０は、地名等から表示させるべき地図画像データを生成し、装置Ａに送信して表示させる。
このようにすれば、装置Ａ側で地図データベース２９を備える必要を無くすこともできる。言い換えれば、地図データベース２９を装備しない撮像表示装置１又は表示装置４０において、本発明の動作を実現することもできる。

また、画像データと音声データを装置Ｂからサーバ装置７０にアップロードし、サーバ装置７０から装置Ａに提供されるものとしたが、画像データのみを対象とする例も考えられる。
或いは本発明を、音声データのみを対象とするシステムとして適用することもできる。

本発明の実施の形態の撮像表示装置の外観例の説明図である。 実施の形態の撮像装置、表示装置の外観例の説明図である。 実施の形態のシステム構成例の説明図である。 実施の形態の撮像表示装置のブロック図である。 実施の形態の撮像装置のブロック図である。 実施の形態の表示装置のブロック図である。 実施の形態の撮像装置及び表示装置のブロック図である。 実施の形態のサーバ装置のブロック図である。 実施の形態のシステム動作例の説明図である。 実施の形態の地点画像データベースの説明図である。 実施の形態のシステム動作例のフローチャートである。 実施の形態での地図画像を用いた指定の際の画像の説明図である。 実施の形態で表示される指定地点の撮像画像の説明図である。

符号の説明

１ 撮像表示装置、２ 表示部、３ 撮像部、５ 音声出力部、６ 音声入力部、１０ システムコントローラ、１１ 操作入力部、１２ 位置検出部、１５ 画像処理部、１６ 音声処理部、２５ ストレージ部、２６ 通信部、２８ 日時計数部、２９ 地図データベース、３０ 撮像装置、４０ 表示装置、７０ サーバ装置、７１ ネットワークストレージ部、７２ サーバ制御部

Claims (9)

1. 表示装置と、人以外の移動体に装着されて画像撮像を行う撮像装置と、サーバ装置とを有して成り、上記表示装置と上記撮像装置は、それぞれ上記サーバ装置と通信可能とされる画像表示システムであって、
   上記撮像装置は、
   画像撮像を行う撮像手段と、
   位置情報および移動方向を検出する位置検出手段と、
   上記撮像手段の撮像により得られた画像データと、少なくとも、その画像データの撮像の際に上記位置検出手段で検出された位置情報および移動方向を含む付加データを、上記サーバ装置に対して送信させる送信制御処理を行う制御手段と、
   を備え、
   上記サーバ装置は、
   地図データベースおよび上記撮像装置から送信されてくる上記画像データ並びに上記付加データを格納する格納手段と、
   上記表示装置から送信されてくる地名又は住所に基づいて上記地図データベースから表示させる地図画像を作成し上記表示装置に送信させ、
   上記表示装置から送信されてくる位置指定情報および移動方向指定情報に基づいて、上記格納手段に格納された画像データの検索を行い、検索された画像データを再生して上記表示装置に送信させる検索送信制御処理を行う制御手段と、
   を備え、
   上記表示装置は、
   画像表示を行う表示手段と、
   上記地名又は住所を入力する入力処理、該入力処理で入力された地名又は住所を上記サーバ装置に送信して地図画像を要求する地図画像要求送信処理、上記地図画像要求送信処理に応じて上記サーバ装置から送信されてくる地図画像を受信し上記表示手段に表示させる地図表示処理、上記地図画像に対する入力に基づいて位置指定情報および移動方向指定情報を設定する位置指定処理、上記サーバ装置に上記位置指定情報および移動方向指定情報を送信して画像データを要求する画像要求送信処理、上記画像要求送信処理に応じて上記サーバ装置から送信されてくる画像データを受信し受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段と、
   を備える画像表示システム。
2. 上記移動体は、地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器のいずれかである請求項１に記載の画像表示システム。
3. 上記撮像装置は、さらに現在日時を検出する日時検出手段を備え、上記撮像装置の制御手段は、上記付加データに、画像データの撮像の際に上記日時検出手段で検出された日時情報を含むようにし、
   上記表示装置の制御手段は、日時を指定する日時指定情報を設定する日時指定処理を行うとともに、上記画像要求送信処理では、上記位置指定情報と上記移動方向指定情報とともに上記日時指定情報を上記サーバ装置に送信し、
   上記サーバ装置の制御手段は、上記検索送信制御処理の際に、上記表示装置から送信されてくる位置指定情報と移動方向指定情報および日時指定情報に基づいて、上記格納手段に格納された画像データの検索を行う請求項１に記載の画像表示システム。
4. 画像表示を行う表示手段と、
   外部のサーバ装置との間でデータ通信を行う通信手段と、
   地名又は住所を入力する入力処理、該入力処理で入力された地名又は住所を上記通信手段により上記サーバ装置に送信して地図画像を要求する地図画像要求送信処理、上記地図画像要求送信処理に応じて上記サーバ装置から送信されてくる地図画像を受信し上記表示手段に表示させる地図表示処理、上記地図画像に対する入力に基づいて位置指定情報および移動方向指定情報を設定する位置指定処理、上記通信手段により上記サーバ装置に上記位置指定情報および移動方向指定情報を送信して画像データを要求する画像要求送信処理、上記画像要求送信処理に応じて上記サーバ装置から送信されてくる、人以外の移動体で撮像された画像データを上記通信手段により受信させ受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段と、
   を備える表示装置。
5. 上記制御手段は、上記位置指定処理において、上記地図画像に対して指定入力された地点の緯度・経度の情報を、上記位置指定情報とする請求項４に記載の表示装置。
6. 上記制御手段は、さらに、日時を指定する日時指定情報を設定する日時指定処理を行うとともに、上記画像要求送信処理では、上記位置指定情報と上記移動方向指定情報とともに上記日時指定情報を上記サーバ装置に送信する処理を行う請求項４に記載の表示装置。
7. 上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされる請求項４に記載の表示装置。
8. 人以外の移動体で画像撮像を行う撮像手段と、位置情報および移動方向を検出する位置検出手段とをさらに備え、
   上記制御手段は、上記撮像手段の撮像により得られた画像データと、少なくとも、その画像データの撮像の際に上記位置検出手段で検出された位置情報および移動方向を含む付加データを、上記通信手段から上記サーバ装置に対して送信させる送信制御処理も実行可能とされる請求項４に記載の表示装置。
9. 地名又は住所を入力する入力処理ステップと、
   上記入力処理で入力された地名又は住所を外部のサーバ装置に送信して地図画像を要求する地図画像要求送信処理ステップと、
   地図画像要求送信処理に応じて上記サーバ装置から送信されてくる地図画像を受信し表示させる地図表示処理ステップと、
   上記地図画像に対する入力に基づいて位置指定情報および移動方向指定情報を設定する位置指定処理ステップと、
   上記サーバ装置に上記位置指定情報および移動方向指定情報を送信して画像データを要求する画像要求送信処理ステップと、
   上記画像要求送信処理に応じて上記サーバ装置から送信されてくる、人以外の移動体で撮像された画像データを受信し、受信した画像データに基づく表示を行う表示処理ステップと、
   を備える表示方法。

Images