JP5651386B2 - 眼鏡型表示装置 - Google Patents

Description

本発明は、通常の眼鏡と同様に装着して使用可能な眼鏡型表示装置、及び、その眼鏡型表示装置に表示する情報を提供するサーバに関するものである。

従来、この種の眼鏡型表示装置として、利用者の視界内を撮影した画像から人物の顔を検出し、画像から検出された複数の顔の中から、視線センサで検出される視線に基づいて、検索すべき顔を特定する眼鏡装置が知られている（特許文献１参照）。この眼鏡装置は、顔画像またはその特徴量と、その人物について取得した人物情報とからなるレコードを人物ごとに記憶するレコード記憶手段を有し、前記特定した顔に対応するレコードを検索し、該当レコードがあった場合に、該当レコードの人物情報から表示すべき人物情報を取り出して、利用者が見ている前方視界に重ねて表示する。

しかしながら、上記従来の眼鏡装置では、その眼鏡装置を装着している利用者の頭部が傾いたり上下動したりして姿勢が変化すると、利用者の視界が変動するとともに、その視界内における利用者の視線も変動しやすくなる。そのため、検索すべき顔を正確に特定することができないおそれがある。更に、利用者の頭部の姿勢が変化すると、利用者が実際に見ている注視対象の顔と、視界内に重ねて表示している人物情報とが対応しなくなり、注視対象の顔に関連した人物情報を確実に且つリアルタイムに表示できないおそれがある。

本発明は以上の問題点に鑑みなされたものであり、その目的は、眼鏡型表示装置を装着した利用者の頭部の姿勢が変化しても視界内で利用者が注視している注視対象を精度良く特定することができ、その注視対象に関連した関連情報をより確実に且つリアルタイムに表示することができる眼鏡型表示装置、及び、その眼鏡型表示装置に表示する情報を提供するサーバを提供することである。

上記目的を達成するために、請求項１の発明は、視界内に情報を重ねて表示可能な眼鏡型表示装置であって、視界を撮像する視界撮像手段と、前記視界における利用者の視線方向を検出する視線方向検出手段と、当該眼鏡型表示装置の姿勢変化を検出する姿勢変化検出手段と、前記視界撮像手段で撮像された視界の画像情報と、前記視線方向検出手段で検出された視線方向の検出結果と、前記姿勢変化検出手段で検出された姿勢変化の検出結果とに基づいて、前記視界内において前記利用者が注視している注視対象を特定する注視対象特定手段と、前記注視対象特定手段で特定された注視対象に関連した関連情報を取得する関連情報取得手段と、前記関連情報取得手段で取得された前記関連情報を前記視界内に表示する表示手段と、を備え、前記注視対象特定手段は、前記視界撮像手段による視界の画像の撮像処理及び前記視線方向検出手段による視線方向の検出処理に必要な処理時間に基づいて、その撮像処理及び視線方向の検出処理を行うタイミングのインターバルが予め設定され、前記視界の撮像画像及び前記視線方向の検出結果に基づいて利用者の注視対象を特定した後、その後に到来する次の視界の撮像処理及び視線方向の検出処理を行うタイミングまでは、前記視線方向検出手段による姿勢変化の検出結果に基づいて、直近の撮像済みの視界の画像及び検出済みの視線方向を補完することにより、前記注視対象を特定することを特徴とするものである。
この眼鏡型表示装置によれば、前記視線方向検出手段で前記利用者の視線方向を検出するとともに、姿勢変化検出手段で検出された姿勢変化の検出結果に基づいて、上記利用者の視線方向の検出結果を速やかに補正することができる。これにより、視界画像内で利用者が注視している注視対象を特定するときの精度を高めることができる。さらに、その注視対象に関連した関連情報をより確実に且つリアルタイムに表示することができる。

前記眼鏡型表示装置において、前記視線方向検出手段は、前記利用者の眼を撮像する利用者撮像手段を有し、前記利用者撮像手段で撮像された前記利用者の眼の画像に基づいて前記利用者の視線方向を検出するものであってもよい。

また、前記眼鏡型表示装置において、前記視界撮像手段を前記視線方向検出手段として兼用してもよい。この場合は、前記視界撮像手段で撮像された画像内の所定位置（例えば、撮像画像の中心位置）の方向を前記視界における利用者の視線方向と推定される。

また、前記眼鏡型表示装置において、前記視界撮像手段の撮像方向を変化させる撮像方向可変手段と、前記視線方向検出手段の検出結果及び前記姿勢変化検出手段の検出結果の少なくとも一方に基づいて、前記利用者の視線方向に前記視界撮像手段の撮像方向が向くように前記撮像方向可変手段を制御する撮像制御手段と、を更に備えてもよい。この場合、前記視界撮像手段は、前記視線方向検出手段として兼用されず、前記視線方向検出手段とは独立に別途設けられる。
この眼鏡型表示装置によれば、利用者が注視している視線方向を中心にして視界の画像を撮像することができ、その撮像した画像の中央に注視対象が位置することになる。また、注視対象を特定しやすくなるように撮像した画像を拡大する場合でも、その拡大した画像から注視対象がはみ出にくくなる。従って、注視対象をより精度よく特定することができる。

また、前記眼鏡型表示装置において、前記視界の方位を検出する方位検出手段と、当該眼鏡型表示装置の現在位置情報を取得する現在位置情報取得手段とを、更に備え、前記注視対象特定手段は、前記注視対象の特定に、前記方位の検出結果及び前記現在位置情報の少なくとも一方を更に用いてもよい。
この眼鏡型表示装置によれば、前記視界の画像情報、前記視線方向の検出結果及び前記眼鏡型表示装置の姿勢変化の検出結果に加えて、眼鏡型表示装置の現在位置情報及び利用者が注視対象を見ている方向の方位の少なくとも一方を、注視対象の特定に用いることにより、注視対象をより正確に特定することができる。

また、前記眼鏡型表示装置において、前記視界撮像手段で撮像された前記視界の画像情報、前記視線方向検出手段の検出結果、及び前記姿勢変化検出手段の検出結果の少なくとも一つに基づいて、前記視界における前記注視対象の位置と前記関連情報の表示位置とが所定の位置関係になるように前記関連情報の表示位置を制御する表示制御手段を、更に備えてもよい。
この眼鏡型表示装置によれば、視界における注視対象を見ているときに、その注視対象と所定の位置関係になるように関連情報が表示されるので、注視対象とその関連情報とを一緒に見るときの視認性が向上する。

また、前記眼鏡型表示装置において、前記視界における前記注視対象の位置と前記関連情報の表示位置とのずれが所定範囲よりも大きくなった場合は、前記関連情報の表示を停止するように制御する表示制御手段を、更に備えてもよい。
この眼鏡型表示装置によれば、視界内の注視対象の位置から大きくずれた位置に、その注視対象に関連した関連情報が表示されるのを防止できる。

また、前記眼鏡型表示装置において、前記視界における前記注視対象と前記利用者の眼との間の注視対象距離を検出する注視対象距離検出手段を、更に備え、前記表示制御手段は、前記注視対象距離検出手段の検出結果に基づいて前記関連情報の表示位置を制御してもよい。
この眼鏡型表示装置によれば、視界内の注視対象と利用者の眼との間の注視対象距離を検出し、その検出結果に基づいて、視界に重ねて表示する関連情報の像の形成位置を変化させることにより、その関連情報の像の形成位置を前記注視対象距離だけ離れた位置に合わせることができる。これにより、利用者は、視界内の注視対象と視界に重ねて表示する情報とを一緒に見る場合に違和感が生じることなく眼の疲労の増加も抑えることができる。

ここで、前記注視対象距離検出手段は、前記視界における前記利用者の相対的な視線方向を検出し、その視線方向にある対象を前記注視対象として前記注視対象距離を検出してもよい。この場合は、利用者の前方に見えている視界の中で利用者が実際に焦点を合わせて見ている任意の注視対象に対する視線方向をより正確に検出することができる。従って、視界の中で利用者が実際に見ている任意の注視対象に対する注視対象距離の検出精度が高まる。前記視界における利用者の相対的な視線方向は、例えば、視界の中心を見たきの中心視線方向を基準にし、前記視界の中の任意の注視対象を見たときの視線方向の角度で検出することができる。また、前記視界における利用者の相対的な視線方向は、視界の中心を検出用座標軸の原点とし、利用者の前方に見えている視界の中で利用者が実際に焦点を合わせて見ている任意の注視対象の座標を求めることにより、検出することができる。
また、前記注視対象距離検出手段は、前記利用者の少なくとも一方の眼に所定の基準パターンからなる参照光を照射し前記参照光が照射された前記眼からの反射画像を検知する手段を有し、前記眼から反射した反射画像における前記基準パターンのひずみの程度に基づいて、前記注視対象距離を検出してもよい。この場合は、利用者の眼のレンズの厚さに応じて変化するレンズ表面の曲率と、利用者が注視対象を注視しているときの眼の焦点距離に対応する前記注視対象距離との関係に基づき、眼から反射した反射画像における基準パターンのひずみの程度から、レンズ表面の曲率を求め、眼の焦点距離に対応する注視対象距離を算出することができる。これにより、利用者の眼と注視対象との間の距離を直接測定することなく、前記注視対象距離を間接的に検出することができる。
また、前記注視対象距離検出手段は、前記利用者の両眼の瞳孔の動きを検知する手段を有し、前記両眼の瞳孔の動きから得られる輻輳の度合いに基づいて前記注視対象距離を検出してもよい。この場合は、利用者の両眼の輻輳の程度と、利用者が注視対象を注視しているときの眼の焦点距離に対応する前記注視対象距離との関係に基づき、前記利用者の両眼の瞳孔の動きから得られる輻輳の度合いから、眼の焦点距離に対応する注視対象距離を算出することができる。これにより、利用者の眼と注視対象との間の距離を直接測定することなく、前記注視対象距離を間接的に検出することができる。前記輻輳の度合いは、例えば、利用者の両眼の瞳孔中心同士の距離から求めたり、眼の全体形状における瞳孔（又は黒目部分）の相対的な位置から求めたりすることができる。
また、前記注視対象距離検出手段で検出した前記注視対象距離に応じて前記情報の像形成位置を調整して表示する第１の表示モードと、前記注視対象距離にかかわらず前記情報の像形成位置を固定して表示する第２の表示モードとを切り替えて実行可能に構成してもよい。この場合は、利用者が見ている視界中の注視対象とその注視対象に関連した関連情報とを一緒に確認したいときは、前記第１の表示モードを選択して実行させることにより、眼の焦点をほとんど変化させることなく注視対象及びその関連情報の両方を確認することができる。一方、利用者に見える視界とは関係なく、眼鏡型表示装置で表示された情報を確認したいときは、前記第２の表示モードを選択して実行させることにより、視界の画像にじゃまされることなく、その視界の画像を背景として当該情報を確認することができる。このように利用者が確認したい情報の内容に応じて適切な表示モードを選択することができる。

また、前記眼鏡型表示装置において、近距離無線通信により、前記注視対象に備えられた記憶媒体に保存されている情報を受信して取得する手段を更に備えてもよい。この注視対象に備えられた記憶媒体から取得する情報は、前記表示手段で表示される前記関連情報でもよいし、前記注視対象の特定や関連情報の検索に使用可能な情報であってもよい。
この眼鏡型表示装置によれば、当該眼鏡型表示装置内のメモリに対して関連情報の検索を行ったり通信ネットワーク上のサーバに対して関連情報の検索を行ったりすることなく、近距離無線通信で受信した前記関連情報を表示することができる。また、近距離無線通信で受信した前記注視対象を特定に使用可能な情報に基づいて、注視対象を特定することもできる。

また、前記眼鏡型表示装置において、通信ネットワークを介してサーバと通信するための通信手段を更に備え、前記関連情報取得手段は、前記注視対象の画像情報、前記注視対象の特徴抽出情報、及び前記注視対象に備えられた記憶媒体から取得された情報の少なくとも一つの情報を前記サーバに送信し、前記サーバで検索された前記注視対象に関連した関連情報を前記サーバから受信して取得するものであってもよい。
この眼鏡型表示装置によれば、前記注視対象の画像情報、前記注視対象の特徴抽出情報、及び前記注視対象に備えられた記憶媒体から取得された情報の少なくとも一つの情報を、通信ネットワークを介して、比較的処理能力高くデータベース機能等の各種機能を具備することが容易なサーバに送信し、そのサーバで検索された関連情報を受信して取得する。このようにサーバと通信することにより、注視対象の特定と関連情報との整合性の精度を高められた関連情報をサーバから効率よく取得することができる。しかも、注視対象についてより詳しく且つバリエーションも広範囲にわたった内容を有する関連情報を取得することも可能になる。
ここで、通信ネットワークを介してサーバと通信するための通信手段を備える代わりに、有線又は無線の近距離通信により別体の通信端末装置と通信するための近距離通信手段を備えてもよい。この場合は、移動体通信ネットワークなどの通信ネットワークに接続するための通信機能を眼鏡型表示装置自体が備えていなくても、有線又は無線の近距離通信により通信可能な別体の通信端末装置を介して、通信ネットワークに接続し、通信ネットワーク上のサーバと通信することが可能になる。

また、本発明に係るサーバは、前記眼鏡型表示装置と通信ネットワークを介して通信可能なサーバであって、前記注視対象の画像情報、前記注視対象の特徴抽出情報、及び前記注視対象に備えられた記憶媒体から取得された情報の少なくとも一つの情報を、前記眼鏡型表示装置から受信する情報受信手段と、前記眼鏡型表示装置から受信した情報に基づいて、前記注視対象を特定し、その特定した注視対象に関連した関連情報を検索する検索手段と、前記検索手段で検索された前記注視対象に関連した関連情報を前記眼鏡型表示装置に送信する情報送信手段と、を備える。

なお、前記眼鏡型表示装置において、前記利用者のスケジュール情報、前記利用者宛のメール情報、及び前記利用者宛の配信情報の少なくとも一つの最新情報を取得する最新情報取得手段を更に備え、前記表示手段は、前記最新情報取得手段で取得した前記最新情報を視界の中に重ね合わせて表示してもよい。
この眼鏡型表示装置によれば、利用者は、眼鏡型表示装置を装着するという簡単な操作で、自分のスケジュール情報等の最新情報を確認することができる。しかも、その利用者が最新情報を確認していることを周囲の人に気付かれることもない。

本発明に係る通信端末システムは、前記眼鏡型表示装置と、有線又は無線の近距離通信により前記眼鏡型表示装置と通信可能な通信端末装置と、を備える。
この通信端末システムによれば、移動体通信ネットワークなどの通信ネットワークに接続するための通信機能を眼鏡型表示装置自体が備えていなくても、有線又は無線の近距離通信により通信可能な通信端末装置を介して通信ネットワークに接続し、通信ネットワーク上のサーバと通信することが可能になる。

本発明によれば、前記視線方向検出手段で前記利用者の視線方向を検出するとともに、姿勢変化検出手段で検出された眼鏡型表示装置の姿勢変化の検出結果に基づいて、上記利用者の視線方向を速やかに補正することができる。これにより、視界撮像手段で撮像された視界画像内で利用者が注視している注視対象を特定するときの精度を高めることができるとともに、その注視対象に関連した関連情報をより確実に且つリアルタイムに表示することができる。

本発明の実施形態に係る眼鏡型表示装置の一構成例を示す斜視図。 （ａ）は同眼鏡型表示装置の上面図。（ｂ）は他の構成例に係る眼鏡型表示装置の上面図。 眼鏡型表示装置の一構成例を示す機能ブロック図。 （ａ）及び（ｂ）はそれぞれ、利用者の視線方向と視界同調カメラの撮像画像とを説明するための説明図 （ａ）は注視対象距離検出部の一構成例を示す概略構成図。（ｂ）は注視対象距離検出部における縞模様の変化の説明図。 利用者の左眼眼球の水晶体の厚さの時間変化の一例を示すグラフ。 画像生成部、画像投影表示部及び焦点距離調整部の一例を示す概略構成図。 （ａ）は画像を眼からの距離の遠い注視対象に合わせて表示する場合の説明図。（ｂ）は画像を眼からの距離の近い注視対象に合わせて表示する場合の説明図。 眼鏡型表示装置により注視対象の情報を表示する情報提供システムの全体構成の一例を示す概略構成図。 利用者が注視した注視対象の情報を表示する処理を説明するためのシーケンス図。 眼鏡型表示装置に家電機器の操作メニューを表示している状態の説明図。 家電機器の操作メニューを表示する処理を説明するためのシーケンス図。 眼鏡型表示装置に時刻と温度を表示している状態の説明図。 時刻と温度を表示する処理を説明するためのシーケンス図。 視線検知部を設けた眼鏡型表示装置の一構成例を示す斜視図。 （ａ）は視線検知部の一構成例を示す概略構成図。（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図。 利用者が右側のメガネレンズを通して見る前方視界面内を複数に分割した領域を示す説明図。 前方視界に表示された視線カーソル及びアイコンの説明図。 他の構成例に係る眼鏡型表示装置の機能ブロック図。 両眼の輻輳を利用して注視対象距離を測定する方式の説明図。

以下、図面に基づいて本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る眼鏡型表示装置１の一構成例を示す斜視図である。図２（ａ）及び（ｂ）はそれぞれ同眼鏡型表示装置１を上方から見た上面図である。眼鏡型表示装置１は、利用者の両眼の前方を覆うように頭に装着することにより、利用者が注視した注視対象に関する関連情報等の各種情報を利用者が視認できるように前方視界に重ね合わせて表示することができる。

眼鏡型表示装置１のフレームは、リム２を備えている。このリム２の左右両サイドに、ツルとも呼ばれる一対のテンプル３Ｒ,３Ｌが、それぞれ蝶番４Ｒ,４Ｌ（４Ｌは不図示）により約９０度開閉可能に保持されている。また、一対のメガネレンズ５Ｒ,５Ｌ、一対の鼻パッド６Ｒ,６Ｌ、一対のテンプル３Ｒ,３Ｌの蝶番４Ｒ,４Ｌが設けられた側と反対側の端部にそれぞれ先セル７Ｒ,７Ｌを備えている。なお、先セル７Ｒ,７Ｌの利用者に接触する部分に、温度センサ、脈拍センサ、血圧センサ等の健康情報検出手段を設け、利用者の体温、脈拍、血圧などの健康情報を検出できるようにしてもよい。検出された利用者の体温、脈拍、血圧などの健康情報は、利用者が視認できるように前方視界に重ね合わせて表示してもよい。

また、眼鏡型表示装置１は、右側のテンプル３Ｒの内側に電源をＯＮ／ＯＦＦするための電源スイッチ８と、リム２の中央上部のフロント側に設けられた利用者の視線の方向における前方視界の画像を撮像する視界撮像手段としての視界同調カメラ９と、リム２の左側のレンズ５Ｌの下部側に設けられた注視対象距離検出手段としての注視対象距離検出部１０とを備えている。更に、眼鏡型表示装置１は、リム２の右側端部にメガネレンズ５Ｒを通して見える前方視界に重ね合わせて利用者が視認できるように情報を表示する表示手段としての画像表示部１２とを備えている。

上記前方視界に重ね合わせて利用者が視認できるように情報を表示する画像表示方式としては、網膜に直接走査するものやコンバイナ光学系を用いたもの等、各種の画像表示方式を用いることができる。

図２（ａ）は、網膜走査型の画像表示方式を採用した場合の構成例を示している。この網膜走査型の眼鏡型表示装置１では、走査用の光学系１２４が右レンズ５Ｒの前方に配設されている。
また、図２（ｂ）は、コンバイナ光学系１２５を用いた画像表示方式を採用した構成例を示している。コンバイナ光学系１２５は、例えば内部に偏光ビームスプリッタと１／４波長板と主反射面とを有する平板状の透明基板で構成され、右レンズ５Ｒの中に埋め込むように設けられる。コンバイナ光学系１２５は、右側のテンプル３Ｒの内側にある光源の画像表示面から出射した表示光束を使用者の眼の方向に導くように構成されている。

図３は、眼鏡型表示装置１の一構成例を示す機能ブロック図である。
眼鏡型表示装置１のリム２又はテンプル３Ｒ,３Ｌの内部には、画像表示部１２を構成する構成要素の少なくとも一部と、画像表示部１２で用いる画像信号を生成する画像生成部１１と、画像表示部１２での画像表示を制御する表示制御手段としての表示制御部１３と、ＣＰＵやＲＯＭ等で構成された制御手段としての制御部１４と、記憶手段としてのメモリ１５と、電源手段としてのバッテリ１６と、装着検知部１７とが格納されている。また、眼鏡型表示装置１は、通信部２５と、姿勢変化検出部２８とを更に備えている。

制御部１４で実行されるプログラムや制御部１４等で用いられる各種データは、メモリ１５に保存されている。制御部１４に所定のプログラムやデータが読み出されて実行されることにより、後述の各種制御やデータ処理が実行される。

制御部１４は、視界同調カメラ９の視界の画像情報及び視線方向の検出結果と、姿勢変化検出部２８で検出された眼鏡型表示装置１の姿勢変化の検出結果とに基づいて、制御部１４内でデータ処理したり通信ネットワーク上のサーバの支援を受けたりすることにより、視界内において利用者が注視している注視対象を特定する注視対象特定手段としても機能する。更に、制御部１４は、メモリ１５内のデータを参照したり通信ネットワーク上のサーバの支援を受けたりすることにより、上記特定された注視対象に関連した関連情報を取得する関連情報取得手段としても機能する。

表示制御部１３は、視界同調カメラ９で撮像された視界の画像情報及び視線方向の検出結果、並びに姿勢変化検出部２８の検出結果の少なくとも一つに基づいて、視界における注視対象の位置と関連情報の表示位置とが所定の位置関係になるように関連情報の表示位置を制御する。
また、表示制御部１３は、前方視界における注視対象の位置と関連情報の表示位置とのずれが所定範囲よりも大きくなった場合は、関連情報の表示を停止するように制御してもよい。
また、表示制御部１３は、表示する画像の形成位置（焦点位置）を、利用者が注視対象を見ているときの視線が合焦している位置に合わせるように変化させるための像形成位置可変手段（焦点距離調整部）としても機能する。

通信部２５は、公衆無線ＬＡＮのアクセスポイントを介して、又は、携帯電話機等の携帯通信端末を介して、通信ネットワーク上の各種サーバと通信するための通信手段として機能する。また、通信部２５は、制御部１４と連携することにより、前記注視対象特定手段及び関連情報取得手段としても機能する。例えば、制御部１４によって通信部２５を制御することにより、通信ネットワーク上のサーバにアクセスし、上記注視対象の画像情報及びその画像情報から抽出した注視対象の特徴抽出情報の少なくとも一方の情報を、サーバに送信する。このサーバに送信される注視対象の画像等の情報には、眼鏡型表示装置１の姿勢変化の検出結果を含めてもよい。更に、制御部１４は通信部２５を制御することにより、前記注視対象の画像情報及び注視対象の特徴抽出情報の少なくとも一方の情報に基づいて検索された注視対象と関連した関連情報をサーバから受信して取得する。

なお、眼鏡型表示装置１は、注視対象に備えられたＲＦＩＤ（Radio Frequency IDentification）タグ（以下「ＲＦタグ」という。）等の記憶媒体から、注視対象の特定や関連情報の検索に使用可能な情報（例えば、名称、識別情報、種別情報等の情報）を、その注視対象から近距離通信により受信して取得した場合には、取得した情報を上記サーバに送信してもよい。この注視対象の特定や関連情報の検索に使用可能な情報は、上記注視対象の画像情報、注視対象の特徴抽出情報及び姿勢変化の検出結果の情報のいずれかとともに上記サーバに送信してもよいし、又は、それらの情報に代えて上記サーバに送信してもよい。上記ＲＦタグから取得した情報を用いることにより、注視対象の特定や関連情報の検索の精度が向上する。なお、注視対象に備えられている記憶媒体は、眼鏡型表示装置１と無線通信する機能と情報を記憶する機能とを有していればよく、ＲＦタグに限定されるものではない。また、注視対象がＲＦタグ以外の記憶媒体を備えている場合、眼鏡型表示装置１が注視対象に備えられた記憶媒体から情報を受信するときの通信には、例えばBluetooth（登録商標）による通信や赤外線通信等の近距離無線通信を用いることができる。

姿勢変化検出部２８は、例えば１軸、２軸又は３軸の加速度センサで構成され、眼鏡型表示装置１に作用する加速度を検知することにより、利用者の頭部の姿勢変化に伴う眼鏡型表示装置の姿勢変化を検出する姿勢変化検出手段として機能する。姿勢変化検出部２８を構成する加速度センサは、重力方向を検知可能なもの（絶対加速度を検知可能なもの）を用いてもよい。姿勢変化検出部２８は、例えば、所定のタイミングに検出した眼鏡型表示装置の姿勢を基準姿勢とし、その利用者の頭部の基準姿勢からの姿勢変化（例えば、基準姿勢からのロール角、ピッチ角及びヨー角それぞれの角度変化分の値、又は、眼鏡型表示装置の姿勢変化に起因して発生した加速度の値）を、検出結果として出力する。上記基準姿勢の検出タイミングは、例えば、眼鏡型表示装置１の利用を開始したタイミングや所定操作を行ったタイミングでもよいし、利用者が注視している注視対象を特定したタイミングであってもよい。
なお、姿勢変化検出部２８は、加速度センサとともに又は加速度センサに代えて地磁気センサを備え、眼鏡型表示装置１に定義された座標を基準にして地磁気センサで検出される方位情報に基づいて眼鏡型表示装置１の姿勢変化を検出するように構成してもよい。

また、姿勢変化検出部２８によって検出された眼鏡型表示装置１の姿勢変化の検出結果は、視界内において利用者が注視している注視対象を特定するときに、例えば次の（１）〜（３）を含む様々な制御に用いることができる。

（１）利用者の頭部及び視線のぶれ防止制御：
利用者が注視しようとしている注視対象が同じであるにもかかわらず、何らかの理由により、眼鏡型表示装置１を装着している利用者の頭部に振動やふらつき等のぶれが発生する場合がある。利用者の頭部にぶれが発生すると、その頭部に装着した眼鏡型表示装置１の視界同調カメラ９で撮像される視界の画像における視線方向もぶれてしまうため、その撮像画像や視線方向に基づいて特定する利用者の注視対象の特定精度が低下するおそれがある。そこで、姿勢変化検出部２８によって検出された眼鏡型表示装置１の姿勢変化の検出結果に基づいて、視界同調カメラ９で撮像される視界の画像における視線方向を補正する制御を行うことにより、注視対象の特定精度を向上させることができる。

（２）注視対象の特定処理の軽減制御：
視界同調カメラ９で撮像した視界の画像の撮像及び視線方向の検出結果に基づく注視対象の特定処理を頻繁に実行すると、眼鏡型表示装置１における処理の負荷が大きくなってしまうおそれがある。そこで、眼鏡型表示装置１の姿勢が大きく変化したときに、その眼鏡型表示装置１を装着した利用者が注視している注視対象が変わった可能性が高い点に着目し、眼鏡型表示装置１の姿勢変化の検出結果（姿勢変化量）が、予め設定した閾値の範囲よりも大きくなったときに、視界同調カメラ９による視界の画像の撮像処理及び視線方向の検出処理を行うとともに、それらの視界の画像及び視線方向の検出結果に基づく注視対象の特定処理を行うように制御する。これにより、眼鏡型表示装置１における処理の負荷の増大を回避しつつ、利用者の注視対象を特定できるようになる。

（３）注視対象の特定処理の補完制御：
視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理が、眼鏡型表示装置の姿勢変化（利用者の頭部の姿勢変化）に追従できない場合がある。この場合は、視界の撮像画像や視線方向に基づいて利用者の注視対象をリアルタイムに特定することができなかったり、特定する利用者の注視対象の特定精度が低下したりするおそれがある。そこで、視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理に必要な処理時間に基づいて、その撮像処理及び視線方向の検出処理を行うインターバルを予め設定しておく。そして、視界の撮像画像や視線方向に基づいて利用者の注視対象を特定した後、その後に到来する次の撮像・視線検出タイミングまでは、眼鏡型表示装置１の姿勢変化の検出結果に基づいて、直近の撮像済みの視界の画像及び検出済みの視線方向を補完することにより、注視対象を特定するように制御する。この制御により、注視対象の特定精度が低下することなく、利用者の注視対象をリアルタイムに特定することができる。

電源スイッチ８は、眼鏡型表示装置１の電源をＯＮ／ＯＦＦするための例えば３Ｐトグルスイッチであり、電源ＯＦＦ、ＡＵＴＯ及び電源ＯＮの３つのポジションを取り得る。ここで、ＡＵＴＯポジションは、一対のテンプル３Ｒ,３Ｌを開いた状態で一対の先セル７Ｒ,７Ｌに弱電圧を印加しておき、利用者が眼鏡型表示装置１を頭に装着したときに、一対の先セル７Ｒ,７Ｌ間に流れる微弱電流を、タッチセンサ等で構成された装着検知部１７が検知することにより、画像表示機能等の動作を開始するように制御される。一方、利用者が眼鏡型表示装置１を外したときには、画像表示機能等の動作を停止するように制御される。また、電源ＯＮポジションでは、電源がＯＮされて画像表示機能等が動作するが、利用者が眼鏡型表示装置１を外した状態で所定時間経過すると自動的に電源がＯＦＦする省電力制御がなされる。なお、電源スイッチ８を設けずに、常に前記ＡＵＴＯポジションでの電源動作と同様に眼鏡型表示装置１の電源が自動でＯＮ／ＯＦＦされるように構成してもよい。

視界同調カメラ９は、例えばＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成され、眼鏡型表示装置１のリム２の中央上部に配設され、利用者が見ている前方視界を撮像する。この視界同調カメラ９により、前方視界の画像の画像データを取得し、注視対象の特定や各種分析に使用することができる。

なお、図１の構成例において、視界同調カメラ９は、視界撮像手段として用いられるとともに、視界における利用者の視線方向を検出する簡易型の視線方向検出手段としても用いられている。本構成例の視界同調カメラ９は、撮像画像の中心が利用者の視界の略中央に位置するように設けられ、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が利用者の視線方向であると推定することにより、利用者の視線方向を検出する。ここで、利用者が頭部の姿勢を変えて視線方向を変化させると、その視線方向の変化に応じて、利用者の頭部に装着されている眼鏡型表示装置１の視界同調カメラ９の撮像方向が変化し、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が、利用者の視線方向であると推定することができる。

図４は、利用者の視線方向と視界同調カメラ９の撮像画像とを説明するための図である。図４（ａ）は利用者の頭部が水平に斜め右方向を向いて３本の樹木のうち右側の樹木Ｔｒ１を見ている状態の図であり、図４（ｂ）は視界同調カメラ９で撮像された画像に樹木Ｔｒ１の情報を重ね合わせて表示した図である。

図４（ａ）に示すように、眼鏡型表示装置１を装着した利用者が頭部を水平に斜め右方向に向けて右側の樹木Ｔｒ１を注視すると、同図（ｂ）に示すように、その動きに同調して視界同調カメラ９は前方視界を撮像する。利用者の視線方向は視界同調カメラ９で撮像した視界の画像のセンターの視線マーク９０１の方向と略一致するので、眼鏡型表示装置１は利用者が右側の樹木Ｔｒ１を注視しているものと判断する。そして、注視対象距離検出部１０において利用者の眼から右側の樹木Ｔｒ１までの注視対象距離Ｌ１を算出して検出し、その右側の樹木Ｔｒ１を画像分析して名称や種別等の注視対象物に関連した関連情報をメモリ１５又は通信ネットワーク上のサーバから取得し、その取得した関連情報９０２の画像（虚像）を、図４（ｂ）の視界の画面に示すように右側の樹木Ｔｒ１の右上方に重ね合わせて表示する。また、この関連情報９０２の画像（虚像）は、上記検出された注視対象距離Ｌ１に基づいて、右側の樹木Ｔｒ１と同じ焦点位置に表示される。これにより、利用者の眼の焦点が右側の樹木Ｔｒ１に合っている状態において、注視対象物の関連情報９０２の表示画像がぼけず、違和感なく読むことができる。一方、利用者が頭部を水平に斜め左方向に向けて左側の樹木Ｔｒ３を注視した場合、注視対象距離Ｌ３が短くなり利用者の眼は近くに焦点が合うことになるが、このとき、注視対象物である左側の樹木Ｔｒ３の関連情報の表示画像がぼけないように、当該情報の画像の形成位置が調整され、利用者は違和感なく読むことができる。

なお、上記視線マーク９０１は、利用者の網膜に照射して表示させているが、一対のメガネレンズ５Ｌ,５Ｒのうち少なくとも一方のレンズのセンターにあらかじめ印刷等により表示しておいてもよい。

図５は、注視対象距離検出部１０の一構成例を示す説明図であり、（ａ）は概略構成説明図、（ｂ）は縞模様の変化の説明図である。本構成例の注視対象距離検出部１０は、縞模様の赤外光を利用者の左眼眼球の水晶体を含む領域に照射し、水晶体から反射した赤外光の縞模様の変化に基づいて水晶体の厚さを測定し、この測定結果から利用者の眼から注視対象までの注視対象距離を算出して検出するものである。
図５（ａ）において、注視対象距離検出部１０は、例えば、赤外光を放射する発光ダイオード等の光源１０１と、偏光フィルタ１０２と、投光レンズ１０３と、受光レンズ１０４と、ＣＣＤ又はＣＭＯＳ等の固体撮像素子等からなる撮像手段としてのイメージセンサ１０５と、焦点距離演算手段１０６とを備えている。

偏光フィルタ１０２は、光源１０１から照射された赤外光を格子状の縞模様に偏光フィルタリングする偏光フィルタである。この格子状の縞模様は、格子を形成する複数本の縦線及び横線の線間隔が同一であり、この線間隔が水晶体の直径よりも十分に狭い間隔（例えば、直径の数分の１〜数十分の１の間隔）である。

光源１０１から照射された赤外光は、偏光フィルタ１０２により格子状の縞模様に偏光フィルタリングされた後、投光レンズ１０３を通過後、格子縞の赤外光Ｃとなって左眼１００Ｌの眼球の水晶体を含む領域を照射する（図５（ｂ）参照）。水晶体にて反射した赤外光Ｃは受光レンズ１０４を介してイメージセンサ１０５上に縞模様の画像Ｉを結像する。イメージセンサ１０５では、一定時間毎（例えば、１／３０秒毎）に、画像Ｉを画像信号として焦点距離演算手段１０６に送信する。

焦点距離演算手段１０６は、図５（ｂ）に示すように、イメージセンサ１０５からの画像信号が入力される毎に、入力された画像Ｉに対してレンズ歪みを補正するとともに画像の傾きを台形補正し、補正を施した画像Ｉ’を取得する。レンズ歪みは、受光レンズ１０４等の特性に応じて発生する。また、画像の傾きは、利用者の水晶体の位置と受光レンズ１０４との位置関係に応じて発生する。補正後の画像Ｉ’は、レンズ歪みがなくかつ水晶体を真正面から撮像した画像に相当する。なお、更に前処理として、入力画像から格子模様を検知し易くするために、画像に対してノイズ除去やフィルタリングなどを行ってよい。
また、焦点距離演算手段１０６は、補正後の画像Ｉ’中の格子模様Ｓをトレースし、格子模様Ｓを抽出する。この格子模様Ｓは、水晶体に映っている部分では水晶体の曲面に沿って歪んでおり、照射時の直線で構成される格子模様から曲線で構成される格子模様となっている。

焦点距離演算手段１０６は、抽出した格子模様Ｓからその各曲線の曲率や各曲線間の間隔（縦線間隔、横線間隔）を算出する。さらに、焦点距離演算手段１０６は、格子模様Ｓの曲率や線間隔に基づいて水晶体の曲率を算出し、水晶体の曲率に基づいて水晶体の厚さを算出する。

水晶体は、外から入ってくる光を屈折させて網膜上に焦点を合わせるための凸状のレンズであり、チン氏帯を介して毛様筋が繋がっている。近くのものを見る場合、毛様筋が収縮し、チン氏帯が弛むことにより、水晶体の厚さが厚くなる（曲率が大きくなる）。また、遠くのものを見る場合、毛様筋が弛緩し、チン氏帯が引っ張られることにより、水晶体の厚さが薄くなる（曲率が小さくなる）。このように、人は、見る物体までの距離に応じて、水晶体の厚さを無意識に伸縮させて焦点距離を調節している。水晶体の厚さは、一般に、通常時には３．６ｍｍ程度であり、最大時には４．０ｍｍ程度である。また、水晶体を正面から見たときの直径は、一般に、９〜１０ｍｍ程度である。

図６は、利用者の左眼眼球の水晶体の厚さの時間変化の一例を示している。利用者の眼が注視対象に合焦しているか否かは、例えば次のように判断してもよい。図中の符号Ｔ_０で示す時間帯では、その前後の時間帯に比べて、水晶体の厚さが厚くなっている時間が継続しており、焦点距離が短く、すなわち近くの注視対象に合焦していると判断することができる。一方、水晶体の厚さが薄くなっている時間が所定時間継続した場合には、遠くの注視対象に合焦していると判断することができる。

画像生成部１１、画像表示部１２及び表示制御部（焦点距離調整部）１３は、制御部１４からの画像信号に基づいて、メガネレンズ５Ｒを通して見える前方視界に重ね合わせて利用者が視認できるように各種情報の画像（虚像）を、利用者の視線が合焦している焦点位置に合わせて表示する。

図７は、図２（ａ）で示した網膜走査型の画像表示方式を採用した場合の画像生成部１１、画像表示部１２、及び表示制御部１３の一部を構成する焦点距離調整部１３０の一構成例を示す概略構成説明図である。
図７において、制御部１４から供給される画像信号を処理するための光源ユニット部１１０が設けられている。光源ユニット部１１０には、制御部１４からの画像信号が入力され、それに基づいて画像を生成するための画像信号を発生する画像信号供給部１１１が設けられ、この画像信号供給部１１１から画像信号１１２、垂直同期信号１１３及び水平同期信号１１４が出力される。また、光源ユニット部１１０には、画像信号供給部１１１から伝達される画像信号１１２をもとに強度変調されたレーザ光を出射する光源としてのレーザ発振部１１５と、前方視界に重ね合わせて表示する画像（虚像）の形成位置を、利用者が注視対象を見ているときの焦点位置に合わせるように、網膜に走査する像の焦点を調整する焦点距離調整部１３０とが設けられている。

また、光源ユニット部１１０側から導かれたレーザ光をガルバノミラー１２１ａを利用して垂直方向に走査する走査光学系としての垂直走査系１２１と、垂直走査系１２１によって走査されたレーザ光を後述する水平走査系１２２に導く第１リレー光学系（レンズ群）１２３と、垂直走査系１２１に走査され、第１リレー光学系１２３を介して入射されたレーザ光を、ガルバノミラー１２２ａを利用して水平方向に走査する走査光学系としての水平走査系１２２と、水平走査系１２２によって走査されたレーザ光を利用者の右眼１００Ｒの瞳孔に入射させる第２リレー光学系（レンズ群）１２４とが設けられている。

垂直走査系１２１は、表示すべき画像の１走査線ごとに、レーザビームを垂直方向に垂直走査する垂直走査を行う光学系である。また、垂直走査系１２１は、レーザビームを垂直方向に走査する光学部材としてのガルバノミラー１２１ａと、そのガルバノミラー１２１ａの駆動制御を行う垂直走査制御部１２１ｂとを備えている。

これに対し、水平走査系１２２は、表示すべき画像の１フレームごとに、レーザビームを最初の走査線から最後の走査線に向かって水平に走査する水平走査を行う光学系である。また、水平走査系１２２は、水平走査する光学部材としてのガルバノミラー１２２ａと、そのガルバノミラー１２２ａの駆動制御を行う水平走査制御部１２２ｂとを備えている。

また、垂直走査系１２１、水平走査系１２２は、図７に示すように、各々画像信号供給部１１１に接続され、画像信号供給部１１１より出力される垂直同期信号１１３、水平同期信号１１４にそれぞれ同期してレーザ光を走査するように構成されている。

上記構成の走査光学系によって利用者の網膜上に画像を表示する処理は、例えば次のように行われる。ここで、利用者の網膜上に表示する画像は、図４（ｂ）に示すように、例えば「名称：もみ マツ科モミ属 常緑針葉樹」といった注視対象の樹木についての関連情報である。図７に示すように、本実施形態の眼鏡型表示装置１では、光源ユニット部１１０に設けられた画像信号供給部１１１が制御部１４からの画像信号の供給を受けると、画像信号供給部１１１は、例えば白色レーザ光を出力させるための画像信号１１２と、垂直同期信号１１３と、水平同期信号１１４とを出力する。画像信号１１２に基づいて、レーザ発振器１１５はそれぞれ強度変調されたレーザ光を発生し、垂直走査系１２１に出力する。垂直走査系１２１のガルバノミラー１２１ａに入射したレーザ光は、垂直同期信号１１３に同期して垂直方向に走査されて第１リレー光学系１２３を介し、水平走査系１２２のガルバノミラー１２２ａに入射する。ガルバノミラー１２２ａは、ガルバノミラー１２１ａが垂直同期信号に同期すると同様に水平同期信号１１４に同期して、入射光を水平方向に反射するように往復振動をしており、このガルバノミラー１２２ａによってレーザ光は水平方向に走査される。垂直走査系１２１及び水平走査系１２２によって垂直方向及び水平方向に２次元に走査されたレーザ光は、第２リレー光学系１２４により利用者の右眼眼球へ入射され、網膜上に投影される。利用者はこのように２次元走査されて網膜上に投影されたレーザ光による画像を認識することができる。

図８は、焦点距離調整部１３０の概略構成説明図である。図８（ａ）は眼からの距離の遠い注視対象に合わせて画像を表示する場合の構成図、図８（ｂ）は眼からの距離の近い注視対象に合わせて画像を表示する場合の構成図である。レーザ発振部１１５内部には、レーザ光源１１６が光源鏡筒１１７の左側端部に設けられており、また、投光レンズ群１１８を有するレンズ鏡筒１１９が、光源鏡筒１１７の内側に左右方向に直線運動可能に配設されている。また、焦点距離調整部１３０は、制御部１４によって回転駆動制御されるマイクロモータ１３１、マイクロモータ１３１に回転駆動されるウォームギヤ１３２、ウォームギヤ１３２と螺合し図中左右に直線運動するラックギヤ１３３から構成されている。上記レンズ鏡筒１１９には上記ラックギヤ１３３が固設されており、マイクロモータ１３１によりウォームギヤ１３２が回転駆動すると、ラックギヤ１３３とレンズ鏡筒１１９とが一体となって左右方向に直線運動を行う。

図８（ａ）に示すように、レンズ鏡筒１１９が最も右側位置にあるとき、すなわち、レーザ光源１１６と投光レンズ群１１８とが最も離れた位置にある場合には、レーザ光源１１６から出射したレーザ光は投光レンズ群１１８によって平行光となって垂直走査系１２１のガルバノミラー１２１ａに入射する。最終的に第２リレー光学系１２４から利用者の右眼に平行光が入射することで、無限遠に画像が投影されていると感じる。
一方、図８（ｂ）に示すように、レンズ鏡筒１１９が最も左側位置にあるとき、すなわち、レーザ光源１１６と投光レンズ群１１８とが最も近い位置にある場合には、レーザ光源１１６から出射したレーザ光は投光レンズ群１１８によって拡散光となって垂直走査系１２１のガルバノミラー１２１ａに入射する。最終的に第２リレー光学系１２４から利用者の右眼に拡散光が入射することで、近く（例えば、３０センチメートル前方）に画像が表示されていると感じる。

なお、図２（ｂ）に示すコンバイナ光学系１２５を用いた画像表示方式を採用した場合については、図示していないが、例えば、画像表示部１２は、小型液晶表示面からなる光源と、その小型液晶表示面の画像を所定の焦点距離で結像させながらコンバイナ光学系１２５に向けて導くための結像光学系とを用いて構成される。また、焦点距離調整部１３０は、結像光学系による結像画像の焦点距離を変化させるように結像光学系のレンズを移動させるマイクロモータ及びウォームギア等で構成される。

次に、本実施形態の眼鏡型表示装置１で利用者が注視した注視対象を特定し、その注視対象に関連した関連情報を通信ネットワーク上のサーバから取得して表示する情報提供システムの構成について説明する。

図９は、眼鏡型表示装置１により注視対象の関連情報を表示する情報提供システム全体の構成例を示す説明図である。また、図１０は、利用者が注視した注視対象の関連情報を表示する処理を説明するためのシーケンス図である。ここで、眼鏡型表示装置１は、図３の通信部（通信手段）２５として、無線又は有線の近距離通信により移動体通信端末である携帯電話機等の携帯通信端末１８との間で通信するための近距離通信手段を有している。この近距離通信手段は、例えば、シリアル通信ケーブルを用いた有線通信により、あるいは、赤外線やブルートゥース等の無線通信により、携帯通信端末１８と通信するように構成される。

図９の構成例では、眼鏡型表示装置１は携帯通信端末１８と近距離無線通信により通信することができ、携帯通信端末１８は、移動体通信網１９及びインターネット通信網２０を介して、画像分析サーバ２１及び情報提供サーバ２２と通信することができる。なお、眼鏡型表示装置１にネットワーク通信機能を備えて、携帯通信端末１８を介さないで、直接、移動体通信網１９やインターネット通信網２０に接続できるようにしてもよい。

図１０において、利用者が注視対象として例えば視界中央の樹木を注視すると（ステップ１）、利用者の頭部に装着された眼鏡型表示装置１の注視対象距離検出部１０が、利用者の眼球の焦点が樹木にロックオンしたことを検出し（ステップ２）、視界同調カメラ９に撮影指令を出力する（ステップ３）。撮影指令を受信した視界同調カメラ９は注視対象を撮影し（ステップ４）、撮影した注視対象の画像データを携帯通信端末１８、移動体通信網１９及びインターネット通信網２０を介して画像分析サーバ２１に送信する（ステップ５）。画像データを受信した画像分析サーバ２１は、画像分析を行い、注視対象の特徴を抽出して注視対象を特定する（ステップ６）。画像分析サーバ２１は、画像分析によって特定した注視対象の情報を情報提供サーバ２２に送信する（ステップ７）。情報提供サーバ２２は、画像分析サーバ２１から受信した注視対象情報に基づいてデータベースを検索し、注視対象に関連した関連情報を検索して収集する（ステップ８）。情報提供サーバ２２は注視対象について収集した関連情報を、インターネット通信網２０、移動体通信網１９及び携帯通信端末１８を介して眼鏡型表示装置１に送信し、眼鏡型表示装置１の制御部１４は、情報提供サーバ２２から受信した注視対象の関連情報を画像生成部１１に送る（ステップ９）。
なお、図１０の例では、画像分析サーバ２１が画像分析によって特定した注視対象の情報を情報提供サーバ２２に送信しているが、眼鏡型表示装置１が、画像分析サーバ２１から注視対象の情報をいったん受信して保存し、その注視対象の情報を情報提供サーバ２２に送信することにより関連情報を取得するようにしてもよい。
また、上記利用者の視線が樹木（注視対象）にロックオンしたか否かは、利用者の眼球の焦点が樹木に留まっている時間を基準にして判断することができる。例えば、利用者の眼球の焦点が樹木に留まっている状態が所定時間だけ継続したときに、その樹木にロックオンしたと判断することができる。上記所定時間は、注視対象の種類等に応じて設定され、より具体的には数秒（例えば、２〜５秒程度）に設定してもよい。

上記注視対象の関連情報の取得と並行して、眼鏡型表示装置１の注視対象距離検出部１０では、眼から注視対象までの注視対象距離の算出（検出）が行われ（ステップ１０）、その算出された注視対象距離のデータが焦点距離調整部１３０に送られる（ステップ１１）。注視対象距離のデータを受信した焦点距離調整部１３０は、その注視対象距離に応じて焦点距離の調整を行い（ステップ１２）、その調整が完了したら調整完了情報を画像生成部１１に送る（ステップ１３）。画像生成部１１は、焦点距離調整部１３０から受けた調整完了情報と、情報提供サーバ２２から受信した注視対象の関連情報とに基づいて、前方視界に重ね合わせて表示する関連情報の画像信号を生成する画像生成を行い（ステップ１４）、生成した表示画像の画像信号を画像表示部１２に出力する（ステップ１５）。画像表示部１２は、注視対象（樹木）に関する関連情報の画像（虚像）を、利用者の眼から前記注視対象距離だけ離れた位置に形成するように表示する（ステップ１６）。これにより、利用者は、図４（ｂ）に示すような前方視界の中に重ね合わせて表示された注視対象（樹木）に関する関連情報９０２を視認することができる（ステップ１７）。このように表示する画像（虚像）の形成位置を、注視対象である樹木の位置に一致させることにより、利用者は樹木を注視しつつ、焦点ぼけのない関連情報の画像を見ることができる。

なお、本実施形態に係る眼鏡型表示装置１において、注視対象の関連情報として、注視対象の機器（例えば、テレビ等の家電機器）の操作メニューを表示し、その操作メニューに基づいて、手操作を行うことなく機器の操作を行うようにしてもよい。

図１１は、眼鏡型表示装置１で注視対象の家電機器（テレビ）の操作メニューの画像を視界に表示している状態を示している説明図である。また、図１２は、眼鏡型表示装置１で注視対象の家電機器（テレビ）の操作メニューを表示する処理を説明するためのシーケンス図である。なお、図１２の例では、眼鏡型表示装置１で操作メニューの画像を表示するための操作フロー情報を、注視対象のテレビ９０３に備えられている記憶媒体としてのＲＦタグ９０３Ｔから、近距離無線通信により受信している。なお、注視対象のテレビ９０３に備えられている記憶媒体は、眼鏡型表示装置１と無線通信する機能と情報を記憶する機能とを有していればよく、ＲＦタグに限定されるものではない。また、注視対象のテレビ９０３がＲＦタグ以外の記憶媒体を備えている場合、眼鏡型表示装置１がテレビ９０３に備えられた記憶媒体から情報を受信するときの通信には、例えばBluetooth（登録商標）や赤外線等の近距離無線通信を用いることができる。

図１２において、眼鏡型表示装置１を装着した利用者が、視界の中で注視対象の機器として例えばテレビ９０３を注視すると（ステップ１）、眼鏡型表示装置１の注視対象距離検出部１０が、利用者の眼球の焦点がテレビ９０３にロックオンしたことを検出する（ステップ２）。すると、眼鏡型表示装置１では、利用者の眼から注視対象のテレビまでの注視対象距離の算出（検出）が行われ（ステップ３）、その算出した注視対象距離の情報が焦点距離調整部１３０に送られる（ステップ４）。注視対象距離の情報を受信した焦点距離調整部１３０は、焦点距離の調整を行い（ステップ５）、調整が完了したら調整完了情報を画像生成部１１に送る（ステップ６）。画像生成部１１は、焦点距離調整部１３０から受信した調整完了情報と、テレビ９０３のＲＦタグ９０３Ｔから受信した操作フロー情報とに基づいて、前方視界に重ね合わせて表示する操作メニュー情報を含む画像信号を生成する画像生成を行う（ステップ８）。画像表示部１２は、操作メニューの情報を含む画像を出力する（ステップ９）。これにより、画像表示部１２によって前方視界の中に操作メニューの情報を含む画像（虚像）９０４が、テレビ９０３と同じ焦点位置に表示され、利用者は、図１１に示すような焦点ぼけのない操作メニューの画像９０４を視認することができる（ステップ１０,１１）。
なお、上記利用者の視線がテレビ（注視対象）にロックオンしたか否かは、前述の樹木の場合と同様に、利用者の眼球の焦点がテレビに留まっている時間を基準にして判断することができる。

利用者は、眼鏡型表示装置１で表示された操作メニューの画像９０４のいずれかの操作を注視して選択し、所定の眼の動作（例えば、ウィンク、上下運動、又は、左右運動）を行う。眼鏡型表示装置１は、利用者の上記所定の眼の動作に基づいて、選択された操作のコマンド信号を近距離無線通信によりテレビ９０３に送信する。テレビ９０３は、眼鏡型表示装置１から受信したコマンド信号に基づいて、利用者が選択した操作に対応した動作（電源のオン／オフ、チャンネル切り替え、音量調整）を実行する。これにより、利用者は、テレビ９０３をハンズフリーで操作することができる。

また、図１１において、眼鏡型表示装置１を装着した利用者が、視界の中にある他の機器（例えば、テレビ録画装置９０５、オーディオ装置９０６、スピーカ装置９０７Ｒ，９０７Ｌ、照明装置９０８，９０９）を注視すると、図１２と同様な処理により、その注視対象の機器の操作メニューの画像が表示される。そして、上記テレビ９０３の場合と同様に、利用者は、操作メニューの画像のいずれかの操作を注視して選択し、所定の眼の動作で眼を動かすことにより、テレビ録画装置９０５、オーディオ装置９０６、スピーカ装置９０７Ｒ，９０７Ｌ及び照明装置９０８，９０９をハンズフリーで操作することもできる。

なお、本実施形態に係る眼鏡型表示装置１において、注視対象の関連情報とともに、又は注視対象の関連情報に代えて、時刻の情報、温度、湿度及び気圧等の環境情報、利用者の体温や脈拍等の健康情報を表示してもよい。

図１３は、時刻と温度を表示している状態を示している説明図である。また、図１４は、時刻と温度を表示する処理を説明するためのシーケンス図である。
図１４において、眼鏡型表示装置１を装着した利用者が、注視対象として例えば店舗を注視すると（ステップ１）、眼鏡型表示装置１の注視対象距離検出部１０が、利用者の眼球の焦点が店舗にロックオンしたことを注視対象距離検出部１０が検出する（ステップ２）。すると、眼鏡型表示装置１では、利用者の眼から注視対象の店舗までの注視対象距離の算出（検出）が行われ（ステップ３）、その算出した注視対象距離の情報が焦点距離調整部１３０に送られる（ステップ４）。注視対象距離の情報を受信した焦点距離調整部１３０は、焦点距離の調整を行い（ステップ５）、調整が完了したら調整完了情報を画像生成部１１に送る（ステップ６）。画像生成部１１は、焦点距離調整部１３０から受信した調整完了情報と、温度センサ２３から受信した温度情報とに基づいて、前方視界に重ね合わせて表示する温度及び時刻の情報の画像信号を生成する画像生成を行う（ステップ８）。画像表示部１２は、時刻の情報と温度の情報とを含む画像を出力する（ステップ９）。これにより、画像表示部１２によって前方視界の中に時刻の情報と温度の情報とを含む画像（虚像）が、店舗９１０と同じ位置に表示され、利用者は、図１３に示すような焦点ぼけのない時刻及び温度の画像９１１を視認することができる（ステップ１０,１１）。なお、時刻の情報は、例えば画像生成部１１内部のクロックから取得することができる。また、温度センサ２３は、眼鏡型表示装置１に組み込んでもよいし、眼鏡型表示装置１とは別体に設けてもよい。

また、本実施形態に係る眼鏡型表示装置１において、視線方向検出手段として視界同調カメラ９を兼用しているが、利用者が見ている前方視界の中で利用者が注視している視線方向をより正確に検出する視線方向検出手段を別途設けてもよい。

図１５は、視線方向検出手段としての視線検知部２４を別途設けた眼鏡型表示装置１の一構成例を示す斜視図である。また、図１６（ａ）は、視線検知部２４の一構成例を示す概略構成説明図であり、図１６（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図である。また、図１７は、利用者が右側のメガネレンズ５Ｒを通して見る前方視界面内を複数に分割した領域を示す図である。この視線検知部２４は、眼鏡型表示装置１を掛けた利用者が右側のメガネレンズ５Ｒを通して前方視界を見ている右眼眼球の視線の方向を検知するものである。

図１６（ａ）において、視線検知部２４は、赤外光を放射する発光ダイオード等の光源２４１と、投光レンズ２４２と、受光レンズ２４３と、ＣＣＤ又はＣＭＯＳ等の固体撮像素子等からなる撮像手段としてのイメージセンサ２４４と、視線演算手段２４５とを備えている。

視線検知部２４において、光源２４１より射出した赤外光は投光レンズ２４２を通過した後、略平行光となって右眼１００Ｒの角膜を照射する。そして、角膜を通過した赤外光は虹彩を照射する。角膜の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、角膜像を結像する。同様に、虹彩の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、虹彩像を結像する。イメージセンサ２４４からの出力は、図１６（ｂ）に示すように、角膜像が結像された角膜反射像スポット位置が他に比べて著しく電位が高くなる。視線演算手段２４５は、この角膜反射像スポット位置に基づいて、右眼１００Ｒが真っ直ぐ前を向いているときの眼球の中心線からの回転角を算出する。そして、算出した回転角に基づいて、右眼１００Ｒの視軸を求め、前方視界における利用者の相対的な視線方向を検出する。そして、このとき得られた前方視界における相対的な視線方向により、図１７に示すメガネレンズ５Ｒを通して見える前方視界面上における利用者が注視している注視点、すなわち前方視界面を構成する領域Ａ１〜Ａ１２のうち利用者が見ている注視対象が含まれる領域を特定することができる。

上記視線検知部２４を設けることにより、前方視界内の利用者の視線方向をより正確に検知でき、利用者が注視している注視対象をより正確に特定することができる。これにより、注視対象について利用者が注視している注視対象とは別の注視対象を特定してしまうという誤動作を防ぐことができる。

なお、図１５〜図１７に示したように利用者が見ている前方視界の中で利用者が注視している視線方向をより正確に検出する視線検知部２４を設けた場合、その視線検知部２４で検知された利用者の視線方向に視界同調カメラ９の撮像方向が向くように構成してもよい。より具体的には、視界同調カメラ９の撮像方向を変化させる撮像方向可変手段としてカメラ駆動機構と、視線検知部２４の検出結果に基づいて、利用者の視線方向に視界同調カメラ９の撮像方向が向くようにカメラ駆動機構を制御する撮像制御手段とを設ける。上記カメラ駆動機構は、例えば、撮像方向を変化できるように視界同調カメラ９を回転可能に保持するカメラ保持部と、オン／オフ制御及び正／逆回転制御が可能なマイクロモータと、マイクロモータの回転を視界同調カメラ９のカメラ保持部の回転に変換する駆動伝達部とを用いて構成することができる。このように視線検知部２４で検知された利用者の視線方向に視界同調カメラ９の撮像方向が向くように構成することにより、利用者が注視している視線方向を中心にして視界の画像を撮像することができ、その撮像した画像の中央に注視対象が位置することになる。また、注視対象を特定しやすくなるように撮像した画像を拡大する場合でも、その拡大した画像から注視対象がはみ出にくくなる。従って、注視対象をより精度よく特定することができる。

また、本実施形態の眼鏡型表示装置１において、上記視線検知部２４を設けることにより、利用者が見ている前方視界の中に重ね合わせて表示した入力や選択をするためのアイコン等の画像の選択等を行うことも可能になる。

図１８は、メガネレンズ５Ｒを通して見える店舗を含む前方視界の中に、視線方向を表示する視線カーソル９２０と、入力や選択を指示するための４つのアイコンとを表示した説明図である。視線カーソル９２０は、利用者の視線の動きに伴って移動し、利用者の注視点の位置に表示される。図示の例では、上記アイコンとして、利用者宛のメール情報を確認するためのメールアイコン９２１と、利用者のスケジュール情報を確認するためのスケジュールアイコン９２２、サーバから配信された配信情報としての最新のニュースを確認するためのニュースアイコン９２３、及び、表示モードを選択するためのモード選択アイコン９２４が表示されている。ここで、例えば、利用者が右眼の視線を動かして視線カーソル９２０をメールアイコン９２１に合わせ、選択動作としてのまばたき（ウィンク）をするとメールアイコン９２１が選択され、通信ネットーワーク上のメールサーバから受信された利用者宛の新着メールが、図示のように前方視界の右上部側に表示される。同様に、スケジュールアイコン９２２、ニュースアイコン９２３、モード選択アイコン９２４のいずれかに視線カーソル９２０を合わせ、まばたき（ウィンク）をすると、その視線カーソル９２０を合わせたアイコンが選択され、前方視界の右上部側に、選択したアイコンに対応した利用者のスケジュール又は最新ニュースの画像が表示されたり、表示モードを選択するためのサブメニュー画面が表示されたりする。

なお、上記アイコンの選択等を行うときの利用者の眼の動きは、まばたき（ウィンク）でもいいし、複数回（例えば２回）のまばたき（ウィンク）でもいい。また、前方視界の所定の方向に動かす眼の動きであってもよい。

また、上記モード選択アイコン９２４で選択可能な表示モードは、例えば、前述の注視対象距離に応じて前方視界中の情報の像形成位置を調整して表示する第１の表示モードや、前述の注視対象距離にかかわらず前方視界中の情報の像形成位置を固定して表示する第２の表示モードである。

また、上記モード選択アイコン９２４で選択可能な表示モードは、前方視界中に重ね合わせて表示する関連情報の種類や注視対象の種類に応じて設定された複数の表示モードであってもよい。例えば、眼鏡型表示装置１を動物園や遊園地で使用する場合に注視対象の動物や施設に関連した関連情報の取得及び表示に特化されたアミューズメントナビモードや、眼鏡型表示装置１を観光地で使用する場合に注視対象の観光施設に関連した関連情報の取得及び表示に特化されたツアーガイドモードであってもよい。また、眼鏡型表示装置１を店舗やショーウィンドウ前で使用する場合に注視対象の商品に関連した関連情報の取得及び表示に特化されたショッピングナビモードや、眼鏡型表示装置１を装着して市街地を歩いたり道路を走行している場合に目的地までのルート案内や地図等の情報の取得及び表示に特化されたルートナビモードであってもよい。

また、本実施形態に係る眼鏡型表示装置１において、その眼鏡型表示装置１の現在位置の情報を取得するためのＧＰＳ機能や、利用者が見ている視界の方位を検出する方位検出機能を設けてもよい。このＧＰＳ機能で取得された現在位置の情報や方位検出機能で検出された視界の方位の情報は、例えばサーバ内に設けられた地図情報や施設情報等からなる空間データベース内の情報と照合されることにより、注視対象の推測が可能となり、より注視対象を正確に特定することができるため、眼鏡型表示装置に送信される関連情報の内容の精度が高まる。また、現在位置の情報や方位検出機能で検出された視界の方位の情報は、前述の視界の画像情報、視線方向の検出結果及び眼鏡型表示装置１の姿勢変化の検出結果とともに、注視対象の特定に用いることにより、注視対象をより一層正確に特定することができるようになる。

図１９は、前述の視線検知部２４とともに、ＧＰＳ受信部２６と方位検出部２７とを更に備えた眼鏡型表示装置１の機能ブロック図である。ＧＰＳ受信部２６は、ＧＰＳ衛星からのＧＰＳ信号を受信して眼鏡型表示装置１が位置する現在位置の情報（緯度、経度、高度）を取得する現在位置取得手段として機能する。また、方位検出部２７は、例えば１軸、２軸又は３軸の地磁気センサで構成され、眼鏡型表示装置１を装着した利用者が見ている前方視界がどの方位（北、北東、・・・）であるかを検出する方位検出手段として機能する。

図１９の構成の眼鏡型表示装置１において、ＧＰＳ受信部２６で取得された現在位置情報、方位検出部２７で取得された方位情報、及び姿勢変化検出部２８で取得された姿勢変化や重力方向の情報は、注視対象の画像の画像データとともに、前述の情報提供サーバに送信してもよい。この場合は、画像だけでは特定することが難しい店舗や観光施設についても、注視対象をより正確に特定することができる。また、上記現在位置情報、方位情報、及び、動きや重力方向の情報は、前述のルートナビモードの眼鏡型表示装置１を装着して市街地を歩いたり道路を走行している場合に、ナビゲーション支援サーバに送信してもよい。この場合は、目的地までのルート案内や地図等についてより正確な情報を取得することができる。そして、ナビゲーション支援サーバから受信したルート案内や地図等の情報に基づいて、メガネレンズ５Ｒを通して見える前方視界にルート案内のナビゲーション用の矢印を重ねて表示して、目的地までの道案内をすることが可能になる。

また、上記実施形態において、注視対象距離検出手段としての注視対象距離検出部１０は、水晶体の厚みを検出する方式を用いて注視対象距離を検出したが、両眼の輻輳の度合いから注視対象距離を検出することもできる。

図２０は、両眼の輻輳で注視対象までの距離を検出する方式の説明図である。この方式は、遠くを見るときは両眼の視軸が平行であるが、近くを見るときは両眼が互いに内側に寄り（輻輳）、瞳の中心間距離が狭くなることを利用したものである。図２０において、あらかじめ、無限遠を見ているときの両眼１００Ｒ，Ｌの瞳中心間距離Ｗ１と、例えば５０センチメートル前方の近くを見ているときの瞳中心間距離Ｗ２とを測定してメモリ１５に記憶しておく。注視対象までの距離と瞳中心間距離とは略比例関係にあるので、比例定数を算出しておくことにより、瞳中心間距離の変位に基づいて注視対象までの距離を算出することができる。

また、上記実施形態において、上記注視対象距離を検出する注視対象距離検出手段としては、注視対象に赤外線、超音波又はレーザ光などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式の測距法を用いてもよいし、レンズで捉えた画像を利用して測距を行うパッシブ方式の測距法を用いてもよい。

以上、本実施形態によれば、視界同調カメラ９で撮像された視界における利用者の視線方向を検出するとともに、姿勢変化検出部２８で検出された眼鏡型表示装置１の姿勢変化の検出結果に基づいて、利用者の視線方向を速やかに補正することができる。これにより、視界撮像手段で撮像された視界画像内で利用者が注視している注視対象を特定するときの精度を高めることができるとともに、その注視対象に関連した関連情報をより確実に且つリアルタイムに表示することができる。
また、本実施形態によれば、特許文献１に記載されている眼鏡装置とは異なり、人物の顔に限定されることなく、利用者の視界内にある任意の対象について、その対象を注視するという簡単な動作により、注意対象を特定して関連情報を周囲に気付かれることなく確認することができる。また、本実施形態によれば、特許文献１の眼鏡装置では必須になっている視線検出前の前処理（撮像手段で撮影した画像から人物の顔を検出する処理）を行う必要もない。
また、本実施形態によれば、前方視界の中の注視対象とその前方視界に重ねて表示する情報とを一緒に見る場合に違和感が生じることなく眼の疲労の増加も抑えることができる。

なお、上記実施形態では、網膜走査型の画像表示方式やコンバイナ光学系を用いた画像表示方式の構成について説明したが、この方式に限られるものではなく、他の画像表示方式を採用してもよい。

１ 眼鏡型表示装置
２ リム
８ 電源スイッチ
９ 視界同調カメラ
１０ 注視対象距離検出部
１１ 画像生成部
１２ 画像表示部
１３ 表示制御部
１４ 制御部
１５ メモリ
１６ バッテリ
１８ 携帯通信端末
１９ 移動体通信網
２０ インターネット通信網
２１ 画像分析サーバ
２２ 情報提供サーバ
２４ 視線検知部
２５ 通信部
２８ 姿勢変化検出部
１３０ 焦点距離調整部

特開２０１０−０６１２６５号公報

Claims (9)

1. 視界内に情報を重ねて表示可能な眼鏡型表示装置であって、
   視界を撮像する視界撮像手段と、
   前記視界における利用者の視線方向を検出する視線方向検出手段と、
   前記眼鏡型表示装置の姿勢変化を検出する姿勢変化検出手段と、
   前記視界撮像手段で撮像された視界の画像情報と、前記視線方向検出手段で検出された視線方向の検出結果と、前記姿勢変化検出手段で検出された姿勢変化の検出結果とに基づいて、前記視界内において前記利用者が注視している注視対象を特定する注視対象特定手段と、
   前記注視対象特定手段で特定された注視対象に関連した関連情報を取得する関連情報取得手段と、
   前記関連情報取得手段で取得された前記関連情報を前記視界内に表示する表示手段と、
   を備え、
   前記注視対象特定手段は、前記視界撮像手段による視界の画像の撮像処理及び前記視線方向検出手段による視線方向の検出処理に必要な処理時間に基づいて、その撮像処理及び視線方向の検出処理を行うタイミングのインターバルが予め設定され、前記視界の撮像画像及び前記視線方向の検出結果に基づいて利用者の注視対象を特定した後、その後に到来する次の視界の撮像処理及び視線方向の検出処理を行うタイミングまでは、前記視線方向検出手段による姿勢変化の検出結果に基づいて、直近の撮像済みの視界の画像及び検出済みの視線方向を補完することにより、前記注視対象を特定することを特徴とする眼鏡型表示装置。
2. 請求項１の眼鏡型表示装置において、
   前記視線方向検出手段は、前記利用者の眼を撮像する利用者撮像手段を有し、前記利用者撮像手段で撮像された前記利用者の眼の画像に基づいて前記利用者の視線方向を検出することを特徴とする眼鏡型表示装置。
3. 請求項１又は２の眼鏡型表示装置において、
   前記視界撮像手段の撮像方向を変化させる撮像方向可変手段と、
   前記視線方向検出手段の検出結果及び前記姿勢変化検出手段の検出結果の少なくとも一方に基づいて、前記利用者の視線方向に前記視界撮像手段の撮像方向が向くように前記撮像方向可変手段を制御する撮像制御手段と、
   を更に備えたことを特徴とする眼鏡型表示装置。
4. 請求項１乃至３のいずれかの眼鏡型表示装置において、
   前記視界の方位を検出する方位検出手段と、当該眼鏡型表示装置の現在位置情報を取得する現在位置情報取得手段とを、更に備え、
   前記注視対象特定手段は、前記注視対象の特定に、前記方位の検出結果及び前記現在位置情報の少なくとも一方を更に用いることを特徴とする眼鏡型表示装置。
5. 請求項１乃至４のいずれかの眼鏡型表示装置において、
   前記視界撮像手段で撮像された前記視界の画像情報、前記視線方向検出手段の検出結果、及び前記姿勢変化検出手段の検出結果の少なくとも一つに基づいて、前記視界における前記注視対象の位置と前記関連情報の表示位置とが所定の位置関係になるように前記関連情報の表示位置を制御する表示制御手段を、更に備えたことを特徴とする眼鏡型表示装置。
6. 請求項１乃至４のいずれかの眼鏡型表示装置において、
   前記視界における前記注視対象の位置と前記関連情報の表示位置とのずれが所定範囲よりも大きくなった場合は、前記関連情報の表示を停止するように制御する表示制御手段を、更に備えたことを特徴とする眼鏡型表示装置。
7. 請求項１乃至４のいずれかの眼鏡型表示装置において、
   前記視界における前記注視対象と前記利用者の眼との間の注視対象距離を検出する注視対象距離検出手段を、更に備え、
   前記注視対象距離検出手段の検出結果に基づいて前記関連情報の表示位置を制御する表示制御手段を、更に備えたことを特徴とする眼鏡型表示装置。
8. 請求項１乃至７のいずれかの眼鏡型表示装置において、
   近距離無線通信により、前記注視対象に備えられた記憶媒体に保存されている情報を受信して取得する手段を更に備えたことを特徴とする眼鏡型表示装置。
9. 請求項１乃至８のいずれかの眼鏡型表示装置において、
   通信ネットワークを介してサーバと通信するための通信手段を、更に備え、
   前記関連情報取得手段は、前記注視対象の画像情報、前記注視対象の特徴抽出情報、及び前記注視対象に備えられた記憶媒体から取得された情報の少なくとも一つの情報を前記サーバに送信し、前記サーバで検索された前記注視対象に関連した関連情報を前記サーバから受信して取得することを特徴とする眼鏡型表示装置。

Images