JP2018112753A - 情報表示端末及び情報表示方法 - Google Patents

Abstract

【課題】ウェアラブルな情報表示端末において、オブジェクトに関する情報をユーザが必要なタイミングで認識し易い形式で表示する。【解決手段】視野方向を撮像し、撮像して得た第１の画像から第１のオブジェクトを検出し、第１のオブジェクトに係る関連情報をネットワークから取得して、関連情報に係る第２の画像を生成する。第１の画像から第１のオブジェクトとは異なる第２のオブジェクトを検出し、前記第２のオブジェクトを表示トリガーとし、第１のオブジェクトと第２のオブジェクトが近接している場合に、第２の画像を表示する。【選択図】図４Ｂ

Description

本発明は、情報表示端末及び情報表示方法に関する。

ゴーグル型や眼鏡型のヘッドマウントディスプレイを用いて所定の情報を表示する、いわゆるウェアラブルな情報表示端末に関する情報表示方法について、各種方法が提案されている。

例えば特許文献１では、ユーザの状況に応じて、情報の表示モードを要約モードと詳細モードで切り替える方法が記載されている。また例えば特許文献２では、現在位置または対象物（オブジェクト）情報により特定された実世界の状況に対して、入力手段を介してユーザにより付与される情報を、撮像手段により撮像された情報と合成して表示する方法が記載されている。

特開２００７−１６３６３４号公報 特開２０１１−２８７６３号公報

眼鏡型等のウェアラブルな情報表示端末がスマートフォン等の携帯端末に対して異なるのは、所定の情報を取得する際に、携帯端末ではユーザが能動的に携帯端末による表示内容を見に行かなければならないのに対し、ウェアラブルな情報表示端末では、動作状態であればユーザは視野内で受動的に情報表示を確認できる点である。しかしながら前記ウェアラブルな情報表示端末では、情報の表示はユーザの意思とは無関係に開始と終了がなされるため、特に必要としていない場合でも情報の表示が行われるなど、状況によってはユーザが煩わしく感じる場合がある。

上記特許文献１に記載の従来技術は、ユーザが歩行中か否か、表示映像を注視中か否か、あるいは発話中か否か等の状況に応じて情報の表示モードを切り替えるものであるが、ユーザが任意のオブジェクトに関する情報を表示して欲しいタイミングかどうかをどのように判断して、当該オブジェクトに関する情報の表示をどのように開始あるいは終了するかということについては、特に考慮されていなかった。

また上記特許文献２に記載の従来技術は、ユーザにより付与されるオブジェクトに関する情報を、撮像手段により撮像された情報と合成して表示するものであるが、同様に当該オブジェクトに関する情報の表示をどのように有効なタイミングで開始あるいは終了するかということについては、特に考慮されていなかった。

本発明はこれらの課題に鑑みてなされたものであって、ウェアラブルな情報表示端末等において、オブジェクトに関する情報の表示を適時に開始あるいは終了するとともに、ユーザが認識しやすい形式で前記情報を表示する情報表示端末及び情報表示方法を提供することを目的とする。

上記課題は、例えば特許請求の範囲に記載の発明により達成される。

本発明によれば、オブジェクトに関する情報の表示を適時に開始あるいは終了することができ、またユーザが認識しやすい形式で情報を表示でき、例えばウェアラブルな情報表示端末におけるユーザの利便性を向上させることができるという効果がある。

情報表示端末の構成の一例を示すブロック図。 情報表示端末をユーザが装着した場合の一例を示す見取図。 第１の実施形態における動作フロー図。 第１の実施形態における関連情報表示の一例を示す第１の図。 第１の実施形態における関連情報表示の一例を示す第２の図。 ネットワーク上のシステム構成を示すブロック図。 第２の実施形態における動作フロー図。 表示トリガー登録時の表示例を示す図。 第２の実施形態における関連情報表示の一例を示す第１の図。 第２の実施形態における関連情報表示の一例を示す第２の図。 第３の実施形態における動作フロー図。 第３の実施形態における関連情報表示の一例を示す第１の図。 第３の実施形態における関連情報表示の一例を示す第２の図。 第４の実施形態における動作フロー図。 第４の実施形態における関連情報表示の一例を示す第１の図。 第４の実施形態における関連情報表示の一例を示す第２の図。

以下、図面を用いて本発明の実施形態について説明する。

図１は、情報表示端末１０１の構成の一例を示すブロック図である。これを用いて第１の実施形態を説明する。

１０１は情報表示端末、１０２は情報表示端末１０１全体を制御する制御部、１０３は撮像部、１０４は画像処理部、１０５は表示制御部、１０６はマイクやイヤホンに相当する音声入出力部、１０７は音声処理部、１０８は通信処理部、１０９は通信入出力部、１１０はＧＰＳ（Ｇｌｏｖａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）をはじめとする位置検出部、１１１はセンサ入出力部、１１２は各種のセンサである。

通信入出力部１０９はネットワークと無線通信により接続される。本実施形態では情報表示端末１０１が直接インターネット等に接続されて情報を取得する場合について説明する。但し、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、別な装置である情報端末（スマートフォン等）と通信を行い、インターネット等との接続と主な処理を前記情報端末が行うような構成としてもよい。

情報表示端末１０１は少なくとも撮像部１０３及び表示制御部１０５を備えたヘッドマウントディスプレイである。各種センサ１１２としては、傾斜センサや加速度センサなどユーザの体勢や動きを検出するもの、視線センサや温度センサなどユーザの身体状態を検出するもの、感圧センサや静電容量センサなどユーザの指示入力を検知する入出力Ｉ／Ｆとして用いられるものをはじめとする、複数のセンサを搭載可能である。

図２は、情報表示端末１０１をユーザが装着した場合の一例を示す見取図である。図１と共通する構成要素には同一の符号を付してある。

２０１はユーザ、２０２は撮像部１０３で撮影される第１の画像の領域を模式的に示し、２０３は表示制御部１０５により表示される第２の画像の領域を模式的に示したものである。なお前記第２の画像の領域は２０３で示したサイズあるいは範囲に限定されるものではなく、視野を広くカバーするものであってもよい。また情報表示端末１０１の形態は、頭部に装着され、ユーザ２０１の視野内に例えば情報に応じた光を投射して情報を表示する表示制御部１０５と、ユーザ２０１の視野方向を撮像可能な撮像部１０３が配置されるものであれば良い。例えば眼鏡型、ゴーグル型、片目にかかるもの、両目にかかるもの等であって良く、図２に一例として示すような形に限定されるものではない。

撮像部１０３で撮像された領域２０２の第１の画像は、画像処理部１０４で解析され、そこに含まれる所定のオブジェクトが検出される。検出された該オブジェクトの特徴を表す情報、例えば後記するパターンに係る特徴を表す情報を、通信処理部１０８を介してネットワークに送信し、これに応じてネットワークより取得された前記オブジェクトに関する情報は、画像処理部１０４に供給される。画像処理部１０４は該情報に基づいて前記第２の画像を生成し、表示制御部１０５に供給する。表示制御部１０５は前記第２の画像を領域２０３に表示する。

表示制御部１０５は、例えば領域２０３に相当する位置に設けたハーフミラーに画像を表示し、或いはユーザ２０１の網膜上に直接第２の画像を投影して表示するが、少なくともヘッドマウントディスプレイとして透過型であり、第２の画像を表示しない場合には、領域２０３がユーザ２０１の視野を隠蔽しないものとする。

図３は、第１の実施形態における動作フロー図である図４Ａと図４Ｂは、第１の実施形態における関連情報表示の一例を示す図であり、ユーザの視野を示している。

図３、図４Ａ、図４Ｂを用いて、本実施形態における情報表示端末１０１の動作について詳細に説明する。本実施形態では、特にユーザが店舗内等で商品を物色している場合に、情報表示端末１０１が所定のオブジェクトに関する関連情報を第２の画像として表示する場合について説明する。

まずステップ３０１で処理を開始する。全体の処理開始は、センサ１１２における感圧センサ等のタッチ入力や、音声入出力部１０６からのユーザの音声入力によってもよい。また、位置検出部１１０で検出された位置情報、あるいは撮像部１０３により撮像された画像を基にユーザが特定の店舗内に居ることを認識して、自動的に行うようにしてもよい。

次にステップ３０２で所定オブジェクトの検出を行う。具体的には撮像部１０３で継続的に撮像された画像に対して、画像処理部１０４が画像認識を行い、切り出された複数のオブジェクトが所定パターンの形状、色、あるいはその変形予測値とのマッチングを取られる等して、所定オブジェクトが検出される。前記所定パターンは、店舗情報に応じたデフォルトのパターン（例えば「洋服」等のジャンル）であってもよいし、当該パターンを店舗情報に関連付けてインターネット等から取得するようにしてもよい。

またユーザが所望の商品が決まっている場合は、予め商品名、型番、ジャンル等を指定して、インターネット上のサーバやその他の公開情報から所定パターンを取得し、より具体的な所定オブジェクト検出を行うことも可能である。なおステップ３０２において検出される所定オブジェクトは単一とは限らず、撮像領域内で同時に複数検出される場合もある。

所定オブジェクトが検出されると、ステップ３０３において当該所定オブジェクトについての関連情報が取得される。具体的には通信処理部１０８により、前記所定オブジェクトに関する情報がインターネット等から通信入出力部１０９を介して取得される。撮像部１０３により撮像された所定オブジェクトの画像から、商品タグ等により商品名、型番等が確定できる場合には、それらに基づき関連情報を取得することも可能である。

続いてステップ３０４で表示トリガーの判定が行われる。表示トリガーとは、関連情報に基づく前記第２の画像の表示を開始するための特定のオブジェクトであり、この場合は「手」を表示トリガーとしている。ステップ３０２で所定オブジェクトが検出され、ステップ３０３で当該所定オブジェクトの関連情報が取得されていても、前記表示トリガーが撮像部１０３で撮像され画像処理部１０４で認識されない限り、前記第２の画像の表示は行わない。なお、画像表示部１０４が「手」を認識する方法は、ステップ３０２におけるオブジェクトの認識と同様な方法である。

例えば図４Ａで示すように、撮像領域４０１の中で４０２から４０５がそれぞれ所定オブジェクトとして検出されていても、表示トリガーが撮像領域４０１内に存在しないため、前記第２の画像の表示は行わない（ステップ３０４のＮｏ）。

一方図４Ｂで示すように、表示トリガーである特定オブジェクト４０７が撮像領域４０１内に認識され、所定オブジェクトに近接していると判断されると（ステップ３０４のＹｅｓ）、ステップ３０５において、特定された所定オブジェクト４０２の関連情報に基づいた前記第２の画像が、画像処理部１０４にて生成される。さらに前記第２の画像は、所定オブジェクト４０２に関連する情報として認識できる形で、表示制御部１０５により表示される。

第２の画像４０６として表示される内容は、この場合所定オブジェクト４０２に関する商品情報である。ここでは当該商品に関する口コミ情報や価格相場情報などが、ユーザに認識されやすい形式で表示されている。なお表示される内容は、ユーザにとって有用な情報であればよく、特に限定されるものではない。また撮像領域４０１の破線は便宜上示しているのみであり、ユーザの視野内に表示されるものではない。

ステップ３０６において、前記表示トリガーの判定が継続的に行われ、表示トリガーが認識されている間は前記関連情報の表示を行う。なお表示トリガーの位置が変更され、所定オブジェクトが変更になった場合は、変更後の所定オブジェクトに関する第２の画像に切り替えるようにする（ステップ３０６のＹｅｓ）。また表示トリガーである特定オブジェクト４０７が撮像領域４０１の中で認識できなくなった場合は、ステップ３０７において前記第２の画像の表示を終了し、再びステップ３０２の所定オブジェクトの検出に戻る（ステップ３０６のＮｏ）。

図５は、ネットワーク上のシステム構成を示すブロック図である。通信処理部１０８を介した前記関連情報の取得について、図５を用いて簡単に説明する。

情報表示端末１０１は、前述の構成によりインターネット５０１から所定オブジェクト４０２の関連情報を取得する。当該情報は不特定な第三者により、例えばパーソナルコンピュータ５０２、携帯端末５０３、情報表示端末５０４などを用いてインターネット５０１を介して送信され、例えばサーバ５０５によりストレージ５０６に蓄積される。情報表示端末１０１は、撮像部１０３が撮像した画像から検出した所定オブジェクト４０２を識別する情報を送信し、サーバ５０５はストレージ５０６に蓄積された情報の中から、所定オブジェクト４０２に関連する情報を情報表示端末１０１に対して提供する。

なおサーバ５０５は予め所定の店舗、所定の地域等について情報を集約し、情報表示端末向けに情報提供を行う。逆に特定のサーバ５０５が関連情報を集約していない場合は、インターネットに接続された複数のサーバが公開している情報から、情報表示端末１０１が所定オブジェクト４０２に関連する情報を検索して取得することもできる。

以上のように本発明の第１の実施形態によれば、ウェアラブルな情報表示端末において、所定オブジェクトの関連情報について、例えば手をオブジェクトに近づけるという表示トリガーを用いて前記第２の画像の表示開始あるいは終了を行う。これにより、ユーザの意思あるいは行動（例えば商品を手に取る＝商品に関連する情報を見たい）を反映したタイミング及び期間に前記第２の画像の表示を行うことが可能となる。ユーザは情報表示端末を装着した状態で両手を自由に使うことが可能であり、オブジェクトを選ぶ際に情報表示端末１０１自体を操作する必要がなくなり、利便性が向上する。また不要なタイミングで前記第２の画像が表示され、あるいは複数のオブジェクトに対する情報が同時に表示されるようなことがなくなるため、ユーザにとって煩わしい表示となることを回避できるという効果がある。

次に、情報表示端末１０１の第２の実施形態を、図６から図８Ｂを用いて説明する。情報表示端末１０１の構成については、基本的に前述の図１の場合と同様なので、図１の各構成要素に付した番号を用いて説明する。また第１の実施形態と同様に、特にユーザが店舗内等で商品を物色している場合に、情報表示端末１０１が所定のオブジェクトについて関連情報を第２の画像として表示する場合について説明する。

図６は、第２の実施形態における動作フロー図である。

図７は、表示トリガー登録時の表示例を示す図である。

本実施形態において特徴的となるのは、ユーザが前述の表示トリガーを登録できるようにしている点である。図６は表示トリガー登録時の動作フローを示しており、図７は表示トリガー登録時のユーザの視野を示している。

まずステップ６０１で処理を開始する。処理開始としては、感圧センサ等のタッチ入力や音声入力によるユーザ指示により行うことができる。次にステップ６０２において、表示トリガーを登録するための枠を表示する。具体的には画像処理部１０４が登録枠を表す画像を生成し、表示制御部１０５が図７のように撮像部１０３の撮像領域７０１の範囲内、即ちユーザの視野方向に登録枠７０２を表示する。

ステップ６０３において、ユーザは表示トリガーとして登録したい特定オブジェクトを、登録枠７０２に収まるように位置させる。この場合は「手のひら」を特定オブジェクト７０３としている。続いてステップ６０４において、撮像部１０３で撮像された画像から、画像処理部１０４が登録枠７０２の範囲内に特定オブジェクト７０３が存在すると認識すると、当該オブジェクトを表示トリガーとして登録するか否かをユーザに問合せる。ユーザへの問合せは、図７に示すように文字の表示で行ってもよいし、音声入出力部１０６からの音声出力により行ってもよい。

ユーザの指示入力により登録指示がなされると（ステップ６０４のＹｅｓ）、特定オブジェクト７０３が表示トリガーとして情報表示端末１０１内のメモリ（図示せず）に記憶される。なお、該メモリは制御部１０２又は画像処理部１０４からアクセスできるように設けられるか、これらが内蔵しても良い。その後ステップ６０６において処理を終了する。なおステップ６０４で画像処理部１０４が特定オブジェクト７０３の存在を認識した段階で、特定オブジェクト７０３の輪郭を表す画像を生成し表示制御部１０５が表示するとともに、音声入出力部１０６から音声を出力し、ユーザに特定オブジェクト７０３が認識されたことを通知することも可能である。

図８Ａと図８Ｂは、第２の実施形態における関連情報表示の一例を示す図である。ここで第１の実施形態の場合と同様に、ユーザが店舗内等で商品を物色している場合に、情報表示端末１０１が所定のオブジェクトについて関連情報を第２の画像として表示するような場合について、図８Ａと図８Ｂを用いて説明する。ここでは、ステップ６０５で特定オブジェクト７０３として、「手のひら」が登録されたものとする。

動作フローは基本的に図３の場合と同様であるので、詳細な説明は省略する。前述のステップ３０４の表示トリガーの判定において、図８Ａに示すように撮像領域８０１内に所定オブジェクト８０２が存在し、関連情報がインターネット等から取得されているが、特定オブジェクト８０３は「手の甲」であり、登録された表示トリガーとして認識されないため、関連情報の表示は行われない。登録された表示トリガーとの一致判定は、画像処理部１０４においてオブジェクトの形状、色、あるいはそれらの変形予測値等とのマッチングが取られる等して判断される。図８Ｂでは特定オブジェクト８０４は「手のひら」であり、図６のステップ６０５で登録済の表示トリガーとして判断される。

さらに、ステップ３０５において、表示トリガーにより特定された所定オブジェクト８０２の関連情報が、画像処理部１０４にて第２の画像８０５として生成される。さらに前記第２の画像８０５は、所定オブジェクト８０２に関連する情報として認識できる形で、表示制御部１０５により表示される。

前述と同様に、第２の画像８０５として表示される内容は、所定オブジェクト８０２に関する商品情報としてユーザにとって有用な情報であればよく、特に限定されるものではない。また撮像領域７０１及び８０１の破線は便宜上示しているのみであり、ユーザの視野内に表示されるものではない。

以上のように本発明の第２の実施形態によれば、ウェアラブルな情報表示端末において、特定のオブジェクトを表示トリガーとして登録することにより、ユーザの意図に応じた前記第２の画像の表示開始あるいは終了を行うことができる。実施形態１の場合と同様に、ユーザは情報表示端末を装着した状態で両手を自由に使うことが可能であり、オブジェクトを選ぶ際に情報表示端末１０１自体を操作する必要がなく、またユーザの要望に応じて適宜表示トリガーを変えることが可能となるため、利便性が向上する。

本実施形態の変形例として、図３のステップ３０１における処理開始を、登録された表示トリガーにより行う実施形態が考えられる。つまり情報表示端末１０１の動作として、まずステップ３０１で継続して表示トリガーの判定のみを行う。そして、撮像部１０３で撮像された画像から、画像認識部１０４において認識されたオブジェクトが、登録された表示トリガーと一致すると判定された場合に、ステップ３０２以降の動作を行う実施形態である。本実施形態の例では、撮像領域４０１に「手のひら」を示すことで一連の動作を行わせることができる。動作の開始が簡単になるため、更にユーザの利便性を向上することができるという効果がある。

次に情報表示端末１０１の第３の実施形態を、図９、図１０Ａと図１０Ｂを用いて説明する。情報表示端末１０１の構成については、基本的に前述の図１の場合と同様なので、図１の各構成要素に付した番号を用いて説明する。また本実施形態でも前述の実施形態と同様に、特にユーザが店舗内等で商品を物色している場合に、情報表示端末１０１が所定のオブジェクトについて関連情報を第２の画像として表示するような場合について説明する。

図９は、第３の実施形態における動作フロー図である。

図１０Ａと図１０Ｂは、第３の実施形態における関連情報表示の一例を示す図であり、ユーザの視野を示している。

ステップ９０１からステップ９０３の動作については、前述の図３におけるステップ３０１からステップ３０３の動作と同様であり、詳細な説明は省略する。ステップ９０１で処理を開始すると、ステップ９０２で所定オブジェクトを検出し、ステップ９０３で前記所定オブジェクトに関する関連情報がインターネット等から取得される。なおステップ９０２において検出される所定オブジェクトは単一とは限らず、撮像領域内で同時に複数検出される場合もある。

続いてステップ９０４でユーザの視線判定が行われる。情報表示端末１０１を装着したユーザの視線は、センサ１１２に含まれる視線センサにより、その注視点が検出される。視線センサについては、例えば前述の特許文献１に記載の赤外線を利用した方法、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを利用した方法等が知られている。注視点が前記検出した所定オブジェクトにかかる範囲にない場合（ステップ９０４のＮｏ）、前記関連情報に係る第２の画像の表示は行わない。例えば図１０Ａで示すように、撮像領域１００１の中で１００２から１００５がそれぞれ所定オブジェクトとして検出されていても、注視点１００６がいずれかの所定オブジェクトにもかからない場合は、関連情報に係る第２の画像の表示は行わない。

一方、図１０Ｂのように、注視点１００６が所定オブジェクト１００２にかかった場合、その状態が所定時間（例えば３秒）以上継続した場合は（ステップ９０４のＹｅｓ）、ステップ９０５において、当該所定オブジェクト１００２の関連情報が、画像処理部１０４にて第２の画像１００７として生成され、所定オブジェクト１００２に関連する情報として認識できる形で、表示制御部１０５により表示される。第２の画像１００７として表示される内容は、前述の実施例と同様に、所定オブジェクト１００２に関する商品情報であり、当該商品に関する口コミ情報や価格相場情報などを、ユーザが認識しやすい形式で表示している。

なお表示される内容は、ユーザにとって有用な情報であればよく、特に限定されるものではない。また撮像領域１００１の破線及び注視点１００６のマークは、便宜上示しているのみであり、ユーザの視野内に表示されるものではない。ただし注視点１００６のマークについては、画像として表示するモードを設けてユーザが認識できるようにすることも可能であり、その場合マークの形状は注視点１００６の形状に限定されない。

ステップ９０６において、視線判定を継続的に行い、注視点１００６が所定オブジェクト１００２あるいは第２の画像１００７にかかる範囲にある間は、第２の画像１００７を表示する（ステップ９０６のＹｅｓ）。これは第２の画像１００７が表示された時点で、注視点１００６は第２の画像１００７側に移動するためである。また注視点１００６が所定オブジェクト１００２あるいは第２の画像１００７にかかる範囲から外れた場合、または外れて所定時間（例えば３秒）以上継続した場合は、第２の画像１００７の表示を終了し（ステップ９０６のＮｏ）、再びステップ９０２の所定オブジェクトの検出に戻る。

以上のように第３の実施形態によれば、ウェアラブルな情報表示端末１０１において、所定オブジェクトの関連情報について、ユーザの注視点に応じて第２の画像の表示開始あるいは終了を行うことにより、ユーザの意思あるいは行動（例えば商品に注目している＝商品に関連する情報を見たい）を反映したタイミング及び期間に画像の表示を行うことが可能となる。前述の実施形態の場合と同様に、ユーザは情報表示端末１０１を装着した状態で両手を自由に使うことが可能であり、オブジェクトを選ぶ際に情報表示端末１０１自体を操作する必要がなくなり、利便性が向上する。また不要なタイミングで第２の画像が表示される、あるいは複数のオブジェクトに対する情報が同時に表示されるようなことがなくなるため、ユーザにとって煩わしい表示となることを回避できるという効果がある。

次に情報表示端末１０１の第４の実施形態を、図１１、図１２Ａと図１２Ｂを用いて説明する。情報表示端末１０１の構成については、基本的に前述の図１の場合と同様なので、図１の各構成要素に付した番号を用いて説明する。また本実施形態でも前述の実施形態と同様に、特にユーザが店舗内等で商品を物色している場合に、情報表示端末１０１が所定のオブジェクトについて関連情報を第２の画像として表示するような場合について説明する。

図１１は、第４の実施形態における動作フロー図である。

図１２Ａと図１２Ｂは、第４の実施形態における関連情報表示の一例を示す図であり、ユーザの視野を示している。

ステップ１１０１からステップ１１０３の動作については、前述の図３におけるステップ３０１からステップ３０３の動作と同様であり、詳細な説明は省略する。ステップ１１０１で処理を開始すると、ステップ１１０２で所定オブジェクトを検出し、ステップ１１０３で前記所定オブジェクトに関する関連情報がインターネット等から取得される。なお本実施形態では、ステップ１１０２において撮像領域内で同時に複数の所定オブジェクトが検出される場合について説明する。

複数の所定オブジェクトが検出され関連情報が取得されると、ステップ１１０４において候補マークの表示が行われる。候補マークとは、検出された所定オブジェクトで関連情報として有効なものを取得できた場合に表示されるマークのことである。例えば図１２Ａは、ステップ１１０２において撮像領域１２０１内で１２０２から１２０５が所定オブジェクトとして検出され、ステップ１１０３において１２０２、１２０４、１２０５について有効な関連情報が取得できた場合を示している。１２０６から１２０８が候補マークであり、画像処理部１０４により画像として生成され、表示制御部１０５により該当する所定オブジェクトの一部に重畳するように表示される。なお候補マークは、ユーザが認識できる程度の大きさで、どの所定オブジェクトに関連するものかを判別できるものであれば、その形状は図１２Ａに示すものに限定されない。

続いてステップ１１０５で表示トリガーの判定が行われる。この場合前述の実施例と同様に「手」を表示トリガーとしている。図１２Ａでは、撮像領域１２０１の中で表示トリガーが存在しないため、候補マーク１２０６、１２０７、１２０８のみが表示されており、各所定オブジェクトの関連情報に係る第２の画像の表示は行われない。

一方図１２Ｂのように、表示トリガーである特定オブジェクト１２０９が撮像領域１２０１内に認識され、所定オブジェクト１２０２に近接していると判断されると、ステップ１１０６において、表示トリガーにより特定された所定オブジェクト１２０２の関連情報が、画像処理部１０４にて第２の画像１２１０として生成され、候補マーク１２０６に代わるものとして、表示制御部１０５により表示される。

この場合、所定オブジェクト１２０２は他のオブジェクト１２０３乃至１２０５に近接している。このため、第２の画像１２１０は所定オブジェクト１２０２の一部と重畳するように表示される。これにより、第２の画像１２１０が、どのオブジェクトに係る表示であるかを明確にしている。なお、他の実施形態においても、第２の画像がどのオブジェクトに係る画像であるかを明確にするためには、前記第２の画像を関連するオブジェクトと一部が重畳するように表示すると良い。

第２の画像１２１０として表示される内容は、前述の実施形態と同様に、所定オブジェクト１２０２に関する商品情報であり、当該商品に関する口コミ情報や価格相場情報などを、ユーザが認識しやすい形式で表示している。なお表示される内容は、ユーザにとって有用な情報であればよく、特に限定されるものではない。また候補マーク１２０７及び１２０８は、該当オブジェクトが選択されていない状態なので、継続的に候補マークのまま表示される。なお撮像領域１２０１の破線は便宜上示しているのみであり、ユーザの視野内に表示されるものではない。

ステップ１１０７において、前記表示トリガーの判定が継続的に行われ、表示トリガーが認識されている間は前記関連情報の表示を行う（ステップ１１０７のＹｅｓ）。なお表示トリガーの位置が変更され、表示トリガーに近接する所定オブジェクトが変更になった場合は、変更後の所定オブジェクトについての候補マークを関連情報に係る第２の画像の表示に切り替えるようにする。また変更前の所定オブジェクトについては、関連情報に係る第２の画像から候補マーク表示に再び切り替えるようにする。表示トリガーである特定オブジェクト１２０９が撮像領域１２０１の中で認識できなくなった場合は（ステップ１１０７のＮｏ）、ステップ１１０８において前記関連情報に係る第２の画像表示を終了し、ステップ１１０２の所定オブジェクトの検出に戻る。ただし撮像領域１２０１内で表示済の候補マークについては、表示を継続する。

以上のように第４の実施形態によれば、ウェアラブルな情報表示端末１０１において、所定オブジェクトの関連情報表示に先立って候補マークを表示することにより、ユーザは予め関連情報を表示可能なオブジェクトがどれなのかを認識することが可能となる。関連情報自体については、表示トリガーを用いて第２の画像の表示開始あるいは終了を行うので、ユーザの意思あるいは行動を反映したタイミング及び期間に第２の画像の表示を行うことが可能である。ユーザは情報表示端末１０１を装着した状態で両手を自由に使うことが可能であり、どのオブジェクトについて関連情報が表示可能かを認識しながら第２の画像の表示を行うことができる。さらに、オブジェクトを選ぶ際に情報表示端末１０１自体を操作する必要がなくなり、利便性が向上するという効果がある。

本実施形態の変形例として、図１２Ａにおける候補マーク１２０６から１２０８の大きさあるいは色を、該当する関連情報の内容の有効性により差を付ける実施形態が考えられる。候補マークを表示する時点で各関連情報は取得済なので、例えば付加情報の量が多い場合、または事前にユーザが指定した商品である場合等に、表示マークを大きくする、あるいは赤色系の枠にする。これにより、さらにユーザが事前に認識しやすいものとすることが可能である。

なお本実施形態では、候補マークを表示する動作について、第１の実施形態に組み合わせるような場合について説明したが、その他の実施形態に組み合わせて実施することも可能である。

以上説明した全ての実施形態において、特にユーザが店舗内、特に衣料品店で商品を物色している場合に、情報表示端末が所定のオブジェクトについて関連情報を第２の画像として表示するような場合について説明してきた。しかし、適用場面はこれに限定されるものではなく、その他のカテゴリの店舗や、屋外での情報表示などに適用することも可能である。また表示トリガーとして主に「手」を用いる場合について説明したが、その他のものを指定して表示トリガーとすることができる。

また本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。さらに上記の各機能、処理部等は、それらの一部又は全部をハードウェアで実現しても良いし、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することによりソフトウェアで実現してもよい。なお制御線や情報線は説明上必要と考えられるものを示しており、必ずしも全ての制御線や情報線を示しているとは限らない。

１０１、５０４… 情報表示端末、１０２… 制御部、１０３… 撮像部、１０４… 画像処理部、１０５… 表示制御部、１０６… 音声入出力部、１０７… 音声処理部、１０８… 通信処理部、１０９… 通信入出力部、１１０…位置検出部、１１１… センサ入出力部、１１２… 各種センサ、２０１… ユーザ、２０２、４０１、７０１、８０１、１００１、１２０１… 撮像領域、２０３… 画像領域、４０２、８０２、１００２、１２０２… 所定オブジェクト、４０６、８０５、１００７、１２１０… 関連情報の画像、４０７、８０４、１２０９… 表示トリガー、５０１… インターネット、５０２… パーソナルコンピュータ、５０３… 携帯端末、５０５… サーバ、５０６… ストレージ、７０２… 登録枠、１００６… 注視点、１２０６、１２０７、１２０８… 候補マーク。

Claims (9)

1. 使用者の視野方向に情報を表示する情報表示端末であって、
   ネットワークから情報を取得するための通信を行う通信処理部と、
   前記視野方向を撮像する撮像部と、
   前記撮像部が撮像した第１の画像から第１のオブジェクトを検出し、前記通信処理部を介して前記ネットワークから取得した前記第１のオブジェクトの関連情報を第２の画像として生成する画像処理部と、
   前記第２の画像を前記視野方向に表示する表示制御部と、
   前記使用者の注視点を検出する視線センサと、
   前記情報表示端末の構成要素の動作を制御する制御部と
   を有し、
   前記制御部は、
   前記視線センサが検出した前記使用者の注視点が前記第１のオブジェクトにかかる位置に所定時間以上存在した場合には、前記第２の画像を表示するよう前記表示制御部を制御する
   ことを特徴とする情報表示端末。
2. 請求項１に記載の情報表示端末において、
   前記制御部は、
   前記第２の画像の表示を、前記第１のオブジェクトの一部に重畳してなされるよう前記表示制御部を制御する
   ことを特徴とする情報表示端末。
3. 請求項１に記載の情報表示端末において、
   前記制御部は、
   前記注視点が前記第１のオブジェクトにかかる位置あるいは前記第２の画像にかかる位置から外れた後に所定時間経過した場合には、前記第２の画像の表示を停止するよう前記表示制御部を制御する
   ことを特徴とする情報表示端末。
4. 使用者の視野方向に情報を表示する情報表示端末であって、
   ネットワークから情報を取得するための通信を行う通信処理部と、
   前記視野方向を撮像する撮像部と、
   前記撮像部が撮像した第１の画像から第１のオブジェクトを検出し、前記通信処理部を介して前記ネットワークから取得した前記第１のオブジェクトの関連情報を第２の画像として生成する画像処理部と、
   前記第２の画像を前記視野方向に表示する表示制御部と、
   前記情報表示端末の構成要素の動作を制御する制御部と
   を有し、
   前記制御部は、
   前記画像処理部が前記第１の画像から任意のオブジェクトを特定するための第２のオブジェクトを検出し、さらに、前記第１のオブジェクトと前記第２のオブジェクトが近接した位置にあると判断した場合に、前記第２の画像を表示するよう前記表示制御部を制御するとともに、
   前記制御部は、
   前記画像処理部に前記第１のオブジェクトに係る特定のマーク画像を生成させ、前記表示制御部が前記第２の画像を表示しない場合には、前記マーク画像を前記第１のオブジェクトに一部重畳するように表示するよう前記表示制御部を制御する
   ことを特徴とする情報表示端末。
5. 請求項４に記載の情報表示端末において、
   前記制御部は、
   前記画像処理部が前記ネットワークから前記第１のオブジェクトに係る有効な関連情報を取得した場合に、前記マーク画像を表示するよう前記表示制御部を制御する
   ことを特徴とする情報表示端末。
6. 使用者の視野方向に情報を表示する情報表示方法であって、
   前記視野方向を撮像し、
   撮像して得た第１の画像から第１のオブジェクトを検出し、
   該第１のオブジェクトに係る関連情報をネットワークから取得し、
   前記関連情報に係る第２の画像を生成し、
   前記第１の画像から任意のオブジェクトを特定するための第２のオブジェクトを検出し、
   前記第１のオブジェクトと前記第２のオブジェクトが近接した位置にあると判断した場合に、前記第２の画像を前記視野方向に表示するとともに、
   前記第１の画像から前記第２のオブジェクトを確定する情報を取得する
   ことを特徴とする情報表示方法。
7. 使用者の視野方向に情報を表示する情報表示方法であって、
   前記視野方向を撮像し、
   撮像して得た第１の画像から第１のオブジェクトを検出し、
   該第１のオブジェクトに係る関連情報をネットワークから取得し、
   前記関連情報に係る第２の画像を生成し、
   前記使用者の注視点を検出し、
   前記注視点が前記第１のオブジェクトにかかる位置に所定時間以上存在した場合には、前記第２の画像を前記視野方向に表示する
   ことを特徴とする情報表示方法。
8. 請求項７に記載の情報表示方法において、
   前記第２の画像の表示を、前記第１のオブジェクトの一部に重畳して行う
   ことを特徴とする情報表示方法。
9. 使用者の視野方向に情報を表示する情報表示方法であって、
   前記視野方向を撮像し、
   撮像して得た第１の画像から第１のオブジェクトを検出し、
   該第１のオブジェクトに係る関連情報をネットワークから取得し、
   前記関連情報に係る第２の画像を生成し、
   前記第１の画像から任意のオブジェクトを特定するための第２のオブジェクトを検出し、
   前記第１のオブジェクトと前記第２のオブジェクトが近接した位置にあると判断した場合に、前記第２の画像を前記視野方向に表示するとともに、
   前記第１のオブジェクトに係る特定のマーク画像を生成し、
   前記第２の画像を表示しない場合には、前記マーク画像を前記第１のオブジェクトの一部に重畳するように表示する
   ことを特徴とする情報表示方法。

Images