JP2009211447A - 入力システム及びこれを用いた表示システム - Google Patents

Abstract

【課題】 ユーザー以外からはどのような操作を行なっているかを判別できず、かつユーザーが操作を行なっている間でも周囲の情景を視認できる入力システム、及びこれを用いた表示システムを提供する。
【解決手段】 情報を表示させる眼鏡型表示装置と、この眼鏡型表示装置に表示された情報に基づいて入力を行なう入力装置とを備えた入力システムにおいて、
前記入力装置は、前記眼鏡型表示装置との間の相対的な位置関係を把握するための相対位置識別手段を備え、
前記眼鏡型表示装置は、
前記相対位置識別手段との間の相対的な距離、傾き、方向のうち少なくともいずれか一つ以上の相対的な位置関係を把握するための情報を認識する相対位置認識装置と、
この相対位置認識装置で認識された相対位置情報と、前記入力装置と前記眼鏡型表示装置の位置関係が基準となる位置の場合におけるパターン情報と、に基づいて情報を表示する透過型表示部と
を備える。
【選択図】 図１

Description

本発明は、ＩＴ機器の入力システム及びこれを用いた表示システムに関し、特に、ユーザー以外からはどのような操作を行なっているかを判別できず、かつユーザーが操作を行なっている間でも周囲の情景を視認できる入力システム及びこれを用いた表示システムに関する。

例えば、銀行のATM（Automated Teller Machine）等でパスワードを入力し、個人認証を行なうシステムでは、入力装置として、キートップに数字、文字、記号等が恒久的に表示されたキーボードやタッチパネルが用いられている。

しかし、キートップに文字等が恒久的に表示されたキーボード等を用いた場合、ユーザー以外からもパスワードの入力操作が容易に見え、パスワードが漏洩する危険がある。このようなパスワードの漏洩を防止するために、ユーザー以外からはどのような操作を行なっているかを判別できないようにした入力システムが研究されており、例えば次の先行技術文献で紹介されている。

特開平０８−５９５４号公報

以下、従来の入力システムについて図７を参照して説明する。キーボード１は入力装置である。眼鏡型表示部２は、後述する処理部３から入力される情報を表示すると共に、下部に取り付けられた図示しない撮影装置によってキーボード１とユーザーの手を撮影する。また、この眼鏡型表示部２は不透過な物品で作られており、眼鏡型表示部２を装着した状態では周囲の情景を見ることができない。

処理部３には、図示しない記憶装置も設けられており、この記憶装置にはキーボードのパターン画像が記憶されている。そして、処理部３はこの記憶装置のキーボードのパターン画像と撮影装置によって撮影された映像に基づいて眼鏡型表示部２で表示すべき映像信号を出力する。

すなわち、図７の入力システムでは、眼鏡型表示部２の下部に取り付けられた図示しない撮像装置により、キーボード１およびユーザーの手を撮像し、画像処理装置でキーボード１を予め記憶されている情報に置き換え、また、処理部３からの出力（文字や画像）と、キーボード１の画像を眼鏡型表示装置２に表示し、ユーザー以外からはどのような操作を行なっているのかを判別できなくしたものである。

このように、従来の入力システムでは眼鏡型表示部２を用いるので、ユーザー以外からはどのような操作を行なっているか判別することができない。

次に、従来の表示システムを説明する。例えば、日本向けに製作された欧米の映画を上映する場合、画面上に日本語の字幕が表示されるが、映画を見る人の中には字幕を必要とせず、邪魔に感じる人もいる。このような問題を解決するための先行技術文献に特開平9-101749号公報がある。

図８はこの文献で開示された発明の構成図であり、表示装置４は、単一の表示装置に２つの異なる画像ＡとＢを制御装置５で時分割させて交互に表示し、その画像を液晶シャッター付きの眼鏡６、７を用いて、それぞれに分離して表示する表示システムである。このようにすることで、眼鏡６を掛けた人は画像Ａを、眼鏡７を掛けたひとは画像Ｂを個別に見ることができるようにしたものである。

このように、従来の表示システムでは、表示装置４とシャッター付きの眼鏡６、７を組み合わせることにより必要な情報のみを表示させることができる。

しかし、図７に記載した入力システムでは、不透過な眼鏡型表示部２を用いて表示しているため、これを装着したままではユーザーは周囲の情景を見ることができない。従って、キーボード１とユーザー自身の手の位置関係を把握するためには、ユーザー自身の手が何処にあるかについて視認する必要があるにも拘わらず、ユーザー自身の手は、図示しない撮影装置を介さないと視認できず、扱いづらいという問題があった。

一方、図８の表示装置では、時分割させて表示させる画像の数に制限があり、例えば、字幕の場合であれば、多数の言語の字幕を表示できないという問題がある。

本発明は、これらの問題点に鑑みてなされたものであり、ユーザー以外からはどのような操作を行なっているかを判別できず、かつユーザーが操作を行なっている間でも周囲の情景を視認できる入力システム及びこれを用いた表示システムを提供することを目的とする。

このような課題を達成するために請求項１記載の発明は、
情報を表示する眼鏡型表示装置と、この眼鏡型表示装置に表示された情報に基づいて入力を行なう入力装置とを備えた入力システムにおいて、
前記入力装置は、前記眼鏡型表示装置との間の相対的な位置関係を把握するための相対位置識別手段を備え、
前記眼鏡型表示装置は、
前記相対位置識別手段との間の相対的な距離、傾き、方向のうち少なくともいずれか一つ以上の相対的な位置関係を把握するための情報を認識する相対位置認識装置と、
この相対位置認識装置で認識された相対位置情報と、前記入力装置と前記眼鏡型表示装置の位置関係が基準となる位置の場合におけるパターン情報と、に基づいて情報を表示する透過型表示部と
を備える。

また、請求項２記載の発明は、
それぞれ異なる情報を表示する複数の眼鏡型表示装置と、これら眼鏡型表示装置に共通した情報を表示するスクリーンとを備えた表示システムにおいて、
前記スクリーンは、複数の前記眼鏡型表示装置との間の相対的な位置関係を把握するための相対位置識別手段を備え、
前記眼鏡型表示装置は、
前記相対位置識別手段との間の相対的な距離、傾き、方向のうち少なくともいずれか一つ以上の相対的な位置関係を把握するための情報を認識する相対位置認識装置と、
この相対位置認識装置で認識された相対位置情報と、前記スクリーンごとの画像情報の集合である基準位置画像情報と、前記スクリーンを利用するユーザーの情報であるユーザー情報と、に基づいて情報を表示する透過型表示部と
を備える。

本発明では、次のような効果がある。眼鏡型表示装置を装着してキーボードを見ると、透過型表示部に表示された文字や記号等がキーボード上の対応するキーと重なって見えるため、各キーに対応する入力情報の識別を容易に行なうことが可能となる。従って、従来と同様にユーザー以外からはキーボード上の各キーがどのような入力に対応しているかを判断することができないという効果があり、これに加えて透過型の表示部を用いているので周囲の情景も認識できる。

以下、図１から図３を参照して本発明による入力システムを説明する。キーボード１０には複数のキーの他、相対位置識別手段１０１が設けられている。複数のキーは機械的に上下動させて操作するものである。

相対位置識別手段１０１は、後述する相対位置認識装置２０によって位置や傾きが識別される。識別の方法は、相対位置認識装置２０１から例えば無線、超音波、赤外線、可視光線、又はこれらの組み合わせを出力し、相対位置識別手段１０１で反射した超音波等から位置や傾き等を特定する。

なお、相対位置識別手段は一つに限られるものではなく、例えば２つ設け、三角測量を用いて位置を把握する方法をとっても差し支えない。また、相対位置識別手段１０１から超音波等を出力し、相対位置認識装置２０１でこの電波等を受信することにより位置を把握するようにしても差し支えない。

表示装置２０は、相対位置認識装置２０１と透過型表示部２０２を備える。相対位置認識装置２０１は、相対位置識別手段１０１との相対位置（距離、傾き、方向等）を検出し、後述する制御部３０に相対位置情報として出力する。なお、距離、傾き等を検出する方法は例えば赤外線や電波等を用いるが、両者の位置関係が把握できれば他の方法でも差し支えない。

透過型表示部２０２は２通りの実現方法がある。第１の方法としては、透過型表示部２０２をガラスや透明なプラスチック等で形成し、図示しないプロジェクターを介して画像処理装置３０１から入力された画像処理情報を表示させるものである。この場合、画像処理情報がない場合には、透過型表示部２０２は、単なる眼鏡やゴーグルのように周りの情景を視認できる。

第２の方法としては、液晶ディスプレイを用いる方法である。この方法は、普段は液晶の素子に、画像処理装置３０１からの命令で電圧をかけて液晶の反対側が見えるように、つまり周りの情景を視認することができるようにし、特定の文字等を表示したいときにはその部分の液晶素子にだけ電圧をかけずに文字等を浮かび上がらせるようにする。

制御装置３０には、画像処理装置３０１とパターン情報保持装置３０２が設けられている。パターン情報保持装置３０２は、キーボード１０と表示装置２０との相対的な位置関係が基準となる位置の場合におけるパターン情報を保持する。

画像処理装置３０１は、相対位置認識装置２０１から出力される相対位置情報に合わせて、パターン情報保持装置３０２に保持されたパターン情報を編集して透過型表示部２０２にユーザーに見せる画像情報を出力する。なお、上述のように透過型表示部２０２が単なるガラスや透明なプラスチックで形成されている場合には、画像情報は図示しないプロジェクターで出力されるものとする。

次に図２を説明する。図２は本発明の利用状態の説明図である。ユーザーは、表示装置２０を眼鏡のように掛けて透過型表示部２０２を介してキーボード１０を視認する。次に図３を説明する。図３は、キーボード１０と透過型表示部２０２の関係を説明する図面であり、（Ａ）はキーボードの概観図、（Ｂ）は透過型表示部２０２に表示されるパターンを説明したものであり、（Ｃ）は透過型表示部２０２を介してキーボード１０を見た場合の図面である。

図１の発明はこのような構成を設けることにより次の効果がある。まず、ユーザーは、図２に示すように表示装置２０を装着してキーボード１０を見ると、図３（Ｃ）のように透過型表示部２０２に表示された文字や記号等がキーボード１０上の対応するキーと重なって見えるため、各キーに対応する入力情報の識別を容易に行うことが可能となる。

つまり、キートップの表示の切換えを透過型表示部２０２越しに視認するという方法で実現し、ユーザー以外からはキーボード上の各キーがどのような入力に対応しているかを判断することができない。

また、表示装置２０とキーボードとの距離を変化させることで、キーボード１０の一部に対応するパターンを表示することもキーボード１０の全体に対応するパターンを表示することも可能であり、キーボードのサイズに制限はない。

さらに、パターン情報保持装置３０２に保持されるパターン情報を、図示しない外部からの制御信号で変更できるようにすれば、キー入力システムの種類に応じて最適なキートップ表示とすることができる。また、利用すべきアプリケーションやモード等に応じて適宜最適なキートップ表示に変更することもでき、各キーによる入力情報の識別を容易に行うことができる。

なお、図１のキーボード１０を、タッチパネルやタッチパッド等のユーザーが触れる位置によって入力を検出する入力システムに変更すれば、キーの大きさや形状を変更できる。

また、ユーザーの指等に相対位置識別手段を装着し、相対位置識別手段が透過型表示部２０２に表示されるパターンのどの位置と重なってユーザーに見えているかを画像処理等により認識し、表示装置２０との距離や滞留時間若しくは外部機器等によってクリックを検出すれば、表示装置２０越しに指が重なっているパターンの一部をクリックするという動作で入力を検出でき、キーボード１０等の入力システムが必要なくなる。

また、表示装置２０と制御装置３０を装着した複数のユーザーが同時に1つの操作部（キーボードやタッチパネル等）を操作できるようにすれば、同じ画面を見ながらそれぞれに操作することが可能となる。これにより例えば指導者が生徒にキーボードの操作方法を手取り足取り教えることも可能となる。

さらに、相対位置識別手段に固有の認証キーを持たせ、認識子ごとに表示部に表示されるパターンを変更するようにすれば、複数のディスプレイを使用している時と同様に頭部を動かすだけで、画面を切り替えることが可能となる。

また、表示装置２０を個別に判別できるような固有の認証キーを表示装置２０自体に持たせ、表示装置２０ごとに透過型表示部２０２に表示されるパターンを変更するようにすれば、同じ広告を見ても、大人用と子供用で異なる画像が表示され、同じ伝言板を見てもそれぞれに異なるメッセージが表示されるようにすることが可能となる。

また、例えば大学ノートの各ページにユーザーによるペンの動きを認識できる装置を付け、スタイラスのようなペン型の入力装置で記入したパターンを記憶するようにすれば、ユーザーの表示装置にだけに表示され、他人に見られる危険のないノートを作成できる。

また、同じ画面を見ている複数のユーザーがいた場合、ある人には単なる操作画面に見え、他のある人には操作ガイダンスが見えるよう表示装置の表示を制御すれば、ガイダンスが表示される人は、ガイダンスを見ながらガイダンスの見えない人に適切なトレーニングが行える。

次に、本発明の表示装置を説明する。図４は本発明の表示装置の構成例であるが、図１と同様の構成については同一の符号を付して説明を省略する。スクリーン１１には、相対位置識別手段１０１が設けられている。表示装置２０は図１の表示装置２０と同様である。制御部３０は、画像処理装置３０１とパターン情報生成装置３０３で構成される。

パターン情報生成装置３０３は、図示しない外部装置から入力される基準位置画像情報（ユーザー（つまりユーザーが使うスクリーン１１）ごとの個別の画像情報の集合）と後述するユーザー情報保持装置４０１に保持されているユーザー情報に基づいてパターン情報（スクリーン１１と表示装置２０との相対位置が基準の位置であった場合のパターン情報）を生成する。

画像処理装置３０１は、パターン情報生成装置３０３から出力されるパターン情報と相対位置認識装置２０１から出力される相対位置情報に基づいて画像情報を生成して出力する。ユーザー情報保持装置４０１は、表示装置２０を使用するユーザーの情報を保持する。

図５を説明する。図５は本発明の利用状態の説明図である。ユーザーは、表示装置２０を眼鏡のように掛けて透過型表示部２０２を介してキーボード１０を視認する。

図６を参照して図４の発明の効果を説明する。ここではスクリーン１１が映画のスクリーンの場合を例にとり説明する。共通の画像（字幕以外）をスクリーン１１（スクリーン）上に映し、視聴者が使用するスクリーンの透過型表示部２０２にユーザー情報（視聴者の使用言語）に対応する字幕を表示することで、単一のスクリーン１１を見ながらも、ユーザーごとに個別の字幕を認識することが可能となる。

ここでは、日本人ユーザー、中国人ユーザー、及び韓国人ユーザーのスクリーンに、それぞれの母国語で「こんにちは」という意味の字幕が表示されることになる。

続いて、スクリーン１１がタッチパネルの場合を例にとり説明する。ユーザーが、表示装置２０を装着して透過型表示部２０２越しにタッチパネルを見ると、透過型表示部２０２に表示されるユーザーごとに異なる文字や記号等がタッチパネル上の画像と重なって見え、タッチパネルに表示される画像に合わせて、ユーザーごとに必要な情報を取得することが可能となる。なお、この理論は図３で既に説明したものと同じなので説明を省略するが、図３（Ａ）のキーボードはタッチパネルに置き換えて考えるものとする。

なお、認識子等によりスクリーン１１自体を識別可能にできれば、複数のスクリーン１１を同時に使用できる。また、ポスター等の静的な媒体に相対位置識別手段１０１と基準位置画像情報のかたまり等を保存する媒体とを取りつければ、本発明の表示装置２０の全体サイズを小型化できる。

さらに、タッチパネル（もしくはキーボード）のような入力システムの操作方法を指導者が生徒に教える場合、生徒には単なる操作画面に見え、指導者には操作画面と共に操作ガイダンスが認識できるように表示装置２０の表示を制御すれば、指導者は、ガイダンスを見ながら生徒に適切な指導を行うことが可能となる。

このように、本発明による入力システムでは、眼鏡型の表示装置２０を装着してキーボードを見ると、透過型表示部２０２に表示された文字や記号等がキーボード上の対応するキーと重なって見えるため、各キーに対応する入力情報の識別を容易に行うことが可能となる。

従って、従来と同様にユーザー以外からはキーボード上の各キーがどのような入力に対応しているかを判断することができないという効果があり、これに加えて透過型表示部２０２を用いているので周囲の情景も認識できる。

また、本発明による表示システムでは、上述した入力システムで用いた眼鏡型の表示装置２０を用い、眼鏡型表示装置毎にそれぞれ異なる情報と全ての眼鏡型表示装置に共通した画像を見るので、認識可能な言語が異なっても同じスクリーンで映画を見ることができる。

本発明の入力システムの構成図である。 本発明の入力システムの利用状態の説明図である。 キーボード１と透過型表示部２０２の関係を説明する図面であり、（Ａ）はキーボードの概観図、（Ｂ）は透過型表示部２０２に表示されるパターンであり、（Ｃ）は透過型表示部２０２を介してキーボード１を見た場合の図面である。 本発明の表示装置の構成図である。 本発明の表示装置の利用状態の説明図である。 スクリーン１１が映画のスクリーンの場合の説明図である。 従来の入力システムの構成図である。 従来の表示装置の構成図である。

符号の説明

１０ キーボード
１１ スクリーン
２０ 表示装置
３０ 制御装置
１０１ 相対位置識別手段
２０１ 相対位置認識装置
２０２ 透過型表示部
３０１ 画像処理装置
３０２ パターン情報保持装置
３０３ パターン情報生成装置
４０１ ユーザー情報保持装置

Claims (2)

1. 情報を表示する眼鏡型表示装置と、この眼鏡型表示装置に表示された情報に基づいて入力を行なう入力装置とを備えた入力システムにおいて、
   前記入力装置は、前記眼鏡型表示装置との間の相対的な位置関係を把握するための相対位置識別手段を備え、
   前記眼鏡型表示装置は、
   前記相対位置識別手段との間の相対的な距離、傾き、方向のうち少なくともいずれか一つ以上の相対的な位置関係を把握するための情報を認識する相対位置認識装置と、
   この相対位置認識装置で認識された相対位置情報と、前記入力装置と前記眼鏡型表示装置の位置関係が基準となる位置の場合におけるパターン情報と、に基づいて情報を表示する透過型表示部と
   を備えることを特徴とする入力システム。
2. それぞれ異なる情報を表示する複数の眼鏡型表示装置と、これら眼鏡型表示装置に共通した情報を表示するスクリーンとを備えた表示システムにおいて、
   前記スクリーンは、複数の前記眼鏡型表示装置との間の相対的な位置関係を把握するための相対位置識別手段を備え、
   前記眼鏡型表示装置は、
   前記相対位置識別手段との間の相対的な距離、傾き、方向のうち少なくともいずれか一つ以上の相対的な位置関係を把握するための情報を認識する相対位置認識装置と、
   この相対位置認識装置で認識された相対位置情報と、前記スクリーンごとの画像情報の集合である基準位置画像情報と、前記スクリーンを利用するユーザーの情報であるユーザー情報と、に基づいて情報を表示する透過型表示部と
   を備えることを特徴とする表示システム。

Images