JP2005316763A - 情報入力装置および同装置の情報入力方法 - Google Patents

Abstract

【課題】例えば情報処理装置に対するキー入力をキータッチを行うことなく可能とする情報入力装置を提供する。
【解決手段】２次元位置検出部１０１は、手首の両端部にそれぞれ装着された超音波スピーカ１１Ｒと超音波スピーカ１１Ｌとから超音波を発生させ、それを各指先に装着された超音波マイクロホン１２ａ〜１２ｅで検出させる。また、２次元位置検出部１０１は、超音波の出力から検出までの時間差をそれぞれ測定し、この２つの時間差から、超音波マイクロホン１２ａ〜１２ｅそれぞれが装着された各指先の２次元位置を算出する。一方、動作検出部１０２は、手のひら面（ｘ−ｙ平面）に垂直な方向に感度をもつ各指先に装着された加速度センサ１３ａ〜１３ｅが出力する加速度に予め定められた一連の変化が発生したことを検出して、あたかもキーボードを打鍵するような指先の動きを認識する。
【選択図】 図２

Description

この発明は、例えば情報処理装置に対するキー入力をキータッチを行うことなく可能とする情報入力装置および同装置の情報入力方法に関する。

近年、ノートブックタイプのパーソナルコンピュータやＰＤＡ（Personal Digital Assistant）など、バッテリ駆動可能で携行容易な情報処理装置が広く普及している。この種の情報処理装置は、場所を選ばず使用可能であるので、例えば営業職の社員等の作業効率を飛躍的に向上させるに至っている。

この種の情報処理装置を例えば移動中の電車内で用いる場合、屋内とは異なり、必ずしもキーボードを使用できるとは限らない。そこで、最近では、このキーボードに代わって各種入力を行うための情報入力装置の開発も種々進められており、その中の１つに、手の仕草で入力を行える情報入力装置が存在する（例えば特許文献１参照）。
特開平６−５９８０５号公報

ところで、この特許文献１に記載された情報入力装置では、各指の２次元座標しか検出できないので、例えばキーボードの押下操作を考えると、各指がどのキー上に置かれているのかは判別できるものの、各指がキー押下の動きを行ったのかどうかを判別することはできない。つまり、情報処理装置の情報入力装置としては不向きである。これは、情報入力装置のキーボード操作に限らず、例えば数個の操作ボタンを有する電子機器を操作する場合も同様である。

この発明は、このような事情を考慮してなされたものであり、例えば情報処理装置に対するキー入力をキータッチを行うことなく可能とする情報入力装置および同装置の情報入力方法を提供することを目的とする。

前述した目的を達成するために、手首の右端部および左端部に互いに隔てて装着される第１および第２の発信手段と、手の各指の先端部にそれぞれ装着され、前記第１または第２の発信手段から発信された信号を受信する少なくとも１以上の受信手段と、前記受信手段が装着された指の中の少なくとも１以上の指の先端部にそれぞれ装着される加速度センサと、前記第１の発信手段が信号を発信してから前記受信手段それぞれが当該信号を受信するまでの経過時間と、前記第２の発信手段が信号を発信してから前記受信手段それぞれが当該信号を受信するまでの経過時間とに基づき、前記第１および第２の発信手段のいずれかの装着位置を原点とした２次元空間内における前記受信手段それぞれが装着される各指の先端部の相対位置を検出する指先位置検出手段と、前記加速度センサそれぞれから出力される加速度情報に基づき、前記加速度センサそれぞれが装着される各指の動作を検出する動作検出手段とを具備することを特徴とする。

この発明によれば、例えば情報処理装置に対するキー入力をキータッチを行うことなく可能とする情報入力装置および同装置の情報入力方法を提供できる。

以下、図面を参照してこの発明の実施形態を説明する。

図１は、この発明の実施形態に係る情報入力装置の構成を示す図である。本実施形態の情報入力装置１は、例えばBluetooth(R)の規約に沿った無線通信で本体装置である情報処理装置２と接続される装置であり、図示のように、情報処理装置２を操作するユーザの指先や手のひら、手首等に各種部品が装着される。図１には、ユーザの右手に装着された本情報入力装置１を手のひら方向から見た場合の外観が示されている。

手首に装着される信号処理装置１０は、この情報入力装置１全体の制御を司り、この信号処理装置１０に対して、手首の両端部にそれぞれ装着される超音波スピーカ１１Ｒ，１１Ｌと、各指の先端部に装着される超音波マイクロホン１２ａ〜１２ｅおよび加速度センサ１３ａ〜１３ｅと、手を動かしても手首からの相対位置の変化が小さい例えば手のひらの両端部にそれぞれ装着される補正用超音波スピーカ１４および補正用超音波マイクロホン１５とが接続される。

図２は、この情報入力装置１の機能ブロックを示す図である。図示のように、この情報入力装置１全体の制御を司る信号処理装置１０は、２次元位置検出部１０１、動作検出部１０２および無線通信部１０３を有している。２次元位置検出部１０１は、超音波マイクロホン１２ａ〜１２ｅおよび加速度センサ１３ａ〜１３ｅが装着された各指先端部の位置を検出する。また、動作検出部１０２は、いずれかの指であたかもキーボードを打鍵するような動作が行われた場合、その動作を検出する。そして、無線通信部１０３は、動作検出部１０２が動作を検出した指に関する２次元位置検出部１０１の検出結果を無線通信によって情報処理装置２に送信する。つまり、この情報入力装置１は、例えば図３（Ａ）の状態から図３（Ｂ）の状態に至る手の動きが発生した場合、その時の人差し指の位置情報を入力信号として情報処理装置２に供給する。

まず、図２と共に図４を併せて参照して、２次元位置検出部１０１による指先位置の検出方法について説明する。

２次元位置検出部１０１は、手首の両端部にそれぞれ装着された超音波スピーカ１１Ｒと超音波スピーカ１１Ｌとから超音波を発生させ、それを各指先に装着された超音波マイクロホン１２ａ〜１２ｅで検出させる。そして、２次元位置検出部１０１は、以下の原理で手首からの各指先の相対位置を検出する。

まず、２次元位置検出部１０１は、超音波スピーカ１１Ｒ，１１Ｌが超音波を発生させてから超音波マイクロホン１２ａ〜１２ｅが検出するまでの伝播時間と空気中の音速度とから図４中の距離ｄ_R と距離ｄ_L とを算出する。また、超音波スピーカ１１Ｒと超音波スピーカ１１Ｌとの間の距離ｄ_RLは、予め定めておく。すると、超音波スピーカ１１Ｒの位置を原点とした超音波マイクロホン１２ａ〜１２ｅの位置（ｘ，ｙ）は、
ｘ² ＋ｙ² ＝ｄ_R ² …（１）式
（ｘ−ｄ_RL）² ＋ｙ² ＝ｄ_L ² …（２）式
を連立して解くことによって得られるので、２次元位置検出部１０１は、この（１）式および（２）式を用いて、超音波マイクロホン１２ａ〜１２ｅの位置（ｘ、ｙ）、つまり手首からの各指先の相対位置を検出する。

なお、超音波スピーカ１１Ｒ，１１Ｌから出力させる超音波は、それぞれ異なる周波数のものとして、超音波マイクロホン１２ａ〜１２ｅまたは２次元位置検出部１０１で周波数分解することによって発信源を判別するようにしても良いし、超音波スピーカ１１Ｒ，１１Ｌに時間間隔を置いて超音波を出力させることにより、超音波マイクロホン１２ａ〜１２ｅまたは２次元位置検出部１０１で発信源を判別できるようにしても良い。

次に、図２と共に図５を併せて参照して、動作検出部１０２による動作の検出方法について説明する。

動作検出部１０２は、手のひら面（ｘ−ｙ平面）に垂直な方向に感度をもつ各指先に装着された加速度センサ１３ａ〜１３ｅが出力する加速度に予め定められた一連の変化が発生したことを検出して、あたかもキーボードを打鍵するような指先の動きを認識する。指が打鍵動作したときの指の位置は、例えば図５（Ａ）に示すように変化する。この時、加速度センサは、図５（Ｂ）に示すように加速度を検出することになる。そこで、動作検出部１０２は、この動作の認識方法の一例として、
（１）加速度が負の閾値Ａ_THM を下回った
（２）加速度が正の閾値Ａ_THP を上回った
（３）加速度が負の閾値Ａ_THM を下回った
といった（１）〜（３）の一連の変化が認められ、かつ、その一連の変化が生じた期間Ｔ_P が予め定められた時間よりも短い場合、その動作が行われたと認識する。なお、より精度を高めるために、ベンドセンサを併用して関節の折り曲げ角を検出しても良い。

以上のように、２次元位置検出部１０１によって指先位置が検出され、動作検出部１０２によって動作が検出されるが、本実施形態の情報入力装置１では、２次元位置検出部１０１が、さらに補正用超音波スピーカ１４および補正用超音波マイクロホン１５を併用した誤差低減処理を実行する。

２次元位置検出部１０１は、補正用超音波スピーカ１４と補正用超音波マイクロホン１５とを用いて、手全体の動きや風等に起因する２次元的な音速変化による位置検出誤差を補正する。超音波スピーカ１１Ｒと補正用超音波マイクロホン１５との距離と、補正用超音波マイクロホン１５と補正用超音波スピーカ１４との距離は、手を動かしてもほぼ一定で、かつ互いにほぼ直角である。そこで、２次元位置検出部１０１は、予め定めたこれら２つの距離と、補正用超音波スピーカ１４および超音波スピーカ１１Ｒから補正用超音波マイクロホン１５までの超音波伝播時間とから、手全体の動きや風等に起因する２次元的な音速変化を逆算補正して、指先位置検出誤差の低減を図る。

いま、手全体の移動や風によって手全体が空気に対して速度（ｖ_x ，ｖ_y ）をもつものと想定する。ここで、図６に示すように、補正用超音波スピーカ１４から発せられた超音波が、音速Ｖでｔ_X 時間後に補正用超音波マイクロホン１５で検出された場合、補正用超音波スピーカ１４と補正用超音波マイクロホン１５との既知の間隔ｄ_X と、未知のｖx 、ｖ_y を用いて、
（ｄ_x −ｖ_x ｔ_x ）² ＋（ｖ_y ｔ_x ）² ＝（Ｖｔ_x ）² …（３）式
が成り立つ。

一方、図７に示すように、超音波スピーカ１１Ｒから発せられた超音波が、音速Ｖでｔ_y 時間後に補正用超音波マイクロホン１５で検出された場合、補正用超音波マイクロホン１５と超音波スピーカ１１Ｒとの既知の間隔ｄ_y を用いて、
（ｖ_x ｔ_x ）² ＋（ｄ_y ＋ｖ_y ｔ_x ）² ＝（Ｖｔ_y ）² …（４）式
が成り立つ。

そこで、２次元位置検出部１０１は、この（３）式および（４）式を連立して、ｖ_x 、ｖ_y を算出する。そして、２次元位置検出部１０１は、ここで求めたｖ_x 、ｖ_{y による補正を図４を参照しながら説明した指先位置検出方法に適用し、相対音速による誤差の低減を図る。}
ここで、図８乃至図１０を参照して、この情報入力装置１の２次元位置検出部１０１および動作検出部１０２の動作手順を説明する。

図８は、２次元位置検出部１０１が実行する指先位置検出の流れを示すフローチャートである。

２次元位置検出部１０１は、まず、超音波スピーカ１１Ｒに超音波を出力させ（ステップＡ１）、この超音波を超音波マイクロホン１２ａ〜１２ｅにそれぞれ検出させる（ステップＡ２）。また、２次元位置検出部１０１は、この超音波の出力から検出までの時間差を測定する（ステップＡ３）。

次に、２次元位置検出部１０１は、超音波スピーカ１１Ｌに超音波を出力させ（ステップＡ４）、この超音波を超音波マイクロホン１２ａ〜１２ｅにそれぞれ検出させる（ステップＡ５）。また、２次元位置検出部１０１は、この超音波の出力から検出までの時間差を測定する（ステップＡ６）。

そして、２次元位置検出部１０１は、このように求めた２つの時間差から、超音波マイクロホン１２ａ〜１２ｅそれぞれの位置、つまり各指先の２次元位置を算出する（ステップＡ７）。

図９は、２次元位置検出部１０１が実行する誤差の低減の流れを示すフローチャートである。

２次元位置検出部１０１は、まず、補正用超音波スピーカ１４に超音波を出力させ（ステップＢ１）、この超音波を補正用超音波マイクロホン１５に検出させる（ステップＢ２）。また、２次元位置検出部１０１は、この超音波の出力から検出までの時間差を測定する（ステップＢ３）。

次に、２次元位置検出部１０１は、超音波スピーカ１１Ｒに超音波を出力させ（ステップＢ４）、この超音波を補正用超音波マイクロホン１５に検出させる（ステップＢ５）。また、２次元位置検出部１０１は、この超音波の出力から検出までの時間差を測定する（ステップＢ６）。

そして、２次元位置検出部１０１は、このように求めた２つの時間差から、手全体の動きや風等に起因する２音速変化による位置検出誤差を算出して補正する（ステップＢ７）。

図１０は、動作検出部１０２が実行する動作検出の流れを示すフローチャートである。

動作検出部１０２は、まず、加速度センサ１３ａ〜１３ｅから出力される加速度が負の閾値を下回っていないかを調べる（ステップＣ１，ステップＣ２）。もし、下回っていれば（ステップＣ２のＹＥＳ）、動作検出部１０２は、今度は、出力される加速度が正の閾値を上回っていないかを調べる（ステップＣ３，ステップＣ４）。

ここで、上回っていれば（ステップＣ４のＹＥＳ）、動作検出部１０２は、出力される加速度が負の閾値を再度下回っていないかを調べる（ステップＣ５，ステップＣ６）。そして、再度下回っていれば（ステップＣ６のＹＥＳ）、動作検出部１０２は、ステップＣ１〜ステップＣ６までのチェックで認められた一連の変化が所定時間内に発生したものかどうかを調べ（ステップＣ７）、所定時間内に発生したものであれば（ステップＣ７のＹＥＳ）、その加速度センサが装着された指での動作を検出する（ステップＣ８）。

以上のような構成をもつ本実施形態の情報入力装置１は、超音波スピーカ、超音波マイクロホンおよび加速度センサを用いるので、電力消費が少なく携帯に好適である。また、五指の先端部に超音波マイクロホンおよび加速度センサを装着し、自由に動く指先の位置と動作を検出するので、キーボード並に情報入力速度を高くでき、他人に入力内容を知られにくくすることができる。さらに、手全体の移動や風による音速の変化による誤差も補正することを実現する。

ところで、ここまでの説明では、超音波スピーカ１１Ｒ，１１Ｌを手首の両端部、超音波マイクロホン１２ａ〜１２ｅを各指先に装着することを前提としたが、例えば図１１に示すように、手首の両端部に超音波マイクロホン２１Ｒ，２１Ｌ、各指先に超音波スピーカ２２ａ〜２２ｅを装着するように、つまり超音波スピーカと超音波マイクロホンとの装着位置を入れ替えても、２次元位置検出部１０１による指先位置検出および動作検出部１０２による動作検出は可能である。例えばスピーカのコストがマイクロホンのコストを下回る場合等には、この図１１に示す構成とすれば、より低いコストで実現することができる。

また、前述の説明では、五指のすべてに超音波マイクロホンおよび加速度センサを装着する例を挙げたが、所定の指のみに装着するようにしても良く、超音波マイクロホンの装着数と加速度センサの装着数とが異なっていても構わない。さらに、本発明の手法は、キー入力のみに限られず、種々の電子機器の操作に適用することが可能である。

つまり、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

この発明の実施形態に係る情報入力装置の構成を示す図 同実施形態の情報入力装置の機能ブロックを示す図 同実施形態の情報入力装置で検出する動作を説明するための図 同実施形態の情報入力装置の２次元位置検出部による指先位置の検出方法を説明するための図 同実施形態の情報入力装置の動作検出部による動作の検出方法を説明するための図。 同実施形態の情報入力装置の２次元位置検出部による誤差低減処理を説明するための第１の図 同実施形態の情報入力装置の２次元位置検出部による誤差低減処理を説明するための第２の図 同実施形態の情報入力装置の２次元位置検出部が実行する指先位置検出の流れを示すフローチャート 同実施形態の情報入力装置の２次元位置検出部が実行する誤差の低減の流れを示すフローチャート 同実施形態の情報入力装置の動作検出部が実行する動作検出の流れを示すフローチャート 同実施形態の変形例に係る情報入力装置の構成を示す図

符号の説明

１…情報入力装置、２…情報処理装置、１０…信号処理装置、１１Ｒ，１１Ｌ…超音波スピーカ、１２ａ〜１２ｅ…超音波マイクロホン、１３ａ〜１３ｅ…加速度センサ、１４…補正用超音波スピーカ、１５…補正用超音波マイクロホン、１０１…２次元位置検出部、１０２…動作検出部、１０３…無線通信部。

Claims (12)

1. 手首の右端部および左端部に互いに隔てて装着される第１および第２の発信手段と、
   手の各指の先端部にそれぞれ装着され、前記第１または第２の発信手段から発信された信号を受信する少なくとも１以上の受信手段と、
   前記受信手段が装着された指の中の少なくとも１以上の指の先端部にそれぞれ装着される加速度センサと、
   前記第１の発信手段が信号を発信してから前記受信手段それぞれが当該信号を受信するまでの経過時間と、前記第２の発信手段が信号を発信してから前記受信手段それぞれが当該信号を受信するまでの経過時間とに基づき、前記第１および第２の発信手段のいずれかの装着位置を原点とした２次元空間内における前記受信手段それぞれが装着される各指の先端部の相対位置を検出する指先位置検出手段と、
   前記加速度センサそれぞれから出力される加速度情報に基づき、前記加速度センサそれぞれが装着される各指の動作を検出する動作検出手段と
   を具備することを特徴とする情報入力装置。
2. 前記動作検出手段は、予め定められた一連の変化が予め定められた期間内で前記加速度センサから出力される加速度情報に生じた場合、その加速度センサが装着された指で動作が行われたと判定することを特徴とする請求項１記載の情報入力装置。
3. 手のひらの第１の位置に装着される補正用の発信手段と、
   前記２次元空間の原点となる前記第１および第２の発信手段のいずれかの装着位置からの距離と前記補正用の発信手段の装着位置からの距離とがほぼ同一となり、かつ、前記２次元空間の原点となる前記第１および第２の発信手段のいずれかの装着位置との間を結ぶ線分と前記補正用の発信手段の装着位置との間を結ぶ線分とがほぼ直角となる手のひらの第２の位置に装着される補正用の受信手段と、
   その装着位置が前記２次元空間の原点となる前記第１および第２の発信手段のいずれかが信号を発信してから前記補正用の受信手段が当該信号を受信するまでの経過時間と、前記補正用の発信手段が信号を発信してから前記補正用の受信手段が当該信号を受信するまでの経過時間とに基づき、前記指先位置検出手段により検出された各指の先端部の相対位置の誤差を算出して補正する誤差補正手段と
   をさらに具備することを特徴とする請求項１記載の情報入力装置。
4. 前記第１および第２の発信手段は、互いに異なる周波数の超音波を出力し、前記受信手段または指先位置検出手段は、受信した超音波を周波数分解してその発信源を判別することを特徴とする請求項１記載の情報入力装置。
5. 前記第１および第２の発信手段は、同一周波数の超音波を時差を設けて出力することを特徴とする請求項１記載の情報入力装置。
6. 手の各指の先端部にそれぞれ装着される少なくとも１以上の発信手段と、
   手首の右端部および左端部に互いに隔てて装着され、前記発信手段それぞれから発信された信号を受信する第１および第２の受信手段と、
   前記発信手段が装着された指の中の少なくとも１以上の指の先端部にそれぞれ装着される加速度センサと、
   前記発信手段それぞれが信号を発信してから前記第１の受信手段が当該信号を受信するまでの経過時間と、前記発信手段それぞれが信号を発信してから前記第２の受信手段が当該信号を受信するまでの経過時間とに基づき、前記第１および第２の受信手段のいずれかの装着位置を原点とした２次元空間内における前記発信手段それぞれが装着される各指の先端部の相対位置を検出する指先位置検出手段と、
   前記加速度センサそれぞれから出力される加速度情報に基づき、前記加速度センサそれぞれが装着される各指の動作を検出する動作検出手段と
   を具備することを特徴とする情報入力装置。
7. 前記動作検出手段は、予め定められた一連の変化が予め定められた期間内で前記加速度センサから出力される加速度情報に生じた場合、その加速度センサが装着された指で動作が行われたと判定することを特徴とする請求項６記載の情報入力装置。
8. 手のひらの第１の位置に装着される補正用の受信手段と、
   前記２次元空間の原点となる前記第１および第２の受信手段のいずれかの装着位置との間を結ぶ線分と前記補正用の受信手段の装着位置との間を結ぶ線分とがほぼ直角となる手のひらの第２の位置に装着される補正用の発信手段と、
   前記補正用の発信手段が信号を発信してからその装着位置が前記２次元空間の原点となる前記第１および第２の受信手段のいずれかが当該信号を受信するまでの経過時間と、前記補正用の発信手段が信号を発信してから前記補正用の受信手段が当該信号を受信するまでの経過時間とに基づき、前記指先位置検出手段により検出された各指の先端部の相対位置の誤差を算出して補正する誤差補正手段と
   をさらに具備することを特徴とする請求項７記載の情報入力装置。
9. 前記発信手段それぞれは、互いに異なる周波数の超音波を出力し、前記第１および第２の受信手段または指先位置検出手段は、受信した超音波を周波数分解してその発信源を判別することを特徴とする請求項６記載の情報入力装置。
10. 前記発信手段それぞれは、同一周波数の超音波を時差を設けて出力することを特徴とする請求項６記載の情報入力装置。
11. 手首の右端部および左端部に互いに隔てて装着される第１および第２の発信手段と、手の各指の先端部にそれぞれ装着され、前記第１または第２の発信手段から発信された信号を受信する少なくとも１以上の受信手段と、前記受信手段が装着された指の中の少なくとも１以上の指の先端部にそれぞれ装着される加速度センサとを備えた情報入力装置の情報入力方法であって、
    前記第１の発信手段が信号を発信してから前記受信手段それぞれが当該信号を受信するまでの経過時間と、前記第２の発信手段が信号を発信してから前記受信手段それぞれが当該信号を受信するまでの経過時間とに基づき、前記第１および第２の発信手段のいずれかの装着位置を原点とした２次元空間内における前記受信手段それぞれが装着される各指の先端部の相対位置を検出し、
    前記加速度センサそれぞれから出力される加速度情報に基づき、前記加速度センサそれぞれが装着される各指の動作を検出する
    ことを特徴とする情報入力装置の情報入力方法。
12. 手の各指の先端部にそれぞれ装着される少なくとも１以上の発信手段と、手首の右端部および左端部に互いに隔てて装着され、前記発信手段それぞれから発信された信号を受信する第１および第２の受信手段と、前記発信手段が装着された指の中の少なくとも１以上の指の先端部にそれぞれ装着される加速度センサとを備えた情報入力装置の情報入力方法であって、
    前記発信手段それぞれが信号を発信してから前記第１の受信手段が当該信号を受信するまでの経過時間と、前記第発信手段それぞれが信号を発信してから前記第２の受信手段が当該信号を受信するまでの経過時間とに基づき、前記第１および第２の受信手段のいずれかの装着位置を原点とした２次元空間内における前記発信手段それぞれが装着される各指の先端部の相対位置を検出し、
    前記加速度センサそれぞれから出力される加速度情報に基づき、前記加速度センサそれぞれが装着される各指の動作を検出する
    ことを特徴とする情報入力装置の情報入力方法。

Images