JP5216568B2 - 少なくとも２個のインパクトの位置を決定するための方法 - Google Patents

Description

本発明、１個以上のセンサーを使用して、表面上の少なくとも２個のインパクトの位置を決定するための方法に関係する。

インタフェース板を通じて伝播する音波の認識に基づいた、触覚技術を利用したマン・マシーン・インタフェースは、容量性インタフェースのような標準的技術に基づいた接触制御マン・マシーン・インタフェースに関して多くの利点を提示する。特に、ユーザがそこにインパクトを生じさせるインタフェース板の材料は、音響技術の利用により導電性である必要はなく、さらに、例えば、指先、手袋をはめた指、スタイラス（ペン先）など、どのような手段によっても音波は発生可能であるので、インパクトをどのように生じさせるかも制限されない。

実際に、対象物の上を軽く叩くタップが、材質を通じて音波パターンを発生し、インパクトの位置に特有である音響学的特性を生み出す。コンピュータまたはＤＳＰボードに接続された音響センサーが、対象物内の音振動をとらえて、対応する音響学的特性を生成する。この技術は、特許文献１記載されている。

現在までのところ、上記技術は、一度にインタフェース手段上の１個のタップの位置を特定し、そのタップ、すなわちインパクトの特定された位置の関数として対応する動作を起動するように適応された技術である。しかし、最新の用途は、複数の同時入力の位置を特定する可能性及び／またはインタフェース手段上の入力手段のスライドする動きに対応して入力をトラッキングする可能性を有し、それにより操作性の向上と性能の向上をもたらす、マン・マシーン・インタフェースを要求している。

国際公開第０３／１０７２６１（Ａ２）号パンフレット

したがって、本発明の目的は、特に、諸入力が同じ強度で行なわれない場合についてインタフェース手段上の複数のインパクトの位置を特定することができる方法を提供することである。

この目的は、請求項１に記載の方法と請求項１１に記載の方法により達成される。

請求項１に記載の特徴によれば、１個以上のセンサーS_i、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF₁とF₂の位置を決定するための方法であり、前記インパクトF₁とF₂は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号s_i(t)、i = 1〜n（ｎはセンサーの数）を供給する、当該方法は、ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、ｂ）各々の検知信号s_i(t)と所定の基準信号r_ij(t)の比較、特に相関に基づく、上記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号s_i ^’(t)を決定するステップとを有する。

所定の基準信号r_ij(t)は、基準位置R_jにおけるインパクトに追従し、センサーs_iによって検知された信号に相当する。実際、少なくとも２個のインパクトの位置を決定できるようになる前に、ある一定の数の基準位置R_jにおいて与えられた一連の基準インパクトに追従し、諸センサーによって検知された信号の解析によってインタラクション面が特徴付けられる。一連の基準インパクトに追従し諸センサーによって検知された信号は、さらに、数値モデル化手法(光線追跡法、有限差分法、有限要素法、境界要素法、…）を用いてモデル化することができる。

この文脈において、「最も強いインパクト」は、２個以上のインパクトが同じ強度である場合も含む。この場合、当該方法は、これらのインパクトのうち、以下において「最も強いインパクト」に相当するとみなされる１個を選ぶように構成される。

検知信号を基準信号に比較することは、認識、神経回路網等からデータ解析、音声認識、信号認識を最適化するために修正された相関を含む相関などのいずれかの適当な方法によって行なうことができる。

時間領域で動作する代わりに、検知信号と基準信号のフーリエ変換を利用して実現される周波数領域で修正検知信号を決定することも、本発明により、もちろん可能である。

本発明の方法は、インパクトが同時に発生する場合、つまりインパクトが同時であるか、または好ましくは０から数10 msまでの時間範囲の短時間の期間に互いに続く場合に、２個のインパクトの位置を特定するように適合される。

検知信号を所定の基準信号に相関させる特異な性質により、２番目に強いインパクトの位置を決定できるように、特定された、特に、最も強いインパクトの影響を減少できる修正センサー信号を得ることが実際に可能になり、これは両方のインパクトが同時に実行される場合にも可能である。

好ましくは、ステップｂ）は、特に、検知信号s_i(t)のフーリエ変換S_i(ω)と基準信号r_ix(t)のフーリエ変換R_ix(ω)を使用して、各々の検知信号s_i(t)を、最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号r_ij(t)のうちの基準信号である、基準信号r_ix(t)に相関させるステップと、各相関積を所定の関数、特に複素指数関数に当てはめるステップと、相関積から当てはめられた関数を引くステップとをさらに有することができる。

最も強いインパクトに最も近い基準信号に相関させることにより、信号全体に対する最も強いインパクトの寄与分を強調できる。伝播の法則とフーリエ変換の法則に従い、この寄与分は、複素指数関数の形をとる。さらに、この複素指数関数を乱す可能性のあるその他のインパクトの寄与分は、むしろ小さいので複素指数関数による相関の当てはめは、最も強い信号の寄与分の近似を可能にする。次に、この近似値は信号全体から引かれ、その結果、引き算後には強さがより小さいインパクトからの寄与分が、基本的に、残りの相関値の部分となる。

この残りの相関値は、次位の最も強いインパクトの位置を決定するために使用される。そうするために、最も強いインパクト に対するのと同じ方法を使用できる。この方法はまた、基準インパクトと実際のインパクトの励振が同一であるかまたは少なくとも同等である状況に特に適合されると見られる。この最後の仮定は、実際のインパクトと基準インパクトの間の距離が動作周波数の最大値に依存する波長の最小値よりも小さいときに特に妥当である。

有利な代替の方法によれば、ステップｂ）は、検知信号s_i(t)のフーリエ変換S_i(ω)の各々を、最も強いインパクトの位置xに近接する、特に最も近い基準インパクトに対応する複数の基準信号r_ij(t)のうちの基準信号である、基準信号r_ix(t)のフーリエ変換 R_ix(ω)に相関させることによって、ｎ個の相関積S _i (ω)R _ix ^* (ω)を得ること、相関積S _i (ω)R _ix ^* (ω)をｎ個のセンサー間で平均化すること、ｎ個の相関積S _i (ω)R _ix ^* (ω)の平均の位相を決定すること、各々の相関積S _i (ω)R _ix ^* (ω)に平均の位相の複素共役を乗じて、修正された相関積を得ること、修正された相関積から実数部を引くこと、及び修正された相関積の残りの部分の各々に平均の位相を乗じることをさらに含んでなることができる。

第１の代替の方法と同様に、最も強いインパクトの寄与分を検知信号全体から取り除くために、最も強いインパクトの基準信号を使用した諸相関積を利用する。前述した利点に加えて、この方法は、基準励振と実際のインパクトの時間領域での波形及び／または振幅が同等ではない場合に特によく機能する。

有利には、ステップｂ）は、得られた結果に基準信号r_ix(t)のフーリエ変換R_ix(ω)を乗じて、修正検知信号s_i’(t)に対応する修正フーリエ変換S_i’(ω)を得ることをさらに含んでなることができる。基準信号R_ix(ω)の寄与分を取り除いた、最も強いインパクトが発生しなかった場合にセンサーが検知したものとされる信号と少なくとも同等である修正検知信号が得られる。したがって、この修正信号から、標準的な手順を使用して次位の最も強いインパクトを決定することができる。このタスクを実行することによって、２個の最も強いインパクトの位置を容易に決定できる。

好ましくは、ステップａ）は、特に、フーリエ変換S_i(ω)及びR_ij(ω)を使用して、検知信号s_i(t)の各基準信号 r_ij(t)との相関を決定すること、及び各基準信号r_ij(t)との相関積をセンサー間で平均化することを含んでなることができる。検知信号を基準信号の１つずつに関係付けることは、最も強いインパクトに最も近いまたは近接する基準信号に相関させたとき、最も強いインパクトの寄与分は増幅されるため、最も強いインパクトを特定することを可能にする。すべてのセンサー間で平均化することは、最も強いインパクトの特定をさらにしやすくする。

好適な実施形態によると、上記の方法は、修正検知信号s_i ^’(t)またはそのフーリエ変換S_i ^’(ω)を使用して、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有することができ、ステップｃ）は、特に、フーリエ変換S_i’(ω)及びR_ij(ω)を使用して、各センサーの修正検知信号s_i ^’(t)の各基準信号r_ij(t)との相関を決定すること、各基準信号r_ij(t)との相関積を、好ましくは時間領域において、センサー間で平均化することを含んでなる。最も強い寄与分は原則的に除去されたことがわかっているので、前述したように、２番目に強いインパクトに最も近い基準信号との相関は、修正検知信号に対する２番目に強いインパクトの寄与分を増幅し、それにより一連の相関積の中の最大値を探すことによってその特定が可能になるので、この方法は次位の最も強いインパクトを容易に特定できるようにする。全てのセンサー間で平均化することは２番目に強いインパクトの位置を確実に特定することに寄与する。

上記の方法によれば、第２のインパクトの振幅が最も強いインパクトの約0.01未満である場合でも、第２のインパクトを特定することが可能である。また、両方のインパクトがほとんど同じ強度である場合にも、２番目に強いインパクトを特定することも可能である。

時間領域において平均化することは特に興味深い。この形態では、振幅に対して総和がとられ、相関積の平均値の最大値は下がる。このため、最も強いインパクトに最も近い位置の基準信号との相関積の、その他の相関積、つまり、最も強いインパクトからより離れた位置の基準信号との相関積の平均値に対する比として定義されるコントラストが向上される。したがって、絶対値に対して総和がとられる周波数領域における平均化に比較して、時間領域における平均化は、より弱いインパクトを特定するのを大いに助けるよりよいコントラストを提供する。

有利には、次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）を繰り返すことができ、毎回、ステップａ）では、前回の実行時に特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正検知信号から新しい修正検知信号が決定される。したがって、２個のインパクトを特定することが可能なだけではなく、同時に与えられた複数のインパクトを、同じアルゴリズムを使用するたびに特定することもできる。

本発明の目的は、請求項１１に記載された方法によっても達成される。この方法は、１個以上のセンサーS_i、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF₁とF₂の位置を決定することにあり、前記インパクトF₁とF₂は１個以上のセンサーによって検知される信号を発生し、各センサーは検知信号s_i(t)、i = 1〜n（ｎはセンサーの数）を供給し、ａ）１個の、特に、最も強いインパクトの位置xを特定するステップと、検知信号s_i(t)のペアと対応する所定の基準信号のペアr_ij(t)及びr_i’j(t)の比較、特に相関にさらに基づく、最も強いインパクトの寄与分が減少される、検知信号s_i(t)に基づいた修正信号を決定するステップとを有する方法である。

請求項１に記載の方法に関して上に言及した定義と特性は、この第２の本発明の方法にも当てはまる。

この方法もまた、特に検知信号を基準信号に相関させることにより修正信号を取り出すことを可能にする。各センサーの信号を基準信号に相関させるのに代えて、ここでは２個のセンサーの相関が使用される。これは、基準励振の時間領域における励振と実際のインパクトの実際の励振を差異化できるという利点をもつ。この差異のほかにも、前述した方法に比べて同じ利点がこの方法により達成され得る。

有利には、ステップｂ）は、２個の検知信号s_i(t)とs_i’(t)のフーリエ変換を相関させることにより第１の相関積S _i (ω) S _i’ ^* (ω)を得ること、最も強いインパクトの位置に近接する、特に最も近い基準インパクトに対応する基準信号である対応する基準信号r_ix(t)とr_i’x(t)のフーリエ変換を相関させることにより第２の相関積R _ix ^* (ω) R _i’x (ω)を得ること、及び第１の相関積と第２の相関積を相関させて第３の相関積S _i (ω) S _i’ ^* (ω)R _ix ^* (ω) R _i’x (ω)を得ること、及び第３の相関積の実数部をセンサー・カップルのすべてのペア間で平均化すること及びこの平均を第３の相関積から引き、P_ii’x(ω)を得ることを含んでなることができる。この方法は、２個のインパクトの場合、第３の相関積は、４個の項、すなわち、最も強いインパクトに関係した項、それより弱いインパクトに関係した項、２個の混合項を有するという事実を利用する。上記と同様、最も強いインパクトの寄与分は減少されることになる。これは、第３の相関積の実数部の平均値を除去することにより得られる。実際に、混合項は複素数であり、諸センサーに対応し、それらの実数部はゼロ付近で振動し、ゆえに純粋に実数である強いインパクトの寄与分に相対して小さい。さらに別の仮定として、カップルの相関によるより弱いインパクト寄与分は強いインパクトの寄与分に相対して小さく、実数部の平均は最も強いインパクトに帰することができる。この実数部を第３の相関積から除去することにより、したがって、より弱いインパクトの寄与分を増幅できる。

有利には、当該方法は、すべての基準インパクトr_mとすべてのセンサー・カップルs_iとs_i’について、P_ii’x(ω)にR _ix (ω)R _im ^* (ω) + R _i’x ^* (ω)R _i’m (ω)の和を乗じること、その積の１つずつをフーリエ変換すること、及び各フーリエ変換の負時間部を正時間部に合算することを含んでなる、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有することができる。

これらのステップを実行することにより、最大値が得られる基準インパクト位置を単純に探すことによって次位のより弱いインパクトの位置を特定することが可能になる。この位置は第２のインパクトの１つに対応する。

有利には、ステップｃ）は、好ましくはは時間領域において、得られた合計値をすべてのセンサー・カップルs_iとs_i’で平均化することをさらに含んでなることができる。すべてのセンサー・カップル間での平均化により、信号対雑音比がよりよくなり（コントラストに関する上記説明を参照）、その結果、より強いインパクトに比較してより弱いインパクトの振幅間の比が非常に低い場合にも、より弱いインパクトの特定が可能になる。

有利な実施形態によれば、次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）を繰り返すことができ、毎回、ステップａ）では、前回の実行のステップｃ）で特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正信号から新しい修正信号が決定される。したがって、本方法は、２個のインパクト、特に同時に発生するインパクトに適用可能なだけではなく、さらに多くの数のインパクトにも拡張可能であり、その結果、マルチタッチのマン・マシーン・インタフェースが実現可能になる。

有利には、ステップａ）は、特に、フーリエ変換S_i(ω)及びR_ij(ω)を使用して、各センサーの検知信号s_i(t)の各基準信号r_ij(t)との相関を決定すること、及び各基準信号r_ij(t)との相関積を、好ましくは時間領域において、諸センサー間で平均化することを含んでなることができる。検知信号を基準信号の１つずつに関係付けることは、最も強いインパクトに最も近いまたは近接する基準信号に相関させたとき、最も強いインパクトの寄与分は増幅されるため、最も強いインパクトを特定することを可能にする。すべてのセンサー間で平均化することは、最も強いインパクトの特定をさらにしやすくする。

代替の方法によれば、ステップａ）は、２個の検知信号s_i(t)とs_i’(t)のフーリエ変換を相関させることにより第１の相関積S _i (ω) S _i’ ^* (ω)を得ること、基準信号r_im(t) とr_i’m(t)のフーリエ変換を相関させることにより第２の相関積R _im ^* (ω)R _i’m (ω)を得ること、第１の相関積と第２の相関積を相関させて第３の相関積S _i (ω)S _i’ ^* (ω)R _im ^* (ω)R _i’m (ω)を得ること、及び、相関積を、好ましくは時間領域において、センサーのカップルS_i とS_i’間で平均化することを含んでなることができる。最も強いインパクトを特定するこのやり方においても、相関の特性を利用し、センサー間の平均の最大値を見つけることによって位置が決定される。センサーのカップルと基準信号のカップルに注目することによって、分解能が向上される。

修正検知信号に基づいた次位のより弱いインパクトの位置を特定するために、同じ方法がステップｃ）にも使用できる。

有利な実施形態によると、当該方法は、上記のような方法を使用して表面上の連続するインパクトの軌跡を決定することを含んでなることができる。この利点は、例えば、異なる位置で実質的に同時に発生する２個のインパクトを決定するために使用された前述のアルゴリズムから得られ、ある方向の表面上に指のスライドする動きが確立されるように軌跡を決定することに応用できる。

好ましくは、第１及び第２のインパクトが上記軌跡上の連続する位置に対応する。同時に発生するインパクトを決定するために使用された方法に何も修正を加えずとも、当該方法は軌跡を確立するためにも適合する。

有利な実施形態によれば、センサーは、音響センサーであり得る。この文脈で、「音響センサー」は、例えば、圧電センサー、ピエゾ抵抗センサー、磁歪センサー、容量変位センサー、レーザ干渉センサー、電磁音響センサー（ＥＭＡＴ）といった音響信号を検知できるセンサーを意味する。複数のインパクトの特定は、音響信号が処理されるときに特によく機能するようであった。

本発明また、上記の方法の各ステップを実行するためのコンピュータで実行可能な命令を有する１個以上のコンピュータで読取り可能な媒体を含んでなるコンピュータ・プログラム製品に関係する。

本発明の目的は、表面上の少なくとも２個のインパクトF1とF2の位置を決定するための装置であり、処理ユニットと上記少なくとも２個のインパクトの結果である検知信号を上記処理ユニットへ送信するように構成、配置された１個以上のセンサーを具備する装置によっても達成され、上記処理ユニットは請求項１から１７のうちのいずれか一つに記載の方法を実行するように構成、設定される。この装置を使用して、前述の方法と同様の効果を得るこことができる。

本発明の様々な実施形態を詳細に説明するために、インタフェース板と複数の音響センサーを概略的に示す。 検知信号と所定の基準信号との相関関数の最大値を示す。 本発明を理解するために有用な例における、８個の異なる音響センサーについての相関関数の最大値を示す。 図３で得られた結果を平均化することのコントラスト上の効果。 様々な振幅比の２個のインパクトの場合の相関最大値を示す。 様々な振幅比の２個のインパクトの場合の相関最大値を示す。 様々な振幅比の２個のインパクトの場合の相関最大値を示す。 様々な振幅比の２個のインパクトの場合の相関最大値を示す。 本発明の第１の実施形態を示す。 第１の実施形態の第２のステップの詳細を示す。 すべての音響センサーについての相関関数S _i R _im ^* の最大値を示す。 相関関数S _i R _im ^* の最大値の平均値を示す。 より弱いインパクトの位置を特定するためにすべての音響センサーの修正検知信号を使用した相関関数S _i ’R _im ^* の最大値を示す。 相関関数S _i ’R _im ^* の最大値の平均値を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 1、0.7、0.3 及び0.01の振幅比をもつ２個のインパクトについて第１の実施形態によって得られた結果を示す。 本発明の第２の実施形態の第２のステップの詳細を示す。 第３の実施形態の処理ステップを示す。 音響センサーのカップルと基準信号のカップルの相関を使用した最も強いインパクトの決定に使用された結果を示す。 図１５の相関最大値の平均値を示す。 音響センサーのカップルと基準信号のカップルの修正相関を使用して第２のインパクトを決定するのに使用された結果を示す。 図１７の相関最大値の平均値を示す。

以下では、添付の図面と関連して本発明をさらに詳細に説明する。

図１は、インタフェース板３と複数の音響センサー５ａ〜５ｈ、ここでは８個の音響センサーを具備するマン・マシーン・インタフェース１を概略的に示す。音響センサー５ａ〜５ｈの出力は、音響センサー５ａ〜５ｈによって検知された信号を解析するように構成された処理ユニット（図示せず）へ接続される。音響センサーは、通常、増幅器とフィルタを備えた電子的調整ユニットを具備し、処理ユニットへ送信される前に最終的にアナログ信号がＡＤＣによって数値的に変換される。

この種のマン・マシーン・インタフェース１は、インタフェース板３を通じて伝播し、音響センサー５ａ〜５ｈによって検知される音波の認識に基づく。上記インタフェースは、自動販売機、パーソナル・コンピュータ、産業機械のインタフェース、家庭用電気製品のインタフェース、または装置に入力を供給するためにマン・マシーン・インタフェースを必要とするその他のいずれかの装置または状況などの多くの種類の装置に応用されている。入力の特定は音波に基づくので、インタフェース板３の材料は、ガラス、プラスチック板または木のような、それを通じて音波が伝播可能であるいかなる材料または混合材料であり得る。さらに、インタフェース板３の形状は、図示したような矩形である必要はなく、例えば、湾曲形状であるように、どのような形であってもよい。

使用された音響センサー５ａ〜５ｈは、圧電センサー型である。しかし、例えば、ピエゾ抵抗センサー、磁歪センサー、容量変位センサー、レーザ干渉センサー、電磁音響センサー（ＥＭＡＴ）などの、その他の種類の感圧センサーも使用可能である。図１の構成例では８個の音響センサー５ａ〜５ｈが使用されるが、マン・マシーン・インタフェース１の要求精度またはサイズにより、これより多数のまたは少数の音響センサーが使用され得る。図示された構成では、インタフェース板３の裏面に配置されることを示すために音響センサー５ａ〜５ｈは点線で描かれており、表面は、指先または手袋をはめた指またはスタイラス（ペン先）などを使って、ユーザがインパクトを与えることができる面である。しかしながら、マン・マシーン・インタフェース１は、この特殊な構成に制限されない。センサー５ａ〜５ｈのうちの少なくともいくつかはインパクトが発生する側のインタフェース板３の表面に配置することも本発明に適っている。

これらのインパクトが同時に及び／またはインタフェース板３上のスライド動作の結果として発生する場合にも、これらのインパクトの位置を決定するための方法を提供することが本発明のメリットである。しかしながら、本発明は３個のインパクトF₁〜F₃の特定に限定されず、利用可能な処理能力により、４個以上のインパクトに拡張可能であり、または２個だけのインパクトもあり得る。

各インパクトF_jは励振関数e_j(t)によって特徴付けられ、各センサーS_iは固有の応答関数c_i(t)をもつ。ここで「t」は時間を表わす。インパクトF_jに位置する励振をセンサーS_iの検知位置へ結び付ける関数は、h_ij(t)して定義される。これらの定義を用いて、インパクトF_j（j = 1〜M）（図１に示した状況ではM = 3）による同時の励振または準同時の励振（例えば、0 から数10 msの時間遅延内）に対するセンサーS_iの応答は次のように記述することができる。

ここで、アスタリスク印「 ^* 」は重畳積を表わす。以下では、式を簡単にするために、重畳積は単純な乗算積になる周波数領域で記述が行なわれる。しかしながら、すべての実施形態について、本発明の主旨から逸脱することなく、必要なデータ処理は時間領域でも実行され得る。この場合、式１は次のように記述できる。

ここで，指数関数中の項「j」は-1の平方根を表わす。S_i(ω)、C_i(ω)、H_ij(ω)及びE_j(ω)は、それぞれ、s_i(t)、c_i(t)、h_ij(t)及びe_j(t)のフーリエ変換である。「ω」は角周波数を表わす。「τ_j」はj番目のインパクトの励振関数の時間遅延である。

さらに以下で説明されるが、実施形態による音響インパクトF_jの位置の局所化は、各音響センサーS_iによって検知された信号S_k(ω)の基準信号R_km(ω)―時間領域では基準信号r_km(t)のフーリエ変換―との相関に基づく。基準信号r_km(t)は、実験的にまたは数値モデル化によって予め決定される。実際、r_km(t)は、位置R_m （m= 1〜 P）における基準インパクトに追従して音響センサーS_kによって検知された基準信号に相当する。図１では、一連のこのような基準位置は「+」印で示され、基準を示すR_mを付す。周波数領域における基準信号R_kmは、（検知信号の場合と同一の用語を使用して）次のとおりに表現できる。

基準インパクトの励振と実際のインパクト（F₁、F₂ または F₃）の励振が必ずしも同一である必要はないので、励振項E’_m(ω)は、式（２）の同項と異なる場合もある。

式２と式３、ここでi = k、の数式を相関させると、下記を得る。

全表面は基準インパクトR_mを使用して特徴付けられたという仮定の下、基準インパクト R_nの位置に一致する位置で実際に発生するインパクトFについて、位置R_nでの基準インパクトによって得られた基準信号との以下の相関が得られる。

時間領域において、式５の第１項は時間t = τ_nにおける相関最大値をもつが、基準励振とインパクト励振が少なくともほぼ同等であるE_n ≒ E’_nの場合この相関最大値は突出する。基準励振とインパクト励振が異なる場合、最大値はそれほど突出しない。

第２項の和は第２最大値をもつ相関を与えるが、その値はインタフェース板３の音響伝播の特性に本質的に依存する。使用材料の対称性に応じて、第２最大値が比較的重要である場合もあるが、第１項の最大値への影響は無視できるほど小さい。

好ましくは、インパクトの局所化を向上させるために、スペクトル振幅が１の値をもち、すべての情報が位相によって担われるように、信号は周波数領域において正規化される。この場合、信号とスペクトル振幅との自己相関が、１の相関最大値を与える。異なる信号の単一のスペクトル振幅との相互相関は、順次、１より小さい相関最大値をもつ。そうすることによって、スペクトル振幅が高いスペクトル・ゾーンの相関最大値の依存性を排除し、振幅はより低いが、局所化情報として重要とされるその他のスペクトル範囲を好都合に考慮に入れることができる。

図２は、位置R_nでの１個の基準インパクトと同一の位置で１個だけのインパクトが発生したという仮定の下、一連の音響センサー５ａ〜５ｈのうちの１個の音響センサーS_iでの、各基準インパクトR_m （図１で示したように、m = 1〜P）に対する相関関数の最大値を示す。値は、M（インパクトの数）を1として、式４から得られ、すべての所定の基準信号r_im （下付き記号iは当該音響センサーに対応する）について式４の逆フーリエ変換により得た相関積の時間領域での最大値を示す。

図２は、相関関数の最大値の最大点は基準位置R_nで得られることを明瞭に示す。すなわち、最大点の局所化は、インタフェース板３上のインパクトFの位置を示す。

しかし、その他の基準位置R_m（m ≠ nのとき）の相関関数の最大値もある役割を果たす。特に、２個以上の同時のインパクトの局所化を解析しなければならない場合、基準位置R_n以外の基準位置の相関関数 c_i-av （ここでも、i は当該音響センサーS_i を表わしている) の最大値の平均値がある役割を果たす。c_i-avの値は、信号の継続時間に強く依存し、インパクトの継続時間がより長いほど、より低くなる。

２個以上の音響センサーの使用（図１に示した状況では８個のように）は、局所化の分解能と信頼性を向上させることを可能にする。１個のインパクトを局所化するために複数の音響センサーが使用されるとき、相関結果を合成するのに二つの可能性がある。まず第一に、基準信号のすべてR_im（m = 1〜 P）を対象とした式５の相関積の逆フーリエ変換の後、i = 1〜n （n は音響センサー数S_i）とした相関結果C_iを周波数領域または時間領域で平均化することができる。

第１のケースでは、相関積の最大値（図２参照）と平均値 C_iavとの比であると定義されるコントラストは、絶対値の総和が行なわれる場合に一定のままである。第２のケースでは、総和は振幅に対して行なわれ、時間領域における相関積の平均値の最大値が減少する。したがって、この第２の平均化方法（以下では時間領域での平均化と呼ぶ）を使用すれば、複数の音響センサーの結果を合成するときに向上したコントラストが得られる。

図３は、インタラクション板３上の単一のインパクトFの場合の前述の処理ステップの実験結果を示す。この結果は、図１に示したように配置された、すなわち、各辺縁の近くに２個ずつのセンサーがインパクトの面に対してインタラクション板の裏側の面に配置された８個の音響センサー（ここでは圧電センサー）を使用した、400 x 300 x 4.5 mm³の寸法のガラス板（インタラクション板３として）について得られたものである。基準インパクトR_mは、両方向に10mmのサンプリング間隔をとり、ガラス板の全表面にわたり設定された。サンプリング速度は、12ビットの精度で48kHzであった。

図３は、ガラス板（インタフェース板３）の中心近くのインパクトについて、８個の音響センサーS_iの１つずつでの、検知信号S_i(ω)のすべての基準信号R_im(ω)との相関を示す。この実験状況で観測されたコントラストは、約2.4であった。図４に示す、時間領域での平均化による８個の音響センサーの平均値では、約5.7と向上したコントラストとインパクトの位置のより明確な特定が得られる。

すでに述べたように、コントラストは、実験状態においても、音響センサーの数が増えると共に向上する。上記実験状態で、２個のセンサーの場合は3.7のコントラスト、４個のセンサーの場合は4.8のコントラスト、８個のセンサーの場合はすでに述べた5.7 のコントラストが観測された。

以下では、２個以上のインパクトがインタフェース板３で発生する状況について説明する。図５ａ〜５ｄは、２個の同時のインパクトの場合の検知信号S_i(ω)のすべての基準信号R_im(ω)との相関積の最大値の平均値を示す。図５ａは２個のインパクトの励振振幅間の比が１に等しい場合の結果を示し、図５ｂは上記比が0.7に等しい場合、図５ｃは上記比が0.3に等しい場合、図５ｄは上記比が0.1に等しい場合である。図５ａと図５ｂの状況は２個のインパクトの位置を特定できる可能性を示す、すなわち、 式４と式５の相関積に基づいて、左側下の２個の位置は２個の個別の最大値を示すが、最も強いインパクトの位置での１個の最大値を示すだけである図５ｃと図５ｄに示すように、２個のインパクトの振幅の比があるしきい値を超える場合、より弱いインパクトの位置の特定はもはや不可能になる。

現に、インパクトの振幅間の差が重要である場合、より弱いインパクトの相関最大値は非常に低いため上記に定義した平均値 C_iavの値に達し、そのため背景に紛れてしまう。

第１の実施形態
図６は、上述した問題を克服する方法として、１個以上の音響センサーS_i（i = 1 〜 n 、n は音響センサーの数である）を使用して、表面、ここではインタフェース板３上の少なくとも２個のインパクトF₁とF₂の位置を決定するための本発明の方法の第１の実施形態を示す。

ステップＳ１は、１個のインパクトの位置xを特定することにある。本実施形態では最も強いインパクトが特定されるが、本発明は最も強いインパクトの特定に限定されない。第１の実施形態によると、請求項１のステップａ）に相当するステップＳ１は、上記にすでに詳しく説明したように、特に、計算を容易にするために各々のフーリエ変換S_i(ω)とR_ij(ω)を使用して、音響センサー５ａ〜５ｈの１つずつにより検知された信号s_i(t)の基準信号r_ij(t)の１つずつとの相関を決定することを含んでなる。ステップＳ１は、次に、基準信号r_ij(t)の１つずつとの相関積を、好ましくは時間領域において、諸音響センサーS_i間で平均化することをさらに含んでなる。これらの方法ステップは、図５ａ〜５ｄに示したデータを生み出す。インタフェース板３上の最も強いインパクトの位置xは、次に、平均化した相関最大値の中の最大値を特定することによって決定される。

本発明の第１の実施形態の、請求項１のステップｂ）に相当するステップＳ２は、位置xでの最も強いインパクトによる寄与分が減少される、各音響センサーS_iの修正検知信号s_i(t)を決定することを含んでなる。このステップは、検知信号s_i(t)の１つずつと位置R_jでの基準インパクトに対応する所定の基準信号r_ij(t)の相関に基づく。

第１の実施形態では、ステップＳ２は、図７に示す一連の処理ステップを有する。ステップＳ２＿１は、検知信号s_i(t) の１つずつを最も強いインパクトの位置xでの基準インパクトに対応する基準信号である基準信号r_ix(t)に相関させることにある。この相関は、上記のように好ましくは、検知信号s_i(t)のフーリエ変換S_i(ω)に基準信号r_ix(t)のフーリエ変換R_ix(ω)を乗じることにより実行される。次に、ステップＳ２＿２において、相関積の１つずつが複素指数関数に当てはめられ、ステップＳ２＿３において、次に、当てはめられた関数が対応する相関積から引かれる。ステップＳ２＿４では、次に、得られた結果に基準信号r_ix(t)のフーリエ変換R_ix(ω)を乗じて、修正検知信号s_i’(t)に対応する修正フーリエ変換S_i’(ω)を得る。

ステップＳ１中で最も強いインパクトを得たのと同じやり方で、次に、上記修正検知信号から、ステップＳ３中で次位の最も強いインパクトの位置を決定できる。

２個の同時のインパクトF₁とF₂の場合で、当てはめられた複素指数関数を引くことの役割を今から詳しく説明することにする。当てはめられた複素指数関数を引くことによる最も強いインパクトの寄与分の除去は、以下の考察に基づく。

第１及び第２のインパクトF₁とF₂は、２個の基準インパクトの位置R_xとR_yに一致する２個の位置で実際に発生するという仮定の下で、式５は次のようになる。

ここで、R _ix ^* は、最も強いインパクトの位置xに対応する基準信号R_xのフーリエ変換の複素共役である。さらに、励振関数E_xのフーリエ変換はE’_xと同一であると考えられ、つまり、所定のインパクトと上記インパクトF₁とF₂は時間軸上で同一の波形を持つことを意味する。

式６は、第２のインパクトが弱い場合、位置yでのより弱いインパクトの位相をもつ第２項は、位置xでの第１のインパクトの位相情報をもつ第１項に相対して小さいということを明瞭にする。これは、|E_y|/|E_x| の比が１未満であることに起因する。第２のインパクトに比較して第１のインパクトが強い場合、第２のインパクトに関する情報は背景ノイズに紛れてしまう。本実施形態による本発明の方法は、第２のインパクトに関する情報とインタフェース板上のその位置検出が可能になるように、式６における第１項の寄与分を排除するまたは少なくとも減少させる処理を行なう。

変数 α_i12 と β_i1を導入し、

式６は次のように記述できる。
そして
が１よりも小さいとき、式８は第１の近似として次のようになる。

S _i R _ix ^* の特性（図９に示す）により、複素指数関数 γexp(-jωθ)は、各音響センサーS_iのS _i R _ix ^* を当てはめることにより、τ_x と β_ixの値を決定するために使用できる。

当てはめられた関数γexp(-jωθ)を相関積 S _i R _ix ^* から引くことにより、下記が得られる。

次に、この結果にR_ixを乗じることにより、修正検知信号のフーリエ変換を得る。

以上のように、和の中の第２項の位相は、インパクトF₂の信号の位相にのみ依存する。εe が第２項に比較して小さいとき、第１のインパクトの寄与分が減少されたS_i’のフーリエ変換である修正検知信号が得られる。

第２のインパクトの位置を特定するために、式１１のS’_iに基準信号R_imが乗じられ、これらの相関積最大値の中の最大値が決定される。この最大値は、ひいてはインタラクション板３上の２番目に強いインパクトが発生した位置を示す。

図８から図１１は、１個のインパクトの場合の前述したのと同じ実験構成における２個の同時のインパクトについての実験結果を示す。ここで、より弱いインパクトのより強いインパクトに対する振幅の比は1/10である。

図８は、インタフェース板３の縁部に置かれた８個の音響センサーの１つずつでの相関積S _i R _im ^* の最大値を示す。図９は、時間領域での平均化により計算された平均値の相関積の最大値を示す。図８と図９から見てとれるように、相関積の諸プロットは１個の最大値を示しており、インタラクション板３上で２個のインパクトが発生したにもかかわらず、１個の最大値を示す。

本発明の第１の実施形態の前述した方法ステップＳ２＿１からＳ２＿４を適用すると、図１０に示すとおりの結果が得られる。図１０でも相関積の最大値を示すが、これらの最大値はここでは修正検知信号S_i’に基づいたものである。図１１は、すべての音響センサー間の対応する平均値（ここでも時間領域で平均化された）を示す。図９では第２のインパクトは見えなかった（背景のノイズに紛れて）けれども、図１０及び１１では相関最大値の中の最大値を注視することによって第２のインパクトを明瞭に特定できるのは、最も強いインパクトの寄与分が減少されている修正検知信号が使用されたためである。その結果、第１のインパクトの強度の1/10でなされた第２のインパクトの位置をインタフェース板３の右上の縁部に特定することができる。

図８〜１１は、振幅比が1/10の２個のインパクトのケースを示す。しかしながら、第１の実施形態の方法は、図１２ａ〜１２ｈからわかるように、広い範囲にわたる振幅比に対して機能する。図１２ａから図１２ｈの結果は、インパクトの振幅が異なるだけで、図８から図１１のケースで説明したのと同様に得られた。

図１２ａと図１２ｅは振幅比が１の場合の最も強いインパクトと「より弱い」インパクトの局所化の結果を示し、図１２ｂと図１２ｆは振幅比が0.7の場合の最も強いインパクトとより弱いインパクトの位置を示し、図１２ｃと図１２ｄは振幅比が0.3の場合を示し、図１２ｄと図１２ｈは振幅比がたった0.01の場合を示す。図１２は、比が１あっても第１の実施形態が機能することを示す。この場合、しかし、図１２ａで見てとれるように、２個のインパクトの位置が同時に可視となる。これは0.7の比でも同様である。けれども、対応する第２の図（１２ｅと１２ｆ）ではコントラストが対応する図１２ａと図１２ｂの場合りも高いことから、修正検知信号を使用すれば、１個のインパクトの影響を減少でき、第２の位置の正確な特定につながる。

第２の実施形態
本発明による第２の実施形態も１個以上の音響センサーS_i、i = 1〜n（n は音響センサーの数）を使用して、インタフェース板３のような表面上の少なくとも２個のインパクトF₁とF₂の位置を決定するための方法に関係し、前記インパクトF₁とF₂は１個以上の音響センサーS_iによって検知される音響信号を発生し、各音響センサーは検知信号s_i(t)、i = 1〜n（nは音響センサーの数）を供給する。

第１の実施形態と第２の実施形態の違いは、ステップＳ２（図６参照）において、修正検知信号 s_i’ が異なる方法で決定される点にあり、第１の実施形態に比べて時間及び空間での分解能の向上をもたらし、ユーザによるインパクトの励振の波形が所定の基準インパクトの波形と比較して異なる場合に有利に応用される。第２の実施形態によるＳ２の各ステップを図１３に示す。

したがって、第２の実施形態は、本質的に、E_x ≠ E’_xの場合に対処する。しかしそれでも、第２の実施形態による方法は、ユーザによるインパクトと基準インパクトが本質的に同じ波形をもつ状況においてももちろん適用され得る。

２個のインパクトについて、式５は次のように記述できる。

ここで、第１の実施形態と同様に、重畳(convolution)はここでも検知信号S_iのフーリエ変換にR _ix ^* を乗じることによって行なわれるように、最も強いインパクトが位置R_xで発生したみなされる。

第２のインパクトは第１のインパクトよりも相当に弱い(E_y << E_x)という仮定の下で、式１２は次のように近似される。

したがって、ステップＳ２＿１０は、位置R_xでの基準信号のフーリエ変換を示すR_ixとの相関積 S _i R _ix ^* を決定することにある（図７のステップＳ２＿１と同様）。

次のステップＳ２＿１１として、コントラスト因子を最適化するために、相関積S _i R _ix ^* がｎ個（この例では８個）の音響センサーS_i間とすべての周波数にわたり平均化される。

ステップＳ２＿１２は、次に、相関積S _i R _ix ^* の平均の位相を決定することにある。励振関数の位相は特有であり、すべてのセンサーS_iによって検出されるので、この位相値は、本質的に、式１３における位相の値に相当する。式１２における第２項による位相寄与分は無視できる。第２項は第１項に比べて小さく、その上、平均化によりさらに減少されるためである。したがって、このように処理を進めることにより、第１項の位相を決定できる。

次に、ステップＳ２＿１３は、相関積S _i R _ix ^* の１つずつに相関積S _i R _ix ^* の平均の位相の複素共役を乗じることにあり、これにより次のように修正された相関積を得る。

ここで、Correc ^* は、平均値の位相の上記の複素共役を示す。E_y << E_xであると想定される場合、式１４の実数部は第１項に大部分起因するため、式１４から実数部を引く（ステップＳ２＿１４）ことにより、最も強いインパクトに起因する第１項の寄与分を減少または除去さえできる。

次に、ステップＳ２＿１５により、修正された相関積の残りの部分に平均の位相が乗じられ、それにより下記が得られる。

最後に、所望の修正検知信号 S_i’を得るために、ステップＳ１＿１５において得られた結果に基準信号r_ix(t)のフーリエ変換R_ix(ω)が再度乗じられ、これにより次のような最も強いインパクトの寄与分が減少された修正検知信号を得る。

第２のインパクトの位置を得るために、第１の実施形態と同様に、図６に示したとおりステップｓ３をここでも実行することができる。修正検知信号S_i’には、したがって、基準信号のフーリエ変換R _ix ^* のすべてが乗じられ（時間領域での相関に相当する）、相関最大値が互いに比較される。インタフェース板３上の第２のインパクトの位置は、相関最大値中の最大値に一致する。

第３の実施形態
本発明の第３の実施形態は、１個以上の音響センサーS_i、i = 1〜n（n は音響センサーの数）を使用して、図１に示したインタフェース板３のような表面上の少なくとも２個のインパクトF₁とF₂の位置を決定するためのさらに別の方法に関係し、上記インパクトF₁とF₂は１個以上の音響センサーS_iによって検知される音響信号を発生し、各音響センサーは検知信号s_i(t)、i = 1〜nを供給する。第２の実施形態と同様、第３の実施形態も、実際のインパクトの励振と所定の基準インパクトの励振が異なる場合に、インタフェース板３上の両方のインパクトの位置の局所化をそれでも達成できるように、向上した分解能を提供する。第３の実施形態の各処理ステップを図１４に示す。

ステップＳ１は、第１及び第２の実施形態の同ステップに対応する。

検知信号の基準信号との相関を処理する第１及び第２の実施形態とは大きく違って、第３の実施形態は、検知信号の一対になった相関(S _i S _i’ ^* )と基準信号の一対になった相関(R_ixR_ix’)に基づく。

式２から始めると、音響センサーS_iとS_i’の一対になった相関は次の形態をとる（第１の相関カップル）

基準信号に関しては、位置R_m（図１を参照）で実現された基準インパクトに対する音響センサーR_imとR_i’mについて、次の相関結果が得られる（第２の相関カップル）。

ステップＳ２−２０とステップＳ２＿２１は、したがって、式１７と式１８に示したような相関カップルを決定することにある。

ステップＳ２０＿２２は、次に、第３の相関積、すなわち、S _i S _i’ ^* R _im R _i’m ^* を得るために、第１の相関積と第２の相関積を相関させることにある。

２個のインパクトF₁とF₂ が基準インパクトの位置、すなわち、R_xとR_yで発生したという仮定の下で、相関積S _i S _i’ ^* は次のように記述できる。

係数|E_y| < |E_x|であるとき、|E_x|² >> |E_xE_y| >> |E_y|²のように、和の中の第１項は支配的であり、第２項は最小である。この場合、第２のインパクトの信号の、インパクトの位置を特定するために最も重要な情報である位相は、最も強いインパクトの背景ノイズに紛れる。しかし、ここでは第３項と第４項も第１のインパクトの情報と第２のインパクトの情報ももっている。

前の実施形態と同様に、最も強いインパクトを位置R_xにとるとすると、位置R_xでの基準インパクトの相関に相関させた相関S _i S _i’ ^* は、下記を与える。

第１の実施形態とは異なり、第３の実施形態は、第１のインパクトだけの寄与分をその寄与分を除去するために特定することを目指さずに、この寄与分の特定は、式２０では、第１項、第３項及び第４項（これらのすべでが第１のインパクトの情報をもっている）に対応しており、（特定された第１項、第３項及び第４項を除去することによって）最終的に第２項を特定するようにし、それにより第２のインパクトの位置の情報を得る。実質的には、第３の実施形態によれば、第３項と第４項の寄与分を特定することに注目し、これらを使用して第２のインパクトの位置を特定する。

そうするために、ステップＳ２＿２３は、次に、第３の相関積S _i S _i’ ^* R _im R _i’m ^* の実数部を音響センサー・カップルの全ペア間で平均化し、得られた平均値を第３の相関積から引くことにある。得られた結果は、以下ではP_ii’xと呼ぶ。

式２０からわかるように、第１項は自己相関を示し、したがって実数値をもつ。第２項から第４項は複素数であり、音響センサーのすべてのカップルを総和することにより、それらの実数部は０付近を振動するという事実に基づき、それらの寄与分は強力に減少されるようである。

すべてのセンサー・カップルに対してP_ii’Xを決定したら、第３の実施形態による方法は、この値から第２のインパクトの位置を抽出すること（ステップＳ３）へと進む。

ステップＳ３＿２４は、すべての基準インパクトR_mとすべてのセンサー・カップルS_iとS_i’について、P_ii’xにR _ix R _im ^* + R _i’x ^* R _i’m の和を乗じることにある。

次のステップ（ｓ３＿Ｓ２５）は、得られた積の１つずつをフーリエ変換することとフーリエ変換の１つ１つの負時間部を正時間部に合算することにある。

ここで、H _x ^* H _iy 項とH _ix H _i’y ^* 項を除き、式２０中の第３項と第４項は複素共役項に相当するという事実を利用する。m = y （つまり第２のインパクトの位置）として、２個の結果的に生じた積のフーリエ変換は、時間軸に対して正反対の値に最大値をもつ。したがって、正しい結果を得るには、２個の積の１つを共役する必要がある。このように、ステップＳ３＿２３とＳ３＿２５を実行することによって、式２０の第３項と第４項を特定できる。

図１５から図１８は、第１及び第２の実施形態で上記説明したとおりの実験設定において、振幅比が1/10である２個のインパクトについての実験結果を示す。

図１５は、２８個の可能なセンサー・カップル（センサーの順列と自己相関は考慮に入れない）の検知信号の相関及び対応する基準信号R _im R _i’m ^* のカップルの相関により得られた相関最大値を示す。図１６は次に、コントラストを向上させるために平均化が時間領域で行なわれる、図１５に示した相関積の平均値をここでも示す。第１の実施形態と同様に、センサー・カップルの相関最大値中の最大値が最も強いインパクトの位置xを指し示す。この例では、最も強いインパクトの位置はインタラクション板３の右上の部分にある。

これは、実質的に、最も強いインパクトの位置を決定すること（ステップＳ１）の代替的な方法に相当する。第１の実施形態のステップＳ１との違いは、１個のセンサーからの検知信号のすべての基準信号との相関を使用する代わりに、ここでの第３の実施形態では、センサーのカップルと基準信号のカップルを対象にして相関が決定される。実際に、カップルの使用は分解能を向上させ、２個のインパクトの励振関数の影響を排除する。

検知信号に対して上述した方法ステップＳ２＿２０からＳ３＿２５を実行し、そして最も強いインパクトの情報を使用すると、図１７及び図１８に示した結果を得る。

図１７は、ステップＳ３＿２５の終了時に得られた修正信号に基づいた、２８個のセンサー・カップルと対応する基準信号カップルの相関積の最大値を示す。図１８は、２８個のカップル間の平均値を示し、ここでもコントラストを向上させるために時間領域で平均化が行なわれる。図１６はインタフェース板３の右側上に１個のインパクトを明瞭に示しただけだが、図１８は、1/10の振幅比の場合で、第１のインパクトの下に第２のインパクトの位置を示す。

第１の実施形態と同様に、大きな範囲にわたる振幅比に対して同様の結果を得ることができ、例えば、1/100から１までの振幅比において第２のインパクトを局所化できる。

第１から第３の実施形態は２個の同時のインパクトの例を用いて説明されたが、すべての実施形態は３個以上の同時のインパクトを決定するように適合可能であるということを言及するのは重要である。これは、修正信号S_i’を次位のより弱いインパクトの位置を決定するための開始点として毎回用いることによって実現される。

もちろん、第１から第３の実施形態による方法の各ステップは、利用可能な処理能力と要求される時間的及び空間的分解能に応じて、組み合わせること及び／または交換することが可能である。特に、検知信号から開始する最も強いインパクトの位置を決定するステップは、相関S_iR_imにまたはカップルの相関S _i S _i’ ^* R _im ^* R _i’m に基づくことができる（ステップＳ１）。より弱いインパクトの位置の決定の場合にも、該当位置の局所化は、相関S_iR_imに（第１の実施形態のように）またはカップルの相関S _i S _i’ ^* R _im ^* R _i’m に（第３の実施形態で説明したように）基づくことができる。

本発明の第４の実施形態は、表面上の連続するインパクトの軌跡を特定するために、上述した第１から第３の実施形態を、特に、ユーザによるインパクトと基準インパクトの励振の波形の差異に対して時間的分解能が向上される第２と第３の実施形態を利用する。この実施形態では、したがって、インパクトは同時ではなく、インタフェース板３上の指のスライド動作のような軌跡が、10 Hzから100 Hzのサンプリング速度で連続的な励振として解釈される。本発明の実施形態をトラッキング用途に適用する際には、軌跡上の一連の位置は、「より古い」位置をより弱いインパクトとみなし、軌跡上のより新しい位置をより強いインパクトとみなすことにより決定される。連続した曲線である実際の軌跡は、例えば、カルマン・フィルタのような適合された空間フィルタを使用して得られる。

音響センサーを使用する用途について実施形態を説明してきたが、本発明の方法は、本発明の範囲を逸脱せずにその他の種類のセンサーにも適用可能である。

上述した本発明の方法（第１〜第４の実施形態）は、マン・マシーン・インタフェースを必要とするどのような装置にも応用され、同時のまたは準同時の（第４の実施形態のように）インパクトの位置をそれほど負担のかかる計算能力を必要とせずに確実なやり方で決定できる利点をもつ。これは、最も強いインパクトがいったん局所化された後に、検知信号と所定の基準信号の重畳特性を利用する修正検知信号が決定されるということによる。

Claims (25)

1. １個以上のセンサーS_i、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF₁とF₂の位置を決定するための方法であり、前記インパクトが同時に発生するか、または短時間の期間に互いに続く場合、前記インパクトF₁とF₂は１個以上のセンサーによって検知される音響信号を発生し、各センサーは検知信号s_i(t)、i = 1〜n（ｎはセンサーの数）を供給し、
   ａ）１個のインパクトの位置xを特定するステップと、
   ｂ）各々の検知信号s_i(t)と位置jにおける基準インパクトR_jに対応する所定の基準信号r_ij(t)の比較に基づく、前記特定されたインパクトによる寄与分が減少される各センサーの修正検知信号s_i’(t)を決定するステップと、
   を有する方法。
2. 前記ステップａ）において最も強いインパクトの位置が特定される、
   請求項１に記載の方法。
3. 前記比較は相関である、
   請求項１または請求項２に記載の方法。
4. ステップｂ）は、
   ｂ１）各々の検知信号s_i(t)を、近接する基準インパクトに対応する複数の基準信号r_ij(t)のうちの基準信号である、基準信号r_ix(t)に相関させるステップと、
   ｂ２）各相関積の１つずつを複素指数関数に当てはめるステップと、
   ｂ３）相関積から当てはめられた関数を引くステップと、
   を有する、請求項１または請求項２に記載の方法。
5. 前記ステップｂ１）は、
   検知信号s_i(t)のフーリエ変換S_i(ω)と基準信号r_ix(t)のフーリエ変換R_ix(ω)を使用することを含む、請求項４に記載の方法。
6. ステップｂ）は、
   ｂ１）検知信号s_i(t)のフーリエ変換S_i(ω)の各々を、近接する基準インパクトに対応する複数の基準信号r_ij(t)のうちの基準信号である、基準信号r_ix(t)のフーリエ変換 R_ix(ω)に相関させることによって、ｎ個の相関積S _i (ω)R _ix ^* (ω)を得ることと、
   ｂ２）相関積S _i (w)R _ix ^* (ω)をｎ個のセンサー間で平均化することと、
   ｂ３）ｎ個の相関積S _i (ω)R _ix ^* (ω)の平均の位相を決定することと、
   ｂ４）各々の相関積S _i (ω)R _ix ^* (ω)に平均の位相の複素共役を乗じることにより、修正された相関積を得ることと、
   ｂ５）修正された相関積から実数部を引くことと、
   ｂ６）修正された相関積の残りの部分の各々に平均の位相を乗じることと、
   を含んでなる、請求項１または請求項２に記載の方法。
7. 前記ステップｂ１）において、前記基準インパクトは、前記最も強いインパクトの位置xに最も近い、請求項４または請求項６に記載の方法。
8. ステップｂ）は、得られた結果に基準信号r_ix(t)のフーリエ変換R_ix(ω)を乗じることにより、修正検知信号s_i’(t)に対応する修正フーリエ変換S_i’(ω)を得ることをさらに含んでなる、請求項４または請求項６に記載の方法。
9. 修正検知信号s_i’(t)またはそのフーリエ変換S_i’(ω)を使用して、次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有し、ステップｃ）は、
   - フーリエ変換S_i’(ω)及びR_ij(ω)を使用して、各センサーの修正検知信号s_i’(t)の各基準信号r_ij(t)との相関を決定することと、
   - 各基準信号r_ij(t)との相関積を、時間領域において、センサー間で平均化することと、
   を含んでなる、請求項１から請求項８のいずれかに記載の方法。
10. 次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）が繰り返され、毎回、ステップａ）では、前回の実行時に特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正検知信号から新しい修正検知信号が決定される、請求項９に記載の方法。
11. １個以上のセンサーS_i、i = 1〜n（ｎはセンサーの数）を使用して、表面上の少なくとも２個のインパクトF₁とF₂の位置を決定するための方法であり、前記インパクトが同時に発生するか、または短時間の期間に互いに続く場合、前記インパクトF₁とF₂は１個以上のセンサーによって検知される音響信号を発生し、各センサーは検知信号s_i(t)、i = 1〜n（ｎはセンサーの数）を供給し、
    ａ）１個のインパクトの位置xを特定するステップと、
    ｂ）検知信号のペアs_i(t)及びs_i’(t)と前記特定された基準インパクトにRjに対応する所定の基準信号のペアr_ij(t)及びr_i’j(t)の比較に基づく、前記特定されたインパクトの寄与分が減少される、検知信号s_i(t)に基づいた修正信号を決定するステップと、
    を有する方法。
12. 前記ステップａ）において最も強いインパクトの位置が特定される、
    請求項１１に記載の方法。
13. 前記比較は相関である、
    請求項１１または請求項１２に記載の方法。
14. ステップｂ）は、
    ｂ１）２個の検知信号s_i(t)とs_i’(t)のフーリエ変換を相関させることにより第１の相関積S _i (ω) S _i’ ^* (ω)を得ることと、
    ｂ２）近接する基準インパクトに対応する基準信号である、対応する基準信号r_ix(t)とr_i’x(t)のフーリエ変換を相関させることにより第２の相関積R _ix ^* (ω)R _i’x (ω)を得ることと、
    ｂ３）第１の相関積と第２の相関積を相関させて第３の相関積S _i (ω) S _i’ ^* (ω)R _ix ^* (ω)R _i’x (ω)を得ることと、
    ｂ４）第３の相関積をセンサー・カップルの実数部のすべてのペア間で平均化すること及びこの平均を第３の相関積から引き、P _ii’x (ω)を得ることと、
    を含んでなる、請求項１１に記載の方法。
15. 前記ステップｂ２）において、前記基準インパクトは、前記最も強いインパクトの位置xに最も近い、請求項１４に記載の方法。
16. 次位のより弱い第２のインパクトの位置を特定するステップｃ）をさらに有し、ステップｃ）は、
    - すべての基準インパクトR_mとすべてのセンサー・カップルS_i及びS_i’について、P_ii’x(ω)にR _ix R _im ^* + R _i’x ^* R _i’m の和を乗じることと、
    - その積の１つずつをフーリエ変換することと、
    - 各フーリエ変換の負時間部を正時間部に合算することと、
    を含んでなる、請求項１１または請求項１４に記載の方法。
17. ステップｃ）は、時間領域において、得られた合計値をすべてのセンサー・カップルS_i及びS_i’で平均化することをさらに含んでなる、請求項１６に記載の方法。
18. 次位のより弱いインパクトの位置を特定するために、ステップａ）からステップｃ）が繰り返され、毎回、ステップａ）では、前回の実行のステップｃ）で特定されたインパクトの位置が最も強い位置xと見なされ、ステップｂ）では、前回の実行時に決定された修正信号から新しい修正信号が決定される、請求項１６または請求項１７に記載の方法。
19. ステップａ）は、
    - フーリエ変換S_i(ω)及びR_ij(ω)を使用して、各センサーの検知信号s_i(t)の各基準信号r_ij(t)との相関を決定することと、
    - 各基準信号r_ij(t)との相関積を、時間領域において、諸センサー間で平均化することと、
    を含んでなる、請求項１から請求項１８のいずれかに記載の方法。
20. ステップａ）は、
    - ２個の検知信号s_i(t)とs_i’(t)のフーリエ変換を相関させることにより第１の相関積S _i (ω) S _i’ ^* (ω)を得ることと、
    - 基準信号r_im(t)とr_i’m(t)のフーリエ変換を相関させることにより第２の相関積R _im ^* (ω)R _i’m (ω)を得ることと、
    - 第１の相関積と第２の相関積を相関させて第３の相関積S _i (ω) S _i’ ^* (ω)R _im ^* (ω)R _i’m (ω)を得ることと、
    - 相関積を、時間領域において、センサーのカップルS_i とS_i’の間で平均化すること、
    を含んでなる、請求項１または請求項１１に記載の方法。
21. 請求項１から請求項２０のいずれかに記載の方法を使用して、表面上の連続するインパクトの軌跡を決定するための方法。
22. 第１及び第２のインパクトが前記軌跡上の連続する位置に対応する、請求項２１に記載の方法。
23. 前記センサーは音響センサーである、請求項１から請求項２２のいずれかに記載の方法。
24. 請求項１から請求項２３のうちのいずれか一つに記載の方法の各ステップを実行するためのコンピュータで実行可能な命令を有する１個以上のコンピュータで読取り可能な媒体を含んでなるコンピュータ・プログラム。
25. 表面上の少なくとも２個のインパクトF₁とF₂の位置を決定するための装置であり、前記インパクトが同時に発生するか、または短時間の期間に互いに続く場合、
    - 処理ユニットと、
    - 前記少なくとも２個のインパクトの結果である検知信号を前記処理ユニットへ送信するように構成、配置された１個以上のセンサーと、を具備し、
    前記処理ユニットは、請求項１から請求項２３のいずれかに記載の方法を実行するように構成、設定される、装置。