JP2021072136A - ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 - Google Patents
ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 Download PDFInfo
- Publication number
- JP2021072136A JP2021072136A JP2021012756A JP2021012756A JP2021072136A JP 2021072136 A JP2021072136 A JP 2021072136A JP 2021012756 A JP2021012756 A JP 2021012756A JP 2021012756 A JP2021012756 A JP 2021012756A JP 2021072136 A JP2021072136 A JP 2021072136A
- Authority
- JP
- Japan
- Prior art keywords
- processor
- muscle activity
- electronic device
- user
- wearable electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/32—Remote control based on movements, attitude of remote control device
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
より詳細には、筋活動センサ信号と慣性センサ信号とを結合して、ジェスチャに基づいて
電子装置を制御するウェアラブル電子装置に関する。
現在では、世界中のほとんどで、電子装置が当たり前のものとなっている。集積回路技
術の進歩によって、ユーザが身につけるのに十分小さくて軽量な電子装置の開発が可能に
なってきた。このような「携帯型」電子装置は、オンボード電源(電池または他の電源シ
ステムなど)を含んでもよく、他の電子システムとの有線接続なしで動作するよう設計し
てもよいが、小さくて軽量な電子装置は、他の電子システムとの有線接続を備えていても
、やはり携帯型とみなしてもよい。たとえば、マイクロホンは、無線でまたは有線接続を
介して動作しているかにかかわらず、携帯型電子装置とみなしてよい。
トフォン、オーディオプレーヤ、ラップトップコンピュータ、タブレットコンピュータ、
eブックリーダは全て、携帯型電子装置の例である。しかし、携帯型電子装置を身につけ
ることのできる利便性によって、その装置自体が人の手を煩わすという不都合も生じてい
る。電子装置を携帯型だけでなくウェアラブルにすることによって、この問題に対処する
。
保持することなくユーザが身につけることのできる、任意の携帯型電子装置である。たと
えば、ウェアラブル電子装置は、1つまたは複数のストラップ、1つまたは複数のバンド
、1つまたは複数のクリップ、接着剤、ピンおよび留め具、衣類、張力支持体または弾性
支持体、締まりばめ、人間工学的な形状などで、ユーザに装着または結合してもよい。ウ
ェアラブル電子装置の例には、デジタル腕時計、電子アームバンド、電子リング、電子足
首ブレスレットすなわち「アンクレット」、ヘッドマウント型電子表示装置、補聴器など
が含まれる。
筋電図検査(「EMG」)は、筋活動によって生成された電気信号を検出し処理するた
めのプロセスである。EMG装置は、筋活動に関わる電位の範囲(典型的にはμV〜mV
)に応答するEMGセンサを利用する。EMG信号は、医療用の監視および診断、筋リハ
ビリテーション、運動および訓練、人工装具の制御を含め、広範囲の用途で使用すること
ができ、電子装置の機能を制御するのにも使用することができる。
ウェアラブル電子装置は、(音声再生、データ表示、計算機能など)直接の機能をユー
ザに提供してもよく、またはユーザが、別の電子装置と対話し、そこから情報を受け取り
、またはそれを制御することを可能にする人間−エレクトロニクスインターフェースを実
現する電子装置を提供してもよい。本明細書および添付の特許請求の範囲全体を通して、
人間−エレクトロニクスインターフェースの一例として、人間−コンピュータインターフ
ェース(「HCI」)が使用される。本発明の方法および装置は、HCIに適用してもよ
いが、人間−エレクトロニクスインターフェースの他の任意の形式に適用してもよい。
、すなわちHCIの必要性が増してきた。これまで注目を集めてきたHCI向け技術の一
例は、sEMG(表面筋電図検査)と呼ばれる、皮膚の表面を通して筋活動を検知して、
ユーザが実行する手および/または腕のジェスチャを検出するものである。たとえば、E
MGセンサを含む装置をユーザの手首または前腕に装着し、それを使用して、筋活動によ
って生成される電気信号を検出してもよい。パターン認識アルゴリズムを使用して、電気
データを解析して、ユーザが実行した物理的なジェスチャを識別する。この技術の包括的
概要およびその限界が、米国特許第8,170,656号明細書に示してある。
チャ検出速度が非常に高く、製造コストが相対的に低くなければならない。1つの限界は
、sEMGベースのセンサが、動作状態の変動の影響を非常に受けやすく、sEMGセン
サが生成する信号が、皮膚の発汗、体毛の量、および皮膚の脂肪含有量などの変数に影響
される可能性があることである。こうした理由のため、ただsEMGセンサのみを使用し
て、高いジェスチャ認識速度を実現することは非常に困難である。
ある。
ブル筋肉制御センサベースの人間−コンピュータインターフェース(HCI)に関する。
性筋電図検査(cEMG)センサを備える。有利には、cEMGセンサは、ユーザの皮膚
との直接接触を必要とせず、したがって、従来技術で使用される表面筋電図検査(sEM
G)センサに特徴的な信号変動の影響を受けない。筋肉制御装置はさらに、ユーザの腕の
加速度を測定するための加速度計を有する慣性測定ユニット(IMU)を備える。筋肉制
御装置はさらに、センサから取得した信号をフィルタリングし、処理するためのフィルタ
リングモジュール、アナログ信号をデジタルに変換するためのアナログ・デジタル変換器
、ならびに、処理されたcEMG信号およびIMU信号から、ユーザが実行しているジェ
スチャを認識するように構成された処理ユニットを含む。
接続してもよい。あるいは、筋肉制御装置は、1つまたは複数の電池、および接続装置に
無線接続するための無線送受信機モジュールを含む。
をとることが好ましい。この装置はまた、触覚フィードバックをユーザに与えて、事象を
確認し、または入力を要求するために使用できる振動モータを含む。
ーザが行うジェスチャを検出してもよい。これは、たとえば、収縮時に筋肉が生成する振
動を検出するための機械式筋運動記録(MMG)センサを備えてもよい。
するために、この筋肉インターフェース装置を較正するためのルーチンを有する較正モジ
ュールを備える。
保持される少なくとも1つの筋活動センサであって、使用時にユーザが物理的なジェスチ
ャを実行するのに応答して筋活動を検出し、この検出された筋活動に応答して少なくとも
1つの信号を供給するための少なくとも1つの筋活動センサと、バンドによって保持され
る少なくとも1つの慣性センサであって、使用時にユーザが物理的なジェスチャを実行す
るのに応答して動きを検出し、この検出された動きに応答して少なくとも1つの信号を供
給するための少なくとも1つの慣性センサと、バンドによって保持されるプロセッサであ
って、少なくとも1つの筋活動センサおよび少なくとも1つの慣性センサと通信するよう
に結合され、使用時に、少なくとも1つの筋活動センサが供給する少なくとも1つの信号
と、少なくとも1つの慣性センサが供給する少なくとも1つの信号とのいずれか、または
その両方に基づいて、ユーザが実行する物理的なジェスチャを識別するためのプロセッサ
とを備えるものとして要約することができる。ウェアラブル電子装置は、バンドによって
保持され、かつプロセッサと通信するように結合された非一時的なコンピュータ読取り可
能記憶媒体をさらに含んでもよく、この非一時的なコンピュータ読取り可能記憶媒体は、
プロセッサによって実行されるとき、少なくとも1つの筋活動センサが供給する少なくと
も1つの信号と、少なくとも1つの慣性センサが供給する少なくとも1つの信号とのいず
れか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャをこのプロセッ
サに識別させるプロセッサ実行可能な命令を記憶する。非一時的なコンピュータ読取り可
能記憶媒体は、プロセッサによって実行されるとき、少なくとも1つの筋活動センサが供
給する少なくとも1つの信号と、少なくとも1つの慣性センサが供給する少なくとも1つ
の信号とのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャ
を識別するための機械知能法をこのプロセッサに実行させるプロセッサ実行可能な命令を
記憶してもよい。非一時的なコンピュータ読取り可能記憶媒体に記憶されたプロセッサ実
行可能な命令には、プロセッサによって実行されるとき、分類子、隠れマルコフモデル、
および/または長短期ニューラルネットのうちの少なくとも1つをこのプロセッサに実施
させるプロセッサ実行可能な命令が含まれ得る。
と通信するように結合され、使用時に、ユーザが実行する物理的ジェスチャをプロセッサ
が識別するのに応答して、少なくとも1つの信号を無線で伝送する無線送信機をさらに備
えてもよい。少なくとも1つの筋活動センサは、筋電図検査(EMG)センサ、および機
械式筋運動記録(MMG)センサからなる群から選択される少なくとも1つの筋活動セン
サを備えてもよい。少なくとも1つの筋活動センサは、複数の筋電図検査(EMG)セン
サを備えてもよい。
あって、使用時に触覚フィードバックをユーザに提示する触覚フィードバックモジュール
をさらに備えてもよい。この触覚フィードバックモジュールは振動モータを備えてもよい
。
あって、少なくとも1つの筋活動センサと通信するように結合された増幅回路、少なくと
も1つの筋活動センサと通信するように結合されたフィルタリング回路、少なくとも1つ
の筋活動センサと通信するように結合されたアナログ・デジタル変換回路、およびプロセ
ッサに電気的に結合された電池からなる群から選択される少なくとも1つの追加構成部品
をさらに備えてもよい。少なくとも1つの慣性センサは、加速度計、ジャイロスコープ、
および慣性測定ユニット(IMU)からなる群から選択される少なくとも1つの慣性セン
サを備えてもよい。
ザが装着するバンド、このバンドによって保持される少なくとも1つの筋活動センサ、こ
のバンドによって保持される少なくとも1つの慣性センサ、および、このバンドによって
保持されるプロセッサであって、少なくとも1つの筋活動センサおよび少なくとも1つの
慣性センサと通信するように結合されたプロセッサを備える方法は、ウェアラブル電子装
置のバンドによって保持される少なくとも1つの筋活動センサによって、ユーザが物理的
なジェスチャを実行するのに応答して筋活動を検出するステップと、検出された筋活動に
応答して、少なくとも1つの筋活動センサからプロセッサに少なくとも1つの信号を供給
するステップと、ウェアラブル電子装置のバンドによって保持される少なくとも1つの慣
性センサによって、ユーザが物理的なジェスチャを実行するのに応答して動きを検出する
ステップと、検出された動きに応答して、少なくとも1つの慣性センサからプロセッサに
少なくとも1つの信号を供給するステップと、ウェアラブル電子装置のバンドによって保
持されるプロセッサによって、少なくとも1つの筋活動センサによって供給される少なく
とも1つの信号、および少なくとも1つの慣性センサによって供給される少なくとも1つ
の信号を処理するステップと、ウェアラブル電子装置のバンドによって保持されるプロセ
ッサによって、少なくとも1つの筋活動センサによって供給される少なくとも1つの信号
、および少なくとも1つの慣性センサによって供給される少なくとも1つの信号のうちの
少なくとも1つの信号に基づいて、ユーザが実行する物理的なジェスチャを識別するステ
ップとを含むものとして要約することができる。
する物理的なジェスチャを識別するステップは、ウェアラブル電子装置のバンドによって
保持されるプロセッサによって、少なくとも1つの筋活動センサによって供給される少な
くとも1つの信号と少なくとも1つの慣性センサによって供給される少なくとも1つの信
号との両方に基づいて、ユーザが実行する物理的なジェスチャを識別するステップを含ん
でもよい。ウェアラブル電子装置のバンドによって保持されるプロセッサによって、ユー
ザが実行する物理的なジェスチャを識別するステップは、ウェアラブル電子装置のバンド
によって保持されるプロセッサによって、少なくとも1つの筋活動センサによって供給さ
れる少なくとも1つの信号に基づいて、ユーザが実行する第1の物理的なジェスチャを識
別するステップと、ウェアラブル電子装置のバンドによって保持されるプロセッサによっ
て、少なくとも1つの慣性センサによって供給される少なくとも1つの信号に基づいて、
ユーザが実行する第2の物理的なジェスチャを識別するステップとを含んでもよい。
つの筋活動センサによって供給される少なくとも1つの信号、および少なくとも1つの慣
性センサによって供給される少なくとも1つの信号を処理するステップは、分類子、隠れ
マルコフモデル、長短期ニューラルネット、または他の機械知能法のうちの少なくとも1
つまたは複数を利用して、少なくとも1つの筋活動センサによって供給される少なくとも
1つの信号、および少なくとも1つの慣性センサによって供給される少なくとも1つの信
号を処理するステップを含んでもよい。
ように結合された無線送信機を備えてもよく、本方法はさらに、ユーザが実行する物理的
ジェスチャをプロセッサが識別するのに応答して、少なくとも1つの信号を無線で伝送す
るステップを含んでもよい。
動センサと通信するように結合された増幅回路を備えてもよく、本方法はさらに、少なく
とも1つの筋活動センサからプロセッサに、少なくとも1つの信号を供給する前に、増幅
回路によって少なくとも1つの筋活動センサからの少なくとも1つの信号を増幅するステ
ップを含んでもよい。
動センサと通信するように結合されたフィルタリング回路を備えてもよく、本方法はさら
に、少なくとも1つの筋活動センサからプロセッサに、少なくとも1つの信号を供給する
前に、フィルタリング回路によって少なくとも1つの筋活動センサからの少なくとも1つ
の信号をフィルタリングするステップを含んでもよい。
動センサと通信するように結合されたアナログ・デジタル変換回路を備えてもよく、本方
法はさらに、少なくとも1つの筋活動センサからプロセッサに、少なくとも1つの信号を
供給する前に、アナログ・デジタル変換回路によって少なくとも1つの筋活動センサから
の少なくとも1つの信号を、アナログ信号からデジタル信号に変換するステップを含んで
もよい。
、ウェアラブル電子装置のバンドによって保持される少なくとも1つの筋活動センサによ
って、ユーザが物理的なジェスチャを実行するのに応答して筋活動を検出するステップが
、ウェアラブル電子装置のバンドによって保持される複数のEMGセンサ内の少なくとも
1つのEMGセンサによって、ユーザが物理的なジェスチャを実行するのに応答して筋活
動を検出するステップを含んでもよく、検出された筋活動に応答して、少なくとも1つの
筋活動センサからプロセッサに少なくとも1つの信号を供給するステップが、検出された
筋活動に応答して、複数のEMGセンサ内の少なくとも1つのEMGセンサからプロセッ
サに少なくとも1つの信号を供給するステップを含んでもよい。
ールであって、プロセッサと通信するように結合された振動モータを含む触覚フィードバ
ックモジュールを備えてもよく、本方法はさらに、ユーザが実行する物理的なジェスチャ
をプロセッサが識別するのに応答して、振動モータによって触覚フィードバックをユーザ
に提示するステップを含んでもよい。
から明らかになろう。しかし、この詳細説明および具体例は、例として提示されたもので
あり、限定するものではないことを理解されたい。これらの方法および装置の趣旨から逸
脱することなく、その範囲内の数多くの修正形態および変更形態を行ってもよく、これら
の方法および装置は、こうした修正形態を全て含む。
サイズおよび相対位置は、必ずしも一定の縮尺で描かれてはいない。たとえば、様々な要
素の形状および角度は一定の縮尺で描かれてはおらず、これらの要素の一部は、任意に拡
大および配置して図面を分かりやすくするようにしている。さらに、描かれた各要素の具
体的な形状は、具体的な要素の実際の形状についての情報を伝えるものではなく、もっぱ
ら、図面において認識しやすいように選択されたものである。
図面は、単に説明するためのもの、および理解を促進するものに過ぎず、本発明の方法お
よび装置の限定を規定するものではないことを明確に理解されたい。
な詳細について述べる。しかし、これら具体的な詳細のうちの1つまたは複数の詳細なし
に、または他の方法、構成要素、材料などを用いて実施形態を実施してもよいことが、当
業者には理解されよう。他の例では、実施形態の説明を必要以上に曖昧にしないよう、電
子装置、具体的にはウェアラブル電子装置などの携帯型電子装置に関連するよく知られた
構造は、図示しておらず、または説明していない。
通して、用語「含む(comprise)」およびその変形形態、たとえば「含む(co
mprises)」および「含む(comprising)」などは、「含むが限定され
ない」という開かれた包括的な意味で解釈すべきである。
「一実施形態(an embodiment)」と言及する場合、1つまたは複数の実施
形態において任意の適切な方式で、具体的な特徴、構造、または特性を組み合わせてもよ
いことを意味する。
」、「1つの(an)」および「その(the)」は、文脈から明らかにそうでないこと
が示されていなければ、複数の参照先を含む。用語「または(or)」は一般に、その最
も広い意味、すなわち、文脈から明らかにそうでないことが示されていなければ「および
/または」の意味として利用されることにも留意されたい。
あり、実施形態の範囲または意味を説明するものではない。
より詳細には、オンボード筋活動センサおよびオンボード慣性センサからの信号を結合し
て、ジェスチャベースの人間−コンピュータインターフェース(HCI)を実現するウェ
アラブル電子装置に関する。
ーザが実行するか、または他の方法で影響を及ぼす物理的な動作(たとえば、動き、伸び
、曲げ、姿勢)に言及するために使用される。ユーザが実行するか、または他の方法で影
響を及ぼす任意の物理的な動作であって、検出可能な筋活動(たとえば、少なくとも1つ
の適切に配置されたEMGセンサによって検出可能)、および/または検出可能な動き(
たとえば、少なくとも1つの適切に配置された慣性センサによって検出可能)を伴う物理
的な動作が、本発明の方法および装置でのジェスチャを構成してもよい。
このバンドは、筋電図検査(EMG)センサ[TM1]など複数の筋活動センサを保持し
ており、このセンサは、米国仮特許出願第61/771,500号明細書、米国仮特許出
願第61/903,238号明細書、および/または米国仮特許出願第61/909,7
86号明細書に記載されており、これらのそれぞれは、参照によりその全体が本明細書に
援用される。
たとえば5Hz〜250Hzの周波数帯に含まれてもよい。有利には、本明細書に記載の
ウェアラブル電子装置で使用されるEMGセンサは、センサボード自体に配置された増幅
段を設ける増幅回路を有するという点において能動的である。したがって、EMGセンサ
からの信号は、ウェアラブル電子装置の主ロジックボードに(すなわちプロセッサに)送
られる前に増幅されて、伝送線路での干渉を最小限に抑えてもよい。
に電荷を誘起する筋活動に容量性結合することによって筋活動を検知し、それによって、
皮膚と直接電気接続せずに済むようにしてもよい。したがって、直接電気接続を避けるこ
とによって、信号は、直接接続から生じる変動の影響を受けにくくなる。
た、ユーザの腕の動き(たとえば加速度)を測定するための、1つまたは複数の慣性セン
サ(たとえば、加速度計を含んでもよい)を備える。慣性センサは、3つの自由度(x、
y、z方向)での加速度を検知する1つまたは1組の加速度計を備えてもよく、また、ユ
ーザの身体(たとえば前腕)でのウェアラブル電子装置の位置を検知してもよい。慣性セ
ンサによって供給される信号を、筋活動センサによって供給される信号と結合して、ウェ
アラブル電子装置が識別可能なジェスチャの質および/または量を改善してもよい。
センサによって供給される信号をフィルタリングし、処理するためのフィルタリング回路
、ならびに/または筋活動センサおよび/もしくは慣性センサによって供給されるアナロ
グ信号をデジタル信号に変換するためのアナログ・デジタル変換回路を備えてもよい。本
明細書に記載のウェアラブル電子装置は、筋活動センサおよび慣性センサによって供給さ
れる信号を処理するための、かつ、少なくとも1つの筋活動センサによって供給される少
なくとも1つの信号、および少なくとも1つの慣性センサによって供給される少なくとも
1つの信号のうちのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジ
ェスチャを識別するためのプロセッサを備える。
ユーザが実行し、ウェアラブル電子装置が識別する物理的なジェスチャに基づいて)接続
装置に有線で接続してもよく、かつ/または本明細書に記載のウェアラブル電子装置は、
1つまたは複数の電池、および接続装置に無線接続するための無線送受信機モジュール(
たとえば無線送信機)を備えてもよい。
で利用される筋活動センサは、機械式筋運動記録(MMG)センサを備えてもよい。
する方法および装置は、当技術分野で(たとえば、前述の米国特許第8,170,656
号明細書で)説明されてきた。しかし、筋活動センサには、ジェスチャ検出および識別の
ために単独で使用する場合、著しい制限および欠点がある。本発明の方法および装置によ
れば、少なくとも1つのオンボード筋活動センサからの信号と、少なくとも1つのオンボ
ード慣性センサからの信号とを結合して、ユーザが実行している物理的なジェスチャにつ
いてのより詳細かつ/またはより区別可能な情報を取り込むウェアラブル電子装置を実装
することによって、HCIでのジェスチャベースの制御を改善することができる。ここで
、筋活動センサの制限および欠点のうちのいくつかを説明する。
よい。sEMGセンサは通常、ユーザの皮膚と直接接触して、脂肪および皮膚を通してそ
の下にある筋肉から導かれる電気活動を測定し、または下にある筋肉に十分近接して、そ
の筋肉に容量結合する必要がある。sEMGには固有の制限がいくつかあり、なぜなら、
取得した信号の質が、インピーダンス、発汗、腕の体毛の量、脂肪含有量、数多くの他の
属性など、皮膚状態に直接関係するからである。保湿用導電性ゲルを使用すること、皮膚
を剃ること、または他の皮膚前処理を実施することによって、皮膚状態が変化する影響を
軽減して、このタイプのセンサから信頼性が高く再現性のある信号を得ることができるが
、これらは典型的な消費者が使用するウェアラブル電子装置においては望ましくない。
決策に訴えることなく筋活動センサの制限に対応するために、1つまたは複数の慣性セン
サ(たとえば、1つまたは複数の加速度計センサ)をウェアラブル電子装置に内蔵し、こ
れを使用して、たとえばユーザの肘または両肩まで用いて、たとえばユーザが行うさらに
大きいジェスチャを表す信号を供給する。(たとえば、手および/または手首で行う)よ
り微妙なジェスチャを検出するために、筋活動センサとともに使用するとき、慣性センサ
からの情報によって、ジェスチャ識別アルゴリズムの確度を著しく高め、ウェアラブル電
子装置が識別できるジェスチャの数を増やすことができる。たとえば、慣性センサは、筋
活動センサからの筋活動データとともに、相対的な速度および向きのデータを提供して、
具体的な任意のジェスチャに関連するデータの量および多様性を増やすことができる。
EMG and IMU”,Proceedings of the 2011 IE
EE International Conference on Robotics
and Biomimetics,December 2011のように、筋活動センサ
によって供給される信号と、慣性センサによって供給される信号とを結合して、ジェスチ
ャ識別を改善するシステムおよび方法が当技術分野で提案されている。しかし、こうした
提案の全てが、物理的に全く異なるセンサシステム(たとえば、ユーザの身体上の第1の
場所に装着される第1の機器内の1つまたは複数のEMGセンサ、およびユーザの身体上
の第2の場所に装着される第2の機器内の1つまたは複数の加速度計であり、ここで、第
1の機器および第2の機器は、互いに物理的に、また通信上分離されている)からの信号
を結合することを含んでおり、これらのセンサシステムは、共通のオフボードのコンピュ
ーティングシステム(すなわち、装着可能ではなく、またはユーザが装着しないコンピュ
ーティングシステム)に信号を別々に供給して処理する。オフボードシステムに数多くの
別々の有線接続を実施し、またオフボード処理が物理的に全く異なるコンピューティング
システムによって提供される結果として、このような提案は、一般消費者が一般の人間−
エレクトロニクスインターフェースとして使用するには嵩張っていて実用的ではないと同
時に、制御動作可能な電子/コンピューティング装置の多様性が厳しく制限されるという
欠点を有する。本発明の方法および装置は、ジェスチャを検出し、処理し、識別する単一
のウェアラブル電子装置に、筋活動センサ、慣性センサ、およびプロセッサ全てを組み込
むことによって、これらの欠点を克服し、これらのジェスチャは全て電子装置自体でオン
ボード処理される。
子装置の説明に役立つ実例を説明する。
、およびウェアラブル電子装置200を着用する、例示的なユーザ100が図1に示して
ある。この説明に役立つ実例では、ウェアラブル電子装置200は、柔軟で、伸縮自在で
、かつ/または弾性の(すなわち「伸張可能な」)バンドを備え、図に示すように、これ
をユーザ100の前腕に着用してもよい。このバンドは、ウェアラブル電子装置200の
その他の構成部品を保持する(すなわち、それと物理的に結合する)。
細図が示してある。図に示すように、ウェアラブル電子装置200は伸張可能なバンド2
01を備え、このバンドは、中央処理装置(すなわち「プロセッサ」)210と、再充電
可能であり、従来通りに同時もしくは順次に利用してもよい1つまたは複数の電池220
と、ユーザ100が実行する物理的なジェスチャに応答して筋活動センサ230が筋活動
を検出することができるよう、2つ以上のセンサ230が含まれるときにバンド201の
周囲に沿って放射状に配置してもよい筋活動センサ230と、少なくとも1つの慣性セン
サ260と、無線送信機250とを備える。筋活動センサ230、慣性センサ260、お
よび無線送信機250は全て、ウェアラブル電子装置200に取り付けられたプロセッサ
210と通信するように結合される。ウェアラブル電子装置200はさらに、以下でさら
に説明する触覚フィードバックを提供するための振動モータまたはアクチュエータ240
などの触覚フィードバック機構を備えてもよい。
プロセッサまたはデジタルマイクロコントローラ、特定用途向け集積回路(ASIC)、
フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP
)、グラフィック処理ユニット(GPU)、プログラマブルゲートアレイ(PGA)、プ
ログラマブル論理ユニット(PLU)が含まれるが、それだけに限定されない。
0は説明に役立つ実例である)に含まれてもよい、さらなる特徴および詳細が、少なくと
も以下の文献、すなわち、米国仮特許出願第61/857,105号明細書、米国仮特許
出願第61/860,063号明細書、米国仮特許出願第61/822,740号明細書
、米国仮特許出願第61/866,960号明細書、米国仮特許出願第61/869,5
26号明細書、米国仮特許出願第61/874,846号明細書、米国仮特許出願第61
/881,064号明細書、米国仮特許出願第61/894,263号明細書、米国仮特
許出願第61/915,338号明細書、および/または米国仮特許出願第61/940
,048号明細書に記載されており、これらのそれぞれは、参照によりその全体が本明細
書に援用される。
および向きで装着されるようにマーキングしてもよい。たとえば、ウェアラブル電子装置
200上のマーキングは、前腕の中央上部、およびウェアラブル電子装置200を装着す
べき向きを示してもよい。用途によっては、ウェアラブル電子装置200は、筋活動セン
サ230の位置決めを特定し、前腕の特定の筋肉の位置に依存する必要がないよう、ジェ
スチャ識別ための動作に先立って最初に装着するときに較正ルーチンを実行してもよい。
の電気信号を検出するように構成された、少なくとも1つの容量性EMG(cEMG)セ
ンサを備えてもよい。cEMGは通常、先に述べた他のsEMGセンサのような、皮膚と
の直接接触を必要としない。むしろ、cEMGセンサは、収縮する筋肉によって生成され
る電気信号と容量結合しており、皮膚から3mmまでの距離で動作することができる。一
例として、cEMG信号は、周波数と振幅の両方で変化する振動波形とすることができ、
信号情報の大部分が、たとえば5Hz〜250Hzの周波数帯に含まれてもよい。cEM
G信号の説明に役立つ実例が図2Bに示してある。
での振動を測定するための圧電センサを含む、1つまたは複数のMMGセンサを備えても
よい。一例として、生成されるMMG信号は、周波数と振幅の両方で変化する振動波形で
もよく、信号情報の大部分が、たとえば5Hz〜250Hzの周波数帯に含まれてもよい
。MMG信号は、機械的手段を用いて取得されるため、皮膚のインピーダンスのような電
気的な変動は、この信号に影響を及ぼさない。MMG信号は、図2Bに示すcEMG信号
の説明に役立つ実例と非常に類似している。
cEMGまたはMMGのいずれかまたはその両方が、全日の持続時間にわたって得ること
のできる信頼性の高い信号を実現してもよい。
で検出するための、1つもしくは複数の加速度計センサ、および/または、1つもしくは
複数のジャイロスコープセンサを備えてもよい。慣性センサ信号は、それぞれがx、y、
またはz方向いずれかでの加速度を表す、データの3つのデジタルチャネルから構成され
てもよい。慣性センサ260は、ユーザの腕が曝される加速度の全てに曝されてもよく、
全体として身体の動きをさらに組み込んでもよい。一例として、慣性センサ260は、複
数の加速度計および複数のジャイロスコープを含む複数の慣性センサを備える、Inve
nSense社の9軸MEMS MotionTracking(商標)デバイスである
MPU−9150などの慣性測定ユニット(IMU)を備えてもよい。
コントローラ300との間の無線通信(たとえばBluetooth(登録商標))の例
が示してある。この例での例示的な接続装置は、ウェアラブルヘッドアップ表示装置であ
る。しかし、この接続装置は、制御入力を受信できる任意の数の装置のうちの1つでもよ
く、これには、汎用コンピュータ、ロボット、民生用電子装置、携帯電話などが含まれる
が、それだけに限定されないことが理解されよう。
ジェスチャを識別するのに応答して、この無線通信を利用して、ウェアラブル電子装置2
00から接続装置コントローラ300に少なくとも1つの信号を伝送する。これが一例と
して図4に示してあり、ここで、ユーザ100の手および手首のジェスチャが筋活動セン
サ230および/または慣性センサ260によって検出され、これらセンサのそれぞれま
たは両方が、プロセッサ210によって処理されて、ユーザが実行するジェスチャを識別
する少なくとも1つの信号を供給し、このジェスチャを識別するのに応答して、少なくと
も1つの信号が送信機250によって無線で伝送されて、接続装置310上に表示される
コンテンツと対話する。
を伸ばすことを含み、これがウェアラブル電子装置200の筋活動センサ230によって
検出され、また、手首を曲げる動作420を実行することを含み、これがウェアラブル電
子装置200の慣性センサ260によって検出される。検出された筋活動および検出され
た動きに応答して、筋活動センサ230および慣性センサ260がそれぞれ、ウェアラブ
ル電子装置200のオンボードプロセッサ210に信号を供給する。プロセッサ210は
、信号を両方とも処理し、その信号の両方に基づいて、ユーザ100が実行する物理的な
ジェスチャを識別し、少なくとも1つの制御信号を無線送信機250に供給し、この送信
機が、制御信号を接続装置310に伝送すると、メニューが表示装置310上に現れて、
下向きにスクロールする。
含んでもよく、これがウェアラブル電子装置200の筋活動センサ230によって検出さ
れ、また、手首を伸ばす動きを実行することを含んでもよく、これがウェアラブル電子装
置200の慣性センサ260によって検出される。検出された筋活動および検出された動
きに応答して、筋活動センサ230および慣性センサ260がそれぞれ、ウェアラブル電
子装置200のオンボードプロセッサ210に信号を供給する。プロセッサ210は、信
号を両方とも処理し、その信号の両方に基づいて、ユーザ100が実行する物理的なジェ
スチャを識別し、少なくとも1つの制御信号を無線送信機250に供給し、この送信機が
、制御信号を接続装置310に伝送すると、メニューが表示装置310上に現れて、上向
きにスクロールする。
とを含んでもよく、これがウェアラブル電子装置200の筋活動センサ230によって検
出され、また、肘および肩のわずかな動きを有する、突き出す動きを実行することを含ん
でもよく、これがウェアラブル電子装置200の慣性センサ260によって検出される。
検出された筋活動および検出された動きに応答して、筋活動センサ230および慣性セン
サ260がそれぞれ、ウェアラブル電子装置200のプロセッサ210に信号を供給する
。プロセッサ210は、信号を両方とも処理し、その信号の両方に基づいて、ユーザ10
0が実行する物理的なジェスチャを識別し、少なくとも1つの制御信号を無線送信機25
0に供給し、この送信機が、制御信号を接続装置310に伝送すると、強調表示されたメ
ニュー項目が表示装置310上に現れて、選択されることになる。
れる少なくとも1つの信号と、少なくとも1つの慣性センサ260によって供給される少
なくとも1つの信号との両方が、プロセッサ210によって同時に処理されて、ユーザ1
00が実行する物理的なジェスチャを識別する。それぞれの場合で、少なくとも1つの筋
活動センサ230は、ユーザ100の人さし指が伸びる動きを検出し、少なくとも1つの
慣性センサ260は、固有の動き、すなわち手首を曲げる動き、手首を伸ばす動き、およ
び突き出す動きを検出する。ユーザ100が人さし指を伸ばすこと、および動き(すなわ
ち、手首を曲げ、手首を伸ばし、または突き出す動作)は、単一の物理的なジェスチャの
複数の構成要素として、または2つの別々のジェスチャとして処理してもよい。プロセッ
サ210によって、筋活動センサ230からの少なくとも1つの信号と、慣性センサ26
0からの少なくとも1つの信号との両方を同時に処理する代わりとして、各信号を順序通
りにまたは連続して処理してもよい。たとえば、まず、筋活動センサ230からの少なく
とも1つの信号がプロセッサ210によって処理されて、ユーザ100が第1のジェスチ
ャ(すなわち、人さし指を伸ばすこと)を実行したことを識別してもよく、次いで、慣性
センサ260からの少なくとも1つの信号がプロセッサ210によって処理されて、ユー
ザ100が第2のジェスチャ(すなわち、手首を曲げ、手首を伸ばし、または突き出す動
作)を実行したことを識別してもよい。この場合、ユーザ100がその人さし指を伸ばす
動作を実行したと(筋活動センサ230からの少なくとも1つの信号に基づいて)プロセ
ッサ210が識別すると、たとえばメニューナビゲーションコマンドが用意されているこ
とを示すための第1の信号を、送信機250から接続装置310に伝送してもよい。次い
で、ユーザ100が、動き(すなわち、手首を曲げ、手首を伸ばし、または突き出す動作
)を特徴とする第2のジェスチャを実行したと(慣性センサ260からの少なくとも1つ
の信号に基づいて)プロセッサ210が識別すると、対応する第2の信号を送信機250
から送信して、対応するメニューナビゲーション動作を行ってもよい。
、異なるジェスチャとしてプロセッサ210に識別させるようにし、これによって、異な
る制御信号が生成されてもよい。たとえば、人さし指の代わりに小指を伸ばすことにより
、ウェアラブル電子装置200が、ユーザのジェスチャを、従来のマウスユーザインター
フェースでの左のマウスボタンではなく右のマウスボタンをクリックするのに類似した機
能であると解釈してもよい。人さし指と小指の両方を同時に伸ばすことにより、ウェアラ
ブル電子装置200が、ユーザのジェスチャを、従来のマウスユーザインターフェースで
の第3のマウスボタンをクリックするのに類似したさらに別の機能であると解釈してもよ
い。
0と慣性センサ260の両方を組み込んで、筋活動センサ単独を使用して通常実現できる
範囲よりも広い範囲のユーザジェスチャを認識する(かつ/または、ジェスチャを認識す
る際の確度を高める)。
号からジェスチャを識別するように構成されている。しかし、一代替実装形態では、検出
された信号は、接続装置310および接続装置コントローラ300に伝送して、この接続
装置コントローラ300においてジェスチャとして解釈してもよい。検出された信号が装
置200で解釈されても、接続装置コントローラ300で解釈されても、この検出信号は
、まず認識されたジェスチャとして解釈されて、表示装置310上に表示されるコンテン
ツと対話する。
ェスチャが認識されるとユーザ100にフィードバックを提示する触覚フィードバックモ
ジュールを備えてもよい。この触覚フィードバックは、ユーザのジェスチャが認識され、
制御信号に首尾よく変換されて、たとえば表示装置310上に表示されるコンテンツと対
話するという確認をユーザに提示する。触覚フィードバックモジュールは、たとえば、ウ
ェアラブル電子装置200に組み込まれた振動モータ240またはアクチュエータなどの
振動機構を備えてもよい。
スチャを認識したことの確認を聴覚フィードバックで提示してもよく、この聴覚フィード
バックは、ウェアラブル電子装置上か、または接続装置310に動作可能なように接続さ
れたスピーカによって生成される。
に提示してもよい。検出された信号から解釈できるジェスチャが2つ以上考えられる場合
、誤りのある信号を供給するのではなく、ウェアラブル電子装置200および/または接
続装置コントローラ300は、2つ以上の考えられるジェスチャを可能性のある解釈とし
て選択してもよく、ユーザは、(たとえば、選択ジェスチャを実行することによって)、
考えられるジェスチャのうちから1つを選択して、意図したジェスチャおよび対応する制
御を確認するよう求められることがある。
えばウェアラブル電子装置200)の例示的な概略システムアーキテクチャ500が示し
てある。図に示すように、システムアーキテクチャ500は、CPUすなわち「プロセッ
サ」502、非一時的なコンピュータ読取り可能記憶媒体すなわちメモリ504、システ
ムクロック506、無線通信モジュール508(たとえば、Bluetooth(登録商
標)、ZigBee(登録商標)など)、および直接メモリアクセス(DMA)コントロ
ーラ510を備える。図に示すように、DMAコントローラ510は、1つまたは複数の
EMG(すなわち筋活動)センサ520、MMGセンサ530、および加速度計(すなわ
ち慣性)センサ540を含め、様々なセンサからの入力を受信するように構成される。
れたアナログ信号が、信号フィルタリング回路522を用いて処理される。この信号は、
たとえば10Hz〜500Hzの間で帯域通過処理し、増幅回路によって、たとえば合計
約1000倍〜4000倍だけ増幅してもよい。しかし、このフィルタリングおよび増幅
は、ソフトウェアおよび/またはハードウェアにより、EMGセンサ520が生成するア
ナログ信号に基づいて、必要となるものに改変することができる。60Hzまたは他の任
意の関連周波数でのノッチフィルタを使用して、電力線雑音を取り除くこともできる。
の解像度でアナログ信号からデジタル信号に変換し、次いで、DMAコントローラ510
によってオンボードメモリ504にクロック同期して、後にCPU/プロセッサ502に
よって処理してもよい。データが蓄積されると、CPU/プロセッサ502が起動し、メ
モリ504に記憶されたこのデータを処理する。CPU502が起動する前に蓄積される
データポイントの数は調整可能であり、本明細書においてフィーチャーウィンドウサイズ
と呼ばれる。
出された信号が、信号フィルタ532を用いて処理され、ADC534によってアナログ
信号からデジタル信号に変換される。1つまたは複数の加速度計センサ540からのデジ
タル信号も、信号フィルタ542を用いて処理し、DMAコントローラ510によって受
信してもよい。
用途によっては、ウェアラブル電子装置200には、既にそのメモリに記憶された1組
の既定ジェスチャを設けてもよく、装置200は、この1組の既定ジェスチャから1つの
ジェスチャをユーザが実行するときを識別するよう動作可能である。既定ジェスチャの代
わりに、またはそれに加えて、様々なユーザ定義ジェスチャを認識するよう、ウェアラブ
ル電子装置200をトレーニングしてもよい。たとえば、ユーザはまず、ユーザが装置2
00に認識できて欲しいジェスチャに名前をつけてもよく、装置200は、ジェスチャを
記録する準備ができたら、ユーザにジェスチャするよう促すことになる。次いで、筋活動
センサおよび/または慣性センサを使用して、ジェスチャが実行される持続時間をカバー
するのに十分な長さの時間にわたって、ある帯域で(たとえば1000Hzにおいて)サ
ンプリングされるデータチャネルを取得する。
ウィンドウは所定の長さ(所定の長さゼロを含む)だけ、その前のウィンドウとオーバラ
ップする。筋活動信号および/または慣性センサ信号の特徴が、データの各チャネル上の
各ウィンドウから計算される。生のセンサデータから最も関連のある情報を抽出してジェ
スチャを分類するように、これらの特徴が選ばれる。たとえば、8つのcEMGチャネル
が存在し、ウィンドウサイズが100サンプルである場合、生のウィンドウベクトルのサ
イズは100×8である。たとえば、生のcEMGデータを表すために15個の特徴が選
ばれる場合、そのウィンドウから計算された結果として得られる特徴ベクトルは、1×(
8×15)すなわち1×120になるはずである。
もよく、ジェスチャトレーニングモジュールは、オーバラップ(たとえば50%)を有す
るスライディングウィンドウを利用してもよい。これが図6の例で示してあり、ここで、
W1がウィンドウサイズを表し、W2が同じサイズの第2のウィンドウを表し、この2つ
の間にオーバラップが存在する。
でもよい。特徴は、ウェーブレット分解係数、RMS値、スロープサインチェンジ、波長
自己回帰係数などを含んでもよいが、それだけに限定されない。
タも、たとえば、同じ時点のEMGデータに対応することがあるウィンドウに分割しても
よい。IMUデータから抽出された特徴は、RMS値、信号の平均偏差および標準偏差を
含んでもよいが、それだけに限定されない。
は、システムへの例示的な入力、およびこのシステムからの対応する出力を含め、2組の
データを使用してもよい。ジェスチャトレーニングおよびパターン認識のシステムへの入
力は、生のEMGデータならびにIMU(加速度計)データから分割された各ウィンドウ
から計算された特徴である。このシステムからの出力は、検出されたジェスチャである。
ているのかシステムに知らせている。このユーザ定義ジェスチャは、システムがリアルタ
イム分類モードに入るときに、このシステムの出力になるものである。ここで、このシス
テムは、データのどのセグメントがどのジェスチャに対応するかを知っているが(なぜな
らば、ユーザがそれを定義したからである)、データのそのセグメント内で、ジェスチャ
がどこで開始し、どこで終了するのかをまだ知らない(なぜならば、ユーザは必ずしも、
繰り返す毎に同じ時点でジェスチャを開始および終了するとは限らないからである)。し
たがって、ジェスチャの開始と終了を識別し、ユーザがジェスチャを実行していないとき
と区別しなければならない。
ザが、ウェアラブル電子装置200をオンにするための「オン」ジェスチャを既に実行し
たと仮定すると、図8の例によって示すように、このシステムは、ある閾値を超える信号
チャネルを、RMS値を用いて監視してもよい。その閾値を超えると、システムは、デー
タウィンドウから特徴を計算し始め、ジェスチャを分類しようとする。
て、特徴を計算してもよい。より具体的には、たとえばEMGデータのチャネルのいずれ
かのRMS値が、ジェスチャが実行されていないときのチャネルの平均よりも大きくなり
、さらには、ジェスチャが実行されていないときのデータの標準偏差の3倍になるとき、
システムは、ジェスチャが実行されていると識別してもよい。ジェスチャについて記録さ
れているデータと同期して、別々のラベルベクトルを作成してもよい。このラベルベクト
ルは、いつ特徴ベクトルがジェスチャを表すのか、それがどんなジェスチャなのか、いつ
特徴ベクトルが入力なしを表すのかを、機械学習アルゴリズムに知らせるデータを含んで
もよい。以下に述べる次の段階での、パターン認識アルゴリズムの教師あり学習にとって
、この情報は有用である。
どれほど数多くのジェスチャを認識しようとしても、ユーザが各ジェスチャの繰返しを
数多く記録し終えると、ウェアラブル電子装置はパターン認識段階を開始する。一例とし
て、ウェアラブル電子装置は、記録された特徴ベクトル全て、およびその対応するラベル
ベクトルを収集して、ジェスチャの全ておよびその繰返しの全てを表す大きい行列に入れ
てもよい。
たとえば決定木)700を含んでもよく、各ノードが互いに異なる分類子を表す。各分類
子からの結果が、どちらの分岐が斜めに降りて、次のノードに移るかを決定することにな
る。
い。加速度計信号の標準偏差から、これを判定してもよい。
いジェスチャなのか判定してもよい。EMG信号のRMS値のアクティブにされたセグメ
ントの長さから、これを判定してもよい。たとえば、指を鳴らすジェスチャ、またはフリ
ックするジェスチャは、ほとんど瞬時の短いジェスチャである。長いジェスチャは、完了
するのに短い場合よりも長い時間を要するジェスチャでよい。
の平均値から、手のジェスチャの向きを決定してもよい。
は他の機械知能法のいずれか1つを使用して、残りのジェスチャを分類してもよい。
してもよく、その結果、ウェアラブル電子装置は、そのセンサによって検出される未知の
ジェスチャデータを正確に識別することができるようになる。
ウェアラブル電子装置のトレーニングが終わると、パターン認識エンジンが確立され、
この装置は、認識するためにトレーニングしてきたジェスチャのリアルタイムの分類およ
び認識を行うように構成される。
収集され、この装置のオンボードの非一時的なコンピュータ読取り可能メモリに記憶され
る。特徴ウィンドウサイズに従って所定の数のサンプルの記録が完了するまで、この装置
は待ってもよい(すなわち、ユーザが実行したジェスチャを識別しようとすることなくデ
ータを収集し続けてもよい)。所定の数のサンプルに達したら、ウェアラブル電子装置内
のプロセッサが、そのデータブロックから特徴の全てを計算し、この特徴を含むベクトル
を分類子に渡す。
識/識別される最終分類子に渡されてよい。ジェスチャが認識されると、このジェスチャ
およびその属性データが送受信機モジュール(たとえば無線送信機)に送られて、接続装
置に向けて送信される。
と判定される場合、IMUが検出する加速度から腕の速度を計算してもよく、送受信機を
介してこのデータが接続装置に送信される。
エータを起動して、一定の持続時間にわたって振動させて、ジェスチャが首尾よく認識/
識別されたことをユーザに示すことができる。振動モータを他の方法で使用して、ユーザ
に情報を伝えることができる。たとえば、動的ジェスチャの過程で微妙な振動を始動して
もよく、振動を使用して、装置が起動したことを示してもよく、振動を使用して、この装
置を再較正する必要があるか、または問題があることなどを示してもよい。
ここで図9を参照すると、本発明の方法および装置によるウェアラブル電子装置(たと
えばウェアラブル電子装置200)を動作させる例示的な方法900の概略フローチャー
トが示してある。
筋活動(たとえばEMG)センサ、および少なくとも1つの慣性(たとえばIMU)セン
サから、信号(たとえば、あるウィンドウのデータ)を取得することによって開始する。
ているかどうか判定して、ユーザが物理的なジェスチャを実行したかどうか、または実行
しているかどうか判定する。「いいえ」の場合、方法900はブロック902に戻る。「
はい」の場合、方法900はブロック906に進み、ここで方法900は、取得されたデ
ータから特徴を計算する。次いで、方法900はブロック908に進み、ここで方法90
0は、特徴ベクトルに対してパターン認識を実行して、実行された、または実行されてい
るジェスチャを決定する。
装置が位置データを必要としているかどうか判定する。「はい」の場合、方法900はブ
ロック912に進み、ここで方法900は、位置のIMUデータ(たとえば、相対的な速
度および/または向き)とともに識別されたジェスチャを接続装置に送信する。「いいえ
」の場合、方法900はブロック914に進み、ここで方法900は、位置のIMUデー
タなしで、識別されたジェスチャを接続装置に送信する。識別されたジェスチャおよび位
置のIMUデータは、有線接続を介して、または代替的に無線通信プロトコルを介して接
続装置に送信してもよい。
を図10に示す。
00を示すフローチャートである。ウェアラブル電子装置(たとえば200)は、ユーザ
が装着するバンド(たとえば201)、このバンド(たとえば201)によって保持され
る少なくとも1つの筋活動センサ(たとえば230)、このバンド(たとえば201)に
よって保持される少なくとも1つの慣性センサ(たとえば260)、ならびに、少なくと
も1つの筋活動センサ(たとえば230)および少なくとも1つの慣性センサ(たとえば
260)と通信するように結合された、このバンド(たとえば201)によって保持され
るプロセッサ(たとえば210)を備える。方法1000は、4つの工程1001、10
02、1003、および1004を含み、工程1001および1002は両方とも、2つ
の並列部分1001a/bおよび1002ab/sにそれぞれ分解される。しかし、代替
実施形態では、ある種の動作を省いてもよく、かつ/または追加の動作を加えてもよいこ
とが当業者には理解されよう。各動作の例示された順序は、もっぱら例示的な目的で示し
たものであって、代替実施形態では変更してよいことも当業者には理解されよう。本明細
書に記載の方法1000の各動作と、ウェアラブル電子装置の各要素との間の関係を例示
するために、方法1000の説明全体を通して括弧内に図2Aからの装置200の各要素
への言及が含まれる。しかし、方法1000は、装置200とは異なるハードウェアを使
用して同様に実施してもよいことが当業者には理解されよう。
(たとえばユーザの腕の)筋活動が、ウェアラブル電子装置(200)のバンド(201
)によって保持される少なくとも1つの筋活動センサ(230)によって検出される。こ
の少なくとも1つの筋活動センサ(230)は、複数のEMGセンサ、およびこの複数の
EMGセンサ内での任意の数のEMGセンサが、ジェスチャを実行する際に能動的になる
筋肉に対するそれぞれ特定のEMGセンサの位置に応じた筋活動を検出してもよい。
230)から、ウェアラブル電子装置(200)のバンド(201)によって保持される
プロセッサ(210)に、少なくとも1つの信号が供給される。少なくとも1つの筋活動
センサ(230)とプロセッサ(210)の中間の通信経路は、プロセッサ(210)に
供給される少なくとも1つの信号をフィルタリングするためのフィルタリング回路、プロ
セッサ(210)に供給される少なくとも1つの信号を増幅するための増幅回路、および
/もしくはプロセッサ(210)に供給される少なくとも1つの信号を、アナログ信号か
らデジタル信号に変換するためのアナログ・デジタル変換回路のうちのいずれか、または
その全てを備えてもよい。
的に並列に、工程1001aおよび1002aとそれぞれ少なくともほぼ同時か、または
工程1001aおよび1002aと交互に/ずらして実行してもよい。
(たとえばユーザの腕の)動きが、ウェアラブル電子装置(200)のバンド(201)
によって保持される少なくとも1つの慣性センサ(260)によって検出される。少なく
とも1つの慣性センサ(260)は、少なくとも1つの加速度計および/または少なくと
も1つのジャイロスコープを備えてもよく、これらをIMU内にひとまとめにしてもよい
。以下で詳細に述べるように、少なくとも1つの慣性センサ(260)によって1001
bで検出される動きを含む物理的なジェスチャは、少なくとも1つの筋活動センサ(23
0)によって1001aで検出される筋活動を含む同じ物理的なジェスチャでもよく、ま
たは少なくとも1つの慣性センサ(260)によって1001bで検出される動きを含む
物理的なジェスチャは、少なくとも1つの筋活動センサ(230)によって1001aで
検出される筋活動を含む物理的なジェスチャと異なる物理的なジェスチャでもよい。
0)から、ウェアラブル電子装置(200)のバンド(201)によって保持されるプロ
セッサ(210)に、少なくとも1つの信号が供給される。少なくとも1つの慣性センサ
(260)とプロセッサ(210)の中間の通信経路は、プロセッサ(210)に供給さ
れる少なくとも1つの信号をフィルタリングするためのフィルタリング回路、プロセッサ
(210)に供給される少なくとも1つの信号を増幅するための増幅回路、および/もし
くはプロセッサ(210)に供給される少なくとも1つの信号を、アナログ信号からデジ
タル信号に変換するためのアナログ・デジタル変換回路のうちのいずれか、またはその全
てを備えてもよい。
給される少なくとも1つの信号と、少なくとも1つの慣性センサ(260)によって10
02bで供給される少なくとも1つの信号の両方とも、ウェアラブル電子装置(200)
のバンド(201)によって保持されるプロセッサ(210)によって処理される。用途
に応じて、また少なくとも1つの筋活動センサ(230)によって供給される少なくとも
1つの信号、および少なくとも1つの慣性センサ(260)によって供給される少なくと
も1つの信号が同じ物理的なジェスチャに応答するのか、異なる物理的なジェスチャに応
答するのかに応じて、少なくとも1つの筋活動センサ(230)によって1002aで供
給される少なくとも1つの信号、および少なくとも1つの慣性センサ(260)によって
1002bで供給される少なくとも1つの信号は、プロセッサ(210)によって順序通
りに/連続して処理してもよく、または、組み合わせてもしくは並列に、プロセッサ(2
10)によって同時に処理してもよい。たとえば、少なくとも1つの筋活動センサ(23
0)によって供給される少なくとも1つの信号と、少なくとも1つの慣性センサ(260
)によって供給される少なくとも1つの信号が両方とも、ほぼ同時に、単一の物理的なジ
ェスチャに応答して供給される場合、少なくとも1つの筋活動センサ(230)によって
1002aで供給される少なくとも1つの信号、および少なくとも1つの慣性センサ(2
60)によって1002bで供給される少なくとも1つの信号は、プロセッサ(210)
によって一緒に組み合わせて処理して、物理的なジェスチャを識別してもよい。あるいは
、少なくとも1つの筋活動センサ(230)によって供給される少なくとも1つの信号、
および少なくとも1つの慣性センサ(260)によって供給される少なくとも1つの信号
がそれぞれ、2つの別々の物理的なジェスチャに応答して別々に供給される(たとえば、
連続して実行される)場合、少なくとも1つの筋活動センサ(230)によって1002
aで供給される少なくとも1つの信号、および少なくとも1つの慣性センサ(260)に
よって1002bで供給される少なくとも1つの信号は、プロセッサ(210)によって
連続して処理して、2つの別々のジェスチャを識別してもよい。
少なくとも1つの信号、およびii)少なくとも1つの慣性センサ(260)によって供
給される少なくとも1つの信号のうちの少なくとも1つに基づいて、ユーザが実行する物
理的なジェスチャが、ウェアラブル電子装置(200)のバンド(201)によって保持
されるプロセッサ(210)によって識別される。バーチャルメニューのナビゲーション
を制御するために(すなわち、図4に関連してこれまで説明した)、人さし指を伸ばす動
き、および手首を曲げる動きを含むジェスチャの例に戻ると、人さし指を伸ばす動きは、
筋活動センサ(230)によって工程1001aで検出される筋活動を含んでもよく、対
応する信号を、工程1002aでオンボードプロセッサ(210)に供給してもよい。同
時に、またはそのすぐ後に(ユーザがジェスチャをどのように実行するかによって)、手
首の曲げは、慣性センサ(260)によって工程1001bで検出される動きを含んでも
よく、また対応する信号を、工程1002bでオンボードプロセッサ(210)に供給し
てもよい。筋活動センサ(230)からの信号と、慣性センサ(260)からの信号の両
方とも、工程1003でプロセッサ(210)によって処理される。具体的な実装形態に
応じて、人さし指を伸ばす動き、および手首を曲げる動きを含む単一のジェスチャとして
物理的なジェスチャを定義してもよく、この場合、ジェスチャは、工程1004で、(1
つもしくは複数の)筋活動センサ(230)からの(1つもしくは複数の)信号と、(1
つもしくは複数の)慣性センサ(260)からの(1つもしくは複数の)信号の両方に基
づいて識別してもよく、または物理的なジェスチャは、別々に識別される2つの構成要素
、すなわち、少なくとも1つの筋活動センサ(230)によって供給される信号に基づい
てプロセッサ(210)によって工程1004で識別される人さし指を伸ばす動きを含む
第1のジェスチャ、および少なくとも1つの慣性センサ(260)によって供給される信
号に基づいてプロセッサ(210)によって工程1004で識別される手首を曲げる動き
を含む第2のジェスチャを有するものとして定義してもよい。いずれの場合においても、
ユーザが実行するジェスチャを識別するのに応答して、1つまたは複数の信号(たとえば
制御信号)が、プロセッサ(210)によって、ウェアラブル電子装置(200)のバン
ド(201)によって保持される無線送信機(250)に供給され、他の任意の電子装置
に無線で伝送して、その電子装置の動作、機能、制御を実行し、またはその電子装置と対
話してもよい。このようにして、ウェアラブル電子装置(200)は、汎用の人間−エレ
クトロニクスインターフェースを実現する。
きたが、理解されるように、本開示のウェアラブル電子装置および方法は、数多くの他の
タイプの接続装置と、それが企図されている事実上任意の用途で対話するために使用して
もよい。
析するための装置であって、筋活動によってcEMGセンサの電極に誘起される電荷によ
って生成される電気信号を、各cEMGセンサにおいて測定することによって、ジェスチ
ャを検出するように構成された複数の容量性筋電図検査(cEMG)センサと、取得デー
タとして複数のcEMGセンサから1つまたは複数の電気信号を受信し、取得データのウ
ィンドウを表す特徴ベクトルを計算することによって取得データを処理し、結果として得
られる特徴ベクトルを解析してパターンを認識することによってジェスチャを検出するよ
うに構成されたプロセッサとを備える装置が提供される。
て、ジェスチャの動きおよび向きを検出するように構成された1つまたは複数の慣性測定
ユニット(IMU)センサを備え、プロセッサはさらに、IMUから取得データを受信し
、この取得したIMUデータを処理して装置の位置および向きを確定し、解析された特徴
ベクトルとともに装置の相対的な速度および向きを解析することによって、ジェスチャを
検出するように構成される。
たは他の機械知能法のうちの1つまたは複数を利用して、各ジェスチャを分類するよう構
成してもよい。
ータを解析することに応じて、静的ジェスチャまたは動的ジェスチャを検出するよう構成
してもよい。
メントの長さを測定することによって、このジェスチャが持続時間の長いジェスチャなの
か短いジェスチャなのか判定するよう構成してもよい。
よって1つまたは複数のユーザ定義ジェスチャを記録し、ならびにジェスチャ中の装置の
位置および向きを記録するよう構成してもよい。
において測定することにより、ジェスチャによって生成される筋活動を検出するように構
成された1つまたは複数の機械式筋運動記録(MMG)センサを備えてもよい。
バックモジュールを備えてもよい。
ュエータを備えてもよい。
って、cEMGセンサの電極に誘起される電荷によって生成される電気信号を、各cEM
Gセンサにおいて測定することによって、ジェスチャによって生成される筋活動を検出す
るように構成された複数の容量性筋電図検査(cEMG)センサを装置上に設けるステッ
プと、取得データとして複数のcEMGセンサから1つまたは複数の電気信号を受信する
ステップと、取得データのウィンドウを表す特徴ベクトルを計算することによって取得デ
ータを処理するステップと、結果として得られる特徴ベクトルを解析してパターンを認識
するステップとを含む方法が提供される。
から取得データを受信するステップと、取得したIMUデータを処理して、装置の相対的
な速度および向きを確定するステップと、解析された特徴ベクトルとともに装置の位置お
よび向きを解析することによってジェスチャを検出するステップとを含む。
は他の機械知能法のうちの1つまたは複数を利用して、各ジェスチャを分類するステップ
を含んでもよい。
タを解析することに応じて、静的ジェスチャまたは動的ジェスチャを検出するステップを
含んでもよい。
ントの長さを測定することによって、このジェスチャが持続時間の長いジェスチャなのか
短いジェスチャなのか判定するステップを含んでもよい。
って1つまたは複数のユーザ定義ジェスチャを記録し、ならびにジェスチャ中の装置の位
置および向きを記録するステップを含んでもよい。
において測定することにより、ジェスチャによって生成される筋活動を検出するように構
成された1つまたは複数の機械式筋運動記録(MMG)センサを設けるステップを含んで
もよい。
バックモジュールを設けるステップを含んでもよい。
よってもたらされる振動フィードバックを含んでもよい。
よび「通信するように結合する」などの異形と同様に、用語「通信の(communic
ative)」は一般に、情報を伝送および/または交換するための任意の構成に言及す
るのに使用される。例示的な通信経路には、それだけには限定されないが、導電性経路(
たとえば、導電性ワイヤ、導電性配線)、磁気経路(たとえば磁気媒体)、および/また
は光経路(たとえば光ファイバ)が含まれ、例示的な通信結合には、それだけには限定さ
れないが、電気結合、磁気結合、および/または光結合が含まれる。
)」、ならびに「供給される(provided)」および「供給する(providi
ng)」などの異形が、信号に関連してしばしば使用される。たとえば。筋活動センサは
、「少なくとも1つの信号を供給する」ものとして説明されており、慣性センサは、「少
なくとも1つの信号を供給する」ものとして説明されている。具体的な文脈上別の意味に
解釈すべき場合を除き、用語「供給する(provide)」は、最も一般的な意味で使
用されて、信号を中継すること、信号を出力すること、信号を生成すること、信号を経路
指定すること、信号を生成すること、信号を変換することなどを含むが、それだけには限
定されない、信号を供給する任意の形態を包含する。たとえば、表面EMGセンサは、筋
活動からの電気信号に抵抗性または容量性で結合される、少なくとも1つの電極を備えて
もよい。この結合により、少なくとも1つの電極の電荷または電位に変化が誘起され、次
いでこれが、センサの回路および出力を介して中継され、すなわちセンサによって「供給
される(provided)」。したがって、表面EMGセンサは、筋肉から出力まで電
気信号を中継することによって、電気信号を「供給(provide)」してもよい。対
照的に、慣性センサは、物理的な動きを電気信号に変換するのに使用される(たとえば、
圧電性、圧電抵抗性、容量性などの)構成要素を備えてもよい。慣性センサは、動きを検
出し、この動きに応答して電気信号を生成することによって、電気信号を「供給(pro
vide)」してもよい。
れる。例として、それだけには限らないが、「検出する(to detect)」、「供
給する(to provide)」、「伝送する(to transmit)」、「通信
する(to communicate)」、「処理する(to process)」、「
経路指定する(to route)」などが含まれる。具体的な文脈上別の意味に解釈す
べき場合を除き、このような不定詞の動詞形は、オープンで包括的な意味において、すな
わち「少なくとも検出する(to,at least,detect)」、「少なくとも
供給する(to,at least,provide)」、「少なくとも伝送する(to
,at least,transmit)」などとして使用される。
はなく、または開示された厳密な形態に各実施形態を限定するものでもない。具体的な実
施形態および例は、例示する目的で本明細書に説明してあるが、本開示の趣旨および範囲
から逸脱することなく様々な均等な修正形態をなすこともでき、このことが当業者には理
解されよう。様々な実施形態の本明細書に提示された教示は、他の携帯型電子装置および
/またはウェアラブル電子装置に適用することができ、これは必ずしも、全体として先に
述べた例示的なウェアラブル電子装置とは限らない。
び/またはプロセスの様々な実施形態について述べた。このようなブロック図、概略図、
および例が、1つまたは複数の機能および/または動作を含む場合、このようなブロック
図、フローチャート、または例の中の各機能および/または動作は、広範囲のハードウェ
ア、ソフトウェア、または事実上その任意の組合せによって、個別に、かつ/またはひと
まとめにして実施できることが当業者には理解されよう。一実施形態では、この主題を、
特定用途向け集積回路(ASIC)を用いて実施してもよい。しかし、本発明に記載の実
施形態は、全体としてまたは部分的に、1つもしくは複数のコンピュータが実行する1つ
もしくは複数のコンピュータプログラム(たとえば、1つもしくは複数のコンピュータシ
ステム上で走っている1つもしくは複数のプログラム)として、1つもしくは複数のコン
トローラ(たとえばマイクロコントローラ)が実行する1つもしくは複数のプログラムと
して、1つもしくは複数のプロセッサ(たとえば、マイクロプロセッサ、中央処理装置、
グラフィック処理ユニット)が実行する1つもしくは複数のプログラムとして、ファーム
ウェアとして、または事実上その任意の組合せとして、標準の集積回路において等しく実
施できること、ならびに、回路を設計することならびに/またはソフトウェアおよびもし
くはファームウェアのコードを書くことは、本開示の教示に照らして当業者の技量の範囲
内に十分入るはずであることが当業者には理解されよう。
のプロセッサ関連のシステムもしくは方法によって使用するため、またはそれとともに使
用するため、任意のコンピュータ読取り可能な媒体に記憶することができる。本開示との
関連において、メモリは、コンピュータ読取り可能な媒体であり、電子、磁気、光、また
は、コンピュータおよび/もしくはプロセッサのプログラムを含む、すなわち記憶する、
他の物理的な装置もしくは手段である。論理および/または情報は、コンピュータベース
のシステム、プロセッサ内蔵システム、または、命令実行のシステム、装置、もしくはデ
バイスから命令をフェッチし、論理および/または情報に関連するその命令を実行するこ
とができる他のシステムなどの、命令実行のシステム、装置もしくはデバイスによって、
またはそれらとともに使用するために、任意のコンピュータ読取り可能な媒体で実施する
ことができる。
のシステム、装置、および/もしくはデバイスによって、またはそれらとともに使用する
ために、論理および/または情報に関連するプログラムを記憶できる任意の要素とするこ
とができる。コンピュータ読取り可能な媒体は、たとえば、電子、磁気、光学、電磁、赤
外線、または半導体のシステム、装置、もしくはデバイスとすることができるが、それら
だけには限定されない。コンピュータ読取り可能な記憶媒体のより具体的な例(非包括的
なリスト)には、以下のもの、すなわち、携帯用コンピュータディスケット(磁気、コン
パクトフラッシュ(登録商標)カード、セキュアデジタルなど)、ランダムアクセスメモ
リ(RAM)、リードオンリーメモリ(ROM)、消去可能なプログラマブルリードオン
リーメモリ(EPROM、EEPROM、またはフラッシュメモリ)、携帯用コンパクト
ディスクリードオンリーメモリ(CDROM)、デジタルテープ、および他の非一時的な
媒体が含まれるであろう。
明細書における具体的な教示および定義に矛盾しない限り、本明細書で参照され、かつ/
または出願データシートのリストに記載された米国特許、米国特許出願公開、米国特許出
願、外国特許、外国特許出願、および非特許文献の全て、すなわち、以下のものだけには
限定されないが、2013年2月22日出願の米国仮特許出願第61/768,322号
明細書、米国仮特許出願第61/771,500号明細書、米国仮特許出願第61/90
3,238号明細書、米国仮特許出願第61/909,786号明細書、米国仮特許出願
第61/857,105号明細書、米国仮特許出願第61/860,063号明細書、米
国仮特許出願第61/822,740号明細書、米国仮特許出願第61/866,960
号明細書、米国仮特許出願第61/869,526号明細書、米国仮特許出願第61/8
74,846号明細書、米国仮特許出願第61/881,064号明細書、米国仮特許出
願第61/894,263号明細書、米国仮特許出願第61/915,338号明細書、
および/または米国仮特許出願第61/940,048号明細書は、参照によりそれらの
全体が本明細書に援用される。必要であれば、様々な特許、出願、および文献の、システ
ム、回路、および考え方を利用するよう実施形態の態様を修正して、さらに別の実施形態
を実現することができる。
、以下の特許請求の範囲において、使用される用語は、本明細書および特許請求の範囲に
開示された特定の実施形態に特許請求の範囲を限定するものと解釈すべきではなく、こう
した特許請求の範囲が権利を有する均等物の全範囲に加えて、実現可能な全ての実施形態
を含むと解釈すべきである。したがって、特許請求の範囲は、本開示によって限定されな
い。
および説明に役立つ実例は限定的なものではなく、本発明の範囲は、以下の特許請求の範
囲によって定義されることが理解されよう。
Claims (25)
- 使用時にユーザが身につけるバンドと、
前記バンドによって保持される筋電図検査(EMG)センサを含む少なくとも1つの筋
活動センサであって、使用時に前記ユーザが第1の物理的なジェスチャを実行するのに応
答して筋活動を検出し、前記検出された筋活動に応答して少なくとも1つの信号を供給す
るための少なくとも1つの筋活動センサと、
前記バンドによって保持される少なくとも1つの慣性センサであって、使用時に前記ユ
ーザが前記第1の物理的なジェスチャとは異なる第2の物理的なジェスチャを実行するの
に応答して動きを検出し、前記検出された動きに応答して少なくとも1つの信号を供給す
るための少なくとも1つの慣性センサと、
前記バンドによって保持されるプロセッサであって、前記少なくとも1つの筋活動セン
サおよび前記少なくとも1つの慣性センサと通信するように結合され、使用時に、前記少
なくとも1つの筋活動センサが供給する少なくとも1つの信号のみに基づいて前記ユーザ
が実行する前記第1の物理的なジェスチャを識別し、前記少なくとも1つの慣性センサが
供給する少なくとも1つの信号のみに基づいて、前記ユーザが実行する前記第2の物理的
なジェスチャを識別するためのプロセッサと、
を備える、ウェアラブル電子装置。 - 前記バンドによって保持され、かつ前記プロセッサに通信するように結合された非一時
的なコンピュータ読取り可能記憶媒体をさらに含み、前記非一時的なコンピュータ読取り
可能記憶媒体はプロセッサ実行可能な命令を記憶し、前記命令が前記プロセッサによって
実行されるとき、前記命令は、
前記少なくとも1つの筋活動センサが供給する少なくとも1つの信号のみに基づいて、
前記ユーザが実行する前記第1の物理的なジェスチャを前記プロセッサに識別させ、
前記少なくとも1つの慣性センサが供給する少なくとも1つの信号のみに基づいて、前
記ユーザが実行する前記第2の物理的なジェスチャを前記プロセッサに識別させる、請求
項1に記載のウェアラブル電子装置。 - 前記非一時的なコンピュータ読取り可能記憶媒体がプロセッサ実行可能な命令を記憶し
、前記命令が前記プロセッサによって実行されるとき、前記命令は、
前記少なくとも1つの筋活動センサが供給する少なくとも1つの前記信号のみに基づい
て、前記ユーザが実行する前記第1の物理的なジェスチャを識別し、かつ、
前記少なくとも1つの慣性センサが供給する少なくとも1つの前記信号のみに基づいて
、前記ユーザが実行する前記第2の物理的なジェスチャを識別するための機械知能法を前
記プロセッサに実行させる、請求項2に記載のウェアラブル電子装置。 - 前記非一時的なコンピュータ読取り可能記憶媒体に記憶された前記プロセッサ実行可能
な命令には、前記プロセッサによって実行されるとき、前記ユーザによって実行される前
記第1の物理的なジェスチャまたは前記ユーザによって実行される前記第2の物理的なジ
ェスチャを、隠れマルコフモデル、および/または長短期ニューラルネットのうちの少な
くとも1つに基づいて前記プロセッサに分類させるプロセッサ実行可能な命令が含まれる
、請求項3に記載のウェアラブル電子装置。 - 前記非一時的なコンピュータ読取り可能記憶媒体に記憶された前記プロセッサ実行可能
な命令には、前記プロセッサによって実行されるとき、前記ユーザの腕に着用したウェア
ラブル電子装置の位置または方向にかかわらず、前記ユーザの前記腕の中の筋肉に対する
前記少なくとも1つの筋活動センサの位置を識別するための較正ルーチンを、前記プロセ
ッサに実行させるプロセッサ実行可能な命令が含まれる、請求項2に記載のウェアラブル
電子装置。 - 前記バンドによって保持される無線送信機であって、前記プロセッサと通信するように
結合され、使用時に、前記ユーザが実行する前記第1の物理的ジェスチャまたは前記ユー
ザが実行する前記第2の物理的ジェスチャを前記プロセッサが識別するのに応答して、少
なくとも1つの信号を無線で伝送する無線送信機をさらに備える、請求項1に記載のウェ
アラブル電子装置。 - 前記少なくとも1つの筋活動センサが、機械式筋運動記録(MMG)センサを備える、
請求項1に記載のウェアラブル電子装置。 - 前記少なくとも1つの筋活動センサが、複数の筋電図検査(EMG)センサを備える、
請求項1に記載のウェアラブル電子装置。 - 前記バンドによって保持される触覚フィードバックモジュールであって、使用時に触覚
フィードバックを前記ユーザに提示する触覚フィードバックモジュールをさらに備える、
請求項1に記載のウェアラブル電子装置。 - 前記バンドが伸張可能である、請求項1に記載のウェアラブル電子装置。
- 前記バンドによって保持される少なくとも1つの追加構成部品であって、前記少なくと
も1つの筋活動センサと通信するように結合された増幅回路、前記少なくとも1つの筋活
動センサと通信するように結合されたフィルタリング回路、前記少なくとも1つの筋活動
センサと通信するように結合されたアナログ・デジタル変換回路、および前記プロセッサ
に電気的に結合された電池からなる群から選択される少なくとも1つの追加構成部品をさ
らに備える、請求項1に記載のウェアラブル電子装置。 - 前記少なくとも1つの慣性センサが、加速度計、ジャイロスコープ、および慣性測定ユ
ニット(IMU)からなる群から選択される少なくとも1つの慣性センサを備える、請求
項1に記載のウェアラブル電子装置。 - 前記バンドによって保持される前記プロセッサが、使用中に、
前記ユーザによって実行される前記第1の物理的なジェスチャを、少なくとも前記第1
の物理的なジェスチャの第1の解釈および前記第1の物理的なジェスチャの第2の解釈と
して解釈し、前記第1の物理的なジェスチャの前記第1の解釈および前記第1の物理的な
ジェスチャの前記第2の解釈は異なるジェスチャを表しており、
前記第1の物理的なジェスチャの前記第1の解釈および前記第1の物理的なジェスチャ
の前記第2の解釈の一方を選択するための前記ユーザからの入力を要求する、
請求項1に記載のウェアラブル電子装置。 - 前記バンドによって保持される前記プロセッサが、使用中に、
前記ユーザによって実行される前記第2の物理的なジェスチャを、少なくとも前記第2
の物理的なジェスチャの第1の解釈および前記第2の物理的なジェスチャの第2の解釈と
して解釈し、前記第2の物理的なジェスチャの前記第1の解釈および前記第2の物理的な
ジェスチャの前記第2の解釈は異なるジェスチャを表しており、
前記第2の物理的なジェスチャの前記第1の解釈および前記第2の物理的なジェスチャ
の前記第2の解釈の一方を選択するための前記ユーザからの入力を要求する、
請求項1に記載のウェアラブル電子装置。 - ウェアラブル電子装置を動作させる方法であって、前記ウェアラブル電子装置が、ユー
ザが装着するバンド、前記バンドによって保持される筋電図検査(EMG)センサを含む
少なくとも1つの筋活動センサ、前記バンドによって保持される少なくとも1つの慣性セ
ンサ、および、前記バンドによって保持されるプロセッサであって、前記少なくとも1つ
の筋活動センサおよび前記少なくとも1つの慣性センサと通信するように結合されたプロ
セッサを備え、前記方法が、
前記ウェアラブル電子装置の前記バンドによって保持される少なくとも1つの筋活動セ
ンサによって、前記ユーザが第1の物理的なジェスチャを実行するのに応答して筋活動を
検出するステップと、
前記検出された筋活動に応答して、少なくとも1つの筋活動センサから前記プロセッサ
に少なくとも1つの信号を供給するステップと、
前記ウェアラブル電子装置の前記バンドによって保持される少なくとも1つの慣性セン
サによって、前記ユーザが前記第1の物理的なジェスチャとは異なる第2の物理的なジェ
スチャを実行するのに応答して動きを検出するステップと、
前記検出された動きに応答して、少なくとも1つの慣性センサから前記プロセッサに少
なくとも1つの信号を供給するステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号、および少
なくとも1つの慣性センサによって供給される前記少なくとも1つの信号を処理するステ
ップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号のみに基づ
いて、前記ユーザが実行する前記第1の物理的なジェスチャを識別するステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
少なくとも1つの慣性センサによって供給される前記少なくとも1つの信号のみに基づい
て、前記ユーザが実行する前記第2の物理的なジェスチャを識別するステップと、
を含む、方法。 - 前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号、および少
なくとも1つの慣性センサによって供給される前記少なくとも1つの信号を処理するステ
ップが、分類子、隠れマルコフモデル、長短期ニューラルネット、または他の機械知能法
のうちの少なくとも1つまたは複数を利用して、少なくとも1つの筋活動センサによって
供給される前記少なくとも1つの信号、および少なくとも1つの慣性センサによって供給
される前記少なくとも1つの信号を処理するステップを含む、請求項15に記載の方法。 - 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ前記プロセッ
サと通信するように結合された無線送信機を備え、前記方法がさらに、
前記ユーザが実行する前記第1の物理的ジェスチャまたは前記ユーザが実行する前記第
2の物理的ジェスチャを前記プロセッサが識別するのに応答して、少なくとも1つの信号
を無線で伝送するステップ
を含む、請求項15に記載の方法。 - 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも1
つの筋活動センサと通信するように結合された増幅回路を備え、前記方法がさらに、
少なくとも1つの筋活動センサから前記プロセッサに、前記少なくとも1つの信号を供
給する前に、前記増幅回路によって少なくとも1つの筋活動センサからの前記少なくとも
1つの信号を増幅するステップ
を含む、請求項15に記載の方法。 - 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも1
つの筋活動センサと通信するように結合されたフィルタリング回路を備え、前記方法がさ
らに、
少なくとも1つの筋活動センサから前記プロセッサに、前記少なくとも1つの信号を供
給する前に、前記フィルタリング回路によって少なくとも1つの筋活動センサからの前記
少なくとも1つの信号をフィルタリングするステップ
を含む、請求項15に記載の方法。 - 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも1
つの筋活動センサと通信するように結合されたアナログ・デジタル変換回路を備え、前記
方法がさらに、
少なくとも1つの筋活動センサから前記プロセッサに、前記少なくとも1つの信号を供
給する前に、前記アナログ・デジタル変換回路によって少なくとも1つの筋活動センサか
らの前記少なくとも1つの信号を、アナログ信号からデジタル信号に変換するステップ
を含む、請求項15に記載の方法。 - 前記少なくとも1つの筋活動センサが、複数の筋電図検査(EMG)センサを備える、
請求項15に記載の方法。 - 前記ウェアラブル電子装置がさらに、前記バンドによって保持される触覚フィードバッ
クモジュールであって、前記プロセッサと通信するように結合された振動モータを含む触
覚フィードバックモジュールを備え、前記方法がさらに、前記ユーザが実行する物理的な
ジェスチャを前記プロセッサが識別するのに応答して、前記振動モータによって触覚フィ
ードバックを前記ユーザに提示するステップを含む、請求項15に記載の方法。 - 前記ユーザの腕に着用した前記ウェアラブル電子装置の位置や方向に関係なく前記プロ
セッサによって、前記ユーザの腕の中の筋肉に対する前記少なくとも1つの筋活動センサ
の位置を識別するための較正ルーチンを実行するステップ、
をさらに含む、請求項15に記載の方法。 - 前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号のみに基づ
いて、前記ユーザが実行する前記第1の物理的なジェスチャを識別するステップは、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
前記ユーザによって実行される前記第1の物理的ジェスチャを、少なくとも前記第1の物
理的ジェスチャの第1の解釈および前記第1の物理的ジェスチャの第2の解釈として解釈
するステップであって、前記第1の物理的ジェスチャの前記第1の解釈および前記第1の
物理的ジェスチャの前記第2の解釈は異なるジェスチャを表す、ステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
前記第1の物理的ジェスチャの前記第1の解釈および前記第1の物理的ジェスチャの前記
第2の解釈の一方を選択するための前記ユーザからの入力を要求するステップと、
を含む、請求項15に記載の方法。 - 前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
少なくとも1つの慣性センサによって供給される前記少なくとも1つの信号のみに基づい
て、前記ユーザが実行する前記第2の物理的なジェスチャを識別するステップは、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
前記ユーザによって実行される前記第2の物理的ジェスチャを、少なくとも前記第2の物
理的ジェスチャの第1の解釈および前記第2の物理的ジェスチャの第2の解釈として解釈
するステップであって、前記第2の物理的ジェスチャの前記第1の解釈および前記第2の
物理的ジェスチャの前記第2の解釈は異なるジェスチャを表す、ステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
前記第2の物理的ジェスチャの前記第1の解釈および前記第2の物理的ジェスチャの前記
第2の解釈の一方を選択するための前記ユーザからの入力を要求するステップと、
を含む、請求項15に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361768322P | 2013-02-22 | 2013-02-22 | |
US61/768,322 | 2013-02-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018215132A Division JP2019023941A (ja) | 2013-02-22 | 2018-11-16 | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021072136A true JP2021072136A (ja) | 2021-05-06 |
Family
ID=51387561
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015559017A Withdrawn JP2016507851A (ja) | 2013-02-22 | 2014-02-21 | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 |
JP2018215132A Withdrawn JP2019023941A (ja) | 2013-02-22 | 2018-11-16 | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 |
JP2021012756A Pending JP2021072136A (ja) | 2013-02-22 | 2021-01-29 | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015559017A Withdrawn JP2016507851A (ja) | 2013-02-22 | 2014-02-21 | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 |
JP2018215132A Withdrawn JP2019023941A (ja) | 2013-02-22 | 2018-11-16 | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9299248B2 (ja) |
EP (1) | EP2959394B1 (ja) |
JP (3) | JP2016507851A (ja) |
KR (1) | KR102330889B1 (ja) |
CN (1) | CN105190578A (ja) |
CA (1) | CA2902045A1 (ja) |
WO (1) | WO2014130871A1 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11481031B1 (en) | 2019-04-30 | 2022-10-25 | Meta Platforms Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
US11644799B2 (en) | 2013-10-04 | 2023-05-09 | Meta Platforms Technologies, Llc | Systems, articles and methods for wearable electronic devices employing contact sensors |
US11666264B1 (en) | 2013-11-27 | 2023-06-06 | Meta Platforms Technologies, Llc | Systems, articles, and methods for electromyography sensors |
US11797087B2 (en) | 2018-11-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
Families Citing this family (199)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US10921886B2 (en) | 2012-06-14 | 2021-02-16 | Medibotics Llc | Circumferential array of electromyographic (EMG) sensors |
US10314492B2 (en) | 2013-05-23 | 2019-06-11 | Medibotics Llc | Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body |
US9588582B2 (en) | 2013-09-17 | 2017-03-07 | Medibotics Llc | Motion recognition clothing (TM) with two different sets of tubes spanning a body joint |
US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US10716510B2 (en) | 2013-09-17 | 2020-07-21 | Medibotics | Smart clothing with converging/diverging bend or stretch sensors for measuring body motion or configuration |
US9582035B2 (en) | 2014-02-25 | 2017-02-28 | Medibotics Llc | Wearable computing devices and methods for the wrist and/or forearm |
US10602965B2 (en) | 2013-09-17 | 2020-03-31 | Medibotics | Wearable deformable conductive sensors for human motion capture including trans-joint pitch, yaw, and roll |
US9891718B2 (en) | 2015-04-22 | 2018-02-13 | Medibotics Llc | Devices for measuring finger motion and recognizing hand gestures |
US10321873B2 (en) | 2013-09-17 | 2019-06-18 | Medibotics Llc | Smart clothing for ambulatory human motion capture |
US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
US9234742B2 (en) | 2013-05-01 | 2016-01-12 | Faro Technologies, Inc. | Method and apparatus for using gestures to control a laser tracker |
WO2014186370A1 (en) | 2013-05-13 | 2014-11-20 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
US9221170B2 (en) * | 2013-06-13 | 2015-12-29 | GM Global Technology Operations LLC | Method and apparatus for controlling a robotic device via wearable sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US11426123B2 (en) | 2013-08-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures |
US20150057770A1 (en) * | 2013-08-23 | 2015-02-26 | Thaimic Labs Inc. | Systems, articles, and methods for human-electronics interfaces |
US9788789B2 (en) | 2013-08-30 | 2017-10-17 | Thalmic Labs Inc. | Systems, articles, and methods for stretchable printed circuit boards |
US9841815B2 (en) * | 2013-09-09 | 2017-12-12 | Samsung Electronics Co., Ltd. | Method for differentiation of touch input and visualization of pending touch input |
US11071498B2 (en) | 2013-09-17 | 2021-07-27 | Medibotics Llc | Smart clothing with inertial, strain, and electromyographic sensors for human motion capture |
US11892286B2 (en) | 2013-09-17 | 2024-02-06 | Medibotics Llc | Motion recognition clothing [TM] with an electroconductive mesh |
US11304628B2 (en) | 2013-09-17 | 2022-04-19 | Medibotics Llc | Smart clothing with dual inertial sensors and dual stretch sensors for human motion capture |
US9541955B2 (en) * | 2013-10-23 | 2017-01-10 | Raphael Holtzman | System for modular expansion of mobile computer systems |
US9535505B2 (en) * | 2013-11-08 | 2017-01-03 | Polar Electro Oy | User interface control in portable system |
US20150153854A1 (en) * | 2013-12-03 | 2015-06-04 | Lenovo (Singapore) Pte. Ltd. | Extension of wearable information handling device user interface |
KR20150065336A (ko) * | 2013-12-05 | 2015-06-15 | 삼성전자주식회사 | 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9811159B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
CN106102504A (zh) | 2014-02-14 | 2016-11-09 | 赛尔米克实验室公司 | 用于弹性电力缆线的系统、制品和方法以及采用弹性电力缆线的可佩戴电子装置 |
US10429888B2 (en) | 2014-02-25 | 2019-10-01 | Medibotics Llc | Wearable computer display devices for the forearm, wrist, and/or hand |
US9594443B2 (en) * | 2014-02-26 | 2017-03-14 | Lenovo (Singapore) Pte. Ltd. | Wearable device authentication and operation |
US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
USD756359S1 (en) * | 2014-05-15 | 2016-05-17 | Thalmic Labs Inc. | Expandable armband device |
JP2015223220A (ja) * | 2014-05-26 | 2015-12-14 | 株式会社東芝 | バンド及び電子機器 |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
US9600083B2 (en) * | 2014-07-15 | 2017-03-21 | Immersion Corporation | Systems and methods to generate haptic feedback for skin-mediated interactions |
JP6447917B2 (ja) * | 2014-08-06 | 2019-01-09 | パナソニックIpマネジメント株式会社 | 手首装着型の入力装置 |
US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
US10750153B2 (en) | 2014-09-22 | 2020-08-18 | Samsung Electronics Company, Ltd. | Camera system for three-dimensional video |
US9830783B1 (en) * | 2014-09-24 | 2017-11-28 | Apple Inc. | Output devices for fabric-based electronic equipment |
US10488936B2 (en) | 2014-09-30 | 2019-11-26 | Apple Inc. | Motion and gesture input from a wearable device |
CN104536558B (zh) * | 2014-10-29 | 2019-01-25 | 三星电子(中国)研发中心 | 一种智能指环和控制智能设备的方法 |
CN107110964B (zh) * | 2014-10-31 | 2023-08-15 | 西门子瑞士有限公司 | 用于在无线电范围、尤其是室内区域的无线电范围中检测对象和/或生物的移动的方法、数字工具、设备和系统 |
US9807221B2 (en) | 2014-11-28 | 2017-10-31 | Thalmic Labs Inc. | Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link |
US9417693B2 (en) * | 2014-12-08 | 2016-08-16 | Rohit Seth | Wearable wireless HMI device |
US9380855B2 (en) * | 2014-12-08 | 2016-07-05 | Intel Corporation | System and method for generating and using a wearable device profile |
CN107003740A (zh) * | 2014-12-09 | 2017-08-01 | Lg 伊诺特有限公司 | 带式传感器和具有带式传感器的可佩戴式设备 |
CN104586390A (zh) * | 2014-12-18 | 2015-05-06 | 中国科学院深圳先进技术研究院 | 一种信息处理方法及相关设备 |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
US9612661B2 (en) * | 2015-01-02 | 2017-04-04 | Wearable Devices Ltd. | Closed loop feedback interface for wearable devices |
US9720515B2 (en) | 2015-01-02 | 2017-08-01 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
US9338627B1 (en) | 2015-01-28 | 2016-05-10 | Arati P Singh | Portable device for indicating emergency events |
KR102288823B1 (ko) * | 2015-02-06 | 2021-08-11 | 엘지이노텍 주식회사 | 웨어러블 디바이스 |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
JP2017009573A (ja) * | 2015-03-06 | 2017-01-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 装着端末、及び、装着端末の制御方法 |
US20160282947A1 (en) * | 2015-03-26 | 2016-09-29 | Lenovo (Singapore) Pte. Ltd. | Controlling a wearable device using gestures |
US10459524B2 (en) * | 2015-04-14 | 2019-10-29 | Northrop Grumman Systems Corporation | Multi-sensor control system and method for remote signaling control of unmanned vehicles |
US10437335B2 (en) * | 2015-04-14 | 2019-10-08 | John James Daniels | Wearable electronic, multi-sensory, human/machine, human/human interfaces |
US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
US20160320850A1 (en) * | 2015-04-29 | 2016-11-03 | Samsung Electronics Co., Ltd. | User interface control using impact gestures |
US10289239B2 (en) | 2015-07-09 | 2019-05-14 | Microsoft Technology Licensing, Llc | Application programming interface for multi-touch input detection |
US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
US10067564B2 (en) * | 2015-08-11 | 2018-09-04 | Disney Enterprises, Inc. | Identifying hand gestures based on muscle movement in the arm |
US9871546B2 (en) * | 2015-09-11 | 2018-01-16 | Panasonic Intellectual Property Corporation Of America | Wearable terminal mountable on part of body of user |
US9939899B2 (en) | 2015-09-25 | 2018-04-10 | Apple Inc. | Motion and gesture input from a wearable device |
US10242252B2 (en) * | 2015-09-25 | 2019-03-26 | Intel Corporation | Expression recognition tag |
US9809231B2 (en) * | 2015-10-28 | 2017-11-07 | Honda Motor Co., Ltd. | System and method for executing gesture based control of a vehicle system |
CN105373785B (zh) * | 2015-11-30 | 2019-08-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
US20170164890A1 (en) * | 2015-12-11 | 2017-06-15 | Intel Corporation | System to facilitate therapeutic positioning for a body part |
KR101685013B1 (ko) * | 2015-12-17 | 2016-12-09 | 연세대학교 원주산학협력단 | 근진동 측정 센서를 이용한 전기자극기 및 전기자극 방법 |
TWI583357B (zh) | 2015-12-17 | 2017-05-21 | 財團法人工業技術研究院 | 肌肉震動訊號處理系統與方法 |
WO2017107035A1 (en) * | 2015-12-22 | 2017-06-29 | Intel Corporation | Time domain feature transform for user gestures |
KR20170076500A (ko) * | 2015-12-24 | 2017-07-04 | 삼성전자주식회사 | 생체 신호에 근거하여 기능을 수행하기 위한 방법, 저장 매체 및 전자 장치 |
US11089146B2 (en) | 2015-12-28 | 2021-08-10 | The Mitre Corporation | Systems and methods for rehabilitative motion sensing |
CN105718049A (zh) * | 2016-01-14 | 2016-06-29 | 宇龙计算机通信科技(深圳)有限公司 | 控制方法、控制装置及其可穿戴智能设备和终端 |
US10503253B2 (en) * | 2016-03-31 | 2019-12-10 | Intel Corporation | Sensor signal processing to determine finger and/or hand position |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
KR101675577B1 (ko) * | 2016-05-03 | 2016-11-14 | 엘아이지넥스원 주식회사 | 근경도 센서 모듈 |
CN105726048A (zh) * | 2016-05-05 | 2016-07-06 | 郑州大学第一附属医院 | 一种骨科常见疾病的功能锻炼监测装置 |
WO2017199356A1 (ja) * | 2016-05-18 | 2017-11-23 | 日立マクセル株式会社 | ジェスチャ認識装置、ジェスチャ認識パターン情報のキャリブレーション方法、及びそれを用いた通信端末 |
US10638316B2 (en) | 2016-05-25 | 2020-04-28 | Intel Corporation | Wearable computer apparatus with same hand user authentication |
DE202016003692U1 (de) * | 2016-06-10 | 2017-09-12 | Kuka Roboter Gmbh | Haptische Rückmeldungsvorrichtungen für ein Manipulatorsystem |
US9781243B1 (en) * | 2016-06-27 | 2017-10-03 | Intel Corporation | Optimizing wearable device settings using machine learning |
CN109561845B (zh) | 2016-06-30 | 2022-04-01 | 皇家飞利浦有限公司 | 用于处理生理信号的处理装置 |
DE102016212236A1 (de) * | 2016-07-05 | 2018-01-11 | Siemens Aktiengesellschaft | Interaktionssystem und -verfahren |
CN117032398A (zh) * | 2016-07-06 | 2023-11-10 | 可穿戴设备有限公司 | 用于可穿戴设备的姿势控制接口的方法和装置 |
US10687759B2 (en) | 2018-05-29 | 2020-06-23 | Facebook Technologies, Llc | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
CN110312471B (zh) * | 2016-07-25 | 2022-04-29 | 脸谱科技有限责任公司 | 从神经肌肉活动测量中导出控制信号的自适应系统 |
EP3487395A4 (en) | 2016-07-25 | 2020-03-04 | CTRL-Labs Corporation | METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS |
US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
EP3487402B1 (en) | 2016-07-25 | 2021-05-05 | Facebook Technologies, LLC | Methods and apparatus for inferring user intent based on neuromuscular signals |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
WO2018022657A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | System and method for measuring the movements of articulated rigid bodies |
US10772519B2 (en) | 2018-05-25 | 2020-09-15 | Facebook Technologies, Llc | Methods and apparatus for providing sub-muscular control |
US10478099B2 (en) * | 2016-09-22 | 2019-11-19 | Apple Inc. | Systems and methods for determining axial orientation and location of a user's wrist |
US10084612B2 (en) | 2016-10-05 | 2018-09-25 | International Business Machines Corporation | Remote control with muscle sensor and alerting sensor |
US9769166B1 (en) | 2016-10-19 | 2017-09-19 | International Business Machines Corporation | Wearable sensor based system for person identification |
WO2018098046A2 (en) | 2016-11-25 | 2018-05-31 | Kinaptic, LLC | Haptic human machine interface and wearable electronics methods and apparatus |
EP3548994B1 (en) * | 2016-12-02 | 2021-08-11 | Pison Technology, Inc. | Detecting and using body tissue electrical signals |
US10406971B2 (en) * | 2017-01-09 | 2019-09-10 | Christopher Troy De Baca | Wearable wireless electronic signaling apparatus and method of use |
KR101963694B1 (ko) * | 2017-01-22 | 2019-03-29 | 계명대학교 산학협력단 | 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법 |
US10874347B1 (en) * | 2017-03-02 | 2020-12-29 | Focal Wellness, Inc. | Multiple plane sensors |
US10902743B2 (en) | 2017-04-14 | 2021-01-26 | Arizona Board Of Regents On Behalf Of Arizona State University | Gesture recognition and communication |
US10905374B2 (en) | 2017-05-25 | 2021-02-02 | Samsung Electronics Co., Ltd. | Method and wearable device for performing actions using body sensor array |
WO2019008497A1 (en) * | 2017-07-04 | 2019-01-10 | Moradi Ali | SYSTEM AND METHOD FOR INCREASING DETECTION OF FLUORESCENCE |
US10481699B2 (en) * | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
US10152141B1 (en) | 2017-08-18 | 2018-12-11 | Osterhout Group, Inc. | Controller movement tracking with light emitters |
US10698492B2 (en) * | 2017-09-28 | 2020-06-30 | John James Daniels | Wearable electronic, multi-sensory, human/machine, human/human interfaces |
WO2019077625A1 (en) | 2017-10-20 | 2019-04-25 | Indian Institute Of Technology, Guwahati | INTERVENTION POINT SYSTEM FOR DETECTION OF PHYSICAL STRESS AT DIFFERENT PARTS OF THE BODY |
CN107943283B (zh) * | 2017-11-08 | 2021-02-02 | 浙江工业大学 | 基于手势识别的机械臂位姿控制系统 |
EP3710918A4 (en) * | 2017-11-14 | 2021-08-18 | Biointeractive Technologies, Inc. | APPARATUS AND METHODS FOR DETECTING, QUANTIFYING AND PROVIDING FEEDBACK ON USER ACTIONS |
EP3951564A1 (en) * | 2017-11-30 | 2022-02-09 | Facebook Technologies, LLC | Methods and apparatus for simultaneous detection of discrete and continuous gestures |
US10691180B2 (en) * | 2017-12-19 | 2020-06-23 | North Inc. | Wearable electronic devices having a multi-use single switch and methods of use thereof |
US11069148B2 (en) * | 2018-01-25 | 2021-07-20 | Facebook Technologies, Llc | Visualization of reconstructed handstate information |
WO2019147996A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Calibration techniques for handstate representation modeling using neuromuscular signals |
WO2019147958A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
US10817795B2 (en) | 2018-01-25 | 2020-10-27 | Facebook Technologies, Llc | Handstate reconstruction based on multiple inputs |
US10970936B2 (en) | 2018-10-05 | 2021-04-06 | Facebook Technologies, Llc | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
EP3743901A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | REAL-TIME PROCESSING OF ESTIMATES FROM A HAND CONDITION REPRESENTATION MODEL |
US20200310541A1 (en) * | 2019-03-29 | 2020-10-01 | Facebook Technologies, Llc | Systems and methods for control schemes based on neuromuscular data |
US10504286B2 (en) | 2018-01-25 | 2019-12-10 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
CN108427479B (zh) * | 2018-02-13 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 可穿戴设备、环境图像数据的处理系统、方法及可读介质 |
US10438867B2 (en) | 2018-03-08 | 2019-10-08 | Northrop Grumman Systems Corporation | Immersion cooling temperature control method, system, and apparatus |
CN113167576A (zh) * | 2018-04-19 | 2021-07-23 | 泰克萨维技术有限公司 | 对身体的至少两个部位的形貌进行估计的方法和系统 |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
WO2019217419A2 (en) * | 2018-05-08 | 2019-11-14 | Ctrl-Labs Corporation | Systems and methods for improved speech recognition using neuromuscular information |
WO2019241701A1 (en) * | 2018-06-14 | 2019-12-19 | Ctrl-Labs Corporation | User identification and authentication with neuromuscular signatures |
US10852143B2 (en) | 2018-06-27 | 2020-12-01 | Rohit Seth | Motion sensor with drift correction |
US11045137B2 (en) | 2018-07-19 | 2021-06-29 | Facebook Technologies, Llc | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
US10802598B2 (en) * | 2018-08-05 | 2020-10-13 | Pison Technology, Inc. | User interface control of responsive devices |
WO2020033110A1 (en) * | 2018-08-05 | 2020-02-13 | Pison Technology, Inc. | User interface control of responsive devices |
US11099647B2 (en) | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
WO2020036958A1 (en) | 2018-08-13 | 2020-02-20 | Ctrl-Labs Corporation | Real-time spike detection and identification |
JP2021535465A (ja) * | 2018-08-31 | 2021-12-16 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 神経筋信号のカメラ誘導による解釈 |
WO2020061440A1 (en) * | 2018-09-20 | 2020-03-26 | Ctrl-Labs Corporation | Neuromuscular control of an augmented reality system |
WO2020069181A1 (en) | 2018-09-26 | 2020-04-02 | Ctrl-Labs Corporation | Neuromuscular control of physical objects in an environment |
US12035206B2 (en) | 2019-01-13 | 2024-07-09 | Kinaptic, LLC | Fabric, connections and functional structures for wearable electronic garments and applications for the same |
CN109917909B (zh) * | 2019-02-01 | 2022-05-31 | 成都思悟革科技有限公司 | 基于非传播电磁场的多点接收阵列的动作捕捉装置及方法 |
RU193501U1 (ru) * | 2019-02-05 | 2019-10-30 | Раиса Юрьевна Будко | Устройство замещения утраченных функций человека с использованием обратной связи |
WO2020176106A1 (en) * | 2019-02-28 | 2020-09-03 | Facebook Technologies, Llc | Methods and apparatus for unsupervised machine learning for classification of gestures and estimation of applied forces |
US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
TWI689859B (zh) | 2019-03-19 | 2020-04-01 | 國立臺灣科技大學 | 由手腕偵測肌動訊號識別使用者手勢之系統及方法 |
JP7596313B2 (ja) * | 2019-05-28 | 2024-12-09 | ヒューメイン ソリューションズ ウーゲー(ハフトゥングスベシュレンクト) | ウェアラブルなヒューマンマシンインターフェース及びそれを使用して実行可能な方法 |
US10684686B1 (en) * | 2019-07-01 | 2020-06-16 | INTREEG, Inc. | Dynamic command remapping for human-computer interface |
FR3099877A1 (fr) | 2019-08-14 | 2021-02-19 | Maxime Projetti | Procédé et système pour l’analyse de l’activité biomécanique et l’exposition à un facteur de risque biomécanique sur un sujet humain dans un contexte d’activité physique |
US11803246B2 (en) * | 2019-08-22 | 2023-10-31 | University Of Maryland, College Park | Systems and methods for recognizing gesture |
CN110624217A (zh) * | 2019-09-23 | 2019-12-31 | 孙孟雯 | 一种基于多传感器融合的复健手套及其实现方法 |
WO2021062016A1 (en) * | 2019-09-26 | 2021-04-01 | The Regents Of The University Of California | Peripheral brain-machine interface system via volitional control of individual motor units |
US11974857B2 (en) | 2019-10-08 | 2024-05-07 | Unlimited Tomorrow, Inc. | Biometric sensor array |
US11243614B2 (en) * | 2019-10-09 | 2022-02-08 | Bose Corporation | Modified force sensitive resistors |
WO2021086688A2 (en) * | 2019-10-30 | 2021-05-06 | Google Llc | Smart-device-based radar system performing gesture recognition using a space time neural network |
CN110826625B (zh) * | 2019-11-06 | 2022-04-12 | 南昌大学 | 一种基于表面肌电信号的手指手势分类方法 |
US12089953B1 (en) | 2019-12-04 | 2024-09-17 | Meta Platforms Technologies, Llc | Systems and methods for utilizing intrinsic current noise to measure interface impedances |
US11262808B2 (en) * | 2019-12-06 | 2022-03-01 | Snap Inc. | Wearable electronic device accessory interface |
CN111061368B (zh) * | 2019-12-09 | 2023-06-27 | 华中科技大学鄂州工业技术研究院 | 一种手势检测方法及可穿戴设备 |
JP7306489B2 (ja) | 2019-12-12 | 2023-07-11 | 株式会社村田製作所 | 生体活動観測装置、生体活動観測方法 |
US11157086B2 (en) | 2020-01-28 | 2021-10-26 | Pison Technology, Inc. | Determining a geographical location based on human gestures |
US11199908B2 (en) | 2020-01-28 | 2021-12-14 | Pison Technology, Inc. | Wrist-worn device-based inputs for an operating system |
US10779740B1 (en) | 2020-02-28 | 2020-09-22 | Center For Quantitative Cytometry | System and method to enhance self-recovery of nerve-muscle damage |
US12031982B2 (en) | 2020-04-19 | 2024-07-09 | John J. Daniels | Using exhaled breath condensate for testing for a biomarker of COVID-19 |
FR3111224B1 (fr) * | 2020-06-04 | 2022-07-29 | Safran Electronics & Defense | Systeme de commande pour commander un dispositif distant du systeme. |
EP4162346A1 (en) | 2020-06-06 | 2023-04-12 | Battelle Memorial Institute | Non-verbal communications radio and non-verbal communication system using a plurality of non-verbal communication radios |
GB2596800A (en) * | 2020-07-03 | 2022-01-12 | Imperial College Innovations Ltd | A mechanomyography apparatus and associated methods |
RU201260U1 (ru) * | 2020-07-31 | 2020-12-08 | Общество с ограниченной ответственностью "Био Диджитал Технолоджи" | Устройство для распознавания жестов путём обнаружения и анализа мышечной активности методом электромиографии |
US11231437B1 (en) * | 2020-09-25 | 2022-01-25 | United Arab Emirates University | Arm motion sensor system |
CN112148126A (zh) * | 2020-09-25 | 2020-12-29 | 赵小川 | 肢体动作感应装置、系统及可穿戴设备 |
WO2022064329A1 (en) | 2020-09-28 | 2022-03-31 | King Abdullah University Of Science And Technology | Combined wireless and body channel communication system for physiological data collection |
IT202000022933A1 (it) | 2020-09-29 | 2022-03-29 | Bionit Labs S R L | Sistema integrato per la rilevazione ed elaborazione di segnali elettromiografici |
JP7586193B2 (ja) | 2020-12-14 | 2024-11-19 | 株式会社村田製作所 | 操作装置、および、操作推定方法 |
US11467675B1 (en) * | 2021-04-29 | 2022-10-11 | Facebook Technologies, Llc | Multi-component detection of gestures |
TWI775524B (zh) * | 2021-07-09 | 2022-08-21 | 華碩電腦股份有限公司 | 手勢判斷方法及電子裝置 |
SE2151399A1 (en) * | 2021-11-17 | 2023-05-18 | Idestam Almquist Peter | A communications system and a method for communicating information |
EP4369153A4 (en) | 2021-12-09 | 2025-01-01 | Samsung Electronics Co Ltd | GESTURE RECOGNITION METHOD USING A WEARABLE DEVICE, AND ASSOCIATED DEVICE |
US20240061513A1 (en) * | 2022-08-18 | 2024-02-22 | Meta Platforms Technologies, Llc | Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof |
US20240061514A1 (en) * | 2022-08-18 | 2024-02-22 | Meta Platforms Technologies, Llc | Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof |
US20240192765A1 (en) * | 2022-12-08 | 2024-06-13 | Meta Platforms Technologies, Llc | Activation force detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof |
WO2024163712A1 (en) * | 2023-02-01 | 2024-08-08 | The Regents Of The University Of California | Autonomous vehicle-mounted sensing kit background |
KR102595257B1 (ko) * | 2023-03-17 | 2023-11-01 | 강윤 | 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법 |
DE102023112850A1 (de) * | 2023-05-16 | 2024-11-21 | Bayerische Motoren Werke Aktiengesellschaft | Steuerung einer Funktion eines Kraftfahrzeugs |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07248873A (ja) * | 1994-03-08 | 1995-09-26 | Sharp Corp | 筋電信号を用いた制御装置 |
JP2008192004A (ja) * | 2007-02-06 | 2008-08-21 | Hiroshima Univ | 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 |
JP2008295867A (ja) * | 2007-06-01 | 2008-12-11 | Oisaka Denshi Kiki:Kk | 生体信号計測装置 |
US20090327171A1 (en) * | 2008-06-26 | 2009-12-31 | Microsoft Corporation | Recognizing gestures from forearm emg signals |
JP2011048818A (ja) * | 2009-08-27 | 2011-03-10 | Korea Electronics Telecommun | 指の動き検出装置およびその方法 |
KR20110040165A (ko) * | 2009-10-13 | 2011-04-20 | 한국전자통신연구원 | 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 |
US20120157886A1 (en) * | 2010-12-17 | 2012-06-21 | Industrial Technology Research Institute | Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof |
US20120188158A1 (en) * | 2008-06-26 | 2012-07-26 | Microsoft Corporation | Wearable electromyography-based human-computer interface |
US20120283896A1 (en) * | 2011-05-04 | 2012-11-08 | Qualcomm Incorporated | Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3620208A (en) | 1969-11-03 | 1971-11-16 | Atomic Energy Commission | Ekg amplifying electrode pickup |
US3880146A (en) | 1973-06-04 | 1975-04-29 | Donald B Everett | Noise compensation techniques for bioelectric potential sensing |
LU84250A1 (de) | 1982-07-01 | 1984-03-22 | Mardice Holding | Verfahren und vorrichtung fuer das kontaktlose messen von spannungsunterschieden bei lebenden organismen |
EP0301790A3 (en) | 1987-07-24 | 1990-06-06 | BioControl Systems, Inc. | Biopotential digital controller for music and video applications |
US5482051A (en) | 1994-03-10 | 1996-01-09 | The University Of Akron | Electromyographic virtual reality system |
JPH09179842A (ja) * | 1995-12-27 | 1997-07-11 | Kansai Electric Power Co Inc:The | 欠落値補正型ネットワーク及びその学習方法 |
JP3677149B2 (ja) * | 1998-05-26 | 2005-07-27 | 日本電信電話株式会社 | 手首装着型入力装置 |
US6244873B1 (en) | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
US6807438B1 (en) | 1999-08-26 | 2004-10-19 | Riccardo Brun Del Re | Electric field sensor |
US6720984B1 (en) | 2000-06-13 | 2004-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Characterization of bioelectric potentials |
JP2004527815A (ja) | 2000-12-18 | 2004-09-09 | ヒューマン バイオニクス エルエルシー、 | 感知電気生理学的データに基づく活動開始方法及びシステム |
WO2002065904A1 (en) | 2001-02-23 | 2002-08-29 | Cordless Antistatic Research Inc. | Enhanced pickup bio-electrode |
US6865409B2 (en) | 2001-11-07 | 2005-03-08 | Kinesense, Inc. | Surface electromyographic electrode assembly |
US7036077B2 (en) * | 2002-03-22 | 2006-04-25 | Xerox Corporation | Method for gestural interpretation in a system for selecting and arranging visible material in document images |
CA2379268A1 (en) | 2002-03-26 | 2003-09-26 | Hans Kolpin | Skin impedance matched biopotential electrode |
US6984208B2 (en) * | 2002-08-01 | 2006-01-10 | The Hong Kong Polytechnic University | Method and apparatus for sensing body gesture, posture and movement |
DE60215504T2 (de) | 2002-10-07 | 2007-09-06 | Sony France S.A. | Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik |
JP4178186B2 (ja) * | 2003-08-21 | 2008-11-12 | 国立大学法人 筑波大学 | 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム |
KR100594117B1 (ko) | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
KR100680023B1 (ko) * | 2004-12-06 | 2007-02-07 | 한국전자통신연구원 | 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법 |
US7809435B1 (en) | 2006-01-11 | 2010-10-05 | Iq Biolabs, Inc. | Adjustable wireless electromyography sensor and system |
US7558622B2 (en) * | 2006-05-24 | 2009-07-07 | Bao Tran | Mesh network stroke monitoring appliance |
US8437844B2 (en) | 2006-08-21 | 2013-05-07 | Holland Bloorview Kids Rehabilitation Hospital | Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements |
US8212859B2 (en) | 2006-10-13 | 2012-07-03 | Apple Inc. | Peripheral treatment for head-mounted displays |
US20080136775A1 (en) | 2006-12-08 | 2008-06-12 | Conant Carson V | Virtual input device for computing |
US20090265671A1 (en) * | 2008-04-21 | 2009-10-22 | Invensense | Mobile devices with motion gesture recognition |
MX2010000692A (es) | 2007-07-16 | 2010-08-31 | Sunrise Medical Hhg Inc | Sistema de recoleccion de datos fisiologicos. |
WO2009026289A2 (en) | 2007-08-20 | 2009-02-26 | Hmicro, Inc. | Wearable user interface device, system, and method of use |
US20090251407A1 (en) | 2008-04-03 | 2009-10-08 | Microsoft Corporation | Device interaction with combination of rings |
JP2010000283A (ja) | 2008-06-23 | 2010-01-07 | Shimadzu Corp | リアルタイム同時計測システム、リアルタイム同時計測装置、リアルタイム同時計測方法、およびプログラム |
US8170656B2 (en) | 2008-06-26 | 2012-05-01 | Microsoft Corporation | Wearable electromyography-based controllers for human-computer interface |
EP2296544A4 (en) | 2008-07-07 | 2012-12-05 | Heard Systems Pty Ltd | ELECTROPHYSIOLOGICAL SIGNAL DETECTION SYSTEM |
EP2236078A1 (en) | 2009-04-02 | 2010-10-06 | Koninklijke Philips Electronics N.V. | Processing a bio-physiological signal |
JP5271162B2 (ja) * | 2009-06-11 | 2013-08-21 | 日本電信電話株式会社 | 設備計画作成装置及び設備計画作成方法 |
SG176603A1 (en) | 2009-06-26 | 2012-01-30 | Widex As | Eeg monitoring apparatus and method for presenting messages therein |
KR20110022520A (ko) * | 2009-08-27 | 2011-03-07 | 한국전자통신연구원 | 손가락 움직임 검출 장치 및 그 방법 |
US8421634B2 (en) | 2009-12-04 | 2013-04-16 | Microsoft Corporation | Sensing mechanical energy to appropriate the body for data input |
KR101708682B1 (ko) | 2010-03-03 | 2017-02-21 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법. |
US20130135223A1 (en) * | 2009-12-13 | 2013-05-30 | Ringbow Ltd. | Finger-worn input devices and methods of use |
CA2788731C (en) | 2010-02-01 | 2016-06-21 | Widex A/S | A portable eeg monitor system with wireless communication |
CN103109462A (zh) * | 2010-04-16 | 2013-05-15 | 尼古拉斯·J.·马斯坦德雷亚 | 可佩戴式动作感测计算接口 |
WO2011150407A2 (en) | 2010-05-28 | 2011-12-01 | The Regents Of The University Of California | Cell-phone based wireless and mobile brain-machine interface |
US8914075B2 (en) * | 2010-09-17 | 2014-12-16 | Blackberry Limited | Electronic device including actuator and method of controlling same for providing tactile output |
US10244988B2 (en) * | 2010-12-16 | 2019-04-02 | Nokia Technologies Oy | Method, apparatus and computer program of using a bio-signal profile |
US20120265090A1 (en) | 2011-04-13 | 2012-10-18 | Fink Rainer J | System and method of acquiring uterine emg signals and wirelessly transmitting the same |
US9330499B2 (en) | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
US8203502B1 (en) | 2011-05-25 | 2012-06-19 | Google Inc. | Wearable heads-up display with integrated finger-tracking input sensor |
US20130198694A1 (en) | 2011-06-10 | 2013-08-01 | Aliphcom | Determinative processes for wearable devices |
US9089270B2 (en) | 2011-06-29 | 2015-07-28 | Lg Electronics Inc. | Terminal and control method thereof |
TWI446896B (zh) | 2011-12-23 | 2014-08-01 | Ind Tech Res Inst | 肌能參數感測器 |
US20130191741A1 (en) * | 2012-01-24 | 2013-07-25 | Motorola Mobility, Inc. | Methods and Apparatus for Providing Feedback from an Electronic Device |
US8922481B1 (en) | 2012-03-16 | 2014-12-30 | Google Inc. | Content annotation |
US9170674B2 (en) * | 2012-04-09 | 2015-10-27 | Qualcomm Incorporated | Gesture-based device control using pressure-sensitive sensors |
US9278453B2 (en) | 2012-05-25 | 2016-03-08 | California Institute Of Technology | Biosleeve human-machine interface |
US9536449B2 (en) | 2013-05-23 | 2017-01-03 | Medibotics Llc | Smart watch and food utensil for monitoring food consumption |
EP2698686B1 (en) | 2012-07-27 | 2018-10-10 | LG Electronics Inc. | Wrist-wearable terminal and control method thereof |
US20140049417A1 (en) | 2012-08-20 | 2014-02-20 | Playtabase, LLC | Wireless motion activated command transfer device, system, and method |
US20140198034A1 (en) | 2013-01-14 | 2014-07-17 | Thalmic Labs Inc. | Muscle interface device and method for interacting with content displayed on wearable head mounted displays |
US9395810B2 (en) | 2013-05-28 | 2016-07-19 | The Boeing Company | Ubiquitous natural user system |
US9904356B2 (en) | 2013-05-28 | 2018-02-27 | The Boeing Company | Tracking a user to support tasks performed on complex-system components |
KR102131358B1 (ko) * | 2013-06-17 | 2020-07-07 | 삼성전자주식회사 | 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법 |
-
2014
- 2014-02-21 EP EP14753949.8A patent/EP2959394B1/en active Active
- 2014-02-21 US US14/186,878 patent/US9299248B2/en active Active
- 2014-02-21 CN CN201480010862.0A patent/CN105190578A/zh active Pending
- 2014-02-21 JP JP2015559017A patent/JP2016507851A/ja not_active Withdrawn
- 2014-02-21 US US14/186,889 patent/US20140240103A1/en not_active Abandoned
- 2014-02-21 CA CA2902045A patent/CA2902045A1/en not_active Abandoned
- 2014-02-21 WO PCT/US2014/017799 patent/WO2014130871A1/en active Application Filing
- 2014-02-21 KR KR1020157024968A patent/KR102330889B1/ko active IP Right Grant
-
2018
- 2018-11-16 JP JP2018215132A patent/JP2019023941A/ja not_active Withdrawn
-
2021
- 2021-01-29 JP JP2021012756A patent/JP2021072136A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07248873A (ja) * | 1994-03-08 | 1995-09-26 | Sharp Corp | 筋電信号を用いた制御装置 |
JP2008192004A (ja) * | 2007-02-06 | 2008-08-21 | Hiroshima Univ | 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 |
JP2008295867A (ja) * | 2007-06-01 | 2008-12-11 | Oisaka Denshi Kiki:Kk | 生体信号計測装置 |
US20090327171A1 (en) * | 2008-06-26 | 2009-12-31 | Microsoft Corporation | Recognizing gestures from forearm emg signals |
US20120188158A1 (en) * | 2008-06-26 | 2012-07-26 | Microsoft Corporation | Wearable electromyography-based human-computer interface |
JP2011048818A (ja) * | 2009-08-27 | 2011-03-10 | Korea Electronics Telecommun | 指の動き検出装置およびその方法 |
KR20110040165A (ko) * | 2009-10-13 | 2011-04-20 | 한국전자통신연구원 | 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 |
US20120157886A1 (en) * | 2010-12-17 | 2012-06-21 | Industrial Technology Research Institute | Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof |
US20120283896A1 (en) * | 2011-05-04 | 2012-11-08 | Qualcomm Incorporated | Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US11644799B2 (en) | 2013-10-04 | 2023-05-09 | Meta Platforms Technologies, Llc | Systems, articles and methods for wearable electronic devices employing contact sensors |
US11666264B1 (en) | 2013-11-27 | 2023-06-06 | Meta Platforms Technologies, Llc | Systems, articles, and methods for electromyography sensors |
US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
US11797087B2 (en) | 2018-11-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
US11941176B1 (en) | 2018-11-27 | 2024-03-26 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11481031B1 (en) | 2019-04-30 | 2022-10-25 | Meta Platforms Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
Also Published As
Publication number | Publication date |
---|---|
EP2959394A1 (en) | 2015-12-30 |
WO2014130871A1 (en) | 2014-08-28 |
CN105190578A (zh) | 2015-12-23 |
JP2016507851A (ja) | 2016-03-10 |
EP2959394A4 (en) | 2017-02-08 |
EP2959394B1 (en) | 2021-05-12 |
KR102330889B1 (ko) | 2021-11-26 |
US20140240223A1 (en) | 2014-08-28 |
US9299248B2 (en) | 2016-03-29 |
US20140240103A1 (en) | 2014-08-28 |
KR20150123254A (ko) | 2015-11-03 |
CA2902045A1 (en) | 2014-08-28 |
JP2019023941A (ja) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021072136A (ja) | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 | |
US11009951B2 (en) | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display | |
US9720515B2 (en) | Method and apparatus for a gesture controlled interface for wearable devices | |
US9612661B2 (en) | Closed loop feedback interface for wearable devices | |
US20200097081A1 (en) | Neuromuscular control of an augmented reality system | |
CN110251080B (zh) | 检测正在穿戴可穿戴电子设备的肢体 | |
US9999391B2 (en) | Wearable electromyogram sensor system | |
US9367139B2 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
CN107589782B (zh) | 用于可穿戴设备的姿势控制接口的方法和装置 | |
CN112822992A (zh) | 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互 | |
CN103654774A (zh) | 穿戴式移动手环 | |
EP2839774B1 (en) | Biosignal interface apparatus and operation method of biosignal interface apparatus | |
CN107943285B (zh) | 一种基于生物肌电的人机交互腕环、系统及方法 | |
KR101930942B1 (ko) | 수화 인식 시스템 및 방법 | |
CN203552178U (zh) | 腕带式手部运动识别装置 | |
CN109567819A (zh) | 一种基于pvdf传感器阵列的可穿戴式装置 | |
CN118849001B (zh) | 基于臂环的机器人遥控方法、装置、电子设备、存储介质和系统 | |
Cao et al. | A High‐Precision Dynamic Movement Recognition Algorithm Using Multimodal Biological Signals for Human–Machine Interaction | |
JP2023135632A (ja) | 手のマルチモーダル生体測定装置からのユーザ入力の検出 | |
CN116774816A (zh) | 从多模式的手部生物测量中检测用户输入 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220719 |