JP6740389B2 - ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース - Google Patents
ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース Download PDFInfo
- Publication number
- JP6740389B2 JP6740389B2 JP2018567629A JP2018567629A JP6740389B2 JP 6740389 B2 JP6740389 B2 JP 6740389B2 JP 2018567629 A JP2018567629 A JP 2018567629A JP 2018567629 A JP2018567629 A JP 2018567629A JP 6740389 B2 JP6740389 B2 JP 6740389B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- finger
- electronic device
- contact
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title 1
- 210000003811 finger Anatomy 0.000 claims description 229
- 210000003813 thumb Anatomy 0.000 claims description 82
- 230000033001 locomotion Effects 0.000 claims description 31
- 230000002093 peripheral effect Effects 0.000 claims description 25
- 238000003825 pressing Methods 0.000 claims description 22
- 230000005057 finger movement Effects 0.000 claims description 18
- 230000005484 gravity Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 28
- 238000013461 design Methods 0.000 description 16
- 230000008901 benefit Effects 0.000 description 9
- 210000004932 little finger Anatomy 0.000 description 9
- 210000004247 hand Anatomy 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000000881 depressing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001771 impaired effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002747 voluntary effect Effects 0.000 description 3
- 239000002775 capsule Substances 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- BXNJHAXVSOCGBA-UHFFFAOYSA-N Harmine Chemical compound N1=CC=C2C3=CC=C(OC)C=C3NC2=C1C BXNJHAXVSOCGBA-UHFFFAOYSA-N 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000037147 athletic performance Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/033—Indexing scheme relating to G06F3/033
- G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Position Input By Displaying (AREA)
- Input From Keyboards Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
は、デバイスを押下すること又は動くことなしに指がデバイスを保持することを示す。接触パッチ列の下のヘッディングは、それぞれの接触パッチを行う手の部分を示す。サインを参照することを容易にするために、サインは、0で開始する番号を付けられる。
ユーザがデバイスを保持しながら指を用いて行うことができることは、指の二重機能によって左右される。個々の指の動きの自由は、デバイスを保持することによる変動の程度に制約される。さらなる制約は、隷属化効果(enslavement effect)として知られる、指の間の不随意的連係(involuntary linkage)である。その上、すべての指が等しく器用であるとは限らず、いくつかの指は動きを実施することができ、他の指は動きを実施することができない。すべての指がすべての動きを実施することができるとは限らない。特に、力の弱い指、すなわち薬指84及び小指86は、他の指よりも制限される。それにもかかわらず、これらの制約の範囲内で、ユーザは、スマートフォンのような比較的複雑なデバイスさえも手中で操作するために必要とされるすべての異なったサインを生成することが可能であるのに十分な数のやり方で、ベースライン・サインを調節することができる。これは以下で示される。
1. デバイスの前面と交差しない接触パッチ、すなわち、(妥当な許容差内の)その方位角がθ又はθ+180度でない接触パッチをフィルタで除去し(時々、指の方位角は、たとえば人差し指80がポイントしている(すなわち、サイン3を行っている、下記参照)とき、この範囲外にあり得、これについて配慮されなければならない)、
2. この要件を満たす接触パッチを保存し、
3. 6つのそのような接触パッチがあることを確かめる。(たとえば指を用いてスクロールする(すなわち、サイン2又は8を行う、下記参照)とき、指とインターフェースとの間の接触の一時的な不連続性があり得、これについて配慮されなければならない。)6つのそのような接触パッチがある場合、プロシージャは、
4. 接触パッチを、それらの重心(中心ポイント)の半径方向距離r又は極角φによって測定される座標系の原点からの接触パッチの距離の順序でソートし、
5. 接触パッチを、それらの方位角に従って分離し、
6. (方位角=θの場合)接触パッチを列Aとして記憶し、
7. (方位角=θ+180の場合)接触パッチを列Bとして記憶し、
8. 列Aに記憶された4つの接触パッチがあるかどうかをテストする。
列Aに記憶された4つの接触パッチがある場合、プロシージャは、
9. これらの接触パッチを最低から最高までラベリングし、最低は小指であり、
10. 列B中の2つの接触パッチを最低から最高までラベリングし、最低は親指の付け根72である。
列Aに記憶された4つの接触パッチがない場合、プロシージャは、
11. 列Bに記憶された4つの接触パッチがあるかどうかを確かめ、
12. これらの接触パッチを最低から最高までラベリングし、最低は小指であり、
13. 列A中の2つの接触パッチを最低から最高までラベリングし、最低は親指の付け根72である。
アルゴリズムのすべてのステップが精密に順序付けられるとは限らず、いくつかのステップは、上記で示されたシーケンスとは異なるシーケンスにおいて実行され得ることに留意されたい。
としてテーブルに示されている、指を用いて押下することの実例によって最も良く示され得る。デバイスを保持するときでも、すべての指がこのアクションを実施することができる。押下された指によって行われた接触パッチは、それだけでは、(押下された)別の指によって行われた接触パッチと区別することができない。しかしながら、接触パッチの識別情報は他の指のコンテキストから決定され得るので、押下することは、基本セットに、1つだけでなく、7つのサイン、すなわち、1本のアクティブな指を用いたサイン1、4、5、6及び7、並びにいくつかの指を用いたサイン13及び14を追加する。ジェスチャー・ベースのインターフェースは、指を区別することができない。
として表に示されている、スクロールすることは、スクロール・ホイールを回転させるために指が行う動きである。繰り返され得るこの動きは、親指70及び人差し指80にとっては容易であるが、他の指にとっては(完全に不可能ではないが)容易でない。デバイスを使用するためにそれを保持するとき、ユーザの親指は、通常、垂直配向にあり、人差し指は水平配向にある。この点において、上下の動きを、親指を用いてスクロールすること(サイン8)に関連付け、横方向の動き(パンニング)を、人差し指を用いてスクロールすること(サイン2)に関連付けることは、より直観的である(しかし、必要ではない)。2つの異なる指がこの動きを実施することができるので、スクロールすることは、基本セットに、2つの異なったサイン、サイン2及びサイン8を追加する。
として表に示されている、ポイントすることと呼ばれる、この動きは、ユーザがタッチパッド上で人差し指を用いて行うのと同じ動きである。この動きは、(一般にデバイスの前面上の)ディスプレイ上のカーソルの位置を制御するために使用され得る。人差し指が触れる範囲の限界において、ユーザは、ユーザがタッチパッド上で行うように、新しい位置からその動きを続けるために人差し指を再配置することができる。この動きは、特に、マップ上のポイントをマークすることなど、多次元的又は連続的データを入力することに適している。人差し指80のみが容易にポイントすることができ、したがって、ポイントすることは、基本セットに、1つのサイン(サイン3)のみを与える。
以下の3つの実例は、(i)上記で紹介された基本サインが、ユーザが、本発明の触覚インターフェースによってハンドヘルド電子デバイスを操作することを可能にすること、及び、(ii)ユーザが、簡単で直観的に満足な様式でそうすることができることを示すように働く。実例は、コマンドを入力することに加えて、本発明のインターフェースが、どのようにデータ(たとえば、番号及びテキスト)を入力すること、及びメニュー構造をナビゲートすることを可能にするかを示す。実例はまた、本発明のインターフェースが依拠する指の動きが、異なるタイプ並びに様々な形状及びサイズのデバイスを操作するために、変更なしに用いられ得ることを証明する。
図4は、ユーザの手の中で保持された、本発明のインターフェースを具備する基本TV遠隔制御200の斜視図を示す。TV遠隔制御200は、円筒の形態のものであり、ディスプレイを有しない。一般的なTV遠隔制御のように、TV遠隔制御200は、TV受像機のディスプレイを使用する。TV遠隔制御200の形状に鑑みて、デバイスは前面又は背面を有しない。デバイスのインターフェースは、デバイスの側方表面全体を包含する。これは、ユーザが、デバイスの胴体(stock)の周りのどこでもデバイスを保持しながらデバイスを操作することができることを意味する。下記の表は、この適用例において基本サインを利用するための1つのやり方を示す。ユーザがこれらのサインを行うとき、遠隔制御デバイスは、対応する制御信号をTV受像機に送信する。ユーザが正しいサインを行うのを助けるために、TV受像機は、1本又は複数のアクティブな指が何を行う必要があるかを示すプロンプトを示すようにされ得る。
図5は、ユーザの手の中で保持された、汎用ハンドヘルドGPSナビゲーション・デバイス300の斜視図を示す。デバイス及びそのディスプレイ310は、円形である。以下の表は、基本サインを利用して番号サインと組み合わせてハンドヘルドGPSを操作するためのやり方、及び上記で紹介されたコマンド・モードとデータ・モードの間で切り替える可能性を示す。TV遠隔制御とは異なり、GPSは、スタンドアロン・デバイスである。
図6は、ユーザの手の中で保持された、ディスプレイ410をもつ一般的なスマートフォン400を示す。GPSのように、スマートフォン400はスタンドアロン・デバイスである。以下の表は、手中でスマートフォンの主要機能を操作するために基本サインを使用するための1つのやり方を示す。
すべての指を押下すること(サイン13を行うこと)、及びそのサインを保持することは、デバイスをオンにし、最初にオンにされたとき、デバイスのディスプレイは、一般に、図6に示されたもののようなホーム・スクリーンを示す。この事例では、ホーム・スクリーンは、6つの行と4つの列を有する。6行目はドック(dock)である。ユーザは、カーソルを用いてホーム・スクリーン上の任意の項目をポイントし(サイン3)、押下すること(サイン1)によってその項目を起動するために、人差し指80を使用して直接その項目を選択し、起動することができる。図6Aに示されているように、ユーザはデバイスの背面上でこれらのサインを行うので、これは、ディスプレイのどの部分もマスキングしない。
スマートフォンの1つの用途は、明らかに、通話を行うことである。ホーム・スクリーン上のフォン・アプリを選択した後に、ユーザは、連絡先のリストをスクロールし(サイン8)、ユーザが電話をかけることを希望する番号を選択する。電話をダイヤルするために、ユーザは、人差し指と中指を一緒に押下する(サイン14)。電話を終了するために、ユーザは、再びサイン14を行う。番号をリストに追加するために、ユーザは、上記で紹介された番号サインを使用する。番号が完全であるとき、ユーザは、それを保存するために人差し指と中指を一緒に押下する(サイン14)。どのように名前を追加すべきかについては、下記を参照されたい。
スマートフォンの別の用途は、たとえば電子メール又はテキスト・メッセージのためのテキストを生成すること、名前を連絡先リストに追加すること、検索を行うこと、或いはURLを開くことである。テキストを作成するために、ユーザは、ホーム・スクリーンからテキスト・エディタ・アプリを起動する。これは、図6B‐1に示されているもののような6×6行列をディスプレイに出し、デバイスをデータ・モードに切り替え得る。行列は、アルファベットの文字、並びにいくつかの句読点及び特殊文字でポピュレートされる。テキストを作成するために、ユーザは、項目がある行を最初に選択することによって行列から文字(letter)(及び他の文字(character))を選定し、次いで、第2のステップにおいて、項目自体を選定する。これのためのサインは、極めて単純である。行を選択するために、ユーザは指を押下する。最上行について、その指は親指(サイン7)であり、2行目について、その指は人差し指(サイン1)であり、(上記の表に示されているように)以下同様である。
スマートフォンに通常見られる別のアプリケーションが、計算器である。計算器アプリは、逆ポーランド表記法(RPN:reverse Polish notation)又は代数表記法を用いて実装され得る。ホーム・スクリーン上のアプリを起動すると、RPNでは、ユーザは、最初に、上記で説明された番号を入力するための方法を使用してオペランドを入力し、次いで、人差し指と中指を一緒に押下して(サイン14)、それを記録し、スタックを上げる。ディスプレイは、次いで、様々な計算を含む、可能な次のステップをもつ、図6D‐1中のもののようなメニューを示す。これらから、ユーザは、適切な1つをポイントすること(サイン3)及びそれを起動すること(サイン1)によって、それを選択することができる。ユーザはまた、上記で紹介された反復方法を使用することができる。たとえば、サイン変更機能(CHS:change sign function)を実行するために、ユーザは、最初に親指を押下して(サイン7)、CHSがある、図6D‐1の1行目を選択する。これにより、図6D‐2に示されているように、その入力が列に転置される。次に、ユーザは、人差し指を押下して(サイン1)、図6D‐2の2行目上にあるCHSを選択する。これにより、オペランドのサインが変化し、その結果がディスプレイに返される。次に、ユーザは、別のオペランドをタイプし、再び人差し指と中指を押下することができ(サイン14)、これにより、再び図6D‐1に示されているメニューが表示され、そこから、ユーザは次のステップを選択することができる。
手中での操作を可能にするために、デバイスは、人間のユーザの手に適合するサイズ及び形状のものであるべきである。大まかに、これは、ユーザが、親指70及び親指の付け根72と他の指との間でデバイスを把持することが可能であるべきであることを意味する。下記の寸法は、例示的な性質のものにすぎず、本発明を、特定の形状、サイズ、及び/又は寸法に制限することを意図するものではない。その上、ハンドヘルド電子デバイスが多くの形状及びサイズになることを踏まえれば、本発明を組み込んだデバイスの寸法制限の広い実例を与えることが可能であるにすぎない。
ハンドヘルド電子デバイスの構造部品は、一般に、プラスチック又は金属などの剛性材料から作られる。しかし、これは本発明の要件ではなく、本発明の目的で、デバイスは柔軟であり得る。
本発明の利点は、限定はしないが、以下を含む。
Claims (23)
- 電子デバイスのためのユーザ・インターフェースであって、
外表面と、
前記外表面上の1つ又は複数の連続センサー領域であって、
複数の接触パッチを検出するために前記センサー領域をカバーする一様に分布されたセンサーで構成され、前記接触パッチの各々は、手の指又は親指の付け根のいずれかによって行われたものであり、前記接触パッチは(1)ロケーションが固定されておらず、(2)指又は親指の付け根が実際に接触している間のみ存在し、(3)少なくとも1つの弁別可能な特徴に関連しており、
前記接触パッチは、6つの接触パッチの標準構成に対応し、該標準構成の中の各々の接触パッチは、ユーザが使用するために握手のような把持で前記電子デバイスを保持している際の手の指又は親指の付け根が前記インターフェースの外表面に自然に接触することにより決定された互いに関連する位置に配置される、前記1つ又は複数の連続センサー領域と、
前記1つ又は複数のセンサーに接続されたプロセッサであって、
(1)前記ユーザが前記電子デバイスを実際に把持するのとは独立した他の同時に起こった接触パッチに対する特定の接触パッチの相対ロケーションに基づいて前記特定の接触パッチを識別し、
(2)前記手が行う他の同時に起こった接触パッチに対する特定の接触パッチの前記相対ロケーションを、球面座標系又は該球面座標系以外の任意の座標系における、前記電子デバイス上の中心下部原点、又は任意の位置に設けられた原点からの前記接触パッチの重心の方位角θ及び前記接触パッチの重心の極角φを比較することによって決定し、
(3)複数の前記同時に起こった接触パッチの組み合わせられた弁別的特徴からなるサインを識別すること、及び前記サインを、電子デバイスを制御するか又はデータを入力するための信号と関連付けることによって、並びに前記信号を前記デバイスに送信することによって、前記電子デバイスを制御するように構成された、前記プロセッサと、
を備えた前記ユーザ・インターフェース。 - 前記プロセッサが6つの接触パッチの標準構成を認識しない限り、前記プロセッサによる前記電子デバイスの制御が始動されない、請求項1に記載のユーザ・インターフェース。
- 接触パッチの前記弁別的特徴が、動きを行う指によって決定され、
前記指による前記動きが、押下すること、位置を変化させること、及び/又は接触を断つことなどを含む基本的動きを備え、
前記基本的動きのタイミング、強度、速度、及び/又は方向が変動させられ得、
前記基本的動きが、複合的動きを生じるように組み合わせられるか、又はさもなければ構造化され得る、請求項1又は2に記載のユーザ・インターフェース。 - 1つ又は複数の連続センサー領域内の各接触パッチの絶対ロケーションは、前記ユーザの手の形態、手のサイズ、及び利き手、並びに、前記ユーザが前記ユーザ・インターフェースを保持するやり方の変動/不整合に応じて、また、前記ユーザが前記デバイスを操作するために行う意図的な指の動きの結果として、変動し、
互いに対する前記接触パッチの相対ロケーションが一定である、請求項1から3のいずれか一項に記載のユーザ・インターフェース。 - 前記プロセッサは、手の5本の指すべて及び前記親指の前記付け根が1つ又は複数の連続センサー領域と接触していること、並びに、前記接触パッチが標準構成にあることを前記プロセッサが検出しない限り、サインを無視するように構成された、請求項1から4のいずれか一項に記載のユーザ・インターフェース。
- 接触パッチの前記弁別的特徴が、ユーザ・インターフェース表面にタッチする指及び/又は親指の付け根によって決定される、請求項1から5のいずれか一項に記載のユーザ・インターフェース。
- 請求項1から6のいずれか一項に記載のユーザ・インターフェースであって、
前記外表面上の1つ又は複数の連続領域は、1本又は複数の指によって又は親指の付け根によって行われた接触パッチに触覚フィードバックを与えるように1つ又は複数のトランスデューサで構成される、ユーザ・インターフェース。 - 前記触覚フィードバックは、リフレッシュ可能な点字ディスプレイの様式で与えられる、請求項7に記載のユーザ・インターフェース。
- 握手のような把持でデバイスを保持する際の任意の人間の手の指又は親指の付け根に基づいて前記同時に起こった接触パッチの各々をラベリングし、ラベリングされる接触パッチは同じ相対方位角θ及び同じ相対極角φのうちの少なくとも1つを有する、請求項1から8のいずれか一項に記載のユーザ・インターフェース。
- 周辺電子デバイスであって、前記周辺デバイスの一体部分として請求項1から9のいずれか一項に記載のユーザ・インターフェースを装備しており、前記周辺デバイスの機能が、別個のデバイスを制御することを含む、周辺電子デバイス。
- 前記1つ又は複数の連続センサー領域のうちの少なくとも1つが、前記周辺電子デバイスの側面又は背面上にある、請求項10に記載の周辺電子デバイス。
- 他のデバイスを受け、及び/又はそれにアタッチするために構成された、請求項10に記載の周辺電子デバイス。
- 前記周辺電子デバイスがケーシングとして構成された、請求項12に記載の周辺電子デバイス。
- 前記周辺電子デバイスがワイヤレス技術によって被制御デバイスと通信する、請求項10に記載の周辺電子デバイス。
- 前記周辺電子デバイスが物理接続によって前記被制御デバイスと通信する、請求項10に記載の周辺電子デバイス。
- 他のデバイス上にスナップ嵌合するように構成されたハンドヘルド・ケーシングを形成する、請求項13に記載の周辺電子デバイス。
- 他のデバイスにフレキシブルに合うように構成されたハンドヘルド・ケーシングを形成する、請求項13に記載の周辺電子デバイス。
- スタンドアロン・ハンドヘルド電子デバイスであって、前記デバイスの一体部分として請求項1から9のいずれか一項に記載のユーザ・インターフェースを装備した、スタンドアロン・ハンドヘルド電子デバイス。
- 前記ユーザ・インターフェースの前記1つ又は複数の連続センサー領域のうちの少なくとも1つが、前記電子デバイスの側面又は背面上にある、請求項18に記載のスタンドアロン・ハンドヘルド電子デバイス。
- スタンドアロン・ハンドヘルド電子コンピューティング・デバイスであって、前記デバイスの一体部分として請求項1から9のいずれか一項に記載のユーザ・インターフェースを装備した、スタンドアロン・ハンドヘルド電子コンピューティング・デバイス。
- スタンドアロン・ハンドヘルド電子通信デバイスであって、前記デバイスの一体部分として請求項1から9のいずれか一項に記載のユーザ・インターフェースを装備した、スタンドアロン・ハンドヘルド電子通信デバイス。
- 前記スタンドアロン・ハンドヘルド電子通信デバイスは、ワイヤレスの通信デバイスである、請求項21に記載のスタンドアロン・ハンドヘルド電子通信デバイス。
- 電子遠隔制御デバイスであって、前記遠隔制御デバイスの一体部分として請求項1から9のいずれか一項に記載のユーザ・インターフェースを装備しており、前記遠隔制御デバイスの機能が、別個のデバイスを制御することを含む、電子遠隔制御デバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662352070P | 2016-06-20 | 2016-06-20 | |
US62/352,070 | 2016-06-20 | ||
PCT/IB2017/053649 WO2017221141A1 (en) | 2016-06-20 | 2017-06-20 | Accommodative user interface for handheld electronic devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019522855A JP2019522855A (ja) | 2019-08-15 |
JP6740389B2 true JP6740389B2 (ja) | 2020-08-12 |
Family
ID=59258289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018567629A Active JP6740389B2 (ja) | 2016-06-20 | 2017-06-20 | ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース |
Country Status (4)
Country | Link |
---|---|
US (2) | US11360662B2 (ja) |
EP (1) | EP3472689B1 (ja) |
JP (1) | JP6740389B2 (ja) |
WO (1) | WO2017221141A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017221141A1 (en) | 2016-06-20 | 2017-12-28 | Helke Michael | Accommodative user interface for handheld electronic devices |
CN111867478B (zh) * | 2018-02-16 | 2024-10-11 | 皇家飞利浦有限公司 | 手持式医学超声成像设备中的人体工程学显示和激活 |
WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
KR20220002310A (ko) * | 2019-03-24 | 2022-01-06 | 샌딥 쿠마르 라야파티 | 사용자 인터페이스 시스템, 방법 및 장치 |
US11307738B2 (en) | 2019-10-08 | 2022-04-19 | Visa International Service Association | Method and system for navigating through an application in a user device |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7800592B2 (en) | 2005-03-04 | 2010-09-21 | Apple Inc. | Hand held electronic device with multiple touch sensing devices |
US8988359B2 (en) | 2007-06-19 | 2015-03-24 | Nokia Corporation | Moving buttons |
US20090166098A1 (en) * | 2007-12-31 | 2009-07-02 | Apple Inc. | Non-visual control of multi-touch device |
KR20100006219A (ko) * | 2008-07-09 | 2010-01-19 | 삼성전자주식회사 | 사용자 인터페이스 방법 및 장치 |
EP3654141A1 (en) * | 2008-10-06 | 2020-05-20 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying graphical user interface depending on a user's contact pattern |
US8368658B2 (en) * | 2008-12-02 | 2013-02-05 | At&T Mobility Ii Llc | Automatic soft key adaptation with left-right hand edge sensing |
US8432368B2 (en) * | 2010-01-06 | 2013-04-30 | Qualcomm Incorporated | User interface methods and systems for providing force-sensitive input |
US9310905B2 (en) * | 2010-04-23 | 2016-04-12 | Handscape Inc. | Detachable back mounted touchpad for a handheld computerized device |
US9285840B2 (en) * | 2010-08-19 | 2016-03-15 | Michael S. Stamer | Detachable sensory-interface device for a wireless personal communication device and method |
US20120052929A1 (en) * | 2010-08-31 | 2012-03-01 | Khamvong Thammasouk | Interactive phone case |
JP5453351B2 (ja) * | 2011-06-24 | 2014-03-26 | 株式会社Nttドコモ | 移動情報端末、操作状態判定方法、プログラム |
US9541993B2 (en) * | 2011-12-30 | 2017-01-10 | Intel Corporation | Mobile device operation using grip intensity |
US9176602B2 (en) * | 2013-06-11 | 2015-11-03 | Thomson Licensing | Spherical remote control |
EP2816442B1 (en) | 2013-06-20 | 2019-07-31 | Samsung Electronics Co., Ltd | Electronic device and method of controlling electronic device using grip sensing |
WO2015096020A1 (en) * | 2013-12-24 | 2015-07-02 | Intel Corporation | Adaptive enclosure for a mobile computing device |
US20150205400A1 (en) * | 2014-01-21 | 2015-07-23 | Microsoft Corporation | Grip Detection |
US9740839B2 (en) * | 2014-08-13 | 2017-08-22 | Google Technology Holdings LLC | Computing device chording authentication and control |
US10345967B2 (en) * | 2014-09-17 | 2019-07-09 | Red Hat, Inc. | User interface for a device |
US9681765B2 (en) * | 2014-09-30 | 2017-06-20 | Pamela Ann Cignarella | Interactive children's table dishes |
EP3265895B1 (en) * | 2015-03-01 | 2020-04-08 | Tactical Haptics | Embedded grasp sensing devices, systems, and methods |
US20160378251A1 (en) * | 2015-06-26 | 2016-12-29 | Microsoft Technology Licensing, Llc | Selective pointer offset for touch-sensitive display device |
WO2017221141A1 (en) | 2016-06-20 | 2017-12-28 | Helke Michael | Accommodative user interface for handheld electronic devices |
-
2017
- 2017-06-20 WO PCT/IB2017/053649 patent/WO2017221141A1/en unknown
- 2017-06-20 US US16/311,804 patent/US11360662B2/en active Active
- 2017-06-20 JP JP2018567629A patent/JP6740389B2/ja active Active
- 2017-06-20 EP EP17734490.0A patent/EP3472689B1/en active Active
-
2022
- 2022-04-27 US US17/660,995 patent/US20220253209A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2017221141A1 (en) | 2017-12-28 |
US11360662B2 (en) | 2022-06-14 |
EP3472689A1 (en) | 2019-04-24 |
US20220253209A1 (en) | 2022-08-11 |
US20200133474A1 (en) | 2020-04-30 |
EP3472689B1 (en) | 2022-09-28 |
JP2019522855A (ja) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9122318B2 (en) | Methods of and systems for reducing keyboard data entry errors | |
US7519748B2 (en) | Stroke-based data entry device, system, and method | |
US20220253209A1 (en) | Accommodative user interface for handheld electronic devices | |
US8799803B2 (en) | Configurable input device | |
US7170496B2 (en) | Zero-front-footprint compact input system | |
EP1183590B1 (en) | Communication system and method | |
US8125440B2 (en) | Method and device for controlling and inputting data | |
AU2007309911B2 (en) | Input device | |
US6963332B1 (en) | Letter input method and device using the same | |
US20040263479A1 (en) | Active keyboard system for handheld electronic devices | |
EP1933225A2 (en) | Using sequential taps to enter text | |
KR20130088752A (ko) | 다방향 버튼, 키 및 키보드 | |
EP1584014A2 (en) | Data input by first selecting one of four options then selecting one of eight directions to determine an input-character | |
US7414614B2 (en) | User interface | |
US20100207887A1 (en) | One-handed computer interface device | |
JP2023535212A (ja) | 不感帯を有する適応可能なタッチ画面のキーパッド | |
US20100164876A1 (en) | Data input device | |
KR20040017174A (ko) | 메뉴선택 및 문자입력이 용이한 모바일 전자기기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6740389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |