[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6740389B2 - ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース - Google Patents

ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース Download PDF

Info

Publication number
JP6740389B2
JP6740389B2 JP2018567629A JP2018567629A JP6740389B2 JP 6740389 B2 JP6740389 B2 JP 6740389B2 JP 2018567629 A JP2018567629 A JP 2018567629A JP 2018567629 A JP2018567629 A JP 2018567629A JP 6740389 B2 JP6740389 B2 JP 6740389B2
Authority
JP
Japan
Prior art keywords
user
finger
electronic device
contact
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018567629A
Other languages
English (en)
Other versions
JP2019522855A (ja
Inventor
ヘルケ、ミハエル
Original Assignee
ヘルケ、ミハエル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヘルケ、ミハエル filed Critical ヘルケ、ミハエル
Publication of JP2019522855A publication Critical patent/JP2019522855A/ja
Application granted granted Critical
Publication of JP6740389B2 publication Critical patent/JP6740389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0236Character input methods using selection techniques to select from displayed items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/006Teaching or communicating with blind persons using audible presentation of the information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0339Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願は、その内容が参照により本明細書に組み込まれる、2016年6月20日に出願された米国仮特許出願第62/352070号からの優先権を主張する。
本発明は、人間−機械対話(human−machine interaction)の技術分野にある。より詳細には、本発明は、形態、サイズ又は側性にかかわらず人間の手に適応し、したがって、どんなユーザも、ハンドヘルド電子デバイスを(親指を含む)5本の指すべてを用いて好都合に操作することを可能にする、そのようなデバイスのための触覚ユーザ・インターフェースに関する。
ハンドヘルド電子デバイスの2つの主なカテゴリーがある。いくつかのハンドヘルド電子デバイスは、スマートフォン、従来の携帯電話、GPSナビゲーション・デバイス、ポータブル(ハンドヘルド)デジタル・レコーダ、レーザー測距器などのような、スタンドアロン・デバイスである。他のハンドヘルド電子デバイスは、電子デバイスであることもそうでないこともあり、通例、手中での(in−hand)操作に適していない、物理的に別個のデバイスのアクセサリ(周辺機器)である。たとえば、ハンドヘルド(ワイヤレス)キーパッド、キーパッド・マイクロフォン、望遠鏡コントローラ、ハンドヘルドVR(仮想現実)コントローラ、プレゼンテーション・クリッカー、TV受像機、空調装置、カメラ、ドローンのための遠隔制御など。これらのデバイスの前面、すなわち、そのデバイスを操作するときにユーザに面する側は、従来のユーザ・インターフェースを装備し、インターフェース目的で、他の側は未使用のままにされる。ユーザは、ユーザの親指を用いてインターフェースを機能させながら、他の指を用いてデバイスを保持する。他の指はより器用であるが、インターフェース設計により、他の指は、デバイスを保持することを余儀なくされ、これにより、手の微細運動技能が上手に利用されない。
操作目的で、これらのデバイスのユーザ・インターフェースは、限定はしないが、ユーザが認識し、触れることが可能である必要がある、ボタン、及び、トグル、無線制御、チェック・ボックスなどのような同様の制御に、高度に依拠する。この理由で、(仮想又は現実であり得る)当該の制御は、一般に、デバイスの、ユーザが面する側に見られる。これにより、制御は、識別するのは容易であるが、特に、手中でデバイスを操作するとき、すなわち、同じ手を用いてデバイスを保持し、操作するとき、触れるのは常に容易であるとは限らなくなる。
ある従来技術は、デバイスの正面以外の表面(主に側面)上にいくつかの制御を配置するが、ユーザは、デバイスを操作するとき、これらを見ることができない。この制限のために、従来技術は、これらの表面の潜在的使用の、肝心な要素がやや不足した印象を反映する。特に、従来技術は、これらの表面の使用を、デバイスの前面上の従来の設計の主要ユーザ・インターフェースの横の、特定の補助的/補足的制御、たとえば、開始/停止、オン/オフ、ボリューム・アップ/ダウン、ズームイン/アウトなどに限定する。通例、上記制御のロケーションは固定であり、上記制御の機能は不変であり、上記制御は、従来の主要インターフェースの制御とは別になる。ナビゲーション又は他のユーザ入力、特にデータ入力のために、従来技術は、デバイスの、ユーザが面する側上の従来のインターフェースの代替物を提供しない。いずれの場合も、ハンドヘルド・デバイスの側面は、あまり空間がない。すべての他の考慮事項を棚上げにしたとしても、そこにホーム・スクリーンを置くこと、或いはキーボード又はキーパッドを置くことが問題になる。
2000年に紹介された、Garmin eTrexシリーズのハンドヘルドGPSデバイスが、適例である。デバイスの正面上に親指スティック(thumb stick)及びディスプレイをもつ主要インターフェースに加えて、それは、その側面上に5つのボタン、特に、2つのズーム・ボタン、バック・ボタン及びメニュー・ボタン、並びにバックライト・ボタンを有し、バックライト・ボタンは、電源オン/オフ・ボタンの役を兼ねる(詳細は、eTrex 10、20及び30についてのオーナーズマニュアルからわかる)。各ボタンは、あらかじめ規定された補助的機能を実施する。ズーム・ボタンは、それぞれ、ズームイン及びズームアウトし、バック・ボタンは、メニュー構造における1つ前のステップに戻り、メニュー・ボタンは、現在のステップにおいて利用可能な機能のサブメニューを開く。これらのボタンは機械的であり、これは、ユーザがそれらの位置を感触によって特定することを可能にする。同じように、ユーザは、ボタンのロケーションは固定であるので、手のサイズ又は利き手にかかわらず、ボタンがたまたまあるところで、ボタンを機能させなければならない。デバイスとの機能的対話は、親指スティックを使用して、ディスプレイを通して行われる。ウェイポイントを入力するために、たとえば、ユーザは、(それに一意の名前を与えるための)文字及び(その値を表す)数を、親指スティックによって極めて小さいキーボードから選ぶが、これは幾分冗長なプロセスである。
米国特許第7800592号は、デバイスの側面、すなわち、個別の区切られたタッチ・センシティブ・エリア上に、機械的ボタンの代わりに、タッチ・ボタンと呼ばれる仮想ボタンをもつデバイスを開示する。デバイスを作動させるために、ユーザは、ボタンのクリック可能な(アクティブ)エリア内で、それをプッシュする、すなわち押下するか又はタップしなければならない。eTrexの機械的ボタンのように、米国特許第7800592号のタッチ・ボタンは、補足機能の制限されたセット、たとえば、音楽プレーヤの、次へ、前へ、ボリューム・アップ、ボリューム・ダウン及び/又は再生/一時停止の機能を制御する。他のユーザ入力は、デバイスの前面上の従来のタッチ・センシティブ・ディスプレイを通して行われる。
米国特許第7800592号の主要な欠点は、仮想ボタンが、デバイスの側面と面一であり、したがって、デバイスを操作するときにユーザがそれらを見ることもそれらを感知することもできないので、位置を特定することが困難であることから生じる。
米国特許第8988359号は、指がどこでデバイスにタッチするかにかかわらず、その指に関連付けられた機能をユーザが実行することを可能にするために、特定の機能、特に、音楽プレーヤを扱い、動作させる呼(再生、停止及び一時停止)を、特定の指に関連付けるように構成された方法を提案する。ユーザは、特定の所定の位置においてデバイスにタッチすることについて懸念を抱くことなしに、指に関連付けられた機能を覚えていればよい。
別の特許、米国特許出願公開第20140375582号は、「[a] method of controlling an electronic device using grip sensing, the method comprising: determining a grip pattern on the electronic device; and controlling a predetermined function according to the grip pattern」を提案する。「把持パターン(grip pattern)」が何であるかは不明瞭である。本明細書が与える「制御」の実例、特に、ロッキング及びロック解除、電源オン/電源オフ、ボリューム制御、ズーミング、回転ロック、ページ・アップ/ダウンは、その用語の範囲が補助的機能に制限されることを示唆する。米国特許出願公開第20140375582号のシステム・アーキテクチャは、把持検知が主要インターフェース様式でないことを明らかにする。それは、把持パターンを検出し、処理するためのセンサー・モジュールに加えて、別個で独立した入出力モジュールを示す。
現在の設計、特にタッチ・スクリーンをもつ設計の主要な欠点は、インターフェースとの偶発的接触によってトリガされる予期しない及び求められていない挙動に対するそれらの設計の脆弱性である。これは、スムーズな及び反応が早いユーザ・エクスペリエンスを損ない、ユーザにフラストレーションを起こさせる。この種の災難に向かう傾向は、(i)親指の限られた数の指骨、固定された回転軸及び低い迎え角による親指の本質的に低減された器用さ、(ii)小さいターゲットを狙うことを困難にする親指のサイズ、(iii)ターゲットの最小の又は消失した輪郭及びそれらのターゲットの近い間隔、並びに(iv)容量性タッチ・スクリーンの高い感度の影響である。
さらに、ワイパーのようにディスプレイを拭う際に、親指は、(親指の代わりに使用されるどんな指もそうするように)ディスプレイのコンテンツの無視できない部分をさえぎる。これは、重要な視覚的目印を隠し得る。
しばしば、インターフェース・レイアウトは、右手使用への偏りを示す。時々、これは、追加される複雑さを犠牲にして、左手使用のためにインターフェースを再構成するための機構によって、相殺され得る。(たとえば、把持検知は、ユーザがどちらの手でデバイスを保持しているかを決定し、それに応じてインターフェースを構成するために使用され得る。)
タッチ・スクリーン上の仮想制御のような、機械的に作動されない制御は、感触によって操作され得ず、これは、それらの制御が視界内にあることを必要とする。これは、視覚障害があるユーザにとって、又は、デバイスを操作するときの、たとえばTV遠隔制御を使用するときのユーザの注意が他の場所にある場合、問題になり得る。
関連する場合、及び通例、ハンドヘルド・デバイスのインターフェース、特に上記の従来技術は、データ入力のためのキーボード又はキーパッド、或いはその両方を採用する。適合するために、これらは、それらのキーの不相応に小さいサイズ及び近い間隔がそれらの操作性を低下させるポイントまで、スケールダウンされる。したがって、タイプするとき、ユーザは、かなりの注意を払わなければならない。テキストを入力することは、煩雑で時間がかかる。精度が損なわれる。キーパッドは、各キーが1つから4つの文字の間のどこでも文字を生成するように働くので、追加の操作上の複雑さを伴う。
現在の設計の弱点を補うために、多くの技術的努力、たとえば、ディスプレイの一部分を拡大するキー又はルーペ・ツールをタップするためのスタイラス、並びに、それたキーストロークを検出し、無視するか、又はあいまいさを解決するためのアルゴリズムのような次善策がもたらされた。テキストを入力するために必要とされるキー入力の量を低減するために、自動補完及び自動補正のような技法が使用される。
とはいえ、ユーザは、依然として、設計の操作上の短所を埋め合わせるための戦術的次善策に訴える必要性を感じている。一般的な方策は、一方の手を用いてデバイスを保持しながら他方の手を用いてインターフェースを機能させること、又は、(両手でデバイスを包み込むように持ちながら)2本の親指を用いてタイプすることである。両方の次善策が、手中での使用に向けられたデバイスの本質的な目的にそぐわない。
米国特許第7800592号 米国特許第8988359号 米国特許出願公開第20140375582号
本発明の目的は、使いやすさを与え、汎用性がある、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。
本発明の別の目的は、片手のみを用いた電子デバイスの機能への効率的なアクセスを可能にする、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。
本発明の別の目的は、手のすべての指の微細運動技能を最適に利用する、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。
本発明の別の目的は、手及び指の自然な動きに依拠し、ねじれを伴わない、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。
本発明の別の目的は、(適合なしに)ユーザの手の形態、手のサイズ及び利き手に適応することができる、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。
本発明の別の目的は、ディスプレイがある場合、ユーザ・インターフェースのディスプレイの可視性を損なうことなしにユーザ・インターフェースの機能にアクセスすることを可能にする、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。
本発明の別の目的は、インターフェースとのそれた接触を回避するハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。
本発明は、握手のような把持で、自然にハンドヘルド電子デバイスを保持する手の5本の指を使用して、それを操作することを可能にする方法及び装置を提供する。本明細書で使用される「指」という用語は、人間の手の人差し指、中指、薬指及び小指及び親指のいずれか及びすべてを指す。「インターフェース」という用語は、センサーから、デバイスの機能を作動させる制御信号の生成までのサブシステム全体を指す。
ユーザが自然な様式でデバイスを保持したまま、本発明のインターフェースは、デバイスを保持する手、特に指との接触の特定の属性を追跡し、これらを制御信号に変換する。コントロール・パネルの様式でレイアウトされた、設定されたロケーションにおいてインターフェースとの実効的な接触が生じる、従来のインターフェース設計とは対照的に、実効的な接触は、デバイスを保持するときに手がインターフェースにタッチするときに及びタッチする場合に生じ、これは、ユーザごとに変動し、ユーザが指を動かすたびに変化する。ユーザの指が接しなければならない所定のアクティブ・スポットはない。したがって、本発明は、外表面と、デバイスを保持するときに手が接触している前記外表面上の1つ又は複数の途切れない領域とを備えるシステム・アーキテクチャをもつハンドヘルド電子デバイスのためのインターフェースを提供する。センサー領域と呼ばれるこれらの領域は、接触パッチと呼ばれる、手とインターフェースとが実際にタッチするエリアを検出し、追跡するように、センサーで構成される。
センサー領域内のどこでも接触パッチに比例して応答するために、それの1つ又は複数のセンサーは、少しのギャップ又は不連続性もなしに、満遍なくセンサー領域をカバーするように構成される。これのために構成されたセンサー領域は、連続的であると言われる。
センサーは、さらに、手の1本又は複数の指及び/又は親指の付け根によって行われたセンサー領域内の複数の同時接触パッチを検出し、追跡するように構成される。インターフェースのシステム・アーキテクチャは、1つ又は複数のセンサーに接続されたプロセッサをも備え得る。プロセッサは、1つ又は複数の接触パッチの特定の属性を追跡すること、及び取得されたデータを、電子デバイスを制御するための又はデータを入力するための信号にマッピングすることによって、電子デバイスを制御するように構成される。プロセッサは、手が行う特定の接触パッチを、手が行う他の接触パッチに対するそれの相対ロケーションに基づいて識別する。
本発明の一実施例では、プロセッサ機能は、単一のプロセッサを使用して実装され得る。
別の実施例では、プロセッサ機能は、多数のプロセッサを使用して実装され得る。
本発明の一実施例では、センサー機能は、単一のセンサーを使用して実装され得る。
別の実施例では、センサー機能は、多数のセンサーを使用して実装され得る。
本発明の一実施例では、プロセッサは、電子デバイス上の中心下部原点をもつ球面座標系に関して、手が行う他の接触パッチに対する特定の接触パッチの相対ロケーションを、それの重心の方位角θ、及び半径方向距離r又は極角φのいずれかを比較することによって決定するように構成される。異なる座標系又は異なる原点に基づく実施例も、本発明の範囲内にある。
別の実施例では、プロセッサは、握手のような把持でデバイスを保持するときにユーザの手が接触するデバイスの両側面上の2つ又はそれ以上のセンサー領域に関して、手が行う他の接触パッチに対する特定の接触パッチの相対ロケーションを決定するように構成される。
本発明の別の実施例では、プロセッサは、6つの接触パッチの標準構成にある各接触パッチが、ユーザが電子デバイスを使用するために握手のような把持でそれを保持しているとき、手の指又は親指の付け根がインターフェースの外表面に自然に接触する位置にある、6つの接触パッチの標準構成を認識するように構成される。標準構成が認識されない限り、プロセッサによる電子デバイスの制御は始動されない。したがって、プロセッサは、プロセッサが、手の5本の指すべて及び親指の付け根が1つ又は複数のセンサー領域と接触していることを検出しない限り、並びに、人差し指、中指、薬指及び小指が行う接触パッチが、親指及び親指の付け根が行う接触パッチの反対側である場合、接触パッチを無視するように構成される。たとえば、プロセッサは、別の人にデバイスのディスプレイを見せるためにユーザが行うことがあるように、一方の側面上の人差し指及び中指と他方の側面上の親指との間でデバイスを保持するときにユーザが行う接触パッチを無視する。
一実施例では、ハンドヘルド電子デバイスのユーザ・インターフェースは、1つ又は複数のセンサー領域上の接触パッチから受信された情報に基づいて、デバイスの特定の機能/アクションを制御するための信号、これ以降は制御信号、を生成する。
本発明の一実施例では、インターフェースは、インターフェースと、インターフェースが制御する機能構成要素との両方を備えるスタンドアロン電子デバイスの一体部分である。この実施例では、インターフェースは、標準内部接続を通して、1つ又は複数のセンサー領域上の接触パッチから受信された情報に基づいてインターフェースが生成する制御信号をデバイスの機能構成要素に通信する。
別の実施例では、インターフェースは、インターフェースが制御する、機能構成要素を備える別個のデバイスのアクセサリ(周辺機器)である、電子デバイスの一体部分である。この実施例では、アクセサリ・デバイスは、インターフェースを備え、被制御デバイスによって受信される制御信号を生成する。両方のデバイスは、一方から他方に制御信号を符号化し、復号し、送信し、受信するための追加の構成要素を伴い得る。したがって、アクセサリ・デバイスは、Bluetooth(登録商標)、赤外光などのワイヤレス技術によって或いはワイヤ又は光ファイバ・ケーブルなどの物理接続によって、それが制御するデバイスと通信することができる。別個のデバイスは、電子デバイスであることもそうでないこともあるか、又は、手中での操作に適していることも適していないこともある。アクセサリ・デバイスは、それが制御するデバイス上にスナップ嵌合するように構成され得るか、或いは、そのデバイスにフレキシブルに合うか又はさもなければそれにアタッチするように構成され得る。
別の実施例では、アクセサリ(周辺)デバイスは、それが制御するデバイスでないこともある物理的支持体上に取り付けられるか、又はそれに組み込まれ得る。たとえば、電動自転車のモーター・コントローラが、ハンドルのグリップに組み込まれ得る。或いは、車のGPS(又はウィンドウ若しくは無線機)のための遠隔制御デバイスが、ステアリング・ホイール・カバーの様式でステアリング・ホイールにアタッチされ得るか、又は、代替的に、それが、一体部分としてステアリング・ホイール中に埋め込まれ得る。
別の実施例では、アクセサリ(周辺)デバイスは、ある種類の関連するシステムの動作を可能にするために、シートのアームレスト又はシートに結合されたコンソールに組み込まれ得る。シートは、静的であるか、或いは、車椅子又は航空機のような乗り物の一部であり得る。関連するシステムは、エンターテインメント・システムのようなオーディオビジュアル・システム、或いは、シートの構成、たとえばシート・バックの角度を調整するための機構であり得る。代替的に、それは、シート、たとえば電動車椅子に関係付けられた、又はアクセスの容易さのためにシートにアタッチされた、駆動及びステアリング機構であり得る。
本発明の一実施例では、1つ又は複数の連続センサー領域のうちの少なくとも1つが、デバイスの1つ又は複数の側面上にある。
1つ又は複数のセンサー領域は、プッシュすること、リフトすること、又は位置を変化させることなどの基本的な指の動きを実施する指によって行われた接触パッチに対して、基本的な指の動きが及ぼす影響を検出するように構成される。センサー領域は、複数の同時の指の動きの影響をも検出することができる。手が1つ又は複数の連続センサー領域内で行う各接触パッチの絶対ロケーションは、ユーザの手の形態、手のサイズ、及び利き手に応じて、また、ユーザがデバイスを操作するために行う意図的な指の動き並びにユーザがそれを保持するやり方の変動/不整合の結果として、変動する。ただし、互いに対する接触パッチの相対ロケーションは、すべてのユーザについて一定である。
一実施例では、本発明のインターフェースは、たとえば、スマートフォン、従来の携帯電話、GPSナビゲーション・デバイス、ポータブル(ハンドヘルド)デジタル・レコーダ、ガイガー・カウンタ、金属探知機、レーザー測距器などのハンドヘルド・デバイスを含むスタンドアロン電子デバイスの外表面と一体化され得る。本発明の他の実施例は、電子デバイスであることもそうでないこともあるか、又は、手中での操作に適していることも適していないこともある別個のデバイスのアクセサリ(周辺機器)、たとえば、プレゼンテーション・クリッカー、たとえばTV受像機、空調装置、及びカメラのための遠隔制御、並びに、ハンドヘルドVR(仮想現実)コントローラ、ハンドヘルド(ワイヤレス)キーパッド、キーパッド・マイクロフォン、及び望遠鏡コントローラなどである。
最も好都合なことに、インターフェースのセンサー領域は、ユーザがデバイスを使用するために握手のような把持でそれを保持しているときに手が自然にタッチするエリアをこれらの領域がカバーするようにインターフェースを具現する電子デバイスの1つ又は複数の側面上にある。
いくつかの実施例では、1つ又は複数のセンサー領域が、デバイスの背部表面、上部表面又は底部表面に延び得、そこで、1つ又は複数のセンサー領域が本発明のインターフェースの一部として使用され得るか、又は、追加のセンサー領域がこれらのエリア中に存在し得る。
他のシステム、方法、特徴及び利点は、以下の図及び詳細な説明を検討すれば、当業者にとって明らかであるか、又は明らかになるであろう。すべてのそのような追加のシステム、方法、特徴及び利点は、この説明内に含まれ、本発明の範囲内にあり、以下の特許請求の範囲によって保護されるものとする。
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本発明の例示的な態様を示す。上記で与えられた概略的な説明及び以下で与えられる詳細な説明とともに、図面は、本発明の特徴について説明するように働く。
図6Aを除くすべての図面は、デバイスを保持するユーザの視点から、すなわち前面から示されたデバイスを示す。
右手で保持される汎用ハンドヘルド・デバイスの斜視図である。 ユーザが右手でデバイスを保持しているときに指及び親指の付け根がデバイスにタッチするところを示す、図1Aのデバイスの後部表面及び側方表面の分解図である。 左手で保持される図1Aのデバイスの斜視図である。 ユーザが左手でデバイスを保持しているときに指及び親指の付け根がデバイスにタッチするところを示す、図1Aのデバイスの後部表面及び側方表面の分解図である。 特定の接触パッチを生じる指を決定するためのアルゴリズムを概説するフロー・チャートである。 手がデバイスにタッチするところのポイントの方位角θ及び極角φを示す、図1Aのデバイスの後部表面及び側方表面の分解図に重ね合わせられた球面座標系の図である。 右手で保持される円筒形TV遠隔制御の斜視図である。 図4に重ね合わせられた番号についての指使い(fingering)の可視化の図である。 右手で保持されるディスク形GPSナビゲーション・デバイスを示し、それのディスプレイがホイールのセグメントの形態のメニューを示す、図である。 握手のような把持で右手で保持される図5のデバイスを示し、それのディスプレイが、マップに重ね合わせられた現在のポインタ位置の座標をもつマップを示す、図である。 握手のような把持で右手で保持されるホーム・スクリーンを示す汎用スマートフォンの斜視図を示し、人差し指がデバイスの裏にあって見えない、図である。 人差し指が後部表面と接触している、裏から見た図6のデバイスの斜視図である。 握手のような把持で右手で保持される汎用スマートフォンの斜視図を示し、それのディスプレイが、アルファベット、句読点及び特殊文字をもつ6×6行列を示す、図である。 図6B‐1のディスプレイの3行目の入力が列に転置された、握手のような把持で右手で保持される図6B‐1のデバイスの斜視図である。 図6B‐1中のディスプレイの6行目の入力が列に転置された、握手のような把持で右手で保持される図6B‐1におけるデバイスの斜視図である。 テキスト・エディタ・アプリケーションを閉じるときにテキスト・エディタ・アプリケーションが利用可能にするステップのメニューをもつ、握手のような把持で右手で保持される汎用スマートフォンの斜視図である。 オペランドを入力した後に計算器アプリケーションが利用可能にする可能なステップのメニューをもつ、握手のような把持での右手で保持される汎用スマートフォンの斜視図である。 図6D‐1中のディスプレイの2行目の入力が列に転置された、握手のような把持で右手で保持される図6D‐1におけるデバイスの斜視図である。 関連するデバイスが挿入され得る、本発明のインターフェースを組み込んだケーシング又はシェルの形態のアクセサリ(周辺)入力デバイスの斜視図である。
本発明は、デバイスを保持する手の指が、親指70だけでなく、あらゆる指を伴う指の動きによって行う接触パッチを調節することによって、ハンドヘルド電子デバイスの手中での操作を可能にする方法及び装置を提供する。デバイスは、スタンドアロン・デバイス、又はデバイスが機能的にリンクされる別のデバイスのアクセサリ(周辺機器)であり得る。スタンドアロン・デバイスは、それに関連するすべての本質的機能を包含する完全で独立したユニットであり、アクセサリ(周辺)デバイスは、別個の関連するデバイスと共同でのユーティリティを有するデバイスである。ハンドヘルド電子デバイスは、様々な形状、たとえば、スラブ、スレート、キャンディ・バー、円筒、半円筒、カプセル、半カプセル、タブレット、ディスク、球体、楕円体の個体、レンズ豆形の固体など、並びにこれらの変形体を有し得る。図1Aは、丸い角をもつ矩形タブレットの形態の汎用ハンドヘルド・デバイス10を示す。デバイスは、前面上にディスプレイを有することも有しないこともある。2つの他の形状の詳細な実例が以下で提示される。一方では、デバイスは円筒(図4)の形状のものであり、他方では、デバイスはディスク(図5)の形状のものである。通例、デバイスは、別個の左エッジ及び右エッジを有し(ただし、図4中の円筒及び図5中のディスクはそれらを有しない)、前面及び背面を有する(ただし、図4中の円筒はそれらを有しない)。
手中でハンドヘルド電子デバイスを操作するとき、手は2つの機能を果たす。第1の機能はデバイスを保持することであり、第2の機能はデバイスのインターフェースと対話することである。従来のインターフェース設計は、両方ではなく、一方又は他方の機能のために手の指を用いる。手中でデバイスを操作するとき、ユーザは、親指70を用いてインターフェースと対話しながら、親指の付け根72と他の指との間でデバイスを把持するか、又はユーザの手のひらの中でデバイスを包み込むように持つ。このようにしてデバイスを操作することは、親指のねじれ、たとえば、2つの指骨が直角になるように親指を曲げることを伴い得る。いずれの場合も、それにより、より器用である他の指は、デバイスを保持する以外に何もしないことになる。本発明では、あらゆる指が、各々がそれの運動能力に従って、両方の機能を果たす。自然な様式でハンドヘルド電子デバイスを使用するために、ユーザは、一方の側面上の親指70及び親指の付け根72と、他方の側面上の人差し指80、中指82、薬指84及び小指86との間で、握手のような把持で、デバイスの側方表面によってデバイスを保持する。これは、図1A、図2A(左手の場合)、図4及び図5に示されている。デバイスの前面は全体が見えており、デバイスの背面は手のひらに面する。
本明細書が、デバイスを保持すること又はデバイスがユーザの手中にあることに言及するときはいつでも、それが意味することは、ユーザが、たった今説明された自然な様式でデバイスを操作するためにデバイスを保持していることである。デバイスを保持する他のやり方、たとえば、ディスプレイを誰かに見せること又はそれを離れたところに置くことなどを行うようにデバイスを保持するための他のやり方は、本明細書の主題ではない。
図1B中の6つの丸で囲まれたエリアは、自然な様式でデバイスを保持し、操作するときに図1A中のデバイス上で手が行う接触パッチ、特に、手がインターフェースと接触しているエリアを表す。5つのエリアは指腹が行う接触パッチであり、1つのエリアは親指の付け根72が行う接触パッチである。接触パッチの絶対ロケーションは、デバイスを操作する過程において変化し、ユーザごとに変動する。とはいえ、互いに対する接触パッチの相対ロケーションは一定である。特に、接触パッチは、一方の列が2つの接触パッチを有し、他方の列が4つの接触パッチを有する、2つの列中にある。列Aと呼ばれる第1の列は、親指70A及び親指の付け根72Aが行う接触パッチを含む。第2の列、列Bは、人差し指80B、中指82B、薬指84B、及び小指86Bが行う接触パッチを含む。接触パッチのこの配置は、標準構成と呼ばれる。標準構成は、垂直方向に非対称であり、親指の付け根72Aが行う細長い接触パッチが、下部にある。接触パッチの絶対ロケーションは、ユーザの手の形態、手のサイズ、及び利き手によって、また、ユーザがデバイスを操作するために行う意図的な指の動き並びにユーザがそれをどのように保持するかの変動/不整合の結果として、変動する。
インターフェースは、手が行う6つの接触パッチを、以下サインと呼ばれる、単入力と解釈する。接触パッチが標準構成にある限り、接触パッチは、インターフェースが検出し、解釈し、制御信号又はデータ項目に変換する真正な(bona fide)サインを構成する。標準構成にない接触は拒否される。接触パッチは、仮想ボタンとは質的に異なる。特に、接触パッチは、ユーザがインターフェースにタッチしなければならないあらかじめ規定されたエリアではない。そうではなく、接触パッチは、デバイスにタッチする手の明示であり、詳細には、それは、実際に接触しているエリアである。接触パッチの絶対ロケーションは、ボタンのロケーションと違って、あらかじめ決定されない。接触パッチがどこで生じるかは、いくつかのファクタ、特に、ユーザの手の形態及びデバイスの形状、並びに、ユーザがデバイスを操作するために行う意図的な指の動き及びユーザが場合によってデバイスを保持するやり方の不整合の関数である。さらに、単一の接触パッチは、それだけでは機能をトリガすることができない。サインの識別情報は、それを構成する6つの接触パッチの各々の弁別的特徴の集合によって決定される。より直接的に。
デバイスがどの手の中にあろうとも、ユーザが自然な様式で、すなわち握手のような把持でそれを保持している限り、手が行う接触パッチは標準構成にあり、4つの接触パッチの列の反対側に2つの接触パッチの列がある。デバイスを右手(図1A)を用いて保持すること又は左手(図2A)を用いて保持することの間の差は、同じ側から見たときの列の左対右の順序である(図1Bを図2Bと比較されたい)が、これはファクタではない。集合としてサインを規定する、接触パッチの弁別的特徴は、インターフェースが接触パッチをどこで検出するかにかかわらず、同じである。ユーザは、右手又は左手を用いて同じサインを行い、したがって、インターフェースが検出する接触パッチの弁別的特徴は、サインを行った手にかかわらず、同じである。本発明のインターフェースを左手を用いて使用すること又は右手を用いて使用することの間に機能的な差はない。利き手のためにそのインターフェースを構成する必要はない。この理由で、右手を用いてデバイスを操作する様式の記述が、本発明について説明するのに十分である。左手を用いてどのようにデバイスを操作すべきかの別個の説明は、冗長である。
物理的に、本発明のインターフェースのセンサー領域は、デバイスを保持するときに手が接触し得るデバイスの実質的にすべての表面、本質的に、デバイスの見えない側面、すなわち側方表面及び背面を取り入れ得る。デバイスを保持するために、指は、デバイスのユーザ・インターフェースと持続的に接触している。これは、ボタン、キーボードのキー、メニュー項目、ツールバー、ハイパー・リンクなど、瞬間的にタッチすることによってユーザが作動させるバイナリ制御の使用を除外する。本発明のインターフェースをもつデバイスを操作するために、ユーザは、デバイスに対するユーザの把持を保ちながらサインを行う。互いとは異なるサインを行うために、ユーザは、1つ又は複数の接触パッチの弁別的特徴を変更する指の動きを行う。弁別的特徴は、限定はしないが、接触パッチにおける圧力、それのサイズ、それのロケーション、特に、それの重心のロケーションを含む。指の動きの結果として変化を受けやすい接触パッチの弁別的特徴の2つの説明を与えるために、指を用いて押さえつけることが、接触パッチにおいて圧力を増加させる(及び同時に、接触パッチのサイズを増加させる)ことと、インターフェース表面上の指の位置を変化させることが、接触パッチの重心のロケーションを変更することとは、明らかである。
親指の付け根72Aが行う接触パッチは、随意的制御を受けない。ユーザは、接触パッチの弁別的特徴を(場合によってはそれの圧力を除いて)故意に変更することができない。これのために、接触パッチは、サインを調節することに直接関与しない。しかし、接触パッチは、デバイスに対するより良い把持に役立つ。接触パッチはまた、反対側面からデバイスを把持する指のための代替当接部を設けることによって親指70がインターフェースと自由に対話することを可能にする。また、上述のように、親指の付け根が行う接触パッチは他の接触パッチよりもかなり大きいので、それは、標準構成に垂直配向を付与する。インターフェースが関係する限り、ユーザがデバイスをどの方向を上にして保持するかは重要でない。好適なデバイスでは、この性質は、デバイスの物理的配向にかかわらずユーザがデバイスを保持している方向に対応する垂直配向でディスプレイのコンテンツを見せるために、使用され得る。図5中のデバイスのような円形デバイスは、固有の垂直配向を有しない。ユーザがどのようにデバイスを保持しているかに従ってそれのディスプレイのコンテンツを配向する能力は、必要なものである。
本発明の決定的な特徴は、ユーザ・インターフェースが、ユーザが任意の指を用いて作動させることができる、キーボードのキー又はコントロール・パネルの制御のような、所定のレイアウトにおける個別ターゲットによって特徴づけられないことである。各ユーザは、握手のような把持でデバイスを保持するときにすべての指が自然にインターフェースに接触する場合、親指の付け根とともにすべての指を用いてインターフェースを機能させる。ユーザは、インターフェースを使用するためにそれを見る必要さえなく、ユーザの指が当たるための固定ターゲットがない。
ユーザの手がデバイスにタッチするところは、ユーザの手がインターフェースを機能させるところである。インターフェースは、そのままで、すなわち、最初に個々のユーザに適合することなしに、すべてのユーザに適応する。ユーザの手が行う接触パッチは、それらが生じるときに及び生じる場合にインターフェースを機能させる。接触パッチが標準構成にある限り、接触パッチの弁別的特徴の集合は、真正なサインを構成する。サインは、ユーザがユーザの手を用いて行う接触パッチの弁別的特徴の複合によって規定される。真正なサインのみが、デバイスの動作を制御することが可能な信号に、又は1つのデータに、マッピングする。
この点において、現在のインターフェース設計は、本発明の反対である。インターフェースとのたいていの接触は、ユーザがそのまま用いなければならないあらかじめ規定されたレイアウト内で生じなければならない。これは、たとえばインターフェースを左利きユーザ及び右利きユーザのために構成するために、ユーザの親指が触れる範囲内に制御を持ってくるように、インターフェースがスケーリングされるか、又は場合によっては調整される必要がある状況につながる。インターフェースのレイアウトは設計決定によって決定され、設計決定は、しばしば、人間工学的要件を、システム及び順序の考慮事項よりも、並びに時々技術的制約よりも、さらにはQWERTYキーボードのような古い技術的制約よりも、軽く考える。
ただデバイスを保持することでさえ、真正なサインを構成するが、デバイスの機能に影響を及ぼさない。そうではなく、デバイスを保持するときに手が行う6つの接触パッチの弁別的特徴からなるサインが、操作上のサインのためのベースラインを表す。以下の図表は、このサインの指使い、すなわち、このサインを生成するために各指が行うことを表す。この図表のフォーマットは、サインの指使いを表すために本明細書全体にわたって使用される。白抜きの黒丸

は、デバイスを押下すること又は動くことなしに指がデバイスを保持することを示す。接触パッチ列の下のヘッディングは、それぞれの接触パッチを行う手の部分を示す。サインを参照することを容易にするために、サインは、0で開始する番号を付けられる。
デバイスは、それがベースライン・サインを検出したとき、ロック解除するように構成され得る。逆に、デバイスは、それが適切な間隔の間に有効なサインを検出しなかったとき、ロックするようにされ得る。標準構成にある6つの接触パッチの形態でないすべてのサインは無効である。これは、デバイスを運んでいるか又はさもなければ扱っている間の偶発的動作、たとえばポケット内での電話の誤発信(pocket dialing)をトリガする可能性を、実際上なくす。
デバイスを操作する目的でただデバイスを保持するためとは対照的に、デバイスを操作するために、ユーザは、1つ又は複数の接触パッチの弁別的特徴を変更する指の動きによって、前のサインを調節する。実例は、親指70を用いて押下することであり得る。インターフェースとアクティブに対話していないとき、手は、調節されていないベースライン・サインに自発的に戻る。全体を通して、ユーザは、デバイスに対するユーザの把持を維持する。
指の動き
ユーザがデバイスを保持しながら指を用いて行うことができることは、指の二重機能によって左右される。個々の指の動きの自由は、デバイスを保持することによる変動の程度に制約される。さらなる制約は、隷属化効果(enslavement effect)として知られる、指の間の不随意的連係(involuntary linkage)である。その上、すべての指が等しく器用であるとは限らず、いくつかの指は動きを実施することができ、他の指は動きを実施することができない。すべての指がすべての動きを実施することができるとは限らない。特に、力の弱い指、すなわち薬指84及び小指86は、他の指よりも制限される。それにもかかわらず、これらの制約の範囲内で、ユーザは、スマートフォンのような比較的複雑なデバイスさえも手中で操作するために必要とされるすべての異なったサインを生成することが可能であるのに十分な数のやり方で、ベースライン・サインを調節することができる。これは以下で示される。
親指の付け根72は、すでに述べたように、随意的制御を受けず、したがって、それは、ここでは考慮しない。
ユーザの指がインターフェース表面に作用することができる3つの基本的なやり方がある。指は、インターフェース表面をプッシュし、それの上をスライドし、それからリフトオフし、それにより、指がインターフェース表面上で行う接触パッチの特定の物理的属性、特に、それのサイズ、圧力及びロケーション(詳細にはそれの重心のロケーション)を変化させることができる。接触パッチの温度又は湿分など、接触パッチの他の属性は、随意的制御を受けない。インターフェースが装備している1つ又は複数のセンサーは、接触パッチの弁別的特徴、すなわち、デバイスを操作することに関連する属性を監視することと、しきい値レベルを超えた変化を、プロセッサが解釈することができる生信号に変換することとを行うように構成される。次に、プロセッサは、基本的動きのタイミング、強度、速度、及び/又は方向など、生信号のより高次の一般化を認識するように構成される。生信号の変化が著しいとき、すなわち、生信号の変化が、1つ又は複数の接触パッチの弁別的特徴の適格でない変化、あるサインを別のサインに変換する変化であるとき、プロセッサは、新しいサインがマッピングする制御信号又はデータ項目を生じる。(インターフェースがあるモードは、結果を決定し得る、下記参照。)
ユーザは、パターン、一種のコーディングを複合的動きに付与するような、指の動きの組合せ又はさもなければ基本的な指の動きを構造化することによって、機能的に弁別可能なサインを行うことができる。これは、指が追加の機能的信号を生じることを可能にする。そのような複合的動きの実例は、押下(プッシュ、リフト)、複数の押下(繰り返される押下)、長い押下(押下、待機、リフト)、スクロール(押下、単一の方向でのスライド、リフト)、ポイント(押下、ランダム経路に沿ったスライド、リフト)、スワイプ又はフリング(押下、高速スライド、リフト)である。これらの実例は、基本的動きの持続時間、繰返し、速度及び/又は方向に基づくパターンを示す。そのようなパターンを機能的に利用するために、プロセッサは、接触パッチが生成する生信号においてそのようなパターンを認識することと、そのようなパターンを対応する制御信号又はデータ項目に変換することとを行うように構成されなければならない。
インターフェースはまた、接触パッチを生成する手の部分、特に指を識別するように構成され、これは、異なる指との、場合によっては弁別不可能な接触を区別し、それらを異なった制御信号又はいくつかのデータにマッピングすることを可能にする。これは、デバイスを操作するために利用可能な信号の数を逓倍する。指を区別することができなければ、1本の指を押下することは、任意の他の指を押下することと同じ影響を及ぼす。
接触が手のどの部分との接触であるのか、すなわち、指との接触であるのか親指の付け根との接触であるのかを決定するためのアルゴリズムが、図3のフローチャートで概説される。アルゴリズムは、手が行う接触パッチの相対ロケーションを利用し、接触パッチを生成する指(又は手の部分)の任意の固有の特徴を利用しない。特に、アルゴリズムは、指紋など、ユーザ・プロファイルに記憶された情報に依拠せず、又は、統計的性質の情報に依拠しない。接触パッチを識別することに加えて、アルゴリズムは、サインを構成する接触パッチが標準構成にあることを確認することによって、サインを検証する。図3Aに示されている、手によって行われた接触パッチの重心の球面座標に基づいて、アルゴリズムは、
1. デバイスの前面と交差しない接触パッチ、すなわち、(妥当な許容差内の)その方位角がθ又はθ+180度でない接触パッチをフィルタで除去し(時々、指の方位角は、たとえば人差し指80がポイントしている(すなわち、サイン3を行っている、下記参照)とき、この範囲外にあり得、これについて配慮されなければならない)、
2. この要件を満たす接触パッチを保存し、
3. 6つのそのような接触パッチがあることを確かめる。(たとえば指を用いてスクロールする(すなわち、サイン2又は8を行う、下記参照)とき、指とインターフェースとの間の接触の一時的な不連続性があり得、これについて配慮されなければならない。)6つのそのような接触パッチがある場合、プロシージャは、
4. 接触パッチを、それらの重心(中心ポイント)の半径方向距離r又は極角φによって測定される座標系の原点からの接触パッチの距離の順序でソートし、
5. 接触パッチを、それらの方位角に従って分離し、
6. (方位角=θの場合)接触パッチを列Aとして記憶し、
7. (方位角=θ+180の場合)接触パッチを列Bとして記憶し、
8. 列Aに記憶された4つの接触パッチがあるかどうかをテストする。
列Aに記憶された4つの接触パッチがある場合、プロシージャは、
9. これらの接触パッチを最低から最高までラベリングし、最低は小指であり、
10. 列B中の2つの接触パッチを最低から最高までラベリングし、最低は親指の付け根72である。
列Aに記憶された4つの接触パッチがない場合、プロシージャは、
11. 列Bに記憶された4つの接触パッチがあるかどうかを確かめ、
12. これらの接触パッチを最低から最高までラベリングし、最低は小指であり、
13. 列A中の2つの接触パッチを最低から最高までラベリングし、最低は親指の付け根72である。
アルゴリズムのすべてのステップが精密に順序付けられるとは限らず、いくつかのステップは、上記で示されたシーケンスとは異なるシーケンスにおいて実行され得ることに留意されたい。
異なった反対側の側方エッジを有するデバイス、たとえば図1中のデバイスでは、接触が手のどの部分との接触であるのか、すなわち、指との接触であるのか親指の付け根との接触であるのかを、別個の異なったセンサー領域でデバイスのエッジを構成すること、及び、一方の側面上で検出された接触を列Aとして記憶し、他方の側面上で検出された接触を列Bとして記憶し、次いで、アルゴリズムのステップ8〜12を実行することによって、決定することが可能である。
以下の表は、手がデバイスを保持しながら快適に行うことができるサインに関して物理的に何が可能であるかを示すために、わずか3つの指の動き、すなわち、押下すること、スクロールすること及びポイントすることで生成された10個のサインの基本セットを示す。サインは、斜線付き背景で強調表示されたアクティブな指によってグループ化される。8つのサインが、1本のアクティブな指及び2本かいくつかの指を有する。
所与の接触パッチを行う指を識別することが可能であることの有意性は、

としてテーブルに示されている、指を用いて押下することの実例によって最も良く示され得る。デバイスを保持するときでも、すべての指がこのアクションを実施することができる。押下された指によって行われた接触パッチは、それだけでは、(押下された)別の指によって行われた接触パッチと区別することができない。しかしながら、接触パッチの識別情報は他の指のコンテキストから決定され得るので、押下することは、基本セットに、1つだけでなく、7つのサイン、すなわち、1本のアクティブな指を用いたサイン1、4、5、6及び7、並びにいくつかの指を用いたサイン13及び14を追加する。ジェスチャー・ベースのインターフェースは、指を区別することができない。


として表に示されている、スクロールすることは、スクロール・ホイールを回転させるために指が行う動きである。繰り返され得るこの動きは、親指70及び人差し指80にとっては容易であるが、他の指にとっては(完全に不可能ではないが)容易でない。デバイスを使用するためにそれを保持するとき、ユーザの親指は、通常、垂直配向にあり、人差し指は水平配向にある。この点において、上下の動きを、親指を用いてスクロールすること(サイン8)に関連付け、横方向の動き(パンニング)を、人差し指を用いてスクロールすること(サイン2)に関連付けることは、より直観的である(しかし、必要ではない)。2つの異なる指がこの動きを実施することができるので、スクロールすることは、基本セットに、2つの異なったサイン、サイン2及びサイン8を追加する。
デバイスが握手のような把持で保持される場合、ユーザの人差し指80は、依然として、動きの著しい自由を享受し、デバイスは、一方の側面上の親指70及び親指の付け根72と他方の側面上の他の3本の指との間で固定される。これは、ユーザが、人差し指80をポインタとして使用して、一般にデバイスの背面上のセンサー領域上の経路をたどることを可能にする。

として表に示されている、ポイントすることと呼ばれる、この動きは、ユーザがタッチパッド上で人差し指を用いて行うのと同じ動きである。この動きは、(一般にデバイスの前面上の)ディスプレイ上のカーソルの位置を制御するために使用され得る。人差し指が触れる範囲の限界において、ユーザは、ユーザがタッチパッド上で行うように、新しい位置からその動きを続けるために人差し指を再配置することができる。この動きは、特に、マップ上のポイントをマークすることなど、多次元的又は連続的データを入力することに適している。人差し指0のみが容易にポイントすることができ、したがって、ポイントすることは、基本セットに、1つのサイン(サイン3)のみを与える。
適用例
以下の3つの実例は、(i)上記で紹介された基本サインが、ユーザが、本発明の触覚インターフェースによってハンドヘルド電子デバイスを操作することを可能にすること、及び、(ii)ユーザが、簡単で直観的に満足な様式でそうすることができることを示すように働く。実例は、コマンドを入力することに加えて、本発明のインターフェースが、どのようにデータ(たとえば、番号及びテキスト)を入力すること、及びメニュー構造をナビゲートすることを可能にするかを示す。実例はまた、本発明のインターフェースが依拠する指の動きが、異なるタイプ並びに様々な形状及びサイズのデバイスを操作するために、変更なしに用いられ得ることを証明する。
提示順に、実例は、汎用TV遠隔制御、汎用GPSナビゲーション・デバイス及び汎用スマートフォンからなる。提示されるソリューションは、これらのデバイスの鍵となる機能的要件に、ある程度詳細に対処するが、それらは、包括的な製品設計ではない。提示されるソリューションは、本発明の範囲内でこれらのデバイスについて想像できる無二のソリューションではない。示されるデバイスは、本発明が適用される無二のデバイスではない。提示されるソリューションは、ハンドヘルド電子デバイスの手中での操作のために本発明が利用可能にする可能性のうちのいくつかを示すにすぎない。限定はしないが、ステアリング・ホイールに統合された車のウィンドウのための遠隔制御、或いは、助手席のアームレストに内蔵されたエンターテインメント・システム又はアームレストに統合された車椅子制御のための遠隔制御を含む、本発明の他の実施例が、本明細書全体にわたって述べられる。
以下の説明では、サインを行うために1本又は複数のアクティブな指を用いてユーザが行うことが、本発明のインターフェースをもつハンドヘルド電子デバイスを操作するときにユーザが意識していることであるので、このことに焦点が当てられる。他の指(及び親指の付け根)に何が起こるかは、サインを構成する接触パッチの各々をどの指が生じたかを決定するのに不可欠であるが、ユーザの意識的注意を逃れる。
TV遠隔制御
図4は、ユーザの手の中で保持された、本発明のインターフェースを具備する基本TV遠隔制御200の斜視図を示す。TV遠隔制御200は、円筒の形態のものであり、ディスプレイを有しない。一般的なTV遠隔制御のように、TV遠隔制御200は、TV受像機のディスプレイを使用する。TV遠隔制御200の形状に鑑みて、デバイスは前面又は背面を有しない。デバイスのインターフェースは、デバイスの側方表面全体を包含する。これは、ユーザが、デバイスの胴体(stock)の周りのどこでもデバイスを保持しながらデバイスを操作することができることを意味する。下記の表は、この適用例において基本サインを利用するための1つのやり方を示す。ユーザがこれらのサインを行うとき、遠隔制御デバイスは、対応する制御信号をTV受像機に送信する。ユーザが正しいサインを行うのを助けるために、TV受像機は、1本又は複数のアクティブな指が何を行う必要があるかを示すプロンプトを示すようにされ得る。
すべての指を押下すること(すなわち、サイン13を行うこと)、及びしばらくの間そのサインを保持することは、TV受像機をオン又はオフにする。
人差し指を用いてスクロールすること(サイン2を行うこと)は、ボリュームを上げ下げし、人差し指を用いて押下すること(サイン1)は、音をミュート及びミュート解除する。
ユーザは、2つのやり方でチャンネルを選択することができる。デフォルトは、チャンネル番号を増分又は減分するために親指を用いてスクロールすること(サイン8を行うこと)による。ユーザがすばやくスクロールするほど、チャンネル番号はすばやく変わる。ユーザが停止すると、遠隔制御は、TV受像機を選択されたチャンネルに切り替える。代替的に、ユーザは、チャンネル番号を直接入力することができる。これは、追加のサインを必要とする。デバイスがコマンド・モードとデータ・モードの間で切り替えることができるようにデバイスを構成することによって、異なったサインの全体の数を低く保ちながら、番号についてのコマンド・モードにあるとき、機能を制御するために使用されるサインを再使用することが可能である。このことを念頭に置いて、番号サイン(number sign)のコヒーレント・セットは、各指に一意の数値を結びつけることによって、特に、(上記の表に示されているように)人差し指80について1、中指82について2、薬指84について3、小指86について4、及び親指70について5を結びつけることによって取得される。たとえば、親指を用いて押下すること(サイン7を行うこと)によって入力されるデータ・モードでは、指を押下すること、すなわち、所与の指を押下することからなるサインを行うことは、その値をレジスタに追加し、入力ポイントを次の位置に移動する。1〜5について、ユーザは、単に、対応する指を押下する。6〜9について、ユーザは、2本の指の値の和をレジスタに追加するために2本の指を一緒に押下しなければならない。0について、ユーザは、一度にすべての指を押下し(サイン13)、これは、そのサインが維持される場合、TV受像機の電源を切るにすぎない。
以下の表は、すべての番号サインを一緒に示す。単一のアクティブな指を用いたサイン1、4、5、6及び7は、基本セットの一部である。コマンド・モードでは、それらのサインは、遠隔制御デバイスの機能を制御し、データ・モードでは、それらは番号を表す。
これらのサインは、6〜9が値1の1〜4つの玉と値5の玉との組合せとして表現されるそろばん上で数が表されるやり方に酷似している。それらはまた、片手で番号を合図するためにアメリカ手話言語(ASL:American Sign Language)において使用されるサインと同様である。差は、1〜5についてASLは、指の対応する番号を実際に示し、6〜9についての指の組合せは、同じであるが逆の順序で使用され、すなわち、9についてのASLサインが6についてのサインに対応することなどである。0についてのサインは同じである。すなわち、本方法は学習可能である。
図4Aは、番号についての指使いを可視化するための単純で直観的なやり方を示す。各指は、それにアタッチされた数値を用いてラベリングされる。指のペアを接続する線は、指のペアの値の和、すなわち、両方が一緒に押下されるときに取得される番号サインを示す。ユーザを助けるために、ディスプレイは、デバイスがデータ・モードにあり、ユーザが番号を入力しているときに、図4Aを示すことができる。
ユーザがサインを行うためにアクティブな指を用いて行うことに関して話を続けると、2桁以上の番号についてユーザは、従来のやり方、高から低へ、一度に1桁で進む。たとえば、51を入力するために、ユーザは、最初に親指を押下して(サイン7)、5を入力し、次いで人差し指を押下して(サイン1)、1を入力する。ユーザが完全なチャンネル番号を入力したとき、遠隔制御は、TV受像機をそのチャンネルに切り替える。最大桁数よりも小さいチャンネル番号について、ユーザは、チャンネルに切り替えるために人差し指と中指を一緒に押下する(サイン14)(又は、先行する0を用いてチャンネル番号をパディングする)ことができる。それに失敗すると、インターフェースは、追加の桁が入力されない場合、TV受像機を、間隔の後に入力されたチャンネルに切り替える。
GPSナビゲーション・デバイス
図5は、ユーザの手の中で保持された、汎用ハンドヘルドGPSナビゲーション・デバイス300の斜視図を示す。デバイス及びそのディスプレイ310は、円形である。以下の表は、基本サインを利用して番号サインと組み合わせてハンドヘルドGPSを操作するためのやり方、及び上記で紹介されたコマンド・モードとデータ・モードの間で切り替える可能性を示す。TV遠隔制御とは異なり、GPSは、スタンドアロン・デバイスである。
すべての指を用いて押下すること(サイン13を行うこと)、及びそのサインを保持することは、GPSをオンにし、ユーザが選択することができるアクションのメニューを示す。円形ディスプレイの例にならうと、図5に示されているように、メニューの選択肢は、ホイールのセグメントとして示される。(旧来のエンジン・オーダー・テレグラフを暗示する、このフォーマットを選ぶことは、選択肢であり、ディスプレイの形状の結果でない。)親指を用いてスクロールすること(サイン8)は、ホイールを回転させる。所望のオプションをもつセグメントが、人差し指80がデバイスのエッジにタッチするところであるとき、ユーザは、それを選択するために、人差し指を押下する(サイン1)ことができる。他の好適なマークについても同様である。
GPSのユーザがしばしば実施する機会がある基本機能は、ロケーションの地理的座標を、たとえばウェイポイントとして入力することである。これに取り掛かるための2つのやり方がある。ユーザが対応するオプションを選択したとき、ディスプレイは、デバイスをデータ・モードに切り替え、図5Aに示されているように、現在の位置の座標がマップ上に重ね合わせられた、現在の位置を中心とするマップを示す。新しい位置を入力するために、ユーザは、人差し指を用いてポインタを移動する(サイン3を行う)。ポインタを配置することを容易にするために、ユーザは、親指を用いてスクロールすること(サイン8)によって、マップにズームインし、マップをズームアウトすることができる。ポインタが移動するにつれて、ディスプレイに示されている地理座標は、マップ上のポインタのロケーションを追跡する。ポインタが正しい位置にあると、ユーザは、人差し指と中指を一緒に押下し(サイン14)、それを選択するためにそのサインを保持する。これにより、図5中のものと同様の、オプションの新しいメニューがロードされ、そこから、ユーザは次のステップを選定することができる。
代替案は、座標についての数値を直接入力することである。図5中のメニューからこのオプションを選択することは、インターフェースをデータ・モードに切り替え、デバイスは、すでに説明されたように、ユーザが行うサインを番号として解釈し、それらの値をレジスタに追加する。この方法によって座標を入力するための実際的なやり方は、端数のない数字でそれらを入力し、次いで、スクロールすることによってそれらを微調整することである。経度と緯度の間でトグルするために、ユーザは、人差し指と中指を一緒に押下する(サイン14を行う)。親指を用いてスクロールすること(サイン8)は、度数を調整し、人差し指を用いてスクロールすること(サイン2)は、分と、分の小数(decimal)とを調整する。(業界の慣行は、秒の代わりに分の小数を表示することである。)スクロールすることは、スクロールの速度に応じてより遅く又はより速く、値を増分又は減分する。座標を記録するために、ユーザは、前述のように、人差し指と中指を一緒に押下し(サイン14)、そのサインを保持する。これにより、図5中のもののような、メニューが表示され、そこから、ユーザは次のステップを選択することができる。
スマートフォン
図6は、ユーザの手の中で保持された、ディスプレイ410をもつ一般的なスマートフォン400を示す。GPSのように、スマートフォン400はスタンドアロン・デバイスである。以下の表は、手中でスマートフォンの主要機能を操作するために基本サインを使用するための1つのやり方を示す。
ホーム・スクリーンをナビゲートすること
すべての指を押下すること(サイン13を行うこと)、及びそのサインを保持することは、デバイスをオンにし、最初にオンにされたとき、デバイスのディスプレイは、一般に、図6に示されたもののようなホーム・スクリーンを示す。この事例では、ホーム・スクリーンは、6つの行と4つの列を有する。6行目はドック(dock)である。ユーザは、カーソルを用いてホーム・スクリーン上の任意の項目をポイントし(サイン3)、押下すること(サイン1)によってその項目を起動するために、人差し指80を使用して直接その項目を選択し、起動することができる。図6Aに示されているように、ユーザはデバイスの背面上でこれらのサインを行うので、これは、ディスプレイのどの部分もマスキングしない。
ユーザが、2つの前の実例の場合のようにデバイスの側面上でインターフェースを押下するのか、ここでのように背面上でインターフェースを押下するのかにかかわらず、人差し指を用いて押下することは、サイン1を生じることに留意されたい。
項目スキャニングとして知られる、項目を選択するための代替方法は、自動スキャニング、すなわち、多くの現在のコンピュータ・オペレーティング・システムがサポートするアクセシビリティ特徴に依拠する。ここで、ユーザは、サイン、たとえばサイン14を行って、焦点が、最初に行を介して、及び、行の項目(入力)を介してユーザが(再び同じサインを行うことによって)1つを選択した後、焦点が所望の項目上にあるときにもう一度サインを行うことによってユーザが入力のうちの1つを選択するまで、自動的に循環することを開始する。これにより、スキャンが終了し、項目が起動する。
本明細書は、5本の指すべてを用いて本発明のインターフェースを使用することについて説明し、それは、十分に器用でない人に適合することができる。1本の指のみを使用するユーザでさえ、項目スキャニングを使用して、本発明のインターフェースを装備したデバイスをナビゲートすることができる。
ユーザはまた、項目スキャニングによって、構造化された形態で提示されていない項目を選択することができる。この場合、焦点は、ユーザがスキャンを停止するまですべての項目を連続的にスキャンする。完全に構造化されていないコンテンツの場合、ユーザは、所望の項目を起動するために、項目をポイントすること、すなわち、人差し指を用いてポインタを移動すること(サイン3)、又は、ポイントスキャンすること(サイン2及びサイン8)と、人差し指と中指を一緒に押下すること(サイン1)とによって、その項目を選択することができる。
ディスプレイにおいて見えない項目を見えるようにするために、ユーザはスクロールすることができる。アレイを横にシフトするために、ユーザは、人差し指を用いてスクロールして(サイン2)、親指を用いて垂直方向にアレイをシフトする(サイン8)。スクロールの速度に応じて、追加の項目は、より遅く又はより速く見えるようになる。意味をなす場合、スクロールすることは、漸進的ではなく、完全なスクリーンロードの増分単位であるように構成され得る。
5つ以下の選択肢がある限り、各々は、ディスプレイ上のどこにそれが現れるとしても、直接指にマッピングされ得る。マッピングを示すための多くのやり方がある。明白なやり方は、選択肢を表すアイコンから、それを制御する指がディスプレイのエッジにタッチする場所までの線を伴う。或いは、選択を制御する指をポイントする追尾光効果(chasing light effect)、又は別のアニメーションによる。視覚障害者の場合、インターフェースは、対応する指をユーザが押下するときに口頭の形式で行のコンテンツを表すこと(及び、選択の実行を遅延させて、指をリフトすることによってそれを拒否する時間をユーザに与えること)によって接続を行うように構成され得る。さらに、インターフェースは、選択された選択肢を照らすこと、及び、選択肢が実行されるときにクリック音をたてること又は接触パッチを暖めることによって、指が押下されるときにフィードバックを与え得る。
フォン
スマートフォンの1つの用途は、明らかに、通話を行うことである。ホーム・スクリーン上のフォン・アプリを選択した後に、ユーザは、連絡先のリストをスクロールし(サイン8)、ユーザが電話をかけることを希望する番号を選択する。電話をダイヤルするために、ユーザは、人差し指と中指を一緒に押下する(サイン14)。電話を終了するために、ユーザは、再びサイン14を行う。番号をリストに追加するために、ユーザは、上記で紹介された番号サインを使用する。番号が完全であるとき、ユーザは、それを保存するために人差し指と中指を一緒に押下する(サイン14)。どのように名前を追加すべきかについては、下記を参照されたい。
誤った入力を訂正するために、ユーザは、一度にすべての指を押下し、保持すること(サイン13)によって、バックスペースすることができる。一方、インターフェースを用いたすべての機能的対話が、サインの形態でなければならないアプリオリな理由はない。たとえば、アプリは、デバイスを振ることにより現在のレジスタのコンテンツが消去され、ユーザが新たに開始することを可能にするように構成され得る。
テキスト・エディタ
スマートフォンの別の用途は、たとえば電子メール又はテキスト・メッセージのためのテキストを生成すること、名前を連絡先リストに追加すること、検索を行うこと、或いはURLを開くことである。テキストを作成するために、ユーザは、ホーム・スクリーンからテキスト・エディタ・アプリを起動する。これは、図6B‐1に示されているもののような6×6行列をディスプレイに出し、デバイスをデータ・モードに切り替え得る。行列は、アルファベットの文字、並びにいくつかの句読点及び特殊文字でポピュレートされる。テキストを作成するために、ユーザは、項目がある行を最初に選択することによって行列から文字(letter)(及び他の文字(character))を選定し、次いで、第2のステップにおいて、項目自体を選定する。これのためのサインは、極めて単純である。行を選択するために、ユーザは指を押下する。最上行について、その指は親指(サイン7)であり、2行目について、その指は人差し指(サイン1)であり、(上記の表に示されているように)以下同様である。
指が選択する行を示すために、現在の説明において、最初の5行は、対応する指と同じ高さで表示される。それに加えて、各行は、行を選択するために対応する指をユーザが押下しなければならない方向を示す方向性サインの形状の輪郭を有する。どの指とも整合されない6行目の輪郭は、両方の端部において尖っていない。6行目を選択するために、ユーザは、一度にすべての指を押下する(サイン13)。いくつかの入力をもつ行を選択することにより、インターフェースは、その行を列に転置するルーチンを実行し、入力1が(列の)1行目になり、入力2が2行目になり、以下同様である。行を選定するために、ユーザは以前と同じサインを用い、ただし今回は各行が単一の文字を表し、さらなる選択肢はない。その場合、行を選択することにより、それが表す文字が入力ストリングに追加され、別の反復を開始する。
文字Nを生成するために、具体的な実例を挙げると、Nは、(中指82の隣にある)、文字Nを含んでいる行、すなわち図6B‐1の3行目上にあるので、ユーザは、最初に、中指を押下すること(サイン4)によって、その行を選択する。これにより、3行目が列に転置され、1つの入力が一行にあるようにされ、ディスプレイが一新されて図6B‐2を示す。次に、ユーザは、薬指が、Nが今ある行であるので、薬指を押下すること(サイン5)によって文字Nを選択する。これにより、文字Nが入力ストリングに追加され、第1のスクリーンに戻る。以下同様である。
終止符を入力ストリングに追加するために、終止符はサイン13で選択される図6B‐1の6行目上にあるので、ユーザは、すべての指を一緒に押下する(サイン13)。これにより、図6B”に示されているように、6行目が転置され、ディスプレイが一新されて6行目の入力を列で示し、1つの入力が一行にあるようにされる。この時点で、人差し指を押下すること(サイン1)により、今2行目上にある終止符が選択され、それが入力ストリングに追加される。テキストを生成するために文字及び特殊文字を選択するための反復方法が、行列形式、特にホーム・スクリーンで提示される選択肢に適用され得ることは、明らかであろう。行列が含んでいる項目に応じて、1つの項目を選択することは、ほんの数個の実例を挙げると、ドキュメント、たとえば画像を開くこと、プログラムを実行することを開始すること、又はデバイスの電源を切ることを行い得る。
ユーザが、ユーザがタイプしているものを見ることを可能にするために、図6B‐1に示されている入力文字の行列は、半透明にされ得る。又は、ディスプレイのエリアが入力ストリングのために確保され得る。
エラーを訂正するために、テキスト・エディタは、一度にすべての指を押下し、保持すること(サイン13)により、ユーザがサインをリフトするまでバックスペースされるように、構成され得る。(データ・モードでは、サイン13はデバイスの電源を切らない。)代替的に、アプリは、液体を流して捨てることを示唆するアニメーションによって誘導されると、ユーザが、デバイスを傾けて1つずつ文字を流して捨てることができ、これは挿入ポイントにおいて開始し、ユーザがデバイスを傾けることを停止するまで続くように、構成され得る。
ユーザは、ポイントすること(サイン3)によって挿入ポイントを移動することができる。
テキスト・エディタは、ユーザが文字を選択した指を押し下げることにより、大文字形式の文字にトグルされるように、構成され得る。或いは、文字が、アクセント、ウムラウト、セディーユ、又はティルデのような発音区別符号をもつ変形態を有するとき、指を押し下げることにより、ユーザが指をリフトするまで選択肢が循環され、焦点の当たっている項目を入力ストリングに追加するように、構成され得る。
付加文字、たとえばギリシャ文字について、デバイスは、ユーザが親指を用いてスクロールすること(サイン8)又は人差し指を用いてスクロールすること(サイン2)によって現在の文字セットを別の文字セットと交換し、次いで、通常のやり方で文字を選択することができるように、構成され得る。これは、スクロールの増分単位が完全な文字セットであるべきである場合であり、選定すべき異なる文字セットの寄せ集めを有することは、意味をなさない。
人差し指と中指を用いて一緒に押下すること(サイン14)により、テキスト・エディタから出て、テキストを用いて何を行うかの選択肢のメニューを提示する。(i)テキストをSMSとして送るか、(ii)(テキストを送るより前に)電子メール・アドレスを入力して(iii)それをブラウザに送るか又は(iv)アプリケーション・ランチャに送るか、(v)それを保存するか、或いは(vi)(それを保存又は削除する後続の選定を伴う)それを取り消すオプションをもつ例示的な実例が、図6Cに与えられる。
計算器
スマートフォンに通常見られる別のアプリケーションが、計算器である。計算器アプリは、逆ポーランド表記法(RPN:reverse Polish notation)又は代数表記法を用いて実装され得る。ホーム・スクリーン上のアプリを起動すると、RPNでは、ユーザは、最初に、上記で説明された番号を入力するための方法を使用してオペランドを入力し、次いで、人差し指と中指を一緒に押下して(サイン14)、それを記録し、スタックを上げる。ディスプレイは、次いで、様々な計算を含む、可能な次のステップをもつ、図6D‐1中のもののようなメニューを示す。これらから、ユーザは、適切な1つをポイントすること(サイン3)及びそれを起動すること(サイン1)によって、それを選択することができる。ユーザはまた、上記で紹介された反復方法を使用することができる。たとえば、サイン変更機能(CHS:change sign function)を実行するために、ユーザは、最初に親指を押下して(サイン7)、CHSがある、図6D‐1の1行目を選択する。これにより、図6D‐2に示されているように、その入力が列に転置される。次に、ユーザは、人差し指を押下して(サイン1)、図6D‐2の2行目上にあるCHSを選択する。これにより、オペランドのサインが変化し、その結果がディスプレイに返される。次に、ユーザは、別のオペランドをタイプし、再び人差し指と中指を押下することができ(サイン14)、これにより、再び図6D‐1に示されているメニューが表示され、そこから、ユーザは次のステップを選択することができる。
寸法
手中での操作を可能にするために、デバイスは、人間のユーザの手に適合するサイズ及び形状のものであるべきである。大まかに、これは、ユーザが、親指70及び親指の付け根72と他の指との間でデバイスを把持することが可能であるべきであることを意味する。下記の寸法は、例示的な性質のものにすぎず、本発明を、特定の形状、サイズ、及び/又は寸法に制限することを意図するものではない。その上、ハンドヘルド電子デバイスが多くの形状及びサイズになることを踏まえれば、本発明を組み込んだデバイスの寸法制限の広い実例を与えることが可能であるにすぎない。
請求される本発明を組み込むデバイスは、側面から側面まで、(握手のような把持での)親指70及び親指の付け根72と他の指との間のユーザの把持の幅を適合させなければならない。他方では、デバイスは、効果的に保持し、操作するのに小さすぎてはならない。デバイスの形状に応じて、デバイスの幅又は直径を意味する、本発明を具現するデバイスの側面から側面までの寸法について、約8.5cm[3 3/8インチ]及び約3.5cm[1 3/8インチ]が、妥当な限界を表す。この範囲外の値は、ユーザビリティ問題を有する可能性がある。ちなみに、これらは、握力が通常測定される限界である。
ディスプレイの側方エッジは、並んでいる人差し指80、中指82、薬指84及び小指86のための余地を、それらが直線であるのかそれ以外であるのかにかかわらず、有しなければならない。さらに、側方エッジは、親指のための空間を可能にしなければならない。したがって、側方エッジは、手の幅、すなわち、親指70を含まない4本の指の並んだ幅に等しいか又はそれの1.25倍の大きさであるべきである。左手使用及び右手使用を可能にするために、これは、デバイスの両方の側面について成り立たなければならない。同時に、これは、親指の付け根72のための十分な空間を保証する。通常見られる最も大きい手の幅は120mmであり、これは、手袋が商用に製造される最大幅である。図1A及び図1B中のもののような矩形デバイスでは、これは、縦方向配向において、デバイスが(厳密な上限なしで)各側面に関して約150mmの高さであるべきであることを意味する。図5中のGPSのような円形デバイスでは、それは、デバイスの円周が少なくとも300mm、すなわち、手の最大幅の2倍+親指のためにそれの25%であるべきであることを意味する。
指が制御する機能を示すためにデバイスがオンスクリーン・プロンプトを利用する場合、指に対してプロンプトが近いと、接続を強調する。デバイスの側面を把持する指と、指をポイントするプロンプトとの間のギャップが大きいほど、指と、プロンプトによって示される機能との間の概念的距離が大きくなる。この点において、指が接触している表面とディスプレイとが隣接していること、さらには同じであることが望ましい。たとえば、スマートフォンのディスプレイは、理想的には、フレームなしにデバイスの前面全体をカバーするべきであり、それは、エッジの周りをカーブすることさえあり得る。このようにして、指は、握手のような把持でデバイスを保持するとき、ディスプレイに隣接している。
図5中のGPS及び図6中のスマートフォンなど、異なったエッジ、すなわち前面及び背面とは別個の側方表面を有するデバイスの場合、傾向は、エッジを技術的にできるだけ薄くすることである。これにもかかわらず、本発明の目的で、エッジは、ユーザがエッジ上でデバイスを制御する指の動きを実施するのに十分厚くなければならない。これのために、約6mmが妥当な下限である。
構成
ハンドヘルド電子デバイスの構造部品は、一般に、プラスチック又は金属などの剛性材料から作られる。しかし、これは本発明の要件ではなく、本発明の目的で、デバイスは柔軟であり得る。
デバイスを操作するためにユーザがサインを行うためのデバイスの表面、通常、側面及び背面は、これらのサインを検出することが可能な適切なセンサーで構成されなければならない。センサーは、デバイスの内部にあり、特に、手が接触しているデバイスの表面中に埋め込まれるか、又はデバイスの外部にあるか、或いはその両方であり得る。センサーは、いかなる特定の技術にも限定されず、単一の技術にも限定されない。潜在的に使用され得る技術は、RF追跡、容量検知、光検出、圧電検知、電磁検出などを含む。どんな技術又は手法でも、デバイスは、6つ又はそれ以上の同時接触パッチ、すなわち、各指についての1つの接触パッチ及び親指の付け根72についての1つの接触パッチを追跡することが可能でなければならない。運動は、一般に、連続する定常状態の間の差を区別することができる論理によって検出されるが、本発明は、運動検出のいかなる特定の方法にも依存しない。
センサー又はセンサー・システムの感度は、ベースライン・サインと操作上のサインとを弁別することを可能にしなければならない。特に、その感度は、デバイスを保持する間に指が行う接触パッチと、デバイスのインターフェースとアクティブに対話するときに同じ指が行う接触パッチとを、接触パッチの弁別的特徴のうちの1つ又は複数の差に基づいて、区別しなければならない。たとえば、その感度は、指の接触パッチのサイズ又は圧力の増加に基づいて、指が押下されたことを検出することが可能でなければならない。或いは、指の接触パッチのロケーションの経時的な差に基づいて、指がスクロール又はポイントするので、指が動いたことを検出することが可能でなければならない。
実際には、指は、皆無ではないにせよ、デバイスの、ユーザが面する側とめったに対話せず、その側は、握手のような把持でデバイスを保持するときに指が通常触れることができない。デバイスの、ユーザが面する側は、しばしばディスプレイによって占有され(ただし、そうされる必要はない)、その側は、本発明の目的で、センサーを装備している必要はない(ただし、そうである可能性はある)。
従来の設計の触覚ユーザ・インターフェースは、一般に、フラット・パネル・デバイスから構成され、詳細には、ジェスチャー・ベースの触覚インターフェースであり、すなわち、それらは、コントロール・パネルのように平面である。(時々、非機能的制御がデバイスのエッジに見られ得る。)ユーザは、前面のみからこれらのインターフェースにアクセスする。本発明のユーザ・インターフェースは異なる。それは、いくつかの異なる面上に位置する。ユーザが親指70を用いて機能させる面と、ユーザが他の指を用いて機能させる面とは、反対の方向を向く。これは、インターフェースの構造が、手の解剖学的構造、特に親指の対向性を反映するからである。ポイントすること(サイン3)のようなサインは、デバイスの背面など、また他の面を伴い得る。本発明のインターフェースと従来のインターフェースとの間の際立った差は、それが非共面であることである。
本発明の鍵となる設計目標は、ユーザが、自然な様式で、すなわち、容易であり、ねじれを伴わない手及び指の動きを活用することによって、デバイスを操作することを可能にすることである。この目標を支持して、デバイスの形状は、手の形態に従って成形され得る。たとえば、デバイスの背面は、丸いことがある。
ユーザにある程度の触覚フィードバックを与えるために、デバイスの表面は、少なくとも指がそれに接触するところで、圧縮性材料で作られ得る。また、これにより、デバイスが落とされた場合にデバイスを保護する。デバイスはまた、他のやり方でフィードバックを与えるように装備され得る。たとえば、インターフェース表面は、リフレッシュ可能な点字ディスプレイ(refreshable Braille display)の様式で、又は、接触パッチを瞬間的に暖めることによって、触覚フィードバックを与えるように装備され得る。
図5及び図6は、本発明の実施例を示し、それらにおいて、ユーザ・インターフェースがスタンドアロン・デバイスと一体化され、ユーザ・インターフェースはスタンドアロン・デバイスを操作する働きをする。GPS及びスマートフォンは、この種類の一般的な実例である。他のデバイスのアクセサリ(周辺機器)としての代替実施例も、本発明の範囲内にある。図4中の遠隔制御が適例である。そのようなデバイスの機能は、通常、別のデバイスを制御することに制限される。図7は、アクセサリ・デバイスとしての本発明のまた別の実施例を示す。それは、本発明のインターフェースを組み込んだケーシング又はシェルの形態の周辺電子デバイス500であり、その中に、周辺電子デバイス500が制御する第2のデバイスが挿入され得る。シェル中に挿入されるデバイスが周辺入力デバイスを受け付け、そのオペレーティング・システムが周辺入力デバイスからの信号を処理することができるとすれば、この実施例は、本発明のインターフェースの機能を既存のデバイスに追加することが可能である。ケーシング又はシェルからの信号は、物理接続、たとえば、図7中のコネクタ502、或いは、ワイヤレス・リンク、たとえばBluetooth(登録商標)、赤外光(又はその両方)を通して、ケーシング又はシェルが囲むデバイスに送信され得る。
利点
本発明の利点は、限定はしないが、以下を含む。
本発明は、異なる種類のハンドヘルド電子デバイスの手中での操作のために設計された革新的触覚ユーザ・インターフェースである。それは、特に、ユーザが完全に自然な様式で(デバイスを保持する手の)5本の指すべてを用いてそのようなデバイスを操作することを可能にすることによって、そのようなデバイスの人間工学を改善する。それは、様々なタイプ、形状及びサイズの広範囲のハンドヘルド電子デバイスにわたる操作上の様式の標準化をも可能にする。同時に、本発明を具現する電子デバイスは、従来のインターフェース設計に固有のいくつかの操作上の問題、たとえばファット・フィンガー問題を克服する。
ユーザは、本発明の触覚ユーザ・インターフェースを装備したハンドヘルド電子デバイスをユーザが手中で自然に保持するやり方で、そのようなデバイスを操作する。インターフェース設計は、親指を用いて従来のインターフェースを操作するために必要とされることがあるものなど、不自然な指の動きを意図的に控える。ユーザが行うことを必要とされるすべての動きは、手、特に指の微細運動技能に従う。指は、ねじれ、すなわち、指の自然な運動能力の限界における動きを行う必要はない。
本発明のインターフェースは、フルサイズのインターフェースである。それは、スケールダウンされた要素を操作することを伴わない。接触パッチのサイズ及びピッチ(並びにそれらのロケーション)は、ユーザの手によって決定され、それは各ユーザについてのものである。それらは、(使用のために)自然な様式でデバイスを保持するときに個々のユーザの指がデバイスに接触するところの直接的関数である。ぎっしり詰め込まれた小型キーボード及びキーパッド上のキーのような、低減されたサイズのターゲットをたたくこと(pecking)はない。
本発明のインターフェースは、デバイスと対話するための唯一ではないにしても主要な道具としての親指に依拠するインターフェースよりも大きい操作効率を可能にする。これは、本発明が、すべての指、特に、手の4本の最も器用な指を用いてデバイスを操作するからであり、従来のインターフェース設計により、手の4本の最も器用な指は、デバイスを保持することを余儀なくされる。その上、本発明のインターフェースは、指の運動能力に負担を課すことなしに、適切な様式で、すべての指、特に親指を利用する。
本発明のインターフェースは、操作されるデバイスのサイズにかかわらずユーザが同じサインを行うという点で、スケーラブルである。これは、個々のユーザの手のためにインターフェースをスケーリングするか又はさもなければ構成するか、或いは、個々のユーザの手にインターフェースを適合させるためのアドホックな機構の必要をなくす。ユーザが、本発明を具現するデバイスを握手のような把持で保持することができる限り、どんなユーザも、デバイスをそのままで操作することができる。これは、多くの従来の触覚インターフェースが、それらの制御をユーザの親指が触れる範囲内に持ってくるために必要とし、且つ、そのようなデバイスのサイズ、そのようなデバイスを製造し、サポートする複雑さ、及びコストを増やす、追加の構成要素を不要にする。
本発明のインターフェースは、いずれかの手を用いて変更なしに使用され得る。ユーザの利き手のためにインターフェースを再構成する必要はなく、これは、デバイスを製造する複雑さ及びコストを低減する。
本発明は、デバイスの形状に高度に依存しないので、多種多様な形状のデバイスに対してそのままで展開され得る。ユーザが本発明のインターフェースを装備したデバイスを快適に把持することができる限り、ユーザの指は、その事実によって、デバイスを操作するための適切な位置にある。本発明のインターフェースは、ユーザの指が接しなければならない固定ロケーションにマークがある構造化されたレイアウトによって制約されない。ユーザの手がデバイスにタッチするところは、ユーザの手がインターフェースを機能させるところである。範囲外にあるか、親指のような短くて太い不器用なポインタを用いて確実に打つには小さすぎるか、又は視覚障害のあるユーザには見えない制御の問題は、起こらない。
ユーザは、インターフェースと対話するためにそれを見るか又はそれに注目している必要はない。これは、暗闇でデバイスを操作するとき、或いは別のデバイスを操作するために遠隔制御を使用するとき、又は車を運転するときのように、ユーザの注意が他の場所にあるとき、利点であり得る。視覚障害者の場合、それは、感触によって識別することができない固定された制御に勝る決定的な利点である。
本発明の方法を用いたタイピングは、標準ITU E.161キーパッドと比較して簡単である。あらゆる文字は2つのキーストロークを要し、これは、キーパッド上の文字ごとのキーストロークの平均数よりもわずかに少ない。これは、ユーザが、一定のリズムにおいてタイプすることを可能にし、これは速度を促進する。キーパッドでは、文字ごとのキーストロークの数は(1つから4つの間で)変動し、キーストロークのフローはシンコペート(syncopate)される。さらに、同じ文字を連続して2回タイプするために、ユーザは、すでにシンコペートされているリズムを中断しなければならないが、ただし、これは特定の文字シーケンスについてのみである。連続する2つのスペースについて、実例を挙げると、ユーザは、単に、休止することなしに2回スペース・キーを打つ。2つのTについてはそうではない。休止することなしに連続して2つのTをタイプすると、Uが生成される。これは、UがTと同じキー上にあるからである。Uは2つのキーストロークを必要とし、Tは1つのキーストロークを必要とする。(Tが登録されるために)休止することなしに2回キーを押下すると、Uが生成される。これらの不規則な状態は、流れるようなタイピングにとっての障害であり、すでに複雑なシステムに複雑さを追加する。ユーザはキーパッドをそのままでマスターすることが可能であるので、ユーザが、本発明が表すより簡単なシステムを学習することが可能であると考えることは、妥当である。
本発明のインターフェースを使用するとき、ユーザは、プロセスの明確な制御と、ディスプレイの完全で妨害されていないビューとを有する。指はインターフェースと対話しない。ポイントスキャンすること、すなわち、2つのクロスヘアをあるポイント上で交差するようにすることは、ユーザが正確にピンポイント・ターゲットを打つことを可能にする。ピンポイント・ターゲットにカーソルをポイントすることも、同様である。これは、親指(又はポインタとして使用される他の指)の指パッドがターゲットと比較して不相応に大きく、親指の指パッドがターゲットを隠し、ターゲットを確実に打つことを不可能にする従来のインターフェースでは可能でなく、これは、ファット・フィンガー問題として知られる現象である。
本発明のインターフェースは、標準構成にある6つの接触パッチを備える接触にのみ応答するように構成され得る。このようにして、デバイスは、たとえば財布又はポケット中でそれを持ち歩くとき、偶発的接触によって非意図的にトリガされることに対して実際上はセキュアにされ得る。タッチ・スクリーン・インターフェースをもつハンドヘルド・デバイスは、特にこれを受けやすく、運搬のためにセキュアにされなければならない。
圧縮性外側層をもつ本発明の実施例は、従来のデバイスには存在しない、ある程度の触覚フィードバックを与える。さらに、クッション性のあるハウジングが、落とされることによる損傷からデバイスを保護する。
大事なことを言い忘れていたが、本発明のインターフェースは、インターフェース概念に関するパラダイム・シフトを反映し、それは、従来の設計のインターフェースと組み合わせて展開され得る。ハイブリッド様式でデバイスを操作する可能性は、従来の設計のインターフェースから本発明のインターフェースへの移行を容易にし得る。
1つの広義の実施例では、本発明は、デバイスの中でも、スマートフォン、従来の携帯電話、ページャ、計算器、ハンドヘルドVRコントローラ、(ステアリング・ホイールに統合された遠隔制御など、本発明が可能にする新しい種類を含む)遠隔制御、GPSナビゲーション・デバイス、及びハンドヘルド・キーパッドに適用可能である。
本発明の上記の説明は、当業者が、それの最良の形態であると現在見なされるものを製作及び使用することを可能にし、当業者は、本明細書の特定の実施例、方法、及び実例の変形形態、組合せ、及び等価物の存在を理解し、諒解する。したがって、本発明は、上記で説明された実施例、方法及び実例によって限定されるべきではなく、本発明の範囲及び趣旨内のすべての実施例及び方法によって限定されるべきである。

Claims (23)

  1. 電子デバイスのためのユーザ・インターフェースであって、
    外表面と、
    前記外表面上の1つ又は複数の連続センサー領域であって、
    複数の接触パッチを検出するために前記センサー領域をカバーする一様に分布されたセンサーで構成され、前記接触パッチの各々は、手の指又は親指の付け根のいずれかによって行われたものであり、前記接触パッチは(1)ロケーションが固定されておらず、(2)指又は親指の付け根が実際に接触している間のみ存在し、(3)少なくとも1つの弁別可能な特徴に関連しており、
    前記接触パッチは、6つの接触パッチの標準構成に対応し、該標準構成の中の各々の接触パッチは、ユーザが使用するために握手のような把持で前記電子デバイスを保持している際の手の指又は親指の付け根が前記インターフェースの外表面に自然に接触することにより決定された互いに関連する位置に配置される、前記1つ又は複数の連続センサー領域と、
    前記1つ又は複数のセンサーに接続されたプロセッサであって、
    (1)前記ユーザが前記電子デバイスを実際に把持するのとは独立した他の同時に起こった接触パッチに対する特定の接触パッチの相対ロケーションに基づいて前記特定の接触パッチを識別し、
    (2)前記手が行う他の同時に起こった接触パッチに対する特定の接触パッチの前記相対ロケーションを、球面座標系又は該球面座標系以外の任意の座標系における、前記電子デバイス上の中心下部原点又は任意の位置に設けられた原点からの前記接触パッチの重心の方位角θ及び前記接触パッチの重心の極角φを比較することによって決定し
    (3)複数の前記同時に起こった接触パッチの組み合わせられた弁別的特徴からなるサインを識別すること、及び前記サインを、電子デバイスを制御するか又はデータを入力するための信号と関連付けることによって、並びに前記信号を前記デバイスに送信することによって、前記電子デバイスを制御するように構成された、前記プロセッサと、
    を備えた前記ユーザ・インターフェース。
  2. 前記プロセッサが6つの接触パッチの標準構成を認識しない限り、前記プロセッサによる前記電子デバイスの制御が始動されない、請求項1に記載のユーザ・インターフェース。
  3. 接触パッチの前記弁別的特徴が、動きを行う指によって決定され、
    前記指による前記動きが、押下すること、位置を変化させること、及び/又は接触を断つことなどを含む基本的動きを備え、
    前記基本的動きのタイミング、強度、速度、及び/又は方向が変動させられ得、
    前記基本的動きが、複合的動きを生じるように組み合わせられるか、又はさもなければ構造化され得る、請求項1又は2に記載のユーザ・インターフェース。
  4. 1つ又は複数の連続センサー領域内の各接触パッチの絶対ロケーションは、前記ユーザの手の形態、手のサイズ、及び利き手、並びに、前記ユーザが前記ユーザ・インターフェースを保持するやり方の変動/不整合に応じて、また、前記ユーザが前記デバイスを操作するために行う意図的な指の動きの結果として、変動し、
    互いに対する前記接触パッチの相対ロケーションが一定である、請求項1から3のいずれか一項に記載のユーザ・インターフェース。
  5. 前記プロセッサは、手の5本の指すべて及び前記親指の前記付け根が1つ又は複数の連続センサー領域と接触していること、並びに、前記接触パッチが標準構成にあることを前記プロセッサが検出しない限り、サインを無視するように構成された、請求項1から4のいずれか一項に記載のユーザ・インターフェース。
  6. 接触パッチの前記弁別的特徴が、ユーザ・インターフェース表面にタッチする指及び/又は親指の付け根によって決定される、請求項1から5のいずれか一項に記載のユーザ・インターフェース。
  7. 請求項1から6のいずれか一項に記載のユーザ・インターフェースであって、
    前記外表面上の1つ又は複数の連続領域は、1本又は複数の指によって又は親指の付け根によって行われた接触パッチに触覚フィードバックを与えるように1つ又は複数のトランスデューサで構成される、ユーザ・インターフェース。
  8. 前記触覚フィードバックは、リフレッシュ可能な点字ディスプレイの様式で与えられる、請求項7に記載のユーザ・インターフェース。
  9. 握手のような把持でデバイスを保持する際の任意の人間の手の指又は親指の付け根に基づいて前記同時に起こった接触パッチの各々をラベリングし、ラベリングされる接触パッチは同じ相対方位角θ及び同じ相対極角φのうちの少なくとも1つを有する、請求項1から8のいずれか一項に記載のユーザ・インターフェース。
  10. 周辺電子デバイスであって、前記周辺デバイスの一体部分として請求項1からのいずれか一項に記載のユーザ・インターフェースを装備しており、前記周辺デバイスの機能が、別個のデバイスを制御することを含む、周辺電子デバイス。
  11. 前記1つ又は複数の連続センサー領域のうちの少なくとも1つが、前記周辺電子デバイスの側面又は背面上にある、請求項10に記載の周辺電子デバイス。
  12. 他のデバイスを受け、及び/又はそれにアタッチするために構成された、請求項10に記載の周辺電子デバイス。
  13. 前記周辺電子デバイスがケーシングとして構成された、請求項12に記載の周辺電子デバイス。
  14. 前記周辺電子デバイスがワイヤレス技術によって被制御デバイスと通信する、請求項10に記載の周辺電子デバイス。
  15. 前記周辺電子デバイスが物理接続によって前記被制御デバイスと通信する、請求項10に記載の周辺電子デバイス。
  16. 他のデバイス上にスナップ嵌合するように構成されたハンドヘルド・ケーシングを形成する、請求項13に記載の周辺電子デバイス。
  17. 他のデバイスにフレキシブルに合うように構成されたハンドヘルド・ケーシングを形成する、請求項13に記載の周辺電子デバイス。
  18. スタンドアロン・ハンドヘルド電子デバイスであって、前記デバイスの一体部分として請求項1からのいずれか一項に記載のユーザ・インターフェースを装備した、スタンドアロン・ハンドヘルド電子デバイス。
  19. 前記ユーザ・インターフェースの前記1つ又は複数の連続センサー領域のうちの少なくとも1つが、前記電子デバイスの側面又は背面上にある、請求項18に記載のスタンドアロン・ハンドヘルド電子デバイス。
  20. スタンドアロン・ハンドヘルド電子コンピューティング・デバイスであって、前記デバイスの一体部分として請求項1からのいずれか一項に記載のユーザ・インターフェースを装備した、スタンドアロン・ハンドヘルド電子コンピューティング・デバイス。
  21. スタンドアロン・ハンドヘルド電子通信デバイスであって、前記デバイスの一体部分として請求項1からのいずれか一項に記載のユーザ・インターフェースを装備した、スタンドアロン・ハンドヘルド電子通信デバイス。
  22. 前記スタンドアロン・ハンドヘルド電子通信デバイスは、ワイヤレスの通信デバイスである、請求項21に記載のスタンドアロン・ハンドヘルド電子通信デバイス。
  23. 電子遠隔制御デバイスであって、前記遠隔制御デバイスの一体部分として請求項1からのいずれか一項に記載のユーザ・インターフェースを装備しており、前記遠隔制御デバイスの機能が、別個のデバイスを制御することを含む、電子遠隔制御デバイス。
JP2018567629A 2016-06-20 2017-06-20 ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース Active JP6740389B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662352070P 2016-06-20 2016-06-20
US62/352,070 2016-06-20
PCT/IB2017/053649 WO2017221141A1 (en) 2016-06-20 2017-06-20 Accommodative user interface for handheld electronic devices

Publications (2)

Publication Number Publication Date
JP2019522855A JP2019522855A (ja) 2019-08-15
JP6740389B2 true JP6740389B2 (ja) 2020-08-12

Family

ID=59258289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018567629A Active JP6740389B2 (ja) 2016-06-20 2017-06-20 ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース

Country Status (4)

Country Link
US (2) US11360662B2 (ja)
EP (1) EP3472689B1 (ja)
JP (1) JP6740389B2 (ja)
WO (1) WO2017221141A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221141A1 (en) 2016-06-20 2017-12-28 Helke Michael Accommodative user interface for handheld electronic devices
CN111867478B (zh) * 2018-02-16 2024-10-11 皇家飞利浦有限公司 手持式医学超声成像设备中的人体工程学显示和激活
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
KR20220002310A (ko) * 2019-03-24 2022-01-06 샌딥 쿠마르 라야파티 사용자 인터페이스 시스템, 방법 및 장치
US11307738B2 (en) 2019-10-08 2022-04-19 Visa International Service Association Method and system for navigating through an application in a user device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US8988359B2 (en) 2007-06-19 2015-03-24 Nokia Corporation Moving buttons
US20090166098A1 (en) * 2007-12-31 2009-07-02 Apple Inc. Non-visual control of multi-touch device
KR20100006219A (ko) * 2008-07-09 2010-01-19 삼성전자주식회사 사용자 인터페이스 방법 및 장치
EP3654141A1 (en) * 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
US8368658B2 (en) * 2008-12-02 2013-02-05 At&T Mobility Ii Llc Automatic soft key adaptation with left-right hand edge sensing
US8432368B2 (en) * 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
US9310905B2 (en) * 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9285840B2 (en) * 2010-08-19 2016-03-15 Michael S. Stamer Detachable sensory-interface device for a wireless personal communication device and method
US20120052929A1 (en) * 2010-08-31 2012-03-01 Khamvong Thammasouk Interactive phone case
JP5453351B2 (ja) * 2011-06-24 2014-03-26 株式会社Nttドコモ 移動情報端末、操作状態判定方法、プログラム
US9541993B2 (en) * 2011-12-30 2017-01-10 Intel Corporation Mobile device operation using grip intensity
US9176602B2 (en) * 2013-06-11 2015-11-03 Thomson Licensing Spherical remote control
EP2816442B1 (en) 2013-06-20 2019-07-31 Samsung Electronics Co., Ltd Electronic device and method of controlling electronic device using grip sensing
WO2015096020A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Adaptive enclosure for a mobile computing device
US20150205400A1 (en) * 2014-01-21 2015-07-23 Microsoft Corporation Grip Detection
US9740839B2 (en) * 2014-08-13 2017-08-22 Google Technology Holdings LLC Computing device chording authentication and control
US10345967B2 (en) * 2014-09-17 2019-07-09 Red Hat, Inc. User interface for a device
US9681765B2 (en) * 2014-09-30 2017-06-20 Pamela Ann Cignarella Interactive children's table dishes
EP3265895B1 (en) * 2015-03-01 2020-04-08 Tactical Haptics Embedded grasp sensing devices, systems, and methods
US20160378251A1 (en) * 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Selective pointer offset for touch-sensitive display device
WO2017221141A1 (en) 2016-06-20 2017-12-28 Helke Michael Accommodative user interface for handheld electronic devices

Also Published As

Publication number Publication date
WO2017221141A1 (en) 2017-12-28
US11360662B2 (en) 2022-06-14
EP3472689A1 (en) 2019-04-24
US20220253209A1 (en) 2022-08-11
US20200133474A1 (en) 2020-04-30
EP3472689B1 (en) 2022-09-28
JP2019522855A (ja) 2019-08-15

Similar Documents

Publication Publication Date Title
US9122318B2 (en) Methods of and systems for reducing keyboard data entry errors
US7519748B2 (en) Stroke-based data entry device, system, and method
US20220253209A1 (en) Accommodative user interface for handheld electronic devices
US8799803B2 (en) Configurable input device
US7170496B2 (en) Zero-front-footprint compact input system
EP1183590B1 (en) Communication system and method
US8125440B2 (en) Method and device for controlling and inputting data
AU2007309911B2 (en) Input device
US6963332B1 (en) Letter input method and device using the same
US20040263479A1 (en) Active keyboard system for handheld electronic devices
EP1933225A2 (en) Using sequential taps to enter text
KR20130088752A (ko) 다방향 버튼, 키 및 키보드
EP1584014A2 (en) Data input by first selecting one of four options then selecting one of eight directions to determine an input-character
US7414614B2 (en) User interface
US20100207887A1 (en) One-handed computer interface device
JP2023535212A (ja) 不感帯を有する適応可能なタッチ画面のキーパッド
US20100164876A1 (en) Data input device
KR20040017174A (ko) 메뉴선택 및 문자입력이 용이한 모바일 전자기기

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200722

R150 Certificate of patent or registration of utility model

Ref document number: 6740389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250