[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2010515980A - タッチスクリーンディスプレイ上での指ジェスチャーを解釈するためのポータブルマルチファンクション装置、方法及びグラフィックユーザインターフェイス - Google Patents

タッチスクリーンディスプレイ上での指ジェスチャーを解釈するためのポータブルマルチファンクション装置、方法及びグラフィックユーザインターフェイス Download PDF

Info

Publication number
JP2010515980A
JP2010515980A JP2009545010A JP2009545010A JP2010515980A JP 2010515980 A JP2010515980 A JP 2010515980A JP 2009545010 A JP2009545010 A JP 2009545010A JP 2009545010 A JP2009545010 A JP 2009545010A JP 2010515980 A JP2010515980 A JP 2010515980A
Authority
JP
Japan
Prior art keywords
user interface
finger
interface object
event
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009545010A
Other languages
English (en)
Other versions
JP5335690B2 (ja
Inventor
ケニス コシェンダ
スコット フォストール
グレゴリー ノヴィック
バス オルディング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2010515980A publication Critical patent/JP2010515980A/ja
Application granted granted Critical
Publication of JP5335690B2 publication Critical patent/JP5335690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】タッチスクリーンディスプレイ上の複数のアイコン付近で指ジェスチャーが生じたときにその指ジェスチャーに関連したオペレーションを独特に決定することのできるポータブル装置を提供する。
【解決手段】タッチスクリーンディスプレイ(112)を有するポータブル電子装置(100)は、タッチスクリーンディスプレイ(112)上の第1位置(5805)において第1のフィンガーダウンイベントを検出する。第1位置(5805)は、第1及び第2のユーザインターフェイスオブジェクト(5806,5802)に隣接している。ポータブル装置(100)は、タッチスクリーンディスプレイ(112)上の第2位置(5808,5812,5809,5817,5807)において第2のフィンガーイベントを検出する。第2のフィンガーイベントは、フィンガードラグイベント又はフィンガーアップイベントである。ポータブル装置(100)は、第2のフィンガーイベントの形式と、第1位置(5805)と第2位置(5808,5812,5809,5817,5807)との間の距離とを決定する。ポータブル装置(100)は、その距離が規定スレッシュホールドより大きい場合に第1のユーザインターフェイスオブジェクト(5806)に関連した第1アクションを遂行し、そしてその距離が規定スレッシュホールド以下であり且つ第2のフィンガーイベントがフィンガーアップイベントである場合に、第2のユーザインターフェイスオブジェクト(5802)に関連した第2アクションを遂行する。
【選択図】図1A

Description

本発明は、一般的に、ポータブル電子装置に係り、より詳細には、タッチスクリーンディスプレイ上の複数のアイコン付近で指ジェスチャーが生じたときにその指ジェスチャーに関連したオペレーションを独特に決定することのできるポータブル装置に係る。
ポータブル電子装置がよりコンパクトになり、所与の装置で遂行されるファンクションの数が増加するにつれて、ユーザがマルチファンクション装置と容易に対話できるようにするユーザインターフェイスを設計することが意義深い挑戦となっている。この挑戦は、デスクトップ及びラップトップコンピュータより非常に小さなスクリーンを有するハンドヘルドポータブル装置にとって特に意義深いものである。この状況は不利なものである。何故ならば、ユーザインターフェイスは、ユーザがコンテンツを受け取るだけでなく、装置の特徴、ツール及びファンクションにアクセスするユーザの試みを含むユーザのアクション又は振舞いに対する応答も受け取るゲートウェイだからである。あるポータブル通信装置(例えば、モバイルホン、セルホン、セルラー電話、等とも時々称される移動電話)は、ユーザがデータにアクセスし、それを記憶し、又、操作できるようにするため、より多くのプッシュボタンを追加し、プッシュボタンの密度を高め、プッシュボタンのファンクションを過負荷状態にし、又は複雑なメニューシステムを使用することに頼っている。これらの従来のユーザインターフェイスは、ユーザが覚えねばならない複雑なキーシーケンス及びメニューハイアラーキーをしばしば招く。
又、物理的なプッシュボタンを含むような従来の多数のユーザインターフェイスは、融通性もない。これは、ユーザインターフェイスがポータブル装置で実行されるアプリケーション又はユーザにより構成及び/又は適応されるのを妨げることがあるので、適切でない。多数のキーシーケンス及びメニューハイアラーキーを覚えるための時間のかかる要求や、希望のプッシュボタンを操作する困難さと結び付いたときには、このような融通性のなさがほとんどのユーザにとってフラストレーションとなる。
キー及びボタンのようなバーチャルアイコンを含むタッチスクリーンを伴うポータブル装置は、構成に融通性があり且つユーザに馴染み易いが、タッチスクリーンディスプレイ上の小さなエリア内の複数のバーチャルアイコン付近で指ジェスチャーが行われた場合には、指ジェスチャー及びアクションに関連したバーチャルアイコンを適切に識別できないことがしばしばある。これは、2つ以上のバーチャルアイコンが重畳ヒット領域(表示されたアイコンから外方に又はその周囲に延びることがある)を有し且つ指ジェスチャーがその重畳領域に少なくとも部分的に入る場合には、特にそうである。
従って、タッチスクリーンディスプレイ上の2つ以上のバーチャルアイコンにより共有された重畳ヒット領域に指ジェスチャーが入る場合にその指ジェスチャーに関連したアイコンを独特に決定するためのポータブルマルチファンクション装置が要望される。
ポータブル装置のためのユーザインターフェイスに関連した前記欠点及び他の問題は、ここに開示するマルチファンクション装置により軽減され又は排除される。ある実施形態では、装置は、グラフィックユーザインターフェイス(GUI)を伴うタッチ感知ディスプレイ(「タッチスクリーン」としても知られている)と、1つ以上のプロセッサと、メモリと、多数のファンクションを遂行するためにメモリに記憶された1つ以上のモジュール、プログラム又はインストラクションセットとを有する。ある実施形態では、ユーザは、タッチ感知ディスプレイ上で主として指接触及びジェスチャーを通してGUIと対話する。ある実施形態では、ファンクションは、電話通話、ビデオ会議、e−メール、インスタントメッセージング、ブログ、デジタル写真、デジタルビデオ、ウェブブラウジング、デジタル音楽の再生、及び/又はデジタルビデオの再生を含んでもよい。これらのファンクションを遂行するためのインストラクションは、1つ以上のプロセッサで実行するように構成された他のコンピュータプログラム製品に含まれてもよい。
本発明の1つの態様は、タッチスクリーンディスプレイを伴うポータブルマルチファンクション装置により遂行されるコンピュータ実施方法に関する。タッチスクリーンディスプレイの第1位置でのフィンガーダウンイベント及びタッチスクリーンディスプレイの第2位置でのフィンガーアップイベントを検出した後に、装置は、第1位置と第2位置との間の距離を決定する。この距離が第1の規定スレッシュホールド以下である場合には、装置は、タッチスクリーンディスプレイに表示される第1のユーザインターフェイスオブジェクトに対する第1アクションを遂行する。この距離が第2の規定スレッシュホールドより大きい場合には、装置は、第1のユーザインターフェイスオブジェクトとは異なる、タッチスクリーンディスプレイ上に表示される第2のユーザインターフェイスオブジェクトに対する第2アクションを遂行する。
本発明の別の態様は、タッチスクリーンディスプレイを伴うポータブルマルチファンクション装置により遂行されるコンピュータ実施方法に関する。タッチスクリーンディスプレイの第1位置でのフィンガーダウンイベント及びタッチスクリーンディスプレイの第2位置でのフィンガーアップイベントを検出した後に、装置は、第1位置と第2位置との間の距離を決定し、タッチスクリーンディスプレイ上にどちらも表示されるボタン制御ユーザインターフェイスオブジェクト及びスライド制御ユーザインターフェイスオブジェクトを識別し、これら両ユーザインターフェイスオブジェクトは、第1位置に関連したものである。例えば、第1位置は、2つのオブジェクトのヒット領域により共有される重畳する「隠れたヒット領域」内にある。スライド制御ユーザインターフェイスオブジェクトは、スライドバー及びスライドオブジェクトを含む。距離が第1の規定スレッシュホールド以下である場合には、装置は、ボタン制御ユーザインターフェイスオブジェクトをアクチベートする。距離が第2の規定スレッシュホールドより大きい場合には、装置は、第1位置と第2位置との間の距離に基づいてスライドオブジェクトをスライドバーに沿って移動する。
本発明の別の態様は、タッチスクリーンディスプレイを伴うポータブル電子装置のグラフィックユーザインターフェイスに関する。このグラフィックユーザインターフェイスは、タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトを含む。タッチスクリーンディスプレイの第1位置でのフィンガーダウンイベント及び第2位置でのフィンガーアップイベントを検出した後、装置は、第1位置と第2位置との間の距離を決定する。この距離が第1の規定スレッシュホールド以下である場合には、装置は、第1のユーザインターフェイスオブジェクトに対する第1アクションを遂行する。この距離が第2の規定スレッシュホールドより大きい場合には、装置は、第1のユーザインターフェイスオブジェクトとは異なる第2のユーザインターフェイスオブジェクトに対する第2アクションを遂行する。ある実施形態では、2つのユーザインターフェイスオブジェクトは、それらユーザインターフェイスオブジェクトを取り巻く「隠れたヒット領域」を含むヒット領域を有する。この隠れたヒット領域は、隠れた重畳ヒット領域を共有して重畳してもよい。上述した第1位置が、タッチスクリーンディスプレイ上の重畳ヒット領域内に入る場合には、それに応答して装置により遂行されるアクションは、第1位置と第2位置との間の距離に基づく。
本発明の別の態様は、複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置に関する。この装置は、1つ以上のプロセッサと、メモリと、このメモリに記憶され且つ1つ以上のプロセッサにより実行されるよう構成された1つ以上のプログラムを含む。1つ以上のプログラムは、タッチスクリーンディスプレイ上の第1位置でフィンガーダウンイベントを検出するためのインストラクションと、タッチスクリーンディスプレイ上の第2位置でフィンガーアップイベントを検出するためのインストラクションと、第1位置と第2位置との間の距離を決定するためのインストラクションと、この距離が第1の規定スレッシュホールド以下である場合には、タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクトに対する第1アクションを遂行するためのインストラクションと、この距離が第2の規定スレッシュホールドより大きい場合には、タッチスクリーンディスプレイに表示される第2のユーザインターフェイスオブジェクトに対する第2アクションを遂行するためのインストラクションと、を含み、第2のユーザインターフェイスオブジェクトは、第1のユーザインターフェイスオブジェクトとは個別のものである。
本発明の別の態様は、複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置で実行されたときに、この装置が、タッチスクリーンディスプレイ上の第1位置でフィンガーダウンイベントを検出し、タッチスクリーンディスプレイ上の第2位置でフィンガーアップイベントを検出し、第1位置と第2位置との間の距離を決定し、この距離が第1の規定スレッシュホールド以下である場合には、タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクトに対する第1アクションを遂行し、そしてこの距離が第2の規定スレッシュホールドより大きい場合には、タッチスクリーンディスプレイに表示される第2のユーザインターフェイスオブジェクトに対する第2アクションを遂行するようにさせるインストラクションであって、第2のユーザインターフェイスオブジェクトが第1のユーザインターフェイスオブジェクトとは個別のものであるインストラクションが記憶されたコンピュータ読み取り可能な記憶媒体に関する。
本発明の別の態様は、複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置に関する。この装置は、タッチスクリーンディスプレイ上の第1位置でフィンガーダウンイベントを検出するための手段と、タッチスクリーンディスプレイ上の第2位置でフィンガーアップイベントを検出するための手段と、第1位置と第2位置との間の距離を決定するための手段と、この距離が第1の規定スレッシュホールド以下である場合には、タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクトに対する第1アクションを遂行するための手段と、この距離が第2の規定スレッシュホールドより大きい場合には、タッチスクリーンディスプレイに表示される第2のユーザインターフェイスオブジェクトに対する第2アクションを遂行するための手段と、を備え、第2のユーザインターフェイスオブジェクトは、第1のユーザインターフェイスオブジェクトとは個別のものである。
本発明の別の態様は、複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイを有するポータブル電子装置により遂行されるコンピュータ実施方法に関する。ポータブル装置は、タッチスクリーンディスプレイ上の第1位置で第1のフィンガーダウンイベントを検出する。第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接している。第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なる。ポータブル装置は、タッチスクリーンディスプレイ上の第2位置で第2のフィンガーイベントを検出する。この第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものである。ポータブル装置は、第2のフィンガーイベントの形式を決定し、そして第1位置と第2位置との間の距離を決定する。ポータブル装置は、この距離が規定のスレッシュホールドより大きい場合には第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行する。ポータブル装置は、その距離が規定のスレッシュホールド以下であり且つ第2のフィンガーイベントがフィンガーアップイベントである場合には、第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行する。
本発明の別の態様は、タッチスクリーンディスプレイを伴うポータブル電子装置のグラフィックユーザインターフェイスに関する。このグラフィックユーザインターフェイスは、タッチスクリーンディスプレイに表示される第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトを含む複数のユーザインターフェイスオブジェクトを備えている。第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なる。タッチスクリーンディスプレイの第1位置であって第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接する第1位置において第1のフィンガーダウンイベントを検出し、且つフィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものである第2のフィンガーイベントをタッチスクリーンディスプレイの第2位置において検出するのに応答して、第2のフィンガーイベントの形式、及び第1位置と第2位置との間の距離が決定される。この距離が規定スレッシュホールドより大きい場合には、第1のユーザインターフェイスオブジェクトに関連した第1アクションが遂行される。その距離が規定スレッシュホールド以下であり且つ第2のフィンガーイベントがフィンガーアップイベントである場合には、第2のユーザインターフェイスオブジェクトに関連した第2アクションが遂行される。
本発明の別の態様は、複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置に関する。この装置は、1つ以上のプロセッサと、メモリと、このメモリに記憶され且つ1つ以上のプロセッサにより実行されるよう構成された1つ以上のプログラムを含む。1つ以上のプログラムは、タッチスクリーンディスプレイ上の第1位置で第1のフィンガーダウンイベントを検出するためのインストラクションを含む。第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接する。第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なる。又、1つ以上のプログラムは、タッチスクリーンディスプレイ上の第2位置で第2のフィンガーイベントを検出するためのインストラクションも含む。第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものである。又、1つ以上のプログラムは、第2のフィンガーイベントの形式、及び第1位置と第2位置との間の距離を決定するためのインストラクションと、この距離が規定スレッシュホールドより大きい場合には、第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行するためのインストラクションと、その距離が規定スレッシュホールド以下であり且つ第2のフィンガーイベントがフィンガーアップイベントである場合には、第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行するためのインストラクションと、を含む。
本発明の別の態様は、複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置で実行されたときに、この装置が、タッチスクリーンディスプレイ上の第1位置で第1のフィンガーダウンイベントを検出するようにさせるインストラクションが記憶されたコンピュータ読み取り可能な記憶媒体に関する。第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接する。第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なる。又、インストラクションは、装置が、タッチスクリーンディスプレイ上の第2位置で第2のフィンガーイベントを検出するようにもさせる。第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものである。又、インストラクションは、装置が、第2のフィンガーイベントの形式、及び第1位置と第2位置との間の距離を決定し、この距離が規定スレッシュホールドより大きい場合には、第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行し、そしてその距離が規定スレッシュホールド以下であり且つ第2のフィンガーイベントがフィンガーアップイベントである場合には、第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行するようにもさせる。
本発明の別の態様は、複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置に関する。この装置は、タッチスクリーンディスプレイ上の第1位置で第1のフィンガーダウンイベントを検出するための手段を備えている。第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接する。第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なる。又、装置は、タッチスクリーンディスプレイ上の第2位置で第2のフィンガーイベントを検出するための手段も備えている。第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものである。又、装置は、第2のフィンガーイベントの形式、及び第1位置と第2位置との間の距離を決定するための手段と、この距離が規定スレッシュホールドより大きい場合には、第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行するための手段と、その距離が規定スレッシュホールド以下であり且つ第2のフィンガーイベントがフィンガーアップイベントである場合には、第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行する手段も備えている。
本発明の上述した実施形態及びその付加的な実施形態を良く理解するために、全図面にわたり対応する部分を同じ参照番号で示した添付図面を参照して、実施形態を詳細に説明する。
ある実施形態に基づくタッチ感知ディスプレイを伴うポータブルマルチファンクション装置を示すブロック図である。 ある実施形態に基づくタッチ感知ディスプレイを伴うポータブルマルチファンクション装置を示すブロック図である。 ある実施形態に基づくタッチスクリーンを有するポータブルマルチファンクション装置を示す図である。 ある実施形態に基づきポータブル電子装置をアンロックするためのユーザインターフェイスを例示する図である。 ある実施形態に基づくポータブルマルチファンクション装置におけるアプリケーションのメニューのためのユーザインターフェイスを例示する図である。 ある実施形態に基づくポータブルマルチファンクション装置におけるアプリケーションのメニューのためのユーザインターフェイスを例示する図である。 ある実施形態に基づくボイスメールのためのユーザインターフェイスを例示する図である。 ある実施形態に基づき2つの隣接するユーザインターフェイスオブジェクト付近での指ジェスチャーに応答して規定のアクションを遂行するためのプロセスを示すフローチャートである。 ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。 ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。 ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。 ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。 ある実施形態に基づき2つの隣接するユーザインターフェイスオブジェクト付近での指ジェスチャーに応答して規定のアクションを遂行するためのプロセスを示すフローチャートである。 ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。 ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。 ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。
添付図面に示された実施形態を以下に詳細に説明する。以下の詳細な説明において、本発明を完全に理解するために多数の特定の細部について述べる。しかしながら、当業者であれば、本発明は、これらの特定の細部を伴わずに実施できることが明らかであろう。その他の点で、これら実施形態の観点を不必要に不明瞭にしないために、良く知られた方法、手順、コンポーネント、回路及びネットワークは、詳細に説明しない。
又、第1、第2、等の語は、ここでは種々の要素を記述するのに使用されるが、これらの要素は、これらの語によって限定されるべきではないことも理解されたい。これらの語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本発明の範囲から逸脱せずに、第1のジェスチャーは、第2のジェスチャーと称することもできるし、第2のジェスチャーは、第1のジェスチャーと称することもできる。
本発明の説明で使用される用語は、特定の実施形態を説明するためのものに過ぎず、本発明を限定するように意図されていない。本発明の説明及び特許請求の範囲で使用されるように、単数形態“a”、“an”及び“the”は、特に明確な指示のない限り、複数形態も含むことが意図される。又、ここで使用する“及び/又は(and/or)”は、1つ以上の列挙された関連アイテムの任意の及び全ての考えられる組合せを指し及び包含することも理解されたい。更に、“備える(comprises)”及び/又は“備えている(comprising)”という語は、本明細書で使用されるときには、述べられた特徴、整数、ステップ、オペレーション、エレメント、及び/又はコンポーネントの存在を特定するものであるが、1つ以上の他の特徴、整数、ステップ、オペレーション、エレメント、コンポーネント及び/又はそのグループの存在を除外するものではないことも理解されたい。
ポータブルマルチファンクション装置、このような装置のためのユーザインターフェイス、及びこのような装置を使用するための関連プロセスの実施形態について説明する。ある実施形態では、装置は、PDA及び/又は音楽プレーヤファンクションのような他のファンクションも含む移動電話のようなポータブル通信装置である。
ユーザインターフェイスは、タッチスクリーン、又はタッチスクリーン上に表示されるバーチャルクリックホイールに加えて、物理的なクリックホイールを含むことができる。クリックホイールとは、ホイールの角度変位又は装置のユーザによるホイールとの接触点に基づいて、ナビゲーションコマンドを与えることのできるユーザインターフェイス装置である。又、クリックホイールは、例えば、装置のユーザがホイールの少なくとも一部分又はホイールの中心を押し下げたときに、1つ以上のアイテムの選択に対応するユーザコマンドを与えるように使用することもできる。或いは又、タッチスクリーン面上のクリックホイール映像との接触を遮断すると、選択に対応するユーザコマンドを指示することができる。簡単化のために、以下の説明において、タッチスクリーンを含むポータブルマルチファンクション装置は、一実施形態として使用される。しかしながら、ユーザインターフェイス及びそれに関連するプロセスの幾つかは、物理的クリックホイール、物理的キーボード、マウス、及び/又はジョイスティックのような1つ以上の他の物理的ユーザインターフェイス装置を含む、パーソナルコンピュータ及びラップトップコンピュータのような他の装置にも適用できることを理解されたい。
この装置は、種々のアプリケーション、例えば、電話アプリケーション、ビデオ会議アプリケーション、e−メールアプリケーション、インスタントメッセージングアプリケーション、ブログアプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び/又はデジタルビデオプレーヤアプリケーションをサポートする。
装置において実行することのできる種々のアプリケーションは、少なくとも1つの共通の物理的ユーザインターフェイス装置、例えば、タッチスクリーンを使用することができる。タッチスクリーンの1つ以上のファンクション、及び装置に表示される対応する情報は、アプリケーションごとに及び/又は各アプリケーション内で調整し及び/又は変更することができる。このように、装置の共通の物理的アーキテクチャー(タッチスクリーンのような)は、直感的及び透過的なユーザインターフェイスで種々のアプリケーションをサポートすることができる。
ユーザインターフェイスは、1つ以上のソフトキーボード実施形態を含むことができる。ソフトキーボード実施形態は、参考として内容をここにそのまま援用する2006年7月24日に出願された“Keyboards For Portable Electronic Devices”と題する米国特許出願第11/459,606号、及び2006年7月24日に出願された“Touch Screen Keyboards For Portable Electronic Devices”と題する第11/459,615号に説明されたように、キーボードの表示アイコン上に標準(QWERTY)及び/又は非標準構成の記号を含むことができる。キーボード実施形態は、タイプライターの場合のような既存の物理的キーボードにおけるキーの数に対して減少された数のアイコン(又はソフトキー)を含むことができる。これは、ユーザがキーボードにおいて1つ以上のアイコン、ひいては、1つ以上の対応する記号を容易に選択できるようにする。キーボードの実施形態は、適応式とすることができる。例えば、表示されるアイコンは、1つ以上のアイコン及び/又は1つ以上の対応する記号を選択する等のユーザのアクションに基づいて変更することができる。ポータブル装置における1つ以上のアプリケーションは、共通の及び/又は異なるキーボード実施形態を使用することができる。従って、使用するキーボード実施形態は、少なくとも幾つかのアプリケーションに対して仕立てることができる。ある実施形態では、1つ以上のキーボード実施形態を各ユーザに対して仕立てることができる。例えば、1つ以上のキーボード実施形態を、各ユーザのワード使用履歴(辞書、スラング、個々の使用)に基づき各ユーザに対して仕立てることができる。キーボード実施形態の幾つかは、1つ以上のアイコン、従って、ソフトキーボード実施形態を使用するときには1つ以上の記号、を選択するときのユーザエラーの確率を減少するように調整できる。
ここで、装置の実施形態に注目を向ける。図1A及び1Bは、ある実施形態に基づくタッチ感知ディスプレイ112を伴うポータブルマルチファンクション装置100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」とも称され、又、タッチ感知ディスプレイシステムとしても知られ又はそのように称されることもある。この装置100は、メモリ102(1つ以上のコンピュータ読み取り可能な記憶媒体を含む)と、メモリコントローラ122と、1つ以上の処理ユニット(CPU)120と、周辺インターフェイス118と、RF回路108と、オーディオ回路110と、スピーカ111と、マイクロホン113と、入力/出力(I/O)サブシステム106と、他の入力又は制御装置116と、外部ポート124とを備えることができる。更に、装置100は、1つ以上の光学的センサ154を備えることもできる。これらのコンポーネントは、1つ以上の通信バス又は信号ライン103を経て通信することができる。
装置100は、ポータブルマルチファンクション装置100の一例に過ぎず、又、装置100は、図示された以上の又はそれ以下のコンポーネントを有してもよく、2つ以上のコンポーネントを組み合わせてもよく、或いは異なる構成又は配置のコンポーネントを有してもよい。図1A及び1Bに示す種々のコンポーネントは、1つ以上の信号処理及び/又は特定用途向け集積回路を含めて、ハードウェア、ソフトウェア、又はその両方の組合せで実施されてもよい。
メモリ102は、高速ランダムアクセスメモリを含み、又、不揮発性メモリ、例えば、1つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又は他の不揮発性ソリッドステートメモリ装置を含んでもよい。装置100の他のコンポーネント、例えば、CPU120及び周辺インターフェイス118によるメモリ102へのアクセスは、メモリコントローラ122によって制御することができる。
周辺インターフェイス118は、装置の入力及び出力周辺機器をCPU120及びメモリ102に結合する。1つ以上のプロセッサ120は、メモリ102に記憶された種々のソフトウェアプログラム及び/又はインストラクションセットを走らせ或いは実行して、装置100の種々のファンクションを遂行し、データを処理する。
ある実施形態では、周辺インターフェイス118、CPU120、及びメモリコントローラ122は、チップ104のような単一チップにおいて実施されてもよい。幾つかの他の実施形態では、それらは、個別のチップにおいて実施されてもよい。
RF(高周波)回路108は、電磁信号とも称されるRF信号を受信し送信する。RF回路108は、電気信号と電磁信号との間で変換を行い、電磁信号を経て通信ネットワーク及び他の通信装置と通信する。RF回路108は、これらのファンクションを遂行するための良く知られた回路を含むことができ、アンテナシステムや、RFトランシーバーや、1つ以上の増幅器や、チューナや、1つ以上の発振器や、デジタル信号プロセッサや、CODECチップセットや、加入者アイデンティティモジュール(SIM)カードや、メモリ、等を含むが、これらに限定されない。RF回路108は、ネットワーク、例えば、ワールドワイドウェブ(WWW)とも称されるインターネットや、イントラネット及び/又はワイヤレスネットワーク、例えば、セルラー電話ネットワーク、ワイヤレスローカルエリアネットワーク(LAN)及び/又はメトロポリタンエリアネットワーク(MAN)や、他の装置とワイヤレス通信により通信することができる。ワイヤレス通信は、複数の通信規格、プロトコル、及びテクノロジーのいずれかを使用することができ、これらは、グローバルシステム・フォー・モバイルコミュニケーション(GSM)や、エンハンストデータGSMエンビロンメント(EDGE)や、高速ダウンリンクパケットアクセス(HSDPA)や、ワイドバンドコード分割多重アクセス(W−CDMA)や、コード分割多重アクセス(CDMA)や、時分割多重アクセス(TDMA)や、ブルーツースや、ワイヤレスフィデリティ(Wi−Fi)(例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、及び/又はIEEE802.11n)や、ボイスオーバーインターネットプロトコル(VoIP)や、Wi−MAXや、e−メール用のプロトコル(例えば、インターネットメッセージアクセスプロトコル(IMAP)及び/又はポストオフィスプロトコル(POP))や、インスタントメッセージング(例えば、拡張可能なメッセージング及び存在プロトコル(XMPP)、セッションイニシエーションプロトコル・フォー・インスタントメッセージング・アンド・プレゼンスレバレッジエクステンション(SIMPLE)、及び/又はインスタントメッセージング・アンド・プレゼンスサービス(IMPS))や、及び/又はショートメッセージサービス(SMS))や、或いは本願の出願日にはまだ開発されていない通信プロトコルを含む他の適当な通信プロトコルを含むが、これらに限定されない。
オーディオ回路110、スピーカ111及びマイクロホン113は、ユーザと装置100との間のオーディオインターフェイスをなす。オーディオ回路110は、周辺インターフェイス118からオーディオデータを受け取り、そのオーディオデータを電気信号に変換し、そしてその電気信号をスピーカ111へ送出する。スピーカ111は、電気信号を人間が聞き取れる音波へ変換する。又、オーディオ回路110は、音波からマイクロホン113により変換された電気信号も受け取る。オーディオ回路110は、電気信号をオーディオデータへ変換し、そしてそのオーディオデータを処理のために周辺装置118へ送出する。オーディオデータは、周辺インターフェイス118により、メモリ102及び/又はRF回路108から検索され及び/又はそこに送出されてもよい。ある実施形態では、オーディオ回路110は、ヘッドセットジャック(例えば、図2の212)も含む。ヘッドセットジャックは、オーディオ回路110と、取り外し可能なオーディオ入力/出力周辺機器、例えば、出力専用のヘッドホン、或いは出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロホン)の両方を伴うヘッドセットとの間のインターフェイスをなす。
I/Oサブシステム106は、装置100の入力/出力周辺機器、例えば、タッチスクリーン112及び他の入力/出力装置116を周辺インターフェイス118に結合する。I/Oサブシステム106は、他の入力又は制御装置のためのディスプレイコントローラ156及び1つ以上の入力コントローラ160を含むことができる。1つ以上の入力コントローラ160は、他の入力又は制御装置116との間で電気信号を送信/受信する。他の入力/制御装置116は、物理的なボタン(例えば、プッシュボタン、ロッカーボタン、等)、ダイヤル、スライダースイッチ、ジョイスティック、クリックホイール、等を含むことができる。幾つかの別の実施形態では、入力コントローラ160(1つ又は複数)は、次のうちのどれかに接続されてもよい(又はどれにも接続されなくてもよい)。即ち、キーボード、赤外線ポート、USBポート、及びマウスのようなポインタ装置。1つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイクロホン113の音量制御のためのアップ/ダウンボタンを含んでもよい。1つ以上のボタンは、プッシュボタン(例えば、図2の206)を含んでもよい。プッシュボタンを素早く押すと、タッチスクリーン112のロックを外すことができるか、又はタッチスクリーン上のジェスチャーを使用して装置をアンロックするプロセスを開始することができ、これは、参考としてここにそのまま援用する2005年12月23日に出願された“Unlocking a Device by Performing Gestures on an Unlock Image”と題する米国特許出願第11/322,549号に説明されている。プッシュボタン(例えば、206)を長く押すと、装置100への電力をオン又はオフにすることができる。ユーザは、1つ以上のボタンのファンクションをカスタマイズすることもできる。タッチスクリーン112は、バーチャル又はソフトボタン及び1つ以上のソフトキーボードを実施するのに使用される。
タッチ感知タッチスクリーン112は、装置とユーザとの間の入力インターフェイス及び出力インターフェイスをなす。ディスプレイコントローラ156は、タッチスクリーン112との間で電気信号を送信及び又は受信する。タッチスクリーン112は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びその組み合わせ(「グラフィック」と総称する)を含むことができる。ある実施形態では、視覚出力の幾つか又は全部が、ユーザインターフェイスオブジェクトに対応してもよく、その更なる詳細は、以下に述べる。
タッチスクリーン112は、触覚及び/又は触感接触に基づくユーザからの入力を受け容れるタッチ感知面、センサ又はセンサセットを有する。タッチスクリーン112及びディスプレイコントローラ156は(メモリ102における関連したモジュール及び/又はインストラクションセットと共に)、タッチスクリーン112上の接触(及び接触の移動又は遮断)を検出し、そしてその検出された接触を、タッチスクリーン上に表示されるユーザインターフェイスオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ又は映像)との対話へと変換する。ここに例示する実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、LCD(液晶表示)技術又はLPD(発光ポリマー表示)技術を使用できるが、他の実施形態では他の表示技術が使用されてもよい。タッチスクリーン112及びディスプレイコントローラ156は、現在知られている又は今後開発される複数のタッチ感知技術のいずれかを使用して、接触及びその移動又は遮断を検出することができ、前記タッチ感知技術は、容量性、抵抗性、赤外線、及び表面音波技術、並びにタッチスクリーン112との1つ以上の接触点を決定するための他の接近センサアレー又は他の素子を含むが、これらに限定されない。
タッチスクリーン112のある実施形態におけるタッチ感知ディスプレイは、参考として各々ここにそのまま援用する米国特許第6,323,846号(ウェスターマン氏等)、第6,570,557号(ウェスターマン氏等)、及び/又は第6,677,932号(ウェスターマン氏)、及び/又は米国特許公告第2002/0015024A1号に説明されたマルチタッチ感知タブレットと同様のものでよい。しかしながら、タッチスクリーン112は、ポータブル装置100からの視覚出力を表示するが、そのタッチ感知タブレットは、視覚出力を与えない。
タッチスクリーン112のある実施形態におけるタッチ感知ディスプレイは、次の特許出願に説明されている。(1)2006年5月2日に出願された“Multipoint Touch Surface Controller”と題する米国特許出願第11/381,313号、(2)2004年5月6日に出願された“Multipoint Touchscreen”と題する米国特許出願第10/840,862号、(3)2004年7月30日に出願された“Gestures For Touch Sensitive Input Devices”と題する米国特許出願第10/903,964号、(4)2005年1月31日に出願された“Gestures For Touch Sensitive Input Devices”と題する米国特許出願第11/048,264号、(5)2005年1月18日に出願された“Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices”と題する米国特許出願第11/038,590号、(6)2005年9月16日に出願された“Virtual Input Device Placement On A Touch Screen User Interface”と題する米国特許出願第11/228,758号、(7)2005年9月16日に出願された“Operation Of A Computer With A Touch Screen Interface”と題する米国特許出願第11/228,700号、(8)2005年9月16日に出願された“Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”と題する米国特許出願第11/228,737号、及び(9)2006年3月3日に出願された“Multi-Functional Hand-Held Device”と題する米国特許出願第11/367,749号。これらの出願は、全て、参考としてここにそのまま援用する。
タッチスクリーン112は、100dpiを越える解像度をもつことができる。ここに例示する実施形態では、タッチスクリーンは、約160dpiの解像度を有する。ユーザは、スタイラス、指、等の適当なオブジェクト又は付属器官を使用して、タッチスクリーン112に接触することができる。ある実施形態では、ユーザインターフェイスは、主として、指に基づく接触及びジェスチャーで働くように設計され、これは、タッチスクリーンにおける指の接触面積が広いために、スタイラスに基づく入力よりあまり正確でない。ある実施形態では、装置は、大ざっぱな指に基づく入力を、正確なポインタ/カーソル位置、又はユーザが希望するアクションを遂行するためのコマンドに変換する。
ある実施形態では、タッチスクリーンに加えて、装置100は、特定のファンクションをアクチベート又はデアクチベートするためのタッチパッド(図示せず)を含むことができる。ある実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない装置のタッチ感知エリアである。タッチパッドは、タッチスクリーン112とは個別のタッチ感知面でもよいし、又はタッチスクリーンにより形成されたタッチ感知面の延長部でもよい。
ある実施形態では、装置100は、入力制御装置116として物理的又はバーチャルクリックホイールを含むことができる。ユーザは、クリックホイールを回転することにより、又はクリックホイールとの接触点を移動することにより(例えば、接触点の移動量を、クリックホイールの中心点に対するその角度変位で測定する場合)、タッチスクリーン112に表示される1つ以上のグラフィックオブジェクト(以下、アイコンと称する)の中をナビゲートすることができ且つそれらと対話することができる。又、クリックホイールは、表示されたアイコンの1つ以上を選択するのに使用することもできる。例えば、ユーザは、クリックホイールの少なくとも一部分又はそれに関連したボタンを押し下げることができる。クリックホイールを経てユーザにより与えられるユーザコマンド及びナビゲーションコマンドは、入力コントローラ160、並びにメモリ120における1つ以上のモジュール及び/又はインストラクションセットによって処理することができる。バーチャルクリックホイールの場合、クリックホイール及びクリックホイールコントローラは、各々、タッチスクリーン112の一部分及びディスプレイコントローラ156でよい。又、バーチャルクリックホイールの場合、クリックホイールは、装置とのユーザ対話に応答してタッチスクリーンディスプレイ上に現れたり消えたりする不透明又は半透明なオブジェクトでよい。ある実施形態では、バーチャルクリックホイールは、ポータブルマルチファンクション装置のタッチスクリーンに表示され、タッチスクリーンとのユーザ接触により動作される。
又、装置100は、種々のコンポーネントに通電するための電源システム162も備えている。この電源システム162は、電力管理システムと、1つ以上の電源(例えば、バッテリ、交流(AC))と、再充電システムと、停電検出回路と、電力コンバータ又はインバータと、電力状態インジケータ(例えば、発光ダイオード(LED))と、ポータブル装置における電力の発生、管理及び配電に関連した他のコンポーネントとを含むことができる。
又、装置100は、1つ以上の光学的センサ164も含むことができる。図1A及び1Bは、I/Oサブシステム106内の光学的センサコントローラ158に結合された光学的センサを示す。光学的センサ164は、電荷結合装置(CCD)又は相補的金属酸化物半導体(CMOS)ホトトランジスタを含むことができる。光学的センサ164は、周囲から1つ以上のレンズを通して投射された光を受け、そしてその光を、映像を表すデータへと変換する。像形成モジュール143(カメラモジュールとも称される)に関連して、光学的センサ164は、静止映像又はビデオを捕獲することもできる。ある実施形態では、装置前面のタッチスクリーンディスプレイ112とは反対の装置100の背面に光学センサが配置され、タッチスクリーンディスプレイは、静止映像及び/又はビデオ映像取得のためのビューファインダとして使用することができる。ある実施形態では、装置の前面に光学的センサを配置して、ビデオ会議のためのユーザの映像を得る一方、ユーザは、他のビデオ会議参加者をタッチスクリーンディスプレイに見ることができる。ある実施形態では、光学的センサ164の位置をユーザが切り換え(例えば、装置ハウジング内でレンズ及びセンサを回転することにより)、単一の光学的センサ164を、タッチスクリーンディスプレイと共に、ビデオ会議と、静止映像及び/又はビデオ映像取得との両方に使用することができる。
又、装置100は、1つ以上の接近センサ166を含むこともできる。図1A及び1Bは、周辺インターフェイス118に結合された接近センサ166を示している。或いは又、接近センサ166は、I/Oサブシステム106の入力コントローラ160に結合されてもよい。接近センサ166は、参考としてここにそのまま援用する次の米国特許出願に説明されたように動作することができる。即ち、2005年9月30日に出願された“Proximity Detector In Handheld Devices”と題する米国特許出願第11/241,839号、2005年9月30日に出願された“Proximity Detector In Handheld Devices”と題する米国特許出願第11/240,788号、2007年1月7日に出願された“Using Ambient Light Sensor To Augment Proximity Sensor Output”と題する米国特許出願(代理人管理番号04860.P4851SU1)、2006年10月24日に出願された“Automated Response To And Sensing Of User Activity In Portable Devices”と題する米国特許出願(代理人管理番号04860.P4293)、及び2006年12月12日に出願された“Methods And Systems For Automatic Configuration Of Peripherals”と題する米国特許出願(代理人管理番号04860.P4634)。ある実施形態では、接近センサは、マルチファンクション装置がユーザの耳の付近に配置されたときに(例えば、ユーザが電話コールをするときに)タッチスクリーン112をターンオフし、ディスエイブルする。ある実施形態では、装置がロック状態にあるときに不必要なバッテリの消耗を防止するために、接近センサは、装置がユーザのポケット、ハンドバック、又は他の暗いエリアに入れられたときにスクリーンをオフに保持する。
又、装置100は、1つ以上の加速度計168を含むこともできる。図1A及び1Bは、周辺インターフェイス118に結合された加速度計168を示す。或いは又、加速度計168は、I/Oサブシステム106の入力コントローラ160に結合することができる。加速度計168は、“Acceleration-based Theft Detection System for Portable Electronic Devices”と題する米国特許公告第20050190059号、及び“Methods And Apparatus For Operating A Portable Device Based On An Accelerometer”と題する米国特許公告第20060017692号に説明されたように動作することができ、これらは、両方とも、参考としてここにそのまま援用する。ある実施形態では、1つ以上の加速度計から受け取ったデータの分析に基づいて情報がタッチスクリーンディスプレイに肖像ビュー又は風景ビューで表示される。
ある実施形態では、メモリ102に記憶されるソフトウェアコンポーネントは、オペレーティングシステム126と、通信モジュール(又はインストラクションのセット)128と、接触/運動モジュール(又はインストラクションのセット)130と、グラフィックモジュール(又はインストラクションのセット)132と、テキスト入力モジュール(又はインストラクションのセット)134と、グローバルポジショニングシステム(GPS)モジュール(又はインストラクションのセット)135と、アプリケーション(又はインストラクションのセット)136と、を含むことができる。
オペレーティングシステム126(例えば、ダーウイン(Darwin)、RTXC、LINUX、UNIX、OS X、WINDOWS、又は埋め込まれたオペレーティングシステム、例えば、VxWorks)は、一般的なシステムタスク(例えば、メモリの管理、記憶装置の制御、電源の管理、等)を制御し及び管理するための種々のソフトウェアコンポーネント及び/又はドライバを備え、そして種々のハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を経て他の装置との通信を容易にし、又、RF回路108及び/又は外部ポート124により受け取られたデータを取り扱うための種々のソフトウェアコンポーネントも備えている。外部ポート124(例えば、ユニバーサルシリアルバス(USB)、ファイアワイヤ(FIREWIRE)、等)は、他の装置へ直結するか、又はネットワーク(例えば、インターネット、ワイヤレスLAN、等)を経て間接的に結合するようにされる。ある実施形態では、外部ポートは、iPod(アップルコンピュータ社の商標)装置に使用される30ピンコネクタと同じであるか又は同様であるか及び/又はそれに適合できるマルチピン(例えば、30ピン)コネクタである。
接触/運動モジュール130は、タッチスクリーン112(ディスプレイコントローラ156に関連した)及び他のタッチ感知装置(例えば、タッチパッド又は物理的なクリックホイール)との接触を検出することができる。接触/運動モジュール130は、接触の検出に関連した種々の動作、例えば、接触が生じたかどうか決定し、接触の移動があるかどうか決定すると共にタッチスクリーン112にわたって移動を追跡し、及び接触が遮断したかどうか(即ち、接触が止んだかどうか)決定する、等の動作を遂行するための種々のソフトウェアコンポーネントを備えている。接触点の移動を決定することは、接触点のスピード(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を決定することを含む。これらの動作は、単一の接触(例えば、1本の指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数本の指の接触)に適用することができる。ある実施形態では、接触/運動モジュール130及びディスプレイコントローラ156は、タッチパッド上の接触も検出する。ある実施形態では、接触/運動モジュール130及びコントローラ160は、クリックホイール上の接触を検出する。
グラフィックモジュール132は、表示されるグラフィックの強度を変化させるコンポーネントを含めて、タッチスクリーン112上にグラフィックをレンダリングし表示するための種々の既知のソフトウェアコンポーネントを備えている。ここで使用する「グラフィック」という語は、制限を伴わないテキスト、ウェブページ、アイコン(ソフトキーを含むユーザインターフェイスオブジェクトのような)、デジタル映像、ビデオ、アニメーション、等を含めて、ユーザに表示できるいかなるオブジェクトも含む。
グラフィックモジュール132のコンポーネントでよいテキスト入力モジュール134は、種々のアプリケーション(例えば、連絡先137、e−メール140、IM141、ブログ142、ブラウザ147、及びテキスト入力を必要とする他のアプリケーション)にテキストを入力するためのソフトキーボードを与える。
GPSモジュール135は、装置の位置を決定し、そしてこの情報を種々のアプリケーションに使用するべく与える(例えば、位置に基づくダイヤル動作に使用するために電話138へ、ピクチャー/ビデオメタデータとしてカメラ143及び/又はブロガー142へ、そして天気ウィジェット、地方のイエローページウィジェット及びマップ/ナビゲーションウィジェットのような位置に基づくサービスを提供するアプリケーションへ)。
アプリケーション136は、次のモジュール(又はインストラクションのセット)或いはそのサブセット又はスーパーセットを含むことができる。
●連絡先モジュール137(時々アドレス帳又は連絡先リストとも称される)、
●電話モジュール138、
●ビデオ会議モジュール139、
●e−メールクライアントモジュール、
●インスタントメッセージング(IM)モジュール141、
●ブログモジュール142、
●静止映像及び/又はビデオ映像のためのカメラモジュール143、
●映像管理モジュール144、
●ビデオプレーヤモジュール145、
●音楽プレーヤモジュール146、
●ブラウザモジュール147、
●カレンダーモジュール148、
●天気ウィジェット149−1、株ウィジェット149−2、計算器ウィジェット149−3、アラームクロックウィジェット149−4、辞書ウィジェット149−5、及びユーザにより得られる他のウィジェット、並びにユーザ生成ウィジェット149−6を含むことのできるウィジェットモジュール149、
●ユーザ生成ウィジェット149−6を形成するためのウィジェットクリエータモジュール150、
●サーチモジュール151、
●ビデオプレーヤモジュール145及び音楽プレーヤモジュール146を合併するビデオ及び音楽プレーヤモジュール152、
●ノートモジュール153、及び/又は
●マップモジュール154。
メモリ102に記憶できる他のアプリケーション136は、例えば、他のワード処理アプリケーション、JAVAイネーブルアプリケーション、暗号化、デジタル権利の管理、音声認識、及び音声複製を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134に関連して、連絡先モジュール137は、アドレス帳又は連絡先リストを管理するのに使用でき、これは、アドレス帳に名前(1つ又は複数)を追加し、アドレス帳から名前(1つ又は複数)を削除し、電話番号(1つ又は複数)、e−メールアドレス(1つ又は複数)、物理的アドレス(1つ又は複数)又は他の情報を名前と関連付け、映像を名前と関連付け、名前を類別及び分類し、電話138、ビデオ会議139、e−メール140又はIM141による通信を開始及び/又は容易にするために電話番号又はe−メールアドレスを与え、等々を行うことを含む。
RF回路108、オーディオ回路110、スピーカ111、マイクロホン113、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134に関連して、電話モジュール138は、電話番号に対応するキャラクタのシーケンスを入力し、アドレス帳137における1つ以上の電話番号にアクセスし、入力された電話番号を変更し、各電話番号をダイヤルし、会話を行い、そして会話が終了したときに切断又は切るために使用することができる。上述したように、ワイヤレス通信は、複数の通信規格、プロトコル及び技術のいずれかを使用することができる。
RF回路108、オーディオ回路110、スピーカ111、マイクロホン113、タッチスクリーン112、ディスプレイコントローラ156、光学的センサ164、光学的センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138に関連して、ビデオ会議モジュール139は、ユーザと1人以上の他の参加者との間でビデオ会議を開始し、実行し、そして終了するために使用することができる。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134に関連して、e−メールクライアントモジュール140は、e−メールを生成し、送信し、受信し、そして管理するために使用することができる。映像管理モジュール144に関連して、e−メールモジュール140は、カメラモジュール143で撮影された静止映像又はビデオ映像と共にe−メールを生成し送信するのを非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134に関連して、インスタントメッセージングモジュール141は、インスタントメッセージに対応するキャラクタのシーケンスを入力し、既に入力されたキャラクタを変更し、各インスタントメッセージを送信し(例えば、電話ベースのインスタントメッセージについてはショートメッセージサービス(SMS)又はマルチメディアメッセージサービス(MMS)プロトコルを使用し、或いはインターネットベースのインスタントメッセージについてはXMPP、SIMPLE又はIMPSを使用して)、インスタントメッセージを受信し、そして受信したインスタントメッセージを見るために使用することができる。ある実施形態では、送信及び/又は受信されるインスタントメッセージは、MMS及び/又はエンハンストメッセージングサービス(EMS)でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル及び/又は他のアタッチメントを含むことができる。ここで使用する「インスタントメッセージング」という語は、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)、及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されるメッセージ)の両方を指す。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、映像管理モジュール144、及びブラウジングモジュール147に関連して、ブログモジュール142は、テキスト、静止映像、ビデオ、及び/又は他のグラフィックをブログ(例えば、ユーザブログ)へ送信するために使用することができる。
タッチスクリーン112、ディスプレイコントローラ156、光学的センサ(1つ又は複数)164、光学的センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び映像管理モジュール144に関連して、カメラモジュール143は、静止映像又はビデオ(ビデオストリームを含む)を捕獲してそれらをメモリ102へ記憶し、静止映像又はビデオの特性を変更し、或いは静止映像又はビデオをメモリ102から削除するために使用することができる。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143に関連して、映像管理モジュール144は、静止映像及び/又はビデオ映像をアレンジし、変更し、さもなければ、操作し、ラベル付けし、削除し、プレゼンテーションし(例えば、デジタルスライドショー又はアルバムに)、そして記憶するために使用することができる。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、及びスピーカ111に関連して、ビデオプレーヤモジュール145は、ビデオを表示し、プレゼンテーションし、さもなければ、再生するために使用することができる(例えば、タッチスクリーンにおいて、又は外部ポート124を経て接続された外部のディスプレイにおいて)。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147に関連して、音楽プレーヤモジュール146は、ユーザが、録音された音楽や、MP3又はAACファイルのような1つ以上のファイルフォーマットで記憶された他のサウンドファイルをダウンロードして再生できるようにする。ある実施形態では、装置100は、iPod(アップルコンピュータ社の商標)のようなMP3プレーヤのファンクションを含むことができる。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134に関連して、ブラウザモジュール147は、ウェブページ又はその一部分、並びにウェブページにリンクされたアタッチメント及び他のファイルをサーチし、リンクし、受信し、及び表示することを含めて、インターネットをブラウズするために使用することができる。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、e−メールモジュール140、及びブラウザモジュール147に関連して、カレンダーモジュール148は、カレンダー及びカレンダーに関連したデータ(例えば、カレンダー入力、ツー・ドゥ(実行すべきものの)リスト、等)を生成し、表示し、変更し、そして記憶するために使用することができる。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147に関連して、ウィジェットモジュール149は、ユーザによりダウンロードして使用できるミニアプリケーション(例えば、天気ウィジェット149−1、株ウィジェット149−2、計算器ウィジェット149−3、アラームクロックウィジェット149−4、及び辞書ウィジェット149−5)、又はユーザにより生成されるミニアプリケーション(例えば、ユーザ生成ウィジェット149−6)である。ある実施形態では、ウィジェットは、HTML(ハイパーテキストマークアップ言語)ファイル、CSS(カスケードスタイルシート)ファイル、及びJavaScriptファイルを含む。ある実施形態では、ウィジェットは、XML(拡張性マークアップ言語)ファイル、及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147に関連して、ウィジェットクリエータモジュール150は、ウィジェットを生成するためにユーザにより使用することができる(例えば、ウェブページのユーザ指定部分をウィジェットへ向ける)。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134に関連して、サーチモジュール151は、1つ以上のサーチ基準(例えば、1つ以上のユーザ指定サーチ用語)に一致するテキスト、音楽、サウンド、映像、ビデオ、及び/又は他のファイルをメモリ102においてサーチするために使用することができる。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134に関連して、ノートモジュール153は、ノート、ツー・ドゥリスト、等を生成して管理するために使用することができる。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147に関連して、マップモジュール154は、マップ及びマップに関連したデータ(例えば、運転方向、特定の位置又はその付近の店舗及びその他交差点に関するデータ、並びに位置に基づく他のデータ)を受け取り、表示し、変更し、そして記憶するために使用することができる。
上述したモジュール及びアプリケーションの各々は、上述した1つ以上のファンクションを遂行するためのインストラクションのセットに対応している。これらのモジュール(即ち、インストラクションのセット)は、個別のソフトウェアプログラム、手順又はモジュールとして実施される必要はなく、従って、種々の実施形態では、これらモジュールの種々のサブセットを組み合わせるか、さもなければ、アレンジし直すことができる。例えば、ビデオプレーヤモジュール145は、音楽プレーヤモジュール146と組み合わせ、単一のモジュール(例えば、ビデオ及び音楽プレーヤモジュール152、図1B)とすることができる。ある実施形態では、メモリ102は、上述したモジュール及びデータ構造体のサブセットを記憶することができる。更に、メモリ102は、上述されない付加的なモジュール及びデータ構造体を記憶することもできる。
ある実施形態では、装置100は、装置におけるファンクションの規定のセットの動作がタッチスクリーン112及び/又はタッチパッドを通して排他的に実行される装置である。タッチスクリーン及び/又はタッチパッドを、装置100を動作するための一次入力/制御装置として使用することにより、装置100における物理的入力/制御装置(プッシュボタン、ダイヤル、等)の数を減少することができる。
タッチスクリーン及び/又はタッチパッドを通して排他的に遂行できるファンクションの規定のセットは、ユーザインターフェイス間のナビゲーションを含む。ある実施形態では、タッチパッドは、ユーザがタッチすると、装置100を、装置100上に表示できるユーザインターフェイスからのメイン、ホーム又はルートメニューへとナビゲートする。このような実施形態では、タッチパッドは、「メニューボタン」と称することができる。他の実施形態では、メニューボタンは、タッチパッドに代わって、物理的なプッシュボタン又は他の物理的な入力/制御装置でもよい。
図2は、ある実施形態に基づくタッチスクリーン112を有するポータブルマルチファンクション装置100を示す図である。タッチスクリーンは、ユーザインターフェイス(UI)200内に1つ以上のグラフィックを表示することができる。この実施形態、及び以下に述べる他の実施形態では、ユーザは、例えば、1本以上の指202(図中には正しいスケールで描かれていない)でグラフィックに接触又はタッチすることにより1つ以上のグラフィックを選択することができる。ある実施形態では、ユーザが1つ以上のグラフィックとの接触を遮断したときに1つ以上のグラフィックの選択が生じる。ある実施形態では、接触は、1回以上タップ(tap)すること、1回以上スワイプ(swipe)すること(左から右へ、右から左へ、上方及び/又は下方へ)、及び/又は装置100と接触させた指をローリング(rolling)すること(左から右へ、右から左へ、上方及び/又は下方へ)、等のジェスチャーを含むことができる。ある実施形態では、グラフィックとの偶発的な接触でグラフィックが選択されることはない。例えば、アプリケーションアイコン上を拭うスワイプジェスチャーは、選択に対応するジェスチャーがタップであるときには、対応するアプリケーションを選択しない。
又、装置100は、「ホーム(home)」又はメニューボタン204のような1つ以上の物理的ボタンを含むこともできる。上述したように、メニューボタン204は、装置100において実行できるアプリケーションセット内の任意のアプリケーション136へナビゲートするのに使用できる。或いは又、ある実施形態では、メニューボタンは、タッチスクリーン112のGUIにおけるソフトキーとして実施される。
一実施形態では、装置100は、タッチスクリーン112と、メニューボタン204と、装置を電源オン/オフすると共に装置をロックするためのプッシュボタン206と、音量調整ボタン(1つ又は複数)208と、加入者アイデンティティモジュール(SIM)カードスロット210と、ヘッドセットジャック212と、ドッキング/充電外部ポート124とを備えている。プッシュボタン206は、このボタンを押して規定の時間インターバル中このボタンを押圧状態に保持することにより装置の電源をオン/オフにし、このボタンを押して規定の時間インターバルの前にこのボタンを解除することにより装置をロックし、及び/又は装置をアンロックするか又はアンロックプロセスを開始するために、使用することができる。別の実施形態では、装置100は、マイクロホン113を通して幾つかのファンクションをアクチベート又はデアクチベートするために言葉による入力も受け容れることができる。
ポータブルマルチファンクション装置100において実施できるユーザインターフェイス(UI)及び関連プロセスの実施形態について以下に説明する。
図3は、ある実施形態に基づきポータブル電子装置をアンロックするためのユーザインターフェイスを例示する。ある実施形態では、ユーザインターフェイス300は、次のエレメント、或いはそのサブセット又はスーパーセットを含む。
●装置をアンロックするための指ジェスチャーで移動されるアンロック映像302、
●アンロックジェスチャーに対して視覚キューを与える矢印304、
●アンロックジェスチャーに対して付加的なキューを与えるチャンネル306、
●時刻308、
●曜日310、
●日付312、及び
●壁紙映像314。
ある実施形態では、この装置は、それがユーザインターフェイスロック状態にある間にタッチ感知ディスプレイとの接触(例えば、ユーザの指がアンロック映像302又はその付近に接触する)を検出する。装置は、この接触に基づいてアンロック映像302を移動する。装置は、検出された接触が、チャンネル306を横切ってアンロック映像を移動するような規定のジェスチャーに対応する場合は、ユーザインターフェイスアンロック状態へと移行する。逆に、検出された接触が規定のジェスチャーに対応しない場合には、ユーザインターフェイスロック状態を維持する。上述したように、タッチスクリーン上でジェスチャーを使用して装置をアンロックするためのプロセスが、参考としてここにそのまま援用する2005年12月23日に出願された“Unlocking A Device By Performing Gestures On An Unlock Image”と題する米国特許出願第11/322,549号、及び2005年12月23日に出願された“Indication Of Progress Towards Satisfaction Of A User Input Condition”と題する第11/322,550号に説明されている。
図4A及び4Bは、ある実施形態に基づくポータブルマルチファンクション装置におけるアプリケーションのメニューのためのユーザインターフェイスを示す。ある実施形態では、ユーザインターフェイス400Aは、次のエレメント或いはそのサブセット又はスーパーセットを含む。
●セルラー及びWi−Fi信号のようなワイヤレス通信(1つ又は複数)のための信号強度インジケータ(1つ又は複数)402、
●時刻404、
●バッテリ状態インジケータ406、
●次の1つ以上のような、頻繁に使用されるアプリケーションのためのアイコンを伴うトレー408、
○逃したコール又は音声メールメッセージの数のインジケータ414を含んでもよい電話138、
○読まれないe−メールの数のインジケータ410を含んでもよいe−メールクライアント140、
○ブラウザ147、
○音楽プレーヤ146、及び
●次の1つ以上のような他のアプリケーションのためのアイコン、
○IM141、
○映像管理144、
○カメラ143、
○ビデオプレーヤ145、
○天気149−1、
○株149−2、
○ブログ142、
○カレンダー148、
○計算器149−3、
○アラームクロック149−4、
○辞書149−5、及び
○ユーザ生成ウィジェット149−6。
ある実施形態では、ユーザインターフェイス400Bは、次のエレメント或いはそのサブセット又はスーパーセットを含む。
●上述した402、404、406、141、148、144、143、149−3、149−2、149−1、149−4、410、414、138、140、及び147、
●マップ154、
●ノート153、
●装置100の設定及びその種々のアプリケーション136へのアクセスを与える設定412、及び
●iPod(アップルコンピュータ社の商標)モジュール152とも称されるビデオ及び音楽プレーヤモジュール152。
ある実施形態では、UI400A又は400Bは、全ての利用可能なアプリケーション136を1つのスクリーン上に表示し、アプリケーションのリストを(例えば、スクロールバーにより)スクロールする必要がないようにする。ある実施形態では、アプリケーションの数が増加するにつれて、アプリケーションに対応するアイコンのサイズを減少させて、全てのアプリケーションを、スクロールせずに、単一のスクリーン上に表示できるようにする。ある実施形態では、1つのスクリーン上に全てのアプリケーションをもたせると共に、メニューボタンをもたせることで、ユーザは、(例えば、アプリケーションに対応するアイコンにタップするか又は他の指ジェスチャーにより)メニューボタン204をアクチベートし、次いで、希望のアプリケーションをアクチベートするというせいぜい2つの入力で、希望のアプリケーションにアクセスすることができる。
ある実施形態では、UI400A又は400Bは、ウィジェットベースのアプリケーション及び非ウィジェットベースのアプリケーションの両方への一体的なアクセスを与える。ある実施形態では、ユーザが生成したかどうかに関わらず、全てのウィジェットがUI400A又は400Bに表示される。他の実施形態では、ユーザ生成ウィジェット149−6のアイコンをアクチベートすると、そのユーザ生成ウィジェット又はそのユーザ生成ウィジェットに対応するアイコンを含む別のUIを導くことができる。
ある実施形態では、ユーザは、例えば、参考としてここにそのまま援用する2006年7月24日に出願された“Portable Electronic Device With Interface Reconfiguration Mode”と題する米国特許出願第11/459,602号に説明されたプロセスを使用してUI400A又は400Bにおいてアイコンをアレンジし直すことができる。例えば、ユーザは、指ジェスチャーを使用して、アプリケーションアイコンをトレー408へ及びトレー408から移動することができる。
ある実施形態では、UI400A又は400Bは、参考としてここにそのまま援用する2005年12月23日に出願された“Account Information Display For Portable Communication Device”と題する米国特許出願第11/322,552号に説明されたように、装置の使用に関連したアカウント(例えば、セルラー電話アカウント)に対する更新されたアカウント使用メトリックを表示するゲージ(図示せず)を備えている。
ある実施形態では、アプリケーションモジュールは、タッチスクリーン上に至近配置された複数のバーチャルアイコンを有し、各バーチャルアイコンは、既定のオペレーションの関連セットを有する。バーチャルアイコンの少なくとも幾つかは、バーチャルアイコンを取り巻くヒット領域を隠し、(バーチャルアイコンそれ自体に対する厳密なものではないが)バーチャルアイコンの隠れたヒット領域とのユーザ接触で装置をトリガーして、そのバーチャルアイコンに関連したオペレーションの同じセットを遂行することができる。タッチスクリーンは比較的小さいので、2つの隣接するバーチャルアイコンのヒット領域が互いに部分的に重畳することがある。この状態は、2つのバーチャルアイコンの一方とのユーザ接触がその重畳するヒット領域内で生じる場合に、ポータブル装置にとっての挑戦となる。
図5は、ある実施形態に基づくボイスメールのためのユーザインターフェイスを例示する。他のオブジェクトの中で、ユーザインターフェイス3200Dは、次のアイコンを含む。
●ボイスメールメッセージのどの断片が再生されたかを指示すると共に、指スワイプに応答してメッセージをスクロールするのに使用できる進行バー3204、
●アクチベートされたときに(例えば、アイコンを指でタップすることにより)、ユーザがそれに対応するボイスメールを削除したいことを確認するためのUIの表示を開始する削除アイコン3222、及び
●アクチベートされたときに(例えば、アイコンを指でタップすることにより)、選択されたボイスメールに関連した電話番号へのコールを開始するコールアイコン3240。
3つのアイコン3204、3240及び3222の各々は、各隠れたヒット領域(各々のアイコンを取り巻く対応するメッシュ領域により表された)を有する。しかし、進行バー3204は、コールアイコン3240及び削除アイコン3222に非常に接近しているので、その隠れたヒット領域が2つのアイコンの隠れたヒット領域に各々重畳する。これらの重畳するヒット領域は、タッチスクリーンとの最初のユーザ接触が1つの重畳領域内で生じたときに問題を引き起こす。例えば、進行バー3204と削除アイコン3222との間の重畳するヒット領域に入る初期の指接触3206は、2つの考えられる解釈を有する。(i)ユーザは、指接触3206の水平位置に対応するポイントへメッセージを早送りしたいか、又は(ii)ユーザは、ポータブル装置により現在再生されているボイスメールを削除したい。初期の指接触3206の誤った解釈(ポータブル装置により選択された解釈がユーザの実際の意図と異なる場合)は、ポータブル装置でのユーザの経験が不満足なものとなる。
ある実施形態では、重畳するヒット領域内に入る初期のユーザ接触のこのような誤った解釈を回避する方法は、タッチスクリーンとのその後の指の相互作用に一部分基づいて、独特の解釈に到達できるまで初期のユーザ接触の解釈を延期することである。
タッチスクリーンとの初期のユーザ接触が重畳する隠れたヒット領域に入る場合にユーザの実際の意図を明確にする方法の幾つかの実施形態を以下に説明する。図6は、ある実施形態に基づき2つの隣接するユーザインターフェイスオブジェクト付近の指ジェスチャーに応答して規定のアクションを遂行するためのプロセスを示すフローチャートである。図7A−7Dは、ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する図である。
「ユーザインターフェイスオブジェクト」(本出願では「グラフィックオブジェクト」と交換可能である)という語は、一般的に、タッチスクリーンディスプレイに表示されるグラフィックアイコンであって、ここに述べるスキームを使用する特定のアプリケーションモジュールに基づいて情報アイテム又はアプリケーションオペレーションのセットに関連するグラフィックアイコンを指す。
図7Aは、2つのユーザインターフェイスオブジェクト、例えば、タッチスクリーンディスプレイ上で互いに隣接しているボタン制御ユーザインターフェイスオブジェクト5802及びスライド制御ユーザインターフェイスオブジェクト5806を示している。例えば、ボタン制御オブジェクト5802は、バックアップ制御アイコン、プレイアイコン、又はフォワードアイコンであり、そしてスライド制御ユーザインターフェイスオブジェクト5806は、音楽及びビデオプレーヤモジュール152の音量制御アイコンである。
ある実施形態では、ボタン制御ユーザインターフェイスオブジェクト5802は、隠れたヒット領域5804を有し、そしてスライド制御ユーザインターフェイスオブジェクト5806は、隠れたヒット領域5816を有する。2つの隠れたヒット領域は、領域5810において重畳する。
ポータブル装置は、タッチスクリーンディスプレイの第1位置においてフィンガーダウンイベントを検出する(601)。図7Aに示すように、フィンガーダウンイベントは、重畳するヒット領域5810内の位置5805において生じる。この単一のフィンガーダウンイベントからでは、ユーザがボタン制御ユーザインターフェイスオブジェクト5802のアクチベートを意図しているか、スライド制御ユーザインターフェイスオブジェクト5806のアクチベートを意図しているか決定することができない。
ある実施形態では、現在カーソル位置でもあるフィンガーダウンイベント位置5805を使用して、ポータブル装置は、その位置に関連した全てのユーザインターフェイスオブジェクトを識別する。ユーザインターフェイスオブジェクトがカーソル位置に関連するのは、その位置がユーザインターフェイスオブジェクト内にあるか又はその隠れたヒット領域内にある場合である。それ故、ボタン制御ユーザインターフェイスオブジェクト5802及びスライド制御ユーザインターフェイスオブジェクト5806の両方は、第1位置5805に関連するとして識別される。スライド制御ユーザインターフェイスオブジェクト5806は、スライドバー5803及びスライドオブジェクト5801を含む。
タッチスクリーンとの指接触は、典型的に、異なるパターンを有する。例えば、タッチスクリーンを指でタップするジェスチャーは、ボタン形式のユーザインターフェイスオブジェクト(例えば、ソフトキーボードのキーアイコン)においてしばしば行われ、これは、フィンガーダウンイベントと、それに続いて、そのフィンガーダウンイベントと同じ位置又は実質的に同じ位置で行われるフィンガーアップイベントとで構成される。タッチスクリーンを指でスワイプするジェスチャーは、スライド制御ユーザインターフェイスオブジェクト(例えば、音楽及びビデオプレーヤの音量制御アイコン)にしばしば(常にではなく)関連し、これは、フィンガーダウンイベントと、それに続く1つ以上のフィンガードラグイベントと、その後に続くフィンガーアップイベントとで構成される。
ある実施形態では、指がタッチスクリーンディスプレイに接近し、タッチスクリーンディスプレイに接触し、そしてタッチスクリーンディスプレイを去るプロセスを説明するのにパラメータが使用される。このパラメータは、指とタッチスクリーンディスプレイとの間の距離、指がタッチスクリーンディスプレイに及ぼす圧力、指とタッチスクリーンとの間の接触面積、指とタッチスクリーンとの間の電圧、指とタッチスクリーンディスプレイとの間のキャパシタンス、又は1つ以上の物理的パラメータの関数である。
ある実施形態では、指とタッチスクリーンディスプレイとの間のパラメータ(例えば、キャパシタンス)の大きさに基づいて、そのパラメータが規定のスレッシュホールドより上昇すると、フィンガーダウンイベントが生じ、パラメータが規定のスレッシュホールドより上に維持される間に指の対応カーソル位置が位置Aから位置Bへ移動すると、フィンガードラグイベントが生じ、そしてパラメータがスレッシュホールドレベルより下がると、フィンガーアップイベントが生じる。
フィンガーダウンイベントに続いて、ポータブル装置は、タッチスクリーンディスプレイの第2位置においてフィンガーアップイベントを検出する(603)。フィンガーダウンイベント及びフィンガーアップイベントに対応する第1及び第2位置が与えられると、ポータブル装置は、2つの位置間の距離を決定する(605)。ある実施形態では、この距離の大きさは、どちらのユーザインターフェイスオブジェクトをアクチベートすべきか及びポータブル装置がどんなアクションを取るべきかのユーザの実際の意図を意味する。
この距離が第1の規定スレッシュホールド以下である場合は(607)、ユーザの接触が、第1のユーザインターフェイスオブジェクト(例えば、ボタン制御5802、図7C及び7D)をアクチベートするものと解釈され、次いで、装置は、第1のユーザインターフェイスオブジェクトに対応する第1アクションを遂行する(609)。
ユーザのジェスチャーがボタン制御ユーザインターフェイスオブジェクト5802をアクチベートするある状況では、重畳するヒット領域内に第2位置(例えば、図7Cの5817)もある。ユーザのジェスチャーがボタン制御ユーザインターフェイスオブジェクト5802をアクチベートする他の状況では、第2位置(例えば、図7Dの5807)がオブジェクト5802のヒット領域5804内にあるが、スライド制御ユーザインターフェイスオブジェクト5806のヒット領域内にはない。いずれにせよ、装置は、ボタン制御ユーザインターフェイスオブジェクト5802をアクチベートして、既定のオペレーション(例えば、ユーザがボイスメールメッセージを削除できるようにGUIを表示する)を遂行する。
その距離が第2の規定スレッシュホールドより大きい場合には(611)、ユーザ接触が、第2のユーザインターフェイスオブジェクト(例えば、スライド制御5806、図7A及び7B)をアクチベートするものと解釈され、次いで、装置は、第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行する(613)。
ユーザのジェスチャーがスライド制御ユーザインターフェイスオブジェクト5806をアクチベートするある状況では、第2位置(例えば、図7Aの5808)がスライド制御ユーザインターフェイスオブジェクト5806のヒット領域5816内にあるが、ボタン制御ユーザインターフェイスオブジェクト5802のヒット領域5804内にはない。ユーザのジェスチャーがスライド制御ユーザインターフェイスオブジェクト5806をアクチベートする他の状況では、第2位置(例えば、図7Bの5809)がヒット領域5816の外部となるが、スライドバーへの投影を有する。いずれにせよ、装置は、スライドバー5803に沿ってスライドオブジェクト5801を、スライドバーへの第2位置の投影に基づく位置まで移動する。ある実施形態では、スライドオブジェクト5801は、スライドバーへ投影される2つの位置間の距離に関わらず、スライドバーの2つの反対端を越えて移動しない。図7A−7Bに示すように、スライドオブジェクト5801がスライドバーに沿って移動する距離Δdxは、スライドバー5803への第2位置の投影に対応する。図7Aに示すように指が右へ移動し続けて、第2位置5812がスライドバーの外部に(即ち、スライドバーの右端を越えて)投影される場合には、スライドオブジェクト5801がその最も右の位置5814で停止する。
ある実施形態では、第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なる形式のユーザインターフェイスオブジェクトである(例えば、ボタンオブジェクト・対・スライド制御オブジェクト)。第1及び第2の規定のスレッシュホールドは、同じ値を有するが、他の実施形態では、異なる値を有してもよい。他の実施形態では、第2の規定スレッシュホールドは、第1の規定スレッシュホールドより高い。後者の実施形態では、2つの位置間の距離が第1スレッシュホールドと第2スレッシュホールドとの間である場合に、第1ユーザインターフェイスオブジェクトも、第2ユーザインターフェイスオブジェクトもアクチベートされない(又は、より一般的には、いずれのオブジェクトについてもアクションが行われない)。その結果、ユーザは、別の指ジェスチャーを行うことにより自分の意図をより明確に指示する必要がある。
更に、ある実施形態では、第1のユーザインターフェイスオブジェクトの隠れたヒット領域は、第2のユーザインターフェイスオブジェクトとは異なる巾(例えば、オブジェクトからの最大の広がり)を有する。例えば、ある実施形態では、関連アクションが破壊的又は不可逆であるか、或いは破壊的又は不可逆のアクションを招き得るようなユーザインターフェイスオブジェクトは、関連アクションが破壊的又は不可逆でない第2のユーザインターフェイスオブジェクトよりも、隠れた領域が狭い(又は隠れたヒット領域がないこともある)。
ある実施形態では、フィンガーダウンイベントの後であって且つフィンガーアップイベントの前に、タッチスクリーンディスプレイ上の位置ではあるがスライド制御ユーザインターフェイスオブジェクト5806のヒット領域5816の外側で、一連のフィンガードラグイベントが検出される。このケースでは、装置は、スライドオブジェクト5801を、スライドバー5803に沿って、その現在位置から、少なくとも一部分はタッチスクリーンディスプレイ上の各フィンガードラグイベントの関連位置により決定される異なる位置まで移動する。スライドオブジェクト5801は、フィンガーアップイベントが検出されたときに第2位置に停止する。
ある実施形態では、装置は、指ジェスチャーが終了する前に、例えば、指がまだタッチスクリーンディスプレイに接触している間に、2つの隣接するユーザインターフェイスオブジェクト間の重畳する隠れたヒット領域において始まる指ジェスチャーに関連したユーザの実際の意図を解釈する。図8は、ある実施形態に基づき2つの隣接するユーザインターフェイスオブジェクト付近での指ジェスチャーに応答して規定のアクションを遂行するためのプロセスを示すフローチャートである。図9A−9Cは、ポータブル装置が、重畳ヒット領域を有する2つの隣接するユーザインターフェイスオブジェクトの一方を、その重畳ヒット領域に入る指ジェスチャーに応答して識別し、次いで、ユーザが望むアクションを遂行する仕方を例示する実施形態である。
図9Aは、タッチスクリーンディスプレイ上の2つのユーザインターフェイスオブジェクト、例えば、ボタン制御ユーザインターフェイスオブジェクト902と、スライドバー905に沿って移動可能なスライドオブジェクト910を有するスライド制御ユーザインターフェイスオブジェクト906とを示している。図7A−7Dにおいて、2つのユーザインターフェイスオブジェクトは、同じ水平レベルにおいて互いに隣接して並置状態で示されている。図9A−9Cにおいて、スライド制御ユーザインターフェイスオブジェクト906は、ボタン制御ユーザインターフェイスオブジェクトの上に位置されている。本出願に開示された方法は、ユーザインターフェイスオブジェクトの特定の空間的配列とは独立しており、そして隣接ユーザインターフェイスオブジェクト間の重畳する隠れたヒット領域の他の配向、例えば、垂直又は対角配向にも等しく適用できることに注意されたい。
ポータブル装置は、タッチスクリーンディスプレイ上の第1位置において第1のフィンガーダウンイベントを検出する(801)。図9A−9Cに示すように、フィンガーダウンイベントは、例えば、重畳するヒット領域920内の位置903において生じる。ある実施形態では、ポータブル装置は、第1の指下げ位置903に関連したユーザインターフェイスオブジェクトを識別する。上述したように、各ユーザインターフェイスオブジェクトは、典型的に、関連する隠れたヒット領域を有し、そして位置903がユーザインターフェイスオブジェクト又はその隠れたヒット領域内にある場合にオブジェクトが識別される。この例では、ボタン制御ユーザインターフェイスオブジェクト902及びスライド制御ユーザインターフェイスオブジェクト906の両方が第1位置903に関連している。少なくとも2つのユーザインターフェイスオブジェクトが識別されるので、ポータブル装置は、その後のフィンガーイベントがユーザの実際の位置を良好に表すまで、各オブジェクトのアクチベーションを延期する。
ポータブル装置は、タッチスクリーンディスプレイ上の第2位置において第2のフィンガーイベントを検出する(803)。ある実施形態では、指ジェスチャーは、指が最初にタッチスクリーンディスプレイ上又はその付近にあることが検出される1つのフィンガーダウンイベントと、それに続いて、指がタッチスクリーンディスプレイ上の1つの位置から別の位置へ移動することが検出されるゼロ以上のフィンガードラグイベントと、それに続いて、指がタッチスクリーンディスプレイから持ち上げられることが検出される1つのフィンガーアップイベントとを含めて、一連のフィンガーイベントによって特徴付けられる。
次いで、ポータブル装置は、第2のフィンガーイベントの形式と、第1位置と第2位置との間の距離とを決定する(805)。ある実施形態では、この距離は、スライドオブジェクトのスライド方向に沿った第1位置と第2位置との間のベクトルの成分(例えば、図9Aの907及び図9Bの909)として定義される(例えば、図9Aにおける907の水平成分及び図9Bにおける909の水平成分)。ある実施形態では、この距離は、例えば、スライド制御ユーザインターフェイスオブジェクトのスライド方向が垂直の向き(図示せず)である場合には、第1位置と第2位置との間のベクトルの垂直成分として定義される。他の実施形態では、この距離は、第1位置と第2位置との間のベクトルの大きさとして定義される。説明上、ここに示す例では、この距離は、スライドオブジェクトのスライド方向に沿った第1位置と第2位置との間のベクトルの成分であると仮定する(例えば、図9Aにおける907の水平成分及び図9Bにおける909の水平成分)。第1のフィンガーダウンイベントの検出の後に第2のフィンガーイベントが検出されるために、それは、フィンガードラグイベント又はフィンガーアップイベントのいずれかである。ある実施形態では、2つの位置間のベクトルは、タッチスクリーンディスプレイの水平軸及び垂直軸に投影される。図9Aは、第2のフィンガーイベントが位置913において検出されることを示す。図9Bは、第2のフィンガーイベントが位置915において検出され、そして図9Bにおける2つの位置間の距離が図9Aの場合より小さいことを示している。
第2のフィンガーイベントの形式は、2つの位置間の距離とは独立していることに注意されたい。図9Aに示す長い距離は、フィンガードラグイベントが検出されるまでに指が位置903から位置913へ素早く移動し、そして指が位置913においてタッチスクリーンディスプレイに接触したままであることを指示する。図9Bに示す短い距離は、指が短い移動の後にタッチスクリーンディスプレイから持ち上げられ、従って、位置915におけるフィンガーアップイベントの前にフィンガードラグイベントが検出されないことを示唆する。
2つの位置間の距離が規定スレッシュホールドより大きい場合に(807)、装置は、第1のユーザインターフェイスオブジェクトに関連した第1のアクションを遂行する(811)(例えば、図9Aにおいてスライド制御ユーザインターフェイスオブジェクト906をアクチベートし、そしてスライドバー905に沿って位置901から位置911へスライドオブジェクト910を移動する)。
2つの位置間の距離が規定のスレッシュホールド以下である場合には(809)、装置は、第2位置において検出された第2のフィンガーイベントの形式をチェックする(813)。第2のフィンガーイベントがフィンガーアップイベントである場合には、装置は、第2のユーザインターフェイスオブジェクトに関連した第2のアクションを遂行し(815)、例えば、ボタン制御オブジェクト902をアクチベートする。第2のフィンガーイベントがフィンガードラグイベントである場合には、装置は、オペレーション803に戻って次のフィンガーイベントを検出する以外、何のアクションも遂行しない。
図9Aを参照すれば、距離、例えば、ベクトル907の水平成分は、ヒューリスティックに決定された規定スレッシュホールドより大きく且つユーザ構成可能であるので、装置は、ユーザがスライド制御ユーザインターフェイスオブジェクト906をアクチベートしようとし、例えば、オブジェクトが音量制御に使用される場合にはオーディオ音量を増加し、又はオブジェクトがプレイ時間制御に使用される場合にはビデオストリームを早送りしようとしていると推測する。スライドオブジェクト910は、スライドバー905に沿って位置901から位置911へ移動される。上述したように、スライドオブジェクト910は、典型的に、スライドバー905に沿って、スライドオブジェクト910がスライドバー905の端に到達するまで、スライドバー905への第2位置の投影により決定された位置へと移動される。換言すれば、スライドオブジェクト910は、スライドバー905の各端を越えて移動しない。
図9Aに示す例では、長い距離は、それ自体、ユーザの意図の充分な印であると思われる。第2位置における第2のフィンガーイベントの形式は、関係ないものとなり、装置は、指ジェスチャーの終了にボタン制御インターフェイスオブジェクトをアクチベートしない。換言すれば、903と913との間の位置の変化が規定のスレッシュホールドを越えた場合には、装置は、第2のフィンガーイベントがフィンガーアップイベントであり且つ手前のフィンガードラグイベントが検出されていなくても、スライド制御ユーザインターフェイスオブジェクト906をアクチベートし、ボタン制御ユーザインターフェイスオブジェクト902をアクチベートしない。位置913におけるフィンガードラグイベントと位置913におけるフィンガーアップイベントとの間の主たる相違は、第2のフィンガーイベントがフィンガードラグイベントである場合には指ジェスチャーが終了すると思われないことである。従って、スライドオブジェクト910は、フィンガーアップイベントが検出されるまでその後のフィンガーイベントの検出に応答してスライドバーに沿って再び移動される。
図9Bは、第2位置915においてフィンガーアップイベントが検出されることを示す。図9Bにおけるベクトル909の水平成分は、規定スレッシュホールド以下であるから、装置は、ユーザがボタン制御ユーザインターフェイスオブジェクト902をアクチベートしようとしていると推測し、そしてそれに対応するオペレーションを遂行し、例えば、オブジェクト902が図5に示すようにコールボタン3240である場合にはコールを開始する。
図9Cは、ポータブル装置がスライド制御ユーザインターフェイスオブジェクト906をアクチベートする別の実施形態である。この例では、ユーザは、破線の曲線919に沿ってタッチスクリーンディスプレイ上で自分の指をドラグし、一連のフィンガードラグイベントを発生させる。
図8を参照して上述したように、フィンガードラグイベントである第2のフィンガーイベントが第2位置で検出され、そして2つの位置間の距離が規定スレッシュホールド以下である場合には、装置は、ユーザインターフェイスオブジェクトをアクチベートもしないし、又、次のフィンガーイベントの発生を待機もしない。ある点において、フィンガードラグイベントが位置918で検出され、そして位置903と位置918との間のベクトルの水平成分は、スレッシュホールドより大きい。それに応答して、スライド制御ユーザインターフェイスオブジェクト906がアクチベートされ、そして装置は、スライドバー905への検出位置の投影に基づく新たな位置へとスライドバー905に沿ってスライドオブジェクト910の移動を開始する。その後、新たな位置918−1においてフィンガードラグイベントが検出されるたびに、装置は、手前のフィンガードラグイベントに関連した手前の位置と、新たな位置918−1との間のベクトルの水平成分を決定し、そしてそれに応じてスライドバー905に沿ってスライドオブジェクト910を(例えば、図9Cにおける新たな位置912’へ)移動させる。タッチスクリーンディスプレイにおいて最後の位置917でフィンガーアップイベントが検出され、それに応じて、スライドオブジェクト910がスライドバー905上の位置912で停止するまで、オペレーションのこのセットが繰り返される。
図9Cにおいてフィンガーアップイベントに関連した最後の位置917は、スライド制御ユーザインターフェイスオブジェクト906をアクチベートするユーザの意図についての装置の推測には影響を及ぼさないことに注意されたい。スライド制御ユーザインターフェイスオブジェクト906は、最後の位置917(即ち、フィンガーアップイベントが検出される位置)が、そのスライド制御ユーザインターフェイスオブジェクト906を取り巻く隠れたヒット領域908の外側で、例えば、非アクチベートのユーザインターフェイスオブジェクト(例えば、図9Cのボタン制御ユーザインターフェイスオブジェクト902)の隠れたヒット領域内にある場合でも、アクチベートされる。スライド制御ユーザインターフェイスオブジェクト906は、第1位置903と最後の位置917との間のベクトルの水平成分が規定スレッシュホールド以下である場合でも、アクチベートされる。
ある実施形態では、重畳する隠れたヒット領域を伴う複数の隣接ユーザインターフェイスオブジェクトの1つをアクチベートするフィンガーイベントの第2位置は、タッチスクリーンディスプレイ上のどこかで見つけることができる。例えば、図9A及び9Bにおいて、第1位置が2つのユーザインターフェイスオブジェクト間の重畳する隠れたヒット領域920内に入る限り、第2位置は、2つのユーザインターフェイスオブジェクトの隠れたヒット領域の外側でもよい。スライド制御ユーザインターフェイスオブジェクト906は、図9Aにおいて、2つの位置間のベクトルの水平成分が規定のスレッシュホールドより大きい場合には、第2位置がそのスライド制御ユーザインターフェイスオブジェクト906を取り巻く隠れたヒット領域908の外側にあっても、アクチベートされる。同様に、ボタン制御ユーザインターフェイスオブジェクト902は、図9Bにおいて、2つの位置間の距離が規定のスレッシュホールド以下である場合には、フィンガーアップイベントが検出される第2位置がそのボタン制御ユーザインターフェイスオブジェクト902を取り巻く隠れたヒット領域904の外側にあっても、アクチベートされる。
以上、特定の実施形態を参照して本発明を詳細に述べた。しかしながら、前記説明は、余すところのないものではなく、本発明をその正確な形態に限定するものではない。以上の教示に鑑み、多数の変更や修正が考えられる。前記実施形態は、本発明の原理及びその実際の応用を最良に説明するために選択され説明されたもので、当業者であれば、意図された特定の用途に適するように種々の変更を加えて、本発明及び種々の実施形態を最良に利用することができよう。
100:ポータブルマルチファンクション装置
102:メモリ
106:I/Oサブシステム
108:RF回路
110:オーディオ回路
111:スピーカ
112:タッチ感知ディスプレイシステム
113:マイクロホン
116:他の入力制御装置
118:周辺インターフェイス
120:プロセッサ
122:コントローラ
124:外部ポート
126:オペレーティングシステム
128:通信モジュール
130:接触/運動モジュール
132:グラフィックモジュール
134:テキスト入力モジュール
135:GPSモジュール
136:アプリケーション
137:連絡先モジュール
138:電話モジュール
139:ビデオ会議モジュール
140:e−メールクライアントモジュール
141:インスタントメッセージングモジュール
142:ブログモジュール
143:カメラモジュール
144:映像管理モジュール
145:ビデオプレーヤモジュール
146:音楽プレーヤモジュール
147:ブラウジングモジュール
148:カレンダーモジュール
149:ウィジェットモジュール
149−1:天気ウィジェット
149−2:株ウィジェット
149−3:計算器ウィジェット
149−4:アラームクロックウィジェット
149−5:辞書ウィジェット
149−6:ユーザ生成ウィジェット
150:ウィジェットクリエータモジュール
151:サーチモジュール
152:ビデオ及び音楽プレーヤモジュール
153:ノートモジュール
154:マップモジュール
155:オンラインビデオモジュール
156:ディスプレイコントローラ
158:光学センサコントローラ
160:他の入力コントローラ
162:電源システム
164:光学的センサ
166:接近センサ
168:加速度計
5802:ボタン制御ユーザインターフェイスオブジェクト
5804:隠れたヒット領域
5806:スライド制御ユーザインターフェイスオブジェクト
5816:隠れたヒット領域

Claims (33)

  1. 複数のユーザインターフェイスオブジェクトをもつタッチスクリーンディスプレイを伴うポータブル電子装置において、
    前記タッチスクリーンディスプレイの第1位置でフィンガーダウンイベントを検出するステップと、
    前記タッチスクリーンディスプレイの第2位置でフィンガーアップイベントを検出するステップと、
    前記第1位置と第2位置との間の距離を決定するステップと、
    前記タッチスクリーンディスプレイ上に両方とも表示され且つ前記第1位置に両方とも関連したボタン制御ユーザインターフェイスオブジェクト及びスライド制御ユーザインターフェイスオブジェクトを識別するステップであって、スライド制御ユーザインターフェイスオブジェクトがスライドバー及びスライドオブジェクトを含むようなステップと、
    前記距離が第1の規定スレッシュホールド以下である場合に前記ボタン制御ユーザインターフェイスオブジェクトをアクチベートするステップと、
    前記距離が第2の規定スレッシュホールドより大きい場合に前記第1位置と第2位置との間の距離に基づいて前記スライド制御ユーザインターフェイスオブジェクトのスライドバーに沿ってスライドオブジェクトを移動するステップと、
    を備えたコンピュータ実施方法。
  2. 前記ボタン制御ユーザインターフェイスオブジェクトはヒット領域を有し、前記スライド制御ユーザインターフェイスオブジェクトはヒット領域を有し、これら2つのヒット領域は重畳し、前記第1位置は、2つのヒット領域の重畳部内にある、請求項1に記載の方法。
  3. 前記第1の規定スレッシュホールド及び第2の規定スレッシュホールドは、個別の値を有する、請求項1に記載の方法。
  4. 複数のユーザインターフェイスオブジェクトをもつタッチスクリーンディスプレイを伴うポータブル電子装置において、
    前記タッチスクリーンディスプレイの第1位置でフィンガーダウンイベントを検出するステップと、
    前記タッチスクリーンディスプレイの第2位置でフィンガーアップイベントを検出するステップと、
    前記第1位置と第2位置との間の距離を決定するステップと、
    前記距離が第1の規定スレッシュホールド以下である場合に前記タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクトに対する第1アクションを遂行するステップと、
    前記距離が第2の規定スレッシュホールドより大きい場合に前記タッチスクリーンディスプレイ上に表示される第2のユーザインターフェイスオブジェクトに対する第2アクションを遂行するステップであって、第2のユーザインターフェイスオブジェクトが第1のユーザインターフェイスオブジェクトとは個別のものであるステップと、
    を備えたコンピュータ実施方法。
  5. 前記タッチスクリーンディスプレイ上に両方とも表示され且つ前記第1位置に両方とも関連したボタン制御ユーザインターフェイスオブジェクト及びスライド制御ユーザインターフェイスオブジェクトを識別するステップを更に備え、スライド制御ユーザインターフェイスオブジェクトがスライドバー及びスライドオブジェクトを含む、請求項4に記載の方法。
  6. 前記第1アクションは、前記距離が第1の規定スレッシュホールド以下である場合に、前記ボタン制御ユーザインターフェイスオブジェクトをアクチベートする、請求項5に記載の方法。
  7. 前記第2アクションは、前記距離が第2の規定スレッシュホールドより大きい場合に、前記第1位置と第2位置との間の距離に基づいて前記スライド制御ユーザインターフェイスオブジェクトのスライドバーに沿ってスライドオブジェクトを移動する、請求項5に記載の方法。
  8. 前記スライドオブジェクトは、前記スライドバーへの前記第1位置と第2位置との間の距離の投影により決定される量だけ前記スライドバーに沿って移動される、請求項7に記載の方法。
  9. 前記ボタン制御ユーザインターフェイスオブジェクトはヒット領域を有し、前記スライド制御ユーザインターフェイスオブジェクトはヒット領域を有し、これら2つのヒット領域は重畳し、前記第1位置は、2つのヒット領域の重畳部内にある、請求項5に記載の方法。
  10. 前記第2位置が、前記ボタン制御ユーザインターフェイスオブジェクトのヒット領域内にあるが、前記スライド制御ユーザインターフェイスオブジェクトのヒット領域にはない場合に、前記ボタン制御ユーザインターフェイスオブジェクトをアクチベートするステップを更に備えた、請求項9に記載の方法。
  11. 前記第1の規定スレッシュホールド及び第2の規定スレッシュホールドは、個別の値を有する、請求項4に記載の方法。
  12. 前記第2位置が前記ボタン制御ユーザインターフェイスオブジェクトのヒット領域内にない場合に前記第1位置と第2位置との間の距離に基づいて前記スライド制御ユーザインターフェイスオブジェクトのスライドバーに沿って前記スライドオブジェクトを移動するステップを更に備えた、請求項9に記載の方法。
  13. 前記第2位置が、前記スライド制御ユーザインターフェイスオブジェクトのヒット領域内にあるが、前記ボタン制御ユーザインターフェイスオブジェクトのヒット領域にはない場合に、前記第1位置と第2位置との間の距離に基づいて前記スライド制御ユーザインターフェイスオブジェクトのスライドバーに沿って前記スライドオブジェクトを移動するステップを更に備えた、請求項9に記載の方法。
  14. 前記フィンガーダウンイベントを検出した後に、
    前記タッチスクリーンディスプレイ上でフィンガードラグイベントを検出し、このフィンガードラグイベントは、前記タッチスクリーンディスプレイ上に関連位置を有するものであり、
    前記スライド制御ユーザインターフェイスオブジェクトのスライドバーに沿って、前記スライドオブジェクトを、その現在位置から、少なくとも一部分は前記タッチスクリーンディスプレイ上のフィンガードラグイベントの関連位置により決定された異なる位置へ移動させ、
    フィンガーアップイベントが検出されるまで、フィンガードラグイベントの前記検出及び前記スライドオブジェクトの移動を繰り返す、
    ことを含む請求項5に記載の方法。
  15. タッチスクリーンディスプレイを伴うポータブル電子装置のグラフィックユーザインターフェイスにおいて、
    前記タッチスクリーンディスプレイに表示される第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトを含む複数のユーザインターフェイスオブジェクトを備え、
    前記タッチスクリーンディスプレイの第1位置でフィンガーダウンイベントが検出され、
    前記タッチスクリーンディスプレイの第2位置でフィンガーアップイベントが検出され、
    前記第1位置と第2位置との間の距離が決定され、
    前記距離が第1の規定スレッシュホールド以下である場合に前記第1のユーザインターフェイスオブジェクトに対して第1アクションが遂行され、
    前記距離が第2の規定スレッシュホールドより大きい場合に前記第2のユーザインターフェイスオブジェクトに対して第2アクションが遂行され、前記第2のユーザインターフェイスオブジェクトは、前記第1のユーザインターフェイスオブジェクトとは個別のものである、グラフィックユーザインターフェイス。
  16. 複数のユーザインターフェイスオブジェクトをもつタッチスクリーンディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    前記メモリに記憶されて、前記1つ以上のプロセッサにより実行されるように構成された1つ以上のプログラムと、
    を備え、前記1つ以上のプログラムは、
    前記タッチスクリーンディスプレイの第1位置でフィンガーダウンイベントを検出するためのインストラクションと、
    前記タッチスクリーンディスプレイの第2位置でフィンガーアップイベントを検出するためのインストラクションと、
    前記第1位置と第2位置との間の距離を決定するためのインストラクションと、
    前記距離が第1の規定スレッシュホールド以下である場合に前記タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクトに対して第1アクションを遂行するためのインストラクションと、
    前記距離が第2の規定スレッシュホールドより大きい場合に前記タッチスクリーンディスプレイ上に表示される第2のユーザインターフェイスオブジェクトに対して第2アクションを遂行するためのインストラクションであって、前記第2のユーザインターフェイスオブジェクトが、前記第1のユーザインターフェイスオブジェクトとは個別のものであるインストラクションと、
    を含む、ポータブル電子装置。
  17. 複数のユーザインターフェイスオブジェクトをもつタッチスクリーンディスプレイを伴うポータブル電子装置で実行されたときに、その装置が、
    前記タッチスクリーンディスプレイの第1位置でフィンガーダウンイベントを検出し、
    前記タッチスクリーンディスプレイの第2位置でフィンガーアップイベントを検出し、
    前記第1位置と第2位置との間の距離を決定し、
    前記距離が第1の規定スレッシュホールド以下である場合に前記タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクトに対して第1アクションを遂行し、
    前記距離が第2の規定スレッシュホールドより大きい場合に前記タッチスクリーンディスプレイ上に表示される第2のユーザインターフェイスオブジェクトに対して第2アクションを遂行し、前記第2のユーザインターフェイスオブジェクトは、前記第1のユーザインターフェイスオブジェクトとは個別のものである、
    ようにさせるインストラクションが記憶されたコンピュータ読み取り可能な記憶媒体。
  18. 複数のユーザインターフェイスオブジェクトをもつタッチスクリーンディスプレイを伴うポータブル電子装置において、
    前記タッチスクリーンディスプレイの第1位置でフィンガーダウンイベントを検出するための手段と、
    前記タッチスクリーンディスプレイの第2位置でフィンガーアップイベントを検出するための手段と、
    前記第1位置と第2位置との間の距離を決定するための手段と、
    前記距離が第1の規定スレッシュホールド以下である場合に前記タッチスクリーンディスプレイ上に表示される第1のユーザインターフェイスオブジェクトに対して第1アクションを遂行するための手段と、
    前記距離が第2の規定スレッシュホールドより大きい場合に前記タッチスクリーンディスプレイ上に表示される第2のユーザインターフェイスオブジェクトに対して第2アクションを遂行するための手段であって、前記第2のユーザインターフェイスオブジェクトが前記第1のユーザインターフェイスオブジェクトとは個別のものである手段と、
    を備えたポータブル電子装置。
  19. 複数のユーザインターフェイスオブジェクトをもつタッチスクリーンディスプレイを伴うポータブル電子装置において、
    前記タッチスクリーンディスプレイの第1位置で第1のフィンガーダウンイベントを検出するステップであって、前記第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接し、且つ前記第1のユーザインターフェイスオブジェクトは、前記第2のユーザインターフェイスオブジェクトとは異なるものであるステップと、
    前記タッチスクリーンディスプレイの第2位置で第2のフィンガーイベントを検出するステップであって、前記第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されるようなステップと、
    前記第2フィンガーイベントの形式、及び前記第1位置と第2位置との間の距離を決定するステップと、
    前記距離が規定スレッシュホールドより大きい場合に前記第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行するステップと、
    前記距離が前記規定スレッシュホールド以下であり且つ前記第2のフィンガーイベントがフィンガーアップイベントである場合に前記第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行するステップと、
    を備えたコンピュータ実施方法。
  20. 前記距離が前記規定スレッシュホールド以下であり且つ前記第2のフィンガーイベントがフィンガードラグイベントである場合に前記タッチスクリーンディスプレイ上の位置で次のフィンガーイベントを検出するステップを更に備えた、請求項19に記載の方法。
  21. 前記第1アクションを遂行した後に、
    前記タッチスクリーンディスプレイ上の新たな位置でフィンガードラグイベントを検出し、
    前記新たな位置と、手前のフィンガードラグイベントに関連した手前の位置との間の距離を決定し、
    前記第1のユーザインターフェイスオブジェクトに関連した別のアクションを遂行し、
    前記タッチスクリーンディスプレイ上の最後の位置でフィンガーアップイベントが検出されるまで前記検出、決定及び遂行オペレーションを繰り返す、
    ことを含む請求項19に記載の方法。
  22. 前記第1位置と前記最後の位置との間の距離は、前記規定スレッシュホールド以下である、請求項21に記載の方法。
  23. 前記最後の位置は、前記第1のユーザインターフェイスオブジェクトを取り巻く隠れたヒット領域の外側である、請求項21に記載の方法。
  24. フィンガーアップイベントが検出される前記第2位置は、前記第2のユーザインターフェイスオブジェクトを取り巻く隠れたヒット領域の外側である、請求項19に記載の方法。
  25. 前記第1位置は、前記第1のユーザインターフェイスオブジェクトと第2のユーザインターフェイスオブジェクトとの間の重畳する隠れたヒット領域内に入る、請求項19に記載の方法。
  26. 前記第1のユーザインターフェイスオブジェクトは、スライドバー及びスライドオブジェクトを含むスライド制御ユーザインターフェイスオブジェクトである、請求項19に記載の方法。
  27. 前記第1アクションを遂行することは、前記スライドバーへの前記第2位置の投影により決定された位置へ前記スライドバーに沿って前記スライドオブジェクトを移動させることを含む、請求項26に記載の方法。
  28. 前記第2のユーザインターフェイスオブジェクトは、ボタン制御ユーザインターフェイスオブジェクトである、請求項19に記載の方法。
  29. 前記第2アクションを遂行することは、ボタン制御ユーザインターフェイスオブジェクトをアクチベートすることを含む、請求項28に記載の方法。
  30. タッチスクリーンディスプレイを伴うポータブル電子装置のグラフィックユーザインターフェイスにおいて、
    前記タッチスクリーンディスプレイに表示される第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトを含む複数のユーザインターフェイスオブジェクトを備え、第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なり、
    前記タッチスクリーンディスプレイの第1位置であって前記第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接する第1位置における第1のフィンガーダウンイベント、及び
    前記タッチスクリーンディスプレイの第2位置における第2のフィンガーイベントであってフィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものである第2のフィンガーイベント、を検出するのに応答して、
    前記第2のフィンガーイベントの形式、及び前記第1位置と第2位置との間の距離が決定され、
    前記距離が規定スレッシュホールドより大きい場合には、前記第1のユーザインターフェイスオブジェクトに関連した第1アクションが遂行され、そして
    前記距離が規定スレッシュホールド以下であり且つ前記第2のフィンガーイベントがフィンガーアップイベントである場合には、前記第2のユーザインターフェイスオブジェクトに関連した第2アクションが遂行される、グラフィックユーザインターフェイス。
  31. 複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    前記メモリに記憶され且つ前記1つ以上のプロセッサにより実行されるよう構成された1つ以上のプログラムと、
    を備え、前記1つ以上のプログラムは、
    前記タッチスクリーンディスプレイ上の第1位置で第1のフィンガーダウンイベントを検出するためのインストラクションであって、前記第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接し、且つ第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なるものであるインストラクションと、
    前記タッチスクリーンディスプレイ上の第2位置で第2のフィンガーイベントを検出するためのインストラクションであって、前記第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものであるインストラクションと、
    前記第2のフィンガーイベントの形式、及び前記第1位置と第2位置との間の距離を決定するためのインストラクションと、
    前記距離が規定スレッシュホールドより大きい場合に、前記第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行するためのインストラクションと、
    前記距離が規定スレッシュホールド以下であり且つ前記第2のフィンガーイベントがフィンガーアップイベントである場合に、前記第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行するためのインストラクションと、
    を含む、ポータブル電子装置。
  32. 複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置で実行されたときに、この装置が、
    前記タッチスクリーンディスプレイ上の第1位置で第1のフィンガーダウンイベントを検出し、該第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接し、且つ第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なり、
    前記タッチスクリーンディスプレイ上の第2位置で第2のフィンガーイベントを検出し、該第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものであり、
    前記第2のフィンガーイベントの形式、及び前記第1位置と第2位置との間の距離を決定し、
    前記距離が規定スレッシュホールドより大きい場合には、前記第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行し、そして
    前記距離が規定スレッシュホールド以下であり且つ前記第2のフィンガーイベントがフィンガーアップイベントである場合には、前記第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行する、
    ようにさせるインストラクションが記憶されたコンピュータ読み取り可能な記憶媒体。
  33. 複数のユーザインターフェイスオブジェクトを伴うタッチスクリーンディスプレイをもつポータブル電子装置において、
    前記タッチスクリーンディスプレイ上の第1位置で第1のフィンガーダウンイベントを検出するための手段であって、その第1位置は、第1のユーザインターフェイスオブジェクト及び第2のユーザインターフェイスオブジェクトに隣接し、且つ第1のユーザインターフェイスオブジェクトは、第2のユーザインターフェイスオブジェクトとは異なるものである手段と、
    前記タッチスクリーンディスプレイ上の第2位置で第2のフィンガーイベントを検出するための手段であって、その第2のフィンガーイベントは、フィンガードラグイベント及びフィンガーアップイベントより成るグループから選択されたものである手段と、
    前記第2のフィンガーイベントの形式、及び前記第1位置と第2位置との間の距離を決定するための手段と、
    前記距離が規定スレッシュホールドより大きい場合に、前記第1のユーザインターフェイスオブジェクトに関連した第1アクションを遂行するための手段と、
    前記距離が規定スレッシュホールド以下であり且つ第2のフィンガーイベントがフィンガーアップイベントである場合に、前記第2のユーザインターフェイスオブジェクトに関連した第2アクションを遂行するための手段と、
    を備えたポータブル電子装置。
JP2009545010A 2007-01-07 2008-01-07 タッチスクリーンディスプレイ上での指ジェスチャーを解釈するためのポータブルマルチファンクション装置、方法及びグラフィックユーザインターフェイス Active JP5335690B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US87925307P 2007-01-07 2007-01-07
US60/879,253 2007-01-07
US87946907P 2007-01-08 2007-01-08
US60/879,469 2007-01-08
US94697707P 2007-06-28 2007-06-28
US60/946,977 2007-06-28
US93799307P 2007-06-29 2007-06-29
US60/937,993 2007-06-29
US11/969,796 US8519963B2 (en) 2007-01-07 2008-01-04 Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US11/969,796 2008-01-04
PCT/US2008/050426 WO2008086302A1 (en) 2007-01-07 2008-01-07 Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display

Publications (2)

Publication Number Publication Date
JP2010515980A true JP2010515980A (ja) 2010-05-13
JP5335690B2 JP5335690B2 (ja) 2013-11-06

Family

ID=39593866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009545010A Active JP5335690B2 (ja) 2007-01-07 2008-01-07 タッチスクリーンディスプレイ上での指ジェスチャーを解釈するためのポータブルマルチファンクション装置、方法及びグラフィックユーザインターフェイス

Country Status (7)

Country Link
US (1) US8519963B2 (ja)
EP (2) EP2126676B1 (ja)
JP (1) JP5335690B2 (ja)
KR (1) KR101085712B1 (ja)
CN (1) CN101627361B (ja)
AU (1) AU2008204988B2 (ja)
WO (1) WO2008086302A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013532876A (ja) * 2010-09-30 2013-08-19 ファーウェイ デバイス カンパニー リミテッド ユーザタッチ操作モード適応方法および装置
JP2018041491A (ja) * 2017-10-26 2018-03-15 オリンパス株式会社 電子機器、アイコン表示方法およびアイコン表示用プログラム

Families Citing this family (248)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US8698844B1 (en) 2005-04-16 2014-04-15 Apple Inc. Processing cursor movements in a graphical user interface of a multimedia application
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
KR101397080B1 (ko) * 2007-10-05 2014-05-21 엘지전자 주식회사 멀티 기능 실행능력을 갖는 휴대 단말기 및 그 방법
EP2212762A4 (en) 2007-11-19 2011-06-29 Cirque Corp TOUCH PANEL COMBINED ON SCREEN AND HAVING PROXIMITY AND TOUCH SENSING CAPABILITIES
US10176827B2 (en) 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US9628880B2 (en) 2008-04-07 2017-04-18 Koss Corporation Wooden or other dielectric capacitive touch interface and loudspeaker having same
TWI366776B (en) * 2008-04-21 2012-06-21 Htc Corp Operating method and system and stroage device using the same
US8174503B2 (en) 2008-05-17 2012-05-08 David H. Cain Touch-based authentication of a mobile device through user generated pattern creation
US8296670B2 (en) * 2008-05-19 2012-10-23 Microsoft Corporation Accessing a menu utilizing a drag-operation
US8284170B2 (en) * 2008-09-30 2012-10-09 Apple Inc. Touch screen device, method, and graphical user interface for moving on-screen objects without using a cursor
EP2175352A3 (en) * 2008-10-07 2010-05-05 Research In Motion Limited Portable electronic device and method of controlling same
US10489434B2 (en) 2008-12-12 2019-11-26 Verint Americas Inc. Leveraging concepts with information retrieval techniques and knowledge bases
KR20100070733A (ko) * 2008-12-18 2010-06-28 삼성전자주식회사 아이템 표시방법 및 이를 적용한 디스플레이 장치
US20100166404A1 (en) * 2008-12-31 2010-07-01 Lombardi Michael J Device and Method Using a Touch-Detecting Surface
KR101854141B1 (ko) * 2009-01-19 2018-06-14 삼성전자주식회사 디스플레이 정보 제어 장치 및 방법
KR20110123270A (ko) * 2009-02-23 2011-11-14 리서치 인 모션 리미티드 터치 감지형 디스플레이 및 이의 제어 방법
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8255830B2 (en) 2009-03-16 2012-08-28 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
KR101549558B1 (ko) * 2009-03-18 2015-09-03 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8836648B2 (en) 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US20110035700A1 (en) * 2009-08-05 2011-02-10 Brian Meaney Multi-Operation User Interface Tool
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
US8799775B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for displaying emphasis animations for an electronic document in a presentation mode
KR101624920B1 (ko) * 2009-11-16 2016-05-27 삼성전자주식회사 휴대단말의 통화 연결 방법 및 장치
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20110167339A1 (en) * 2010-01-06 2011-07-07 Lemay Stephen O Device, Method, and Graphical User Interface for Attachment Viewing and Editing
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
JP5434638B2 (ja) * 2010-01-29 2014-03-05 ソニー株式会社 情報処理装置および情報処理方法
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US8799827B2 (en) * 2010-02-19 2014-08-05 Microsoft Corporation Page manipulations using on and off-screen gestures
US9274682B2 (en) 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US8473870B2 (en) 2010-02-25 2013-06-25 Microsoft Corporation Multi-screen hold and drag gesture
US8539384B2 (en) 2010-02-25 2013-09-17 Microsoft Corporation Multi-screen pinch and expand gestures
US8707174B2 (en) 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US8751970B2 (en) 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
US9075522B2 (en) 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
WO2011158475A1 (ja) 2010-06-16 2011-12-22 パナソニック株式会社 情報入力装置、情報入力方法及びプログラム
US9134843B2 (en) * 2010-06-30 2015-09-15 Synaptics Incorporated System and method for distinguishing input objects
US8468465B2 (en) * 2010-08-09 2013-06-18 Apple Inc. Two-dimensional slider control
JP2012043180A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
US20120062602A1 (en) * 2010-09-13 2012-03-15 Nokia Corporation Method and apparatus for rendering a content display
US9122744B2 (en) 2010-10-11 2015-09-01 Next It Corporation System and method for providing distributed intelligent assistance
US9262002B2 (en) 2010-11-03 2016-02-16 Qualcomm Incorporated Force sensing touch screen
JP2012104994A (ja) * 2010-11-09 2012-05-31 Sony Corp 入力装置、入力方法、プログラム及び記録媒体
KR101522345B1 (ko) 2010-11-12 2015-05-21 주식회사 케이티 이동 통신 단말에서의 배경화면 표시 방법 및 그 장치
CN102479010A (zh) * 2010-11-29 2012-05-30 苏州华芯微电子股份有限公司 电容触摸板中的手指判定方法
WO2012072853A1 (en) * 2010-12-01 2012-06-07 Nokia Corporation Receiving scriber data
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9471145B2 (en) 2011-01-06 2016-10-18 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9015641B2 (en) 2011-01-06 2015-04-21 Blackberry Limited Electronic device and method of providing visual notification of a received communication
US9465440B2 (en) 2011-01-06 2016-10-11 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9477311B2 (en) 2011-01-06 2016-10-25 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9766718B2 (en) 2011-02-28 2017-09-19 Blackberry Limited Electronic device and method of displaying information in response to input
US9423878B2 (en) 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US8810529B2 (en) * 2011-02-11 2014-08-19 Blackberry Limited Electronic device and method of controlling same
US20130321322A1 (en) * 2011-02-25 2013-12-05 Lg Electronics Inc. Mobile terminal and method of controlling the same
US9213421B2 (en) 2011-02-28 2015-12-15 Blackberry Limited Electronic device and method of displaying information in response to detecting a gesture
CN102681702B (zh) * 2011-03-07 2015-11-25 联想(北京)有限公司 控制方法、控制装置以及电子设备
WO2012119548A1 (zh) * 2011-03-07 2012-09-13 联想(北京)有限公司 控制方法、控制装置、显示装置以及电子设备
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9239672B2 (en) * 2011-04-20 2016-01-19 Mellmo Inc. User interface for data comparison
KR101199618B1 (ko) 2011-05-11 2012-11-08 주식회사 케이티테크 화면 분할 표시 장치 및 방법
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
EP2715494A4 (en) * 2011-05-30 2015-09-09 Li Ni GRAPHIC OBJECT SELECTION BY MEASURED WIPES
US8677232B2 (en) 2011-05-31 2014-03-18 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
CN102843280B (zh) * 2011-06-24 2015-03-25 联想(北京)有限公司 通信设备的通信方法、系统及通信设备
CN102866809A (zh) * 2011-07-04 2013-01-09 光宝新加坡有限公司 光学导航模块的点击检测方法
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9733712B2 (en) 2011-08-29 2017-08-15 Kyocera Corporation Device, method, and storage medium storing program
JP6017891B2 (ja) 2011-08-29 2016-11-02 京セラ株式会社 装置、方法、及びプログラム
US9703382B2 (en) 2011-08-29 2017-07-11 Kyocera Corporation Device, method, and storage medium storing program with control for terminating a program
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
JP2013084233A (ja) 2011-09-28 2013-05-09 Kyocera Corp 装置、方法、及びプログラム
JP6091829B2 (ja) 2011-09-28 2017-03-08 京セラ株式会社 装置、方法、及びプログラム
JP5805601B2 (ja) * 2011-09-30 2015-11-04 京セラ株式会社 装置、方法、及びプログラム
JP5852392B2 (ja) * 2011-09-30 2016-02-03 京セラ株式会社 装置、方法、及びプログラム
US9619139B2 (en) 2011-10-03 2017-04-11 Kyocera Corporation Device, method, and storage medium storing program
US9342235B2 (en) 2011-10-03 2016-05-17 Kyocera Corporation Device, method, and storage medium storing program
JP2013105202A (ja) 2011-11-10 2013-05-30 Kyocera Corp 装置、方法、及びプログラム
US8711292B2 (en) 2011-11-22 2014-04-29 Atmel Corporation Integrated touch screen
US20130127775A1 (en) * 2011-11-22 2013-05-23 Esat Yilmaz Single-Layer Touch Sensor with Crossovers
JP6194167B2 (ja) 2011-11-25 2017-09-06 京セラ株式会社 装置、方法、及びプログラム
JP6159078B2 (ja) 2011-11-28 2017-07-05 京セラ株式会社 装置、方法、及びプログラム
JP6002012B2 (ja) 2011-11-28 2016-10-05 京セラ株式会社 装置、方法、及びプログラム
JP5950546B2 (ja) 2011-11-28 2016-07-13 京セラ株式会社 携帯電子機器、方法及びプログラム
JP5827109B2 (ja) 2011-11-28 2015-12-02 京セラ株式会社 装置、方法、及びプログラム
CN104094213B (zh) * 2011-12-14 2017-07-21 索尼电脑娱乐公司 信息处理装置、信息处理方法、程序以及信息存储介质
JP6080355B2 (ja) 2011-12-21 2017-02-15 京セラ株式会社 装置、方法及びプログラム
JP5809963B2 (ja) 2011-12-22 2015-11-11 京セラ株式会社 装置、方法、及びプログラム
JP5775445B2 (ja) 2011-12-27 2015-09-09 京セラ株式会社 装置、方法、及びプログラム
JP5762944B2 (ja) * 2011-12-28 2015-08-12 京セラ株式会社 装置、方法、及びプログラム
US9836177B2 (en) 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
US9448651B2 (en) 2012-01-09 2016-09-20 Google Inc. Intelligent touchscreen keyboard with finger differentiation
US9058168B2 (en) 2012-01-23 2015-06-16 Blackberry Limited Electronic device and method of controlling a display
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
CN102662646B (zh) * 2012-03-01 2015-09-23 华为技术有限公司 传感数据处理方法及计算节点
JP5840045B2 (ja) 2012-03-23 2016-01-06 京セラ株式会社 装置、方法、及びプログラム
JP5891083B2 (ja) 2012-03-26 2016-03-22 京セラ株式会社 装置、方法、及びプログラム
JP5972629B2 (ja) 2012-03-27 2016-08-17 京セラ株式会社 装置、方法、及びプログラム
JP5547766B2 (ja) 2012-03-28 2014-07-16 京セラ株式会社 通信装置、通信方法、及び通信プログラム
US9223537B2 (en) 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN111310619B (zh) 2012-05-18 2021-06-04 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
JP5902556B2 (ja) 2012-05-25 2016-04-13 京セラ株式会社 電子機器、制御方法及び制御プログラム
JP5620947B2 (ja) 2012-06-27 2014-11-05 キヤノン株式会社 電子機器およびその制御方法、プログラム並びに記憶媒体
JP5805588B2 (ja) 2012-06-28 2015-11-04 京セラ株式会社 電子機器、制御方法及び制御プログラム
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
JP6133564B2 (ja) 2012-10-05 2017-05-24 京セラ株式会社 電子機器、制御方法、及び制御プログラム
JP5858896B2 (ja) 2012-10-05 2016-02-10 京セラ株式会社 電子機器、制御方法及び制御プログラム
WO2014065845A1 (en) * 2012-10-25 2014-05-01 Blackberry Limited Electronic device and method of displaying information in response to detecting a gesture
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
US9729695B2 (en) 2012-11-20 2017-08-08 Dropbox Inc. Messaging client application interface
US9755995B2 (en) * 2012-11-20 2017-09-05 Dropbox, Inc. System and method for applying gesture input to digital content
JP6125811B2 (ja) 2012-11-22 2017-05-10 京セラ株式会社 電子機器、制御方法、及び制御プログラム
US9411510B2 (en) 2012-12-07 2016-08-09 Apple Inc. Techniques for preventing typographical errors on soft keyboards
US9906637B2 (en) 2012-12-27 2018-02-27 Kyocera Corporation Wireless terminal device
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN104885050B (zh) 2012-12-29 2017-12-08 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
KR101742808B1 (ko) 2012-12-29 2017-06-01 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US9298360B2 (en) 2013-01-25 2016-03-29 Apple Inc. Accessibility techinques for presentation of symbolic expressions
US9311756B2 (en) 2013-02-01 2016-04-12 Apple Inc. Image group processing and visualization
US9891815B2 (en) 2013-02-21 2018-02-13 Kyocera Corporation Device having touch screen and three display areas
JP5805685B2 (ja) 2013-02-27 2015-11-04 京セラ株式会社 電子機器、制御方法、及び制御プログラム
WO2014142468A1 (en) 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Method of providing copy image and ultrasound apparatus therefor
US11096668B2 (en) 2013-03-13 2021-08-24 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for displaying an object
US9690476B2 (en) 2013-03-14 2017-06-27 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9355472B2 (en) * 2013-03-15 2016-05-31 Apple Inc. Device, method, and graphical user interface for adjusting the appearance of a control
JP5998085B2 (ja) * 2013-03-18 2016-09-28 アルプス電気株式会社 入力装置
JP5763117B2 (ja) 2013-03-25 2015-08-12 京セラ株式会社 携帯電子機器、制御方法及び制御プログラム
CN103218163B (zh) * 2013-03-28 2015-12-23 广东欧珀移动通信有限公司 一种调节音量的方法、装置及移动设备
US9507495B2 (en) 2013-04-03 2016-11-29 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
WO2014175395A1 (ja) 2013-04-26 2014-10-30 京セラ株式会社 装置、方法、及びプログラム
CN103294357B (zh) * 2013-05-16 2016-06-08 东莞宇龙通信科技有限公司 数据处理的方法及装置
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
CN103309673B (zh) * 2013-06-24 2017-03-01 小米科技有限责任公司 一种基于手势的会话处理方法、装置
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
CN105409181B (zh) * 2013-07-25 2020-01-21 交互数字Ce专利控股公司 用于显示对象的方法和设备
US9608944B2 (en) * 2013-08-09 2017-03-28 Beijing Lenovo Software Ltd. Information processing apparatus and information processing method
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9830044B2 (en) 2013-12-31 2017-11-28 Next It Corporation Virtual assistant team customization
US10855911B2 (en) * 2014-01-15 2020-12-01 Samsung Electronics Co., Ltd Method for setting image capture conditions and electronic device performing the same
CN104808936B (zh) * 2014-01-28 2018-11-02 宏碁股份有限公司 界面操作方法与应用该方法的便携式电子装置
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
KR102213311B1 (ko) * 2014-03-25 2021-02-05 엘지이노텍 주식회사 제스처 인식장치
US20170039076A1 (en) * 2014-04-30 2017-02-09 Empire Technology Development Llc Adjusting tap position on touch screen
KR102144588B1 (ko) 2014-05-09 2020-08-13 삼성전자주식회사 센서 모듈 및 이를 구비한 장치
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9887949B2 (en) * 2014-05-31 2018-02-06 Apple Inc. Displaying interactive notifications on touch sensitive devices
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
JP6399834B2 (ja) * 2014-07-10 2018-10-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
EP3158425A1 (en) * 2014-08-02 2017-04-26 Apple Inc. Context-specific user interfaces
US10671275B2 (en) 2014-09-04 2020-06-02 Apple Inc. User interfaces for improving single-handed operation of devices
US20160071517A1 (en) 2014-09-09 2016-03-10 Next It Corporation Evaluating Conversation Data based on Risk Factors
US9426571B2 (en) * 2014-12-05 2016-08-23 Shenzhen Great Power Innovation And Technology Enterprise Co., Ltd. Multifunctional wireless device
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US11200519B1 (en) 2015-05-05 2021-12-14 Centric Software, Inc. Drag and drop allocation in PLM
WO2016182272A1 (en) * 2015-05-08 2016-11-17 Samsung Electronics Co., Ltd. Terminal device and method for protecting information thereof
JP6182563B2 (ja) 2015-05-12 2017-08-16 京セラ株式会社 携帯装置、制御方法、及び制御プログラム
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
JP6541462B2 (ja) * 2015-06-25 2019-07-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10228804B2 (en) 2015-07-09 2019-03-12 Kyocera Corporation Mobile device with periodic estimation of underwater state based on detected acceleration
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) * 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN105242927B (zh) * 2015-10-09 2019-04-30 沈文策 一种基于复杂环境下实现开关可滑动可点击的方法
US9851806B2 (en) 2015-11-24 2017-12-26 International Business Machines Corporation Gesture recognition and control based on finger differentiation
CN105430498B (zh) * 2015-11-24 2018-06-19 天脉聚源(北京)传媒科技有限公司 一种播放控制方法及装置
JP6202082B2 (ja) * 2015-12-22 2017-09-27 ダイキン工業株式会社 設定値変更装置
CN105700751B (zh) * 2016-01-14 2018-09-04 广东欧珀移动通信有限公司 界面操作方法及电子设备
US10203860B2 (en) * 2016-03-18 2019-02-12 Ebay Inc. Graphical user interface element adjustment
JP2017183923A (ja) 2016-03-29 2017-10-05 京セラ株式会社 電子機器、文字入力制御方法、及び文字入力プログラム
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
KR102060995B1 (ko) * 2016-06-12 2019-12-31 애플 인크. 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스
DK179925B1 (en) 2016-06-12 2019-10-09 Apple Inc. User interface for managing controllable external devices
JP6719995B2 (ja) 2016-06-30 2020-07-08 京セラ株式会社 電子機器、制御方法、及びプログラム
US10481747B2 (en) * 2016-09-09 2019-11-19 Sensel Inc. System for detecting and characterizing inputs on a touch sensor
JP2018082243A (ja) 2016-11-14 2018-05-24 京セラ株式会社 電子機器、制御方法、およびプログラム
JP6665124B2 (ja) 2017-01-27 2020-03-13 京セラ株式会社 電子機器、制御方法、及びプログラム
JP6612799B2 (ja) 2017-03-06 2019-11-27 京セラ株式会社 電子機器、制御方法、及び制御プログラム
USD878411S1 (en) * 2017-08-16 2020-03-17 Lg Electronics Inc. Display screen with animated graphical user interface
CN109656493A (zh) * 2017-10-10 2019-04-19 中兴通讯股份有限公司 控制方法及装置
US10405172B2 (en) 2017-10-18 2019-09-03 Qualcomm Incorporated Techniques for using target information in wireless communications
CN112468783B (zh) 2018-05-07 2022-03-29 苹果公司 用于显示视频媒体用户界面的方法、电子设备和存储介质
US10921975B2 (en) * 2018-06-03 2021-02-16 Apple Inc. Devices, methods, and user interfaces for conveying proximity-based and contact-based input events
US11334243B2 (en) * 2018-06-11 2022-05-17 Mitsubishi Electric Corporation Input control device
US11568175B2 (en) 2018-09-07 2023-01-31 Verint Americas Inc. Dynamic intent classification based on environment variables
US11232264B2 (en) 2018-10-19 2022-01-25 Verint Americas Inc. Natural language processing with non-ontological hierarchy models
US11196863B2 (en) 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
JP2021071664A (ja) * 2019-11-01 2021-05-06 キヤノン株式会社 撮像装置
IT202000003739A1 (it) 2020-02-24 2021-08-24 Antonio Mario Cerrotta Dispositivo mobile di comunicazione personale comprendente uno schermo tattile controllabile per visualizzare sullo schermo tattile una tastiera virtuale
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
JP7547218B2 (ja) 2021-01-06 2024-09-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
CN115933915A (zh) * 2023-01-03 2023-04-07 广东小天才科技有限公司 一种控制方法、控制装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962446A (ja) * 1995-08-22 1997-03-07 Matsushita Electric Works Ltd タッチパネル入力方法及びその装置
JP2000504869A (ja) * 1997-02-18 2000-04-18 ミサワホーム株式会社 画面表示式キー入力装置
JP2005125879A (ja) * 2003-10-22 2005-05-19 Clarion Co Ltd 電子機器、及び、その制御方法
JP2005125878A (ja) * 2003-10-22 2005-05-19 Clarion Co Ltd 電子機器、及び、その制御方法
JP2005128700A (ja) * 2003-10-22 2005-05-19 Clarion Co Ltd 電子機器、及び、その制御方法
US20050190970A1 (en) * 2004-02-27 2005-09-01 Research In Motion Limited Text input system for a mobile electronic device and methods thereof
JP2006350669A (ja) * 2005-06-15 2006-12-28 Nintendo Co Ltd 情報処理プログラム及び情報処理装置
US20060290679A1 (en) * 2005-06-23 2006-12-28 Jia-Yih Lii Method for detecting overlapped function area on a touchpad

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES403795A1 (es) 1971-07-06 1975-05-01 Andritz Ag Maschf Bomba para presiones de servicio elevadas.
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5963671A (en) 1991-11-27 1999-10-05 International Business Machines Corporation Enhancement of soft keyboard operations using trigram prediction
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US6938220B1 (en) * 1992-10-21 2005-08-30 Sharp Kabushiki Kaisha Information processing apparatus
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
US5564004A (en) 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
DE69524340T2 (de) 1994-09-22 2002-08-14 Aisin Aw Co Berührungsanzeige für ein Informationseingabesystem
US5748512A (en) 1995-02-28 1998-05-05 Microsoft Corporation Adjusting keyboard
US5805165A (en) 1995-08-31 1998-09-08 Microsoft Corporation Method of selecting a displayed control item
JP3727399B2 (ja) 1996-02-19 2005-12-14 ミサワホーム株式会社 画面表示式キー入力装置
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JPH10307673A (ja) 1997-05-09 1998-11-17 Canon Inc 座標入力装置及びその制御方法
US6049326A (en) 1997-05-12 2000-04-11 Siemens Information And Communication Networks, Inc. System and method for dual browser modes
US6104384A (en) 1997-09-12 2000-08-15 Ericsson, Inc. Image based keyboard for a small computing device
KR100595911B1 (ko) 1998-01-26 2006-07-07 웨인 웨스터만 수동 입력 통합 방법 및 장치
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6278443B1 (en) 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
US6259436B1 (en) * 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6643824B1 (en) 1999-01-15 2003-11-04 International Business Machines Corporation Touch screen region assist for hypertext links
US6411283B1 (en) 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
JP4519381B2 (ja) 1999-05-27 2010-08-04 テジック コミュニケーションズ インク 自動訂正機能を備えたキーボード・システム
GB2352154B (en) 1999-07-16 2003-08-27 Ibm Automatic target enlargement for simplified selection
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
TW486657B (en) * 2000-10-26 2002-05-11 Animeta Systems Inc Browser interface operation device and its browsing method
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
FI116591B (fi) * 2001-06-29 2005-12-30 Nokia Corp Menetelmä ja laite toiminnon toteuttamiseksi
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US7046230B2 (en) 2001-10-22 2006-05-16 Apple Computer, Inc. Touch pad handheld device
CN100350363C (zh) 2001-12-21 2007-11-21 拉尔夫·特拉赫特 灵活的计算机输入系统
DE10201195B4 (de) 2002-01-14 2006-10-12 Völckers, Oliver Verfahren zur Texteingabe durch Auswahl von Buchstaben mittels eines Cursors und Einrichtung zur Durchführung des Verfahrens
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
WO2004017216A1 (en) * 2002-08-16 2004-02-26 Yun-Kee Kang Method of inputting a character using a software keyboard
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
WO2004070604A2 (en) * 2003-02-05 2004-08-19 Philips Intellectual Property & Standards Gmbh Method of selecting objects of a user interface on a display screen
JP4526235B2 (ja) 2003-03-17 2010-08-18 シャープ株式会社 タッチパネル入力装置及びタッチパネル入力制御方法
US20040183833A1 (en) 2003-03-19 2004-09-23 Chua Yong Tong Keyboard error reduction method and apparatus
JP2004341813A (ja) 2003-05-15 2004-12-02 Casio Comput Co Ltd 入力装置表示制御方法及び入力装置
US7499040B2 (en) 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
US20060181517A1 (en) 2005-02-11 2006-08-17 Apple Computer, Inc. Display actuator
US7495659B2 (en) 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
ES2425313T3 (es) 2004-02-27 2013-10-14 Blackberry Limited Sistema de entrada de texto para un dispositivo electrónico y métodos para el mismo
US20060007174A1 (en) * 2004-07-06 2006-01-12 Chung-Yi Shen Touch control method for a drag gesture and control module thereof
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US20070260987A1 (en) 2004-08-23 2007-11-08 Mohoney James S Selective Displaying of Item Information in Videos
JP4731149B2 (ja) * 2004-10-06 2011-07-20 任天堂株式会社 情報処理装置および情報入力プログラム
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
KR102358378B1 (ko) 2005-03-04 2022-02-08 애플 인크. 다기능 휴대용 장치
US7605804B2 (en) 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
US20070247446A1 (en) * 2006-04-25 2007-10-25 Timothy James Orsley Linear positioning input device
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962446A (ja) * 1995-08-22 1997-03-07 Matsushita Electric Works Ltd タッチパネル入力方法及びその装置
JP2000504869A (ja) * 1997-02-18 2000-04-18 ミサワホーム株式会社 画面表示式キー入力装置
JP2005125879A (ja) * 2003-10-22 2005-05-19 Clarion Co Ltd 電子機器、及び、その制御方法
JP2005125878A (ja) * 2003-10-22 2005-05-19 Clarion Co Ltd 電子機器、及び、その制御方法
JP2005128700A (ja) * 2003-10-22 2005-05-19 Clarion Co Ltd 電子機器、及び、その制御方法
US20050190970A1 (en) * 2004-02-27 2005-09-01 Research In Motion Limited Text input system for a mobile electronic device and methods thereof
JP2006350669A (ja) * 2005-06-15 2006-12-28 Nintendo Co Ltd 情報処理プログラム及び情報処理装置
US20060290679A1 (en) * 2005-06-23 2006-12-28 Jia-Yih Lii Method for detecting overlapped function area on a touchpad
JP2007004763A (ja) * 2005-06-23 2007-01-11 Elan Microelectronics Corp タッチパネルのファンクションエリアオーバラップ検出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013532876A (ja) * 2010-09-30 2013-08-19 ファーウェイ デバイス カンパニー リミテッド ユーザタッチ操作モード適応方法および装置
US9052761B2 (en) 2010-09-30 2015-06-09 Huawei Device Co., Ltd. Methods and devices for user touch operation
JP2018041491A (ja) * 2017-10-26 2018-03-15 オリンパス株式会社 電子機器、アイコン表示方法およびアイコン表示用プログラム

Also Published As

Publication number Publication date
KR20090107530A (ko) 2009-10-13
EP2126676A1 (en) 2009-12-02
CN101627361A (zh) 2010-01-13
EP2426591A1 (en) 2012-03-07
JP5335690B2 (ja) 2013-11-06
WO2008086302A1 (en) 2008-07-17
US8519963B2 (en) 2013-08-27
US20080165160A1 (en) 2008-07-10
EP2126676B1 (en) 2013-05-22
CN101627361B (zh) 2012-12-12
AU2008204988A1 (en) 2008-07-17
HK1137242A1 (en) 2010-07-23
AU2008204988B2 (en) 2011-04-21
EP2426591B1 (en) 2017-01-04
KR101085712B1 (ko) 2011-11-21

Similar Documents

Publication Publication Date Title
JP5335690B2 (ja) タッチスクリーンディスプレイ上での指ジェスチャーを解釈するためのポータブルマルチファンクション装置、方法及びグラフィックユーザインターフェイス
JP6816189B2 (ja) ポータブルマルチファンクション装置のためのボイスメールマネージャー
JP4934725B2 (ja) タッチスクリーンディスプレイとの指接触からカーソル位置を決定する方法
US9575646B2 (en) Modal change based on orientation of a portable multifunction device
US9229634B2 (en) Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US9933937B2 (en) Portable multifunction device, method, and graphical user interface for playing online videos
US9372620B2 (en) Portable multifunction device, method, and graphical user interface for interacting with user input elements in displayed content
US20080168395A1 (en) Positioning a Slider Icon on a Portable Multifunction Device
HK1137242B (en) Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
HK1159275A (en) Methods for determining a cursor position from a finger contact with a touch screen display

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110704

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121112

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130731

R150 Certificate of patent or registration of utility model

Ref document number: 5335690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250