以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
手書き入力を(例えば、スタイラス又は他の手書き入力デバイスから)受信し、解釈するための効率的な方法を提供する電子デバイスが必要とされている。そのような技術は、そのようなデバイスを使用するユーザの認知的負担を軽減することができる。更に、そのような技術は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減することができる。
以下の説明では、様々な要素について説明するために、「第1の」、「第2の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第1のタッチを第2のタッチと呼ぶこともでき、同様に第2のタッチを第1のタッチと呼ぶこともできる。第1のタッチ及び第2のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「a(1つ、一)」、「an(1つ、一)」、及び「the(その、この)」は、コンテクスト上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のいずれか及び全ての考えられる組合せを指し、かつこれを含むことを理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」、及び/又は「comprising(含む、備える)」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「~の場合(if)」という用語は、任意選択的に、コンテクストに応じて、「~とき(when)」若しくは「~とき(upon)」、又は「~と判定したことに応じて(in response to determining)」若しくは「~を検出したことに応じて(in response to detecting)」を意味すると解釈される。同様に、「~と判定された場合(if it is determined)」又は「[記載の状態又はイベント]が検出された場合(if [a stated condition or event] is detected)」という語句は、任意選択的に、コンテクストに応じて、「~と判定したとき(upon determining)」若しくは「~と判定したことに応じて(in response to determining)」、又は「[記載の状態又はイベント]を検出したとき(upon detecting [the stated condition or event])」若しくは「[記載の状態又はイベント]を検出したことに応じて(in response to detecting [the stated condition or event])」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、PDA機能及び/又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するデスクトップコンピュータであることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、通常、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、及び/又はそれぞれのアプリケーション内で、任意選択的に、調整及び/又は変更される。このように、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力コントロールデバイス116、及び外部ポート124を含む。デバイス100は、任意選択的に、1つ以上の光センサ164を含む。デバイス100は、任意選択的に、デバイス100上の接触の強度を検出する1つ以上の接触強度センサ165(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)を含む。デバイス100は、任意選択的に、デバイス100上で触知出力を生成する(例えばデバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上で触知出力を生成する)1つ以上の触知出力生成器167を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン103を介して通信する。
本明細書及び特許請求において使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触)の力若しくは圧力(単位面積当たりの力)、又はタッチ感知面上の接触の力若しくは圧力に対する代理(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、数百の(例えば、少なくとも256の)別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して、判定(又は測定)される。例えば、タッチ感知面の下又はそれに隣接する1つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を決定するために組み合わされる(例えば、加重平均される)。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力の代替測定値が、強度閾値を上回っているかどうかを判定するために直接使用される(例えば、強度閾値は、代替測定値に対応する単位で記述される)。いくつかの実装形態では、接触力又は圧力の代理測定値は、力又は圧力の推定値に変換され、力又は圧力の推定値が、強度閾値を上回っているかどうかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定される圧力閾値である)。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを表示する実装面積が限られている低減されたサイズのデバイス上で、ユーザが他の方法ではアクセス不可能であり得る追加のデバイス機能にユーザがアクセスすること(例えば、タッチ感知ディスプレイ上で)、及び/又は、ユーザ入力を受け取ること(例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的/機械的コントロールを介して)が可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、そのデバイスの別の構成要素(例えば、筐体)に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一例に過ぎず、デバイス100は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、2つ以上の構成要素を組合せるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組合せで実施される。
メモリ102は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ122は、任意選択的に、デバイス100の他の構成要素によるメモリ102へのアクセスを制御する。
周辺機器インタフェース118は、デバイスの入力及び出力周辺機器をCPU120及びメモリ102に結合するために使用することができる。1つ以上のプロセッサ120は、メモリ102に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させる又は実行して、デバイス100のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース118、CPU120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
RF(radio frequency、無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどが挙げられる。RF回路108は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/又はセルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)及び/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。RF回路108は、任意選択的に、短距離通信無線機などによって近距離通信(near field communication、NFC)フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、エボリューションデータオンリ(Evolution,Data-Only、EV-DO)、HSPA、HSPA+、デュアルセルHSPA(Dual-Cell HSPA、DC-HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離通信(NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth、Bluetoothローエネルギー(Bluetooth Low Energy、BTLE)、ワイヤレスフィデリティ(Wireless Fidelity、Wi-Fi)(例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11n、及び/若しくはIEEE802.11ac)、ボイスオーバインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX、電子メール用プロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/若しくはポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能なメッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンスレベレイジングエクステンション用のセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、並びに/若しくはショートメッセージサービス(Short Message Service、SMS)、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。また、オーディオ回路110は、マイクロフォン113によって音波から変換された電気信号を受信する。オーディオ回路110は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース118に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102及び/若しくはRF回路108から取得され、かつ/又はメモリ102及び/若しくはRF回路108に伝送される。いくつかの実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば片耳又は両耳用のヘッドホン)及び入力(例えばマイクロフォン)の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、タッチスクリーン112及び他の入力コントロールデバイス116などのデバイス100上の入出力周辺機器を、周辺機器インタフェース118に結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力若しくは制御デバイスのための1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、他の入力コントロールデバイス116からの電気信号の受信/他の入力コントロールデバイス116への電気信号の送信を行う。他の入力コントロールデバイス116は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ(単数又は複数)160は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される(又はいずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、任意選択的に、スピーカ111及び/又はマイクロフォン113の音量コントロールのためのアップ/ダウンボタンを含む。1つ以上のボタンは、任意選択的に、プッシュボタン(例えば、図2の206)を含む。
全体が参照により本明細書に組み込まれる、2005年12月23日出願の米国特許出願第11/322,549号、「Unlocking a Device by Performing Gestures on an Unlock Image」、米国特許第7,657,849号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン112のロックを解放し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン(例えば、206)のより長い押下は、任意選択的に、デバイス100への電力をオン又はオフにする。ボタンのうちの1つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン112は、仮想又はソフトボタン及び1つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112からの電気信号の受信、及び/又はタッチスクリーン112への電気信号の送信を行う。タッチスクリーン112は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、動画、及びそれらの任意の組合せ(総称して「グラフィック」)を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚及び/又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン112及びディスプレイコントローラ156は、(メモリ102内の任意の関連モジュール及び/又は命令セットと共に)、タッチスクリーン112上で接触(及び任意の接触の移動又は中断)を検出し、検出された接触をタッチスクリーン112に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン112及びディスプレイコントローラ156は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン112との1つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる移動又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)及びiPod Touch(登録商標)に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第6,323,846号(Westermanら)、第6,570,557号(Westermanら)、及び/若しくは第6,677,932号(Westerman)、並びに/又は米国特許公報第2002/0015024(A1)号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン112はデバイス100からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願に記載されている。
(1)2006年5月2日出願の米国特許出願第11/381,313号、「Multipoint Touch Surface Controller」、(2)2004年5月6日出願の米国特許出願第10/840,862号、「Multipoint Touchscreen」、(3)2004年7月30日出願の米国特許出願第10/903,964号、「Gestures For Touch Sensitive Input Devices」、(4)2005年1月31日出願の米国特許出願第11/048,264号、「Gestures For Touch Sensitive Input Devices」、(5)2005年1月18日出願の米国特許出願第11/038,590号、「Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices」、(6)2005年9月16日出願の米国特許出願第11/228,758号、「Virtual Input Device Placement On A Touch Screen User Interface」、(7)2005年9月16日出願の米国特許出願第11/228,700号、「Operation Of A Computer With A Touch Screen Interface」、(8)2005年9月16日出願の米国特許出願第11/228,737号、「Activating Virtual Keys Of A Touch-Screen Virtual Keyboard」、及び(9)2006年3月3日出願の米国特許出願第11/367,749号、「Multi-Functional Hand-Held Device」。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン112は、任意選択的に、100dpiを超える動画解像度を有する。いくつかの実施形態では、タッチスクリーンは、約160dpiの動画解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン112に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。一部の実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ/カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド(図示せず)を含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン112とは別個のタッチ感知面又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス100は、様々な構成要素に電力を供給する電力システム162も含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス100は、任意選択的に、1つ以上の光センサ164を含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、任意選択的に、電荷結合デバイス(charge-coupled device、CCD)又は相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを含む。光センサ164は、1つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ164は、撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、任意選択的に、静止画像又は動画をキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ112とは反対側のデバイス100の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び/又は動画の取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、ユーザの画像が、任意選択的に、テレビ会議のために入手されるように、光センサはデバイスの前面に配置される。いくつかの実施形態では、光センサ164の位置は、ユーザによって(例えば、デバイス筐体内でレンズ及びセンサを回転させることによって)変更することができ、したがって単一の光センサ164が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び/又は動画の取得にも使用される。
デバイス100はまた、任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を含む。接触強度センサ165は、接触強度情報(例えば、圧力情報、又は圧力情報に対するプロキシ)を環境から受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えばタッチ感知ディスプレイシステム112)と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置される。
また、デバイス100は、任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118に結合された近接センサ166を示す。あるいは、近接センサ166は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。近接センサ166は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第11/241,839号、「Proximity Detector In Handheld Device」、第11/240,788号、「Proximity Detector In Handheld Device」、第11/620,702号、「Using Ambient Light Sensor To Augment Proximity Sensor Output」、第11/586,862号、「Automated Response To And Sensing Of User Activity In Portable Devices」、及び第11/638,251号、「Methods And Systems For Automatic Configuration Of Peripherals」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合(例えば、ユーザが電話をかけている場合)、近接センサは、タッチスクリーン112をオフにして無効化する。
デバイス100はまた、任意選択的に、1つ以上の触知出力生成器167を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などのエネルギーを直線の動きに変換する電気機械デバイスを含む。接触強度センサ165は、触知フィードバック生成命令を触覚フィードバックモジュール133から受信し、デバイス100のユーザが感知することが可能な触知出力をデバイス100上に生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、又は水平方向(例えば、デバイス100の表面と同じ平面内の前後)に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置される。
また、デバイス100は、任意選択的に、1つ以上の加速度計168を含む。図1Aは、周辺機器インタフェース118に結合された加速度計168を示す。あるいは、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。加速度計168は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許公開第20050190059号、「Acceleration-based Theft Detection System for Portable Electronic Devices」、及び米国特許公開第20060017692号、「Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer」に記載されているように機能する。いくつかの実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス100は、任意選択的に、加速度計(単数又は複数)168に加えて、磁気計(図示せず)、並びにデバイス100の位置及び向き(例えば、縦向き又は横向き)に関する情報を取得するためのGPS(又はGLONASS若しくは他のグローバルナビゲーションシステム)受信機(図示せず)を含む。
いくつかの実施形態では、メモリ102内に記憶されているソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(Global Positioning System、GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、図1A及び図3に示すように、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ112の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス116から取得した情報を含むセンサ状態、並びにデバイスの位置、及び/又は姿勢に関する位置情報のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS、又はVxWorksなどの組込み型オペレーティングシステム)は、全般的なシステムタスク(例えば、メモリ管理、記憶装置制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIREなど)は、直接的に、又はネットワーク(例えばインターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、iPod(登録商標)(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じ若しくは同様であり、かつ/又はそれに適合しているマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、タッチスクリーン112及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を(ディスプレイコントローラ156と連携して)検出する。接触/動きモジュール130は、接触が生じたかどうかを判定すること(例えば、指ダウンイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物)を判定すること、接触の移動が存在するかどうかを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、及び接触が停止したかどうかを判定すること(例えば、指アップイベント又は接触の中断を検出すること)などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1本の指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたかどうかを判定するために(例えば、ユーザがアイコン上で「クリック」したかどうかを判定するために)、1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも1つのサブセットは、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス100の物理ハードウェアを変更することなく調整することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、(例えば、個々の強度閾値を調整すること、及び/又は複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって)強度閾値のセットのうちの1つ以上を調整するソフトウェア設定が提供される。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する(例えば検出される接触の動き、タイミング、及び/又は強度が異なる)。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置(又は実質的に同じ位置)(例えば、アイコンの位置)で指アップ(リフトオフ)イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて1つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的な影響(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性)を変化させる構成要素を含む、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、動画、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール132は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力する画面の画像データを生成する。
触覚フィードバックモジュール133は、触知出力生成器167によって使用される命令を生成するための様々なソフトウェア構成要素を含み、触知出力生成器167は、ユーザのデバイス100との対話に応じて、デバイス100上の1つ以上の位置での触知出力を生成する。
テキスト入力モジュール134は、任意選択で、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するためのソフトキーボードを提供する。
GPSモジュール135は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために(例えば、位置に基づくダイヤル発呼で使用するために電話138に、写真/動画のメタデータとしてカメラ143に、並びに、気象ウィジェット、地域の職業別電話帳ウィジェット、及び地図/ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションに)提供する。
アプリケーション136は、任意選択的に、以下のモジュール(又は命令セット)又はそれらのサブセット若しくはスーパーセットを含む。
● 連絡先モジュール137(アドレス帳又は連絡先リストと呼ばれることもある)、
● 電話モジュール138、
● テレビ会議モジュール139、
● 電子メールクライアントモジュール140、
● インスタントメッセージング(Instant messaging、IM)モジュール141、
● トレーニングサポートモジュール142、
● 静止画像及び/又は動画用のカメラモジュール143、
● 画像管理モジュール144、
● 動画プレーヤモジュール、
● 音楽プレーヤモジュール、
● ブラウザモジュール147、
● カレンダーモジュール148、
● 任意選択的に、気象ウィジェット149-1、株式ウィジェット149-2、計算機ウィジェット149-3、目覚まし時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を含むウィジェットモジュール149、
● ユーザ作成ウィジェット149-6を作成するためのウィジェットクリエータモジュール150、
● 検索モジュール151、
● 動画プレーヤモジュール及び音楽プレーヤモジュールを一体化した動画及び音楽プレーヤモジュール152、
● メモモジュール153、
● 地図モジュール154、並びに/又は、
● オンラインビデオモジュール155。
任意選択的にメモリ102に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
連絡先モジュール137は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、任意選択的に、アドレス帳又は連絡先リストを(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶して)管理するために使用される。連絡先モジュール137による管理には、
アドレス帳に名前を追加すること、アドレス帳から名前(単数又は複数)を削除すること、電話番号(単数又は複数)、電子メールアドレス(単数又は複数)、実際の住所(単数又は複数)、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話138、テレビ会議モジュール139、電子メール140、又はIM141による通信を開始かつ/又は促進すること、などが含まれる。
電話モジュール138は、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール137内の1つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、通話の実行、並びに通話終了時の接続切断及び通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
テレビ会議モジュール139は、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先モジュール137、及び電話モジュール138と連携して、ユーザの命令に従ってユーザと1人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
電子メールクライアントモジュール140は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ユーザの命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール144と連携して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又は動画画像を有する電子メールの作成及び送信を非常に容易にする。
インスタントメッセージングモジュール141は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、(例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス(Short Message Service、SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコル、又はインターネットベースのインスタントメッセージ向けのXMPP、SIMPLE、若しくはIMPSを使用する)それぞれのインスタントメッセージの送信、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信される及び/又は受信されるインスタントメッセージは、任意選択的に、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるようなグラフィック、写真、オーディオファイル、動画ファイル、及び/又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)と、インターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されるメッセージ)との両方を指す。
トレーニングサポートモジュール142は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュールと連携して、トレーニング(例えば、時間、距離、及び/又はカロリー燃焼の目標を有する)を作成し、トレーニングセンサ(スポーツデバイス)と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
カメラモジュール143は、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、及び画像管理モジュール144と連携して、静止画像若しくは(動画ストリームを含む)動画のキャプチャ及びメモリ102内への記憶、静止画像若しくは動画の特性の修正、又はメモリ102からの静止画像若しくは動画の削除のための実行可能な命令を含む。
画像管理モジュール144は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と連携して、静止画像及び/若しくは動画の配置、修正(例えば、編集)、又はその他の操作、ラベル付け、削除、(例えば、デジタルスライドショー若しくはアルバムにおける)提示、及び記憶のための実行可能な命令を含む。
ブラウザモジュール147は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含む、ユーザの命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダーモジュール148は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、ユーザの命令に従って、カレンダー及びカレンダーに関連付けられたデータ(例えば、カレンダーアイテム、to-doリストなど)を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ウィジェットモジュール149は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、任意選択的に、ユーザによってダウンロード及び使用されるミニアプリケーション(例えば、気象ウィジェット149-1、株式ウィジェット149-2、計算機ウィジェット149-3、目覚まし時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成されたミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language、ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets、カスケーディングスタイルシート)ファイル、及びJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language、拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
ウィジェットクリエータモジュール150は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、任意選択的に、ウィジェットを作成する(例えば、ウェブページのユーザ指定部分をウィジェットにする)ために、ユーザによって使用される。
検索モジュール151は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ユーザの命令に従って1つ以上の検索基準(例えば、1つ以上のユーザ指定検索語)と一致するメモリ102内のテキスト、音楽、サウンド、画像、動画、及び/又は他のファイルを検索するための実行可能な命令を含む。
動画及び音楽プレーヤモジュール152は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と連携して、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びに動画を(例えば、タッチスクリーン112上又は外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能を含む。
メモモジュール153は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ユーザの命令に従ってメモ、to-doリストなどを作成及び管理するための実行可能な命令を含む。
地図モジュール154は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と連携して、任意選択的に、ユーザの命令に従って、地図及び地図に関連付けられたデータ(例えば、運転の道順、特定の場所又はその付近の店舗及び他の見どころに関するデータ、並びに他の位置ベースのデータ)を受信、表示、修正、及び記憶するために使用される。
オンラインビデオモジュール155は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、(例えば、ストリーミング及び/又はダウンロードによる)受信、(例えば、タッチスクリーン上又は外部ポート124を介して接続された外部ディスプレイ上の)再生、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにH.264などの1つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、2007年6月20日出願の米国仮特許出願第60/936,562号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」、及び2007年12月31日出願の米国特許出願第11/968,067号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」を参照されたい。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した1つ以上の機能及び本出願に記載した方法(例えば、本明細書に記載したコンピュータにより実装される方法及び他の情報処理方法)を実行する実行可能な命令のセットに対応する。これらのモジュール(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は別の方法で再構成される。例えば、動画プレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール(例えば、図1Aの動画及び音楽プレーヤモジュール152)にされる。いくつかの実施形態では、メモリ102は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ102は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス100は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び/又はタッチパッドのみを介して実行されるデバイスである。デバイス100が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び/又はタッチパッドを使用することにより、任意選択的に、デバイス100上の物理的な入力コントロールデバイス(プッシュボタン、ダイヤルなど)の数が削減される。
タッチスクリーン及び/又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス100をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)と、それぞれのアプリケーション136-1(例えば、前述のアプリケーション137~151、155、380~390のうちのいずれか)とを含む。
イベントソータ170は、イベント情報を受信し、イベント情報を配信するアプリケーション136-1、及びアプリケーション136-1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ112に表示される現在のアプリケーションビューを示すアプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーション(単数又は複数)が現在アクティブであるかを判定するためにイベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報が配信されるアプリケーションビュー191を判定するためにイベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開するときに使用すべき再開情報、アプリケーション136-1によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション136-1の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ/アンドゥキューのうちの1つ以上などの追加の情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、タッチ感知ディスプレイ112でのマルチタッチジェスチャの一部としてのユーザタッチ)に関する情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、又は近接センサ166、加速度計(単数又は複数)168、及び/若しくは(オーディオ回路110を介した)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。それに応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を上回る及び/又は所定の持続時間を超える入力の受信)があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173を含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が2つ以上のビューを表示しているときに、サブイベントが1つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される(それぞれのアプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール172は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント(例えば、イベント又は潜在的イベントを形成するサブイベントシーケンスにおける第1のサブイベント)が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール172によって特定されると、ヒットビューは、通常、ヒットビューとして特定された同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えばイベント認識部180)にディスパッチする。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、それぞれのイベント受信部182によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136-1がイベントソータ170を含む。更に他の実施形態では、イベントソータ170は、独立型のモジュールであり、又は接触/動きモジュール130などのメモリ102内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション136-1は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、それぞれのアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136-1が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部190は、データ更新部176、オブジェクト更新部177、GUI更新部178、及び/又はイベントソータ170から受信されたイベントデータ179、のうちの1つ以上を含む。イベント処理部190は、任意選択的に、データ更新部176、オブジェクト更新部177、又はGUI更新部178を利用し又は呼び出して、アプリケーション内部状態192を更新する。あるいは、アプリケーションビュー191のうちの1つ以上が、1つ以上のそれぞれのイベント処理部190を含む。また、いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178のうちの1つ以上は、それぞれのアプリケーションビュー191に含まれる。
それぞれのイベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信し、イベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及びイベント配信命令188(任意選択的にサブイベント配信命令を含む)の少なくともサブセットも含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへ、又はその逆の)デバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ぶ)についての対応する情報を含む。
イベント比較部184は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えばイベント1(187-1)及びイベント2(187-2)などのイベント(例えば、既定のサブイベントのシーケンス)の定義を含む。いくつかの実施形態では、イベント(187)内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント1(187-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第1のタッチ(タッチ開始)、所定の段階に対する第1のリフトオフ(タッチ終了)、所定の段階に対する表示オブジェクト上の第2のタッチ(タッチ開始)、及び所定の段階に対する第2のリフトオフ(タッチ終了)を含む。別の実施例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ(又は接触)、タッチ感知ディスプレイ112にわたるタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントは、1つ以上の関連付けられたイベント処理部190に関する情報も含む。
いくつかの実施形態では、イベント定義187は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ112に3つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較部184は、ヒットテストを実行して、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント187の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の伝送を遅らせる遅延アクションも含む。
それぞれのイベント認識部180が一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部180は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部190をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部180は、イベントに関連付けられたイベント情報をイベント処理部190に配信する。イベント処理部190をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する(及び、送信を延期する)こととは別個である。いくつかの実施形態では、イベント認識部180は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部190は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令188は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部176は、アプリケーション136-1で使用されるデータを作成及び更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新し、又は動画プレーヤモジュールで使用される動画ファイルを記憶する。いくつかの実施形態では、オブジェクト更新部177は、アプリケーション136-1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部177は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送る。
いくつかの実施形態では、イベント処理部(単数又は複数)190は、データ更新部176、オブジェクト更新部177、及びGUI更新部178を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178は、それぞれのアプリケーション136-1又はアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに/又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図2は、いくつかの実施形態に係る、タッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース(user interface、UI)200内に1つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、1本以上の指202(図には正確な縮尺では描かれていない)又は1つ以上のスタイラス203(図には正確な縮尺では描かれていない)を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの1つ以上を選択することが可能となる。一部の実施形態では、1つ以上のグラフィックの選択は、ユーザが、その1つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス100と接触した指の、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上向きに及び/若しくは下向きに)、並びに/又は、ローリング(右から左へ、左から右へ、上向きに及び/若しくは下向きに)を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
いくつかの実施形態では、スタイラス203は、アクティブデバイスであり、1つ以上の電子回路を含む。例えば、スタイラス203は、1つ以上のセンサと、1つ以上の通信回路(通信モジュール128及び/又はRF回路108など)を含む。いくつかの実施形態では、スタイラス203は、1つ以上のプロセッサ及び電力システム(例えば、電力システム162と同様)を含む。いくつかの実施形態では、スタイラス203は、スタイラス203の位置、角度、場所、及び/又は他の物理的特性(例えば、スタイラスが下方に配置されているか、デバイスに向かって若しくはデバイスから離れるように傾斜しているか、及び/又はデバイスの近く若しくは遠くに配置されているかなど)を判定することができる加速度計(加速度計168など)、磁力計、及び/又はジャイロスコープを含む。いくつかの実施形態では、スタイラス203は、電子デバイス(例えば、通信回路を介して、Bluetoothなどの無線通信プロトコルを介して)通信し、センサデータを電子デバイスに送信する。いくつかの実施形態では、スタイラス203は、ユーザがデバイスを保持しているかどうかを(例えば、加速度計又は他のセンサを介して)判定することができる。いくつかの実施形態では、スタイラス203は、ユーザからのスタイラス203上の(例えば、加速度計又は他のセンサによって受信された)タップ入力(例えば、シングルタップ又はダブルタップ)を受け入れることができ、入力を、機能を実行するための、又は異なる入力モードに変更するためのコマンド又は要求として解釈することができる。
デバイス100は、任意選択的に、「ホーム」ボタン又はメニューボタン204などの1つ以上の物理ボタンをまた含む。前述したように、メニューボタン204は、任意選択的にデバイス100上で実行される1組のアプリケーション内の任意のアプリケーション136にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112に表示されるGUI内のソフトキーとして実装される。
いくつかの実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフにしてデバイスをロックするプッシュボタン206、音量調整ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン/オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び/又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス100は、マイクロフォン113を介して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力もまた受け入れる。デバイス100は、任意選択的に、タッチスクリーン112上の接触の強度を検出する1つ以上の接触強度センサ165、及び/又はデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器167もまた含む。
図3は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、通常、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370、及びこれらの構成要素を相互接続する1つ以上の通信バス320を含む。通信バス320は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることもある)を含む。デバイス300は、ディスプレイ340を含む入出力(I/O)インタフェース330を含み、ディスプレイ340は、通常、タッチスクリーンディスプレイである。I/Oインタフェース330はまた、任意選択的に、キーボード及び/又はマウス(若しくは他のポインティングデバイス)350並びにタッチパッド355と、デバイス300上に触知出力を生成する(例えば、図1Aを参照して前述した触知出力生成器167に類似している)触知出力生成器357と、センサ359(例えば、光、加速度、近接、タッチ感知、及び/又は図1Aを参照して前述した、接触強度センサ165に類似している接触強度センサ)とを含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は、任意選択で、CPU(単数又は複数)310からリモートに位置する1つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ370は、任意選択で、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス300のメモリ370は、任意選択的に、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を記憶するのに対して、ポータブル多機能デバイス100(図1A)のメモリ102は、任意選択的に、これらのモジュールを記憶しない。
図3の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの1つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は他の方法で再構成される。いくつかの実施形態では、メモリ370は、任意選択的に、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ370は、任意選択的に、上記で説明されていない追加のモジュール及びデータ構造を記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス100に実装されるユーザインタフェースの実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス300上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
● セルラー信号及びWi-Fi信号などの無線通信(単数又は複数)用の信号強度インジケータ(単数又は複数)402、
● 時刻404、
● Bluetoothインジケータ405、
● バッテリ状態インジケータ406、
● 以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ408
○ 不在着信又はボイスメールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた、電話モジュール138のアイコン416、
○ 未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140のアイコン418、
○ 「ブラウザ」とラベル付けされた、ブラウザモジュール147のアイコン420、及び
○ 「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称される動画及び音楽プレーヤモジュール152用のアイコン422、及び
● 以下のような、他のアプリケーションのアイコン、
○ 「メッセージ」とラベル付けされた、IMモジュール141のアイコン424、
○ 「カレンダー」とラベル付けされた、カレンダーモジュール148のアイコン426、
○ 「写真」とラベル付けされた、画像管理モジュール144のアイコン428、
○ 「カメラ」とラベル付けされた、カメラモジュール143のアイコン430、
○ 「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール155のアイコン432、
○ 「株価」とラベル付けされた、株式ウィジェット149-2のアイコン434、
○ 「マップ」とラベル付けされた、地図モジュール154のアイコン436、
○ 「天気」とラベル付けされた、気象ウィジェット149-1のアイコン438、
○ 「時計」とラベル付けされた、アラーム時計ウィジェット149-4のアイコン440、
○ 「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142のアイコン442、
○ 「メモ」とラベル付けされた、メモモジュール153のアイコン444、及び
○ デバイス100及びその様々なアプリケーション136の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン446。
図4Aに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、動画及び音楽プレーヤモジュール152のアイコン422は、「音楽」又は「音楽プレーヤ」とラベル付けされる、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を有するデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。デバイス300はまた、任意選択的に、タッチ感知面451上の接触の強度を検出する1つ以上の接触強度センサ(例えば、センサ359のうちの1つ以上)、及び/又はデバイス300のユーザに対して触知出力を生成する1つ以上の触知出力生成器357を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ112(タッチ感知面及びディスプレイが組み合わされている)上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図4Bに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の1次軸(例えば、図4Bの453)に対応する1次軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置(例えば、図4Bでは、460は468に対応し、462は470に対応する)で、タッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このようにして、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されるユーザ入力(例えば、接触460及び462、並びにこれらの移動)は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力(例えば、指接触、指タップジェスチャ、指スワイプジェスチャ)を参照して与えられる一方、いくつかの実施形態では、指入力のうちの1つ以上が別の入力デバイスからの入力(例えば、マウスベースの入力又はスタイラス入力)に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに、)マウスクリックであって、その後に(例えば、接触の移動の代わりに)スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、(例えば、接触を検出して、それに続いて接触の検出を停止する代わりに)マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図5Aは、例示的なパーソナル電子デバイス500を示す。デバイス500は、本体502を含む。いくつかの実施形態では、デバイス500は、デバイス100及び300(例えば、図1A~図4B)に関して説明された特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス500は、タッチ感知ディスプレイスクリーン504、以下ではタッチスクリーン504、を有する。あるいは、又はタッチスクリーン504に加えて、デバイス500は、ディスプレイ及びタッチ感知面を有する。デバイス100及び300と同様に、いくつかの実施形態では、タッチスクリーン504(又はタッチ感知面)は、任意選択的に、加えられている接触(例えば、タッチ)の強度を検出する1つ以上の強度センサを含む。タッチスクリーン504(又はタッチ感知面)の1つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス500のユーザインタフェースは、タッチ(複数)に、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス500上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技術は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際特許第WO/2013/169849号として公開された、2013年5月8日出願の国際特許出願第PCT/US2013/040061号、「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」、及び国際特許第WO/2014/105276号として公開された、2013年11月11日出願の国際特許出願第PCT/US2013/069483号、「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」を参照されたい。
いくつかの実施形態では、デバイス500は、1つ以上の入力機構506及び508を有する。入力機構506及び508は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス500は、1つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス500を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス500を着用することを可能にする。
図5Bは、例示的なパーソナル電子デバイス500を示す。いくつかの実施形態では、デバイス500は、図1A、図1B、及び図3に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス500は、I/Oセクション514を1つ以上のコンピュータプロセッサ516及びメモリ518に動作可能に結合するバス512を有する。I/Oセクション514は、ディスプレイ504に接続することができ、ディスプレイ504は、タッチ感知構成要素522と、任意選択的に強度センサ524(例えば、接触強度センサ)とを有することができる。加えて、I/Oセクション514は、Wi-Fi、Bluetooth、近距離通信(NFC)、セルラー、及び/又は他の無線通信技術を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット530と接続することができる。デバイス500は、入力機構506及び/又は508を含むことができる。入力機構506は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの実施例では、入力メカニズム508は、任意選択的にボタンである。
いくつかの実施例では、入力メカニズム508は、任意選択的にマイクロフォンである。パーソナル電子デバイス500は、任意選択的に、GPSセンサ532、加速度計534、方向センサ540(例えば、コンパス)、ジャイロスコープ536、動きセンサ538、及び/又はそれらの組合せなどの様々なセンサを含み、それらは全て、I/Oセクション514に動作可能に接続することができる。
パーソナル電子デバイス500のメモリ518は、コンピュータ実行可能命令を記憶するための1つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、1つ以上のコンピュータプロセッサ516によって実行されると、例えば、コンピュータプロセッサに、プロセス700、900、1100、1300、1500、1600、1800、2000、及び2200(図7、図9、図11、図13、図15、図16、図18、図20、図22)を含む、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気、光学、及び/又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、CD、DVD、又はBlu-ray技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス500は、図5Bの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書で使用される「アフォーダンス」という用語は、任意選択的に、デバイス100、300、及び/又は500(図1A、図3、及び図5A~図5B)のディスプレイスクリーンに表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像(例えば、アイコン)、ボタン、及びテキスト(例えば、ハイパーリンク)はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上に位置する間に、入力(例えば、押下入力)がタッチ感知面(例えば、図3のタッチパッド355又は図4Bのタッチ感知面451)上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にするタッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112又は図4Aのタッチスクリーン112)を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の位置で入力(例えば、接触による押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、(例えば、フォーカスを1つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによって)タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザインタフェースの1つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる具体的な形態とは無関係に、フォーカスセレクタは、一般に、ユーザが意図するユーザインタフェースとの対話について(例えば、ユーザがそれを通じて対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって)伝えるためにユーザによって制御されるユーザインタフェース要素(又はタッチスクリーンディスプレイ上の接触)である。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の位置は、その対応のボタンを(そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく)アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は、接触の強度の減少を検出する前若しくは後の)に関連する所定の時間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均(mean)値、接触の強度の平均(average)値、接触の強度の上位10パーセンタイル値、接触の強度の最大の2分の1の値、接触の強度の最大の90パーセントの値などのうちの1つ以上に基づいている。一部の実施形態では、特性強度を判定する際に(例えば、特性強度が経時的な接触の強度の平均であるときに)、接触の持続期間が使用される。一部の実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、1つ以上の強度閾値のセットと比較される。例えば、1つ以上の強度閾値のセットは、任意選択的に、第1の強度閾値及び第2の強度閾値を含む。この例では、第1の閾値を超えない特性強度を有する接触は第1の動作をもたらし、第1の強度閾値を上回るが第2の強度閾値を超えない特性強度を有する接触は第2の動作をもたらし、第2の閾値を超える特性強度を有する接触は第3の動作をもたらす。いくつかの実施形態では、特性強度と1つ以上の閾値との間の比較は、第1の動作を実行するべきか、それとも第2の動作を実行するべきかを判定するために使用されるのではなく、1つ以上の動作を実行するべきか否か(例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを見送るべきか)を判定するために使用される。
図5Cは、複数の強度センサ524A~524Dによってタッチ感知ディスプレイスクリーン504上で複数の接触552A~552Eを検出することを示している。図5Cは、追加として、強度単位に対する強度センサ524A~524Dの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ524A及び524Dの強度測定値はそれぞれ9強度単位であり、強度センサ524B及び524Cの強度測定値はそれぞれ7強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ524A~524Dの強度測定値の和であり、この例では32強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図5Dは、力の中心554からの距離に基づいて、集約強度を接触552A~552Eに割り当てることを示している。この例では、接触552A、552B、及び552Eのそれぞれに、集約強度の8強度単位の接触の強度が割り当てられ、接触552C及び552Dのそれぞれに、集約強度の4強度単位の接触の強度が割り当てられる。より一般的には、一部の実装例では、各接触jは、既定の数学関数Ij=A・(Dj/ΣDi)に従って、集約強度Aの一部分である、それぞれの強度Ijが割り当てられ、ここで、Djは、力の中心からそれぞれの接触jまでの距離であり、ΣDiは、力の中心から全てのそれぞれ接触(例えば、i=1から最後まで)までの距離の和である。図5C~図5Dを参照して説明した動作は、デバイス100、300又は500と類似若しくは同一の電子デバイスを使用して行うことができる。いくつかの実施形態では、接触の特性強度は、接触の1つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度(例えば、単一の接触の単一の特性強度)を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5C~図5Dに含まれていることに留意されたい。
一部の実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始位置から遷移して終了位置に到達し、その位置で接触の強度が増大している、連続するスワイプ接触を受信する。この例では、終了位置での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ(例えば、スワイプ接触のうち終了位置の部分のみ)に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイク又は下落を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下強度閾値、深い押下強度閾値、及び/又は1つ以上の他の強度閾値などの1つ以上の強度閾値に対して特徴付けられる。一部の実施形態では、軽い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。一部の実施形態では、深い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下強度閾値を下回る(例えば、かつそれを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る)特性強度を有する接触が検出されたとき、デバイスは、タッチ感知面上の接触の移動に従い、軽い押下強度閾値又は深い押下強度閾値に関連付けられた動作を実行することなく、フォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの値の様々なセットの間で一貫している。
軽い押下強度閾値を下回る強度から、軽い押下強度閾値と深い押下強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下強度閾値を下回る強度から、深い押下強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触(若しくは複数の接触)によって実行されたそれぞれの押下入力を検出したことに応じて、1つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触(又は複数の接触)の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大(例えば、それぞれの押下入力の「ダウンストローク」)を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押下入力の「アップストローク」)を検出したことに応じて実行される。
図5E~5Hは、図5Eの軽い押下強度閾値(例えば、「ITL」)を下回る強度から、図5Hの深い押下強度閾値(例えば、「ITD」)を上回る強度への、接触562の強度の増大に対応する押下入力を含むジェスチャの検出を示す。接触562によって実行されるジェスチャは、タッチ感知面560上で検出され、既定の領域574内に表示されたアプリケーションアイコン572A~572Dを含む表示ユーザインタフェース570上では、アプリ2に対応するアプリケーションアイコン572Bの上にカーソル576が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ504上に検出される。強度センサは、タッチ感知面560上の接触の強度を検出する。デバイスは、接触562の強度が深い押下強度閾値(例えば、「ITD」)を上回ってピークに達したと判定する。接触562は、タッチ感知面560上で維持される。ジェスチャの検出に応じて、ジェスチャ中に深い押下強度閾値(例えば、「ITD」)を上回る強度を有する接触562に従って、図5F~図5Iに示すように、アプリ2に対して最近開いた文書の縮尺が低減された表現578A~578C(例えば、サムネイル)が表示される。いくつかの実施形態では、1つ以上の強度閾値と比較されるこの強度は、接触の特性強度である。接触562に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5E~5Hに含まれていることに留意されたい。
いくつかの実施形態では、表現578A~578Cの表示は、アニメーションを含む。例えば、図5Fに示すように、表現578Aが、アプリケーションアイコン572Bに近接して最初に表示される。アニメーションが進むにつれて、図5Gに示すように、表現578Aは上方へ動き、表現578Bが、アプリケーションアイコン572Bに近接して表示される。次いで、図5Hに示すように、表現578Aが上方へ動き、表現578Bが表現578Aに向かって上方へ動き、表現578Cが、アプリケーションアイコン572Bに近接して表示される。表現578A~578Cは、アイコン572Bの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図5F~5Gに示すように、接触562の強度に従って進行し、接触562の強度が深い押下強度閾値(例えば、「ITD」)に向かって増大するにつれて、表現578A~578Cが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図5E~5Hを参照して説明する動作は、デバイス100、300、又は500に類似若しくは同一の電子デバイスを使用して実行することができる。
図5Iは、本開示のいくつかの実施形態によるデバイス580の例示的なアーキテクチャのブロック図を示す。図5Iの実施形態では、メディア又は他のコンテンツは、任意選択的に、ネットワークインタフェース582を介してデバイス580により受信され、ネットワークインタフェース582は、任意選択的に、無線又は有線接続である。1つ以上のプロセッサ584は、メモリ586又はストレージ内に記憶されている任意の数のプログラムを任意選択的に実行する。メモリ586又はストレージは、本明細書に記載された方法及び/又はプロセス(例えば、方法700、900、1100、1300、1500、1600、1800、2000、及び2200)のうち1つ以上を実行する命令を任意選択的に含む。
いくつかの実施形態では、ディスプレイコントローラ588は、本開示の様々なユーザインタフェースをディスプレイ594上に表示させる。更に、デバイス580への入力は、リモコン590により、リモートインタフェース592を介して任意選択的に提供される。リモートインタフェース592は任意選択的に、無線又は有線接続である。いくつかの実施形態では、以下でより詳細に説明するように、デバイス580への入力は多機能デバイス591(例えば、スマートフォン)によって提供され、多機能デバイス591上で、多機能デバイス591を構成する遠隔制御アプリケーションが実行されて遠隔制御機能をシミュレートする。いくつかの実施形態では、多機能デバイス591は、図1A及び図2のデバイス100、図3のデバイス300、及び図5Aのデバイス500のうちの1つ以上に対応する。図5Iの実施形態は本開示のデバイスの特徴を限定することを意図せず、本開示に記載された他の特徴を容易にするための他の構成要素もまた図5Iのアーキテクチャに任意選択的に含まれることが理解される。いくつかの実施形態では、デバイス580は、図1A及び図2の多機能デバイス100、図3のデバイス300、並びに図5Aのデバイス500のうち1つ以上に任意選択的に対応する。ネットワークインタフェース582は、図1A及び図2のRF回路108、外部ポート124、及び周辺機器インタフェース118、並びに図3のネットワーク通信インタフェース360のうちの1つ以上に任意選択的に対応する。プロセッサ584は、図1Aのプロセッサ(複数可)120及び図3のCPU(複数可)310のうちの1つ以上に任意選択的に対応する。ディスプレイコントローラ588は、図1Aのディスプレイコントローラ156及び図3のI/Oインタフェース330のうち1つ以上に任意選択的に対応する。メモリ586は、図1Aのメモリ102及び図3のメモリ370のうちの1つ以上に任意選択的に対応する。リモートインタフェース592は、図1Aの周辺機器インタフェース118及びI/Oサブシステム106(及び/又はその構成要素)、並びに図3のI/Oインタフェース330のうちの1つ以上に任意選択的に対応する。リモート590は、図1Aのスピーカ111、タッチ感知ディスプレイシステム112、マイクロフォン113、光センサ(複数可)164、接触強度センサ(複数可)165、触知出力生成器(複数可)167、他の入力コントロールデバイス116、加速度計(複数可)168、近接センサ166、及びI/Oサブシステム106、図3のキーボード/マウス350、タッチパッド355、触知出力生成器(複数可)357、及び接触強度センサ(複数可)359、並びに図4のタッチ感知面451のうちの1つ以上に任意選択的に対応し、及び/又はこれらのうち1つ以上を含み、ディスプレイ594は、図1A及び図2のタッチ感知ディスプレイシステム112、並びに図3のディスプレイ340のうちの1つ以上に任意選択的に対応する。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押下入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押下入力強度閾値よりもX強度単位低い、又はヒステリシス強度閾値は、押下入力強度閾値の75%、90%、若しくはなんらかの妥当な割合である)。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少(例えば、それぞれの押下入力の「アップストローク」)を検出したことに応じて実行される。同様に、一部の実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押下入力(例えば、状況に応じて、接触の強度の増大又は接触の強度の減少)を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び/又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押下入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押下入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
本明細書では、「インストール済みアプリケーション」は、電子デバイス(例えば、デバイス100、300、及び/又は500)上へダウンロードされ、デバイス上で起動する準備ができた(例えば、開かれた)ソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書では、「開いているアプリケーション」又は「実行中のアプリケーション」という用語は、保持された状態情報(例えば、デバイス/グローバル内部状態157及び/又はアプリケーション内部状態192の一部として)を有するソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか1つである。
● アプリケーションが使用されているデバイスのディスプレイスクリーンに現在表示されているアクティブなアプリケーション、
● 現在表示されていないが、アプリケーションに対する1つ以上のプロセスが1つ以上のプロセッサによって処理されている背景アプリケーション(又は背景プロセス)、並びに
● 稼働していないが、(それぞれ、揮発性及び不揮発性の)メモリに記憶されており、かつアプリケーションの実行を再開するために使用することができる状態情報を有する、中断又は休止状態のアプリケーション。
本明細書では、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す(例えば、閉じているアプリケーションに対する状態情報は、デバイスのメモリ内に記憶されていない)。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止及び/又は除去し、アプリケーションに対する状態情報をデバイスのメモリから除去することを含む。概して、第1のアプリケーション中に第2のアプリケーションを開いても、第1のアプリケーションは閉じない。第2のアプリケーションが表示されており、かつ第1のアプリケーションが表示を終了されたとき、第1のアプリケーションは背景アプリケーションになる。
次に、ポータブル多機能デバイス100、デバイス300、又はデバイス500などの電子デバイス上で実施されるユーザインタフェース(「UI」)及び関連プロセスの実施形態に注意を向ける。
ユーザインタフェース及び関連するプロセス
手書き入力をテキストに変換する
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。いくつかの実施形態では、電子デバイスは、物理キーボードのレイアウトを模倣し、ユーザが入力する文字を選択することを可能にする仮想キーボード(例えば、ソフトキーボード)を提供する。以下に説明する実施形態は、電子デバイスが手書き入力デバイス(例えば、スタイラス)から手書き入力を受け入れ、手書き入力をフォントベースのテキスト(例えば、コンピュータテキスト、デジタルテキストなど)に変換する方法を提供する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図6A~図6YYは、電子デバイスが手書き入力をフォントベースのテキストに変換する例示的な方法を示す。これらの図中の実施形態は、図7A~図7Iを参照して説明するプロセスを含め、以下に説明するプロセスを例示するために使用される。
図6A~図6YYは、手書き入力をフォントベースのテキストに変換する電子デバイス500の動作を示す。図6Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図6Aに示すように、電子デバイス500はユーザインタフェース600を提示する。いくつかの実施形態では、ユーザインタフェース600は、1つ以上のテキスト入力フィールド(例えば、テキスト入力領域)を含む任意のユーザインタフェースである。いくつかの実施形態では、テキスト入力フィールド(例えば、テキスト入力領域)は、ユーザがテキスト(例えば、文字、キャラクタ、単語など)を入力することができるユーザインタフェース要素である。例えば、テキスト入力フィールドは、フォーム上のテキストフィールド、ブラウザ上のURL入力要素、ログインフィールドなどであり得る。換言すれば、ユーザがテキストを入力することができ、編集、削除、コピー、カットなど、又は任意の他のテキストベースの操作を実行することができる、任意のユーザインタフェース要素である。テキスト入力フィールド(例えば、テキスト入力領域)は、テキストのみを受け入れるユーザインタフェース要素に限定されず、オーディオ及び/又は視覚メディアを受け入れて表示することも可能なユーザインタフェース要素であることが理解される。
いくつかの実施形態では、図6Aに示すように、ユーザインタフェース600は、(例えば、航空機チケットを購入するための)乗客情報入力ユーザインタフェースを表示している(例えば、ナビゲートする)インターネットブラウザアプリケーションのものである。図6A~図6YYに示す実施例は例示的なものであり、例示されるユーザインタフェース及び/又はアプリケーションのみに限定するものと見なされるべきではないことが理解される。いくつかの実施形態では、ユーザインタフェース600は、ユーザが、それぞれのテキスト入力フィールド(例えば、2人の乗客についての情報)に記入するためにテキストを入力することができるテキスト入力フィールド602-1~602-9を含む。
図6Bで、ユーザ入力が、スタイラス203からタッチスクリーン504上で受信される(例えば、検出される)。図6Bに示すように、スタイラス203はタッチスクリーン504上にタッチダウンしている。いくつかの実施形態では、スタイラス203はタッチスクリーン504上にタッチダウンして、手書き入力604-1を提供する。例えば、図6Bに示すように、手書き入力604-1は文字「12」のものである。いくつかの実施形態では、手書き入力がテキスト入力フィールド内で全体的に実行される場合、手書き入力は、それぞれのテキスト入力フィールド内のテキストを入力せよとの要求として解釈される。いくつかの実施形態では、手書きがテキスト入力フィールドの境界付近の閾値エリアで実行される場合、手書き入力は、依然として、それぞれのテキスト入力フィールド内のテキストを入力せよとの要求として解釈される。いくつかの実施形態では、テキスト入力フィールドは、テキスト入力フィールドの文字どおり境界のわずかに外側にある手書き入力(例えば、1mm、2mm、3mm、5mm、3ポイント、6ポイント、12ポイントなど)が、それぞれのテキスト入力フィールド内でテキストを入力せよとの要求であると依然として考えられる誤差又は許容差のマージンを有する。いくつかの実施形態では、テキスト入力フィールドの境界の外側で開始するが、テキスト入力フィールドの境界内に入る手書き入力は、それぞれのテキスト入力フィールド内のテキストを入力せよとの要求であると見なされる。いくつかの実施形態では、テキスト入力フィールド内のストロークの大部分を有する手書き入力は、それぞれのテキスト入力フィールド内のテキストを入力せよとの要求であると見なされる。いくつかの実施形態では、テキスト入力フィールド内で開始するが、テキスト入力フィールドの外部に、及び任意選択的に別のテキスト入力フィールド内に、延在する手書き入力は、それぞれのテキスト入力フィールド(例えば、他のテキスト入力フィールドではない)内にテキストを入力せよとの要求と依然として見なされる。いくつかの実施形態では、テキスト入力フィールドの境界付近に誤差又は許容差のマージンを提供することにより、システムは、完全にテキスト入力フィールド内ではない(例えば、テキスト入力フィールドよりも大きい、テキスト入力フィールドを「ミス」し、又はテキスト入力フィールドの境界を越えて意図せずに延在する)手書き入力を受け入れることが可能となる。
図6Bに示すように、手書き入力604-1はテキスト入力フィールド602-3に向けられている。いくつかの実施形態では、手書き入力604-1は、テキスト入力フィールド602-3のわずかに外側(例えば、テキスト入力フィールド602-3の誤差又は許容差のマージン内)で開始し、及び/又は、テキスト入力フィールド602-3の境界内にストロークの大部分を任意選択的に有する。したがって、いくつかの実施形態では、手書き入力602-1は、文字「12」をテキスト入力フィールド602-3に入力せよとの要求であると解釈される。
図6Cで、ユーザは、手書き入力604-1を継続し、「1234」をテキスト入力フィールド602-3に書き込む。いくつかの実施形態では、ユーザは、「E」に対応する手書き入力604-2を更に提供する。いくつかの実施形態では、手書き入力604-2は、テキスト入力フィールド602-3の境界の外側で開始されるが、手書き入力604-2の大部分は、手書き入力604-2がテキスト入力フィールド602-3にテキストを入力する要求と見なされるように、602-3の境界内にある。いくつかの実施形態では、手書き入力が特定のテキスト入力フィールドにテキストを入力せよとの要求であると見なされるかどうかは、各文字(例えば、各文字がそれぞれのテキスト入力フィールドに向けられていると見なされるかどうか)、各単語(例えば、各単語が全体としてそれぞれのテキスト入力フィールドに向けられていると見なされるかどうか)、又は、手書き入力のシーケンス全体(例えば、最初のタッチダウンから手書き入力が閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)の間に一時停止するか、又は終了するまでのシーケンス全体が、それぞれのテキスト入力フィールドに向けられていると見なされるかどうか)の分析に基づいている。
図6Dで、ユーザは、手書き604-2を継続し、テキスト入力フィールド602-3に「Elm」を書き込む。いくつかの実施形態では、ユーザが手書き入力604-1(例えば、「1234」)を入力してから閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)が経過した後である。いくつかの実施形態では、閾値量の時間の後、デバイス600は、手書き入力604-1が文字「1234」に対応すると判定する。換言すれば、デバイス600は、手書き入力604-1を分析し、文字「1234」としてユーザの書き込みを認識する。いくつかの実施形態では、手書き入力604-1は、手書き入力604-1がデバイス500によって認識され、及び/又は手書き入力604-1がフォントベースのテキスト(例えば、コンピュータテキスト、デジタルテキスト)に変換されることを示すために、色及び/又は不透明度を変更する。例えば、手書き入力604-1は、手書き入力604-1がフォントベースのテキストに変換されているときに、グレーになる。いくつかの実施形態では、色及び/又は不透明度の変化は、手書き入力604-1をフォントベースのテキストに変換するアニメーションの一部である(例えば、手書き入力は、手書き入力をフォントベースのテキストに変換するアニメーション中に、0.2秒、0.3秒、0.5秒、1秒などの短時間、グレーになる)。いくつかの実施形態では、手書き入力が受信されると、方法2000に関して後述される(例えば、及び/又は図19B~図19Iに関して説明される)インク乾燥アニメーションと同様の色及び/又は不透明度(例えば、インク乾燥効果など)を変更する手書き入力のアニメーションが表示される。いくつかの実施形態では、手書き入力が受信されている間に(例えば、任意選択的に、デバイスが、手書き入力をフォントベースのテキストに変換するプロセスを開始する前に)、インク乾燥効果のアニメーションが実行される。いくつかの実施形態では、手書き入力がフォントベースのテキストに変換される際に(例えば、手書き入力をフォントベースのテキストに変換するアニメーションの一部として)、インク乾燥効果のアニメーションが実行される。
図6Eで、ユーザは、単語「Streat」に対応する手書き入力604-3を入力する。いくつかの実施形態では、手書き入力604-3は、テキスト入力フィールド602-3の境界内で開始し、テキスト入力フィールド602-3の境界の外側で終了し、テキスト入力フィールド602-4の境界内に入る。いくつかの実施形態では、手書き入力604-3がテキスト入力フィールド602-3の境界を出てテキスト入力フィールド602-4の境界内に入る場合であっても、手書き入力604-3は、テキスト入力フィールド602-3内にテキストを入力する(例えば、テキスト入力フィールド602-3に向けられている)要求であると見なされる。
いくつかの実施形態では、手書き入力604-1はフォントベースのテキストに変換される。いくつかの実施形態では、フォントベースのテキストは、物理キーボード又はソフトキーボードなどの従来のテキスト入力システムを使用したときに入力されるテキストである。いくつかの実施形態では、テキストは、特定のフォントスタイルを使用してフォーマットされる。例えば、フォントベースのテキストは、12ポイントサイズのTimes New Roman又は10ポイントサイズのArialなどである。いくつかの実施形態では、手書き入力604-3は、閾値量の遅延(例えば、0.5秒、1秒、2秒、3秒、5秒)後に変換される。いくつかの実施形態では、(例えば、図6Dに記載されるように)手書き入力604-3が変換されることを示すために手書き入力604-3の視覚的特性が変更された後に、手書き入力604-3が変換される。いくつかの実施形態では、手書き入力604-3の視覚的特性は、変換前には変化しない。
いくつかの実施形態では、変換された後の手書き入力のサイズは、テキスト入力フィールドのデフォルトのフォントサイズである。いくつかの実施形態では、手書き入力がフォントベースのテキストに変換される前に、手書き入力のサイズが変化する。いくつかの実施形態では、フォントベースのテキストのサイズは、手書き入力のサイズと一致し、その場合、フォントベースのテキストのサイズは、テキスト入力フィールドのデフォルトサイズに一致するように変更される(例えば、サイズは、手書き入力をフォントベースのテキストに変更するアニメーションの後に変更される)。いくつかの実施形態では、サイズは、手書き入力からフォントベースのテキストへのアニメーション中に変化する。いくつかの実施形態では、手書き入力をフォントベースのテキストに変換するアニメーションは、手書き入力をフォントベースのテキストにモーフィングすることを含む。いくつかの実施形態では、手書き入力は、(例えば、断片又は不変化詞に)分解され、フォントベースのテキストとして再組立てされる(例えば、方法2000に関して以下に記載されるように)。いくつかの実施形態では、手書き入力はディゾルブ又はフェードアウトし、フォントベースのテキストにディゾルブイン又はフェードインする。いくつかの実施形態では、手書き入力は、ディゾルブしている間にフォントベースのテキストの最終位置に向かって移動し(例えば、それ自体をテキスト入力領域又は任意の既存のテキストと整列させる)、フォントベースのテキストは、最終位置に向かって移動する間に同時に出現する。したがって、いくつかの実施形態では、手書き入力及びフォントベースのテキストは、アニメーションの少なくとも一部の間に同時にディスプレイ上に表示することができる(例えば、アニメーション時間を短縮するため)。
図6Fで、ユーザは、文字「Apt.」に対応する手書き入力604-4を入力する。いくつかの実施形態では、手書き入力604-4は、任意のテキスト入力フィールド(例えば、テキスト入力フィールド604-3及び602-4の両方)の完全に外部にある。いくつかの実施形態では、手書き入力604-4は、手書き入力604-3と同じ手書き入力のシーケンス(例えば、手書き入力604-3の書き込みの0.25秒後、0.5秒後、1秒後、2秒後、5秒後)と見なされるように、手書き入力604-3の後に素早く連続して実行される。いくつかの実施形態では、手書き入力604-4は、手書き入力604-3と同じ入力のシーケンス内にあると見なされるため、手書き入力604-4もまた、テキスト入力フィールド602-3にテキストを入力する(例えば、テキスト入力フィールド602-3に向けられている)要求であると見なされる。
図6Gは、ユーザが、手書き入力602-4~604-4の書き込みを完了した後にタッチスクリーン504に接触していることからスタイラス203をリフトオフすることを示す。いくつかの実施形態では、閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)の間のタッチスクリーン504からのスタイラス203のリフトオフに応じて、デバイス500は、図6Hに示すように、手書き入力を分析し、解釈し、フォントベースのテキストに変換する。図6Hに示すように、変換された手書き入力604-2~604-4のそれぞれは、テキスト入力フィールド602-3に入力され、テキスト入力フィールド602-3と、及び任意選択的に、変換された手書き入力604-1と、視覚的に整列される。
図6Iで、閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)、タッチスクリーン504からスタイラス203をリフトオフした後、ユーザは、手書き入力604-5を入力し続ける。しかしながら、ユーザが手書き入力を一時停止しているため、任意の更なる手書き入力は、手書き入力604-3及び手書き入力604-4と同じ手書き入力のシーケンス内にあるとはもはや見なされない。したがって、図6Iに示す例では、手書き入力604-5などの更なる手書き入力は、手書き入力がどのテキスト入力フィールドに向けられているか(例えば、この場合、テキスト入力フィールド602-4)を判定するために、別個に分析される。
図6Jで、いくつかの実施形態では、ユーザがテキスト入力フィールド602-4の近く又は終端に(例えば、1mm以内、2mm以内、3mm以内など)手書き入力604-5を入力すると、テキスト入力フィールド602-4は、更なる手書き入力を収容するように水平に拡大する。例えば、ユーザが「1」の文字を書き込んだ後、テキスト入力フィールド602-4は任意選択的に拡大して、ユーザが「2」の文字などを書き込むための余地を提供する。あるいは、いくつかの実施形態では、ユーザが「1」の文字を書き込んだ後、テキスト入力フィールド602-4は拡大しない。しかし、ユーザがテキスト入力フィールド602-4の外部に「2」の文字を書き込んだ後、テキスト入力フィールド602-4は、「2」の文字を包含するように拡大する。
図6Kで、ユーザは、手書き入力604-5の入力を継続して「1234」を書き込む。いくつかの実施形態では、テキスト入力フィールド602-4が更に水平に拡大できないほどに手書き入力604-5がタッチスクリーン504の終端に到達しているため、図6Kに示すように、テキスト入力フィールド602-4は垂直に拡大して、手書き入力を入力し続けるために追加の行をユーザに提供する。
いくつかの実施形態では、ユーザが閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)タッチスクリーン504からスタイラス203をリフトオフした後、デバイス500は、手書き入力(例えば、手書き入力604-5)を分析し、解釈し、フォントベースのテキストに変換する。いくつかの実施形態では、上述したように、手書き入力604-5が手書き入力604-3又は手書き入力604-5の継続(例えば、そうすれば任意選択的に、手書き入力がテキスト入力フィールド602-3に入力されることができる)と見なされないほどユーザが閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)手書き入力を一時停止したため、手書き入力604-5はテキスト入力フィールド602-3の代わりにテキスト入力フィールド602-4に入力される。いくつかの実施形態では、手書き入力604-5がフォントベースのテキスト変換されるのと同時に、又はその後に、テキスト入力フィールド602-4は、その元のサイズに戻る。
図6M~図6Oは、デバイス500が、手書き入力がテキスト入力フィールドの終端に接近又は到達したときに継続的な手書き入力のための追加のスペースを提供する、代替的方法を示す。図6Mでは、ユーザは、テキスト入力フィールド602-4の終端又はその近くに手書き入力604-5を提供する。いくつかの実施形態では、図6Nに示すように、手書き入力604-5は、テキスト入力フィールド602-4の終端から左にシフトされて、ユーザに、手書き入力の入力を継続する余地を提供する。いくつかの実施形態では、手書き入力604-5は、ユーザが文字の書き込みを完了した後(例えば、0.2秒、0.4秒、0.6秒、1秒、2秒などの短いリフトオフの後)に左にシフトされる。いくつかの実施形態では、手書き入力の左方向へのシフトは、テキスト入力フィールドの拡大と同時に実行される。いくつかの実施形態では、ユーザが、閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)タッチスクリーン504からスタイラス203をリフトオフした後、図6Oに示すように、デバイス500は手書き入力604-5をフォントベースのテキストに変換する。
図6Pで、手書き入力604-6が、テキスト入力フィールド602-5でタッチスクリーン504上で検出される(例えば、受信される)。いくつかの実施形態では、手書き入力604-6は認識することが困難である。例えば、手書き入力604-6内の書かれた文字におけるデバイス500の信頼度は、閾値信頼度(例えば、25%信頼度、50%信頼度、75%信頼度など)を下回る。いくつかの実施形態では、ユーザによって書かれた文字の信頼度が閾値信頼度レベルを下回る場合、図6Qに示すように、提案されたフォントベースのテキストでポップアップがユーザに表示される。
いくつかの実施形態では、ポップアップ606は、手書き入力604-6の上に、又はさもなければ、手書き入力604-6の近傍内に(例えば、5mm、1cm、1.5cm、3cm以内など)表示される。いくつかの実施形態では、ポップアップ606に関連付けられた単語又は文字が強調表示される。いくつかの実施形態では、ポップアップ606は、手書き入力604-6の最も高い信頼度の解釈(例えば、「Salem」)を含む。いくつかの実施形態では、ポップアップ606は、手書き入力604-6の2つ以上の潜在的解釈(例えば、1つ以上の選択可能オプションに対応する)を含む。いくつかの実施形態では、ポップアップ606は、(例えば、閾値時間遅延又は他の時間ベースのヒューリスティック後の変換とは対照的に)手書き入力604-6の選択された解釈への変換を引き起こすように選択可能である。いくつかの実施形態では、ポップアップ606は、ユーザがタッチスクリーン504からスタイラス203をリフトオフした後に表示され、デバイス600は、手書きシーケンス全体(例えば、単語全体、文全体、文字列など)を分析し解釈する機会を有している。いくつかの実施形態では、ポップアップ606は、ユーザが手書き入力を実行している間に任意の時点で表示され、ユーザがデバイス500によって認識される追加の文字を書き込むときに更新される。例えば、ポップアップ606は、任意選択的に、ユーザが「Sa」を書き込んだ後に最初に出現し、「Sa」を表示する。そのような実施例では、ユーザが「l」を書き込むと、ポップアップ606が更新されて「Sal」を表示する。いくつかの実施形態では、ユーザが「em」を書き込んだ後、ポップアップ606は、「Salem」を表示するように更新される(例えば、いくつかの実施形態では、ポップアップは、各文字の後、又はいくつかの文字の後に新しい文字で更新される)。いくつかの実施形態では、ポップアップ606は、手書き入力の解釈の信頼度レベルに関係なく表示される(例えば、ポップアップ606は、任意選択的に、常に表示され、提案されたフォントベースのテキストを「受け入れ」、手書きテキストをフォントベースのテキストに変換する時期を判定するために使用されているタイマとは無関係に、提案されたフォントベースのテキストへの手書き入力の変換を引き起こす方法をユーザに提供する)。いくつかの実施形態では、ポップアップ606は、提案を拒否するか、又はさもなければ、ポップアップ606を消去する選択可能オプションを含む。いくつかの実施形態では、ポップアップの消去又は提案の拒否は、手書き入力604-6が決して変換されないようにはしない。いくつかの実施形態では、ポップアップの消去又は提案の拒否は、手書き入力604-6をその時点で変換されないようにするが、手書き入力604-6は、依然として、タイマに基づく変換ヒューリスティックなどの他のヒューリスティックに基づいて、後の時点で任意選択的に変換される。
図6Rに示すように、デバイス500は、ポップアップ606を選択するスタイラス203からのタッチスクリーン504上のタップを検出する。いくつかの実施形態では、ポップアップ606を選択する(例えば、提案されたフォントベースのテキスト「Salem」に対応する選択可能オプションを選択する)ユーザ入力に応じて、図6Sに示すように、デバイス500はフォントベースのテキストで手書き入力604-6を置換する。いくつかの実施形態では、上述のように、手書き入力をフォントベースのテキストに置換する(例えば、変換する)ことは、手書き入力のサイズ及び/又は形状を変更することを任意選択的に含み、手書き入力をフォントベースのテキストに変換するアニメーションを実行することを任意選択的に含み、フォントベースのテキストをテキスト入力フィールド(例えば、テキスト入力フィールド602-5)と整列させること、又はフォントベースのテキストをテキスト入力フィールド内の任意の既存のテキストと任意選択的に整列させること(任意選択的に、方法2000に関して以下に説明するプロセスと同様の方法で)を任意選択的に含む。
いくつかの実施形態では、手書き入力604-6、内の書かれた文字におけるデバイス500の信頼度レベルに基づいて、変換されたフォントベースのテキストは、テキスト入力フィールド内の異なる位置に表示される。例えば、デバイス500の信頼度レベルが閾値レベル(例えば、25%信頼度、50%信頼度、75%信頼度など)を下回る場合、変換されたフォントベースのテキストは、任意の既存のテキスト又はテキスト入力フィールドと整列されない。代わりに、いくつかの実施形態では、変換されたフォントベースのテキストは元の手書き入力と同じ位置に残され、デバイス500が変換において確実でないことをユーザに示す。いくつかの実施形態では、信頼度レベルが閾値レベルを上回る場合、変換されたフォントベースのテキストは、テキスト入力フィールド内の任意の既存のテキストと整列されるか、又はテキスト入力フィールドと左に整列される(例えば、既存のテキストが存在しない場合)。
図6T~図6Wは、テキスト入力フィールドがその境界を拡大して、ディスプレイ上のテキスト入力フィールドの位置に基づいて、より快適又は自然な書き込み位置を提供する実施形態を示す。図6Tで、ユーザ入力は、テキスト入力フィールド602-8でタッチスクリーン504上でタッチダウン(例えば、タップ入力、長押し入力(例えば、タップアンドホールド)など)するスタイラス203から検出される。いくつかの実施形態では、テキスト入力フィールド602-8は、タッチスクリーン504の底部又はその近く(例えば、下から3分の1、下半分、下から4分の1など)に位置する。いくつかの実施形態では、ユーザが、手書き時にユーザの手のひらを静止させる表面をほとんど又は全く有さないため、スタイラス203でタッチスクリーン504の底部に手書きすることは厄介である。したがって、いくつかの実施形態では、デバイス500は、ユーザが対話しているテキスト入力フィールドの位置に基づいて、ユーザがより不快でない場所で手書き入力を提供することができるように、テキスト入力フィールドが上方に拡大されるべきであると判定する。したがって、図6Uに示すように、テキスト入力フィールド602-8上でタップ又は選択する入力を受け取ることに応じて、テキスト入力フィールド602-8の境界は垂直上方に拡大される。いくつかの実施形態では、テキスト入力フィールド602-8は、画面の中間点、画面の3分の2点などまで拡大される。いくつかの実施形態では、テキスト入力フィールド602-8は、水平及び垂直に拡大する。
図6Vで、拡大されたテキスト入力フィールド602-8に単語「Bob」を書き込む手書き入力604-7を提供するユーザ入力がスタイラス203から受信される。いくつかの実施形態では、手書き入力が拡大テキスト入力フィールド602-8にテキストを入力せよとの要求に向けられているか、又はそれに対応するかの判定は、テキストを非拡大テキスト入力フィールドに入力するための判定と同じである。いくつかの実施形態では、手書き入力604-7の書き込みを完了(例えば、スタイラス203のリフトオフ及び/又は閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)の更なる手書き入力の検出)した後、手書き入力604-7はフォントベースのテキストに変換され、図6Wに示すように、テキスト入力フィールド602-8はその元のサイズ及び形状に戻る(例えば、変換と同時に、変換後、又は変換前に)。
図6Xで、スタイラス203からのユーザ入力が、任意のテキスト入力フィールドの境界の外側のタッチスクリーン504上で検出される。いくつかの実施形態では、ユーザ入力がテキスト入力フィールドに向けられているか、又はテキスト入力フィールドにテキストを入力する要求であるかを判定するための基準のいずれもユーザ入力が満たさない場合、ユーザ入力は手書きテキスト入力であるとは見なされない。いくつかの実施形態では、ユーザ入力が手書きテキスト入力ではない場合、ユーザ入力によって実行されるジェスチャは画面上に表示されない。いくつかの実施形態では、ユーザが手書きテキスト入力を実行しているとき、文字及び単語のユーザの手書きは、入力が受信される位置及び時間に画面上に現れる。これに対して、いくつかの実施形態では、ユーザが手書きテキスト入力を実行していないとき、ユーザのジェスチャは画面上に現れない。同様に、いくつかの実施形態では、ユーザ入力は、ユーザが対話している要素及び入力の特性に基づいて非テキスト入力コマンド又は非テキスト入力ジェスチャとして解釈される。例えば、図6Xで、デバイス500は、ユーザが上向きスクロール入力(例えば、スタイラス203によるタッチスクリーン504上でのタッチダウン、及びタッチスクリーン504に連続的にタッチしながら上方に移動する)を開始していることを検出する。いくつかの実施形態では、スタイラス203からの上向きスクロール入力に応じて、図6Yに示すように、ユーザインタフェース600は、スクロール入力の移動に従って上方にスクロールされる。図6X~図6Yに示すように、タッチスクリーン504上でタッチダウンしている間のユーザの上向きジェスチャは、(例えば、ユーザがスタイラス203を使用してテキスト入力を実行しているときとは対照的に)タッチスクリーン504上に表示されない。
図6Z~図6MMは、複数行テキスト入力フィールド内で手書き入力を受信する例示的な方法を示す。図6Zで、デバイス500は、テキスト入力フィールド612-1及び612-2を含むユーザインタフェース610を表示する。いくつかの実施形態では、テキスト入力フィールド612-2は、複数行のテキストを受け取り、表示することができる、複数行テキスト入力フィールドである。図6AAで、テキスト入力フィールド612-1にテキスト616-1が追加され、テキスト入力フィールド612-2は手書き入力616-2を受信している。いくつかの実施形態では、手書き入力616-2がテキスト入力フィールド612-2の水平端に到達するか、又はそれに到達し始める場合には、ポップアップ618が表示され、入力用の新規のテキスト行を作成するための選択可能オプションを提示する。いくつかの実施形態では、新規のテキスト行を作成することは、(例えば、任意選択的に、手書き入力のサイズに基づいて)テキスト入力フィールドのサイズを垂直に増大させて、更なる手書き入力を受け入れることを含む。例えば、図6BBに示すように、新規のテキスト行を作成する(例えば、挿入する)ためにスタイラス203によってポップアップ618を選択するユーザ入力が検出される。いくつかの実施形態では、ユーザ入力の結果として、図6CCに示すように、テキスト入力フィールド612-2は、その下部境界を下方に拡大して、ユーザが更なる手書き入力を提供するためのテキスト行を作成する。
図6DDで、テキスト入力フィールド612-2内の新たに作成されたスペース内への更なる手書き入力616-3が、スタイラス203から受信される。いくつかの実施形態では、図6EEに示すように、デバイス500は、手書き入力616-4を受信する。いくつかの実施形態では、手書き入力616-4は、テキスト入力フィールド612-2内で手書き入力616-3よりも下方の垂直位置で受信される。しかしながら、いくつかの実施形態では、手書き入力616-4は、手書き入力616-3の下の閾値距離ではないため(例えば、手書き入力616-3の垂直スペース、手書き入力616-3の下1mm、手書き入力616-3の下2mmなどと少なくとも部分的に重畳する)、手書き入力616-4は、手書き入力616-3とは異なる行に書き込まれるとは見なされず、新規のテキスト行を挿入する要求とは見なされない。
図6FFで、手書き入力616-5が、手書き入力616-3の閾値距離(例えば、手書き入力616-3の下1mm、2mm、3mmなど)を超えて受信される。いくつかの実施形態では、手書き入力616-5は、一般的に、テキスト入力フィールド612-2の境界の外側で(例えば、テキスト入力フィールド612-2のエリアにほんのわずかに重畳して)受信されても、手書き入力616-5が手書き入力616-4の直後に大きな遅延なしで入力されたか、及び/又は、テキスト入力フィールド612-2の下に更なるテキスト入力フィールドが存在しないため、手書き入力616-5は、テキスト入力フィールド612-2内に新規行にテキストを入力する要求であると見なされる。いくつかの実施形態では、手書き入力616-5を手書き入力616-3の閾値距離だけ下で受信したことに応じて、図6GGに示すように、テキスト入力フィールド612-2は、手書き入力616-5を包含するための新規のテキスト行を作成する。
図6HHで、新規のテキスト行を追加せよとの要求に対応する、手書き入力616-5の下のテキスト入力フィールド612-2内のスペース上でタップするスタイラス203からのユーザ入力が受信される。いくつかの実施形態では、タップ入力(例えば、長押し入力)を受信したことに応じて、図6IIに示すように、テキスト入力フィールド612-2は、テキスト入力フィールド612-2を更に拡大して新規のテキスト行のためのスペースを作成する。図6JJ~図6KKで、手書き入力616-6が、新規のテキスト行のためのスペース内で受信される。図6LLで、ユーザが手書き入力を完了し、タッチスクリーン504からスタイラス203をリフトオフした後、デバイス500は、任意選択的に、手書き入力をフォントベースのテキストに変換する。いくつかの実施形態では、手書き入力がフォントベースのテキストに変換された後、図6MMに示されるように、テキスト入力フィールド612-2は、その元のサイズ及び形状に戻る。いくつかの実施形態では、テキスト入力フィールド612-2内のテキストがテキスト入力フィールド612-2のサイズをオーバーフローする場合、スクロールバー又はナビゲーション要素(図示せず)が提供されて、ユーザがオーバーフローしたテキストを見ることを可能にする。
図6NN~図6RRは、手書き入力をフォントベースのテキストに変換するための例示的な基準を示す。図6NNで、デバイス500は、メモ帳アプリケーションに対応するユーザインタフェース620を表示している。いくつかの実施形態では、ユーザインタフェース620は、ユーザが複数行のテキストを入力することができるテキスト入力領域622を含む。図6OOで、手書き入力624-1がテキスト入力領域622内で受信される。いくつかの実施形態では、手書き入力624-1は、1つ以上の文字又は単語の後の句読点を含む(例えば、図6OOではコンマ)。いくつかの実施形態では、句読点を検出したことに応じて、図6PPに示すように、句読点の前及びそれを含む手書き入力は分析され、フォントベースのテキストに変換される。いくつかの実施形態では、変換は、短い時間遅延の後に(例えば、方法1300に従って)実行される。
図6PPで、テキスト入力領域622内で更なる手書き入力624-2が受信される。いくつかの実施形態では、図6QQに示すように、手書き入力624-2は、ユーザが手書き入力624-2を書き込むことを完了した後に、特定の時間遅延後に変換される。いくつかの実施形態では、デバイス500は、ユーザが書き込みを完了した単語として手書き入力624-2を認識し、その時に、手書き入力624-2が変換される。いくつかの実施形態では、ユーザが手書き入力624-2とは異なる行での書き込みを開始したこと(例えば、手書き入力624-3)をデバイス500が検出した後に、手書き入力624-2は変換される。図6QQで、手書き入力624-3がテキスト入力領域622内で受信される。いくつかの実施形態では、手書き入力624-3は、追加の文字を追加し得ない単語(例えば、「o’clock」)を含む。いくつかの実施形態では、デバイス500が、最近書かれた単語に追加の文字を追加し得ないことを検出すると、図6RRに示すように、追加の文字を追加し得ない単語までの手書き入力が分析され、フォントベースのテキストに変換される。いくつかの実施形態では、文字を追加し得ない単語は、デバイスのデフォルトの辞書に基づいて、有効な単語を生成するために更なる文字を追加し得ない単語である。換言すれば、その単語への任意の追加の文字が、存在しない単語を生成する(例えば、追加の文字のどんな組合せも有効な単語を生成することはない)。いくつかの実施形態では、あるいは、ユーザが閾値数の単語(例えば、3単語、5単語、6単語など)を書き込んだため、手書き入力624-3はフォントベースのテキストに変換される。
図6SS~図6YYは、第1の電子デバイスから第2の電子デバイスにフォントベースのテキストを送信する例示的な方法を示す。図6SSで、デバイス500はデバイス631と通信している。いくつかの実施形態では、デバイス631は、ディスプレイ632と通信するセットトップボックス又は他の電子デバイス(例えば、デバイス580など)である。いくつかの実施形態では、デバイス500は、無線通信プロトコル(例えば、WiFi、WiFi Direct、NFC、IR、RFなど)を介して無線でデバイス631と通信する。いくつかの実施形態では、デバイス631は、デバイス590及び/又はデバイス591などのデバイス631を遠隔制御することができる他の電子デバイスと通信している。いくつかの実施形態では、図6SSに示すように、デバイス631は、テキスト入力フィールド636を含むユーザインタフェース634を表示している。したがって、いくつかの実施形態では、デバイス631は、テキスト入力フィールド636にテキストを入力するユーザ入力を予期している。いくつかの実施形態では、デバイス500は、デバイス631を遠隔制御する遠隔制御アプリケーションに対応するユーザインタフェース630を表示している。いくつかの実施形態では、ユーザインタフェース630は、手書き入力を受け入れることができるテキスト入力領域を含む。例えば、図6TTで、ユーザインタフェース630のテキスト入力領域内で手書き入力638が検出される。いくつかの実施形態では、手書き入力638を受信した後(あるいは、手書き入力638を受信している間)、図6UUに示すように、手書き入力638はフォントベースのテキストに変換される。いくつかの実施形態では、手書き入力638をフォントベースのテキストに変換することに応じて(又は、手書き入力638をフォントベースのテキストに変換することと同時に)、テキストは、デバイス631に送信され、任意選択的にテキスト入力フィールド636内に入力され表示される。
図6VV~図6YYは、第1の電子デバイスから第2の電子デバイスにフォントベースのテキストを送信する代替の例示的方法を示す。いくつかの実施形態では、図6VVに示すように、デバイス631は、ユーザインタフェース642上に1つ以上のテキスト入力フィールド(例えば、テキスト入力フィールド644-1~644-4)を表示する。いくつかの実施形態では、デバイス631は、1つ以上のテキスト入力フィールドに関するデータをデバイス500に送信する(又は、デバイス500は、そうでなければ、1つ以上のテキスト入力フィールドに関するデータを受信する)。いくつかの実施形態では、デバイス500は、ユーザインタフェース640上に1つ以上のテキスト入力フィールドを表示する。いくつかの実施形態では、1つ以上のテキスト入力フィールドは、ディスプレイ632上の対応するテキスト入力フィールドの位置及び配置を模倣する。いくつかの実施形態では、デバイス500は、テキスト入力フィールドの位置及び配置を模倣しない。
図6WWで、デバイス500のユーザインタフェース640上のテキスト入力フィールド646-1内で、手書き入力648が受信される。いくつかの実施形態では、ユーザが手書き入力648を完了し、(例えば、図6XXに示すように)スタイラス203をリフトオフした後、図6YYに示すように、デバイス500は手書き入力648をフォントベースのテキストに変換する。いくつかの実施形態では、手書き入力648をフォントベースのテキストに変換した後又は同時に、デバイス500は、テキストをデバイス631に送信する。いくつかの実施形態では、テキストを受信したことに応じて、デバイス631は、受信したテキストを(例えば、テキスト入力フィールド646-1に対応する)テキスト入力フィールド644-1に入力して表示する。
図7A~図7Iは、手書き入力をフォントベースのテキストに変換する方法700を示す流れ図である。方法700は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで実行される。方法700における一部の動作は、任意選択で組み合わされ、及び/又は、一部の動作の順序は、任意選択で変更される。
以下に説明するように、方法700は、手書き入力をフォントベースのテキストに変換する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、タッチ感知ディスプレイと通信する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーンを含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、図6Aのように、タッチ感知ディスプレイ上で、第1のテキスト入力領域を含むユーザインタフェース(例えば、ユーザがテキストを入力することができるテキストフィールド又はテキスト入力領域を有するユーザインタフェース)を表示する(702)。例えば、ユーザインタフェースは、複数のテキストフィールド(又はテキスト入力領域)を有する形態であり、特定のテキストフィールドの選択(例えば、指による)は、テキストフィールドにテキストを入力するためのソフトキーボードを任意選択的に表示する。いくつかの実施形態では、物理キーボードが、テキストをそれぞれのテキストフィールドに入力するために任意選択的に使用される。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイスは、タッチ感知ディスプレイを介して、図6Bのような第1のテキスト入力領域に向けられた手書き入力を含むユーザ入力を受信する(704)(例えば、テキストフィールド(又はテキスト入力領域)上又はその近くで手書き入力を受信する)。いくつかの実施形態では、ユーザ入力は、スタイラス又は他の書き込みデバイスから受信される。いくつかの実施形態では、ユーザ入力は指から受信される。いくつかの実施形態では、手書き入力は、手書き入力がテキストフィールド(又はテキスト入力領域)上又はその近くの位置で受信されるとき、第1のテキスト入力フィールドに向けられる。いくつかの実施形態では、テキスト入力フィールド(又はテキスト入力領域)にテキストを入力する要求を示す手書き入力は、第1のテキスト入力フィールドに向けられていると見なされる。例えば、テキストフィールド(又はテキスト入力領域)から始まる手書き入力は、手書き入力の一部(例えば、一部又は全部)がテキストフィールド(又はテキスト入力領域)の外側に延在する場合であっても、手書き入力のシーケンス全体がテキストフィールド(又はテキスト入力領域)内に入力されることが意図されていることを任意選択的に示す。いくつかの実施形態では、テキストフィールド(又はテキスト入力領域)の外部から開始するユーザ入力であるが、テキストフィールド(又はテキスト入力領域)内に実質的な量の手書き入力が入るユーザ入力は、任意選択的に、テキストフィールド(又はテキスト入力領域)内にテキストを入力する意図であると考えられる(例えば、30%、50%などがテキストフィールド又はテキスト入力領域内に入る)。いくつかの実施形態では、テキスト入力フィールド(又はテキスト入力領域)は、テキスト入力フィールド(又はテキスト入力領域)から特定の距離内の手書き入力がテキスト入力フィールド(又はテキスト入力領域)内の手書き入力であると見なされる誤差の所定のマージンを含む。いくつかの実施形態では、テキストフィールド(又はテキスト入力領域)の完全に外側にあるユーザ入力は、入力のタイミングは、入力がテキストフィールドに入力されるべき手書き入力の継続であることを示す(例えば、ユーザは、一時停止なしに、又は短い一時停止を伴って書き込みを継続し、書き込みはテキストフィールドを超えて延在する)場合には、テキストフィールド(又はテキスト入力領域)内にテキストを入力する意図であると見なされる。
いくつかの実施形態では、ユーザ入力を受信している間に、電子デバイスは、図6Bのような、テキスト入力領域に対応する位置に、ユーザインタフェース内の手書き入力の表現を表示する(706)(例えば、入力が受信される際に手書き入力が受信された位置で、ディスプレイ上に手書き入力の軌跡を表示する)。いくつかの実施形態では、ユーザがタッチ感知ディスプレイ上に「描画」すると、ディスプレイは、入力が受信された位置にユーザの手書き入力を示す。いくつかの実施形態では、手書き入力がテキストフィールド内で受信された場合に、手書き入力軌跡がテキストフィールド内に示される。より一般的には、いくつかの実施形態では、タッチ感知ディスプレイ上のどこで手書き入力が受信されても、手書き入力軌跡が示される。いくつかの実施形態では、手書き入力を表示することは、各文字、各単語又は各文などの受信後に起こる。いくつかの実施形態では、入力デバイス(例えば、スタイラス、指など)を用いた、手書き入力であると判定されないユーザ入力(例えば、テキスト入力フィールド又は領域に向けられていない入力)は、入力の軌跡の同時表示を引き起こさない。
いくつかの実施形態では、図6Eのように(例えば、手書き入力終了後、又は手書き入力開始後、ユーザが更なる手書き入力を依然として入力している間に)、ユーザインタフェースで手書き入力の表現を表示した後に(708)、ユーザ入力が1つ以上の第1の基準を満たすとの判定に従って(例えば、手書き入力をテキスト(例えば、コンピュータテキスト)で置換することは、任意選択的に、書き込みのタイミング、特定の単語及び/又は文字の使用、句読点、手書き入力の文構造及び/又は他のユーザインタフェース要素との対話、を含むいくつかの基準に依存する)、図6Eのように、電子デバイスは、手書き入力の表現の少なくとも一部を表示することを停止し、テキスト入力領域内の手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示する(710)(例えば、ディスプレイ上の手書き入力の少なくとも一部を除去し、テキスト入力フィールド内の手書き入力の除去された部分に対応するコンピュータ化テキスト(例えば、フォントベースのテキスト)を表示する)。
いくつかの実施形態では、この置換は、入力が受信されている間に行われる(例えば、手書き入力の第1の部分は、ユーザが手書き入力の第2の部分を依然として入力している間に置換される)。いくつかの実施形態では、置換は、(例えば、手書き入力を受信することなく閾値量の時間の後、ユーザが単語若しくは文の書き込みを完了した後、又は何らかの他の入力終了基準を満たした後に)入力終了後に行われる。いくつかの実施形態では、置換は、提案されたテキストをユーザに表示し、提案されたテキストを選択又は確認する入力を受信した後に行われる。
いくつかの実施形態では、システムは、ユーザが手書き入力で書いた文字及び/又は単語を判定し、それらをコンピュータ化テキストに変換する。例えば、手書き入力は、任意選択的に、12ポイントのTimes New Romanフォント(例えば、又は他の好適なフォント)のテキストに置換される。いくつかの実施形態では、フォントベースのテキストは、10ポイントサイズ、12ポイントサイズなどであり、任意選択的に、Arial、Calibri、Times New Romanなどである。いくつかの実施形態では、コンピュータ化テキスト(例えば、フォントベースのテキスト)は、手書き入力を置換する。いくつかの実施形態では、フォントベースのテキストは、手書き入力の一部が表示から除去される前又は後に(例えば、0.5秒前又は後、1秒前又は後、3秒前又は後など)表示される。いくつかの実施形態では、手書き入力をコンピュータ化テキストに変換するか、又は他の方法で手書き入力を除去し、コンピュータ化テキストを表示するアニメーションが示されている。いくつかの実施形態では、コンピュータ化テキストの位置は、手書き入力が変換前に存在した位置と重畳する。いくつかの実施形態では、コンピュータ化テキストは、手書き入力よりも小さいサイズである(例えば、フォントサイズは、手書き入力よりも小さい)。いくつかの実施形態では、手書き入力は、手書き入力と同じサイズを有するフォントベースのテキストに変換され(例えば、フォントベースのテキストのサイズが手書き入力に一致する)、その後、フォントベースのテキストはその最終サイズ(例えば、フォントベースのテキストのデフォルトサイズ又はテキスト入力領域のデフォルトサイズ)に更新される。いくつかの実施形態では、手書き入力のサイズはフォントベースのテキストの最終サイズ(例えば、フォントベースのテキストのデフォルトサイズ又はテキスト入力領域のデフォルトサイズ)に変更された後、手書き入力がフォントベースのテキストに(例えば、手書き入力の最終サイズと一致するその最終サイズで)変換される。いくつかの実施形態では、手書き入力のサイズは変更されず、フォントベースのテキストは、手書き入力のサイズに一致することなく、初期サイズから最終サイズに変化することなしに、既にその最終サイズで現れる。同様に、いくつかの実施形態では、テキストの位置は、変換の前又は後に任意選択的に更新される。いくつかの実施形態では、手書き入力は変換前に最終位置に移動され、フォントベースのテキストは(例えば、それが変換されるときに)その最終位置に移動する前の手書き入力の位置に現れるか、又はフォントベースのテキストは(例えば、それが変換されるときに)初期位置から最終位置へフォントベースのテキストを移動させるアニメーションなしで最終位置に現れる。いくつかの実施形態では、アニメーションは、手書き入力又はフォントベースのテキストの変化するサイズ及び/又は位置の任意の組合せを(例えば、及び任意の順序で)含み、その結果、手書き入力の初期位置及びサイズから最終位置及びサイズがもたらされる。いくつかの実施形態では、ユーザの書き込みのサイズにかかわらず、手書きテキストの表現は、フォントベースのテキストの最終サイズ(例えば、フォントベースのテキストのデフォルトサイズ又はテキスト入力領域のデフォルトサイズ)で表示される。いくつかの実施形態では、変換操作の結果として、フォントベースのテキストは、テキストの入力としてテキスト入力又はテキスト入力領域に提供される。いくつかの実施形態では、手書きテキストからフォントベースのテキストへの変換のアニメーションは、方法2000に関して後述される手書き入力からフォントベースのテキストへの変換と類似するか、又は類似の特徴を共有する。いくつかの実施形態では、手書き入力がフォントベースのテキストに変換されるとき、方法2000に関して後述される(例えば、及び/又は図19I~図19Nに関して、及び/又は図19O~図19Vに関して後述される)アニメーションと同様に、手書き入力が不変化詞にディゾルブし、フォントベースの位置が現れる位置に移動するアニメーションが表示される。
いくつかの実施形態では、図6Cのように、ユーザインタフェースに手書き入力の表現を表示した後(708)(例えば、手書き入力終了後又は手書き入力開始後に、ユーザが更なる手書き入力を依然として入力している間に)、ユーザ入力が1つ以上の第1の基準を満たさないとの判定に従って、図6Cのように、電子デバイスは、テキスト入力領域内にフォントベースのテキストを表示することなく、手書き入力の表現の表示を維持する(712)(例えば、テキストを変換するための基準が満たされない場合、手書き入力をフォントベースのテキストに変換しない)。いくつかの実施形態では、基準が満たされた後(例えば、基準がタイミングに関連するか、又はテキストを変換するための基準を満たすために更なる入力が必要とされる場合)、手書き入力は、後の時間に変換される。いくつかの実施形態では、手書き入力は認識することができず、コンピュータテキストに変換されない。いくつかの実施形態では、認識されない手書き入力は、無視されるか、又はコマンドとして解釈される。いくつかの実施形態では、手書き入力の軌跡は、ディスプレイ上に残り、除去されない。例えば、手書き入力は、手書き入力の代わりに描画として解釈され、したがって、描画はテキスト入力領域内に表示されたままである。
手書き入力を(例えば、特定の基準が満たされている場合には、テキスト入力フィールド又はその近くで入力を受信し、手書き入力をテキストで置換することにより)テキストに変換する上述の方法により、電子デバイスは、ユーザインタフェース上に直接書き込んでテキストを入力する能力を(例えば、手書き入力を受け入れ、手書き入力に対応するテキストを自動的に判定し、それぞれのテキスト入力フィールドにテキストを入力することにより)ユーザに提供することができる。これは(例えば、それぞれのテキストフィールドを選択してからキーボード(例えば、物理又は仮想キーボード)を使用してテキストフィールドにテキストを入力することをユーザに必要とすることなく、ユーザがタッチスクリーンディスプレイ上に直接テキストを手書きすることを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、テキスト入力領域内の手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示することは、図6Bのように、手書き入力の受信(例えば、手書き入力を依然として受信している間にフォントベースのテキストを表示する)を継続する間に行われる(714)。いくつかの実施形態では、手書き入力は、入力が受信される際に「ライブ」で変換される。いくつかの実施形態では、変換は、各単語の後に(又は、任意選択的に、2語、3語、4語毎などの後に)行われる。いくつかの実施形態では、変換は、特定の時間遅延後に行われる。いくつかの実施形態では、変換は、何らかのトリガイベント後に行われる。いくつかの実施形態では、変換が「ライブ」である場合、ユーザが更なる単語又は文字をまだ書き込んでいるときに、手書き入力はフォントベースのテキストに変換される。
手書き入力を(例えば、手書き入力を受信し続ける間にフォントベースのテキストを表示することにより)テキストに変換する上述の方法により、電子デバイスは、(例えば、手書き入力を受け入れ、ユーザが依然として手書き入力を提供し続ける間に手書き入力をテキストに変換することにより)ユーザが書き込んでいるテキストの即時フィードバックを受信する能力をユーザに提供することができる。これは、(例えば、入力の全てが一度に変換されるか、又は、変換をトリガするために別個の入力を実行するまで待機する必要なく、変換が正しいことをユーザが検証することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、テキスト入力領域内の手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示することは、図6Hのように、手書き入力において時間閾値(例えば、0.5、1、2、3、5秒)よりも長い一時停止を検出したことに応じて行われる(716)(例えば、ユーザが特定の時間閾値の間、手書き入力を一時停止した後に、手書き入力からフォントベースのテキストへの変換を実行する)。例えば、ユーザが特定のフレーズを書き込み、閾値量の時間の間、書き込みを停止した場合、システムは、フレーズをフォントベースのテキストに変換する。いくつかの実施形態では、一時停止がテキスト認識の改善と手書きテキストの変換における遅延の低減との間のバランスを提供した後、テキストの認識は、単語のストリングを考慮して手書きテキストを変換することにより改善される。
手書き入力を(例えば、手書き入力における一時停止後にフォントベースのテキストを表示することにより)テキストに変換する上述の方法により、電子デバイスは、(例えば、ユーザが手書き入力を一時停止した後に手書きテキストを変換することにより)ユーザを不必要に混乱させることなく手書きテキストを変換することを可能にする。これは、(例えば、変換を実行する前にユーザが自身の現在の入力を完了することを可能にすることにより、ユーザを混乱させる機会を低減する一方で、変換の精度と、ユーザの手書き入力に関するフィードバックをユーザに提供するバランスとを改善することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェース内に手書き入力の表現を表示した後、図6Qのように、電子デバイスは、タッチ感知ディスプレイ上に、図6Qのように、手書き入力の表現の少なくとも一部(720)と、図6Qのように、手書き入力の表現の少なくとも一部に対応するフォントベースのテキストに対応する選択可能オプション(724)(例えば、選択された場合に、システムが手書き入力の表現の一部をフォントベースのテキストに変換する1つ以上の選択可能オプションを有する、ポップアップ又は他のタイプのダイアログボックスを表示する)と、を同時に表示する(718)。いくつかの実施形態では、選択可能オプションは、手書き入力の一部を変換した後のフォントベースのテキストの提案である。いくつかの実施形態では、ポップアップは、手書き入力の認識における信頼度が特定の閾値を下回るときに表示される。例えば、システムがユーザの手書き入力が何であるかを保証しない場合、ポップアップは、手書き入力を何に変換するかの1つ以上の選択をユーザに提供することができる。いくつかの実施形態では、ポップアップが表示されている間にユーザが手書き入力を継続する場合、ポップアップ内の提案されたテキストは、継続される手書き入力に基づいて更新され続ける。例えば、手書き入力は、解釈及び評価され続け、提案は、手書き入力に追加された新しい文字又は単語を反映するように更新され続ける。いくつかの実施形態では、各単語に対してポップアップが表示される。いくつかの実施形態では、手書き入力全体に対してポップアップが表示される。いくつかの実施形態では、手書き入力の単語のサブセット(例えば、2語、3語、4語など)に対して表示される。
いくつかの実施形態では、手書き入力の表現の少なくとも一部の表示を停止し、テキスト入力領域内の手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示することは、図6Sのように、選択可能オプションの選択を検出したことに応じて行われる(726)(例えば、ユーザが選択可能オプションを選択したことに応じて変換が行われる)。いくつかの実施形態では、ユーザが選択可能オプションを選択しない場合、変換は実行されない。いくつかの実施形態では、変換は、後の時刻に(例えば、別の選択可能オプションがユーザに提示されるとき、又は他の変換基準が満たされるとき)に実行される。いくつかの実施形態では、フォントベースのテキストの複数の提案がユーザに提示される場合、ユーザが選択したオプションが、表示されるオプションである。
手書き変換オプションを(例えば、手書きテキストを変換するための選択可能オプションを表示することにより)ユーザに提示する上述の方法により、電子デバイスは、(例えば、ユーザが選択可能オプションを選択して変換を確認したときに手書きテキストを変換することにより)手書きテキストを変換するかどうか、及び手書きテキストを何に変換するか、のオプションをユーザに提示することが可能となる。これは、(例えば、ユーザが変換を視覚的に検証し、変換後に変換を確認することをユーザに必要とした後に変換が正しくない場合に必要な編集を行うことなく変換を承認及び/又は確認することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Gのように、テキスト入力領域は、テキスト入力フィールドを含む(728)(例えば、フォントベースのテキストは、ユーザの手書き入力が向けられたテキストフィールドに入力される)。いくつかの実施形態では、ユーザの手書き入力がどのテキストフィールドに向けられているかの判定は、手書き入力の特性に基づく。いくつかの実施形態では、手書き入力が所与のテキストフィールド内で偏っている場合、フォントベースのテキストは、所与のテキストフィールドに入力される。いくつかの実施形態では、手書き入力が所与のテキストフィールドで開始する場合、フォントベースのテキストは、所与のテキストフィールドに入力される。いくつかの実施形態では、手書き入力が所与のテキストフィールド内で終了する場合、フォントベースのテキストは、所与のテキストフィールドに入力される。いくつかの実施形態では、手書き入力が2つ以上のテキスト入力フィールドと重畳する場合、フォントベースのテキストは、手書き入力のうちのより多くが重畳するテキスト入力フィールドに入力される。いくつかの実施形態では、手書き入力がテキスト入力フィールドの全体的に外側であるが、判定された単語のシーケンスの一部が所定のテキスト入力フィールドに入力される場合、全体的に外側にある手書き入力は、所与のテキストフィールドに入力される。
フォントベースのテキストを(例えば、フォントベースのテキストを変換してテキスト入力フィールドに入力することにより)入力する上述の方法により、電子デバイスは、(例えば、手書きテキストを変換し、フォントベースのテキストを受け取るテキスト入力フィールド内にフォントベースのテキストを表示することにより)ユーザの手書き入力を適切なテキストフィールドに入力することが可能となる。これは、(例えば、所望のテキスト入力フィールド内に手書き入力を正確に提供することをユーザに必要とすることなく、かつ変換後に変換済みテキストをテキスト入力フィールド内に別個に移動させることをユーザに必要とすることなく、変換済みテキストを適切なテキストフィールドに入力することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Gのように、手書き入力の少なくとも一部は、テキスト入力領域の境界内で検出された手書き入力と、テキスト入力領域の境界の外側で検出された手書き入力と、を含む(730)(例えば、所与のテキスト入力領域に部分的に重畳するが、所与のテキスト入力領域の外側にも延在する手書きテキストは、任意選択的に、所与のテキスト入力領域内に入力される)。いくつかの実施形態では、手書き入力が所与のテキストフィールドで開始する場合、フォントベースのテキストは、所与のテキストフィールドに入力される。いくつかの実施形態では、手書き入力が所与のテキストフィールド内で終了する場合、フォントベースのテキストは、所与のテキストフィールドに入力される。いくつかの実施形態では、手書き入力が2つ以上のテキスト入力フィールドと重畳する場合、フォントベースのテキストは、手書き入力のうちのより多くが重畳するテキスト入力フィールドに入力される。
手書き入力を(例えば、テキスト入力領域の内側及びテキスト入力領域の外側の両方にある手書き入力を、テキスト入力領域に向けられているものとして認識することにより)受け入れる上述の方法により、電子デバイスは、(例えば、テキスト入力領域の外側に潜在的に延在し、テキスト入力領域内に完全にはない手書きテキストを受け入れることにより)自然な手書き特性との適合性をユーザに提供することが可能となる。これは、(例えば、手書き入力が受け入れられるために完全に所与のテキスト入力領域内に書き込むことをユーザに必要とすることなく、大きくて所与のテキスト入力領域の外側に延在し得る自然な手書き入力を受け入れることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Bのように、テキスト入力領域よりも大きく、テキスト入力領域を取り囲むエラー領域のマージン内で検出された手書き入力は、テキスト入力領域内のフォントベースのテキストに変換されることが適格であり、また、エラー領域のマージンの外側で検出された手書き入力は、テキスト入力領域内のフォントベースのテキストに変換されることが適格ではない(732)(例えば、手書きが所与のテキスト入力領域に向けられているものとして受け入れられているエリアは、テキスト入力領域よりも大きい(例えば、10%、20%、30%大きい)所定のサイズである)。いくつかの実施形態では、ユーザの手書き入力の一部が、所定のテキスト入力領域を越えて延在するが、テキスト入力領域のエラー領域のマージン内に留まる場合、手書き入力全体が、所与のテキスト入力領域に向けられていると認識される。いくつかの実施形態では、手書き入力が、エラー領域のマージンを越えて延在する場合、手書き入力は、所与のテキスト入力領域に向けられているとは見なされない。いくつかの実施形態では、手書き入力が、エラー領域のマージンを越えて延在する場合、エラー領域のマージン内にある手書き入力の部分は、処理され任意選択的に変換される一方で、エラーのマージンの外側にある手書き入力の部分は処理され任意選択的に変換されはしない(任意選択的に、手書き入力の一部は、ディスプレイ上に維持される)。
手書き入力を(例えば、手書き入力がフォントベースのテキストに変換されることが適格であるテキスト入力領域の周囲にエラーエリアのマージンを提供することにより)受け入れる上述の方法により、電子デバイスは、(例えば、テキスト入力領域の外側に潜在的に延在し、完全にはテキスト入力領域内にない手書きテキストを受け入れることにより)自然な手書き特性との適合性をユーザに提供することが可能となる。これは、(例えば、手書き入力が受け入れられるために完全に所与のテキスト入力領域内に書き込むことをユーザに必要とすることなく、大きくて所与のテキスト入力領域の外側に延在し得る自然な手書き入力を受け入れることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間インタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Eのように、電子デバイスは、タッチ感知ディスプレイを介して、ユーザインタフェース内の第2のテキスト入力領域に向けられた手書き入力を含む第2のユーザ入力を受信する(734)(例えば、手書き入力の継続を受信する)。いくつかの実施形態では、第2のユーザ入力は、1つ以上の手書き入力のシーケンス内の入力である。いくつかの実施形態では、第2のユーザ入力は、第1のユーザ入力の後に素早く連続して続く。いくつかの実施形態では、第2のユーザ入力は、第1のテキスト入力領域に向けられない。いくつかの実施形態では、第2のユーザ入力は、第2のテキスト入力領域、又は更には非テキスト入力領域(例えば、2つのテキストフィールド間のスペースなどのテキスト入力領域に関連付けられていないユーザインタフェース上のスペース)に向けられる。
いくつかの実施形態では、第2のユーザ入力を受信した後(736)、第2のユーザ入力がユーザ入力の時間閾値内で検出されたときに満たされる基準を含む1つ以上の第2の基準を第2のユーザ入力が満たすとの判定に従って、図6Hのように、電子デバイスは、テキスト入力領域内に第2のユーザ入力に対応するフォントベースのテキストを表示する(738)(例えば、第2のユーザ入力が(例えば、前の手書き入力の時間閾値内で)受信され、システムはそれがテキスト入力領域に向けられた手書き入力のシーケンスに関連付けられていると判定する場合、変換済みテキストは、第2のユーザ入力が第2のテキスト入力領域に向けられていても、テキスト入力領域内に入力され、第2の入力領域に入力されない)。いくつかの実施形態では、時間閾値は、0.5秒、1秒、2秒、3秒、5秒などである。
いくつかの実施形態では、第2のユーザ入力を受信した後(736)、第2のユーザ入力が1つ以上の第2の基準を満たさないとの判定に従って、図6Lのように、電子デバイスは、第2のテキスト入力領域内に第2のユーザ入力に対応するフォントベースのテキストを表示する(740)(例えば、第2のユーザ入力が閾値量の遅延の後に受信される場合、第2のユーザ入力は、テキスト入力領域に向けられた手書き入力のシーケンスに関連付けられているとは見なされない)。いくつかの実施形態では、次いで、第2のユーザ入力は、第2のテキスト入力領域に向けられていると解釈され、変換済みテキストは、テキスト入力領域の代わりに第2のテキスト入力領域に入力される。
手書き入力を(例えば、後続の手書き入力が別のテキスト入力領域に向けられている場合であっても、後続の手書き入力を所与のテキスト入力領域に入力することにより)変換する上述の方法により、電子デバイスは、(例えば、継続した手書きテキストが、所与のテキスト入力領域に向けられた前の手書きテキストから特定の時間閾値内にある限り、所与のテキスト入力領域の完全に外側にあり、潜在的に別のテキスト入力領域に向けられる継続的な手書きテキストを受け入れることにより)自然な手書き特性との適合性をユーザに提供することが可能となる。これは、(例えば、ユーザがその手書き入力を一時停止し、手書き入力を所望のテキスト入力領域に再配置すること、又は変換後に第2のテキスト入力領域からテキスト入力領域に変換済みテキストを別個に移動することをユーザに必要とすることなく、自然な手書き入力を受け入れることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上の第2の基準は、図6Gのように、第2のユーザ入力の大部分が第2のテキスト入力領域ではなくテキスト入力領域に向けられているときに満たされ、図6Kのように、第2のユーザ入力の大部分がテキスト入力領域ではなく第2のテキスト入力領域に向けられているときに満たされない基準を含む(742)(例えば、第2の(例えば、継続した)手書き入力が(例えば、テキスト入力領域と第2のテキスト入力領域との間のスペースを考慮して又は考慮することなく)第2のテキスト入力領域内でよりも(例えば、エラーのマージン付きで又は伴わずに)テキスト入力領域内で多く実行される場合、第2の基準が満たされ、第2のユーザ入力の変換済みテキストは、第2のテキスト入力領域ではなくテキスト入力領域に入力される)。いくつかの実施形態では、第2のユーザ入力の大部分が(例えば、エラーのマージン付きで又は伴わずに)第2の入力領域内にある場合、第2の基準は満たされず、変換済みテキストは任意選択的に第2のユーザ入力に入力される。
手書き入力を(例えば、後続の手書き入力の大部分が、別のテキスト入力領域ではなく所与のテキスト入力領域に向けられている場合に、後続の手書き入力を所与のテキスト入力領域に入力することにより)変換する上述の方法により、電子デバイスは、(例えば、継続した手書きテキストの大部分が所与のテキスト入力領域内にある場合に、所与のテキスト入力領域の外側に延在する継続的な手書きテキストを受け入れることにより)自然な手書き特性との適合性をユーザに提供することが可能となる。これは、(例えば、ユーザがその手書き入力を一時停止し、手書き入力を所望のテキスト入力領域に再配置すること、又は変換後に第2のテキスト入力領域からテキスト入力領域に変換済みテキストを別個に移動することをユーザに必要とすることなく、自然な手書き入力を継続することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6D~図6Eのように、テキスト入力領域内に手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示することは(744)、図6Dのように、手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを検出した後であるが、フォントベースのテキストをテキスト入力領域にコミットする前に、フォントベースのテキストを視覚的特性に対する第1の値で表示すること(746)(例えば、手書き入力が解釈されフォントベースのテキストに変換されることができるテキストとして検出されたことを示すために、手書き入力の1つ以上の視覚的特性を更新すること)と、図6Eのように、フォントベースのテキストをテキスト入力領域にコミットした後、フォントベースのテキストを第1の値とは異なる視覚的特性に対する第2の値で表示すること(748)(例えば、フォントベースのテキストがテキスト入力領域に現在コミットされた(例えば、入力された)ことを示すために、フォントベースのテキストの1つ以上の視覚的特性を更新すること)と、を含む。いくつかの実施形態では、手書き入力を更新することは、手書き入力の色及び/又は不透明度を変更することを含む。いくつかの実施形態では、代替的に又は追加的に、フォントベースのテキストは、フォントベースのテキストが暫定的に提案されたフォントベースのテキストであることを示すために(例えば、手書き入力を変換した後に)特定の視覚的特性(例えば、グレー)で表示され、特定の時間遅延(例えば、0.5秒、1秒、2秒、3秒、5秒)後にコミットされる(例えば、テキスト入力領域に正式に入力される)。いくつかの実施形態では、フォントベースのテキストは、黒色に、又はさもなければデフォルトの色及び/又はテキスト入力領域のサイズに更新される。
フォントベースのテキストを(例えば、テキスト入力フィールドにテキストをコミットする前に第1の視覚的特性でフォントベースのテキストを表示することにより、及びテキスト入力フィールドにテキストをコミットした後に第2の視覚的特性でフォントベースのテキストを表示することにより)表示する上述の方法により、電子デバイスは、(例えば、フォントベースのテキストをテキスト入力領域にコミットする前に第1の視覚的特性で、及びコミットした後に第2の視覚的特性で、フォントベースのテキストを表示することにより)ユーザの手書きテキストを変換する進捗に関するフィードバックをユーザに提供することが可能となる。これは、(例えば、手書き入力をフォントベースのテキストに変換する進捗に関する視覚的フィードバックをユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6D及び図6Hのように、テキスト入力領域内に手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示すること(750)は、図6Dのように、フォントベースのテキストの検出が第1の信頼度レベルを有するとの判定に従って、それぞれの視覚的特性に対する第1の値でフォントベースのテキストを表示すること(752)(例えば、手書き入力の解釈の信頼度のレベルに基づいて、特定の色又は不透明度でフォントベースのテキストを表示すること)と、図6Hのように、フォントベースのテキストの検出が第1の信頼度レベルとは異なる第2の信頼度レベルを有するとの判定に従って、第1の値とは異なるそれぞれの視覚的特性に対する第2の値でフォントベースのテキストを表示すること(754)(例えば、システムが手書き入力の変換における高い信頼性を有していない場合(例えば、手書き入力が粗雑であるか又はさもなければ解釈することが困難である場合)、システムが解釈において高い信頼性を有する場合とは異なる視覚的特性でフォントベースのテキストを表示する)と、を含む。例えば、システムが、所与のフォントベースのテキストへの手書き入力の変換において高い信頼性を有する場合、フォントベースのテキストは黒色で表示される。例えば、システムが低い信頼性を有する場合、フォントベースのテキストはグレー又は赤色で表示される。
視覚的フィードバックを(例えば、解釈及び変換における信頼性が第1のレベルにある場合には第1の視覚的特性でフォントベースのテキストを表示することにより、並びに解釈及び変換における信頼度が第2のレベルにある場合には第2の視覚的特性でフォントベースのテキストを表示することにより)提供する上述の方法により、電子デバイスは、変換の信頼性及び/又は精度の視覚的フィードバックをユーザに提供することが可能となる。これは、(例えば、ユーザの手書きユーザ入力の変換の信頼度レベルの視覚的合図をユーザに提供し、したがって変換が正確であることを確認するかどうかの指示をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これに更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Sのように、テキスト入力領域内に手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示すること(756)は、フォントベースのテキストの検出が第1の信頼度レベルを有するとの判定に従って、図6Sのように、テキスト入力領域内の第1の位置にフォントベースのテキストを表示すること(758)(例えば、変換の信頼度レベルに基づいて、フォントベースのテキストはテキスト入力領域内の異なる位置に表示される)と、フォントベースのテキストの検出が、第1の信頼度レベルとは異なる第2の信頼度レベルを有するとの判定に従って、図6Sのように、第1の位置とは異なる第2の位置にフォントベースのテキストをテキスト入力領域に表示すること(760)(例えば、変換の信頼度レベルが低い場合、フォントベースのテキストは、任意選択的に、元の手書き入力と同じ位置に残される)と、を含む。例えば、変換の信頼性が高い場合、フォントベースのテキストは、テキスト入力領域内で左に整列されるように移動されるか(例えば、テキスト入力領域が空である場合)、又はさもなければテキスト入力領域内の他のテキストと整列される。いくつかの実施形態では、変換の信頼度レベルが低い場合には、テキストをテキスト入力領域内の他のテキストと整列させる(例えば、又はテキスト入力領域が空である場合にテキストを左に整列させる)前に変換が正確であるか否かをユーザが検証することを可能にするために、手書き入力が変換され同じ位置に残される。いくつかの実施形態では、低い信頼性を有するフォントベースのテキストを確認するか、又はさもなければ受け入れるために、別個のユーザ入力が必要とされる。
フォントベースのテキストを(例えば、手書き入力からのテキストの変換の信頼度レベルに基づく位置にフォントベースのテキストを表示することにより)表示する上述の方法により、電子デバイスは、変換の信頼性及び/又は精度の視覚的フィードバックをユーザに提供することが可能となる。これは、(例えば、フォントベースのテキストをその最終位置に移動しないことによって、ユーザの手書きユーザ入力の変換の信頼度レベルの視覚的合図をユーザに提供し、したがって変換が正確であることを確認するかどうかの指示をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6A~図6RRのように、1つ以上の第1の基準は、手書き入力のタイミング特性(例えば、手書き入力が所定の時間停止した後にテキストを変換する)、手書き入力に関連付けられたコンテクスト(例えば、ユーザが書いた単語に更なる文字が追加され得ない場合、その単語をフォントベースのテキストに変換する)、手書き入力内の句読点(例えば、ユーザがピリオドなどの句読点記号を書き込む場合、その句読点記号までに書き込まれたテキストを変換する)、タッチ感知ディスプレイからスタイラスの距離(例えば、ユーザがスタイラスを下に置くか、又はスタイラスをデバイスから離れて閾値距離(例えば、6インチ、12インチ、2フィートなど)だけ移動させる場合、それまでに入力された手書き入力を変換する)、ユーザインタフェース内の第2のテキスト入力領域に向けられた入力(例えば、ユーザが別のテキスト入力領域内にテキストを入力し始める場合、第1のテキスト入力領域内に入力された手書きテキストを変換する)、ユーザインタフェースをスクロールする入力(例えば、ユーザがユーザインタフェースと対話して、スクロールするか、又はさもなければユーザインタフェースの周りをナビゲートする場合、それまでに入力された手書き入力を変換する)、スタイラスの角度(例えば、ユーザがスタイラスをデバイスから離れるように向ける場合、それまでに入力された手書き入力を変換する)、テキスト入力領域のエッジからの手書き入力の距離(例えば、ユーザがテキスト入力領域の終端に到達したときにテキストをより速く変換して、ユーザがより多くの手書き入力を実行するためのスペースを空ける)、スタイラス上で検出されたジェスチャ(例えば、スタイラス上でタップされたユーザ入力を検出することにより、それまでに入力された手書き入力を変換する)、又はタッチ感知ディスプレイ上で検出された指からの入力(例えば、スタイラスの代わりに指からユーザ入力を受信したら、指からのユーザ入力の前にスタイラスによって入力された手書きテキストを変換する)、に基づいて満たされる1つ以上の基準を含む(762)。
手書き入力を(例えば、いくつかの異なる因子に基づいて手書きテキストを変換することにより)変換する上述の方法により、電子デバイスは、(例えば、入力、コンテクスト、句読点、スタイラスの距離及び角度、他の要素と相互作用する入力などに基づいてテキストを変換することにより)状況に基づいて手書きテキストを変換するために最も適切な時間を選択することが可能となる。これは、(例えば、テキストを変換する速度を均衡させながらユーザをできるだけ妨げない時間にテキストを変換することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザ入力を受信している間に、1つ以上の第2の基準が満たされているとの判定に従って、図6Nのように、電子デバイスは、ユーザインタフェース内の手書き入力の表現の少なくとも一部を移動させて、ユーザインタフェース内に追加の手書き入力を受信するためのスペースを空ける(764)(例えば、手書きユーザ入力を受信している間に、手書きユーザ入力を移動させて、テキスト入力領域内にユーザが更なる手書き入力を提供し続けるための余地を提供する)。例えば、手書きユーザ入力が受信されると、以前に提供された手書き入力を左にスクロールする。いくつかの実施形態では、スクロールの結果として、ユーザは、同じ位置での書き込みを継続することができ、又はユーザの書き込みをわずかに右にシフトするだけである。いくつかの実施形態では、左にスクロールされるテキストはテキスト入力領域の境界を越えてスクロールし、その場合、テキストはテキスト入力領域の上に表示されるか(例えば、テキスト入力領域を越えてスクロールし、表示から隠されない)、又はテキスト入力領域の後ろに表示される(例えば、テキスト入力領域を越えてスクロールするが、テキスト入力領域の境界を越える任意のテキストは、テキスト入力領域の境界によって隠されるように表示される)。
手書き入力を(例えば、手書き入力が受信されるときに前の手書き入力を移動させて、より多くの手書き入力のための余地を提供することにより)受信する上述の方法により、電子デバイスは、(例えば、更なる手書き入力を受信するために余地を提供するために以前に入力された手書き入力を空間的に移動させることにより)手書き入力を提供するスペースをユーザに提供することが可能となる。これは、(例えば、ユーザの入力がテキスト入力領域内に留まることを確実にするためにユーザの入力の位置をリセットすることを必要とすることなく、ユーザが手書き入力を提供し続けることを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザ入力を受信している間に、1つ以上の第3の基準が満たされているとの判定に従って、図6Jのように、電子デバイスは、テキスト入力領域の境界を拡大して、追加の手書き入力を受信するためにテキスト入力領域内にスペースを作成する(766)(例えば、ユーザがテキスト入力領域の境界に到達すると、ユーザが手書き入力を入力し続けるためのスペースを提供するために、テキスト入力領域を水平及び/又は垂直に拡大する)。いくつかの実施形態では、テキスト入力領域は、別のテキスト入力領域の領域内に拡大し、その場合、テキスト入力領域は、他のテキスト入力領域を覆うか、又はさもなければその上に表示される。いくつかの実施形態では、ユーザが手書き入力を完了し、及び/又は手書き入力がフォントベースのテキストに変換された後、テキスト入力領域は、その元のサイズに戻るように縮小する。
手書き入力を(例えば、テキスト入力領域のサイズを拡大することにより)受信する上述の方法により、電子デバイスは、(例えば、ユーザがテキスト入力領域の境界に到達し始めたときに、更なる手書き入力を受信する余地を提供するためにテキスト入力領域を水平及び/又は垂直に拡大することにより)手書き入力を提供するスペースをユーザに提供することが可能となる。これは、(例えば、ユーザがテキスト入力領域内に手書き入力を提供し続けることを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Jのように、テキスト入力領域の境界を拡大すること(768)は、テキスト入力領域がユーザインタフェース内の第1の位置にあるとの判定に従って、図6Jのように、テキスト入力領域の第1の境界を拡大すること(770)(例えば、テキスト入力領域が、タッチスクリーンの下3分の1などのタッチスクリーン上の特定の既定の位置にある場合、テキスト入力領域を垂直上方に拡大する)を含む。いくつかの実施形態では、テキスト入力領域を垂直上方に拡大することは、ユーザが、より快適な、又は自然な手書き位置で手書き入力を提供することを可能にする。例えば、タッチスクリーンの底部3分の1での書き込みは、潜在的に、厄介であるか、又は不快であり、テキスト入力領域を垂直に上方に拡大することにより、ユーザは、厄介な又は不快な手書き位置を回避することができる。
いくつかの実施形態では、図6Kのように、テキスト入力領域の境界を拡大すること(768)は、テキスト入力領域がユーザインタフェース内の第1の位置とは異なる第2の位置にあるとの判定に従って、図6Kのように、テキスト入力領域の第1の境界を拡大することなく、テキスト入力領域の第2の境界を拡大すること(772)(例えば、テキスト入力領域がタッチスクリーンの下3分の1などのタッチスクリーン上の既定の位置にない場合、テキスト入力領域を垂直上方に拡大しない)を含む。いくつかの実施形態では、テキスト入力領域は、垂直下方及び/又は水平右方に拡大して、手書きのためのスペースの自然な拡大を提供する(例えば、自然な手書きの進行は、左から右、及び上から下であるため、テキスト入力領域の自然な拡大は、テキスト入力領域がタッチスクリーンの底部3分の1にあるときに垂直上方に拡大するのとは対照的に、水平右方及び垂直下方である)。
手書き入力を(例えば、画面上のテキスト入力領域の位置に基づいてテキスト入力領域の境界を拡大することにより)受信する上述の方法により、電子デバイスは、(例えば、手書き入力を実行するために最も自然な場所を提供するためにテキスト入力領域の位置に基づいてテキスト入力領域のそれぞれの境界を移動させることにより)手書き入力を提供するためのスペースをユーザに提供することが可能となる。これは、(例えば、厄介な位置に書き込むことをユーザに必要とすることなく、手書き入力を快適かつ自然に実行するためのスペースをユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザ入力を受信している間にユーザインタフェース内に手書き入力の表現を表示することは、図6Dのように、対応する手書き入力が受信された後の経過時間の関数として変化する手書き入力の表現の1つ以上の視覚的特性のアニメーションを表示することを含む(774)(例えば、手書き入力が受信されるときに、手書き入力のアニメーションを表示する)。例えば、手書き入力は、インク書き込みと同様に表示され、アニメーションは、インク書き込みが経時的に乾燥していくかのように現れる。いくつかの実施形態では、手書き入力の色及び/又は不透明度は、最終的な色及び/又は不透明度レベルに達するように変化する。いくつかの実施形態では、視覚的特性のアニメーション(例えば、インク乾燥)は、方法2000に関して後述されるフォントベースのテキストへの手書き入力の変換(例えば、手書き入力がグレーに変化する)と類似するか、又は類似の特徴を共有する。
手書き入力を(例えば、手書き入力の視覚的特性を経時的に変更することにより)表示する上述の方法により、電子デバイスは、(例えば、手書き入力を受信してからの時間がどの程度かに基づいて視覚的特性を変更する手書き入力のアニメーションを表示することにより)手書き入力が受信された後にどのくらい長く経過し、手書き入力がどのくらい長く処理されているかの視覚的合図をユーザに提供することが可能となる。これは、(例えば、手書き入力が受信された後の経過時間の視覚的指標をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を更に削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力の表現の少なくとも一部の表示を停止することと、テキスト入力領域内の手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示することは、図6Dのように、手書き入力の表現がフォントベースのテキストにモーフィングするアニメーションを表示することを含む(776)(例えば、手書き入力のフォントベースのテキストへの変換をアニメーション化する)。いくつかの実施形態では、手書き入力は、形状及びサイズを変更してフォントベースのテキストをもたらす。いくつかの実施形態では、アニメーションは、手書き入力のサイズ、形状、色、及び/又は不透明度を変更することを含む。いくつかの実施形態では、手書き入力は、分解され、フォントベースのテキストに再組立てされるように現れる(例えば、方法2000に関して後述されるように、大きい断片、小さい断片、不変化詞、噴霧、これらの任意の組合せなどで分解及び再組立てされる)。いくつかの実施形態では、手書き入力はフェードアウトし、フォントベースのテキストはフェードインする。いくつかの実施形態では、アニメーション中、フォントベースのテキストは、手書き入力と同時にディスプレイ上に表示される(例えば、ある時点でフォントベースのテキスト及び手書き入力の両方が同時にディスプレイ上に表示されるように、手書き入力が表示から除去されるときにフォントベースのテキストがディスプレイに表示されていく)。いくつかの実施形態では、手書き入力がフォントベースのテキストにモーフィングするアニメーションは、方法2000に関して後述する手書き入力からフォントベースのテキストへの変換(例えば、手書き入力が不変化詞にディゾルブし、フォントベースのテキストが現れる位置に向かって移動する)に類似しているか、又は類似の特徴を共有する。
手書き入力を(例えば、手書き入力がフォントベースのテキストにモーフィングするアニメーションを表示することにより)表示する上述の方法により、電子デバイスは、(例えば、手書き入力がフォントベースのテキストにモーフィングするアニメーションを表示することにより)手書き入力がフォントベースのテキストに変換される視覚的合図をユーザに提供することが可能となる。これは、(例えば、処理され、解釈され、フォントベースのテキストに変換されているのがユーザの手書き入力であるという視覚的指示をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Hのように、手書き入力の少なくとも一部は、誤記を含むフォントベースのテキストに対応し、テキスト入力領域内の手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示することは、誤記が訂正されたフォントベースのテキストを表示することを含む(778)(例えば、いくつかの実施形態では、システムが適切な入力を判定することができる誤記を手書き入力が含む場合、手書きテキストをフォントベースのテキストに変換するプロセスは、誤記も自動的に訂正する)。いくつかの実施形態では、変換の自動訂正は、何が正しい入力かの信頼度が特定の閾値信頼度レベル(例えば、高い信頼度レベル)を上回る場合に行われる。
手書き入力を(例えば、手書き入力をフォントベースのテキストに変換するときに誤記を除去することにより)変換する上述の方法により、電子デバイスは、(例えば、手書き入力をフォントベースのテキストに変換するときに誤記を自動的に除去することにより)誤りのないフォントベースのテキストをユーザに自動的に提供することが可能となる。これは、(例えば、誤記が存在するかどうかを別個に判定し、フォントベースのテキストを編集して誤記を除去するために追加入力を実行することをユーザに必要とすることなく、ユーザのために誤記を自動的に除去することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェース内に手書き入力の表現を表示した後(780)、ユーザ入力が1つ以上の第1の基準を満たすとの判定に従って(782)、図6UUのように、電子デバイスは、手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを、その電子デバイスとは別個の第2の電子デバイスに送信する(784)(例えば、デバイスが第2の電子デバイスを(例えば、無線又は有線で)制御し、第2の電子デバイスがテキスト入力を要求される場合、手書き入力をフォントベースのテキストに変換した後、テキストを第2の電子デバイスに転送してテキスト入力要求を満たす)。例えば、第2の電子デバイスがセットトップボックスであり、ユーザが第2の電子デバイス上の検索ユーザインタフェースを要求した場合、ユーザは、電子デバイスを使用して、第2の電子デバイスの検索ユーザインタフェース上の検索フィールド内にテキストを遠隔送信することができる。
テキストを(例えば、電子デバイス上で手書き入力を受信し、それをフォントベースのテキストに変換し、フォントベースのテキストを第2の電子デバイスに送信することにより)第2の電子デバイスに送信する上述の方法により、電子デバイスは、(例えば、ユーザから手書き入力を受信し、手書き入力をフォントベースのテキストに変換し、テキストを第2の電子デバイスに送信することにより)第2の電子デバイス上でテキストを入力する手書き入力方法をユーザに提供することが可能となる。これは、(例えば、仮想キーボードを使用すること又は第2の電子デバイス上でテキストを入力するために従来の遠隔制御を使用することをユーザに必要とすることなく、ユーザの手書き入力を受け入れ、フォントベースのテキストを第2の電子デバイスに送信することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6SSのように、第2の電子デバイスは、電子デバイスによって表示されるテキスト入力領域に対応するそれぞれのテキスト入力領域を含む、1つ以上のそれぞれのテキスト入力領域を含むユーザインタフェースを表示している(786)(例えば、第2の電子デバイスは、1つ以上のテキスト入力領域を表示している)。
いくつかの実施形態では、図6VVのように、電子デバイスは、第2の電子デバイスによって表示される1つ以上のそれぞれのテキスト入力領域を電子デバイスにおいて検出する(788)。いくつかの実施形態では、第2の電子デバイスによって表示された1つ以上のそれぞれのテキスト入力領域を検出したことに応じて、図6VVのように、電子デバイスは、ユーザインタフェース内に、テキスト入力領域を含む、1つ以上のそれぞれのテキスト入力領域に対応する1つ以上のテキスト入力領域を表示する(790)(例えば、第2の電子デバイスのユーザインタフェースからテキスト入力領域を抽出し、それらを電子デバイス上に表示する)。いくつかの実施形態では、電子デバイスは、電子デバイスが第2の電子デバイスと同じユーザインタフェースを表示するように、任意のラベル、テキスト、グラフィックなどを含む第2の電子デバイスのユーザインタフェースをミラーリングする。いくつかの実施形態では、電子デバイスは、第2の電子デバイスのユーザインタフェースをミラーリングしないが、むしろ、第2の電子デバイスのユーザインタフェースの要素の部分のみを表示する(例えば、第2の電子デバイスのユーザインタフェースからのテキストフィールド及びテキストフィールドラベルを表示し、第2の電子デバイスのユーザインタフェースの他の要素を表示しない)。
いくつかの実施形態では、手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを第2の電子デバイスに送信することは、図6YYのように、第2の電子デバイス上のそれぞれのテキスト入力領域にフォントベースのテキストを送信することを含む(792)(例えば、電子デバイスは、それぞれのテキスト入力領域に向けられた手書き入力を受信し、手書き入力がフォントベースのテキストに変換された後、フォントベースのテキストは第2の電子デバイスに送信され、第2の電子デバイスのユーザインタフェース上の対応するテキスト入力領域に入力される)。
第2の電子デバイスに(例えば、第2の電子デバイス上に表示されているのと同じテキスト入力領域を電子デバイス上に表示することにより)テキストを送信する上述の方法により、電子デバイスは、(例えば、第2の電子デバイスのユーザインタフェースを電子デバイスにミラーリングし、電子デバイスから第2の電子デバイス上の適切なテキスト入力領域にテキストを送信することにより)テキストを第2の電子デバイスに送信する直感的なインタフェースをユーザに提供することが可能となる。これは、(例えば、追加入力を実行すること又は従来の遠隔制御を使用してどのテキスト入力領域にテキストを入力するかを選択することをユーザに必要とすることなく、どのテキスト入力領域にテキストを入力するかをユーザが容易かつ直感的に選択することができるように、第1の電子デバイス上に示されているのと同じユーザインタフェースを電子デバイス上に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図AAのように、テキスト入力領域は複数行テキスト入力領域であり、手書き入力の表現の少なくとも一部に対応するフォントベースのテキストは、複数行テキスト入力領域の第1の行に表示される(794)(例えば、テキスト入力領域は、複数行テキストをサポートする)。
いくつかの実施形態では、図6DDのように、複数行テキスト入力領域の第1の行内の手書き入力の表現の少なくとも一部に対応するフォントベースのテキストを表示している間に、電子デバイスは、タッチ感知ディスプレイを介して、第1のテキスト入力領域に向けられた手書き入力を含む第2のユーザ入力を受信する(796)(例えば、テキスト入力領域に向けられた手書き入力を検出した後、テキスト入力領域に向けられた第2の入力を受信する)。いくつかの実施形態では、第2の入力は、前の手書き入力の下に第2の行を挿入せよとの要求に対応する。いくつかの実施形態では、第2の行を挿入せよとの要求は、前の手書き入力の下のタップを含む。いくつかの実施形態では、要求は、前の手書き入力の下で、更なる手書き入力を受信することを含む。いくつかの実施形態では、要求は、選択可能オプションを選択して第2の行を作成することを含む。いくつかの実施形態では、第2の行を作成することは、テキスト入力領域のサイズを垂直に拡大することを含む。
いくつかの実施形態では、第2のユーザ入力を受信した後(798)、1つ以上の第2の基準が満たされているとの判定に従って、図6LLのように、電子デバイスは、複数行テキスト入力領域の第1の行とは異なる第2の行内の第2のユーザ入力に対応するフォントベースのテキストを表示する(798-2)(例えば、第2のユーザ入力の手書き入力を変換し、変換済みテキストをテキスト入力領域の第2の行(例えば、手書きテキストの前の行の下の行)に入力する)。いくつかの実施形態では、1つ以上の第2の基準は、第2のユーザ入力が、手書きテキストの前の行の下のスペース内でのタップを含む場合、新規行を作成するための選択可能オプションの選択を含む場合、及び/又は、手書きテキストの前の行の下の閾値距離(例えば、6ポイント、12ポイント、18ポイント、24ポイントなど)の手書き入力を含む場合、に満たされる。
いくつかの実施形態では、第2のユーザ入力を受信した後(798)、1つ以上の第2の基準が満たされているとの判定に従って、1つ以上の第2の基準が満たされていないとの判定に従って、図6EEのように、電子デバイスは、複数行テキスト入力領域の第1の行内に第2のユーザ入力に対応するフォントベースのテキストを表示する(798-4)(例えば、第2のユーザ入力がテキストを第2の行に入力する入力を反映しない場合、フォントベースのテキストを前の手書きテキストの前の行と同じ行に入力する)。例えば、第2のユーザ入力が前の行への入力となるように、前の行のわずか下であるが前の行の下であまり遠くない位置にユーザが手書き入力を継続する場合(例えば、ユーザが前の行での書き込みを継続することを意図したかのように見える場合)、変換済みテキストは、前の行に入力され続ける。
手書きテキストを(例えば、ユーザ入力がテキストを第2の行に入力する要求を示すときに、複数行テキストをサポートするテキスト入力領域の第2の行にテキストを入力することにより)入力する上述の方法により、電子デバイスは、(例えば、手書き入力の特定の基準が満たされる場合に、テキスト入力領域の第2の行にテキストを入力することにより)複数行テキストを入力する直感的な方法をユーザに提供することが可能となる。これは、(例えば、フォントベースのテキストを手動で編集して所望の位置に改行を挿入するために追加のユーザ入力を実行すること又は手書きテキストが変換されるまで待機することをユーザに必要とすることなく、新規行が作成されるべきかどうかを判定すること及びテキストを新規行に入力することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6EE~図6FFのように、1つ以上の第2の基準は、第2のユーザ入力がユーザ入力の下で閾値距離(例えば、6ポイント、12ポイント、18ポイント、20ポイント、24ポイントなど)を超えて検出されるときに満たされ、1つ以上の第2の基準は、第2のユーザ入力がユーザ入力の下で閾値距離未満で検出されるときには満たされない(798-6)(例えば、第2のユーザ入力が前の手書きテキストの下で閾値距離を超える場合、第2のユーザ入力は、第2の行(例えば、手書きテキストの前の行の下)にテキストを挿入せよとの要求を示す)。いくつかの実施形態では、第2のユーザ入力が前の手書きテキストの下で閾値距離を超えない場合、第2のユーザ入力は、前のテキスト行にテキストを引き続き挿入する要求を示す。
複数行手書きテキストを(例えば、前のテキスト行の下に閾値距離を超えたユーザ入力が受信され、第2の行にテキストを入力する要求を示すときに、テキスト入力領域の第2の行にテキストを入力することにより)入力する上述の方法により、電子デバイスは、(例えば、前のテキスト行の下に手書きテキストを受け入れ、前のテキスト行の下の行に手書きテキストを入力する要求として入力を解釈することにより)複数行テキストを入力する直感的な方法をユーザに提供することが可能となる。これは、(例えば、フォントベースのテキストを手動で編集して所望の位置に改行を挿入するために追加のユーザ入力を実行すること又は手書きテキストが変換されるまで待機すること、をユーザに必要とすることなく、手書きテキストが前のテキスト行の下の閾値距離で受信されるときに新規行にテキストを入力することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上の第2の基準は、第2のユーザ入力が複数行テキスト入力領域内の第2の行で検出されたスタイラス入力を含む場合に満たされ、図6FFのように、1つ以上の第2の基準は、第2のユーザ入力が複数行テキスト入力領域内の第2の行で検出されたスタイラス入力を含まない場合に満たされない(798-8)(例えば、第2のユーザ入力が、タップ、長押し、又は前のテキスト行の下の位置における特定の力閾値を上回る入力を含む場合、第2のユーザ入力は、前のテキスト行の下にテキストの第2の行を挿入せよとの要求を含むと解釈される)。
複数行手書きテキストを(例えば、第2の行にテキストを入力し、テキスト入力領域の第2の行にテキストを挿入する要求を示す第2の行でのタップを受信することにより)入力する上述の方法により、電子デバイスは、(例えば、前のテキスト行の下でジェスチャ入力を受け入れ、前のテキスト行の下の行に手書きテキストを入力する要求として入力を解釈することにより)複数行テキストを入力する直感的な方法をユーザに提供することが可能となる。これは、(例えば、フォントベースのテキストを手動で編集して所望の位置に改行を挿入するために追加のユーザ入力を実行すること又は手書きテキストが変換されるまで待機することをユーザに必要とすることなく、前のテキスト行の下でタップを受信するときにテキストを新規行に入力することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6BBのように、第2の行に移動するための選択可能オプションは、手書き入力の表現の少なくとも一部に対応するフォントベースのテキストと同時に表示され、選択可能オプションが選択されたときに1つ以上の第2の基準は満たされ、選択可能オプションが選択されていないときに1つ以上の第2の基準は満たされない(798-10)(例えば、新規のテキスト行を挿入するための選択可能オプションを選択するユーザ入力を受信する)。いくつかの実施形態では、選択可能オプションは、新規のテキスト行を挿入せよとの要求のタップ入力又は他の指示を受信したことに応じて表示されるか、又は別の方法で提示される。いくつかの実施形態では、新規のテキスト行を挿入するための選択可能オプションを選択するユーザ入力を受信したことに応じて、フォントベースのテキストは、前のテキスト行の下の新規のテキスト行に挿入される。
複数行手書きテキストを(例えば、前のテキスト行の下に新規のテキスト行を挿入するための選択可能オプションの選択を受信することにより)入力する上述の方法により、電子デバイスは、(例えば、前のテキスト行の下の行に手書きテキストを挿入するために選択可能である選択可能オプションを提供することにより)複数行テキストを入力する容易な方法をユーザに提供することが可能となる。これは、(例えば、手書きテキストがフォントベースのテキストに変換された後にフォントベースのテキストを手動で編集して所望の位置に改行を挿入することをユーザに必要とすることなく、選択可能オプションの選択を受信したことに応じて、新規のテキスト行を入力するための選択可能オプションを提供し、新規行にテキストを入力することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図6Bのように、電子デバイスは、第2のユーザ入力をタッチ感知ディスプレイを介して受信する(798-12)。いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(798-14)、第2のユーザ入力が、それぞれのテキスト入力領域に対応するユーザインタフェースの領域内で検出されるとの判定に従って、図6Cのように、電子デバイスは、第2のユーザ入力に基づいて、それぞれのテキスト入力領域内で手書き入力操作を実行する(798-16)(例えば、ユーザ入力がテキスト入力領域に向けられている場合、ユーザ入力を手書き入力又はさもなければテキスト入力領域にテキストを入力せよとの要求として解釈する)。いくつかの実施形態では、テキスト入力領域に向けられたユーザ入力を受信したことに応じて、入力を手書き入力として受け入れる。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(798-14)、テキスト入力領域に対応しないユーザインタフェースの領域内で第2のユーザ入力が検出されたとの判定に従って、図6Yのように、電子デバイスは、第2のユーザ入力に基づいて、ユーザインタフェース内でスクロール動作を実行する(798-18)(例えば、ユーザ入力がテキスト入力領域に向けられていない場合、ユーザ入力をテキストを挿入する要求として解釈しない)。例えば、ユーザがテキスト入力領域ではない別のユーザ要素と対話する場合、手書き変換プロセスを実行しない。いくつかの実施形態では、例えば、ユーザがスクロール又は他の種類のナビゲーションジェスチャを実行した場合、手書き入力に基づいてフォントベースのテキストを挿入する代わりに、ユーザ入力に従ってナビゲーションを実行する。
ユーザ入力を(例えば、入力がテキスト入力領域内で受信された場合に入力を手書きテキストとして解釈し、入力がテキスト入力領域内で受信されていない場合に入力を手書きテキストとして解釈しないことにより)解釈する上述の方法により、電子デバイスは、(例えば、入力がテキストを入力する要求を示さない場合にはユーザが非テキスト的方法でデバイスと対話することを可能にするが、入力がテキストを入力する要求を示す場合には手書き入力を受け入れることにより)テキストを入力する容易な方法をユーザに提供することが可能となる。これは、(例えば、テキスト入力モードに切り替えるために追加の入力を実行すること又はテキストを入力するために別個のユーザインタフェースと対話すること若しくは別個のデバイスを使用することをユーザに必要とすることなく、ユーザがテキストを入力すること又はさもなければユーザインタフェースと対話することを要求しているかどうかを自動的に判定することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力の表現がフォントベースのテキストにモーフィングするアニメーションは(798-20)、図6Eのように、テキスト入力領域がフォントベースのテキストをまだ含まないとの判定に従って、テキスト入力領域内の最終位置で、及び、フォントベースのテキストが表示されることになる最終サイズで、フォントベースのテキストに(例えば、直接に)モーフィングする手書き入力の表現をアニメーション化する(798-22)ことを含む(例えば、テキスト入力領域が任意のフォントベースのテキストを有さない(又は手書き入力が向けられている行が任意のテキストを有さない)場合、アニメーションは、手書きテキストがフォントベースのテキストにサイズ及び形状を同時に変更し、フォントベースのテキストの最終位置に移動する(例えば、テキスト入力領域内で左に整列される))。したがって、いくつかの実施形態では、アニメーションは、1つのステップで実行される。いくつかの実施形態では、手書き入力がフォントベースのテキストにモーフィングするアニメーションは、方法2000に関して後述するフォントベースのテキストへの手書き入力の変換と類似するか、又は類似の特徴を共有する。いくつかの実施形態では、テキスト入力領域がフォントベースのテキストを有する場合、アニメーションは、手書きテキストがフォントベースのテキストに形状を変更し、次いで、既存のフォントベースのテキストのサイズに一致するようにサイズを変更する。
手書き入力を(例えば、手書き入力がフォントベースのテキストの最終サイズに同時に変化し最終位置に移動するアニメーションを表示することにより)テキストに変換する上述の方法により、電子デバイスは、(例えば、手書き入力がフォントベースのテキストに1つのステップでモーフィングするアニメーションを表示することにより)手書き入力がフォントベースのテキストに変換される視覚的合図をユーザに提供することが可能となる。これは、(例えば、処理され、解釈され、フォントベースのテキストに変換されているのがユーザの手書き入力であるという視覚的指示をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力の表現がフォントベースのテキストにモーフィングするアニメーションは(798-24)、図6Eのように、テキスト入力領域がフォントベースのテキストをまだ含まないとの判定に従って、手書き入力の表現のサイズに基づいて手書き入力の表現が中間サイズのフォントベースのテキストにモーフィングするようにアニメーション化した後、中間サイズのフォントベースのテキストがテキスト入力領域内の最終位置で、及び中間サイズとは異なりフォントベースのテキストが表示されることになる最終サイズでのフォントベースのテキストにモーフィングするようにアニメーション化する(798-26)ことを含む(例えば、テキスト入力領域が任意のフォントベースのテキストを有さない(又は、手書き入力が向けられている行が任意のテキストを有さない)場合、アニメーションは、手書きテキストが最初にフォントベースのテキストに形状を変更し、最終サイズと元の手書きサイズとの間のサイズにサイズを変更する(例えば、及び任意選択的に、元の手書き入力と同じ位置に留まる))。いくつかの実施形態では、フォントベースのテキストに形状を変更した後、アニメーションは継続してテキストを最終サイズに変更し、テキストをフォントベースのテキストの最終位置に移動させる(例えば、テキスト入力領域内で左に整列される)。したがって、いくつかの実施形態では、アニメーションは2つのステップで実行される。いくつかの実施形態では、手書き入力がフォントベースのテキストにモーフィングするアニメーションは、方法2000に関して後述するフォントベースのテキストへの手書き入力の変換と類似するか、又は類似の特徴を共有する。例えば、いくつかの実施形態では、方法2000で説明されるアニメーションに類似する第1のアニメーションが実行され、手書き入力を手書き入力と同じサイズのフォントベースのテキストに変換し、第1のアニメーションの後に、(例えば、任意選択的に、方法2000で説明されるアニメーションと類似の)第2のアニメーションが実行され、得られたフォントベースのテキストのサイズをフォントベースのテキストの最終サイズ(例えば、36フォントサイズから12フォントサイズへ、24フォントサイズから12フォントサイズへ、など)にモーフィングする。
手書き入力を(例えば、手書き入力が最初に中間サイズ(最終サイズと手書き入力のサイズとの間)を有するフォントベースのテキストに変換された後、最終位置に移動しながら中間サイズから最終サイズに変換されるアニメーションを表示することにより)テキストに変換する上述の方法により、電子デバイスは、手書き入力がフォントベースのテキストに変換される視覚的合図をユーザに提供することが可能となる。これは、(例えば、プロセスが、手書き入力をフォントベースのテキストに変換すること、並びに、フォントベースのテキストを適切なサイズ及び位置にリサイズし移動することの両方を行うことを強調するために、手書き入力がフォントベースのテキストに2つのステップでモーフィングするアニメーションを表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力の表現がフォントベースのテキストにモーフィングするアニメーションは(798-28)、図6Hのように、テキスト入力領域が以前に入力されたフォントベースのテキスト(例えば、手書き入力がフォントベースのテキストに変換される前にテキスト入力領域内に表示されるフォントベースのテキスト(例えば、手書き入力に対応するフォントベースのテキストは、テキスト入力領域内の既存のフォントベースのテキストに追加される))を含まないとの判定に従って、手書き入力の表現のサイズに基づいて、手書き入力の表現が中間サイズのフォントベースのテキストにモーフィングするようにアニメーション化した後、中間サイズのフォントベースのテキストがテキスト入力領域内の最終位置で、及び中間サイズとは異なりフォントベースのテキストが表示されることになる最終サイズでのフォントベースのテキストにモーフィングするようにアニメーション化し、手書き入力に対応するフォントベースのテキストの最終サイズは、以前に入力されたフォントベースのテキストのサイズと同じである(798-30)(例えば、テキスト入力領域が既存のフォントベースのテキストを有する(又は、手書き入力が向けられている行が既存のテキストを有する)場合、アニメーションは、手書きテキストが最初にフォントベースのテキストに形状を変更し、既存のテキストのサイズと元の手書きサイズとの間のサイズにサイズを変更する(例えば、及び任意選択的に、元の手書き入力と同じ位置に留まる))。いくつかの実施形態では、フォントベースのテキストに形状を変更した後、アニメーションは継続し、テキストを最終サイズ(例えば、既存のテキストと同じサイズ)に変更し、テキストをフォントベースのテキストの最終位置に移動させる(例えば、既存のテキストと左に整列させる)。したがって、いくつかの実施形態では、アニメーションは、2つのステップで実行され、既存のテキストのフォントフォーマットと一致する。いくつかの実施形態では、手書き入力がフォントベースのテキストにモーフィングするアニメーションは、方法2000に関して後述するフォントベースのテキストへの手書き入力の変換と類似するか、又は類似の特徴を共有する。例えば、いくつかの実施形態では、方法2000で説明されるアニメーションと類似の第1のアニメーションが実行され、手書き入力を中間サイズのフォントベースのテキストに変換し、第1のアニメーションの後に、(例えば、任意選択的に、方法2000に記載されるアニメーションと類似の)第2のアニメーションが実行され、結果として得られるフォントベースのテキストのサイズを中間サイズからフォントベースのテキストの最終サイズに(例えば、手書き入力の有効36フォントサイズからフォントベースのテキストに24フォントサイズで、次いで12フォントサイズまで)モーフィングする。
手書き入力を(例えば、手書き入力が(最終サイズと手書き入力のサイズとの間の)中間サイズを有するフォントベースのテキストに最初に変換され、次いで最終位置に移動する(例えば、既存のテキストと整列される)間に中間サイズから任意の既存のテキストと同じサイズに変換されるアニメーションを表示することにより)テキストに変換する上述の方法により、電子デバイスは、(例えば、プロセスが、手書き入力をフォントベースのテキストに変換すること、並びに、フォントベースのテキストを適切なサイズ及び位置にリサイズし移動することの両方を行うことを強調するために、手書き入力がフォントベースのテキストに2つのステップでモーフィングするアニメーションを表示することにより)手書き入力がフォントベースのテキストに変換される視覚的合図をユーザに提供することが可能となる。これは、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能にすることにより、電力使用を削減し、電子デバイスのバッテリ寿命を改善する。
図7A~図7Iにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法900、1100、1300、1500、1600、1800、2000、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図7A~図7Iに関して上記した方法700にも、類似の様式で適用可能であることに留意されたい。例えば、方法700を参照して上述した、手書き入力をフォントベースのテキストに変換する電子デバイスの動作は、本明細書に記載される他の方法(例えば、方法900、1100、1300、1500、1600、1800、2000、及び2200)を参照して本明細書に記載されるテキストの選択及び削除、手書き入力を既存のテキストに挿入すること、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力メニューを提示すること、手書き入力の特性を制御すること、自動補完提案を提示すること、手書き入力をフォントベースのテキストに変換すること、コンテンツ入力パレット内にオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図7A~図7Iを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作702、706、710、712、714、716、718、738、740、744、746、748、750、752、754、756、758、760、774、776、778、790、798-2、及び798-4、並びに受信する動作704、734、796、及び798-12は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
スタイラスを使用したテキストの選択及び削除
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。いくつかの実施形態では、電子デバイスは、テキストフィールド又はテキスト領域内にテキストを表示する。以下に説明する実施形態は、電子デバイスが、手書き入力デバイス(例えば、スタイラス)を使用してテキストを選択及び/又は削除する方法を提供する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図8A~図8IIは、電子デバイスが、テキストを選択又は削除するための手書き入力を解釈する例示的な方法を示す。これらの図中の実施形態は、図9A~図9Gを参照して説明するプロセスを含め、以下に説明するプロセスを例示するために使用される。
図8Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図8Aで、デバイス500は、メモ帳アプリケーションに対応するユーザインタフェース800を表示している。いくつかの実施形態では、ユーザインタフェース800は、ユーザが複数行のテキストを入力することができるテキスト入力領域802を含む。いくつかの実施形態では、テキスト入力領域802は、1つ以上の既存のテキスト804を含む。いくつかの実施形態では、既存のテキスト804は、以前に手書き入力として入力され、フォントベースのテキストに変換された。いくつかの実施形態では、既存のテキスト804は、ソフトキーボードを使用して(例えば、ユーザ又は別のユーザによって、このデバイス又は別のデバイス上で)入力された。
図8Bで、ユーザ入力はスタイラス203から受信される。いくつかの実施形態では、図8Bに示すように、ユーザ入力は、既存のテキスト804の一部を通過するタッチスクリーン504上のジェスチャである。いくつかの実施形態では、ユーザ入力に応じて、手書き入力の軌跡806がディスプレイ上に表示される。いくつかの実施形態では、軌跡806は、手書き入力の位置における手書きユーザ入力に対応するディスプレイ上の視覚的指示である。換言すれば、軌跡806は、ユーザの手書き入力の表現である。いくつかの実施形態では、図8Bに示すように、手書き入力は、単語「clock」の文字「ck」を水平に通過している。いくつかの実施形態では、軌跡806は、ユーザが単語「clock」の文字「ck」を通って水平ジェスチャを実行したという視覚的指示を提供する。図8Cで、ユーザ入力は、単語「clock」全体をクロスアウトするスタイラス203から(例えば、リフトオフなしに)受信され続ける。いくつかの実施形態では、水平ジェスチャ(例えば、又は実質的に水平なジェスチャ)は、既存のテキスト804のそれぞれの部分を選択(例えば、強調表示)する要求と見なされる。
図8Dで、手書きユーザ入力が終了する(例えば、スタイラス203がタッチスクリーン504からリフトオフする)。いくつかの実施形態では、スタイラス203のリフトオフに応じて、「clock」の単語に対応する既存のテキスト804が選択される。いくつかの実施形態では、単語を選択することは、(例えば、強調表示808によって示されるように)単語を強調表示すること、1つ若しくは2つの選択調整要素810-1及び810-2を表示すること、及び/又はポップアップメニュー812を表示することを含む。いくつかの実施形態では、選択調整要素810-1及び810-2は、より多い又はより少ない文字又は単語を含むように選択を移動するために選択可能である(例えば、ユーザは、より多い又はより少ない文字を包含するように選択調整要素810-1及び810-2をドラッグすることができる)。いくつかの実施形態では、ポップアップメニュー812は、強調表示されたテキスト上で動作を実行するための1つ以上の選択可能オプションを含む。いくつかの実施形態では、ポップアップメニュー812は、選択されたテキストをカットするための選択可能オプション(例えば、選択されたテキストをクリップボードにコピーし、選択されたテキストを同時に削除する)、テキストをコピーするための選択可能オプション(例えば、選択されたテキストをクリップボードにコピーする)、選択されたテキストのフォントを変更するための選択可能オプション(例えば、フォント、サイズ、それが太字であるか、下線が付けられているか、斜体であるかなどを変える)、及び/又は選択されたテキストを(例えば、別のユーザ及び/又は別の電子デバイスと)共有するための選択可能オプションを含む。
図8E~図8Hは、手書き入力に基づいてテキストを選択するための代替的な例示的実施形態を示す。図8Eで、デバイス500は、メモ帳アプリケーションに対応するユーザインタフェース800を表示している。いくつかの実施形態では、ユーザインタフェース800は、ユーザが複数行のテキストを入力することができるテキスト入力領域802を含む。いくつかの実施形態では、テキスト入力領域802は、1つ以上の既存のテキスト804を含む。いくつかの実施形態では、既存のテキスト804は、以前に手書き入力として入力され、フォントベースのテキストに変換された。いくつかの実施形態では、既存のテキスト804は、ソフトキーボードを使用して(例えば、ユーザ又は別のユーザによって、このデバイス又は別のデバイス上で)入力された。
図8Fで、ユーザ入力はスタイラス203から受信される。いくつかの実施形態では、ユーザ入力は、図8Fに示すように、既存のテキスト804の一部を通過するタッチスクリーン504上のジェスチャである。いくつかの実施形態では、ユーザ入力に応じて、手書き入力の軌跡806がディスプレイ上に表示される。いくつかの実施形態では、軌跡806は、手書き入力の位置における手書きユーザ入力に対応するディスプレイ上の視覚的指示である。いくつかの実施形態では、図8Fに示すように、手書き入力は、単語「clock」の文字「ck」を通過している。いくつかの実施形態では、軌跡806は、ユーザが単語「clock」の文字「ck」を通って水平ジェスチャを実行したという視覚的指示を提供する。いくつかの実施形態では、手書き入力が選択ジェスチャとして認識された後、それまでに選択された文字が強調表示され、強調表示は「ライブ」で更新される(例えば、手書き入力と共に移動する)。したがって、図8Fに示すように、強調表示808は現在、文字「ck」を強調表示している。
図8Gで、ユーザ入力は、単語「clock」全体をクロスアウトするスタイラス203から(例えば、リフトオフなしに)受信され続ける。いくつかの実施形態では、強調表示808は、ユーザが追加の文字を選択しているときにユーザ入力によって選択された追加の文字を強調表示するように更新される(例えば、今度は単語「clock」の全体を強調表示する)。
いくつかの実施形態では、図8F~図8Gに示すように、手書き入力は、文字又は単語を選択する要求として解釈されるために、完全に直線又は完全に水平である必要はない。いくつかの実施形態では、実質的に直線及び/又は実質的に水平である手書き入力は、文字又は単語を選択する要求として解釈される。いくつかの実施形態では、文字又は単語の少なくとも一部を通過し、(以下でより詳細に論じられるように)削除コマンドであると解釈されない任意の手書き入力は、文字又は単語を選択する要求として解釈される。いくつかの実施形態では、文字又は単語の選択は、手書き入力が別のコマンド(例えば、削除)として解釈されない限り実行されるデフォルト機能である。したがって、いくつかの実施形態では、別のコマンドである信頼度レベルが特定の閾値を下回る(例えば、別のコマンドである信頼度が80%、75%、50%未満)任意の手書き入力は、選択コマンドとして解釈される。いくつかの実施形態では、1つ以上の文字又は単語に下線を付けることは、文字又は単語を選択する要求として解釈される。いくつかの実施形態では、1つ以上の文字又は単語を丸で囲むことは、文字又は単語を選択する要求として解釈される。いくつかの実施形態では、単語を(例えば、スタイラス203を用いて)タップ又はダブルタップすることは、それぞれの単語を選択する要求として解釈される。
図8Hで、手書きユーザ入力が終了する(例えば、スタイラス203がタッチスクリーン504からリフトオフする)。いくつかの実施形態では、スタイラス203のリフトオフに応じて、「clock」の単語に対応する既存のテキスト804が選択される。いくつかの実施形態では、単語を選択することは、(例えば、強調表示808によって示されるように)単語を強調表示すること、1つ又は2つの選択調整要素(図8Dで論じられたものと同様)を表示すること、及び/又はポップアップメニュー812(図8Dで論じられたポップアップメニュー812と同様)を表示することを含む。いくつかの実施形態では、手書き入力の軌跡806は、直線化され、示された単語の底部に整列される。いくつかの実施形態では、手書き入力(例えば、軌跡806)の表現は、選択されている単語の下線へと「切り替わる」。
図8I~図8Nは、手書き入力に基づいてテキストを選択するための代替的な例示的実施形態を示す。図8Nで、デバイス500は、(図8E及び図8Aで論じたユーザインタフェース800と同様の)メモ帳アプリケーションに対応するユーザインタフェース800を表示している。
図8Jで、ユーザ入力がスタイラス203から受信される。いくつかの実施形態では、ユーザ入力は、図8Fに示すように、既存のテキスト804の一部を通過するタッチスクリーン504上のジェスチャである。いくつかの実施形態では、ユーザ入力に応じて、手書き入力の軌跡806がディスプレイ上に表示される。いくつかの実施形態では、軌跡806は、手書き入力の位置における手書きユーザ入力に対応するディスプレイ上の視覚的指示である。いくつかの実施形態では、図8Fに示すように、手書き入力は、単語「clock」の文字「ck」を水平に通過している。いくつかの実施形態では、軌跡806は、ユーザが単語「clock」の文字「ck」を通って水平ジェスチャを実行したという視覚的指示を提供する。図8Kで、ユーザ入力は、単語「clock」全体をクロスアウトするスタイラス203から(例えば、リフトオフなしに)受信され続ける。
図8Lで、手書きユーザ入力が終了する(例えば、スタイラス203は、タッチスクリーン504からリフトオフする)。いくつかの実施形態では、スタイラス203のリフトオフに応じて、手書き入力の軌跡806が直線化され、示された単語の底部に整列される。いくつかの実施形態では、手書き入力(例えば、軌跡806)の表現は、選択されるように要求される単語の下線へと「切り替わる」。いくつかの実施形態では、実際の選択は起こらず、ポップアップメニューは表示されない。
図8Mで、手書き入力806の直線化され切り替わった表現を(例えば、スタイラス203によって、又は任意選択的に指若しくは他の入力デバイスにより)選択するユーザ入力が検出される。いくつかの実施形態では、図8Nに示すように、単語「clock」の下線を選択するユーザ入力に応じて、単語「clock」に対応する既存のテキスト804が選択される。いくつかの実施形態では、単語を選択することは、(例えば、強調表示808によって示されるように)単語を強調表示すること、1つ又は2つの選択調整要素(図8Dで論じられたものと同様)を表示すること、及び/又はポップアップメニュー812(図8Dで論じられたポップアップメニュー812と同様)を表示することを含む。
図8O~図8Rは、手書き入力に基づいてテキストを削除する例示的なプロセスを示す。図8Oで、デバイス500は、(図8E及び図8Aで論じたユーザインタフェース800と同様の)メモ帳アプリケーションに対応するユーザインタフェース800を表示している。
図8Pで、ユーザ入力がスタイラス203から受信される。いくつかの実施形態では、ユーザ入力は、図8Pに示すように、既存のテキスト804の一部を通過するタッチスクリーン504上のジェスチャである。いくつかの実施形態では、ユーザ入力に応じて、手書き入力の軌跡814がディスプレイ上に表示される。いくつかの実施形態では、軌跡814は、手書き入力の位置における手書きユーザ入力に対応するディスプレイ上の視覚的指示である。いくつかの実施形態では、図8Pに示すように、手書き入力は、文字「w」を2回(例えば、上及び下のジェスチャで)垂直に通過する。いくつかの実施形態では、手書き入力はまた、文字「w」全体をクロスアウトする動作を示す小さい水平成分も含む。
図8Qで、手書き入力は、単語「woke」をクロスアウトし続ける。いくつかの実施形態では、手書き入力が単語「woke」を削除せよとの要求として認識される場合、単語及び軌跡814は、色及び/又は不透明度を変更するように更新される。例えば、図8Qに示すように、いくつかの実施形態では、単語及び/又は軌跡はグレーになり、デバイス500がユーザのジェスチャを削除コマンドとして認識し、削除される単語は「woke」であることを示す。いくつかの実施形態では、削除される単語及び/又は軌跡の視覚的特性は変更されない。いくつかの実施形態では、入力は、垂直なクロスアウト、スクラッチアウト、又は走り書きの態様で、単語の1つ以上の文字又はあらゆる文字を垂直に通過する場合、削除コマンドとして認識される。例えば、手書き入力が、閾値回数(例えば、3、4、5など)だけ単語を垂直に通過する場合、その単語を削除する要求と見なされる。いくつかの実施形態では、手書き入力の垂直移動が素早い連続(例えば、0.25秒、0.5秒、1秒、3秒)で受信された場合、ジェスチャは、単語を削除せよとの要求であると見なされる。いくつかの実施形態では、上述のように、削除コマンドである信頼度レベルの任意のジェスチャが選択コマンドとして解釈される。
図8Rで、手書きユーザ入力が終了する(例えば、スタイラス203がタッチスクリーン504からリフトオフする)。いくつかの実施形態では、スタイラス203のリフトオフに応じて、削除コマンドが実行される(例えば、遂行される)ことにより、既存のテキスト804から単語「woke」を削除する。いくつかの実施形態では、既存のテキスト804から単語「woke」を削除することと同時に、その後、又はそれに応じて、削除コマンドをアンドゥするためのポップアップ816が表示される。換言すれば、ポップアップ816は選択可能オプションを含み(例えば、又はそれ自体が選択可能オプションである)、選択可能オプションは、削除された単語(例えば、「woke」)をその元の位置の既存のテキスト804に挿入して戻すことにより削除コマンドをアンドゥするために選択可能である。
図8S~図8Wは、削除動作を取り消す例示的な方法を示す。図8Sで、デバイス500は、(図8E及び図8Aで論じたユーザインタフェース800と同様の)メモ帳アプリケーションに対応するユーザインタフェース800を表示している。
図8Tで、ユーザ入力がスタイラス203から受信される。いくつかの実施形態では、ユーザ入力は、図8Tに示すように、既存のテキスト804の一部を通過するタッチスクリーン504上のジェスチャである。いくつかの実施形態では、ユーザ入力に応じて、手書き入力の軌跡814がディスプレイ上に表示される。いくつかの実施形態では、軌跡814は、手書き入力の位置における手書きユーザ入力に対応するディスプレイ上の視覚的指示である。いくつかの実施形態では、図8Tに示すように、手書き入力は、文字「w」を2回(例えば、上及び下のジェスチャで)垂直に通過する。いくつかの実施形態では、手書き入力はまた、文字「w」全体をクロスアウトする動作を示す小さい水平成分も含む。
図8Uで、手書き入力は、単語「woke」をクロスアウトし続ける。いくつかの実施形態では、手書き入力が単語「woke」を削除せよとの要求として認識される場合、単語(例えば、「woke」)及び軌跡814は、色及び/又は不透明度(例えば、50%の不透明度、75%の不透明度など)を変更するように更新される。例えば、図8Uに示すように、いくつかの実施形態では、単語及び/又は軌跡はグレーになり、デバイス500がユーザのジェスチャを削除コマンドとして認識し、削除される単語が「woke」であることを示す。
図8Vでは、手書き入力は、タッチスクリーン504上でタッチダウンし続ける間、既存のテキスト804から離れて移動する。いくつかの実施形態では、手書き入力が、削除のために選択された単語(例えば、「woke」)から離れて閾値距離(例えば、3mm、5mm、1cm、3cmなど)だけ移動する場合、追加の手書き入力(例えば、単語「woke」から離れて移動する)は、削除動作を取り消す要求であると見なされる。いくつかの実施形態では、図8Vに示すように、軌跡814及び削除のために選択された単語の視覚的特性は、その元の状態に戻される(例えば、グレーから黒に戻る)。図8Wで、スタイラス203のリフトオフが検出され、削除コマンドが取り消される。したがって、いくつかの実施形態では、図8Wに示すように、単語「woke」はそのまま残され、削除されない。
図8X~図8Zは、選択及び削除構成要素の両方で手書き入力を解釈する例示的なプロセスを示す。図8Wで、デバイス500は、(図8E及び図8Aで論じたユーザインタフェース800と同様の)メモ帳アプリケーションに対応するユーザインタフェース800を表示している。図8Xで、ユーザ入力は、図8Xに示すように、既存のテキスト804の一部を選択するスタイラス203から受信される。図8Yで、ユーザは、手書き入力を継続し(リフトオフなしで)、削除コマンドに関連付けられたジェスチャ(例えば、単語の垂直クロスアウト)を実行し始める。いくつかの実施形態では、ユーザが削除コマンドとして通常は解釈されるジェスチャを提供するように手書き入力を遷移させたとしても、デバイス500は、ユーザが選択コマンドを実行することを依然として意図していると判定する。例えば、図8Zで、スタイラス203のリフトオフが検出され、リフトオフに応じて、単語のシーケンス全体(例えば、削除ジェスチャの対象となった単語を含む)が強調表示されている。したがって、いくつかの実施形態では、ユーザが特定のコマンドを実行し始めると、デバイスは、ジェスチャが別のコマンドに遷移しても、そのコマンドにコミットする。いくつかの実施形態では、削除として開始し、選択ジェスチャに遷移するジェスチャについても同様である(例えば、システムは、対話された単語のシーケンス全体に対して削除コマンドを実行する)。
図8AA~図8DDは、選択及び削除構成要素の両方で手書き入力を解釈する別の例示的なプロセスを示す。図8AAで、デバイス500は、(図8E及び図8Aで論じたユーザインタフェース800と同様の)メモ帳アプリケーションに対応するユーザインタフェース800を表示している。図8BBで、図8BBに示すように、既存のテキスト804の一部(例えば、「o’clock」)を選択するユーザ入力がスタイラス203から受信される。図8CCで、ユーザは、手書き入力を継続し(リフトオフなしで)、削除コマンドに関連付けられたジェスチャ(例えば、「up at 6」という単語群の垂直クロスアウト)を実行し始める。いくつかの実施形態では、ユーザが削除コマンドとして通常は解釈されるジェスチャを提供するように手書き入力を遷移させているため、デバイス500は、ユーザが、削除コマンドが受信された単語群に対して削除コマンドを実行することを今は意図していると判定する。例えば、図8DDで、スタイラス203のリフトオフが検出され、リフトオフに応じて、選択及び削除ジェスチャのそれぞれの対象となった部分に対応して、単語群の一部(例えば、「o’clock」)が選択され、単語群の一部(例えば、「up at 6」)が削除される。したがって、いくつかの実施形態では、ユーザが特定のコマンドの実行を開始し、別のコマンドに遷移する場合、デバイスは、既存のテキストのそれぞれの部分上で両方のコマンドを実行する。いくつかの実施形態では、図8DDに示すように、ポップアップ812は、削除された既存のテキストの部分の削除をアンドゥするための追加の選択可能オプションを含む。
図8EE~図8IIは、選択及び削除構成要素の両方で手書き入力を解釈する別の例示的なプロセスを示す。図8EEで、デバイス500は、(図8E及び図8Aで論じたユーザインタフェース800と同様の)メモ帳アプリケーションに対応するユーザインタフェース800を表示している。図8FFで、図8FFに示すように、既存のテキスト804の一部(例えば、「o’clock」)を選択するユーザ入力がスタイラス203から受信される。図8GGで、ユーザは、手書き入力を継続し(リフトオフなしで)、削除コマンドに関連付けられたジェスチャ(例えば、「up at 6」という単語群の垂直クロスアウト)を実行し始める。いくつかの実施形態では、ユーザが削除コマンドとして通常は解釈されるジェスチャを提供するように手書き入力を遷移させているため、デバイス500は、ユーザが削除コマンドを実行することを今は意図していると判定する。いくつかの実施形態では、ユーザが削除コマンドに遷移した場合、選択及び削除ジェスチャが実行される単語のシーケンス全体がリフトオフの際に削除される。あるいは、いくつかの実施形態では、ユーザが手書き入力に遷移した後、このシステムは、手書き入力のシーケンス全体が、選択ジェスチャではなく削除ジェスチャの大部分を含むまで、削除のために単語のシーケンス全体をマークしない。例えば、図8HHで、ユーザは、手書き入力を(リフトオフなしで)単語群「I woke」に継続する。したがって、いくつかの実施形態では、手書き入力は、選択ジェスチャよりも削除ジェスチャのほうを多く実行している。図8IIで、スタイラス203のリフトオフが検出され、リフトオフに応じて、(例えば、選択ジェスチャの対象となった単語を含む)単語のシーケンス全体が削除される。いくつかの実施形態では、図8IIに示すように、既存のテキスト804から単語のシーケンスを削除することと同時に、その後、又はそれに応じて、ポップアップ816が削除コマンドをアンドゥするために表示される。換言すれば、ポップアップ816は、削除された単語(単数又は複数)をその元の位置で既存のテキスト804に挿入することにより削除コマンドをアンドゥするために選択可能である選択可能オプションを含む(例えば、又はそれ自体が選択可能オプションである)。
上記の削除及び選択ジェスチャは、文字毎に、又は単語毎に適用することができることが理解される。換言すれば、ジェスチャが単語の1つ以上の文字上で受信される場合、いくつかの実施形態では、それらの1つ以上の文字のみが、それぞれの選択又は削除コマンドの対象となる。いくつかの実施形態では、ジェスチャが単語の1つ以上の文字上で受信される場合、その1つ以上の文字に関連付けられた単語全体が、それぞれの選択又は削除コマンドの対象となる。
図8JJ~図8MMは、手書き入力を受信し、現在選択されている文字を手書き入力で置換する実施形態を示す。図8JJは、テキスト入力領域802内の既存のフォントベースのテキスト804を有するユーザインタフェース800を示す。図8JJで、ユーザ入力は、既存のテキスト804の一部(例えば、単語「woke」)を、「woke」の右から左への取消線のように通過するスタイラス203から受信される。いくつかの実施形態では、ユーザ入力(任意選択的にユーザ入力の終了)に応じて、図8KKに示すように(任意選択的に図8B~図8Nに関して上述した方法に従って)、単語「woke」に対応する既存のテキスト804が選択される。
図8LLで、単語「woke」が選択されている間に、手書き入力は、テキスト入力領域802内に単語「got」を書き込むスタイラス203から受信される。いくつかの実施形態では、手書き入力を受信している間に、手書き入力820の表現がテキスト入力領域802内に表示される。いくつかの実施形態では、手書き入力は、選択された単語と閾値量だけ(例えば、少なくとも部分的に)重畳して受信される。例えば、図8LLで、手書き入力の50%は、選択された単語と重畳する。いくつかの実施形態では、手書き入力は、選択された単語から閾値距離(例えば、0.5インチ、1インチ、3インチ、5インチなど)内で受信される。いくつかの実施形態では、手書き入力は、選択された単語からの距離又は選択された単語との重畳量とは無関係に、テキスト入力領域802内の任意の位置で受信される。
いくつかの実施形態では、手書き入力を受信したことに応じて(任意選択的に、手書き入力に対応するリフトオフ(例えば、スタイラス203のリフトオフ)に応じて、及び任意選択的に0.5秒、1秒、3秒、5秒などの閾値量の時間の後に)、図8MMに示すように、選択された単語「woke」は手書き入力に対応する文字と置換される。図8MMで、手書き入力「got」は、単語「woke」が置換される(例えば、「got」が手書き入力の元の位置でフォントベースのテキストに変換された後、単語「woke」の位置に移動される)前に、(任意選択的に方法700、900、1300、1500、1600、1800、及び2000に従って)認識され、フォントベースのテキストに変換される。いくつかの実施形態では、手書き入力「got」は、単語「woke」の置換と同時に認識及び変換される(例えば、「got」は、置換前に「got」のフォントベースのバージョンを表示することなく、単語「woke」が置換されると同時に変換される)。いくつかの実施形態では、既存のテキスト804の単語は、新たに挿入された単語との適切な文字間隔を有するように再配列される。したがって、いくつかの実施形態では、1つ以上の文字が選択されている(例えば、強調表示されている)間に、デバイス500は、1つ以上の文字を書き込む手書き入力を受信し、選択された文字を新たに書き込まれた文字と置換することができる。いくつかの実施形態では、手書き入力が選択された文字を置換する要求として識別されるために、手書き入力は、選択された文字と閾値量だけ重畳(例えば、10%重畳、30%重畳、50%重畳、75%重畳など)しなければならない。いくつかの実施形態では、手書き入力が選択された文字を置換する要求として識別されるために、手書き入力は、選択された文字の閾値距離(例えば、0.5インチ、1インチ、3インチ、5インチなど)内になければならない。いくつかの実施形態では、手書き入力は、選択された文字からの距離の重複量とは無関係に(例えば、文字が現在選択されている限り)、選択された文字を置換する要求として認識される。いくつかの実施形態では、選択された文字は、デバイスが、本開示に記載されるように(例えば、描画モードとは対照的に)手書き入力がフォントベースのテキストに変換されるモードなどの、テキスト入力モードにある場合にのみ置換される。
図9A~図9Gは、テキストを選択又は削除するために手書き入力を解釈する方法900を示す流れ図である。方法900は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで実行される。方法900におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に説明するように、方法900は、手書き入力を解釈してテキストを選択又は削除する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、タッチ感知ディスプレイと通信する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーンを含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、図8Aのように、タッチ感知ディスプレイ上で、1つ以上のテキスト文字を含む第1の編集可能テキスト文字列を含むユーザインタフェース(例えば、既にテキストを含む編集可能テキストフィールド)を表示する(902)。いくつかの実施形態では、編集可能テキストフィールド内のテキストは、ユーザによって以前に入力されたか、又はユーザ入力なしに予め記入されていた。いくつかの実施形態では、編集可能テキストフィールド内の既存のテキストも編集可能である(例えば、テキストは削除、修正、移動、追加などができる)。
いくつかの実施形態では、ユーザインタフェースを表示している間に、図8Bのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の編集可能テキスト文字列内の複数のテキスト文字を通して描かれた線に対応する手書き入力を含むユーザ入力を受信する(904)(例えば、テキストの少なくとも一部を通過するタッチ感知ディスプレイ上の(例えば、スタイラス、指、又は他の書き込みデバイスを使用した)手書き入力を受信する)。いくつかの実施形態では、入力は、テキスト文字列を長手方向に通過する(例えば、入力は、入力がテキスト文字列の一部の最初からテキスト文字列のその一部の最後まで、又はその逆に通過するように、実質的に水平な成分のみを有する)。いくつかの実施形態では、入力は、テキスト文字列を横断方向に通過する(例えば、入力は、入力がテキストを上から下へ、又はその逆に横切って通過するように、実質的に垂直な成分を有する)。いくつかの実施形態では、入力は、水平成分と垂直成分との組合せを有する。いくつかの実施形態では、入力特性に応じて、システムは入力を異なるように解釈し、異なるアクションを実行する。いくつかの実施形態では、複数のテキスト文字を通って描かれた線は、必ずしも真っ直ぐではなく、任意選択的に、ひねり、折り返し、くねくねした曲線などを含む。
いくつかの実施形態では、ユーザ入力を受信したことに応じて(906)、手書き入力が1つ以上の第1の基準を満たすとの判定に従って、図8Dのように、電子デバイスは、第1の編集可能テキスト文字列の複数のテキスト文字を選択するプロセスを開始する(908)(例えば、線が編集可能テキストを長手方向に(例えば、左/右方向にテキストを横切って)クロスアウト又は通過する場合、入力は選択入力として解釈される)。いくつかの実施形態では、編集可能テキストのそれぞれの部分を選択することは、テキストのそれぞれの部分を強調表示することを含む。いくつかの実施形態では、編集可能テキストのそれぞれの部分が強調表示された時に(例えば、それに応じて)テキスト編集メニュー又はポップアップが表示される。いくつかの実施形態では、第1の編集可能テキストのそれぞれの部分は、手書き入力が通過した部分である。いくつかの実施形態では、第1の編集可能テキストのそれぞれの部分は、手書き入力が通過していない第1の編集可能テキストの他の部分を含まない。いくつかの実施形態では、手書き入力が長手方向及び横断方向の両方の成分を含む場合、手書き入力が長手方向成分を含んでいたテキストの部分のみが選択される。いくつかの実施形態では、手書き入力が長手方向成分で始まり、後に横断方向成分を含んでいた場合、テキストの全てが(例えば、横断方向成分が通過したテキストさえも)選択される。いくつかの実施形態では、手書き入力が長手方向及び横断方向の両方の成分を含む場合、入力は、どの成分が入力の大部分を含むかに基づいて解釈される(例えば、入力がほとんど長手方向である場合、入力は選択入力と解釈され、入力がほとんど横断方向である場合、入力は削除と解釈される)。
いくつかの実施形態では、ユーザ入力を受信したことに応じて(906)、手書き入力が第1の基準とは異なる1つ以上の第2の基準を満たすとの判定に従って、図8Rのように、電子デバイスは、第1の編集可能テキスト文字列の複数のテキスト文字を削除するプロセスを開始する(910)(例えば、手書き入力が、ジグザグパターン(例えば、上/下方向にテキストを横切ってくねくねした曲線を描く)で横断方向に編集可能テキストをクロスアウト又は通過する場合、入力は、削除入力として解釈される)。いくつかの実施形態では、手書き入力のパターンは、テキストを抹消、隠蔽、消去、又は削除する要求を提案する。いくつかの実施形態では、手書き入力が通過した編集可能テキストの部分は、編集可能テキストから削除される(及びテキストの他の部分は任意選択的に削除されない)。いくつかの実施形態では、閾値数の横断方向「通過」が、入力を削除として(例えば、ユーザが編集可能テキストのそれぞれの部分をクロスアウトしているかのように)解釈するために必要とされる。いくつかの実施形態では、手書き入力が閾値数の横断方向「通過」を満たさない場合、手書き入力は削除入力としても選択入力としても解釈されない(例えば、入力は無視されるか、又は入力は、選択又は削除動作も実行させることなく、ディスプレイ上での描画をもたらす)。例えば、手書き入力がジグザグパターン又は取消線パターンの不十分な特性を有する場合、システムは、テキストを強調表示する要求又はテキストを削除する要求のいずれとしても、手書き入力を解釈しない。
テキストを(例えば、編集可能テキスト上の手書きユーザ入力を受信し、入力の特性に基づいて選択又は削除として手書きユーザ入力を解釈することにより)選択又は削除する上述の方法により、電子デバイスは、(例えば、手書き入力を受け入れ、入力ジェスチャに基づいてユーザがテキストを選択することを意図しているかそれともテキストを削除することを意図しているかを自動的に判定することにより)テキストを編集する能力をユーザに提供することが可能となる。これは、(例えば、ユーザが、選択機能又は削除機能をアクティブ化するために別個のユーザインタフェース又はメニューにナビゲートすることをユーザに必要とすることなくテキストを選択及び削除するのに手書き入力を使用することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を選択するプロセスを開始することは、図8Kのように、第1の編集可能テキスト文字列内の複数のテキスト文字と共に手書き入力に対応する線の表現を表示することを含む(912)(例えば、ユーザがテキストを強調表示することを要求している場合、入力が受信されたときに入力が受信された位置でディスプレイ上に線入力の軌跡を表示する)。いくつかの実施形態では、ユーザが複数のテキスト文字を横切って線を「引く」と、ディスプレイは、入力が受信された位置で引かれている線を示す。いくつかの実施形態では、ユーザがタッチスクリーンからリフトオフした後、タッチスクリーン上に引かれている線は直線に変換される(例えば、線が完全に直線ではないが依然として強調表示要求と解釈された場合、線は直線に切り替わる)。いくつかの実施形態では、直線は、(例えば、複数のテキスト文字の下線と同様に)複数のテキスト文字の下に整列される。
選択を(ユーザが入力しているときにユーザの入力を表示することにより)行う上述の方法により、電子デバイスは、(例えば、ユーザがどこで何と対話しているかの視覚的指示を提供することにより)ユーザが選択することを要求しているのがどの文字かに関するフィードバックをユーザに提供することが可能となる。これは、(例えば、選択又は削除におけるいずれかのエラーを訂正するために追加の入力を推測又は実行することをユーザに必要とすることなく、どの文字が選択又は削除のために特定されているかに関するユーザフィードバックを与えることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力に対応する線の表現を第1の編集可能テキスト文字列内の複数のテキスト文字と共に表示している間に、図8Mのように、電子デバイスは、タッチ感知ディスプレイを介して、線の選択に対応する入力を受信する(914)(例えば、複数のテキスト文字の下に整列された線は、線の選択を引き起こすために選択可能である)。いくつかの実施形態では、複数の文字を選択する入力を受信した後、その複数の文字は強調表示されない。いくつかの実施形態では、代わりに、ユーザは、強調表示を引き起こすために選択可能な選択可能オプション(例えば、下線)が提示される。
いくつかの実施形態では、線の選択に対応する入力を受信したことに応じて、図8Nのように、電子デバイスは、第1の編集可能テキスト文字列内の複数のテキスト文字を、更なるアクションのために選択させる(916)(例えば、ユーザが線を選択したことに応じて、複数の文字が強調表示される)。いくつかの実施形態では、選択された複数のテキスト文字に対するアクションを実行するために、ユーザに1つ以上の選択可能オプションが提示される。例えば、アクションは、選択されたテキストのコピー(例えば、選択されたテキストをクリップボードにコピーすること)、カット(例えば、選択されたテキストをクリップボードにコピーし、選択されたテキストを削除すること)、ペースト(例えば、選択されたテキストをクリップボードからの内容で置換すること)、削除、及び書式化(例えば、フォントの変更、フォントサイズの変更、太字、斜体、下線などの、選択されたテキストの書式を変更すること)を含む。いくつかの実施形態では、より多くの又はより少ないアクションが可能である。
テキストを(例えば、ユーザによる線の選択を受信した後に、強調表示されるように選択された複数の文字に下線を引くユーザの入力を表示し、単語を強調表示することにより)選択する上述の方法により、電子デバイスは、(例えば、どの文字が選択されるかの視覚的指示を提供し、選択を確認する機会をユーザに与えることにより)ユーザが選択を要求しているのがどの文字かに関するフィードバックをユーザに提供することが可能となる。これは、(例えば、どの文字が選択されるかを確認する機会をユーザに提供すること、又は選択における誤りを訂正し、若しくは選択モードを終了するための追加の入力を実行することをユーザに必要とすることなく、選択モードから出る機会を提供する機会をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を選択するプロセスを開始することは、図8Dのように、複数のテキスト文字と共に手書き入力に対応する線の表現を表示することなく、第1の編集可能テキスト文字列内の複数のテキスト文字を選択することを含む(918)(例えば、ユーザが複数のテキスト文字を介して選択ジェスチャを実行しているときに、複数のテキスト文字を選択する)。いくつかの実施形態では、選択は、ユーザが選択しているときに「ライブ」で行われている。いくつかの実施形態では、ユーザの選択入力に対応する線の軌跡は示されない(例えば、何が選択されているかの視覚的指示が既に存在しているため)。いくつかの実施形態では、線の軌跡が示される。
テキストを(例えば、ユーザが選択入力ジェスチャを実行しているときに、複数の文字を選択することにより)選択する上述の方法により、電子デバイスは、(例えば、どの文字が選択されるかの視覚的指示を提供することにより)ユーザがどの文字を選択することを要求しているかに関するフィードバックをユーザに提供することが可能となる。これは、(例えば、選択における誤りを訂正するための追加の入力を実行することをユーザに必要とすることなく、意図された文字が選択されていることを確認するための入力をユーザが実行しているときに起こる選択を見る機会をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を削除するプロセスを開始することは、図8Qのように、ユーザ入力が受信されている間に、複数のテキスト文字を視覚的特性に対する第1の値で表示することと、第1の編集可能テキスト文字列の残部を視覚的特性に対する第1の値とは異なる第2の値で表示することとを含む(920)(例えば、ユーザがテキスト文字を削除するためのジェスチャを実行しているとき、削除のためにそれまで選択された文字の視覚的特性を更新する)。例えば、削除のためにそれまで選択された文字はグレーアウトされる。いくつかの実施形態では、削除のためにそれまで選択された文字は、半透明(例えば、75%透明度、50%透明度、25%透明性など)である。
テキストを(例えば、それまで削除のためにユーザによって選択された文字の視覚的特性を変更することによって)削除する上述の方法により、電子デバイスは、(例えば、どの文字が削除されるかの視覚的指示を提供することにより)ユーザが削除することを要求しているのがどの文字かに関するフィードバックをユーザに提供することが可能となる。これは、(例えば、削除における誤りを訂正するための追加の入力を実行することをユーザに必要とすることなく、意図された文字が削除されることを確認するための入力をユーザが実行しているときにどの文字が削除されるかを見る機会をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、複数のテキスト文字を視覚的特性に対する第1の値で表示し、第1の編集可能テキスト文字列の残部を視覚的特性に対する第2の値で表示している間に、図8Rのように、電子デバイスは、ユーザ入力のリフトオフを検出する(922)。いくつかの実施形態では、ユーザ入力のリフトオフを検出したことに応じて、図8Rのように、電子デバイスは、第1の編集可能テキスト文字列の残部の表示を維持しながら、複数のテキスト文字の表示を停止する(924)(例えば、ユーザがタッチスクリーンとの対話からリフトオフするときに、削除のためにマークされた複数のテキスト文字は、テキスト文字列から削除される)。例えば、ユーザがスタイラスを使用して削除ジェスチャを実行した場合、ユーザがタッチスクリーンからスタイラスをリフトオフするときに削除が遂行される(例えば、実行される)。
テキストを(例えば、ユーザがタッチスクリーンとの対話からリフトオフした後に削除を実行することにより)削除する上述の方法により、電子デバイスは、(例えば、ユーザが削除ジェスチャを実行したときにテキストを削除しないが、ユーザが削除されるテキストを検証することを可能にし、ユーザがリフトオフして削除の確認を示した後にテキストを削除することにより)削除を実行する前に削除されるテキストを確認する能力をユーザに提供することが可能となる。これは、(例えば、削除における誤りを訂正するための追加の入力を実行することをユーザに必要とすることなく、削除を実行するためのリフトオフの前に意図された文字が削除されることを確認するためにどの文字が削除されるかを見る機会をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することによって、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザ入力のリフトオフを検出する前に、図8Qのように、電子デバイスは、第1の編集可能テキスト文字列と共に、手書き入力に対応する線の表現を表示する(926)(例えば、テキスト文字上で削除ジェスチャを実行するユーザの入力の軌跡を表示する)。いくつかの実施形態では、ユーザ入力のリフトオフを検出したことに応じて、図8Rのように、電子デバイスは、手書き入力に対応する線の表示を停止する(928)(例えば、削除が実行されるとき(例えば、リフトオフが検出されたとき)、ユーザの入力の軌跡の表示(例えば、削除ジェスチャの軌跡)も除去する)。
テキストを(例えば、削除が実行される時点で手書き入力の表示を除去することにより)削除する上述の方法により、電子デバイスは、実行されたジェスチャの表示を(例えば、削除が実行される時点又は削除が実行された後に削除ジェスチャの表現を除去することにより)消去することが可能となる。これは、(例えば、残りの手書きジェスチャを除去することを含む削除が実行されたという複数の視覚的指示をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を削除するプロセスを開始した後(930)、手書き入力が第1の編集可能テキスト文字列の複数のテキスト文字から閾値距離(例えば、0.5cm、1cm、2cm、5cm)よりも離れて延在するとの判定に従って、図8Vのように、電子デバイスは、第1の編集可能テキスト文字列の複数のテキスト文字を削除するプロセスを取り消す(932)(例えば、ユーザが削除ジェスチャを実行し始めた後、ユーザが削除機能を取り消すことを望むことを示す更なる手書きユーザ入力を受信する)。例えば、ユーザが、削除のために(例えば、垂直方向及び/又は水平方向に)マークされたテキストから手書きユーザ入力を引き離した場合、システムは、ユーザが削除機能を取り消すように要求していることを任意選択的に認識する。いくつかの実施形態では、削除を取り消す要求を受信したことに応じて、ユーザがリフトオフしたときに削除は実行されない。いくつかの実施形態では、削除を取り消す要求を受信したことに応じて、削除のためにマークされた文字の色及び/又は不透明度は、それぞれ元の色及び/又は不透明度に復元される。いくつかの実施形態では、ユーザが、テキスト文字から離れて手書き入力を伸展しない場合、システムは、ユーザがテキスト文字を削除することを依然として要求していると(例えば、ユーザは削除を取り消すことを要求していない)判定し、削除プロセスが継続する。
テキストの削除を(例えば、特定の閾値距離だけテキスト文字から離れるように入力を伸展するユーザのジェスチャを、削除機能を取り消す要求として解釈することにより)取り消す上述の方法により、電子デバイスは、(例えば、削除のためにマークされた文字から離れて伸展する入力を、削除プロセスを取り消す要求として受け入れることにより)テキストの削除を取り消す機会をユーザに提供することが可能となる。これは、(例えば、ユーザが削除を意図していなかったテキストの全てを再入力することをユーザに必要とすることなく、削除機能を取り消す機会をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザ入力を受信している間に、図8Pのように、電子デバイスは、第1の編集可能テキスト文字列と共に、視覚的特性に対する第1の値で手書き入力に対応する線の表現を表示する(934)。いくつかの実施形態では、ユーザ入力を受信したことに応じて(936)、手書き入力が1つ以上の第2の基準を満たすとの判定に従って、図8Qのように、電子デバイスは、手書き入力に対応する線の表現を視覚的特性に対する第1の値とは異なる第2の値で表示する(938)(例えば、手書き入力が削除要求として検出されたとき、手書き入力の表現(例えば、軌跡)は、システムが手書き入力を削除要求であると判定したことを示すために変更される)。いくつかの実施形態では、手書き入力の表現は、削除のためにマークされたテキストと同じ視覚的特性を有するように更新される。例えば、表現はグレーアウトされるように更新される。いくつかの実施形態では、表現は、半透明(例えば、75%透明度、50%透明度、25%透明度など)であるように更新される。
テキストを(例えば、ユーザの手書き入力の表現の視覚的特性を変更することにより)削除する上述の方法により、電子デバイスは、(例えば、ユーザの入力ジェスチャが処理され、削除要求として解釈されたという視覚的指示を提供することにより)ユーザの入力がテキストを削除せよとの要求として適切に解釈されたというフィードバックをユーザに提供することが可能となる。これは、(例えば、ユーザの入力が認識され、削除要求として解釈されると同時にフィードバックをユーザに提供することと、ジェスチャが重畳している文字が削除されるという視覚的フィードバックをユーザに提供することとにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を削除するプロセスを開始することは、図8Rのように、第1の編集可能テキスト文字列の複数のテキスト文字を削除することを含む(940)。いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を削除したことに応じて、図8Rのように、電子デバイスは、ユーザインタフェース内に、第1の編集可能テキスト文字列の複数のテキスト文字の削除をアンドゥするための選択可能オプションを表示する(942)(例えば、複数の文字の削除を実行した後に、複数の文字の削除をアンドゥするために選択可能な選択可能オプションを有するポップアップ又はダイアログボックスをユーザに提供する)。いくつかの実施形態では、ポップアップ又はダイアログボックスは、削除された文字の位置又はその近くに表示される。いくつかの実施形態では、削除をアンドゥするための選択可能オプションの選択に応じて、複数のテキスト文字が再表示され、それらの元の位置に挿入される。
削除アンドゥ機能を(例えば、削除をアンドゥするための選択可能オプションを表示することにより)提供する上述の方法により、電子デバイスは、(例えば、削除をアンドゥするように選択可能な選択可能オプションを提供することにより)削除をアンドゥするオプションをユーザに提供することが可能となる。これにより、(例えば、削除された全てのテキストを手動で再入力することをユーザに必要とすることなく、削除をアンドゥするオプションをユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を選択するプロセスを開始することは、図8Dのように、第1の編集可能テキスト文字列の複数のテキスト文字を選択することを含む(944)(例えば、選択されるようにユーザによってマークされている複数のテキスト文字を視覚的に強調表示する)。いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を選択したことに応じて、図8Dのように、電子デバイスは、ユーザインタフェース内に、第1の編集可能テキスト文字列の複数のテキスト文字に関してそれぞれの操作を実行するための1つ以上の選択可能オプションを表示する(946)(例えば、選択されたテキストに対して1つ以上の操作を実行するための1つ以上のオプションを有するポップアップ又はダイアログボックスを提供又は表示する)。例えば、操作は、選択されたテキストをクリップボードにコピーすること、選択されたテキストをカットすること(例えば、選択されたテキストをクリップボードにコピーし、同時にテキストを削除すること)、選択されたテキストをクリップボードの内容で置換すること(例えば、ペースト)、及び/又は選択されたテキストの1つ以上のフォント特性(例えば、サイズ、フォント、太字、斜体、下線、取消線など)を変更することを含む。
選択されたテキストに関連する機能を(例えば、選択されたテキストに対して又は選択されたテキストを用いて特定の機能を実行するための選択可能オプションを有するユーザインタフェースを表示することにより)提供する上述の方法により、電子デバイスは、(例えば、選択されたテキストを選択した後に、選択されたテキストに対して1つ以上の機能を実行するためのそれぞれ1つ以上の選択可能オプションを表示することにより)選択されたテキストと対話するためのオプションをユーザに提供することが可能となる。これは、(例えば、同じ機能を実行するために追加の入力を実行するか、又は別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、選択されたテキストに対して実行する機能をユーザに自動的に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を選択するプロセスは、図8Gのように、ユーザ入力のリフトオフを検出する前に、第1の編集可能テキスト文字列の複数のテキスト文字を選択することを含む(948)(例えば、ユーザ入力のリフトオフの前に複数のテキスト文字の選択を実行又は遂行する)。いくつかの実施形態では、選択は、ジェスチャを受信している間に実行される。いくつかの実施形態では、第1の編集可能テキスト文字列の複数のテキスト文字を削除するプロセスは、図8Rのように、ユーザ入力のリフトオフを検出した後に、第1の編集可能テキスト文字列の複数のテキスト文字を削除することを含む(950)(例えば、ユーザ入力のリフトオフを検出した後に、複数のテキスト文字の削除を実行又は遂行する)。
テキストを(例えば、リフトオフを検出する前に選択機能を実行するが、リフトオフを検出した後に削除機能を実行することにより)選択及び削除する上述の方法により、電子デバイスは、(例えば、選択ジェスチャを受信している間に選択を実行するが、ユーザが削除し必要に応じてその削除を取り消すことを希望するテキストを確認する機会をユーザが有した後に削除を実行することにより)適切な時に選択又は削除を実行することが可能となる。これは、(例えば、選択が削除よりも妨げにならないため、削除を実行する前に削除を確認する機会をユーザに提供するが、ユーザが選択ジェスチャを実行しているときに内容を選択することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、複数のテキスト文字を削除するプロセス及び複数のテキスト文字を選択するプロセスのそれぞれのプロセスを開始した後、ユーザ入力のリフトオフを検出する前に、図8Yのように、電子デバイスは、タッチ感知ディスプレイを介して、追加の手書き入力を受信する(952)(例えば、削除ジェスチャを受信し、そのジェスチャを削除として認識した後、更なる手書き入力を受信する)。いくつかの実施形態では、更なる手書き入力は、より多くの文字を削除するための削除ジェスチャの継続である。いくつかの実施形態では、更なる手書き入力は、削除ジェスチャではない。いくつかの実施形態では、更なる手書き入力は、選択ジェスチャである。
いくつかの実施形態では、追加の手書き入力を受信したことに応じて、図8Zのように、電子デバイスは、追加の手書き入力が1つ以上の第1の基準又は1つ以上の第2の基準を満たすかどうかとは無関係に、追加の手書き入力に基づいてそれぞれのプロセスを実行し続ける(954)(例えば、追加の手書き入力が選択ジェスチャ又は任意の他のジェスチャであるにもかかわらず、手書き入力の全体を削除コマンドとして解釈する)。いくつかの実施形態では、ユーザが異なるタイプのジェスチャに切り替わったことを無視し、ユーザが削除を要求しているかのように継続する。いくつかの実施形態では、追加の手書き入力が向けられているテキストもまた、最初の手書き入力によって削除のためにマークされたテキストと共に削除される。いくつかの実施形態では、上述の同じプロセスは、手書き入力が選択ジェスチャとして開始され、削除ジェスチャなどの異なるジェスチャになるときに適用される(例えば、追加の入力が削除ジェスチャであるにもかかわらず選択を実行し続ける)。
テキストを(例えば、手書き入力が選択又は削除ジェスチャとして開始される場合にそれぞれ選択機能又は削除機能を実行することにより)選択及び削除する上述の方法により、電子デバイスは、(例えば、入力ジェスチャが初期ジェスチャからどのように進行するかとは無関係に、特定の機能にコミットすることにより)実行されている機能に関する確実性をユーザに提供することが可能となる。これは、(例えば、ユーザがジェスチャを開始することを可能にし、その後、更なる入力が初期ジェスチャから逸脱したとしても、初期機能を実行するために更なる入力を受け入れることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、複数のテキスト文字を削除するプロセス及び複数のテキスト文字を選択するプロセスのそれぞれのプロセスを開始した後、ユーザ入力のリフトオフを検出する前に、図8Yのように、電子デバイスは、タッチ感知ディスプレイを介して、追加の手書き入力を受信する(956)(例えば、削除ジェスチャ又は選択ジェスチャを受信し、そのジェスチャを削除又は選択としてそれぞれ認識した後、更なる手書き入力を受信する)。いくつかの実施形態では、更なる手書き入力は、同じジェスチャの継続である。いくつかの実施形態では、更なる手書き入力は、異なるジェスチャである。例えば、手書き入力は選択ジェスチャとして開始した後に削除ジェスチャになるか、又は手書き入力は削除ジェスチャとして開始し選択ジェスチャになる。
いくつかの実施形態では、追加の手書き入力を受信したことに応じて(958)、追加の手書き入力が1つ以上の第1のそれぞれの基準を満たすとの判定に従って、図8Zのように、電子デバイスは、手書き入力及び追加の手書き入力に基づいて選択プロセスを実行する(960)(例えば、手書き入力の全体(例えば、初期の手書き入力及び追加の手書き入力の両方)にわたって選択機能を実行する)。いくつかの実施形態では、第1の基準は、追加の手書き入力が特定の閾値(例えば、閾値数の文字(例えば、3文字、5文字、1語、2語など)にわたるか、又は閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)の間)の選択ジェスチャである場合に満たされる。いくつかの実施形態では、第1の基準は、追加の手書き入力が、手書き入力の全体の大部分(例えば、初期の手書き入力及び追加の手書き入力)を、削除ジェスチャではなく選択ジェスチャとする(例えば、追加の手書き入力が手書き入力全体の大部分を選択ジェスチャとするか、又は追加の手書き入力が手書きの大部分をもはや選択ジェスチャではないとしない)場合に満たされる。
いくつかの実施形態では、追加の手書き入力を受信したことに応じて(958)、追加の手書き入力が1つ以上の第2のそれぞれの基準を満たすとの判定に従って、図8HHのように、電子デバイスは、手書き入力及び追加の手書き入力に基づいて削除プロセスを実行する(962)(例えば、手書き入力の全体(例えば、初期の手書き入力及び追加の手書き入力の両方)にわたって削除機能を実行する。いくつかの実施形態では、第2の基準は、追加の手書き入力が特定の閾値(例えば、閾値数の文字(例えば、3文字、5文字、1語、2語など)にわたるか、又は閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)の間)の削除ジェスチャである場合に満たされる。いくつかの実施形態では、第2の基準は、追加の手書き入力が、手書き入力の全体の大部分(例えば、初期の手書き入力及び追加の手書き入力)を、選択ジェスチャではなく削除ジェスチャとする(例えば、追加の手書き入力が手書き入力全体の大部分を削除ジェスチャとするか、又は追加の手書き入力が手書きの大部分をもはや削除ジェスチャではないとしない)場合に満たされる。
テキストを(例えば、手書き入力の全体が第1の基準を満たす場合に選択機能を実行し、手書き入力の全体が第2の基準を満たす場合に削除機能を実行することにより)選択及び削除する上述の方法により、電子デバイスは、(例えば、ユーザが削除又は選択オプションを実行することを要求しているかどうかを判定する際に、手書き入力を全体として解釈することにより)その場で実行される機能を変更する能力をユーザに提供することが可能となる。これは、(例えば、ユーザが特定のジェスチャで開始し、ユーザが自分の意思を変更した場合に別のジェスチャに切り替えることを可能にし、ユーザがユーザのジェスチャに基づいて要求している機能を実行することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図8Cのように、手書き入力が第1の編集可能テキスト文字列の方向に沿って第1の編集可能テキスト文字列の複数のテキスト文字を通る取消線を引くときに1つ以上の第1の基準は、満たされる(964)(例えば、手書き入力は、手書き入力がテキストを通る取消線を引いている場合にテキストを選択せよとの要求として解釈される)。いくつかの実施形態では、水平(又は実質的に水平)な手書き入力がテキストを横断する場合、手書き入力は、横断されたテキストを選択せよとの要求として解釈される。
いくつかの実施形態では、図8Qのように、1つ以上の第2の基準は、手書き入力が、第1の編集可能テキスト文字列の方向に垂直な方向に沿って第1の編集可能テキスト文字列の複数のテキスト文字をクロスアウトするときに満たされる(966)(例えば、手書き入力は、手書き入力がテキストの方向に垂直な上下運動(複数の文字及び/又は単語を横断する副次的な横方向の動きを含む)でテキストを横断する場合にテキストを削除せよとの要求として解釈される。いくつかの実施形態では、第1の基準が満たされた場合、第2の基準は満たされず、逆もまた同様である。いくつかの実施形態では、システムは、選択コマンド又は削除コマンドの一方を実行するが、両方ではない。
テキストを(例えば、手書き入力が複数のテキスト文字を通る取消線を引く場合に選択機能を実行し、手書き入力が複数のテキスト文字を垂直に横断する場合に削除機能を実行することにより)選択及び削除する上述の方法により、電子デバイスは、(例えば、手書き入力によって実行されるジェスチャに基づいて手書き入力を選択又は削除として解釈することにより)同じ入力デバイスを使用してテキストを選択又は削除する能力をユーザに提供することが可能となる。これは、(例えば、選択又は削除機能を有効化又は無効化するために別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、手書き入力の特性に基づいて手書き入力を選択要求又は削除要求として解釈することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図8Gのように、1つ以上の第1の基準は、手書き入力が第1の編集可能テキスト文字列の複数のテキスト文字を下線を引いたときに満たされる(968)(例えば、手書き入力は、手書き入力がテキストに下線を引いた場合にテキストを選択せよとの要求として解釈される)。いくつかの実施形態では、図8Qのように、1つ以上の第2の基準は、手書き入力が第1の編集可能テキスト文字列の複数のテキスト文字をクロスアウトしたときに満たされる(970)(例えば、手書き入力は、手書き入力がテキストの方向に垂直な上下運動(複数の文字及び/又は単語を横断する副次的な横方向の動きを含む)でテキストを横断する場合にテキストを削除せよとの要求として解釈される)。いくつかの実施形態では、水平(又は実質的に水平)な手書き入力がテキストの下を通過する場合、手書き入力は、下線付きテキストを選択せよとの要求として解釈される。いくつかの実施形態では、第1の基準が満たされた場合、第2の基準は満たされず、逆もまた同様である。いくつかの実施形態では、システムは、選択コマンド又は削除コマンドの一方を実行するが、両方ではない。
テキストを(例えば、手書き入力が複数のテキスト文字に下線を引く場合に選択機能を実行し、手書き入力が複数のテキスト文字を垂直に横断する場合に削除機能を実行することにより)選択及び削除する方法により、電子デバイスは、(例えば、手書き入力によって実行されるジェスチャに基づいて手書き入力を選択又は削除として解釈することにより)同じ入力デバイスを使用してテキストを選択又は削除する能力をユーザに提供することが可能となる。これは、(例えば、選択又は削除機能を有効化又は無効化するために別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、手書き入力の特性に基づいて手書き入力を選択要求又は削除要求として解釈することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図8Gのように、手書き入力は、第1の編集可能テキスト文字列の複数のテキスト文字をトラバースする(972)(例えば、手書き入力が文字と相互作用している。いくつかの実施形態では、手書き入力は、1つ以上の単語の1つ以上の文字を通過するか、又はそれを横断する)。いくつかの実施形態では、図8Gのように、1つ以上の第1の基準は、複数のテキスト文字をクロスアウトする入力に手書き入力が対応する確率が、確率閾値未満であるとの判定に従って満たされる(974)(例えば、手書き入力の特性がテキストを削除せよとの要求として解釈されるのに必要な基準を満たさない場合、手書き入力はテキストを選択せよとの要求として解釈される)。いくつかの実施形態では、システムは、削除入力ではなく選択入力として、不確定なジェスチャを解釈するようにバイアスされる。いくつかの実施形態では、手書き入力が単語の文字のサブセットと相互作用する場合、単語全体が選択される。いくつかの実施形態では、手書き入力が単語の文字のサブセットと相互作用する場合、文字のサブセットのみが選択される。
いくつかの実施形態では、図8Qのように、1つ以上の第2の基準は、複数のテキスト文字をクロスアウトする入力に手書き入力が対応する確率が確率閾値よりも大きいとの判定に従って満たされる(976)(例えば、手書き入力は、手書き入力の特性が少なくとも特定の信頼度又は確率閾値(例えば、ジェスチャがテキストを削除せよとの要求に対応する確率が75%、80%、90%)でテキストを削除する要求として、手書きテキストを解釈するために必要とされる基準に一致するように解釈される場合に、テキストを削除せよとの要求として解釈される)。いくつかの実施形態では、第1の基準が満たされた場合、第2の基準は満たされず、逆もまた同様である。いくつかの実施形態では、システムは、選択コマンド又は削除コマンドの一方を実行するが、両方ではない。
テキストを(例えば、削除基準を満たさない仕方で手書き入力が複数のテキスト文字と相互作用する場合に選択機能を実行し、削除基準を満たす仕方で手書き入力がテキスト文字と相互作用する場合に削除機能を実行することにより)選択及び削除する上述の方法により、電子デバイスは、(例えば、手書き入力がテキストを削除せよとの要求であることの信頼度が特定の閾値レベルよりも高くなければ、その手書き入力を選択として解釈することにより)同じ入力デバイスを使用してテキストを選択又は削除する能力をユーザに提供することが可能となる。これは、(例えば、選択又は削除機能を有効化又は無効化するために別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、手書き入力を選択として解釈することをデフォルトとすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図8Gのように、1つ以上の第1の基準は、手書き入力が、第1の編集可能テキスト文字列の複数のテキスト文字上でのダブルタップを含むときに満たされる(978)(例えば、手書き入力は、入力がそれぞれの単語上で、素早い連続(例えば、0.2秒以内、0.5秒以内、0.7秒以内、1秒以内など)の2つのタップ入力を含む場合、テキストを選択せよとの要求として解釈される)。いくつかの実施形態では、単語をダブルタップすると、(例えば、単語の特定の文字のみではなく)単語全体が選択される。
いくつかの実施形態では、図8Qのように、1つ以上の第2の基準は、手書き入力が、第1の編集可能テキスト文字列の複数のテキスト文字のうちの2つ以上を横断するときに満たされる(980)(例えば、手書き入力は、手書き入力がテキストの方向に垂直な上下運動(複数の文字及び/又は単語を横断する副次的な横方向の動きを含む)でテキストを横断する場合に、テキストを削除せよとの要求として解釈される)。いくつかの実施形態では、第1の基準が満たされた場合、第2の基準は満たされず、逆もまた同様である。いくつかの実施形態では、システムは、選択コマンド又は削除コマンドの一方を実行するが、両方ではない。
テキストを(例えば、手書き入力が単語上でダブルタップする場合に選択機能を実行し、手書き入力が複数のテキスト文字を垂直に横断する場合に削除機能を実行することにより)選択及び削除する上述の方法により、電子デバイスは、(例えば、手書き入力によって実行されるジェスチャに基づいて手書き入力を選択又は削除として解釈することにより)同じ入力デバイスを選択又は削除テキストのいずれかに使用する能力をユーザに提供することが可能となる。これは、(例えば、選択又は削除機能を有効化又は無効化するために別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、手書き入力の特性に基づいて手書き入力を選択要求又は削除要求として解釈することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図8Gのように、1つ以上の第1の基準は、手書き入力が、第1の編集可能テキスト文字列の複数のテキスト文字の少なくとも一部を包囲する閉じた(又は実質的に閉じた)形状で移動するときに満たされる(982)(例えば、手書き入力は、入力が単語を取り囲むジェスチャを含む場合にテキストを選択せよとの要求として解釈される)。いくつかの実施形態では、ジェスチャが単語の文字のサブセットのみを取り囲む場合、単語全体が選択される。いくつかの実施形態では、ジェスチャが単語の文字のサブセットのみを取り囲む場合、取り囲むことによって捕捉される文字のみが選択される。
いくつかの実施形態では、図8Qのように、1つ以上の第2の基準は、手書き入力が、第1の編集可能テキスト文字列の複数のテキスト文字のうちの2つ以上を横断するときに満たされる(984)(例えば、手書き入力は、手書き入力がテキストの方向に垂直な上下運動(複数の文字及び/又は単語を横断する副次的な横方向の動きを含む)でテキストを横断する場合にテキストを削除せよとの要求として解釈される)。いくつかの実施形態では、第1の基準が満たされた場合、第2の基準は満たされず、逆もまた同様である。いくつかの実施形態では、システムは、選択コマンド又は削除コマンドを実行し、両方とも実行しない。
テキストを(例えば、手書き入力が複数のテキスト文字を取り囲む場合に選択機能を実行し、手書き入力が複数のテキスト文字を垂直に横断する場合に削除機能を実行することにより)選択及び削除する方法により、電子デバイスは、(例えば、手書き入力によって実行されるジェスチャに基づいて手書き入力を選択又は削除として解釈することにより)同じ入力デバイスを使用してテキストを選択又は削除する能力をユーザに提供することが可能となる。これは、(例えば、選択又は削除機能を有効化又は無効化するために別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、手書き入力の特性に基づいて手書き入力を選択要求又は削除要求として解釈することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図8LLのように、第1の編集可能テキスト文字列内の複数のテキスト文字が選択されている間に(例えば、複数のテキスト文字が強調表示されている間に)、デバイスは、タッチ感知ディスプレイを介して、手書き入力を含むユーザ入力をじゅしんする(986)(例えば、手書き入力は、第1の編集可能テキスト文字列の複数のテキスト文字に対応する位置に1つ以上の手書き文字を書き込む)。いくつかの実施形態では、手書き入力は、第1の編集可能テキスト文字列の複数のテキスト文字と少なくとも部分的に重畳し(例えば、10%重畳、20%重畳、50%重畳、75%重畳など)、又は第1の編集可能テキスト文字列の複数のテキスト文字の閾値距離内(例えば、第1の編集可能テキスト文字列の複数のテキスト文字の0.25cm以内、0.5cm以内、1cm以内、3cm以内、5cm以内など)にある。いくつかの実施形態では、手書き入力は、第1の編集可能テキスト文字列の複数のテキスト文字と重畳する必要はない。いくつかの実施形態では、手書き入力は、第1の編集可能テキスト文字列の複数のテキスト文字の閾値距離内にある必要はない。
いくつかの実施形態では、ユーザ入力を受信したことに応じて(988)、デバイスは、図8MMにおける単語「got」による単語「woke」の置換のように、第1の編集可能テキスト文字列内の複数のテキスト文字を、手書き入力に対応するそれぞれの編集可能テキストに置換する(990)(例えば、第1の編集可能テキスト文字列の複数のテキスト文字を削除し、手書き入力に対応するテキスト(例えば、フォントベースのテキスト)でそれを置換する)。
いくつかの実施形態では、手書き入力は、方法700、1100、1300、1500、1600、1800、及び/又は2000に関して上述したフォントベースのテキストに変換される。いくつかの実施形態では、手書き入力を受信している間に、デバイスは、方法700、1100、1300、1500、1600、1800、及び/又は2000に関して上述したように、手書き入力をフォントベースのテキストに変換する前に、手書き入力の表現を(例えば、第1の編集可能テキスト文字列のそれぞれの部分と同時に)表示する。いくつかの実施形態では、第1の編集可能テキスト文字列のそれぞれの部分は、手書き入力がフォントベースのテキストに変換されるのと同時に、又は変換された後に、手書き入力に対応するフォントベースのテキストで置換される。いくつかの実施形態では、新たに挿入されるテキストは選択される(例えば、強調表示される)。いくつかの実施形態では、新たに挿入されるテキストは選択されない(例えば、強調表示されない)。いくつかの実施形態では、置換されるテキストのすぐ左及び右の文字を再配置して、新たに挿入されるテキストのためのスペースを設ける(例えば、それぞれの量の文字スペースを設ける)。いくつかの実施形態では、手書き入力が、第1の編集可能テキスト文字列のそれぞれの部分に対応する位置に向けられていない(例えば、重畳及び/又は閾値距離の基準を満たさない)場合、電子デバイスは、手書き入力に対応するフォントベースのテキストで編集可能テキスト文字列のそれぞれの部分を置換しない。そのような実施形態では、電子デバイスは、任意選択的に、方法700、1100、1300、1500、1600、1800、及び/又は2000に記載されるように手書き入力に応答する(例えば、それぞれの位置に手書き入力を挿入し、フォントベースのテキストに変換する)。
テキストを(例えば、選択されたテキストにおいて、又はその近くで手書きユーザ入力を受け取ることにより)置換する上述の方法は、手書き入力を使用してテキストを置換する素早く効率的な方法を提供することにより、(例えば、新しい文字を挿入する前に不要な文字を削除する追加入力を実行することをユーザに必要とすることなく、ユーザが、置換される文字を選択し、選択された文字を新たに書き込まれた文字で置換するように文字を直接に書き込むことが可能となることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図9A~図9Gにおける動作について記載された特定の順序は単なる例示であり、記載された順序は動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、1100、1300、1500、1600、1800、2000、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図9A~図9Gに関して上述した方法900にも、類似の様式で適用可能であることに留意されたい。例えば、方法900を参照して上述したスタイラスを使用したテキストの選択及び削除は、本明細書に記載される他の方法(例えば、方法700、1100、1300、1500、1600、1800、2000、及び2200)に関して本明細書に記載される手書き入力の受け入れ及び/又は変換、手書き入力を既存のテキストに挿入すること、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力メニューを提示すること、手書き入力の特性を制御すること、自動補完提案を提示すること、手書き入力をフォントベースのテキストに変換すること、コンテンツ入力パレット内にオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図9A~図9Gを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作902、926、934、938、942、及び946、受信する動作904、914、952、956、及び986、並びに開始する動作908、910は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
スタイラスを使用してテキストを挿入する
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。いくつかの実施形態では、電子デバイスは、テキストフィールド又はテキスト領域内にテキストを表示する。以下で説明する実施形態は、電子デバイスが、手書き入力デバイス(例えば、スタイラス)を使用して既存のテキストにテキストを挿入する方法を提供する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図10A~図10SSSは、電子デバイスが既存のテキストに手書き入力を挿入する例示的な方法を示す。これらの図中の実施形態は、図11A~図11Mを参照して説明するプロセスを含め、以下で説明するプロセスを例示するために使用される。
図10Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図10Aで、デバイス500は、メモ帳アプリケーションに対応するユーザインタフェース1000を表示している。いくつかの実施形態では、ユーザインタフェース1000は、ユーザがテキストの複数の行を入力することができるテキスト入力領域1002を含む。いくつかの実施形態では、テキスト入力領域1002は、1つ以上の既存のテキスト1004を含む。いくつかの実施形態では、既存のテキスト1004は、以前に手書き入力として入力され、フォントベースのテキストに変換された。いくつかの実施形態では、既存のテキスト1004は、ソフトキーボードを使用して(例えば、ユーザ又は別のユーザによってこのデバイス又は別のデバイス上に)入力された。
図10Bで、タッチスクリーン504上のスタイラス203からユーザ入力が検出される。いくつかの実施形態では、ユーザ入力は、タッチスクリーン504上のタップ又は長押しである。いくつかの実施形態では、ユーザ入力は、既存のテキスト1004内のそれぞれの位置で受信される。いくつかの実施形態では、説明を容易にするために、図10Bに示すように、既存のテキスト1004は第1の部分1004-1及び第2の部分1004-2と称される。したがって、いくつかの実施形態では、第1の部分1004-1と第2の部分1004-2との間の位置で検出されたユーザ入力は、テキストの第1の部分と第2の部分との間にテキストを挿入せよとの要求に対応する。
いくつかの実施形態では、ユーザ入力に応じて、図10Cに示すように、テキストの第1の部分と第2の部分との間にスペースが作成される。いくつかの実施形態では、第1の部分1004-1は左方向に移動され、第2の部分1004-2は右方向に移動されるか、又は両方の組合せで移動される。いくつかの実施形態では、テキストの第1の部分と第2の部分との間に作成されるスペースは、ユーザがスタイラス203を使用して手書きテキストを入力するためのスペースを提供する。
図10Dで、手書きユーザ入力1006-1が、テキストの第1の部分と第2の部分(それぞれ、1004-1及び1004-2)との間に作成されたスペース内で受信される。いくつかの実施形態では、図6及び図8に関して上述した方法と同様に、手書き入力の軌跡がディスプレイ上に表示される。図10Eで、手書き入力のリフトオフが検出される(例えば、タッチスクリーン504からのスタイラス203のリフトオフ)。いくつかの実施形態では、スタイラス203のリフトオフに応じて、又はスタイラス203のリフトオフの後に、図10Fに示すように、手書き入力1006-1が、(例えば、方法700及び方法1300に関して論じられた変換プロセスに従って)フォントベースのテキストに変換される。いくつかの実施形態では、手書き入力1006-1がフォントベースのテキストに変換された後、又はフォントベースのテキストへの変換と同時に、余分なスペースを除去するために、テキストの第1の部分1004-1、テキストの第2の部分1004-2、及び変換された手書き入力1006-1の間の余分なスペースが、テキストの第1の部分1004-1、テキストの第2の部分1004-2、変換された手書き入力1006-1、又はこれらの任意の組合せを移動させることによって除去される。
図10Gで、特殊な予約されたジェスチャ、記号、又は文字を実行する手書きユーザ入力1010が受信される。例えば、図10Gに示すように、手書きユーザ入力1010は、「v」文字又はカレット文字に対応する。いくつかの実施形態では、「v」文字又はカレット文字は、テキストの部分間にテキストを挿入するためにスペースを作成する要求を示す予約されたキーワード文字である。したがって、特殊予約ジェスチャに対応する手書きユーザ入力1010を受信したことに応じて、図10Hに示すように、テキストの第1の部分1008-1(例えば、キーワード文字の前のテキストの部分)とテキストの第2の部分1008-2(例えば、キーワード文字の後のテキストの部分)との間にスペースが作成される。
図10Iで、テキストの第1の部分1008-1とテキストの第2の部分1008-2との間のスペース内で、手書きユーザ入力1006-2が受信される。図10Jで、ユーザは、テキストの第1の部分1008-1とテキストの第2の部分1008-2との間のスペース内で手書きユーザ入力1006-2を継続する。いくつかの実施形態では、ユーザが手書き入力を提供すると、テキストの第1の部分と第2の部分との間のスペースは、拡大し続けて、手書き入力のためのスペースを提供し続ける。したがって、例えば、図10Jに示すように、テキストの第2の部分1008-2は、(例えば、図10Iと比較して)更に遠く右方向に移動される。図10Kで、ユーザは更に、テキストの第1の部分1008-1とテキストの第2の部分1008-2との間のスペース内で、手書きユーザ入力1006を更に継続する。いくつかの実施形態では、テキストの第2の部分1008-2は、(例えば、テキストがユーザインタフェースの終端又はディスプレイの終端に到達しているため)、それ以上右方向に移動することができない。いくつかの実施形態では、結果として、図10Kに示すように、テキストの第2の部分1008-2は、現在のテキスト行の下の行に移動される。いくつかの実施形態では、テキストの第2の部分1008-2は、テキストの第2の行上で左側に整列される。いくつかの実施形態では、テキストの第2の部分1008-2は、左側に整列されず、スペースが、第2の行上の手書き入力用に提供される。いくつかの実施形態では、テキストの第2の部分1008-2は、新規行が作成される前に、テキストの第2の部分1008-2の元の又は以前の横方向位置と整列される。
図10Lで、テキストの第2の部分1008-2の前のテキストの第2の行で、手書きユーザ入力1006-3が受信される。いくつかの実施形態では、図10M~図10Oに示すように、システムは、テキスト間の余分なスペースを閉じない。例えば、図10Mで、スタイラス203のリフトオフが検出される。いくつかの実施形態では、スタイラス203のリフトオフを検出したことに応じて、タイマ1001が上向きのカウントを開始する。いくつかの実施形態では、タイマ1001が閾値時間(例えば、0.5秒、1秒、2秒、3秒、5秒)に達すると、手書き入力はフォントベースのテキストに変換され、テキスト間の余分なスペースが縮小又は削除される。図10Nで、タイマは上向きのカウントを継続するが、(例えば、点線で示すように)閾値時間に達していないため、手書き入力はまだ変換されていない。図10Oで、閾値時間に達し、手書き入力1006-3はフォントベースのテキストに変換され、テキスト間の余分なスペースが縮小又は除去される。いくつかの実施形態では、手書き入力1006-3は、余分なスペースが除去される前又は除去されるのと同時に変換される。いくつかの実施形態では、手書き入力1006-3を変換する時間は、余分なスペースを除去又は縮小する時間(例えば、任意選択的に、1秒、2秒、3秒、5秒、8秒などの、より長いタイマ)とは異なるタイマ上にある。したがって、いくつかの実施形態では、余分なスペースの除去は、変換と同時に行われ、いくつかの実施形態では、余分なスペースの除去は、変換とは異なる時間(例えば、前又は後)に行われることが理解される。
図10P~図10Rは、手書き入力を受信するために既存のテキストにスペースを挿入する例示的な代替方法を示す。図10Pで、ユーザ入力は、テキストの第1の部分1012-1とテキストの第2の部分1012-2との間のスペースで受信される(例えば、タップ、長押しなど)。いくつかの実施形態では、ユーザ入力に応じて、図10Qに示すように、ポップアップ1014が表示される。いくつかの実施形態では、ポップアップ1014は、既存のテキストと対話するための1つ以上の機能に対応する1つ以上の選択可能オプションを含む。いくつかの実施形態では、ポップアップ1014は、テキストを挿入するためにテキストの第1の部分1012-1とテキストの第2の部分1012-2との間にスペースを作成するための選択可能オプションを含む。図10Qで、ユーザ入力は、テキストを挿入するための選択可能オプションを選択するスタイラス203から受信される。いくつかの実施形態では、ユーザ入力に応じて、図10Rに示すように、テキストの第1の部分1012-1とテキストの第2の部分1012-2との間にスペースが作成される。いくつかの実施形態では、上述のように、テキストの第1の部分と第2の部分との間にスペースを作成することは、テキストの第1の部分を左方向に移動させること、テキストの右側の第2の部分を移動させること、又はその2つの組合せを含む。
図10Sで、ユーザ入力は、テキストの第1の部分と第2の部分との間の作成されたスペース内で、予約されたキーワード文字(例えば、図10Gに関して上述した予約されたキーワード文字と同様の「v」又はカレット文字)を実行するスタイラス203から受信される。いくつかの実施形態では、ユーザ入力を受信したことに応じて、図10Tに示すように、テキストの第1の部分と第2の部分との間のスペースは、ユーザ入力のための更なるスペースを提供するために更に拡大される。図10Uで、テキストの第1の部分1012-1とテキストの第2の部分1012-2との間のスペース内で、手書き入力1006-4が受信される。
図10Vで、更なる手書き入力1006-5が、手書き入力1006-5の下のスペース内で受信される。いくつかの実施形態では、手書き入力1006-5は、新規のテキスト行を挿入せよとの要求として解釈される。したがって、いくつかの実施形態では、現在のテキスト行又は前の手書き入力(例えば、1006-4)の閾値距離(例えば、1mm、3mm、5mm、1cm、2cmなど)だけ下で受信される手書き入力1006-5は、新規のテキスト行を挿入せよとの要求と見なされる。いくつかの実施形態では、図10Wに示すように、手書き入力1006-5に応じて、新規のテキスト行が挿入される。いくつかの実施形態では、新規のテキスト行を挿入することは、テキストの第2の部分を現在のテキスト行の下の行に移動させることを含む。いくつかの実施形態では、新規のテキスト行を挿入することは、現在のテキスト行に、又はテキストの第2の部分1012-2の最初に改行文字を挿入することを含む。
図10Xで、ユーザは、手書き入力1006-5を提供し続ける。いくつかの実施形態では、手書き入力1006-5が、行の終端(例えば、テキスト領域の終端又はユーザインタフェースの終端)に到達した場合、テキストの第2の部分1012-2は、次の行に更に移動されて、手書き入力のためのスペースを作成する。いくつかの実施形態では、手書き入力1006-5が行の終端に到達するか、又は近づいている場合、ポップアップ1014が、新規のテキスト行を挿入するために選択可能な選択可能オプションと共に表示される。いくつかの実施形態では、スタイラス203のリフトオフを検出した後(例えば、任意選択的に、特定の時間閾値が経過した後)、図10Yに示すように、手書き入力は、フォントベースのテキストに変換される。いくつかの実施形態では、手書き入力がフォントベースのテキストに変換されるのと同時に、又はその後に、図10Yに示すように、テキストの第1の部分及び第2の部分は、単語間の余分なスペースが除去されるように再整列される。
図10Zで、タッチスクリーン504上のスタイラス203によるタッチダウンが検出される。いくつかの実施形態では、スタイラス203によるタッチダウンは、タッチスクリーン504上のタップ又は長押し入力である。いくつかの実施形態では、スタイラス203によるタッチダウンは、手書き入力の開始である。例えば、図10AAに示すように、ユーザは、テキストの第1の部分1016-1とテキストの第2の部分1016-2との間の位置で手書き入力1006-6を実行し始める。いくつかの実施形態では、手書き入力1006-6に応じて、図10AAに示すように、テキストの第1の部分1016-1とテキストの第2の部分1016-2との間にスペースが作成される。したがって、いくつかの実施形態では、ユーザは、それぞれの位置でタッチダウンし、スペースが生成されるのを待つことによって、既存のテキスト間にスペースを挿入し、タッチスクリーンとの接触をリフトオフすることなく手書き入力を開始することができ、あるいは、ユーザは、それぞれの位置でタッチダウンし、リフトオフすることなく(例えば、タッチダウンがユーザの手書き入力の開始である)、及びスペースが作成されるの待たずに(例えば、応答して適切なスペースが作成される)、手書き入力を開始することができる。
図10BBで、ユーザ入力は、前の手書き入力1006-6の下の行で受信される。いくつかの実施形態では、ユーザ入力はタップ又は長押しである。いくつかの実施形態では、前の手書き入力1006-6の閾値距離(例えば、3mm、5mm、1cm、2cm)だけ下で受信されるユーザ入力は、新規のテキスト行を挿入せよとの要求と見なされる。いくつかの実施形態では、ユーザ入力に応じて、図10CCに示すように、新規のテキスト行が手書き入力1006-6の後ろに挿入される(例えば、テキストの第2の部分1016-2を次の行に効果的に押す)。
図10DDで、ユーザは、前のテキスト行で手書き入力1006-6を継続する。いくつかの実施形態では、挿入された行(例えば、改行)は、ユーザが前の行で手書きに戻るときには除去されない。図10EEで、スタイラス203のタップ(例えば、長押し)が、テキストの第2の部分1016-2の最初で検出される。いくつかの実施形態では、ユーザ入力に応じて、テキストの第2の部分1016-2の前に挿入された改行を除去するために選択可能なポップアップ1018が表示される。いくつかの実施形態では、ユーザがユーザの手書き入力1006-6の終わりにタップ(又は長押し)をする場合にもポップアップ1018が表示される。換言すれば、改行前の最後の単語の終端におけるタップ、及び改行後の第1の単語の最初におけるタップは、任意選択的に、改行を除去するために選択可能なポップアップ1018の表示を引き起こす。いくつかの実施形態では、図10GGに示すように、ポップアップ1018を選択するユーザ入力を受信したことに応じて、手書き入力1006-6とテキストの第2の部分1016-2との間の改行は除去される。
図10HHで、手書き入力1006-6とテキストの第2の部分1016-2との間に新規行(例えば、改行)を挿入するためにポップアップ1014が表示される。いくつかの実施形態では、ポップアップ1014は、手書き入力1006-6とテキストの第2の部分1016-2との間の位置でタップ又は長押し入力に応じて表示される。いくつかの実施形態では、図10IIに示すように、ポップアップ1014の選択は、それぞれの位置に新規行(例えば、改行)を挿入させる。
図10IIで、スタイラス203のタッチダウンが、テキストの第2の部分1016-2の最初で検出される。いくつかの実施形態では、ユーザは、テキストの第2の部分1016-2を前のテキスト行に「ドラッグ」することによって挿入された改行を除去することができる。例えば、図10JJに示すように、タッチスクリーン504からリフトオフすることなく、ユーザ入力は、テキストの第2の部分1016-2を、前のテキスト行へと上方に横断してドラッグする。図10KKで、ユーザはドラッグジェスチャを継続し、テキストの第2の部分1016-2を前のテキスト行まで、テキストの第2の部分1016-2が手書き入力1006-6と整列される点を越えて移動させる。いくつかの実施形態では、図10LLに示すように、ユーザ入力のリフトオフを検出したことに応じて、テキストの第2の部分1016-2は、手書き入力1006-6と「はまる」(例えば、整列する)。図10MMは、(例えば、任意選択的に方法700及び/又は方法1300に従って)フォントベースのテキストに変換されている手書き入力1006-6を示す。
図10MMで、既存のテキストでタッチダウン(例えば、タップ又は長押し)しているユーザ入力が検出される。いくつかの実施形態では、ユーザ入力に応じて、図10NNに示すように、テキスト入力ポップアップ1022が表示される。いくつかの実施形態では、カーソル1024が、挿入されたテキストが現れる位置に(例えば、テキストの第1の部分1020-1とテキストの第2の部分1020-2との間の位置に)現れる。いくつかの実施形態では、カーソルは表示されない。いくつかの実施形態では、テキスト入力ポップアップ1022は、テキスト入力領域を含む。いくつかの実施形態では、テキスト入力領域は、手書き入力を受信し、手書き入力をフォントベースのテキストに変換し、カーソルの位置にフォントベースのテキストを挿入することができる。
図10OOで、手書き入力1006-8が、テキスト入力ポップアップ1022内で受信される。いくつかの実施形態では、手書き入力1006-8の軌跡が、テキスト入力ポップアップ1022内に表示される。いくつかの実施形態では、テキスト入力ポップアップのテキスト入力領域は、図6に記載されているテキスト入力領域と同様の特徴を共有する(例えば、エラーのマージン、許容差、テキスト入力領域の外側で開始又は終了する単語の解釈など)。いくつかの実施形態では、ユーザが手書き入力の入力を完了した後、図10PPに示すように、手書き入力はフォントベースのテキストに変換され、カーソルの位置に挿入される。いくつかの実施形態では、手書き入力は、フォントベースのテキストがカーソルの位置に移動される前に、テキスト入力ポップアップ1022内に依然としてある間に、フォントベースのテキストに変換される。いくつかの実施形態では、手書き入力のフォントベースのテキストへの変換は、挿入と同時に行われる(例えば、手書き入力が表示から除去され、フォントベースのテキストがカーソルの位置に現れる)。
図10QQで、テキスト入力ポップアップ1022内で更なる手書き入力1006-8が受信される。いくつかの実施形態では、手書き入力1006-8がフォントベースのテキストに変換され、カーソルの位置に挿入されると、挿入されたテキストは、テキストが挿入される現在の行の残部をオーバーフローする。したがって、いくつかの実施形態では、挿入されたテキストの一部は前の行にあり、挿入されたテキストの一部は次の行にある。いくつかの実施形態では、2つの行にまたがるテキストを挿入することに応じて、テキスト入力ポップアップ1022の下のユーザインタフェースは上方にスクロールされて、挿入されたテキストのいずれも、テキスト入力ポップアップ1022によって邪魔されないこと、及び/又はテキスト入力ポップアップ1022の位置が移動しないことを保証する。いくつかの実施形態では、2つの行にまたがるテキストを挿入することに応じて、ユーザインタフェースは移動せず、テキスト入力ポップアップ1022は、挿入されたテキストを妨害しないことを保証するために下方に移動される。
図10SSで、選択可能オプションを選択してテキスト入力ポップアップ1022を消去する(例えば、閉じる)ユーザ入力が検出される。いくつかの実施形態では、ユーザ入力に応じて、図10TTに示すように、テキスト入力ポップアップ1022は消去され、もはや表示されない。いくつかの実施形態では、カーソル1024もまた、表示から除去される。
図10UU~図10AAAは、手書き入力の位置に基づいて、手書き入力のテキストへの変換を加速するプロセスを示す。図10UUで、手書き入力1006-9を実行するユーザ入力が受信される。いくつかの実施形態では、手書き入力1006-9は大きく、テキストのいくつかの行を包含する。図10VVで、ユーザは書き込みを継続し、手書き入力1006-10を入力する。いくつかの実施形態では、ユーザがタッチスクリーン504上の閾値位置、又はユーザインタフェース内の位置(例えば、中間点、3/4、2/3など)に達したため、システムは、手書き入力をフォントベースのテキストに、より高速に変換し始める(例えば、手書き入力をフォントベースのテキストに変換するタイミングを制御するタイマを低減する)。いくつかの実施形態では、手書き入力をフォントベースのテキストにより高速に変換することにより、行の最初(例えば、手書き入力がテキストのいくつかの行を包含し、フォントベースのテキストがテキストの1つの行のみを包含する場合)及び行の最後の両方においてユーザのために(例えば、フォントベースのテキストを既存のテキストと整列させ、同時に、テキストのサイズを元の手書きサイズからフォントベースのテキストサイズに縮小してディスプレイ上に追加のスペースを提供することにより)スペースを解放することが可能となる。
例えば、図10WWに示すように、手書き入力1006-9は、任意選択的にフォントベースのテキストに変換されており、これにより、更なる手書き入力のためにディスプレイの左側にスペースを解放する。図10WWで、ユーザは、手書き入力1006-11を書き込む。図10XXで、ユーザは、手書き入力1006-9からフォントベースのテキストへの変換によって解放された位置で書き込みを開始する。いくつかの実施形態では、手書き入力1006-10もフォントベースのテキストに変換されている。図10YYで、手書き入力1006-11は、フォントベースのテキストに変換され、以前に入力されたテキストと整列されている。いくつかの実施形態では、ユーザは、手書き入力1006-13を書き込む。図10YYで、ユーザがユーザインタフェース内の閾値位置(例えば、中間点、3/4、2/3など)を超えてまだ書き込んでいないため、システムは、手書き入力1006-12を加速された速度で変換しない(例えば、システムは、変換前に必要な経過時間を短縮することなく、手書き入力1006-12を変換するためのデフォルトタイマを使用する)。図10ZZで、ユーザは、タッチスクリーン504に接触するスタイラス203をリフトオフする。いくつかの実施形態では、ユーザがスタイラス203をリフトオフすることに応じて(例えば、任意選択的に閾値量の時間後)、図10AAAに示すように、手書き入力1006-12及び手書き入力1006-13は、フォントベースのテキストに変換される。いくつかの実施形態では、変換されたフォントベースのテキストは全て、連続する文を生成するように整列される。
図10BBB~図10IIIは、2つの文字間のスペースを作成する実施形態を示す。図10BBBで、テキスト入力領域1002が1つ以上の既存のテキスト文字1004を含むユーザインタフェース1000を示す。いくつかの実施形態では、説明を容易にするために、図10CCCに示すように、既存のテキスト1004は第1の部分1004-1及び第2の部分1004-2と称される。図10CCCで、第1の部分1004-1と第2の部分1004-2との間のスペース内でタッチダウンしているユーザ入力がスタイラス203からが検出される。図10DDDで、タッチスクリーン504との接触は、閾値量の時間未満保持され、第1の部分1004-1と第2の部分1004-2との間にスペースが作成されない。図10EEEで、ユーザが閾値量の時間(例えば、0.25秒、0.5秒、1秒、3秒、5秒など)タッチスクリーン504との接触を維持したことに応じて、第1の部分1004-1と第2の部分1004-2との間にスペースが作成されて、文字を挿入する追加のスペースをユーザに提供する。図10FFFで、ユーザ入力の終了(例えば、タッチスクリーン504との接触のリフトオフ)が検出される。いくつかの実施形態では、ユーザ入力の終了を検出したことに応じて、第1の部分1004-1と第2の部分1004-2との間のスペースが維持される。いくつかの実施形態では、スペースが(例えば、図10BBBのような)ユーザ入力の前からの間隔につぶれる前に、スペースは閾値量の時間(例えば、0.25秒、0.5秒、1秒、3秒、5秒、10秒など)維持される。2つの文字間にスペースを作成する上述の方法は、フォントベースのテキスト及び手書きテキスト(例えば、フォントベースのテキストに変換されていないテキスト又は描画ツールを使用して挿入され、フォントベースのテキストに変換されることはないが、依然として有効なテキストとして認識されるテキスト)の両方に適用可能であることが理解される。
図10GGGで、第1の部分1004-1と第2の部分1004-2との間に作成されたスペース内で単語「all」を書き込むユーザ入力が、テキスト入力領域1002内のスタイラス203から受信される。いくつかの実施形態では、ユーザ入力が受信されている間に、手書き入力1006-1の表現が、ユーザ入力の位置に表示される。図10HHHで、ユーザ入力の終了(例えば、タッチスクリーン504との接触のリフトオフ)が検出される。いくつかの実施形態では、ユーザ入力の終了を検出したことに応じて、図10IIIに示すように、手書き入力1006-1の表現が分析され、有効な文字が検出され、フォントベースのテキストに変換される。いくつかの実施形態では、手書き文字の検出及びフォントベースのテキストへの変換は、方法700、900、1300、1500、1600、1800、及び2000に関して説明される。いくつかの実施形態では、手書き入力をフォントベースのテキストに変換した後(例えば、任意選択的に、1秒、3秒、5秒、10秒などの入力が受信されない閾値時間後)、又は、手書き入力をフォントベースのテキストに変換することに応じて、図10IIIのように、新たに挿入された文字によって占有されない任意の追加のスペースがつぶれ、文字と単語との間の間隔は元の設定に戻る。したがって、いくつかの実施形態では、デバイス500は、手書き入力を有効な文字として認識し、文字をフォントベースのテキストとして、テキストのそれぞれの行及び/又は文に挿入する(例えば、手書き入力をフォントベースのテキストに変換し、フォントベースのテキストを挿入する)。
図10JJJ~図10MMMは、2つの文字間のスペースを作成及び除去する実施形態を示す。図10JJJで、既存のテキスト1004内の単語「nowhere」の文字「no」と「where」との間の下向きスワイプジェスチャに対応する手書き入力がスタイラス203から受信される。いくつかの実施形態では、手書き入力を受信している間に、下向きスワイプ1030の表現がテキスト入力領域1002内に表示される。いくつかの実施形態では、下向きスワイプ1030の表現は、テキスト入力領域1002内に表示されない。いくつかの実施形態では、手書き入力に応じて、図10KKKに示すように、単語「nowhere」の文字「no」と「where」との間に、ホワイトスペース文字(例えば、単一のスペース)が挿入される。いくつかの実施形態では、複数のホワイトスペース文字が挿入される。
図10LLLで、「no」と「where」との間のホワイトスペース文字上の下向きスワイプジェスチャに対応する手書き入力がスタイラス203から受信される。いくつかの実施形態では、手書き入力を受信している間に、下向きスワイプ1030の表現がテキスト入力領域1002内に表示される。いくつかの実施形態では、下向きスワイプ1030の表現は、テキスト入力領域1002内に表示されない。いくつかの実施形態では、手書き入力に応じて、図10MMMに示すように、「no」と「where」との間のホワイトスペース文字が除去される(例えば、結果として単語「nowhere」となる)。いくつかの実施形態では、デバイス500は、(例えば、複数のホワイトスペース文字が存在する場合)2つの非ホワイトスペース文字間のホワイトスペース文字の数とは無関係に、1つのホワイトスペース文字のみを除去する。いくつかの実施形態では、デバイス500は、(例えば、複数のホワイトスペース文字が存在する場合)2つの非ホワイトスペース文字間の全てのホワイトスペース文字を除去する。したがって、いくつかの実施形態では、2つの隣接する非ホワイトスペース文字間の位置での下向きスワイプジェスチャは、ホワイトスペース文字の挿入を引き起こし、ホワイトスペース文字の位置での下向きスワイプジェスチャは、ホワイトスペース文字の削除を引き起こす。いくつかの実施形態では、上向きスワイプジェスチャもまた、上述の挿入/削除機能を実行する。いくつかの実施形態では、下向き及び/又は上向きスワイプジェスチャは、完全に垂直である必要はない。例えば、垂直から5度ずれ、垂直から10度ずれ、垂直から15度ずれ、垂直から30度ずれなどの下向き又は上向きのスワイプジェスチャは、ホワイトスペース文字を(場合に応じて)挿入又は削除する要求として認識可能である。2つの文字の間のホワイトスペース文字を追加及び除去する上述の方法は、フォントベースのテキスト及び手書きテキスト(例えば、フォントベースのテキストに変換されていないテキスト又は描画ツールを使用して挿入され、フォントベースのテキストに変換されることはないが、依然として有効なテキストとして認識されるテキスト)の両方に適用可能であることが理解される。
図10NNN~図10SSSは、テキスト挿入インジケータの表示を示す。図10NNNで、ユーザ入力が、テキスト入力領域1002内のテキストの第1の部分1004-1と第2の部分1004-2との間のスペース内でタッチダウンしているスタイラス203から検出される(例えば、図10DDDと同様)。図10OOOで、接触は、閾値量の時間(例えば、0.25秒、0.5秒、1秒、3秒、5秒など)維持される。いくつかの実施形態では、接触が閾値量の時間維持されたことに応じて、図10OOOに示すように、第1の部分1004-1と第2の部分1004-2との間にスペースが作成されて、文字を挿入するための追加のスペースをユーザに提供し、テキスト挿入インジケータ1032が、挿入されたスペースの位置に表示される。図10OOOに示すように、第1の部分1004-1と第2の部分1004-2との間に表示され、テキスト挿入インジケータ1032は、ユーザが追加の手書き入力を提供するために挿入されたスペースを表す。いくつかの実施形態では、テキスト挿入インジケータ1032の高さは、手書き入力に十分な高さを提供するために、フォントベースのテキストの高さよりも高い高さを有する。いくつかの実施形態では、テキスト挿入インジケータ1032の高さは、フォントベースのテキストの(例えば、既存のテキスト文字1004の)高さである。図10OOOに示すように、テキスト挿入インジケータ1032は、挿入されたスペースの位置におけるグレーの矩形又はグレーの強調表示である。
いくつかの実施形態では、テキスト挿入インジケータ1032を表示することは、初期幅(例えば、0.5文字幅、1文字幅、2文字幅など)から、第1の部分1004-1の左への移動及び/又は第2の部分1004-2の右への移動のアニメーションと共に挿入されたスペースの最終幅まで、テキスト挿入インジケータ1032を拡大するアニメーションを表示することを含む。例えば、図10OOOで、テキスト挿入インジケータ1032は、第2の部分1004-2が右方向に移動して第1の部分1004-1と第2の部分1004-2との間にスペースを作成し始めるときに、狭い幅で表示される。
図10PPPで、テキスト挿入インジケータ1032のアニメーションは継続し、テキスト挿入インジケータ1032が更に拡大してその最終幅(例えば、挿入されたスペースの幅)に達する。いくつかの実施形態では、第2の部分1004-2は、挿入されたスペースの幅全体を収容するように更に右方向に移動する。
図10QQQで、ユーザ入力の終了(例えば、タッチスクリーン504との接触のリフトオフ)が検出される。いくつかの実施形態では、ユーザ入力の終了を検出したことに応じて、第1の部分1004-1と第2の部分1004-2との間のスペースが維持され、テキスト挿入インジケータ1032の表示が維持される。図10RRRで、手書き入力が、挿入されたスペース内で(例えば、テキスト挿入インジケータ1032の位置で)受信される。いくつかの実施形態では、ユーザ入力が受信されている間に、手書き入力1006-1の表現が、ユーザ入力の位置で(例えば、テキスト挿入インジケータ1032内又はその上で)表示される。図10RRRで、手書き入力は、テキスト挿入インジケータ1032の最後に到達する(例えば、挿入されたスペースの最後に到達し、テキスト挿入インジケータ1032の最後から0.5mm、1mm、3mm、5mm、1cm、3cmの範囲内に到達する)。いくつかの実施形態では、手書き入力がテキスト挿入インジケータ1032の最後に到達することに応じて、図10SSSに示すように、追加のスペースが第1の部分1004-1と第2の部分1004-2との間に挿入され、テキスト挿入インジケータ1032は、追加のスペースの幅を含むように拡大する。いくつかの実施形態では、第2の部分1004-2(又は第2の部分1004-2の一部)は、手書き入力によって変位されることにより、第1の部分1004-1の下の第2の行に移動される。
いくつかの実施形態では、手書き入力の終了時、及び任意選択的に閾値量の時間の後に、手書き入力1006-1の表現は、(例えば、図10IIIで上述したように)フォントベースのテキストに変換される。いくつかの実施形態では、閾値量の時間の後、文字間の間隔は、追加の手書き入力によって消費されなかった追加のスペースを除去するように(例えば、図10IIIで上述したように)つぶれる。いくつかの実施形態では、追加のスペースを除去すると同時に、テキスト挿入インジケータ1032は表示が停止される(例えば、ユーザインタフェース1000内にもはや表示されない)。
上記の実施例は2つの単語の間にテキストを挿入することを説明し例示しているが、上述の例示的な方法に基づいて、同じ単語内の2つの文字間にテキストを挿入すること、又は任意の2つの文字の間にテキストを挿入することも可能であることが理解される。
図11A~図11Mは、既存のテキストに手書き入力を挿入する方法1100を示す流れ図である。方法1100は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、デバイス591などの電子デバイスで実行される。方法1100におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に説明するように、方法1100は、既存のテキストに手書き入力を挿入する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、タッチ感知ディスプレイと通信する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーンを含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、図10Aのように、タッチ感知ディスプレイ上で、第1の文字シーケンスの第1の部分と、第1の文字シーケンスの第2の部分とを含む第1の文字シーケンスを含むテキスト入力ユーザインタフェースを表示する(1102)(例えば、テキスト入力ユーザインタフェース上に表示されるのは、文字シーケンス(例えば、テキスト文字列)を含む編集可能テキストフィールドである)。いくつかの実施形態では、編集可能テキストフィールド内の文字シーケンスは、ユーザによって以前に入力されたか、又はユーザ入力なしに事前に入力された。いくつかの実施形態では、編集可能テキストフィールド内の既存の文字も編集可能である(例えば、文字は削除、修正、移動、追加などすることができる)。いくつかの実施形態では、既存のテキストは、コンピュータテキスト(例えば、フォントベースのテキスト)である。いくつかの実施形態では、既存のテキストは、手書き単語(例えば、フォントベースのテキストに変換されていない手書き入力)である。
いくつかの実施形態では、テキスト入力ユーザインタフェースを表示している間に、図10Bのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間のテキスト入力ユーザインタフェース内でユーザ入力(例えば、第1のテキスト文字列内の2つの単語、2つの文字などの間のスタイラスからの入力)を受信する(1104)。いくつかの実施形態では、入力は、タップ入力、長押し入力、特定の閾値を超える圧力を有する入力、ジェスチャ、又は手書き入力である。
いくつかの実施形態では、ユーザ入力を受信したことに応じて(1106)、ユーザ入力が、手書き入力(例えば、テキスト文字列内の2つの単語又は文字の間でスタイラスを用いたタップ入力は、任意選択的に、2つの単語又は文字の間にそれぞれテキストを入力する要求を示す)を使用して第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間のそれぞれのフォントベースのテキストを入力せよとの要求に対応するとの判定に従って、電子デバイスは、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによって、テキスト入力ユーザインタフェースを更新する(1108)。第1の部分と第2の部分との間のスペースは、図10Cのように、第1の文字シーケンスの第1の部分と第2の部分との間にそれぞれのフォントベースのテキストを挿入するための手書き入力を受信するように構成される(例えば、ユーザが手書き入力を入力することができるスペースを作成するために、テキストの第1の部分及び第2の部分を押し離す)。
いくつかの実施形態では、2つの文字間のスタイラスのタッチダウン、及び閾値量の時間(例えば、0.5秒、1秒、3秒、5秒)の間の継続する接触は、2つの文字の間にテキストを入力する要求を示す。いくつかの実施形態では、特定のパターン(例えば、キーワードジェスチャ、又はカレットなどのキーワード文字)を有する入力は、2つの文字の間にテキストを入力する要求を示す。いくつかの実施形態では、2つの文字間のスタイラスによる手書き入力の開始(例えば、ユーザが直接書き込みを開始する)は、2つの単語の間にテキストを入力する要求を示す。いくつかの実施形態では、システムは、第1のテキスト文字列の第1の部分と第2の部分との間にテキストを入力する要求に応じてテキスト挿入モードに入る。いくつかの実施形態では、ユーザ入力がフォントベースのテキストを入力する要求に対応しない場合、入力をコマンド又は他の非テキスト入力ジェスチャとして解釈する。例えば、ユーザ入力が、任意選択的に、ユーザインタフェースを通じてスクロール又はナビゲートせよとの要求(例えば、垂直方向又は水平方向のジェスチャ)、選択入力(例えば、1つ以上の文字を通過する水平ジェスチャ)、又は削除入力(例えば、垂直方向のクロスアウトジェスチャ)である。
いくつかの実施形態では、テキストの第1の部分は左方向に移動し、テキストの第2の部分は静止したままである。いくつかの実施形態では、テキストの第1の部分は左方向に移動し、テキストの第2の部分は右方向に移動する。いくつかの実施形態では、テキストの第1の部分は静止したままであり、テキストの第2の部分は、スペースを作成するために右方向に移動する。いくつかの実施形態では、ユーザが、閾値量の時間(例えば、1、2、5、10秒)後に、作成されたスペース内に手書き入力を入力していない場合、テキストの第1の部分及び第2の部分は、一緒に戻って(例えば、その元の状態に戻る)連続するテキスト文字列を形成する。いくつかの実施形態では、ユーザがスペース内に手書き入力を入力すると、スペースは、(例えば、既存のテキスト文字列の第1及び/又は第2の部分を押し離し続けることにより)長さが増大し、ユーザが手書き入力の入力を継続するためのスペースを継続的に提供する。いくつかの実施形態では、ユーザが閾値量の時間(例えば、1、2、5、10秒)の間、手書き入力の入力を停止した後、テキストの第1の部分及び第2の部分は、新たに入力されたテキストと既存のテキストとの間の余分なスペースを除去するように移動する(例えば、作成された余分なスペースがつぶれてなくなる)。いくつかの実施形態では、テキストの第2の部分は、(例えば、ユーザがディスプレイ若しくはテキストフィールドの終端に到達したことに応じて、又は、新規行を挿入する要求に対応するユーザ入力に応じて)新規行が作成されるように(例えば、右方向ではなく)下方向に移動して、ユーザが手書き入力を入力するためのより多くのスペースを提供する。いくつかの実施形態では、手書き入力は、ユーザが手書き入力を入力する際に(例えば、方法700を参照して説明されるように)コンピュータテキストに変換される。いくつかの実施形態では、手書き入力は、余分なスペースが除去されると(例えば、テキスト挿入モードが終了されるとき)変換される。
テキストを(例えば、既存のテキスト間にテキストを挿入する要求に対応するユーザ入力を受信し、既存のテキストを移動させて、ユーザが手書き入力を実行するためのスペースを作成することにより)挿入する上述の方法により、電子デバイスは、(例えば、ユーザが既存のテキスト間にテキストを挿入するよう要求しているかどうかを判定し、既存のテキストを自動的に移動させてユーザが手書き入力を挿入するためのスペースを作成することにより)既存のテキスト間に手書き入力を挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成し、テキスト挿入の完了後にスペースを除去するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、ユーザが単語間にテキストを容易に挿入することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによりテキスト入力ユーザインタフェースを更新した後に、図10Dのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内の手書き入力を受信する(1110)(例えば、手書きのテキストを入力するために作成されたスペース内の手書き入力を受信する)。いくつかの実施形態では、手書き入力は、より多くのスペースを作成するための更なるジェスチャ又はコマンドである。いくつかの実施形態では、手書き入力は、フォントベースのテキストに変換されるテキストである。
いくつかの実施形態では、手書き入力を受信した後に、図10Fのように、電子デバイスは、第1の文字シーケンスの第1の部分と第2の部分との間でフォントベースのテキストに手書き入力を変換する(1112)(例えば、手書き入力を解釈及び認識し、それをフォントベースのテキストに変換し、フォントベースのテキストを2つの文字部分の間のスペースに入力する)。いくつかの実施形態では、手書き入力が変換された後、文字の第1の部分、文字の第2の部分及び新しいフォントベースのテキストの間の任意の残りのスペースが除去される(例えば、テキストは「閉じられて」まとめられる)。
テキストを(例えば、作成されたスペース内の手書き入力を受信し、手書き入力をフォントベースのテキストに変換し、シーケンスの第1の部分と第2の部分との間にフォントベースのテキストを挿入することにより)挿入する上述の方法により、電子デバイスは、(例えば、2つの文字部分の間に作成されたスペース内の手書きテキストを受信し、手書きテキストからそれに変換されたフォントベースのテキストを挿入することにより)既存のテキスト間に手書き入力を挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成し、テキスト挿入の完了後にスペースを除去するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、ユーザが単語間にテキストを容易に挿入することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10AAのように、手書き入力は、タッチ感知ディスプレイからのリフトオフを検出することなく、第1の文字シーケンスの第1の部分と第2の部分との間のユーザ入力を検出した後に検出される(1114)(例えば、文字シーケンスの第1の部分と第2の部分との間の位置に直接書き込むユーザの手書き入力は、それ自体、第1の部分と第2の部分との間にテキストを挿入する要求と見なされる)。いくつかの実施形態では、ユーザはテキストへの書き込みを開始することができ、システムは、ユーザがテキストを挿入することを要求していると自動的に判定し、ユーザがテキストを入力し続けるのに必要なスペースを作成する。いくつかの実施形態では、手書き入力は、リフトオフなしにタップアンドホールド入力の後に開始する。いくつかの実施形態では、ユーザはスクリーン上でタッチダウンし、スペースが作成されるのを待機し、次いで、タッチ感知ディスプレイからリフトオフすることなくスペース内への書き込みを開始する。したがって、いくつかの実施形態では、手書き入力が文字及び/又は単語を書き込むことは、スペースを作成させる入力からリフトオフを検出することなく検出される。
テキストを(例えば、入力のリフトオフを検出することなく手書き入力を受信することにより)挿入する上述の方法により、電子デバイスは、(例えば、手書き入力のリフトオフを必要とすること又はさもなければ検出することなく、2つの文字部分の間に作成されたスペース内の手書きテキストを受け入れることにより)既存のテキスト間のスペースの作成後に、手書き入力を受け入れ始める能力をユーザに提供することが可能となる。これは、(例えば、スクリーンからリフトオフすることなくスペースが作成された後にユーザが手書き入力を開始することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10Cのように、ユーザ入力が第1の文字シーケンスの第1の部分と第2の部分との間におけるタッチ感知ディスプレイ上のスタイラスのタッチダウンを含むときに、ユーザ入力は、手書き入力を使用して第1の文字シーケンスの第1の部分と第2の部分との間にそれぞれのテキストを入力する要求に対応し、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによりテキスト入力ユーザインタフェースを更新することは、スタイラスからの更なる入力を検出する前にスタイラスのタッチダウンを検出したことに応じて起こる(1116)(例えば、システムはテキスト挿入モードに入り、スタイラスが最初にタッチスクリーン上にタッチダウンするときに、テキストの一部を離れるように移動させてスペースを作成する)。いくつかの実施形態では、スタイラスは、タッチスクリーン上にタッチダウンし、リフトオフ又はさもなければスペースが作成されることを待機することなく、挿入される文字の書き込みを開始する(例えば、ユーザが書き込みを開始することは、テキストを挿入する要求と見なされる)。
テキストを(例えば、タッチスクリーン上のタッチダウンを検出した際にテキストを挿入するためのプロセスを開始することにより)挿入する上述の方法により、電子デバイスは、(例えば、ユーザがスクリーン上でタッチダウンするとすぐにスペースを作成して、作成されたスペース内でユーザが書き込みを開始することを可能にすることにより)手書きテキストを挿入し始める能力をユーザに提供することができる。これは、(例えば、テキストを挿入するためのスペースを作成するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、ユーザが所望の位置に単にタッチダウンすることでテキストを容易に挿入することを可能にすることにより)、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10Bのように、スタイラスのタッチダウンは、第1の文字シーケンスの2つの単語の間にある(1118)(例えば、第1の文字シーケンス内の単語の中間にはない)。いくつかの実施形態では、システムは、単語又は文字を挿入するためのスペースを作成するために、単語を押し離す。いくつかの実施形態では、単語が一緒に移動されると、システムは、挿入されたテキストのそれぞれの側にスペースを自動的に挿入する。いくつかの実施形態では、システムは、挿入されたテキストのそれぞれの側にスペースを自動的に挿入せず、挿入されたテキストの正確な位置に基づいて、挿入されたテキストの片側のスペースを保存する。
テキストを(例えば、2つの単語の間にテキストを挿入せよとの要求を受信することにより)挿入する上述の方法により、電子デバイスは、(例えば、2つの単語の間でタッチダウンを受信し、2つの単語の間でのテキストの挿入を可能にすることにより)既存のテキスト間で手書き入力を挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成し、テキスト挿入の完了後にスペースを除去するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、ユーザが単語間にテキストを容易に挿入することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザ入力が時間閾値(例えば、1、2、3、5秒)より長い間、タッチ感知ディスプレイ上のスタイラスのタッチダウンを含むときに、ユーザ入力は、手書き入力を使用して第1の文字シーケンスの第1の部分と第2の部分との間でそれぞれのテキストを入力せよとの要求に対応する。いくつかの実施形態では、図10B及び図10CCC~図10EEEのように、テキストを挿入する要求に対応する入力は、タッチスクリーン上のスタイラスによる長いタッチであり、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによりテキスト入力ユーザインタフェースを更新することは、時間閾値よりも長い間、タッチ感知ディスプレイ上でスタイラスのタッチダウンを検出したことに応じて起こる(1120)(例えば、システムは、テキスト挿入モードに入り、ロングホールド入力を受信した後にテキストの挿入のためのスペースを作成する)。
いくつかの実施形態では、入力はまた、時間閾値の間、実質的に静止している必要がある(例えば、時間閾値中のスタイラスの閾値移動量以下)。いくつかの実施形態では、ロングホールド後に挿入モードに入ることにより、システムは、ユーザがテキストの挿入を不注意で要求しなかったと判定することを可能にする。いくつかの実施形態では、タッチダウンが時間閾値よりも長くない場合、ユーザ入力は無視されるか、又はさもなければ、それぞれのテキストを入力する要求として解釈されない。いくつかの実施形態では、時間閾値よりも長くないユーザ入力は、選択入力として解釈される。いくつかの実施形態では、時間閾値よりも長くないユーザ入力は、ポップアップ又は他のメニューを表示させて、ユーザがどの機能を実行するかを決定することを可能にする。
テキストを(例えば、既存のテキスト間にテキストを挿入する要求として長押しユーザ入力を解釈し、既存のテキストを移動させて、ユーザが手書き入力を実行するためのスペースを作成することにより)テキストを挿入する上述の方法により、電子デバイスは、(例えば、既存のテキスト間にテキストを挿入する要求として長押しユーザ入力を解釈し、既存のテキストを自動的に移動させて、ユーザが手書き入力を挿入するためのスペースを作成することにより)既存のテキスト間に手書き入力を挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成し、テキスト挿入の完了後にスペースを除去するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、長押しユーザ入力をテキスト挿入の要求と解釈することによって、ユーザがテキストを挿入することを要求していることを保証することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10Gのように、ユーザ入力がそれぞれのジェスチャを含む(テキストを挿入する要求を示す特定のキーワードジェスチャを受信する)ときに、ユーザ入力は、手書き入力を使用して第1の文字シーケンスの第1の部分と第2の部分との間にそれぞれのテキストを入力せよとの要求に対応し、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによってテキスト入力ユーザインタフェースを更新することとはそれぞれのジェスチャを検出したことに応じて起こる(1122)(例えば、キーワードジェスチャを受信したことに応じて、挿入モードに入り、手書き入力の挿入のためのスペースを作成する)。
いくつかの実施形態では、文字シーケンスの2つの部分間でのカレットジェスチャの受信は、文字シーケンスの2つの部分間にテキストを挿入せよとの要求と見なされる。いくつかの実施形態では、ユーザ入力がそれぞれのジェスチャを含まない(例えば、ユーザ入力が、テキストを挿入するためのキーワードジェスチャと見なされない別のジェスチャである)場合、ユーザ入力は、テキストを挿入する要求として解釈されない。いくつかの実施形態では、それぞれのジェスチャを含まないユーザ入力は、選択入力、削除入力、又はナビゲーション入力などとして解釈される。
テキストを(例えば、既存のテキスト間にテキストを挿入する要求として特定のそれぞれのジェスチャの手書き入力を解釈し、既存のテキストを移動させてユーザが手書き入力を実行するためのスペースを作成することにより)、電子デバイスは、(例えば、手書き入力内のそれぞれのジェスチャを既存のテキスト間にテキストを挿入する要求として解釈し、既存のテキストを自動的に移動させてユーザが手書き入力を挿入するためのスペースを作成することにより)既存のテキスト間に手書き入力を挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、ユーザが単語間にテキストを容易に挿入することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10Pのように、ユーザ入力は、タッチ感知ディスプレイ上のスタイラスのタッチダウンを含む(1124)。いくつかの実施形態では、タッチ感知ディスプレイ上の第1の文字シーケンスの第1の部分と第2の部分との間のスタイラスのタッチダウンを検出したことに応じて、図10Qのように、電子デバイスは、タッチ感知ディスプレイ上に、第1の文字シーケンスの第1の部分と第2の部分との間にスペースを作成するための選択可能オプションを表示する(1126)(例えば、タッチダウン又はタップを検出したことに応じて、テキストを挿入するための選択可能オプションを含むポップアップ又は他のメニューを表示する)。いくつかの実施形態では、ポップアップメニューは、テキスト入力フィールドと対話するための、クリップボードからテキストをペーストするオプション、テキストを選択するオプションなどの他のオプションを含む。
いくつかの実施形態では、第1の文字シーケンスの第1の部分と第2の部分との間にスペースを作成するための選択可能オプションを表示している間に、図10Qのように、電子デバイスは、タッチ感知ディスプレイを介して、選択可能オプションの選択を受信する(1128)(例えば、テキストを挿入するための選択可能オプションを選択する入力を受信する)。
いくつかの実施形態では、図10Rのように、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによってテキスト入力ユーザインタフェースを更新することは、選択可能オプションの選択を検出したことに応じて起こる(1130)(例えば、テキストを挿入するための選択可能オプションを選択する入力を受信したことに応じて、テキスト挿入モードに入り、文字シーケンスの第1の部分と第2の部分との間にテキストを挿入するためのスペースを作成する)。
テキストを(例えば、テキストを挿入するための選択可能オプションのユーザ選択を受信し、既存のテキストを移動させてユーザが手書き入力を実行するためのスペースを作成することにより)挿入する上述の方法により、電子デバイスは、(例えば、テキストを挿入するための選択可能オプションを含むメニューを表示し、選択可能オプションのユーザ選択に応じて既存のテキストを自動的に移動させてユーザが手書き入力を挿入するためのスペースを作成することにより)既存のテキスト間に手書き入力を挿入する能力をユーザに提供することが可能となる。これは、(例えば、別個のユーザインタフェース若しくはメニューにナビゲートしてテキストを挿入するためのスペースを作成することをユーザに必要とすることなく、テキストを挿入するための選択可能オプションを選択することによってユーザが単語間にテキストを挿入することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによってテキスト入力ユーザインタフェースを更新した後、図10Jのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内の手書き入力を受信する(1132)。
いくつかの実施形態では、手書き入力を受信したことに応じて(1134)、図10Jのように、電子デバイスは、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内に手書き入力の表現を表示する(1136)(例えば、手書き入力が受信される際に、手書きが受信される位置で、ディスプレイ上に手書き入力を表示する)。換言すれば、手書き入力の「軌跡」を表示する。
いくつかの実施形態では、手書き入力を受信したことに応じて(1134)、手書き入力が1つ以上の基準(例えば、スペースの終端付近に到達している、より多くのスペースを追加するための特別なジェスチャなどを含む、など)を満たすという判定に従って、図10Jのように、電子デバイスは、第1の文字シーケンスの第1の部分と第2の部分との間のスペースを拡大する(1138)(例えば、文字シーケンスの第1及び/又は第2の部分を更に移動させて、第1の文字シーケンスの第1の部分と第2の部分との間に追加の手書き入力を受信するための追加のスペースを提供する)。いくつかの実施形態では、生成されたスペースを手書き入力が使い果たし始めると、ユーザが手書き入力を入力し続けるためのより多くのスペースを提供する。いくつかの実施形態では、手書き入力が基準を満たさない場合、テキストを更に入力するためのスペースを作成しない。例えば、手書き入力が、テキストを挿入するために最初に作成されたスペースを使い果たさない場合、より多くのテキストを挿入するための追加のスペースを作成しない。
テキストを挿入するためのスペースを(例えば、テキストの第1の部分と第2の部分との間に作成されたスペースに向けられた手書き入力を受信し、ユーザが手書き入力を提供し続けるときに、テキストの第1及び/又は第2の部分を更に移動させてユーザが手書き入力を継続するためのより多くのスペースを作成することにより)更に提供する上述の方法により、電子デバイスは、(例えば、既存のテキストを継続的に移動させて、ユーザが手書き入力を入力するためのスペースを継続的に提供することにより)既存のテキスト間に手書き入力を継続的に挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、テキストを挿入するために作成された初期スペースを使い果たした後であっても、ユーザがテキストを容易に挿入し続けることを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10Gのように、手書き入力は、手書き入力が第1のそれぞれのジェスチャを含む場合には1つ以上の基準を満たし、手書き入力が第1のそれぞれのジェスチャとは異なる第2のそれぞれのジェスチャを含む場合には1つ以上の基準を満たさない(1140)(例えば、テキストを挿入するための追加のスペースを作成するためのキーワードジェスチャを検出する)。いくつかの実施形態では、キーワードジェスチャ又は文字は、最初に挿入モードに入るための、同じキーワードジェスチャである。いくつかの実施形態では、キーワードジェスチャを検出したことに応じて、第1の部分及び/又は第2の部分をシフトして、テキストを挿入するための更なるスペースを生成する。
テキストを挿入するためのスペースを(例えば、特定のキーワードジェスチャを有する手書き入力を受信し、ユーザが手書き入力を継続し続けるときにテキストの第1及び/又は第2の部分を更に移動させてユーザが手書き入力を継続するためのより多くのスペースを作成することにより)更に提供する上述の方法により、電子デバイスは、(例えば、特定のキーワードジェスチャを受信したことに応じて、既存のテキストを移動させてユーザが手書き入力を入力するための更なるスペースを提供することにより)既存のテキスト間で手書き入力の挿入を継続する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、テキストを挿入するために作成された初期スペースを使い果たした後であっても、ユーザがテキストを容易に挿入し続けることを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによって、テキスト入力ユーザインタフェースを更新した後、図10Vのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内で手書き入力を受信する(1142)。
いくつかの実施形態では、手書き入力を受信したことに応じて(1144)、図10Vのように、電子デバイスは、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内に手書き入力の表現を表示する(1146)(例えば、手書き入力が受信される際に、手書きが受信される位置で、ディスプレイ上に手書き入力を表示する)。換言すれば、手書き入力の「軌跡」を表示する。
いくつかの実施形態では、手書き入力を受信したことに応じて(1144)、1つ以上の新規行基準が満たされているとの判定に従って、図10Wのように、電子デバイスは、ユーザインタフェースを更新して、新規行内に追加のそれぞれのテキストを挿入するための追加の手書き入力を受信するように構成された新規行を作成する(1148)(例えば、新規行(例えば、キャリッジリターン文字)を挿入する)。いくつかの実施形態では、テキストの第2の部分は、新規行を作成する際に1行だけ下方に押される。いくつかの実施形態では、手書き入力が現在の行の終端近くに到達した場合に、新規行基準が満たされる。いくつかの実施形態では、ユーザがそれぞれのテキスト入力フィールドの終端に到達した場合に、新規行基準が満たされる。いくつかの実施形態では、ユーザが現在の行の閾値距離下で書き込みを開始した場合に、新規行基準が満たされる。したがって、いくつかの実施形態では、新規行基準は、手書き入力及び既存のテキストのコンテクスト、手書き入力の位置、テキスト入力領域のサイズ、並びに手書き及び既存のテキストの長さに基づいて満たされる。
テキストを更に挿入するための新規行を(例えば、手書き入力を受信し、新規行基準が満たされている場合に、既存のテキスト内に新規行を挿入することにより)挿入する上述の方法により、電子デバイスは、(例えば、新規行が挿入されるべきかどうかを自動的に判定し、新規行を挿入してユーザが手書き入力を更に入力するためのスペースを提供することにより)複数行テキストを挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、ユーザが既存のテキスト内に新規行を容易に挿入することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10Kのように、1つ以上の新規行基準は、手書き入力がユーザインタフェース内の現在の行の終端に到達したときに満たされる基準を含む(1150)(例えば、手書き入力が、テキストを入力するための更なる余地がないような、又はテキスト入力フィールドを更に拡張することができないようなテキストフィールドの終端又はユーザインタフェースの終端に到達した場合、テキスト入力ユーザインタフェース内に新規行を挿入して、ユーザが手書き入力を提供し続けるためのスペースを提供する)。
テキストを更に挿入するための新規行を(例えば、手書き入力を受信し、手書き入力がテキストの現在の行の終端又はその近くに到達した場合に、既存のテキスト内に新規行を挿入することにより)挿入する上述の方法により、電子デバイスは、(例えば、ユーザが手書きテキストを更に入力するための新規行を必要としている可能性が高いかどうかを自動的に判定し、新規行を挿入してユーザが手書き入力を更に入力するためのスペースを提供することにより)複数行テキストを挿入する能力をユーザに提供することが可能となる。これは、(例えば、テキストを挿入するためのスペースを作成するために別個のユーザインタフェース若しくはメニューにナビゲートすること又は追加のユーザ入力を実行することをユーザに必要とすることなく、新規行が必要とされる可能性が高い状況で新規行を自動的に挿入することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10Vのように、1つ以上の新規行基準は、追加の手書き入力がユーザインタフェース内の既存のフォントベースのテキストの下で検出されると満たされる基準を含む(1152)(例えば、手書き入力が、既存のテキスト行の閾値距離(例えば、6ポイント、12ポイント、24ポイントなど)下の位置にある場合、現在のテキスト行の閾値距離下の位置に新規行を挿入する)。
テキストを更に挿入するための新規行を(例えば、既存のテキスト行の下にある手書き入力を受信し、既存のテキスト行の下の位置に新規行を挿入することにより)挿入する上述の方法により、電子デバイスは、(例えば、既存のフォントベースのテキストの下の手書き入力を手書き入力の位置に新規行を挿入する要求として自動的に解釈し、新規行を挿入してユーザが手書き入力を更に入力するためのスペースを提供することにより)複数行テキストを挿入する能力をユーザに提供することが可能となる。これは、(例えば、ユーザが既存のフォントベースのテキストの下に手書き入力を提供して手書き入力の位置に新規行を挿入する要求を示すときに、新規行を自動的に挿入することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10BBのように、1つ以上の新規行基準は、タップ入力がユーザインタフェース内の既存のフォントベースのテキストの下で検出されるときに満たされる基準を含む(1154)(例えば、タップ入力が既存のフォントベースのテキストの下の位置で受信された場合、既存のフォントベースのテキストの下の位置に新規行を挿入する)。
テキストを更に挿入するための新規行を(例えば、既存のテキスト行の下でタップ入力を受信し、既存のテキスト行の下の位置に新規行を挿入することにより)挿入する上述の方法により、電子デバイスは、(例えば、既存のフォントベースのテキストの下のタップ入力を手書き入力の位置に新規行を挿入する要求として解釈し、新規行を挿入してユーザが手書き入力を更に入力するためのスペースを提供することにより)複数行テキストを挿入する能力をユーザに提供することが可能となる。これは、(例えば、ユーザが既存のフォントベースのテキストの下の位置でタップして手書き入力の位置に新規行を挿入する要求を示すときに、新規行を挿入することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力を受信したことに応じて(1156)、手書き入力がユーザインタフェース内の現在の行の終端の閾値距離内にあるとの判定に従って、図10Xのように、電子デバイスは、ユーザインタフェース内に新規行を作成するための選択可能オプションをユーザインタフェース内に表示する(1158)(例えば、新規行を作成するために選択可能な選択可能オプションを含むポップアップ又はメニューを動的に表示する)。いくつかの実施形態では、ユーザが現在の行の終端に到達又は接近すると、ポップアップ又はメニューがユーザに動的に表示されて、新規行を挿入するオプションをユーザに提供する。
いくつかの実施形態では、図10HHのように、1つ以上の新規行基準は、ユーザインタフェース内に新規行を作成するための選択可能オプションの選択が検出されるときに満たされる基準を含む(1160)(例えば、ユーザが新規行を挿入するための選択可能オプションを選択したことに応じて新規行が作成される)。
テキストを更に挿入するための新規行を(例えば、新規行を挿入するために選択可能な選択可能オプションを表示し、新規行を挿入するための選択可能オプションを選択するユーザ入力を受信したことに応じて新規行を挿入することにより)挿入する上述の方法により、電子デバイスは、(例えば、ユーザの手書き入力が行の終端に到達し新規行が必要となる可能性が高いときに新規行を挿入するための選択可能オプションを動的に表示し、選択可能オプションを選択するユーザ入力を受信したことに応じて新規行を挿入することにより)複数行テキストを挿入する能力をユーザに提供することが可能となる。これは、(例えば、ユーザが現在の行の終端に到達したときに表示される新規行を挿入するための選択可能オプションをユーザが選択するときに新規行を挿入することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、追加の手書き入力を受信するように構成された新規行がユーザインタフェース内に含まれている間に、図10EEのように、電子デバイスは、タッチ感知ディスプレイを介して、それぞれのユーザ入力を受信する(1162)(例えば、新規行が自動的に挿入若しくははユーザの入力に応じて挿入された後、又はテキスト入力ユーザインタフェースが複数行テキストを含む間に、ユーザ入力を受信する)。
いくつかの実施形態では、それぞれのユーザ入力を受信したことに応じて(1164)、それぞれのユーザ入力が、ユーザインタフェース内で新規行の前にある前の行の最後の単語の終端で検出されたタップ入力、又はユーザインタフェース内の新規行内の第1の単語の最初に検出されたタップ入力を含むとの判定に従って、図10FFのように、電子デバイスは、ユーザインタフェース内に、ユーザインタフェースから新規行を除去するための選択可能オプションを表示する(1166)(例えば、前の行の最後の単語の終端でタップ入力を受信し、及び/又は次の行の第1の単語の最初にタップ入力を受信して、前の行と次の行との間の改行を除去するための選択可能オプションを含むポップアップ又はメニューを表示する)。いくつかの実施形態では、選択可能オプションを選択することは、前の行と次の行との間の改行を除去する。
複数行テキスト内の改行を(例えば、第1の行の終端又は第2の行の最初で入力を受信し、第1の行と第2の行との間の改行を除去するための選択可能オプションを表示し、選択可能オプションを選択するユーザ入力を受信したことに応じて改行を除去することにより)除去する上述の方法により、電子デバイスは、(例えば、改行を除去するための選択可能オプションを動的に表示し、改行を除去するための選択可能オプションをユーザが選択したことに応じて改行を除去することにより)複数行テキスト内の改行を除去する能力をユーザに提供することが可能となる。これは、(例えば、改行を除去するための選択可能オプションをユーザに提供し、選択可能オプションを選択するユーザ入力を受信したことに応じて改行を除去することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、追加の手書き入力を受信するように構成された新規行がユーザインタフェース内に含まれ、新規行はそれぞれの文字シーケンスを含む間に、図10JJのように、電子デバイスは、タッチ感知ディスプレイを介して、それぞれの文字シーケンス上のスタイラスのタッチダウン及びユーザインタフェース内の新規行とは異なるそれぞれの行へのスタイラスの移動を含むそれぞれの入力を受信する(1168)(例えば、新規行が自動的に挿入若しくはユーザの入力に応じて挿入された後、又はテキスト入力ユーザインタフェースが複数行テキストを含む間に、新規のテキスト行上で新規のテキストの行を「ドラッグ」するユーザ入力を受信する)。いくつかの実施形態では、ユーザ入力は、新規のテキスト行の最初に受信される。
いくつかの実施形態では、それぞれの入力を受信したことに応じて(1170)、図10JJのように、電子デバイスは、ユーザインタフェース内のそれぞれの行にそれぞれの文字シーケンスを移動させる(1172)(例えば、スタイラスの移動に従って新規のテキストの行を移動させる。いくつかの実施形態では、新規のテキスト行は、新規行がスタイラスのリフトオフの際にドラッグされた行にはまる)。いくつかの実施形態では、ユーザが移動ジェスチャを完了すると、新規のテキスト行は、新規行がドラッグされた位置に存在するテキストと整列される。
いくつかの実施形態では、それぞれの入力を受信したことに応じて(1170)、図10LLのように、電子デバイスは、ユーザインタフェースから新規行を除去する(1174)(例えば、新規行と前の行との間の改行(例えば、もしあれば、キャリッジリターン文字又はニューライン文字)が新規行のように除去される)。
複数行テキスト内の改行を(例えば、第2のテキスト行で第2のテキスト行を第1のテキスト行にドラッグする入力を受信し、第1のテキスト行と第2のテキスト行との間の任意の改行を除去することにより)除去する上述の方法により、電子デバイスは、(例えば、行を前の行にドラッグするユーザのジェスチャを2つの行の間の改行を除去する要求として解釈し、改行を除去するユーザの要求に応じて改行を除去することにより)複数行テキスト内の改行を除去する能力をユーザに提供することが可能となる。これは、(例えば、改行を除去するために別個のユーザインタフェースにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、テキストを移動させ、ユーザの入力に従って改行を自動的に除去する直観的方法をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによってテキスト入力ユーザインタフェースを更新した後、図10UUのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内の手書き入力を受信する(1176)(例えば、テキストの第1及び/又は第2の部分を移動させて、テキストの第1の部分と第2の部分との間にユーザがテキストを挿入するためのスペースを作成した後、テキストを挿入する手書き入力を受信する)。
いくつかの実施形態では、手書き入力を受信したことに応じて(1178)、図10UUのように、電子デバイスは、ユーザインタフェース内で、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内に手書き入力の表現を表示する(1180)(例えば、入力が受信される位置で入力が受信されるときに、ディスプレイ上に手書き入力の軌跡を表示する)。
いくつかの実施形態では、手書き入力を受信したことに応じて(1178)、手書き入力がユーザインタフェース内の現在の行の終端に到達していないとの判定に従って、図10AAAのように、電子デバイスは、手書き入力を受信してから第1の経過時間後に手書き入力の表現を表示することを停止する(1182)(例えば、手書きテキストをフォントベースのテキストに変換し始める)。いくつかの実施形態では、変換は、特定の時間遅延後に実行される。いくつかの実施形態では、変換は、方法700及び/又は方法1300に従って実行される。いくつかの実施形態では、手書き入力の進行が、特定の閾値位置の前の位置にある場合(例えば、中間点に到達する前、3/4の地点に到達する前)、テキストを変換する通常のタイミングに従ってテキストを変換する。
いくつかの実施形態では、手書き入力を受信したことに応じて(1178)、手書き入力がユーザインタフェース内の現在の行の終端に到達したとの判定に従って、図10WWのように、電子デバイスは、手書き入力を受信してから第1の経過時間よりも短い第2の経過時間の後に、手書き入力の表現を表示することを停止する(1184)(例えば、手書き入力の進行が特定の閾値位置に到達した(例えば、特定の閾値位置を超える)とき、手書きの進行が閾値位置に達していないときよりも速い速度で(例えば、より短い時間遅延で)手書きテキストをフォントベースのテキストに変換し始める)。換言すれば、手書き入力が、行の終端における余白を使い果たし始めると、スペースを解放するために、手書きテキストをより高速で変換する。いくつかの実施形態では、手書きテキストをより高速で変換することにより、手書きテキストを行の最初でより速く変換して、手書きテキストの表示を除去し、手書きテキストの表示をフォントベースのテキストで置換する。いくつかの実施形態では、フォントベースのテキストは、手書きテキストよりも小さいサイズである。したがって、手書きテキストを変換することは、ユーザが次の行の最初に書き込みを継続するための画面スペースを解放する。いくつかの実施形態では、手書きテキストを変換することは、ユーザがちょうど書き込んだ手書きテキストを変換させて、現在の行の終端又はその近くの手書きテキストの表示を除去することにより、ユーザが書き込みながら右方に移動することなく同じ位置で手書きテキストをユーザが提供し続けることが可能となる(例えば、ユーザが書き込んでいるときに単語及び/又は文字が変換されるため、ユーザは空いたスペース内で書き込みを継続するために位置を移動する必要がない)。
手書き入力のためのスペースを(例えば、ユーザが手書きを提供するためのスペースを使い果たし始めるときに、より高速でテキストを変換することにより)提供する上述の方法により、電子デバイスは、(例えば、ユーザが手書き入力のためのスペースを使い果たそうとしていると判定し、手書きテキストを表示から除去してユーザが手書き入力を提供し続けるためのスペースを解放するために手書きテキストをフォントベースのテキストに変換する速度を増大させることにより)手書き入力を入力するためのスペースをユーザに連続的に提供することが可能となる。これは、(例えば、変換プロセスが起こることを待機すること、又は更なる手書きテキストのためのスペースを作成するための追加の入力を実行することをユーザに必要とすることなく、以前に書き込まれた手書きテキストをより高速で変換することによりユーザが手書きテキストを入力するためのスペースを自動的かつ連続的に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによってテキスト入力ユーザインタフェースを更新した後、図10Dのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内の手書き入力を受信する(1186)(例えば、テキストの第1及び/又は第2の部分を移動させて、テキストの第1の部分と第2の部分との間にユーザがテキストを挿入するためのスペースを作成した後、テキストを挿入する手書き入力を受信する)。
いくつかの実施形態では、手書き入力を受信した後に(1188)、手書き入力の終了後の時間閾値の間に追加の手書き入力が受信されないという判定に従って、図10Fのように、電子デバイスは、第1の文字シーケンスの第1の部分と第2の部分との間のスペースのサイズを縮小させて、ユーザインタフェース内の手書き入力によって消費されていないスペースを除去する(1190)(例えば、手書き入力が閾値量の時間(例えば、1秒、3秒、5秒、10秒)にわたってもはや受信されない場合、第1の文字部分と手書き入力との間、及び手書き入力と第1の文字部分との間の余分なスペースを除去する)。いくつかの実施形態では、除去される余分なスペースは、手書き入力のためのスペースを作成するために挿入され手書き入力によって使用されなかったスペースである。いくつかの実施形態では、除去される余分なスペースは、新たに挿入されたテキストを既存のテキストと整列させるために除去されることが必要な任意のスペースである(例えば、単語間の適切な場所にスペース文字を維持又は挿入する)。いくつかの実施形態では、手書き入力は、余分なスペースが除去される前にフォントベースのテキストに変換される。換言すれば、手書き入力は、任意選択的に変換され、手書き入力が変換された後の閾値量の時間(例えば、0.5秒、1秒、2秒、5秒)後、余分なスペースが除去される。いくつかの実施形態では、手書き入力がフォントベースのテキストに変換されるのと同時に、余分なスペースが除去される。
手書き入力の後に余分なスペースを(例えば、手書き入力が閾値量の時間だけ停止した後に、手書き入力のためのスペースを作るために作成されたテキスト間の余分なスペースを除去することにより)除去する上述の方法により、電子デバイスは、(例えば、ユーザがテキストの挿入を停止したと判定し、挿入されたテキストを既存のテキストと整列させるために余分なスペースを除去することにより)テキスト挿入モードを出ることが可能となる。これは、(例えば、手書き入力を挿入した後に余分なスペースを除去するために追加の入力を実行することをユーザに必要とすることなく、テキスト挿入モードを自動的に出て余分なスペースを除去することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の文字シーケンスの第1の部分と第1の文字シーケンスの第2の部分との間にスペースを作成することによってテキスト入力ユーザインタフェースを更新した後、図10Dのように、電子デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内で手書き入力を受信する(1192)(例えば、テキストの第1及び/又は第2の部分を移動させて、ユーザがテキストの第1の部分と第2の部分との間にテキストを挿入するためのスペースを作成した後、テキストを挿入する手書き入力を受信する)。
いくつかの実施形態では、手書き入力を受信した後(1194)、手書き入力の終了後の時間閾値(例えば、1秒、2秒、3秒、5秒など)の間、追加の手書き入力が受信されないという判定に従って、図10Fのように、電子デバイスは、第1の文字シーケンスの第1の部分と第2の部分との間のスペース内で手書き入力をフォントベースのテキストに変換する(1196)(例えば、手書き入力が閾値量の時間停止した後、それまでに入力された手書き入力をフォントベースのテキストに変換する)。
手書き入力を(例えば、ユーザが閾値量の時間だけ入力を停止した後に手書き入力を変換することにより)挿入する上述の方法により、電子デバイスは、(例えば、手書き入力を変換し、テキストの第1の部分と第2の部分との間のスペースに変換済みテキストを挿入することにより)テキストを挿入することが可能となる。これは、(例えば、手書き入力をフォントベースのテキストに自動的に変換し、ユーザが手書き入力を完了したと思われるときに、テキストの第1の部分と第2の部分との間にフォントベースのテキストを挿入することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図10MMのように、電子デバイスは、テキスト入力ユーザインタフェース内に、第2の文字シーケンスの第1の部分及び第2の文字シーケンスの第2の部分を含む第2の文字シーケンスを表示する(1198)。
いくつかの実施形態では、テキスト入力ユーザインタフェースを表示している間に、図10MMのように、電子デバイスは、タッチ感知ディスプレイを介して、第2の文字シーケンスの第1の部分と第2の文字シーケンスの第2の部分との間で、テキスト入力ユーザインタフェース内の第2のユーザ入力を受信する(1198-2)(例えば、テキストの第1の部分と第2の部分との間で閾値時間にわたってタップ入力又は長押し入力を受信する)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(1198-4)、第2のユーザ入力が、手書き入力を使用して第2の文字シーケンスの第1の部分と第2の文字シーケンスの第2の部分との間に第2のそれぞれのフォントベースのテキストを入力せよとの要求に対応するとの判定に従って(1198-6)、図10NNのように、電子デバイスは、ユーザインタフェース内に、第2の文字シーケンスの第1の部分と第2の部分との間に第2のそれぞれのフォントベースのテキストを挿入するための手書き入力を受信するように構成された(例えば、ユーザインタフェース内に以前に表示されたものに重ね合わせられた)手書き入力ユーザインタフェース要素を表示する(1198-8)(例えば、ユーザがフォントベースのテキストに変換される手書き入力を提供することができるポップアップテキストボックス)。いくつかの実施形態では、テキストが位置する位置にカーソルインジケータが表示される。いくつかの実施形態では、ポップアップテキストボックスは、テキスト挿入モードを出る(例えば、ポップアップテキストボックスを消去する)ための選択可能オプションを含む。いくつかの実施形態では、ポップアップテキストボックスは、ユーザの手書き入力をフォントベースのテキストに変換しコミットするための選択可能オプションを含む。
手書き入力を(例えば、ユーザが変換及び既存のテキストへの挿入のための手書き入力を挿入するテキストボックスを有するポップアップユーザインタフェース要素を表示することにより)挿入する上述の方法により、電子デバイスは、(例えば、テキストを挿入するためのユーザの要求に応じてテキストボックスを表示し、テキストボックス内で手書き入力を受け入れ、手書き入力をフォントベースのテキストに変換することにより)テキスト挿入要素をユーザに提供することが可能となる。これは、(例えば、ユーザが入力することができるテキスト挿入ユーザインタフェース要素を表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力ユーザインタフェース要素を表示している間に、図10QQのように、電子デバイスは、タッチ感知ディスプレイを介して、手書き入力ユーザインタフェース要素内で第2の手書き入力を受信する(1198-10)(例えば、既存のテキストに手書き入力を挿入せよとの要求に対応するポップアップテキストボックス内の手書き入力を受信する)。
いくつかの実施形態では、手書き入力ユーザインタフェース要素内で第2の手書き入力を受信したことに応じて(1198-12)、図10RRのように、電子デバイスは、第2の手書き入力に対応するフォントベースのテキストをテキスト入力ユーザインタフェースに挿入する(1198-14)(例えば、手書き入力をフォントベースのテキストに変換し、フォントベースのテキストを既存のテキストに(例えば、文字の第1の部分と第2の部分との間に)挿入する)。
いくつかの実施形態では、手書き入力ユーザインタフェース要素内で第2の手書き入力を受信したことに応じて(1198-12)、手書き入力ユーザインタフェース要素がタッチ感知ディスプレイ上に静止したままである間に、図10RRのように、電子デバイスは、テキスト入力ユーザインタフェース内の現在のテキスト挿入ポイント(例えば、手書き入力ユーザインタフェース要素内の手書き入力から変換されたテキストが挿入されるテキスト入力ユーザインタフェース内の位置)の移動に従ってテキスト入力ユーザインタフェースをスクロールする(1198-16)(例えば、ユーザがテキストを挿入すると、挿入ポイント(例えば、カーソル)は、挿入されたテキストに従って前方に移動する)。いくつかの実施形態では、挿入されるテキストの量に基づいて、カーソルは、後続のテキスト行に移動する(例えば、挿入されたテキストの量は、1つの行上のスペースを使い果たし、次の行に移動する)。いくつかの実施形態では、カーソルが下方に移動したことに応じて、ユーザインタフェースは、画面上の同じ垂直位置にカーソルを保存し、ポップアップテキストボックスによってブロックされないように、行のサイズだけ上方にスクロールされる。いくつかの実施形態では、ポップアップテキストボックスは位置を移動せず、ポップアップテキストボックスの下のユーザインタフェースが上方にスクロールする。いくつかの実施形態では、ポップアップテキストボックスの下のユーザインタフェースは、カーソルが下方に移動した量よりも多く上方にスクロールし、ユーザがテキストを挿入するための更により多くのスペースを作成する。
手書き入力を(例えば、ユーザが手書き入力を入力し続ける際に、ポップアップテキストボックスの背後のユーザインタフェースをスクロールすることにより)挿入する上述の方法により、電子デバイスは、(例えば、ポップアップテキストボックスの位置を維持し、挿入ポイントの表示を維持することが必要なときにはポップアップテキストボックスの背後のユーザインタフェースをスクロールすることにより)静止したテキスト挿入要素をユーザに提供することが可能となる。これは、(例えば、手書き入力を提供する間にユーザが自身の手書き位置を再調整することをユーザに必要とすることなく、挿入ポイントを同時に表示しながらポップアップテキストボックスの位置を維持することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書き入力ユーザインタフェース要素を表示している間に、図10OOのように、電子デバイスは、タッチ感知ディスプレイを介して、手書き入力ユーザインタフェース要素内で第2の手書き入力を受信する(1198-18)(例えば、既存のテキストに手書き入力を挿入せよとの要求に対応するポップアップテキストボックス内の手書き入力を受信する)。
いくつかの実施形態では、手書き入力ユーザインタフェース要素内で第2の手書き入力を受信したことに応じて(1198-20)、図10OOのように、電子デバイスは、手書き入力ユーザインタフェース要素内に、第2の手書き入力の表現を表示する(1198-22)(例えば、入力が受信される位置で入力が受信されるときに、ディスプレイ上に手書き入力の軌跡を表示する)。
いくつかの実施形態では、手書き入力ユーザインタフェース要素内で第2の手書き入力を受信したことに応じて(1198-20)、第2の手書き入力が手書き入力ユーザインタフェース要素の終端に到達していないとの判定に従って、図10AAAのように、電子デバイスは、第2の手書き入力を受信してから第1の経過時間後に第2の手書き入力の表現を表示することを停止する(1198-24)(例えば、手書きテキストをフォントベースのテキストに変換し始める。いくつかの実施形態では、変換は、特定の時間遅延後に実行される)。いくつかの実施形態では、変換は、方法700及び/又は方法1300に従って実行される。いくつかの実施形態では、手書き入力の進行が、特定の閾値位置の前の位置にある場合(例えば、中間点に到達する前、3/4の地点に到達する前)、テキストを変換する通常のタイミングに従ってテキストを変換する。
いくつかの実施形態では、手書き入力ユーザインタフェース要素内で第2の手書き入力を受信したことに応じて(1198-20)、第2の手書き入力が手書き入力ユーザインタフェース要素の終端に到達したという判定に従って、図10WWのように、電子デバイスは、第2の手書き入力を受信してから第1の経過時間よりも短い第2の経過時間の後に、第2の手書き入力の表現を表示することを停止する(1198-26)(例えば、手書き入力の進行が特定の閾値位置に到達した(例えば、特定の閾値位置を超える)ときに、手書きの進行が閾値場所に到達していないときよりも速い速度で(例えば、より短い時間遅延で)手書きテキストをフォントベースのテキストに変換し始める)。換言すれば、手書き入力がポップアップテキストボックスの終端における余白を使い果たし始めると、スペースを解放するために手書きテキストをより高速に変換する。いくつかの実施形態では、手書きテキストをより高速に変換することは、テキストボックスの最初に手書きテキストをより速く変換して、手書きテキストの表示を除去し、手書きテキストの表示をフォントベースのテキストで置換する。いくつかの実施形態では、フォントベースのテキストは、手書きテキストよりも小さいサイズである。したがって、手書きテキストを変換することは、ユーザがポップアップテキストボックスの最初に書き込みを継続するためのスペースを解放する。いくつかの実施形態では、手書きテキストを変換することは、ユーザがちょうど書き込んだ手書きテキストを変換させて、テキストボックスの終端又はその近くの手書きテキストの表示を除去し、ユーザが書き込みながら右方に移動することなく同じ位置で手書きテキストをユーザが提供し続けることが可能となる(例えば、ユーザが書き込んでいるときに単語及び/又は文字が変換されるため、ユーザは空いたスペース内で書き込みを継続するために位置を移動する必要がない)。
手書き入力のためのスペースを(例えば、ユーザが手書きを提供するためのスペースを使い果たし始めるときに、より高速でテキストを変換することにより)提供する上述の方法により、電子デバイスは、(例えば、ユーザが手書き入力のためのスペースを使い果たそうとしていると判定し、手書きテキストを表示から除去してユーザが手書き入力を提供し続けるためのスペースを解放するために手書きテキストをフォントベースのテキストに変換する速度を増大させることにより)手書き入力を入力するためのスペースをユーザに連続的に提供することが可能となる。これは、(例えば、変換プロセスが起こることを待機すること、又は更なる手書きテキストのためのスペースを作成するための追加の入力を実行することをユーザに必要とすることなく、以前に書き込まれた手書きテキストをより高速で変換することによりユーザが手書きテキストを入力するためのスペースを自動的かつ連続的に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の文字シーケンスを含むテキスト入力ユーザインタフェースを表示している間に、図10JJJ及び図10LLLのように、デバイスは、タッチ感知ディスプレイを介して、第1の文字シーケンス内の第1の文字と第2の文字との間の位置でタッチ感知ディスプレイとの接触を維持しながら、第1の文字シーケンスのそれぞれの部分を横断する移動(例えば、第1の文字シーケンスのそれぞれの部分を横断する下向き又は上向きの移動)を含むそれぞれのユーザ入力を受信する(1198-28)(例えば、2つの文字(任意選択的に隣接する文字)間の垂直又は下向き若しくは上向きのスワイプジェスチャ)。
いくつかの実施形態では、第1の文字シーケンスは、手書き文字シーケンスである。いくつかの実施形態では、第1の文字シーケンスはフォントベースのテキストである。いくつかの実施形態では、第1の文字シーケンスは、何らかのフォントベースのテキスト及びいくつかの手書き文字を含む。いくつかの実施形態では、下向きのスワイプジェスチャは、垂直から閾値角度(例えば、垂直から5度、垂直から10度、垂直から20度など)未満であり、完全に垂直である必要はない。いくつかの実施形態では、入力は、タッチ感知ディスプレイと接触しているスタイラス又は同様の入力デバイスからのものである。
いくつかの実施形態では、それぞれのユーザ入力を受信したことに応じて(1198-30)、第1の文字シーケンス内の第1の文字と第2の文字を分離する文字がない(例えば、第1の文字及び第2の文字は、それらの間にホワイトスペース文字(例えば、スペース)なしで隣接する文字である)との判定に従って、図10KKKのように、デバイスは、第1の文字シーケンス内の第1の文字と第2の文字との間にホワイトスペース文字を追加することによってテキスト入力ユーザインタフェースを更新する(1198-32)(例えば、第1の文字と第2の文字との間にホワイトスペース文字(例えば、単一のスペース)を自動的に挿入する)。いくつかの実施形態では、複数のホワイトスペース文字が挿入される。
いくつかの実施形態では、ホワイトスペース文字のみが第1の文字シーケンス内の第1の文字と第2の文字を分離するとの判定に従って、図10MMMのように、デバイスは、第1の文字シーケンス内の第1の文字と第2の文字との間のホワイトスペース文字を除去することによってテキスト入力ユーザインタフェースを更新する(1198-34)(例えば、第1及び第2の文字が単一のホワイトスペース文字によって分離され、他の文字がない場合には、ホワイトスペース文字を除去して2つの文字を隣接させる)。
いくつかの実施形態では、第1及び第2の文字が、複数のホワイトスペース文字によって分離される場合、単一のホワイトスペース文字を除去する。いくつかの実施形態では、第1及び第2の文字が複数のホワイトスペース文字によって分離される場合、第1の文字と第2の文字との間の全てのホワイトスペース文字を除去して2つの文字を隣接させる。
ホワイトスペースを(例えば、2つのテキスト文字間で下向きのスワイプを受信することにより)挿入及び除去する上述の方法は、(例えば、ホワイトスペースが存在しない場合にホワイトスペースを自動的に追加し、ホワイトスペースが既に存在する場合にホワイトスペースを除去することにより)文字を分離又は隣接させる素早く効率的な方法をユーザに提供する。これは、(例えば、ホワイトスペースを追加又は除去するために追加の入力又は異なる入力を実行することをユーザに必要とすることなく、同じジェスチャを使用して追加機能及び削除機能の両方を実行することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図11A~図11Mにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、900、1300、1500、1600、1800、2000、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図11A~図11Mに関して上記した方法1100にも、類似の様式で適用可能であることに留意されたい。例えば、方法1100を参照して上述した既存のテキストへのテキストの挿入は、本明細書に記載される他の方法(例えば、方法700、900、1300、1500、1600、1800、2000、及び2200)を参照して本明細書に記載される手書き入力の受け入れ及び/又は変換、テキストの選択及び削除、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力メニューを提示すること、手書き入力の特性を制御すること、自動補完提案を提示すること、及び手書き入力をフォントベースのテキストに変換すること、コンテンツ入力パレットにオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図11A~図11Mを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作1102、1126、1136、1146、1158、1166、1180、1198、1198-8、及び1198-22、並びに受信する動作1104、1110、1128、1132、1142、1162、1168、1176、1186、1192、1198-2、1198-10、1198-18、及び1198-28は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
手書き入力をテキストに変換するタイミング
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。いくつかの実施形態では、電子デバイスは、手書き入力デバイス(例えば、スタイラス)から手書き入力を受信し、手書き入力をフォントベースのテキスト(例えば、コンピュータテキスト、デジタルテキストなど)に変換する。以下に説明する実施形態は、電子デバイスが、手書き入力デバイス(例えば、スタイラス)からの手書き入力をフォントベースのテキスト(例えば、コンピュータテキスト、デジタルテキストなど)に変換するタイミングを管理する方法を提供する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図12A~図12SSは、電子デバイスが、手書きテキストをフォントベースのテキストに変換するタイミングを管理する例示的な方法を示す。これらの図中の実施形態は、図13A~図13Gを参照して説明するプロセスを含め、以下に説明するプロセスを例示するために使用される。
図12Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図12Aに示すように、電子デバイス500はユーザインタフェース1200を提示する。いくつかの実施形態では、ユーザインタフェース1200は、1つ以上のテキスト入力フィールド(例えば、テキスト入力領域)を含む任意のユーザインタフェースである。いくつかの実施形態では、テキスト入力フィールド(例えば、テキスト入力領域)は、ユーザがテキスト(例えば、文字、キャラクタ、単語など)を入力することができるユーザインタフェース要素である。例えば、テキスト入力フィールドは、フォーム上のテキストフィールド、ブラウザ上のURL入力要素、ログインフィールドなどであり得る。換言すれば、ユーザがテキストを入力することができ、編集、削除、コピー、カットなど、又は任意の他のテキストベースの操作を実行することができる、任意のユーザインタフェース要素である。テキスト入力フィールド(例えば、テキスト入力領域)は、テキストのみを受け入れるユーザインタフェース要素に限定されず、オーディオ及び/又は視覚メディアを受け入れて表示することも可能なユーザインタフェース要素であることが理解される。
いくつかの実施形態では、図12Aに示すように、ユーザインタフェース1200は、(例えば、航空機チケットを購入するための)乗客情報入力ユーザインタフェースを表示している(例えば、ナビゲートする)インターネットブラウザアプリケーションのものである。図12A~図12SSに示す実施例は例示的なものであり、例示されるユーザインタフェース及び/又はアプリケーションのみに限定するものと見なされるべきではないことが理解される。いくつかの実施形態では、ユーザインタフェース1200は、ユーザがテキストに入力して、それぞれのテキスト入力フィールド(例えば、2人の乗客に関する情報)を記入することができるテキスト入力フィールド1202-1~1202-9を含む。
図12Bで、ユーザ入力が、スタイラス203からタッチスクリーン504上で受信される(例えば、検出される)。図6Bに示すように、スタイラス203はタッチスクリーン504上にタッチダウンしている。いくつかの実施形態では、スタイラス203はタッチスクリーン504上にタッチダウンし、手書き入力1204-1を提供する。例えば、図12Bに示すように、手書き入力1204-1は文字「1」のものである。図12Cで、ユーザは、テキスト入力フィールド1202-3に手書き入力1204-1(例えば、「1234 Elm Street」)を入力し続ける。図12Dで、スタイラス203のリフトオフが検出される(例えば、タッチスクリーン504との接触が終了する)。いくつかの実施形態では、スタイラス203のリフトオフを検出したことに応じて、タイマが、手書き入力をフォントベースのテキストに変換するためのカウントを開始する。手書き入力をフォントベースのテキストに変換する際のタイマの使用は、図12P~図12SSに関して以下により詳細に説明される。したがって、いくつかの実施形態では、手書き入力1204-1は、スタイラス203のリフトオフを検出する時にフォントベースのテキストに変換されない。
図12Eで、ユーザ入力が、テキスト入力フィールド1202-5上でタッチダウンするスタイラス203によって検出される。いくつかの実施形態では、ユーザ入力は、タップ、長押し入力、又は手書きテキスト入力の開始であり得る。いくつかの実施形態では、テキスト入力フィールド1202-5(例えば、テキスト入力フィールド1202-3以外のテキスト入力フィールド)上でタッチダウンするユーザ入力に応じて、手書き入力1204-1は、フォントベースのテキストに変換される。この例では、手書き入力1204-1の変換のタイミングを制御するために使用されていたタイマがオーバーライドされ、手書き入力1204-1がフォントベースのテキストに変換される。したがって、いくつかの実施形態では、特定のユーザ対話が、(例えば、手書きテキストをフォントベースのテキストにいつ変換するかを判定するために使用されているタイマとは無関係に)他の所定の条件が満たされるのを待機することなく、手書き入力1204-1からフォントベースのテキストへの変換を引き起こす。いくつかの実施形態では、手書き入力の変換を引き起こすユーザ対話は、ユーザが手書き入力を完了したこと、又は手書き入力の特定のシーケンスを一般的に示すものである。例えば、図12Eに示すように、ユーザがスタイラス203でテキスト入力フィールド1202-5上にタッチダウンしていることは、ユーザがテキスト入力フィールド1202-3への手書き入力の入力を完了した可能性が高い(例えば、ある時間内に任意の更なるテキストを入力しない可能性が高い)ことを示す。したがって、タイマの使用、又はさもなければ手書き入力を遅延させることは不要であり(例えば、システムがテキスト入力フィールド1202-3への任意の更なる入力を受信しない可能性が高いため)、システムは、ユーザインタフェースとのユーザの対話への過度の混乱又は妨害を引き起こすことなく、手書き入力を変換することができる。
図12Fで、手書き入力1204-2(例えば、「Salem」)をテキスト入力フィールド1202-5に入力するユーザ入力がスタイラス203から検出される。図12Gで、スタイラス203のリフトオフが検出され、任意選択的に、タイマが手書き入力1204-2をフォントベースのテキストに変換するためのカウントを開始する。図12Hで、タッチダウンが、任意のテキスト入力フィールドの外部のユーザインタフェース1200内の位置でスタイラス203から検出される。いくつかの実施形態では、手書き入力1204-2は、その時点で変換されない(例えば、デバイス500は、どのジェスチャ又はコマンドをユーザが実行しているかが不確かなため)。いくつかの実施形態では、手書き入力1204-2は、スタイラス203のタッチダウンを検出したことに応じて、及び/又はスタイラス203のタッチダウンを検出する時に、フォントベースのテキストに変換される。
図12Iで、ユーザは、タッチスクリーン504との接触を継続しながらスタイラス203を移動させ、上向きのスワイプジェスチャを実行する。いくつかの実施形態では、ユーザ入力は、上向きスクロールコマンドとして解釈される。いくつかの実施形態では、上向きスクロールコマンドを受信したことに応じて、ユーザインタフェース1200は、上向きスクロールジェスチャに従って上向きにスクロールされる(例えば、ユーザインタフェースは、ジェスチャと同じ量だけ上向きにスクロールされる)(例えば、それによりテキスト入力フィールド1202-10が現れる)。いくつかの実施形態では、ユーザがスクロールジェスチャを実行していると判定したことに応じて(例えば、ユーザインタフェースをスクロールする要求に対応するユーザ入力に応じて)、手書き入力1204-2は、フォントベースのテキストに変換される。したがって、いくつかの実施形態では、システムは、スクロールコマンドが受信されるときにユーザが手書き入力1204-2の入力を完了した可能性が高いと判定し、任意のタイマ(又は他の所定の条件の満足度)とは無関係に手書き入力1204-2をフォントベースのテキストに変換することができる。
図12Jで、手書き入力1204-3(例えば、「Bob」)をテキスト入力フィールド1202-8に入力するユーザ入力がスタイラス203から検出される。図12Kで、スタイラス203のリフトオフが検出され、任意選択的に、タイマが手書き入力1204-3をフォントベースのテキストに変換するためのカウントを開始する。図12Lで、スタイラス203は、下に置かれたことが検出される。いくつかの実施形態では、スタイラス203が下に置かれたことを検出することは、スタイラス203内の1つ以上のセンサに基づく。例えば、スタイラス203は、ユーザがスタイラス203を下に置いたと判定することができる加速度計又はジャイロスコープを含む。いくつかの実施形態では、スタイラス203はデバイス500と(例えば、Bluetoothなどの無線通信プロトコルを介して)通信し、スタイラス203が下に置かれたというデータをデバイス500に送信する。いくつかの実施形態では、スタイラス203が(例えば、デバイス500又はスタイラス203によって)下に置かれたと判定したことに応じて、手書き入力1204-3はフォントベースのテキストに変換される。
いくつかの実施形態では、スタイラス203がデバイス500から閾値距離(例えば、無線通信範囲の外側に6インチ、1フィート、2フィートなど)だけ離れていると判定されるときに、手書き入力1204-3はフォントベースのテキストに変換される。いくつかの実施形態では、スタイラス203がデバイス500から離れる方向に向いている(例えば、スタイラス203の先端又は書き込み端がデバイス500から離れる方向に向いている)と判定されるとときに、手書き入力1204-3はフォントベースのテキストに変換される。いくつかの実施形態では、スタイラス203が(例えば、デバイス500に磁気的に取り付けられ、デバイス500によって充電され、又はさもなければ非使用状態で)デバイス500とドッキングされたとき、手書き入力1204-3はフォントベースのテキストに変換される。したがって、スタイラス203自体のコンテクスト(例えば、位置、距離、角度、動き、又はユーザが手書き入力のためのスタイラスを使用して行われる他の任意の指示など)に基づいて、手書き入力は、任意選択的に、フォントベースのテキストに変換される。
図12Mで、手書き入力1204-4(例えば、「Uncle」)をテキスト入力フィールド1202-9に入力するユーザ入力がスタイラス203から検出される。図12Nで、スタイラス203のリフトオフが検出され、任意選択的に、タイマが手書き入力1204-4をフォントベースのテキストに変換するためのカウントを開始する。図12Oで、指202からのユーザ入力がタッチスクリーン504上で検出される。いくつかの実施形態では、指202からのユーザ入力は、テキスト入力フィールド1202-10上で検出される。いくつかの実施形態では、指202からのユーザ入力を(例えば、テキスト入力フィールド1202-10上、又は任意選択的にユーザインタフェース1200上の任意の場所で)検出したことに応じて、手書き入力1204-4は、(例えば、任意のタイマを考慮することなく)フォントベースのテキストに変換される。したがって、いくつかの実施形態では、ユーザがスタイラスを使用して手書き入力を実行することから、指を使用してタッチスクリーンと対話することに切り替わるときに、スタイラスからの任意の以前に入力された手書き入力は、任意選択的に、フォントベースのテキストに変換される。
図12Pで、手書き入力1204-5(例えば、「Los」)をテキスト入力フィールド1202-10に入力するユーザ入力がスタイラス203から検出される。図12Qで、スタイラス203のリフトオフが検出され、タイマ1201が手書き入力1204-5をフォントベースのテキストに変換するためのカウントを開始する。
いくつかの実施形態では、デバイスのコンテクスト及び手書き入力変換モードに基づいて、手書き入力をフォントベースのテキストに変換するために、異なる所定の遅延時間が使用される。いくつかの実施形態では、デバイス500がライブ変換モード(例えば、ユーザが依然として手書き入力を実行している間に文字又は単語が変換されるモード)にあるとき、以下で更に詳細に説明するように、より速い変換時間の特定の基準が満たされるときに、より短い所定の遅延時間(例えば、0.5秒、1秒、2秒、5秒)が使用される。いくつかの実施形態では、デバイス500がライブ変換モードにあるとき、以下で更に詳細に説明するように、より遅い変換時間の特定の基準が満たされるときに、より長い所定の遅延時間(例えば、0.5秒、1秒、2秒、3秒、5秒、10秒)が使用される。ライブ変換モードでは、いくつかの実施形態では、それぞれの文字又は単語は、それぞれの文字又は単語をフォントベースのテキストに変換するタイミングを制御するための、それ自体の対応するタイマを有する。いくつかの実施形態では、デバイス500が同時変換モード(例えば、ユーザが手書き入力のシーケンスを完了した後に、文字又は単語のシーケンス全体が一度に変換されるモード)にあるとき、第3の更に長い所定の遅延時間が使用される。同時変換モードでは、いくつかの実施形態では、文字又は単語のシーケンス全体が、文字列又は単語のシーケンスをフォントベースのテキストに変換するタイミングを制御するためのタイマを有する。
図12Qで、単語「Los」に対応する手書き入力1204-5は、追加の文字を追加して有効な単語を形成することができるものである。例えば、ユーザは「Los」に「t」を追加して、有効な単語である「Lost」を形成することができる。したがって、いくつかの実施形態では、タイマ1201は、より長い所定の時間遅延を使用して、手書き入力1204-5をフォントベースのテキストに変換する。いくつかの実施形態では、より長い所定の時間遅延を使用することは、手書き入力が変換される前に追加の入力を提供する(例えば、「t」を書き込んで単語「Lost」を完成させる)ための追加の時間をユーザに提供する。図12Rで、スタイラス203がタッチスクリーン504にまだ接触していない間、タイマ1201は、より短い所定の時間遅延を超えている。しかしながら、いくつかの実施形態では、短縮された変換時間の基準(例えば、より短い所定の時間遅延の使用に関して)が満たされないため、手書き入力1204-5は、まだフォントベースのテキストに変換されない。図12Sで、タイマ1201は、より長い所定の時間遅延を満たし、より長い所定の時間遅延を満たしたことに応じて、手書き入力1204-5がフォントベースのテキストに変換される。
図12Tで、手書き入力1204-6(例えば、「Angeles」)をテキスト入力フィールド1202-10に更に入力するユーザ入力がスタイラス203から検出される。図12Uで、スタイラス203のリフトオフが検出され、タイマ1201は、手書き入力1204-6をフォントベースのテキストに変換するためのカウントを開始する。いくつかの実施形態では、単語「Angeles」は、有効な単語を形成するために追加の文字を追加することができないものである。したがって、いくつかの実施形態では、デバイス500は、ユーザが現在の単語を書き込むことを終了する可能性が高く、より短い所定の時間遅延を使用することができると判定する。換言すれば、ユーザが単語を書き込むことを終了する可能性が高いため、システムは、ユーザが追加の文字を潜在的に追加するための追加の時間を提供する必要はない。したがって、図12Vに示すように、タイマ1201は、より短い所定の時間遅延を満たし、より短い所定の時間遅延を満たすことに応じて、手書き入力1204-6がフォントベースのテキストに変換される。
図12Wで、手書き入力1204-7(例えば、「St.」)をテキスト入力フィールド1202-10に更に入力するユーザ入力がスタイラス203から検出される。図12Xで、スタイラス203のリフトオフが検出され、タイマ1201は、手書き入力1204-7をフォントベースのテキストに変換するためのカウントを開始する。いくつかの実施形態では、単語「St.」は、句読点(例えば、ピリオド)を含む。いくつかの実施形態では、手書き入力が句読点(例えば、ピリオド、コンマ、コロン、セミコロンなど)を含む場合、デバイス500は、ユーザが現在の単語を書き込むことを終了する可能性が高く、より短い所定の時間遅延を使用することができると判定する。換言すれば、ユーザが単語を書き込むことを終了する可能性が高いため、システムは、ユーザが追加の文字を潜在的に追加するための追加の時間を提供する必要はない。したがって、図12Yに示すように、タイマ1201は、より短い所定の時間遅延を満たし、より短い所定の時間遅延を満たすことに応じて、手書き入力1204-7がフォントベースのテキストに変換される。
図12Zで、ユーザインタフェース1200は、追加のテキスト入力フィールド(例えば、テキスト入力フィールド1202-11~1202-14)及び選択可能オプション1206(例えば、ボタン)が現れるように上向きにスクロールされる。図12AAで、手書き入力1204-8(例えば、「New York」)をテキスト入力フィールド1202-12に入力するユーザ入力がスタイラス203から検出される。図12BBで、スタイラス203のリフトオフが検出され、タイマ1201は、手書き入力1204-8をフォントベースのテキストに変換するためのカウントを開始する。図12CCで、スタイラス203のリフトオフを検出した後、スタイラス203を使用して選択可能オプション1206を選択するユーザ入力が検出される。いくつかの実施形態では、選択可能オプション1206を選択するユーザ入力に応じて、手書き入力1204-8は、他の所定の条件が満たされることを待機することなく(例えば、手書きテキストをフォントベースのテキストにいつ変換するかを判定するために使用されている任意のタイマとは無関係に)、フォントベースのテキストに変換される。したがって、いくつかの実施形態では、ユーザが別のユーザインタフェース要素(例えば、別のテキスト入力フィールド、選択可能オプションなど)と対話し、又はテキストを入力する以外のジェスチャ若しくはコマンド(例えば、ユーザインタフェースをスクロールすること、ユーザインタフェースをナビゲートすることなど)を実行するときに、手書き入力はフォントベースのテキストに変換される。
図12DD~図1212MMは、デバイス500が同時変換モード(例えば、ユーザが手書き入力のシーケンスを完了した後に一度に文字又は単語のシーケンス全体が変換されるモード)になっているときに手書き入力を変換する例示的な実施形態を示す。図12DDで、デバイス500は、メモ帳アプリケーションに対応するユーザインタフェース1210を表示している。いくつかの実施形態では、ユーザインタフェース1210は、ユーザが複数のテキスト行を入力することができるテキスト入力領域1212を含む。図12EEで、手書き入力1212-1がテキスト入力領域1212内に受信される。図12FFで、4つの単語「I woke up at」を書き込む手書き入力1212-1がテキスト入力領域内に受信され続ける。いくつかの実施形態では、手書き入力1212-1は、フォントベースのテキストに変換されていない。図12GGで、4つの単語「I woke up at」を書き込んだ後に、スタイラス203のリフトオフが検出される。いくつかの実施形態では、スタイラス203のリフトオフを検出しても、手書き入力1212-1はフォントベースのテキストに変換されない。いくつかの実施形態では、スタイラス203のリフトオフは、「at」の後に次の語を書き込む際のユーザの自然な動きである。
図12HHで、次の単語「6」の書き込みを実行する手書き入力1212-2が、テキスト領域1212内で受信される。いくつかの実施形態では、手書き入力1212-2を受信したことに応じて、手書き入力1212-1(例えば、4つの単語のシーケンス全体)はフォントベースのテキストに変換される。いくつかの実施形態では、ユーザが閾値数の単語(例えば、4語、5語、6語など)を書き込んだ後に、手書き入力はフォントベースのテキストに変換される。いくつかの実施形態では、ユーザが閾値数の単語を書き込んだとき(例えば、それぞれの単語の書き込みのリフトオフの後)、又はユーザが次の単語を書き込み始めた後(例えば、手書き入力を受信し、ユーザが前の単語の後にスペースを残したと判定するなど、それが次の単語の開始であり前の単語の継続ではないと判定した後)、変換はトリガされる。いくつかの実施形態では、変換は、タイマとは無関係に、それぞれの単語を受信した後に(又は、次の単語の最初を受信した後に)実行される。いくつかの実施形態では、閾値数の単語を受信した後、デバイス500は、ユーザが前の手書き単語を編集しない可能性が高く、手書き入力を変換することは過度に妨害又は混乱にならないと判定することができる。いくつかの実施形態では、閾値数の単語の後に手書きテキストを変換することにより、ユーザが手書き入力を実行し続けるための追加のスペースを解放する。
図12IIで、5つの単語「Then I went to work」を書き込む手書き入力1212-3がテキスト入力領域1212内で受信される。図12II~図12MMに示される実施形態では、単語の閾値数が5より大きいため、5つの単語の手書き入力1212-3を受信することが、その時点での手書き入力の変換を引き起こさない。したがって、図12JJに示すように、スタイラス203のリフトオフが検出され、タイマ1211は、手書き入力1212-3の変換のためのカウントを開始する。いくつかの実施形態では、図12JJに示すように、デバイス500が同時変換モードにあるとき、手書きテキストを変換するための所定の時間遅延は、手書きテキストをライブ変換モードで変換するための時間遅延のいずれよりも長い。いくつかの実施形態では、手書きテキストを同時変換モードに変換するための所定の時間遅延は、手書きテキストをライブ変換モードで変換するためのより長い時間遅延と同じである。
図12KK及び図12LLは、手書き入力1212-3をフォントベースのテキストに変換することなくスタイラス203がタッチスクリーン504に接触しない間に、より短い所定の時間遅延(例えば、ライブ変換モード中に使用される)及びより長い所定の時間遅延(例えば、ライブ変換モード中に使用される)を超えて上方にカウントするタイマ1211を示す。図12MMで、タイマ1211は今や、同時変換モードで手書きテキストを変換するための所定の時間遅延を満たし、手書き入力1212-3がフォントベースのテキストに変換される。いくつかの実施形態では、同時変換モードにある間、及びタイマ1211が所定の時間遅延を満たすことを待機している間(例えば、タイマ1211が依然としてカウントしている間)、図6Qに関して上述したポップアップ606と同様に、ポップアップが、提案されたフォントベースのテキストの提案と共に表示される。いくつかの実施形態では、ポップアップを選択することにより、タイマ1211が所定の時間遅延を満たすのを待機することなく、手書き入力1212-3の変換を引き起こす。
図12NN~図12SSは、手書き入力を変換するために使用されるタイマをリセットする例示的な方法を示す。本明細書に記載されるタイマをリセットする方法は、ライブ及び同時変換モードの両方、並びに手書き入力を変換するために使用される任意のタイマ又は遅延時間に適用可能であることが理解される。図12NNで、手書き入力1212-4がテキスト入力領域1212内で受信される。図12OOで、スタイラス203のリフトオフが検出され、タイマ1211は、手書き入力1212-4の変換のためのカウントを開始する。図12PPで、スタイラス203は依然としてタッチスクリーン504に接触しておらず、タイマ1211は、より短い所定の時間遅延(例えば、ライブ変換モードの間に使用される)を超えている。図12QQで、タイマ1211がまだカウントされている間に、デバイス500は、スタイラス203がタッチし手書き入力1212-4を実行し続けており、単語「after」を単語「afterwards」に伸長していることを検出する。図12QQに示すように、単語「after」に追加し続けているユーザ入力を受信したことに応じて、タイマ1211はその初期位置にリセットする。いくつかの実施形態では、タイマ1211は、ユーザが特定の単語に追加し続けるときに、その初期位置にリセットする。いくつかの実施形態では、タイマ1211は、ユーザが手書き入力を継続するときであれば、それが新しい単語の(例えば、前の単語の継続ではない)ときでも、その初期位置にリセットする。
図12RRで、スタイラス203のリフトオフが検出され、タイマ1211は、手書き入力1212-4のフォントベースのテキストへの変換のために再びカウントを開始する。図12SSで、タイマ1211がより短い所定の時間遅延に達した後(例えば、デバイス500が現在ライブ変換モードになり、追加の文字が「afterwards」に追加され得ないため)、手書き入力1212-4はフォントベースのテキストに変換される。
図13A~図13Gは、手書きテキストをフォントベースのテキストに変換するタイミングを管理する方法1300を示す流れ図である。方法1300は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで実行される。方法1300におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に説明するように、方法1300は、手書きテキストをフォントベースのテキストに変換するタイミングを管理する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、タッチ感知ディスプレイと通信する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーンを含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、図12Aのように、タッチ感知ディスプレイ上で、テキスト入力ユーザインタフェース(例えば、ユーザがテキストを入力することができるテキストフィールドを有するユーザインタフェース)を表示する(1302)。いくつかの実施形態では、テキストは、物理キーボード、ソフトキーボード、又はスタイラス(例えば、方法700を参照して説明されるような)を使用してテキストフィールドに入力される。
いくつかの実施形態では、テキスト入力ユーザインタフェースを表示している間に、図12Bのように、電子デバイスは、タッチ感知ディスプレイを介して、テキスト入力ユーザインタフェース内の1つ以上の手書きユーザ入力の第1のシーケンスを受信する(1304)(例えば、テキスト入力ユーザインタフェース内のテキストフィールド上、又はその近くのスタイラスから手書き入力を受信する)。いくつかの実施形態では、手書き入力は、1つ以上の文内の1つ以上の単語に対応する1つ以上の文字のシーケンスである。
いくつかの実施形態では、1つ以上の手書きユーザ入力の第1のシーケンスを受信している間に、図12Bのように、電子デバイスは、タッチ感知ディスプレイ上に、テキスト入力ユーザインタフェース内の1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現を表示する(1306)(例えば、入力が受信される際にディスプレイ上に手書き入力の軌跡を表示する)。いくつかの実施形態では、ユーザがタッチ感知ディスプレイ上に「描画」すると、ディスプレイは、入力が受信された位置にユーザの手書き入力の軌跡を示す。
いくつかの実施形態では、1つ以上の手書きユーザ入力の第1のシーケンスの終了(例えば、手書きユーザ入力のシーケンスの任意の好適な終了)を検出したことに応じて(1308)、1つ以上の手書きユーザ入力の第1のシーケンスに関連付けられたコンテクストが1つ以上の第1の基準(例えば、他の所定の条件を待機することなく手書き入力をフォントベースのテキストに変換するためのテキスト変換基準)を満たすとの判定に従って、図12Eのように、電子デバイスは、それぞれのタイミング基準が満たされているか否かとは無関係に、1つ以上の手書きユーザ入力の第1のシーケンスに対応するテキストで、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現を置換する(1310)(例えば、ユーザ入力に基づいて、手書き入力をコンピュータテキストに変換する)。
例えば、ユーザが手書き入力を実行することを(例えば、1、3又は5秒などの閾値量の時間)停止した場合、手書き入力のシーケンスは終了していると見なされる。いくつかの実施形態では、ユーザが文字、単語、又は文を書き込むことを完了した場合、手書き入力のシーケンスは終了していると見なされる。いくつかの実施形態では、手書き入力は、手書き入力の終端と見なされるために、文、単語、又は文字を書き込むことを必ずしも完了する必要はない。例えば、ユーザが、文中、単語中、又は文字中に入力を停止した場合、手書き入力のシーケンスは、任意選択的に終了したと見なされる。いくつかの実施形態では、手書き入力を受信している間に(例えば、又は任意選択的に、手書きの単語、文字、又は文を受信する間に)別のユーザ入力が検出される場合、手書き入力のシーケンスは終了したと見なされる。
例えば、トリガイベントは、任意選択的に、(例えば、任意のタイマとは無関係に)他の所定の条件が満たされることを待機することなく、その時点で手書き入力をコンピュータテキストに変換させる。いくつかの実施形態では、ユーザが1つのテキストフィールド内に手書き入力を入力し、別のテキストフィールドを選択する場合、第1のテキストフィールド内の手書き入力はコンピュータテキストに変換される。いくつかの実施形態では、ユーザが手書き入力を入力し、次いで別のユーザインタフェース要素と対話するか、又はユーザインタフェースをスクロールする場合、手書き入力はコンピュータテキストに変換される。いくつかの実施形態では、ユーザがスタイラスを使用して手書き入力を入力し、続いて、指を使用して画面と対話する場合、手書き入力はコンピュータテキストに変換される。いくつかの実施形態では、ユーザがスタイラスを使用して手書き入力を入力し、スタイラスを下に置き、スタイラスをタッチスクリーンから遠ざけ、又はスタイラスを(例えば、スタイラス内の加速度計、ジャイロスコープ、若しくは他の位置及び/若しくは回転感知機構からの測定に基づいて)片づける場合、手書き入力はコンピュータテキストに変換される。
いくつかの実施形態では、1つ以上の手書きユーザ入力の第1のシーケンスの終端(例えば、手書きユーザ入力のシーケンスの任意の好適な終了)を検出したことに応じて(1308)、1つ以上の手書きユーザ入力の第1のシーケンスに関連付けられたコンテクストが1つ以上の第1の基準を満たさないとの判定に従って、図12D及び図12Qのように、電子デバイスは、それぞれのタイミング基準が満たされるまで、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現を、1つ以上の手書きユーザ入力の第1のシーケンスに対応するテキストで置換することを遅延させる(1312)(例えば、ユーザ入力に基づいて、所定の長さのタイマを使用して、手書き入力をコンピュータテキストに変換する)。いくつかの実施形態では、手書き入力が所定の長さの時間一時停止されると、次いで、手書き入力をフォントベースのテキストに変換する。いくつかの実施形態では、単語又は文字が所定量の時間受信された後、単語又は文字をフォントベースのテキストに変換する。いくつかの実施形態では、手書き入力のコンテクストに応じて、手書き入力をコンピュータテキストに変換するために、異なる長さの時間が使用される。例えば、より短いタイマ(例えば、0.5秒、1秒、2秒、3秒など)を使用して、ユーザが句読点(例えば、ピリオド)を入力した後に手書き入力を一時停止した場合にテキストを変換する。いくつかの実施形態では、ユーザが追加の文字を追加できない(例えば、より多くの文字を追加することによって他の単語を作成することができない)単語を書き込んだ後に、より短いタイマが使用される。いくつかの実施形態では、より長いタイマ(例えば、10秒、5秒、3秒、2秒、1.5秒など)を使用して、より短いタイマの条件のうちの1つを満足することなくユーザが手書き入力を一時停止した場合に変換する。例えば、ユーザが文の途中で手書き入力を一時停止する場合、システムは、手書き入力をコンピュータテキストに変換する前に、より長い時間待機する。いくつかの実施形態では、他の所定の条件が満たされるのを待機することなくテキストを変換する条件が満たされない場合、システムは、テキストを変換する前に特定の所定量の時間待機し(例えば、他の所定の条件が満たされるのを待機する)、いくつかの実施形態では、所定量の時間は、手書き入力のコンテクストに基づいて変化する。いくつかの実施形態では、タイマがカウントダウンしている間に受信される更なる入力は、タイマをリセットさせる。例えば、ユーザが文の途中で入力を一時停止し、より長いタイマがテキストを変換するためにカウントを開始するが、タイマがより長い閾値量の時間に達する前にユーザが手書き入力を再開した場合、タイマは、ユーザの次の一時停止又は手書き入力の終了まで待機する。したがって、いくつかの実施形態では、その追加入力の特性に基づいて、前の入力が変換されるときに、追加入力が前の入力に追加される(又は追加されない)。
手書き入力をテキストに(例えば、特定の条件下でテキストに変換し、他の条件下で特定量の時間だけ変換を遅延させることにより)変換する上述の方法により、電子デバイスは、(例えば、ユーザが書き込みを終了したことを示す特定の状況でテキストを変換し、ユーザが書き込みを完了したように思われないときには変換しない(又は変換を遅延させる)ことにより)ユーザが手書き入力を完了したと思われるときにテキストを変換することが可能となる。これは、(例えば、ユーザがいまだ書き込み中に見える時に、過度にユーザに混乱させることなく、ユーザが書き込みを完了したときであっても常に変換を待機すること、又はユーザが書き込みを終了する前に時期尚早にテキストを変換させることをユーザに必要とすることなく、(例えば、ユーザが書き込みを完了したと思われる状況では)できるだけ早く手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12HHのように、1つ以上の第1の基準は、1つ以上の手書きユーザ入力の第1のシーケンスが閾値数を超える単語とそれに続くスペースを含むときに満たされ(1314)(例えば、ユーザが閾値数の単語(例えば、2語、3語、5語など)を書き込んだ後に)、次いで、単語をフォントベースのテキストに変換する。いくつかの実施形態では、変換は、次の単語の書き込み後に起こる(例えば、閾値が5語である場合、第6の単語が書き込まれているとの認識後に変換を実行する)。いくつかの実施形態では、変換は、ユーザが閾値数の単語を書き込むことを完了したことをシステムが認識した後に起こる。
手書き入力をテキストに(例えば、ユーザが閾値数の単語を書き込んだ後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、単語を変換することがユーザの手書き入力を混乱させず、単語がフォントベースのテキストに変換される前の時間遅延を均衡させる状況でテキストを変換することにより)ユーザが特定の数の単語を書き込んだ後にテキストを変換することが可能となる。これは、(例えば、ユーザが書き込みを完了したときであっても変換を待機すること、又はユーザが単語又は文の書き込みを終了する前に時期尚早にテキストを変換させることをユーザに必要とすることなく、ユーザが依然として書き込みをしているときにユーザを過度に混乱させることなくできるだけ早くユーザの手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Eのように、1つ以上の第1の基準は、1つ以上の手書きユーザ入力の第1のシーケンスがテキスト入力ユーザインタフェース内の第1のテキスト入力領域に向けられているときに満たされ、1つ以上の手書きユーザ入力の第1のシーケンスの終端は、テキスト入力ユーザインタフェース内の第2のテキスト入力領域に向けられた入力を含む(1316)(例えば、ユーザが別のテキスト入力領域と対話し、又はさもなければ別のテキスト入力領域にテキストを入力する要求を示しているときに、手書き入力をフォントベースのテキストに変換する)。例えば、ユーザが別のテキスト入力領域を選択した場合、他の所定の条件が満たされるのを待機することなく、第1のテキスト入力領域内に入力されたテキストを変換する。
手書き入力をテキストに(例えば、別のテキスト入力領域内にテキストを挿入せよとの要求をユーザが示した後に、フォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、ユーザがテキストを入力するために別のテキスト入力領域を選択することによってテキスト入力領域への手書きテキストの入力が完了したことを知らせたときにテキストを変換することにより)ユーザがテキスト入力領域内での手書き入力を完了した後にテキストを変換することが可能となる。これは、(例えば、ユーザが書き込みを完了したときであっても変換を待機することをユーザに必要とすることなく、ユーザが第1のテキスト入力領域内に手書き入力を入力することを終了したと思われるときにはできるだけ早くユーザの手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12CCのように、テキスト入力ユーザインタフェースはアクションを実行するための選択可能オプションを含み、1つ以上の第1の基準は、1つ以上の手書きユーザ入力の第1のシーケンスの終端が選択可能オプションの選択を含むときに満たされる(1318)(例えば、ユーザがユーザインタフェース上の選択可能オプションを選択する(例えば、作動させる)場合、任意の入力された手書き入力をフォントベースのテキストに変換する)。
手書き入力をテキストに(例えば、ユーザが選択可能オプションを選択することを含めて別のユーザインタフェースと対話した後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、選択可能オプションを選択することによってユーザがテキスト入力領域内で手書きテキストの入力を完了したときにテキストを変換することにより)ユーザがテキスト入力領域内で手書き入力を完了した後にテキストを変換することが可能となる。これは、(例えば、ユーザが書き込みを完了したときであっても変換を待機することをユーザに必要とすることなく、ユーザが第1のテキスト入力領域内で手書き入力を入力することを終了したように見えるときにできるだけ早くユーザの手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Oのように、1つ以上の手書きユーザ入力の第1のシーケンスは、タッチ感知ディスプレイ上で検出されたスタイラス入力を含み、1つ以上の第1の基準は、指入力を含む入力がタッチ感知ディスプレイ上で検出されるときに満たされる(1320)(例えば、スタイラスから手書き入力を受信した後、入力が指から検出されたときに手書き入力を変換する)。
手書き入力をテキストに(例えば、ユーザが指でタッチスクリーンと対話した後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、スタイラスの代わりに指を使用するように切り替えることによってユーザがテキスト入力領域内での手書きテキストの入力を完了したことを知らせるときにテキストを変換することにより)ユーザがテキスト入力領域内で手書き入力を完了した後にテキストを変換することが可能となる。これは、(例えば、ユーザが書き込みを完了したときであっても変換を待機することをユーザに必要とすることなく、ユーザが第1のテキスト入力領域内で手書き入力を入力することを終了したように見えるときにできるだけ早くユーザの手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Iのように、1つ以上の第1の基準は、タッチ感知ディスプレイ上でスクロール入力が検出されると満たされる(1322)(例えば、手書き入力を受信した後、ユーザインタフェース上でスクロール入力又はジェスチャを検出する)。いくつかの実施形態では、ユーザが、第1のテキスト入力ユーザインタフェースに手書き入力を入力した後に、異なるユーザインタフェース要素と対話する場合である。例えば、ユーザがスクロールジェスチャを実行するか、又はさもなければユーザインタフェースをスクロール若しくはナビゲートする要求を入力する場合、他の所定の条件が満たされるのを待機することなく以前に入力された手書き入力が変換されるべきであるように、ユーザは第1のテキスト入力ユーザインタフェース内で手書き入力を完了したことを知らせている。
手書き入力をテキストに(例えば、ユーザがスクロール入力を実行した後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、スクロール入力を実行することによって、ユーザがテキスト入力領域内で手書きテキストの入力を完了したことを知らせるときにテキストを変換することにより)ユーザがテキスト入力領域内で手書き入力を完了した後にテキストを変換することを可能にする。これは、(例えば、ユーザが書き込みを完了したときであっても変換を待機することをユーザに必要とすることなく、ユーザが第1のテキスト入力領域内で手書き入力を入力することを終了したように見えるときにできるだけ早くユーザの手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Lのように、1つ以上の手書きユーザ入力の第1のシーケンスは、タッチ感知ディスプレイ上で検出されたスタイラス入力を含み、1つ以上の第1の基準は、スタイラスがユーザによって表面上に置かれたとの判定に従って満たされる(1324)(例えば、ユーザが手書き入力を実行した後、ユーザがスタイラスを下に置いたと判定されたときに、手書き入力をフォントベースのテキストに変換する)。いくつかの実施形態では、スタイラスは、位置、方向、速度、角度などを検出するための1つ以上のセンサ(例えば、ジャイロスコープ、加速度計など)を有する。いくつかの実施形態では、スタイラスは、スタイラス及び/又はシステムが、スタイラスがテーブル上に置かれているか、又はさもなければ片づけられていると判定することができるように、1つ以上のセンサからシステムにデータを通信することができる。いくつかの実施形態では、スタイラス及び/又はデバイスは、ユーザがもはやスタイラスを保持又はタッチしていない場合に、スタイラスが下に置かれていると判定する。
手書き入力をテキストに(例えば、ユーザがスタイラスを下に置いた後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、スタイラスを下に置くことによって、ユーザがテキスト入力領域内で手書きテキストの入力を完了したことを知らせるときにテキストを変換することにより)ユーザがテキスト入力領域内で手書き入力を完了した後にテキストを変換することを可能にする。これは、(例えば、ユーザが書き込みを完了したときであっても変換を待機することをユーザに必要とすることなく、ユーザが第1のテキスト入力領域内で手書き入力を入力することを終了したように見えるときにできるだけ早くユーザの手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Lのように、1つ以上の手書きユーザ入力の第1のシーケンスは、タッチ感知ディスプレイ上で検出されたスタイラス入力を含み、1つ以上の第1の基準は、スタイラスがタッチ感知ディスプレイから閾値距離(例えば、0.5cm、1cm、3cm、5cm)よりも多く移動したときに満たされる(1326)(例えば、ユーザが手書き入力を実行した後、ユーザがディスプレイから特定の距離だけ離れてスタイラスを移動したと判定されたときに、手書き入力をフォントベースのテキストに変換する)。換言すれば、いくつかの実施例では、ユーザが手書き入力を一時停止し、スタイラスを特定の閾値距離だけ離れて移動させる場合、ユーザが手書き入力を完了したか、又は手書き入力を一時停止することをユーザは知らせている。
手書き入力をテキストに(例えば、ユーザがタッチスクリーンから閾値距離だけ離れてスタイラスを移動させた後に手書き入力をフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、スタイラスをタッチスクリーンから閾値距離だけ離れて移動させることにより、ユーザがテキスト入力領域内で手書きテキストの入力を完了したこと、又は、テキスト入力領域内の手書き入力を一時停止したことを知らせるときにテキストを変換することにより)ユーザがテキスト入力領域内の手書き入力を完了又は一時停止した後にテキストを変換することが可能となる。これは、(例えば、ユーザが書き込みを完了したときであっても変換を待機することをユーザに必要とすることなく、ユーザが第1のテキスト入力領域内で手書き入力を入力することを終了したように見えるか、又は一時停止したように見えるときに、できるだけ早くユーザの手書き入力の結果をユーザに表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Vのように、1つ以上の第2の基準が満たされているという判定に従って、1つ以上の手書きユーザ入力の第1のシーケンスの終了から第1の時間閾値が経過したときに、それぞれのタイミング基準が満たされる(1328)(例えば、いくつかの実施形態では、より短いタイマ(例えば、0.5秒、1秒、2秒、3秒)を使用して、手書き入力をフォントベースのテキストに変換する)。例えば、ユーザが更なる文字を追加することができない単語を書き込む場合、より短い時間遅延後に単語を変換する。別の実施例では、ユーザが句読点を入力した場合、より短い時間遅延の後に、手書きテキストを句読点まで及びそれを含めて変換する。
いくつかの実施形態では、図12Sのように、1つ以上の第3の基準が満たされているとの判定に従って、それぞれのタイミング基準は、1つ以上の手書きユーザ入力の第1のシーケンスの終了から第1の時間閾値よりも長い第2の時間閾値が経過したときに満たされる(1330)(例えば、いくつかの実施形態では、より長いタイマ(例えば、1秒、2秒、3秒、5秒、10秒)を使用して、手書き入力をフォントベースのテキストに変換する)。例えば、ユーザが単語(句読点を含まず、更なる文字を追加できない)を書き込む場合、より長い時間遅延の後に、単語をフォントベースのテキストに変換する。
手書き入力をテキストに(例えば、手書き入力のコンテクストに基づいて、所定量のタイマの後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、ユーザが単語又は文の書き込みを完了した可能性が高い状況ではより短いタイマを使用してテキストを変換し、ユーザが更なる文字又は単語を入力する可能性が潜在的にある状況ではより長いタイマを使用してテキストを変換することにより)ユーザが単語の書き込みを完了した後、又はできるだけ妨げにならない時点でテキストを変換することが可能となる。これは、(例えば、ユーザが一時的に書き込みを一時停止したときであっても書き込みを継続する機会をユーザに提供しながら、できるだけ妨げにならない時に手書き入力を変換することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Wのように、1つ以上の第2の基準は、1つ以上の手書きユーザ入力の第1のシーケンスの終了が文字シーケンスに句読点を追加する要求を含むときに満たされる(1332)(例えば、手書き入力が句読点を含むときに、より短いタイマを使用して手書き入力をフォントベースのテキストに変換する)。例えば、ユーザが文を書き込み、ピリオドを含む場合、より短い遅延の後に、文をフォントベースのテキストに変換する。
手書き入力をテキストに(例えば、ユーザが句読点を入力したことを検出した後、より短いタイマ遅延後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、ユーザが句読点を入力し、ユーザが単語又は文を書き込むことを完了した可能性が高いときに、より短いタイマを使用してテキストを変換することにより)ユーザが単語の書き込みを完了した後、又はできるだけ妨げにならない時点で、テキストを変換することが可能となる。これは、(例えば、できるだけ妨げにならず、単語又は文の書き込みを完了した可能性が高い時に、手書き入力を変換することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Tのように、1つ以上の第2の基準は、1つ以上の手書きユーザ入力が、文字を追加することができない単語で終わるときに満たされる(1334)(例えば、ユーザが更なる文字を追加することができない単語を書き込む場合、手書き入力をフォントベースのテキストに変換する前に、より短いタイマを使用する)。
手書き入力をテキストに(例えば、更なる文字が追加され得る単語を検出した後に、フォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、更なる文字が追加され得ない単語をユーザが入力し、ユーザが単語の書き込みを完了した可能性が高いときに、より短いタイマを使用してテキストを変換することにより)ユーザがおそらく単語の書き込みを完了した後にテキストを変換することが可能となる。これは、(例えば、できるだけ妨げにならず、単語の書き込みを完了した可能性が高い時に、手書き入力を変換することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Sのように、1つ以上の第3の基準は、1つ以上の手書きユーザ入力の第1のシーケンスの終端が、時間閾値(例えば、1、2、3秒)よりも長い一時停止を含むときに満たされる(1336)。いくつかの実施形態では、(その時点での変換のための)第1の基準及び(遅延後の変換のための)第2の基準が満たされない場合に第3の基準が満たされる。
手書き入力をテキストに(例えば、より速い変換のための他の基準が満たされない場合に、より長いタイマの後にフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、他のより速い変換状況のいずれも適用されないときに、より長いタイマを使用してテキストを変換することにより)特定の時間遅延の後にテキストを変換することが可能となる。これは、(例えば、手書き入力の変換を引き起こすために追加の入力を実行することをユーザに必要とすることなく、過度の遅延なしに手書き入力が変換されることを保証することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12MMのように、手書きユーザ入力と共に表示された選択可能オプションの選択に応じて手書きユーザ入力がフォントベースのテキストに変換される第1のモードでテキスト入力ユーザインタフェースが動作しているとの判定に従って、1つ以上の手書きユーザ入力の第1のシーケンスの終了から1つ以上の第1の時間閾値が経過したときにそれぞれのタイミング基準が満たされている(1338)(例えば、第1の動作モードでは、手書き入力は、手書き入力の完了又は終了後に一度に変換される(例えば、「同時変換」又は「同時コミット」モード))。いくつかの実施形態では、手書き入力の(例えば、フォントベースのテキストの)提案される変換の選択可能オプションがユーザに提示される。いくつかの実施形態では、選択可能オプションの選択により、手書き入力は、提案されたフォントベースのテキストに変換される。いくつかの実施形態では、選択可能オプションが選択されない場合、より長い期間(例えば、1.5秒、3.5秒、5秒、10秒)後、手書きテキストの全体がフォントベースのテキストに変換される。いくつかの実施形態では、手書きテキストを変換する上述の「同時変換」又は「同時コミット」モードは、選択可能オプションを表示することなく実行され、より長い期間が経過した後に変換が起こる(例えば、ユーザは、変換を引き起こすための選択可能オプションを選択するオプションを提示されない)。
いくつかの実施形態では、図12Sのように、変換のための選択可能オプションの表示又は選択なしに手書きユーザ入力がフォントベースのテキストに変換される第2のモードでテキスト入力ユーザインタフェースが動作しているとの判定に従って、1つ以上の手書きユーザ入力の第1のシーケンスの終了から1つ以上の第1の時間閾値よりも小さい1つ以上の第2の時間閾値が経過したときにそれぞれのタイミング基準が満たされている(1340)(例えば、第2の動作モードでは、手書き入力が受信されるときに手書き入力は変換される(例えば、「ライブコミット」モード))。いくつかの実施形態では、手書き入力のコンテクストに基づいて、手書き入力をフォントベースのテキストに変換するために、異なる時間閾値が使用される。いくつかの実施形態では、各手書き単語は、その固有のタイマ(例えば、それぞれの単語の完了から0.5秒、1秒、2秒)に基づいて変換される。
手書き入力をテキストに(例えば、2つの変換モード、すなわち、入力が受信及び確認されながら変換されるモードと、全ての入力が完了した後に手書き入力全体が変換されるモードとを提供することにより)変換する上述の方法により、電子デバイスは、(例えば、どちらのモードが状況に対して最も適切かに基づいて2つの変換モードを提供することにより)2つの異なる変換モードに従って変換を行うことが可能となる。これは、(例えば、異なる変換モードを提供し、テキスト挿入状況により適したモードを採用することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Pのように、1つ以上の手書きユーザ入力の第1のシーケンスは、フォントベースのテキストの第1のシーケンスに対応する(1342)。いくつかの実施形態では、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現をフォントベースのテキストの第1のシーケンスで置換することを遅延させた後に、図12Sのように、電子デバイスは、それぞれのタイミング基準が満たされたと判定する(1344)(手書き入力を受信した後、(例えば、コンテクストに基づいて使用されるそれぞれのタイマに基づいて)それぞれの期間を遅延させる)。
いくつかの実施形態では、それぞれのタイミング基準が満たされたと判定したことに応じて、図12Sのように、電子デバイスは、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現をフォントベースのテキストの第1のシーケンスで置換する(1346)(例えば、手書き入力をフォントベースのテキストに変換する)。いくつかの実施形態では、タイマの使用により変換プロセスを遅延させた後、変換されたフォントベースのテキストは、変換基準(例えば、非タイマベースの変換基準)が満たされた場合(例えば、別のテキスト入力領域を選択する、選択可能オプションを選択する、ユーザインタフェースをスクロールするなど)に手書きテキストが変換されたであろうものと同じフォントベースのテキストである。例えば、ユーザが、それぞれのテキストフィールド内に単語を書き込むことを完了し、非タイマベースの変換入力トリガを実行する代わりに、閾値量の時間だけ入力を一時停止する場合、手書き入力はフォントベースのテキストに変換される。
手書き入力をテキストに(例えば、非タイマベースの変換基準を満たす結果として、又はタイマベースの変換基準を満たす結果として、変換が行われるかどうかとは無関係に、結果として得られる同じフォントベースのテキストに手書きテキストを変換することにより)変換する上述の方法により、電子デバイスは、(例えば、タイマを使用しない変換がタイマベースの変換と同じフォントベースのテキストを生じることを保証することにより)手書きテキストの一貫した信頼性の高い変換をユーザに提供することが可能となる。これは、(例えば、異なる変換モードを提供し、テキスト挿入状況により適したモードを採用することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12Pのように、1つ以上の手書きユーザ入力の第1のシーケンスは、フォントベースのテキストの第1のシーケンスに対応する(1348)。いくつかの実施形態では、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現をフォントベースのテキストの第1のシーケンスで置換することを遅延させた後に、図12Sのように、電子デバイスは、それぞれのタイミング基準が満たされたと判定する(1350)(例えば、手書き入力を受信した後、(例えば、コンテクストに基づいて使用されるそれぞれのタイマに基づいて)それぞれの期間を遅延させる)。
いくつかの実施形態では、それぞれのタイミング基準が満たされたと判定したことに応じて、図6Hのように、電子デバイスは、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現をフォントベースのテキストの第1のシーケンスとは異なるフォントベースのテキストに置換する(1352)(例えば、非タイマベースの変換基準が満たされた場合(例えば、別のテキスト入力領域を選択する、選択可能オプションを選択する、ユーザインタフェースをスクロールするなど)に手書きテキストが変換されたであろうフォントベースのテキストとは異なるフォントベースのテキストに手書き入力を変換する)。例えば、手書き入力は、1つ以上の誤記(例えば、綴りエラー、文法エラー)を含み、手書き入力がフォントベースのテキストに変換されるときに、1つ以上の誤記が訂正される。いくつかの実施形態では、手書き入力の変換を遅延させることは、ユーザが(例えば、手書き入力の更なるコンテクストから)書き込むことを意図したものに関するより多くの情報をシステムに提供し、手書き入力におけるエラーの識別及び訂正の信頼性を高める。
手書き入力をテキストに(例えば、手書きテキスト内の識別されたエラーを同時に自動的に訂正しながら手書きテキストをフォントベースのテキストに変換することにより)変換する上述の方法により、電子デバイスは、(例えば、手書きテキスト内のエラーを識別し、手書き入力をフォントベースのテキストに変換するプロセス中にエラーを自動的に訂正することにより)手書きテキスト内のユーザエラーを自動的に訂正することが可能となる。これは、(例えば、フォントベースのテキストへの変換後にエラーを訂正するために追加の入力を実行すること又は別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、ユーザの手書き入力内のエラーを自動的に訂正することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図12NNのように、1つ以上の手書きユーザ入力の第1のシーケンスは、フォントベースのテキストの第1のシーケンスに対応する(1354)。いくつかの実施形態では、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現をフォントベースのテキストの第1のシーケンスで置換することを遅延させた後に、図12QQのように、電子デバイスは、タッチ感知ディスプレイを介して、フォントベースのテキストの第2のシーケンスに対応する1つ以上の手書きユーザ入力の第2のシーケンスを検出する(1356)(例えば、手書き入力の第1のシーケンスを受信した後、手書き入力の第2のシーケンスを受信する)。いくつかの実施形態では、手書き入力の第1のシーケンスに対して保留されたタイマは、手書き入力の第2のシーケンスが受信されるとリセットする。いくつかの実施形態では、手書き入力の第2のシーケンスの検出にもかかわらず、タイマはカウントを継続する。
いくつかの実施形態では、1つ以上の手書きユーザ入力の第2のシーケンスを検出したことに応じて、図12QQのように、電子デバイスは、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現と共に、1つ以上の手書きユーザ入力の第2のシーケンスの視覚的表現を表示する(1358)。いくつかの実施形態では、1つ以上の手書きユーザ入力の第2のシーケンスの視覚的表現を表示した後に、図12SSのように、電子デバイスは、それぞれのタイミング基準が満たされたと判定する(1360)(例えば、第1及び第2の手書き入力を受信した後に、(例えば、コンテクストに基づいて使用されるそれぞれのタイマに基づいて)それぞれの期間を遅延させる)。いくつかの実施形態では、それぞれのタイマは、手書き入力の第1のシーケンスのためのタイマであり、手書き入力の第2のシーケンスを受信した後にリセットされなかった。いくつかの実施形態では、それぞれのタイマは、手書き入力の第2のシーケンスを受信した後にリセットされた。
いくつかの実施形態では、それぞれのタイミング基準が満たされたと判定したことに応じて(1362)、図12SSのように、電子デバイスは、1つ以上の手書きユーザ入力の第1のシーケンスの視覚的表現をフォントベースのテキストの第1のシーケンスで置換する(1364)(例えば、手書き入力の第1のシーケンスを、手書き入力の第1のシーケンスに対応するフォントベースのテキストに変換する)。
いくつかの実施形態では、それぞれのタイミング基準が満たされたと判定したことに応じて(1362)、図12SSのように、電子デバイスは、1つ以上の手書きユーザ入力の第2のシーケンスの視覚的表現をフォントベースのテキストの第2のシーケンスで置換する(1366)(例えば、手書き入力の第2のシーケンスを、手書き入力の第2のシーケンスに対応するフォントベースのテキストに変換する)。いくつかの実施形態では、手書き入力の第1のシーケンスのためのタイマが満了する前に手書き入力の第2のシーケンスが受信されたため、手書き入力の第2のシーケンスの変換は加速される。逆に、いくつかの実施形態では、手書き入力の第2のシーケンスの受信により、タイマが手書き入力の第2のシーケンスを変換するために使用されるタイマにリセットされたため、手書き入力の第1のシーケンスの変換は遅延され、手書き入力の第1及び第2のシーケンスの両方が、リセットされたタイマに基づいて同時に変換される。
手書き入力をテキストに(例えば、単一のタイマに基づいて同時に手書き入力の第1のシーケンス及び手書き入力の第2のシーケンスを変換することにより)変換する上述の方法により、電子デバイスは、(例えば、手書き入力の第1のシーケンスのためのタイマ又は手書き入力の第2のシーケンスが受信されたときにリセットされたタイマに基づいて、同時に手書き入力の第1及び第2のシーケンスを変換することにより)テキスト変換動作を組合せ、ユーザに対する中断を低減することが可能となる。これは、(例えば、手書き入力の両方のシーケンスの変換を待機することをユーザに必要とすることなく、同時に手書き入力の両方のシーケンスを変換することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図13A~図13Gにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、900、1100、1500、1600、1800、2000、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図13A~図13Gに関して上述した方法1300にも、類似の様式で適用可能であることに留意されたい。例えば、方法1300を参照して上述した手書き入力をフォントベースのテキストに変換するタイミングを管理する動作は、本明細書に記載される他の方法(例えば、方法700、900、1100、1500、1600、1800、2000、及び2200)を参照して本明細書に記載される手書き入力の受け入れ及び/又は変換、テキストの選択及び削除、手書き入力を既存のテキストに挿入すること、手書き入力メニューを提示すること、手書き入力の特性を制御すること、自動補完提案を提示すること、及び手書き入力をフォントベースのテキストに変換すること、コンテンツ入力パレットにオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図13A~図13Gを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作1302、1306、及び1358、並びに受信する動作1304は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
手書き入力メニュー
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。いくつかの実施形態では、電子デバイスは、テキスト入力及びグラフィカル入力の両方を受け入れるユーザインタフェースを表示する。以下に説明する実施形態は、電子デバイスが、テキスト入力及びグラフィカル入力の両方を受け入れるテキストフィールドへのユーザ入力を制御するための入力制御メニューを表示する方法を提供する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図14A~図14Vは、電子デバイスが手書き入力メニューを提示する例示的な方法を示す。これらの図中の実施形態は、図15A~図15F及び図16A~図16Dを参照して説明するプロセスを含め、以下に説明するプロセスを例示するために使用される。
図14Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図14Aに示すように、電子デバイス500はユーザインタフェース1400を提示する。いくつかの実施形態では、ユーザインタフェース1400は、電子メールを作成するための電子メールアプリケーションのユーザインタフェースである。いくつかの実施形態では、ユーザインタフェース1400は、テキスト入力フィールド1402及び一般入力フィールド1404を含む。いくつかの実施形態では、テキスト入力フィールド1402は、テキスト入力のみを受け入れ、表示する。例えば、図14Aに示すように、テキスト入力フィールド1402は、電子メールの受信者を提供するためのテキスト入力フィールドであり、入力としてテキストのみを受け入れる。いくつかの実施形態では、一般入力フィールド1404は、テキスト入力及びメディア入力の両方を受け入れ、表示する。例えば、一般入力フィールド1404は、電子メールのメッセージ本文であり、テキスト、記号、ピクチャ、リンク、動画、マルチメディア、添付書類などを受け入れる。
図14Bで、手書き入力1406が、電子メール受信者フィールドに対応するテキスト入力フィールド1402内でスタイラス203から受信される。いくつかの実施形態では、テキスト入力フィールド1402はテキスト入力のみをサポートするため、手書き入力1406はテキスト入力として解釈される。したがって、図14Cに示すように、いくつかの実施形態では、手書き入力1406は、(例えば、方法700及び/又は方法1300に従って)フォントベースのテキストに変換される。
図14Dで、スタイラス203のタッチダウンが、一般入力フィールド1404で検出される。いくつかの実施形態では、一般入力フィールド1404はテキスト及びメディアの両方を受け入れ、表示するため、デバイス500は、テキスト又は描画のいずれかとして、スタイラス203からの入力を受け入れることができる。したがって、図14Eに示すように、いくつかの実施形態では、一般入力フィールド1404でスタイラス203のタッチダウンを検出したことに応じて、手書き入力メニュー1410が表示される。いくつかの実施形態では、手書き入力メニュー1410は、スタイラスを使用してコンテンツを生成するための1つ以上のオプションを含むコンテンツ入力ユーザインタフェースである。
図14Eに示すように、手書き入力メニュー1410は、選択可能オプション1412-1~1412-2、1414-1~1414-4、1416、1418、及び1419を含む。いくつかの実施形態では、より少ない又はより多くの選択可能オプションが、手書き入力メニュー1410上に表示される。いくつかの実施形態では、選択可能オプション1412-1は、直近に実行された機能又は動作をアンドゥするために選択可能であるアンドゥオプションに対応する。いくつかの実施形態では、選択可能オプション1412-2は、直近にアンドゥした機能若しくは動作を再実行するため、又は直近に実行された機能若しくは動作を再実行するために選択可能であるリドゥオプションに対応する。
いくつかの実施形態では、選択可能オプション1414-1~1414-4は、複数の描画ツールに対応する。いくつかの実施形態では、描画ツールは、手書き入力の形状、サイズ、スタイル、及び他の視覚的特性を制御する。例えば、テキスト入力描画ツールに対応する選択可能オプション1414-1が選択される場合、デバイス500は、テキスト入力モードにあるため、スタイラス203からの手書き入力がテキストを入力する要求として解釈され、したがってフォントベースのテキストに変換される。いくつかの実施形態では、ペン描画ツールに対応する選択可能オプション1414-2が選択される場合、デバイス500はペン入力モードにあるため、スタイラス203からの手書き入力が描画として解釈され、ペン(例えば、中間サイズの線)を使用した描画に関連付けられた視覚的特性を有する。いくつかの実施形態では、マーカー描画ツールに対応する選択可能オプション1414-3が選択される場合、デバイスはマーカー入力モードにあるため、スタイラス203からの手書き入力が描画として解釈され、マーカー(例えば、より太い、及び任意選択的に矩形の線)を使用した描画に関連付けられた視覚的特性を有する。いくつかの実施形態では、鉛筆描画ツールに対応する選択可能オプション1414-4が選択される場合、デバイスは鉛筆入力モードにあるため、スタイラス203からの手書き入力が描画として解釈され、鉛筆(例えば、細線)を使用した描画に関連付けられた視覚的特性を有する。いくつかの実施形態では、より多くの又はより少ない描画ツールを、手書き入力メニュー1410上に表示することができる。
いくつかの実施形態では、選択可能オプション1416は、選択された描画ツール(例えば、図14Eではテキスト入力描画ツール)に対応するオプションのセットである。いくつかの実施形態では、選択可能オプション1416は、スタイラス203によって入力されるテキストのフォント、フォントサイズ、又は下線、斜体、太字などの他の特性を(例えば、選択されるときに)変更するためのオプションを含む。いくつかの実施形態では、選択可能オプション1416は、写真又はファイルを(例えば、選択されるときに)添付するためのオプションを含む。いくつかの実施形態では、選択可能オプション1418は、テキストを入力するためのソフトキーボードを表示するために選択可能である。いくつかの実施形態では、選択可能オプション1419は、第2のオプションのセットを表示する(例えば、手書き入力メニュー1410の別の「ページ」又は「タブ」を表示する)ために選択可能である。
図14Fで、テキスト入力描画ツールに対応する選択可能オプション1414-1が選択される間に、手書き入力1408-1が一般入力フィールド1404内でスタイラス203から受信される。いくつかの実施形態では、テキスト入力描画ツールが選択されるため、手書き入力1408-1はテキストとして解釈される。したがって、図14Hに示すように、手書き入力1408-1は、(例えば、方法700及び/又は方法1300に従って)フォントベースのテキストに変換される。
図14Hで、ペン描画ツールに対応する選択可能オプション1414-2を選択するユーザ入力が受信される。ユーザ入力を受信したことに応じて、デバイス500はペン入力モードに入る。いくつかの実施形態では、図14Iに示すように、選択可能オプション1414-2の視覚的特性は、ペン描画ツールが選択されていることを示すように更新される。例えば、図14Iで、選択可能オプション1414-2は拡大され、他の選択可能オプションよりも顕著に表示される(例えば、ペンは他の描画ツールよりも高く上昇している)。いくつかの実施形態では、ペン入力モードに入ることに応じて(例えば、選択可能オプション1414-2を選択したことに応じて)、選択可能オプション1416は、ペン描画ツールのために利用可能なオプションを反映するように更新される。例えば、選択可能オプション1416は、描画の色を(例えば、選択されるときに)制御するための1つ以上のカラーオプションを含む。いくつかの実施形態では、選択可能オプション1416はパレットオプションを含み、その選択によって、ユーザが所望の色を選択することができるカラーパレットの表示を引き起こす。
図14Jで、ペン描画ツールが選択される間に描画1408-2を実行するユーザ入力がスタイラス203から受信される。いくつかの実施形態では、デバイスがペン入力モードにある間に描画1408-2が入力されるため、描画1408-2はテキストとして解釈されず、フォントベースのテキストに変換されない。代わりに、いくつかの実施形態では、描画1408-2は描画として解釈される。図14Kで、スタイラス203のリフトオフが検出されるが、描画1408-2はフォントベースのテキストに変換されない。いくつかの実施形態では、描画1408-2を描画として解釈することは、描画1408-2を描画ファイル形式(例えば、BMP、JPGなど)に変換し、一般入力フィールド1404内の対応する位置に描画を埋め込むことを含む。
図14Lで、ペン描画ツールが依然として選択されているとき、一般入力フィールド1404内で手書き入力1408-3が受信される。いくつかの実施形態では、ペン描画ツールが依然として選択されているため、手書き1408-3が手書きの単語及び文字を含むにもかかわらず、手書き入力1408-3はフォントベースのテキストを入力する要求として解釈されない。したがって、図14Mに示すように、スタイラス203のリフトオフを検出した後、手書き入力1408-3は、フォントベースのテキストに変換されない。いくつかの実施形態では、描画1408-2と同様に、手書き入力1408-3は描画ファイル形式に変換され、それぞれの位置で一般入力フィールド1404に埋め込まれる。したがって、いくつかの実施形態では、テキスト入力ツールが選択されない場合(例えば、テキスト入力ツール以外の描画ツールのいずれかが選択される場合)、手書き入力は変更されず、フォントベースのテキストに変換されず、手書き入力の視覚的特性が保存される。
図14Nで、選択可能オプション1419を選択するユーザ入力が検出される。いくつかの実施形態では、ユーザ入力に応じて、手書き入力メニュー1410は、手書き入力メニュー1420で置換される。いくつかの実施形態では、手書き入力メニュー1420は手書き入力メニュー1410と同じ要素であり、手書き入力メニューは、手書き入力メニュー1420のオプションを(例えば、第1の手書き入力メニュー要素の消去及び異なる手書き入力メニュー要素の表示とは対照的に)表示するように更新される。
いくつかの実施形態では、手書き入力メニュー1420は、直近に実行された機能又は動作をアンドゥするために選択可能であるアンドゥオプションに対応する選択可能オプション1422-1を含む。いくつかの実施形態では、手書き入力メニュー1420は、選択可能オプション1422-2を含み、このオプションは、直近にアンドゥされた機能若しくは動作を再実行するため、又は直近に実行された機能若しくは動作を再実行するために選択可能であるリドゥオプションに対応する。いくつかの実施形態では、手書き入力メニュー1420は、カラーオプションのセット1424を含む。いくつかの実施形態では、カラーオプションのセット1424は、手書き入力の色を設定するための1つ以上の選択可能オプションを含む。いくつかの実施形態では、特定のカラーオプションを取り囲むハローは、現在選択されているカラーオプションを示す(例えば、ブロックカラーオプションの周りのハロー)。いくつかの実施形態では、カラーオプションのセット1424は、ユーザが所望の色を選択することができるカラーパレットを表示するための選択可能オプションを含む。いくつかの実施形態では、手書き入力メニュー1420は、オブジェクト挿入オプション1426を含む。例えば、オブジェクト挿入オプション1426は、テキストボックスを一般入力領域1404に挿入するために選択可能な選択可能オプションを含む。いくつかの実施形態では、オブジェクト挿入オプション1426は、幾何学的形状(例えば、円、正方形、三角形、線など)を一般入力領域1404に挿入するために選択可能な選択可能オプションを含む。いくつかの実施形態では、手書き入力メニュー1420は、手書き入力メニュー1410を再表示するための選択可能オプション1419を含む。いくつかの実施形態では、手書き入力メニュー1420は、本明細書で示され、説明されるものよりも多くの、又はより少ない選択可能オプションを含むことができる。
図14Pで、手書き入力メニューがディスプレイ上に表示されていない間、指202によるユーザ入力(例えば、タップ、タッチ、ホールドなど)がタッチスクリーン504上で受信される。いくつかの実施形態では、ユーザ入力を受信したことに応じて、図14Qに示すように、デバイス500はソフトキーボード1430を表示する。いくつかの実施形態では、ソフトキーボード1430は、物理キーボードのレイアウトを模倣する仮想キーボードである。いくつかの実施形態では、ソフトキーボード上の文字は、それぞれの文字を一般入力フィールド1404に挿入するために選択可能である。
次に、図14Rで、ソフトキーボード1430がディスプレイ上に表示される間に、ユーザ入力がスタイラス203から一般入力フィールド1404内で受信される。いくつかの実施形態では、ユーザ入力に応じて、図14Sに示すように、デバイス500は、ソフトキーボード1430の表示を手書き入力メニュー1410の表示で置換する。いくつかの実施形態では、ソフトキーボード1430は、手書き入力メニュー1410とは異なる要素である。いくつかの実施形態では、ソフトキーボード1430は、手書き入力メニュー1410と同じ要素であり、単に、手書き入力メニュー1410の異なる入力モードである。手書き入力メニュー1410が表示されている間に指202によるユーザ入力がタッチスクリーン504上で受信される場合、デバイス500は、任意選択的に、手書き入力メニュー1410の表示をソフトキーボード1430で置換することが理解される。
図14Tで、選択可能オプション1418を選択するユーザ入力が受信される。いくつかの実施形態では、選択可能オプション1418を選択するユーザ入力に応じて、図14Uに示すように、手書き入力メニュー1410はソフトキーボード1430で置換される。いくつかの実施形態では、ソフトキーボード1430は、手書き入力メニュー1410を表示するための選択可能オプション1432を含む。図14Uに示すように、選択可能オプション1432を選択するユーザ入力が受信される。ユーザ入力に応じて、図14Vに示すように、手書き入力メニュー1410が表示される。
図15A~図15Fは、手書き入力メニューを提示する方法1500を示す流れ図である。方法1500は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで実行される。方法1500におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に説明するように、方法1500は、手書き入力メニューを提示する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、タッチ感知ディスプレイと通信する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーンを含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、図14Aのように、タッチ感知ディスプレイ上で、第1のコンテンツ入力領域を含むユーザインタフェースを表示する(1502)(例えば、ユーザがテキスト、画像、マルチメディアなどを入力することができるコンテンツ入力領域を有するユーザインタフェース)。例えば、電子メール作成ユーザインタフェースでは、電子メールの本文のコンテンツ入力領域は、テキスト、静止画像、動画、添付書類などを受信(及び電子メールを介して送信)することができる。
いくつかの実施形態では、ユーザインタフェースを表示している間に、図14Dのように、電子デバイスは、タッチ感知ディスプレイを介して、コンテンツ入力領域内での接触を検出することを含む、コンテンツ入力領域内へのコンテンツ入力を開始する要求に対応するユーザ入力を検出する(1504)(例えば、スタイラス、キーボード、マウス、又はユーザの指などの入力デバイスからコンテンツ入力領域内で入力を受信する)。
いくつかの実施形態では、ユーザ入力を検出したことに応じて(1506)、ユーザ入力がコンテンツ入力領域での指による入力を含むとの判定に従って、図14Qのように、電子デバイスは、タッチ感知ディスプレイ上に、コンテンツ入力領域にテキストを入力するためのソフトキーボードを含むコンテンツ入力ユーザインタフェースを表示する(1508)(例えば、入力が、指などのスタイラス以外の入力デバイスからコンテンツ入力領域内で受信された場合、ディスプレイ上に仮想キーボード(例えば、ソフトキーボード)を表示する)。いくつかの実施形態では、キーボードは、それぞれの入力デバイス(例えば、指)からの入力を制御するための複数のオプションを提供するメニュー要素内に表示される。いくつかの実施形態では、メニュー要素は、(例えば、任意選択的に、入力を制御するためのオプションを表示することなく)仮想キーボードを含む。いくつかの実施形態では、メニューは、ソフトキーボードによって入力される文字を制御するためのオプション(例えば、フォント、フォントサイズ、色など)を含む。いくつかの実施形態では、メニューは、ソフトキーボードを消去するためのオプションを含む。いくつかの実施形態では、メニューは、手書き入力デバイスから入力が受信されるときに表示されるオプションを表示するオプションを含む。いくつかの実施形態では、テキストは、スタイラス、指、又は他の入力デバイスを使用して仮想キーボードと対話する(例えば、仮想キーボード上のキーを選択する)ことによって入力することができる。
いくつかの実施形態では、ユーザ入力を検出したことに応じて(1506)、ユーザ入力がコンテンツ入力領域でのスタイラスによる入力を含むとの判定に従って、図14Eのように、電子デバイスは、タッチ感知ディスプレイ上に、コンテンツ入力領域内に(フォントベースの)テキストを入力するためのソフトキーボードを表示することなく、スタイラスを使用してコンテンツを生成するためのコンテンツ入力ユーザインタフェースを表示する(1510)(例えば、入力がスタイラス又は他の手書きデバイスから受信された場合、それぞれの手書きデバイスからの入力を制御するための複数のオプションを提供するメニューを表示する)。いくつかの実施形態では、メニューは、指(又はスタイラス以外の他の入力デバイス)からの入力を受信したことに応じて表示されるメニューと同じメニューである。いくつかの実施形態では、メニューは、指(又はスタイラス以外の他の入力デバイス)からの入力を受信したことに応じて表示されるオプションよりも、スタイラスからの入力を受信することに応じて表示されるときに、より多い又はより少ないオプションを表示する。例えば、メニューは、テキスト入力ツール、描画ツール、強調表示ツールなどの1つ以上の手書きツールを含む。いくつかの実施形態では、テキスト入力ツールを選択することにより、デバイスは、コンテンツ入力領域内で受信された入力デバイスからの手書き入力が(例えば、方法700を参照して説明されるように)コンピュータテキストとして解釈され変換されるテキスト入力モードに入る。いくつかの実施形態では、描画ツールを選択することにより、デバイスは、コンテンツ入力領域内で受信された手書き入力が描画として解釈され、入力はコンピュータテキストに変換されない、描画モードに入る。いくつかの実施形態では、メニューは、例えば、手書き入力を使用してコンテンツ入力領域にテキストを入力することができるため、仮想キーボード(例えば、ソフトキーボード)を含まない。いくつかの実施形態では、テキストは、スタイラスを使用して(例えば、仮想キーボードが表示されているか又は表示されていない方法700及び/又は1300に従って)コンテンツ入力領域に入力することができる。いくつかの実施形態では、仮想キーボードを表示するためにメニュー上の選択可能オプションを選択することに応じて仮想キーボードが表示される。いくつかの実施形態では、テキストは、スタイラス、指、又は他の入力デバイスを使用して仮想キーボードと対話する(例えば、仮想キーボード上のキーを選択する)ことによって入力することができる。
コンテンツ入力オプションを(例えば、入力が指から受信されたときにソフトキーボードを含むコンテンツ入力ユーザインタフェースを表示し、入力がスタイラスから受信されたときにソフトキーボードなしでコンテンツ入力ユーザインタフェースを表示することにより)提供する上述の方法により、電子デバイスは、(例えば、ユーザが自分の指を使用してコンテンツを入力している場合に仮想キーボードが表示されるべきであると判定し、ユーザがスタイラスを使用している場合に(例えば、手書き入力が任意選択的にコンピュータテキストに変換されるため)仮想キーボードが表示されるべきでないと判定して適切なオプションをそれに応じて表示することにより)コンテンツ入力領域にコンテンツを入力するためのコンテクスト固有のメニューをユーザに提供することが可能となる。これは、(例えば、同じオプションに到達するために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、ユーザの入力デバイスに基づいて適切なオプションをユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンテンツ入力領域にテキストを入力するためのソフトキーボードを含むコンテンツ入力ユーザインタフェースを表示している間に、図14Rのように、電子デバイスは、タッチ感知ディスプレイを介して、コンテンツ入力領域内で第2のユーザ入力を検出する(1512)。いくつかの実施形態では、第2のユーザ入力を検出したことに応じて(1514)、第2のユーザ入力がコンテンツ入力領域でのスタイラスによる入力を含むとの判定に従って、図14Sのように、電子デバイスは、ソフトキーボードの表示を停止する(1516)(例えば、ディスプレイ上にソフトキーボードを表示している間に、スタイラスからの入力を受信する)。いくつかの実施形態では、スタイラスからの入力を受信したことに応じて、ソフトキーボードの表示を除去する。いくつかの実施形態では、コンテンツ入力ユーザインタフェースは表示されたままであり、ソフトキーボードは、スタイラスからの入力を制御するための1つ以上のオプション(例えば、テキスト入力ツール、描画ツールなど)で置換される。いくつかの実施形態では、コンテンツ入力ユーザインタフェースはまた、表示から除去され、ユーザにオプションは表示されない。
ソフトキーボードの表示を(例えば、スタイラスからの入力を受信し、ソフトキーボードの表示を除去することにより)除去する上述の方法により、電子デバイスは、((例えば、ユーザがスタイラスを使用している場合に(例えば、手書き入力が任意選択的にフォントベースのテキストに変換されて、ソフトキーボードが不要であるために)仮想キーボードが不要であると判定することにより)キーボードがもはや不要であるときにキーボードを除去するように、コンテンツを入力するためのメニューを更新することが可能となる。これは、(例えば、ソフトキーボードを除去するために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、ユーザがスタイラスの使用に切り替えたことに基づいて適切なオプションをユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンテンツ入力領域内にテキストを入力するためのソフトキーボードを表示することなく、スタイラスを使用してコンテンツを生成するためのコンテンツ入力ユーザインタフェースを表示している間に(例えば、ユーザがスタイラスを用いてディスプレイと対話しているときに表示されるメニューを表示している間に)、図14Pのように、電子デバイスは、タッチ感知ディスプレイを介して、コンテンツ入力領域内で第2のユーザ入力を検出する(1518)。
いくつかの実施形態では、第2のユーザ入力を検出したことに応じて(1520)、第2のユーザ入力がコンテンツ入力領域での指を用いた入力を含むとの判定に従って、図14Qのように、電子デバイスは、タッチ感知ディスプレイ上に、ソフトキーボードを表示する(1522)(例えば、メニューがソフトキーボードなしで表示され、入力が指から(例えば、スタイラス以外の入力デバイスから)受信される場合、ソフトキーボードを含むか、又はさもなければソフトキーボードを表示するようにメニューを更新する)。いくつかの実施形態では、メニューを更新することは、ユーザがスタイラスを使用してデバイスと対話しているときにユーザに表示されたオプションを除去することを含む。いくつかの実施形態では、メニューを更新することは、仮想キーボードモードに切り替えることを含む。
ソフトキーボードを(例えば、指からの入力を受信し、ソフトキーボードを表示することにより)表示する上述の方法により、電子デバイスは、(例えば、ユーザが(例えば、テキストを入力するために)自分の指を用いて対話している場合に、仮想キーボードが必要とされる可能性が高いと判定することにより)キーボードを表示するように、コンテンツを入力するためのメニューを更新することが可能となる。これは、(例えば、ソフトキーボードを表示するために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、ユーザが自分の指の使用に切り替えたことに基づいてソフトキーボードをユーザに自動的に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図14Eのように、コンテンツ入力領域が1つ以上の基準を満たすとの判定に従って、コンテンツ入力領域にテキストを入力するためのソフトキーボードを表示することなくスタイラスを使用してコンテンツを生成するためのコンテンツ入力ユーザインタフェースは、スタイラスを使用したコンテンツ入力領域内への描画コンテンツ入力を制御するための1つ以上のツールを含む(1524)(例えば、コンテンツ入力メニュー内に描画ツールを表示する)。例えば、描画ツールは、描画の色を選択又は変更するための選択可能オプション、描画のサイズ又は形状を変更するための選択可能オプション、強調表示モード、テキスト入力モードなどに切り替えるための選択可能オプションを含む。いくつかの実施形態では、コンテンツ入力モードが、ユーザ入力、テキスト、及び描画を同時に表示するか、又はさもなければ受け入れることに適合する場合に基準が満たされる。いくつかの実施形態では、基準が満たされていない場合(例えば、コンテンツ入力領域が例えばテキスト又は描画のみを受け入れる場合)、コンテンツ入力ユーザインタフェースは表示されないか、又はオプションのサブセット(例えば、コンテンツ入力領域に適合するオプション)のみと共に表示される。例えば、コンテンツ入力領域がテキストのみに適合し、描画には適合しない場合、描画のサイズ若しくは形状を変更するための選択可能オプション、又は強調表示モードに切り替えるための選択可能オプションなどを表示しない。
スタイラスからの描画を制御するためのツールを(例えば、コンテンツ入力領域が(例えば、描画入力を受け入れる)特定の基準を満たすときに、描画オプションを自動的に表示することにより)表示する上述の方法により、電子デバイスは、(例えば、コンテンツ入力領域が描画をサポートすると判定し、ユーザが描画コンテンツを制御するためのオプションを表示することにより)コンテンツ入力領域の特性に基づいてメニューを更新することが可能となる。これは、(例えば、同じオプションをアクティブ化するために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、コンテンツ入力領域の適合性に基づいて利用可能なオプションをユーザに自動的に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図14B及び図14Eのように、コンテンツ入力領域は、コンテンツ入力領域が描画入力を受け入れることができるときに1つ以上の基準を満たし、コンテンツ入力領域が描画入力を受け入れることができないときに1つ以上の基準を満たさない(1526)(例えば、コンテンツ入力領域がユーザから描画を受け入れることができる場合、描画の入力を制御するためのオプションを表示する)。いくつかの実施形態では、コンテンツ入力領域がユーザから描画を受け入れることができない場合、描画の入力を制御するためのオプションを表示しない。
スタイラスからの描画を制御するためのツールを(例えば、コンテンツ入力領域が描画オプションをサポートするときに、描画オプションを自動的に表示することにより)表示する上述の方法により、電子デバイスは、(例えば、コンテンツ入力領域が描画をサポートし、ユーザが描画コンテンツを制御するためのオプションを表示することにより)コンテンツ入力領域の特性に基づいてメニューを更新することが可能となる。これは、(例えば、同じオプションをアクティブ化するために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、コンテンツ入力領域の適合性に基づいて利用可能なオプションをユーザに自動的に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、スタイラスを使用してコンテンツを生成するためのコンテンツ入力ユーザインタフェースは(1528)、図14Eのように、スタイラスを使用してコンテンツ入力領域内への描画コンテンツ入力を制御するための1つ以上のツール(1530)(例えば、鉛筆ツール、ペンツール、強調表示ツール、マーカーツール、チャコールツールなど)と、スタイラスからの手書き入力を使用してコンテンツ入力領域にフォントベースのテキストを入力するためのそれぞれのテキスト入力ツール(例えば、手書き入力が(例えば、方法700及び/又は1300に従って)解釈されテキストに変換されるテキスト入力ツール)と、を含む(1532)。
スタイラスからの入力を制御するためのツールを(例えば、コンテンツ入力領域が描画及びテキストの両方の入力をサポートするときにテキストを描画し入力するためのオプションを表示することにより)表示する上述の方法により、電子デバイスは、(例えば、コンテンツ入力領域が描画及びテキストをサポートすると判定し、ユーザが描画コンテンツ及びテキストを入力するためのオプションを表示することにより)コンテンツ入力領域の特性に基づいてメニューを更新することが可能となる。これは、(例えば、同じオプションをアクティブ化するために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、コンテンツ入力領域の適合性に基づいて利用可能なオプションをユーザに自動的に提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、スタイラスを使用してコンテンツを生成するためのコンテンツ入力ユーザインタフェースは(1534)、図14Eのように、スタイラスを使用してコンテンツ入力領域への描画コンテンツ入力を制御するための、1つ以上のツールを含む、1つ以上のツールの第1のセット(1536)(例えば、描画入力の色を制御するための選択可能オプション(例えば、カラーパレット及び1つ以上の事前設定されたカラー)などの描画コンテンツを制御するための1つ以上の選択可能オプション)と、図14Oのように、コンテンツ入力領域へのフォントベースのテキストの入力を制御するための、それぞれのテキスト入力ツールを含む1つ以上のツールの第2のセット(1538)(例えば、手書き入力が解釈されフォントベースのテキストに変換されるテキスト入力ツールを含むオプションのセット)と、図14Oのように、コンテンツ入力ユーザインタフェース、1つ以上のツールの第1のセット及び1つ以上のツールの第2のセットにおいて表示を交替させるための選択可能オプション(1540)(例えば、オプションの第1のセットを表示することとオプションの第2のセットを表示することとの間でメニューをトグルするためのコンテンツ入力ユーザインタフェース上の選択可能オプション)と、を含む。
上述のように、スタイラスからの入力を制御するためのツールのセットを(例えば、ツールの第1のセットのとツールの第2のセットとの間で切り替えるための選択可能オプションにより)表示する上述の方法により、電子デバイスは、(例えば、ツールをオプションの第1のセット又は第2のセットに編成し、オプションの1つのセットから選択することとオプションの第2のセットから選択することとの間で切り替えるオプションを提供することにより)複数のオプションを提供し、使用に基づいてオプションを編成することが可能となる。これは、(例えば、同じオプションにアクセスするために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、コンテンツ入力領域の適合性に基づいて利用可能なオプションの複数のセットをユーザに提供し、ユーザが2つのセットの間で切り替えることを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンテンツ入力領域にテキストを入力するためのソフトキーボードを含むコンテンツ入力ユーザインタフェースを表示している間に、図14Uのように、電子デバイスは、タッチ感知ディスプレイを介して、ソフトキーボードの表示を停止せよとの要求に対応する入力を検出し(1542)、ソフトキーボードは、コンテンツ入力領域内のテキストを変更するための1つ以上の選択可能オプションと共に表示される(例えば、スタイラスからの入力を受信するなど、コンテンツ入力ユーザインタフェースからソフトキーボードの表示を除去する入力を受信する)。いくつかの実施形態では、コンテンツ入力ユーザインタフェースは、フォントサイズ、フォントスタイル(例えば、太字、斜体、下線など)などのソフトキーボードによって入力されるテキストを変更するためのオプションを含む。
いくつかの実施形態では、ソフトキーボードの表示を停止する要求に対応する入力を受信したことに応じて(1544)、図14Vのように、電子デバイスは、ユーザインタフェース内で、コンテンツ入力領域内のテキストを変更するための1つ以上の選択可能オプションの表示を維持しながら、ソフトキーボードの表示を停止する(1546)(例えば、ソフトキーボードの表示を停止する要求に応じてソフトキーボードの表示を除去するが、入力されるテキストを変更するための選択可能オプションを維持する)。いくつかの実施形態では、オプションは、ソフトキーボードと同時に表示されたオプションとは異なる選択可能オプションとして、コンテンツ入力ユーザインタフェース内に表示される。いくつかの実施形態では、オプションはソフトキーボード内に表示され、ソフトキーボードが消去された後、オプションはコンテンツ入力ユーザインタフェースに再配置される。
テキストを変更するためのオプションの表示を(例えば、ソフトキーボードが示されているときにテキストを変更するためのオプションを表示し、ソフトキーボードが消去された後にテキストを変更するためのオプションを維持することにより)維持する上述の方法により、電子デバイスは、(例えば、ユーザが(例えば、ユーザがソフトキーボードの代わりにスタイラスを使用してテキストを入力しているため)オプションを望む可能性が高いときにソフトキーボードが消去された後であってもテキストを変更するためのオプションの表示を維持することにより)テキストを変更するためのオプションをユーザに提供し続けることが可能となる。これは、(例えば、同じオプションにアクセスするために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、ユーザがスタイラスを使用してテキストを入力し始めるときにテキストを変更するためのオプションを維持することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンテンツ入力領域にテキストを入力するためのソフトキーボードを含むコンテンツ入力ユーザインタフェースを表示している間に、ソフトキーボードは1つ以上の第1のキー及び1つ以上の第2のキーを含み、図14Uのように、電子デバイスは、タッチ感知ディスプレイを介して、ソフトキーボードの表示を停止せよとの要求に対応する入力を検出する(1548)(例えば、ソフトキーボードは、エンターボタン及び/又は(例えば、ウェブサイトへのナビゲーションを実行するための)「go」ボタンなどのいくつかの選択可能オプション及び/又はキーを含む)。
いくつかの実施形態では、ソフトキーボードの表示を停止する要求に対応する入力を受信したことに応じて(1550)、図14Vのように、電子デバイスは、ソフトキーボードの表示を停止し(1552)、電子デバイスは、ユーザインタフェース内に、1つ以上の第1のキーに対応する1つ以上の選択可能オプションを表示する(1554)(例えば、エンターボタン及び/又は「go」ボタンなどのソフトキーボード上に以前に表示された選択可能オプションのうちの1つ以上の表示を維持する)。いくつかの実施形態では、1つ以上の選択可能オプションの表示を維持することは、コンテンツ入力ユーザインタフェースとは異なる(例えば、コンテンツ入力メニューとは異なる)ユーザインタフェース上の別の位置に選択可能オプションを再配置することを含む。いくつかの実施形態では、選択可能オプションは、現在表示されているアプリケーションのユーザインタフェースのメニューに再配置される。例えば、エンター又は「go」ボタンは、ブラウザアプリケーションのURLナビゲーションメニューに再配置される。
1つ以上の選択可能オプションの表示を(例えば、ソフトキーボードが消去された後に、ソフトキーボードからアプリケーションのユーザインタフェースに1つ以上のオプションを再配置することにより)維持する上述の方法により、電子デバイスは、(例えば、ユーザがオプションを望む可能性が高いときにソフトキーボードが消去された後であってもオプションの表示を維持することにより)選択キーボードオプションをユーザに提供することが可能となる。これは、(例えば、同じオプションにアクセスするために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、ユーザがキーボードを消去するが依然としてユーザインタフェースと対話しているときにオプションを維持することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図15A~図15Fにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1600、1800、2000、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図15A~図15Fに関して上述した方法1500にも、類似の様式で適用可能であることに留意されたい。例えば、方法1500を参照して上述した手書き入力メニューを提示する動作は、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1600、1800、2000、及び2200)を参照して本明細書に記載される手書き入力の受け入れ及び/又は変換、テキストの選択及び削除、手書き入力を既存のテキストに挿入すること、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力の特性を制御すること、自動補完提案を提示すること、及び手書き入力をフォントベースのテキストに変換すること、コンテンツ入力パレットにオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図15A~図15Fを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作1502、1508、1510、1522、及び1554は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
図16A~図16Dは、手書き入力メニュー上の選択に基づいて手書き入力の特性を制御する方法1600を示す流れ図である。方法1600は、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで任意選択的に実行される。方法1600におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に説明するように、方法1600は、手書き入力メニュー上の選択に基づいて、手書き入力の特性を制御する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、タッチ感知ディスプレイと通信する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーンを含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、図14Aのように、タッチ感知ディスプレイ上で、コンテンツ入力ユーザインタフェースを表示する(1602)(例えば、ユーザがテキスト、画像、マルチメディアなどを入力することができるコンテンツ入力領域を有するユーザインタフェース)。例えば、電子メール作成ユーザインタフェースでは、電子メールの本文のコンテンツ入力領域は、テキスト、静止画像、動画、添付書類などを受信(及び電子メールを介して送信)することができる。
いくつかの実施形態では、コンテンツ入力ユーザインタフェースを表示している間に、図14Fのように、電子デバイスは、タッチ感知ディスプレイを介して、コンテンツ入力ユーザインタフェースに対応する手書きユーザ入力を受信する(1604)(例えば、タッチ感知ディスプレイ上の(例えば、スタイラス、指、又は他の書き込みデバイスを使用した)手書き入力を受信する)。いくつかの実施形態では、入力は、テキスト、静止画像、動画、添付書類などを受信及び/又は表示することができるユーザインタフェース要素内で受信される。
いくつかの実施形態では、手書きユーザ入力を受信したことに応じて(1606)、手書きユーザ入力が検出されたときにテキスト入力描画ツールが選択されたとの判定に従って、図14Gのように、電子デバイスは、手書きユーザ入力を、コンテンツ入力ユーザインタフェース内の手書きユーザ入力に対応するフォントベースのテキスト文字の第1のシーケンスに変換するプロセスを開始する(1608)(例えば、テキスト入力描画ツールを選択するための選択可能オプションを含む、それぞれの描画ツールを選択するための1つ以上の選択可能オプションを含む手書きメニューを表示する)。いくつかの実施形態では、テキスト入力描画ツールは、ユーザが手書き入力を実行し、手書き入力がテキストとして解釈され、フォントベースのテキストに変換されることを可能にする。いくつかの実施形態では、テキスト入力描画ツールが選択された場合、ユーザの手書き入力は、(例えば、方法700及び/又は方法1300を参照して説明されるように)フォントベースのテキストとして解釈され、フォントベースのテキストに変換される。いくつかの実施形態では、デバイスは、テキスト入力描画ツールが手書きメニューから選択されるとき、テキスト入力モードに入る。
いくつかの実施形態では、手書きユーザ入力を受信したことに応じて(1606)、手書き入力が検出されたときにテキスト入力描画ツール以外の描画ツールが選択されたとの判定に従って、図14K及び図14Mのように、電子デバイスは、コンテンツ入力ユーザインタフェース内で、手書きユーザ入力をフォントベースのテキスト文字の第1のシーケンスに変換するプロセスを開始することなく、手書きユーザ入力の視覚的表現を表示する(1610)(例えば、テキスト入力描画ツールが選択されず、手書きメニュー内の別の描画ツールが選択されたとき、手書き入力は描画として解釈され、入力はフォントベースのテキストに変換されない(例えば、手書き入力はディスプレイ上に表示され、除去されず、コンピュータテキストで置換されない)。いくつかの実施形態では、デバイスは、テキスト入力描画ツール以外の描画ツールが選択された場合に、描画モードに入る。いくつかの実施形態では、手書き入力は、画像又はグラフィック要素に変換されるが、さもなければ、実質的に視覚的に変化しない(例えば、除去されず、コンピュータテキストに変換されない)。
手書き入力を(例えば、テキスト入力モードがアクティブである場合に手書きユーザ入力をテキストに変換し、テキスト入力モードがアクティブでない場合に手書きユーザ入力を変換しないことにより)解釈する上述の方法により、電子デバイスは、(例えば、テキスト入力モードがアクティブである場合に手書き入力をテキストに変換し、又はテキスト入力モードがアクティブでない場合に手書き入力を変更しないまま残すことにより)テキストを書き込むこととテキストを書き込まないこととの間で切り替える能力をユーザに提供することが可能となる。これは、(例えば、異なる入力デバイスに切り替えること又はテキストを入力することと画像を描画することとの間で切り替えるための別個のユーザインタフェースにナビゲートすることをユーザに必要とすることなく、テキスト入力モードをトグルすることによって、ユーザが同じ手書き入力を使用してテキストを入力すること又は画像を描画することを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、テキスト入力描画ツールが選択されたとの判定に従って、図14Eのように、電子デバイスは、コンテンツ入力ユーザインタフェース内のフォントベースのテキストのフォーマットを制御するための1つ以上のオプションをコンテンツ入力ユーザインタフェース内に表示する(1612)(例えば、テキスト入力描画ツールが選択され、システムがテキスト入力モードにある(例えば、手書き入力がフォントベースのテキストに変換される)場合、コンテンツ入力ユーザインタフェースは、変換されたフォントベースのテキストをフォーマットするためのオプションを含む)。例えば、コンテンツ入力ユーザインタフェースは、フォント、フォントサイズ、フォントスタイル(太字、斜体、下線など)を変更するためのオプションを含む。
入力オプションを(例えば、テキスト入力描画ツールが選択されたときにフォントベースのテキストのフォーマットオプションを提示することにより)提示する上述の方法により、電子デバイスは、(例えば、テキスト入力描画ツールが手書き入力をフォントベースのテキストに変換することを可能にするときに、フォントベースのテキストのフォーマットオプションを提示することにより)選択された入力動作のための最も関連するオプションをユーザに提供することが可能となる。これは、(例えば、同じオプションにアクセスするために別個のユーザインタフェースにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、ユーザが望む可能性が高いオプションを自動的に判定することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、テキスト入力描画ツール以外の描画ツールが選択されたとの判定に従って、図14Iのように、電子デバイスは、コンテンツ入力ユーザインタフェース内の描画入力エントリを制御するための1つ以上のオプションをコンテンツ入力ユーザインタフェース内に表示する(1614)(例えば、鉛筆ツール、ペンツール、マーカーツールなどの他の描画ツールが選択される場合、コンテンツ入力ユーザインタフェースは、手書き描画を制御するためのオプションを含む)。例えば、コンテンツ入力ユーザインタフェースは、描画の色及びサイズを変更するためのオプションを含む。いくつかの実施形態では、1つ以上の事前選択されたカラーオプションが、ユーザに提示される。いくつかの実施形態では、選択可能オプションは、ユーザが色を選択することができるフルカラースペクトルを表示するように選択可能である。
入力オプションを(例えば、テキスト入力描画ツール以外の描画ツールが選択されたときに描画入力オプションを提示することにより)提示する上述の方法により、電子デバイスは、(例えば、描画ツールが選択されたときに描画オプションを提示することにより)選択された入力動作のための最も関連するオプションをユーザに提供することが可能となる。これは、(例えば、同じオプションにアクセスするために別個のユーザインタフェースにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、ユーザが望む可能性が高いオプションを自動的に判定することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図14Tのように、コンテンツ入力ユーザインタフェースは、コンテンツ入力ユーザインタフェースにフォントベースのテキストを入力するためのキーボードを表示する選択可能オプションを含む(1616)(例えば、コンテンツ入力ユーザインタフェースは、選択されたときに仮想キーボード又はソフトキーボードの表示を引き起こすコンテンツ入力ユーザインタフェース内の仮想キーボード又はソフトキーボードを表示するための選択可能オプションを含む)。いくつかの実施形態では、仮想キーボード又はソフトキーボードは、コンテンツ入力ユーザインタフェース内に表示されたオプションを置換する(例えば、キーボードは、コンテンツ入力ユーザインタフェース内に提示された唯一の要素である)。いくつかの実施形態では、仮想キーボード又はソフトキーボードは、仮想キーボード又はソフトキーボードを消去し、仮想キーボード又はソフトキーボードが提示される前に提示されたオプションに戻るための選択可能オプションを含む。
仮想キーボードを(例えば、仮想キーボードを表示するための選択可能オプションを提示することにより)表示する上述の方法により、電子デバイスは、(例えば、テキストを入力するための仮想キーボードを表示する選択可能オプションを提示することにより)仮想キーボードを使用してテキストを入力することに切り替えるオプションをユーザに提供することが可能となる。これは、(例えば、ユーザが手書き入力を使用してテキストを入力することから、よく知られている仮想キーボードを使用してテキストを入力することに切り替えることを可能にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、手書きユーザ入力を受信したことに応じて、図14F及び図14Lのように、電子デバイスは、手書きユーザ入力の視覚的表現をコンテンツ入力ユーザインタフェース内に表示する(1618)(例えば、どの描画ツールが選択されているか、又はさもなければアクティブであるかとは無関係に、入力が受信される際に、ディスプレイ上に手書き入力の軌跡を表示する)。換言すれば、ユーザがタッチ感知ディスプレイ上に「描画」すると、ディスプレイは、入力が受信された位置におけるユーザの手書き入力を示す。より一般的には、いくつかの実施形態では、タッチ感知ディスプレイ上のどこで手書き入力が受信されても、手書き入力軌跡が示される。
いくつかの実施形態では、コンテンツ入力ユーザインタフェース内に手書きユーザ入力の視覚的表現を表示した後に(1620)、手書きユーザ入力が検出されたときにテキスト入力描画ツールが選択されたとの判定に従って、図14Gのように、電子デバイスは、コンテンツ入力ユーザインタフェース内に手書きユーザ入力の視覚的表現を表示することを停止し、手書きユーザ入力の視覚的表現をフォントベースのテキストに変換する(1622)(例えば、テキスト入力描画ツールが選択された場合、手書き入力を(例えば、方法700及び/又は方法1300に関して記載されている方法で)フォントベースのテキストに変換する)。いくつかの実施形態では、手書き入力を変換することは、手書き入力の軌跡の表示を停止し、フォントベースのテキストを表示することを含む。
いくつかの実施形態では、コンテンツ入力ユーザインタフェース内に手書きユーザ入力の視覚的表現を表示した後に(1620)、手書きユーザ入力が検出されたときにテキスト入力描画ツールが選択されなかったという判定に従って、図14Mのように、電子デバイスは、手書きユーザ入力の視覚的表現をフォントベースのテキストに変換することなく、コンテンツ入力ユーザインタフェース内で手書きユーザ入力の視覚的表現の表示を維持する(1624)(例えば、テキスト入力描画ツール以外の描画ツールが選択された場合、手書きユーザ入力をフォントベースのテキストに変換せず、代わりに、手書きユーザ入力の表示を維持する)。換言すれば、手書きユーザ入力はテキストとして解釈されず、その代わりに描画として解釈され、したがってコンテンツ入力ユーザインタフェース内に描画として表示される。いくつかの実施形態では、手書きユーザインタフェースは、描画ファイル形式(例えば、埋め込まれたBMPファイル、埋め込まれたJPGファイル、又は任意の他の好適なピクチャオブジェクトなど)に変換されるが、さもなければ視覚的に変更されない。
ディスプレイ上に手書き入力を(例えば、選択されたツールとは無関係に手書き入力を入力がディスプレイ上で受信されるとおりに常に表示し、それがフォントベースのテキストに変換される場合に(例えば、テキスト入力描画ツールが選択されるときに)手書き入力を除去することにより)表示する上述の方法により、電子デバイスは、(例えば、選択されたツールとは無関係に、手書き入力が受信されるときはいつでも手書き入力を表示して、ユーザが何を入力しているかをユーザが見ることを可能にすることにより)ユーザの手書き入力に対する視覚的フィードバックをユーザに提供することが可能となる。これは、(例えば、ユーザがコンテンツ入力ユーザインタフェース内で手書き入力を実行しているときはいつでも、ユーザの入力のユーザフィードバックを提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図14Eのように、手書き入力が検出されたときにテキスト入力描画ツール以外の描画ツールが選択されたという判定に従って表示された手書きユーザ入力の視覚的表現は、それぞれの外観を有する線を含む(1626)(例えば、テキスト入力描画ツール以外の描画ツール(例えば、ペンツール、鉛筆ツール、マーカーツールなど)が選択されるときに、入力が受信されるとおりにディスプレイ上に手書き入力の軌跡を表示する)。
いくつかの実施形態では、描画ツールが第1の描画ツールであるとの判定に従って、図14Eのように、それぞれの外観は、第1の外観である(1628)(例えば、選択されたツールがそれぞれのツールである場合、手書き入力の軌跡は第1の外観を有する)。例えば、鉛筆ツールは小さな太さを有し、ペンツールは中程度の太さを有し、マーカーツールは大きな太さを有する。いくつかの実施形態では、ツールは、選択されたツールに基づいて特定の形状及びサイズを有する。
いくつかの実施形態では、描画ツールが第1の描画ツールとは異なる第2の描画ツールであるとの判定に従って、図14Eのように、それぞれの外観は、第1の外観とは異なる第2の外観である(1630)(例えば、ツールが第2の描画ツールである場合、外観は選択された第2の描画ツールに対応する)。
ディスプレイ上に手書き入力を(例えば、選択された描画ツールに基づいて、異なる外観を有する手書き入力を表示することにより)表示する上述の方法により、電子デバイスは、(例えば、選択された特定の描画ツールに基づいて、視覚的特性を有する手書き入力を表示することにより)異なる描画ツールを模倣するためのオプションをユーザに提供することが可能となる。これは、(例えば、異なる描画スタイルを実現するために別個のユーザインタフェースにナビゲートすること又は別個の入力デバイスを使用することをユーザに必要とすることなく、同じ入力デバイスを使用して異なる描画デバイスを模倣する能力をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図16A~図16Dにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1800、2000、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図16A~図16Dに関して上述した方法1600にも、類似の様式で適用可能であることに留意されたい。例えば、方法1600を参照して上述した手書き入力メニュー上の選択に基づいて手書き入力の特性を制御する動作は、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1800、2000、及び2200)を参照して本明細書に記載される手書き入力の受け入れ及び/又は変換、テキストの選択及び削除、手書き入力を既存のテキストに挿入すること、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力メニューを提示すること、自動補完提案を提示すること、及び手書き入力をフォントベースのテキストに変換すること、コンテンツ入力パレットにオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図16A~図16Dを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作1502並びに受信する動作1510、1512、及び1542は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
手書き入力のための自動補完提案
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。以下に説明される実施形態は、電子デバイスが手書き入力デバイス(例えば、スタイラス)から手書き入力を受け入れ、自動補完提案をユーザに提供し、したがって、デバイスとのユーザの対話を強化する方法を提供する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図17A~図17Wは、電子デバイスが自動補完提案を提示する例示的な方法を示す。これらの図中の実施形態は、図18A~図18Iを参照して説明するプロセスを含め、以下に説明するプロセスを例示するために使用される。
図17A~図17Wは、自動補完提案を提示する電子デバイス500の動作を示す。図17Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図17Aで、デバイス500は、(例えば、ユーザインタフェース620、800、1000、及び1210と同様に)メモ帳アプリケーションに対応するユーザインタフェース1700を表示している。いくつかの実施形態では、ユーザインタフェース1700は、ユーザが(例えば、方法700、1100、1300、及び1800に関して上述したように、ソフトキーボード又はスタイラス203を介して)テキストを入力することができるテキスト入力領域1702を含む。
図17Bで、手書き入力1704が、スタイラス203からテキスト入力領域1702で受信される。図17Bで、手書き入力1704の一部は、(例えば、方法700、及び1300に関して上述したように)フォントベースのテキストに既に変換されているが(例えば、「My」)、手書き入力1704の第2の部分は、(例えば、方法700、及び1300に関して上述したように)フォントベースのテキストに変換されていない(例えば、「br」)。図17Cで、1つ以上の文字(例えば、「br」)を書き込んだ後に、スタイラス203のリフトオフが検出される。図17Dで、スタイラス203のリフトオフを検出したことに応じて、デバイス500は自動補完提案1706を表示する。いくつかの実施形態では、ユーザがタッチスクリーン504からスタイラス203をリフトオフすることとは無関係に、閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)の間、ユーザが手書き入力の実行を停止した後に、自動補完提案1706が表示される。いくつかの実施形態では、ユーザがスタイラス203をリフトオフしないか、又は閾値量の時間手書き入力を停止しない場合、自動補完表示1706は表示されない。いくつかの実施形態では、自動補完提案1706は、ユーザの手書き入力に追加されると、所与の提案単語(例えば、予測単語)をもたらす1つ以上の文字(例えば、予測文字、提案される文字)を含む。いくつかの実施形態では、提案される単語は、ユーザの手書き入力(例えば、文、テキスト入力フィールドのタイプ)のコンテクストに基づく。いくつかの実施形態では、提案される単語は、ユーザの手書き入力に基づく最も可能性の高い単語である。いくつかの実施形態では、提案される単語は、(例えば、デバイスのユーザ以外の)他のユーザによる使用に基づく。いくつかの実施形態では、提案される単語(例えば、ユーザの手書き入力と提案される文字との組合せ)が一意の単語である場合、自動補完提案が表示される。例えば、いくつかの実施形態では、手書き入力が、文字がそれに追加された場合に限定された数の単語(例えば、10語、20語、50語)だけにしかなり得ない場合、自動補完提案が提供される。いくつかの実施形態では、単語が一意の単語ではない(例えば、潜在的な単語の閾値数よりも大きい)場合、自動補完提案は表示されない。
いくつかの実施形態では、自動補完提案1706は、(例えば、自動補完提案1706が提案であり、テキスト入力フィールドに入力されていないことを示すために)手書き入力1704とは異なる視覚的外観で表示される。例えば、図17Dで、自動補完提案1706は(例えば、手書き入力1704が黒であることと比較して)グレーである。いくつかの実施形態では、自動補完提案1706は透明性を有する。いくつかの実施形態では、自動補完提案1706は、最終的なフォントベースのテキストのフォントタイプ(例えば、手書き入力1704が最終的に変換されるフォントタイプ)を有する。いくつかの実施形態では、自動補完提案1706のサイズは、手書き入力1704のサイズ(例えば、高さ、幅、及び/又は文字間隔など)と一致する。
図17Dに示すように、いくつかの実施形態では、自動補完提案1706は、手書き入力1704とインラインで表示される。例えば、手書き入力の方向が左から右である場合、自動補完提案1706は(例えば、完全な提案された単語をもたらすために)手書き入力のすぐ右に表示される。いくつかの実施形態では、自動補完提案1706は、手書き入力の文字間隔と一致する。例えば、手書き入力1704内の文字間のスペースが狭い間隔である場合、自動補完提案1706内の文字間のスペースは、任意選択的に狭い間隔(例えば、任意選択的に、手書き入力1704内の間隔と同じ)であり、手書き入力1704内の文字間のスペースが広い間隔である場合、自動補完提案1706内の文字間のスペースは、任意選択的に広い間隔である。いくつかの実施形態では、手書き入力の方向は、手書き入力1704の言語、又は手書き入力1704が書き込まれている方向に基づいて判定される。いくつかの実施形態では、言語は、手書き入力1704に基づいて判定される。いくつかの実施形態では、言語は、システムのデフォルト入力言語(例えば、又は任意選択的にキーボード言語設定)である。したがって、いくつかの実施形態では、自動補完提案がどこに表示されるかは、特定の言語の書き込み方向に依存する。例えば、文字が上から下(例えば、中国語)又は右から左(例えば、アラビア語)で書かれる言語については、自動補完提案は、手書き入力のそれぞれ左の下又は左に任意選択的に表示される。
図17E~図17Hは、自動補完ヒント1708を表示するデバイス500を示す。いくつかの実施形態では、自動補完ヒント1708は、自動補完提案1706に下線を引くことがテキスト入力領域1702への入力のために自動補完提案1706を受け入れることを示す下線アニメーションである。いくつかの実施形態では、図17E~図17Gのように、自動補完ヒント1708は、自動補完提案1706の左端下から開始し、自動提案1706の右端下まで横切って下線を引く。いくつかの実施形態では、自動補完提案1706に下線を引くアニメーションが完了した後、自動補完ヒント1708はもはや表示されない。いくつかの実施形態では、自動補完ヒント1708は、自動補完提案が表示されるたびに表示される。いくつかの実施形態では、自動補完ヒント1708は、自動補完提案が表示されるたびに表示されない。いくつかの実施形態では、自動補完ヒント1708は、デバイス毎に1回のみ表示される。いくつかの実施形態では、自動補完ヒント1708は、ユーザ毎に1回表示される。いくつかの実施形態では、自動補完ヒント1708は、デバイス使用セッション毎に1回(例えば、デバイスが起動したときからスリープ状態に入るときまで)表示される。いくつかの実施形態では、自動補完ヒント1708は、ユーザインタフェース毎に1回(例えば、各ウェブページ毎に1回、各アプリユーザインタフェース毎に1回など)表示される。いくつかの実施形態では、自動補完ヒント1708は、テキスト入力フィールド毎に1回表示される。いくつかの実施形態では、自動補完ヒント1708は、ユーザが自動補完受け入れジェスチャを実行するまで表示される。いくつかの実施形態では、自動補完ヒント1708は、所定の回数だけ(例えば、5回、10回など)表示される。
図17Iで、ユーザは、スタイラス203を使用して、自動補完提案1706の上に書き込む手書き入力1704を再開する(例えば、手書き入力1704を継続する)。いくつかの実施形態では、以前の自動補完提案(例えば、「ief」)は、ユーザが手書き入力を継続しているのをデバイス500が検出するとすぐに(例えば、それに応じて)表示から除去される。いくつかの実施形態では、以前の自動補完提案は、(例えば、自動補完1706が更新されるまで)ディスプレイ上に維持される。
いくつかの実施形態では、継続した手書き入力に応じて、図17Jに示すように、ユーザが書き込んだ新しい文字に基づいて新しい文字を提案するために自動補完提案1706が更新される。いくつかの実施形態では、ユーザが閾値量の時間一時停止するか、及び/又はスタイラス203をリフトオフした後に(例えば、図17Dに関して上述したように)、自動補完提案1706が表示される(例えば、更新される)。いくつかの実施形態では、(例えば、スタイラス203のリフトオフを待機することなく、及び/又はユーザが閾値量の時間手書き入力を一時停止するのを待機することなく)、ユーザがそれぞれの文字の書き込みを完了したときに自動補完提案1706が表示される(例えば、更新される)。例えば、いくつかの実施形態では、自動補完提案1706が表示される場合、ユーザが単語の書き込みを完了するか、又は自動補完提案を受け入れるまで、連続的に表示される(及び更新される)。
図17Jに示すように、自動補完提案1706は、手書き入力によって書き込まれた新しい文字を考慮するように更新され、異なる単語(例えば、「brothers」)をもたらす異なる文字のセット(例えば、「thers」)を任意選択的に提案する。図17Kで、ユーザは、スタイラス203を使用して自動補完提案1706の上に書き込む手書き入力1704を継続する。いくつかの実施形態では、ユーザの継続した手書き入力1704は、ユーザに提案される文字と同じ文字である。いくつかの実施形態では、自動補完提案1706内の次の文字と同じ文字である手書き入力をユーザが提供することに応じて、図17Kに示すように、自動補完提案1706は、新しい文字セットを提案するために更新されない。いくつかの実施形態では、自動補完提案1706は、継続した手書き入力1704からの単語の間隔、幅、及び/又は高さの任意の変更を調整するように、再整列されるか、又はさもなければ移動される。
図17Lで、自動補完提案1706の一部(例えば、「h」)に下線を引くユーザ入力がスタイラス203から受信される。いくつかの実施形態では、ユーザが自動補完提案1706の一部に下線を引いたことに応じて、デバイス500は下線が引かれている部分の視覚的特性を更新する。いくつかの実施形態では、視覚的特性は、手書き入力1704の視覚的特性に一致するように更新される。例えば、図17Lで、「h」は、グレー(例えば、自動補完提案1706の色)から黒(例えば、手書き入力1704の色)に変更される。
図17Mで、スタイラス203からのユーザ入力は、自動補完提案1706の残部(例えば、「hers」)を通して下線を続ける。いくつかの実施形態では、ユーザ入力に応じて、上述したのと同様に、自動補完提案1706の残部の視覚的特性が更新される。
図17Nで、自動補完提案1706の全体に下線を引いた後にスタイラス203のリフトオフが検出される。いくつかの実施形態では、スタイラス203のリフトオフを検出したことに応じて、図17Nに示すように、デバイス500は、テキスト入力領域1702に自動補完提案1706を入力する。いくつかの実施形態では、デバイス500は、手書き入力1704をフォントベースのテキストに変換し、手書き入力1704に対応するフォントベースのテキストと(例えば、手書き入力1704に対応するフォントベースのテキスト及び自動補完提案が完全な単語を形成するように)整列された自動補完提案を(例えば、フォントベースのテキストとして)挿入する。いくつかの実施形態では、手書き入力1704及び自動補完提案1706の両方のフォントベースのテキストは、視覚的特性(例えば、フォントタイプ、サイズ、色など)がテキスト入力領域1702内のテキスト(例えば、又は任意選択的に、テキスト入力領域1702のデフォルトのフォントタイプ、サイズ、及び色)に一致するように更新される。上記の開示は、下線ジェスチャを使用して自動補完提案を受け入れることを記載しているが、自動補完提案に向けられた任意のジェスチャが可能であることが理解される。例えば、自動補完提案に取消線を引くこと、自動補完提案を取り囲むことなどが挙げられる。いくつかの実施形態では、自動補完提案を通る取消線は、自動補完提案を拒否すると解釈される(例えば、取消線入力に応じて、自動補完提案が表示が停止される)。
いくつかの実施形態では、自動補完提案の任意の部分を(例えば、下線及び他のジェスチャによって)受け入れることにより、自動補完提案全体が受け入れられる。いくつかの実施形態では、ユーザは、自動補完提案の一部(例えば、文字のサブセット)を受け入れ、他の部分は受け入れないことが可能である。例えば、図17Oで、自動補完提案1706の一部のみ(例えば、「her」)に下線を引くユーザ入力がスタイラス203から受信される。いくつかの実施形態では、ユーザ入力に応じて、図17Pに示すように、デバイス500は、下線付き部分のみをテキスト入力領域1702に入力(例えば、付加)する一方、自動補完提案における「s」はテキスト入力領域1702に入力されない。
図17Q~図17Wは、自動補完提案が(例えば、上述のように手書き入力とインラインであるのとは対照的に)ポップアップユーザインタフェース要素内に提供される代替的な実施形態を示す。図17Qで、文字「b」を書き込む手書き入力1704がスタイラス203からテキスト入力領域1702内で受信される。いくつかの実施形態では、ユーザが文字「b」を書き込んだことに応じて、ポップアップ1712がユーザインタフェース1700上に表示される。いくつかの実施形態では、ポップアップ1712は、手書き入力1704に隣接して(例えば、上又は下などに)表示される。いくつかの実施形態では、ポップアップ1712は、手書き入力のフォントベースの文字(例えば、「b」)を含む。いくつかの実施形態では、ポップアップ1712は、(例えば、図6Rに関して上述したように)手書き入力をフォントベースのテキストに変換させるために選択可能である。いくつかの実施形態では、ポップアップ1712は、手書き入力をフォントベースのテキストに変換させるために選択可能ではない。
図17Rで、手書き入力1704は、追加の文字(例えば、「r」)を継続して書き込む。いくつかの実施形態では、継続した手書き入力1704に応じて、ポップアップ1712は、ユーザによって書き込まれた解釈された文字(例えば、「br」)を表示するように更新される。図17Sで、スタイラス203のリフトオフが検出される。いくつかの実施形態では、リフトオフに応じて、ポップアップ1712は、(例えば、線引きされた)2つのセクションを含むように更新される。いくつかの実施形態では、ポップアップ1712の一方のセクションに対応するテキスト1712-1は、ユーザがそれまでに書き込んだ文字に基づいて提案された自動補完単語(例えば、「brief」)である。いくつかの実施形態では、テキスト1712-2はポップアップ1712の他方のセクションに対応し、ユーザによってそれまでに書き込まれた解釈された(例えば、図17Q~図17Rに関連して上述したポップアップ1712と同様の)文字を表示する。いくつかの実施形態では、テキスト1712-2は、それぞれの提案されたテキストをテキスト入力領域1702に入力し、ユーザによって書き込まれたそれぞれの文字(例えば、「br」)を置換するように選択可能である。
図17Tで、ユーザは、手書き入力を継続し、「o」を書き込む。いくつかの実施形態では、継続した手書き入力に応じて、ポップアップ1712は、テキスト1712-1がユーザの新しい文字に基づいて更新された提案単語(例えば、「brother」)を表示し、テキスト1712-2がそれまでに書き込まれた解釈された文字(例えば、「bro」)を表示するように更新される。
図17Uで、ユーザは、手書き入力を継続し、提案された単語内の次の文字と同じ文字である「t」を書き込む。いくつかの実施形態では、ユーザが提案された単語内の次の文字と同じ文字を書き込んだことに応じて、テキスト1712-1が同じ提案単語(例えば、「brother」)を表示し続けるようにポップアップ1712は更新され、テキスト1712-2はそれまでに書き込まれた解釈された文字(例えば、「brot」)を表示するように更新される。
図17Vで、提案された単語(例えば、「brother」)に対応するテキスト1712-1を選択するユーザ入力がスタイラス203から受信される。いくつかの実施形態では、図17Wに示すように、テキスト1712-1選択するユーザ入力に応じて、デバイス500は、テキスト1712-1をテキスト入力領域1702にフォントベースのテキストとして入力し、それまでにユーザによって書き込まれた文字(例えば、「brot」)を置換する。いくつかの実施形態では、入力されたフォントベースのテキストは、テキスト入力領域1702のテキスト入力領域1702内の他のフォントベースのテキストのフォントタイプ、フォントサイズ、及び/又は視覚的特性(例えば、任意選択的に、デフォルトのフォントタイプ、サイズ、及び/又は視覚的特性)に一致する。
図18A~図18Iは、自動補完提案を提示する方法1800を示す流れ図である。方法1800は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで実行される。方法1800のいくつかの動作が任意選択的に組み合わされ、かつ/又は、いくつかの動作の順序が任意選択的に変更される。
以下に記載されるように、方法1800は、自動補完提案を提示する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、図17Aのように、タッチ感知ディスプレイと通信する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーンを含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、図17Aのように、タッチ感知ディスプレイ上で、ユーザインタフェース(例えば、ユーザがテキストを入力することができる1つ以上のテキストフィールド(例えば、テキスト入力領域)を有するユーザインタフェース)を表示する(1802)。例えば、いくつかの実施形態では、ユーザインタフェースは、複数のテキストフィールドを有する形態であり、特定のテキストフィールドの(例えば、指による)選択は、テキストフィールドにテキストを入力するためのソフトキーボードを任意選択的に表示する。いくつかの実施形態では、ユーザインタフェースは、ユーザからテキスト入力を受信して表示することができる任意のユーザインタフェース又は要素である。いくつかの実施形態では、物理キーボードは、テキストをそれぞれのテキストフィールド及び/又はユーザインタフェースに入力するために、任意選択的に使用される。
いくつかの実施形態では、ユーザインタフェースを表示している間に、図17Bのように、電子デバイスは、タッチ感知ディスプレイを介して、ユーザインタフェースに向けられた第1の手書き入力を含む第1のユーザ入力を受信し(1804)(例えば、テキストフィールド上又はその近くで手書き入力を受信し)、第1の手書き入力は、第1の文字シーケンス(例えば、手書き入力に基づいて検出された文字)に対応する。
いくつかの実施形態では、ユーザ入力は、スタイラス又は他の書き込みデバイスから受信される。いくつかの実施形態では、ユーザ入力は指から受信される。いくつかの実施形態では、手書き入力は、テキスト入力フィールドにテキストを入力する要求を示すテキストフィールド上又はその近くの位置で受信される。例えば、テキストフィールド内で開始する手書き入力は、手書き入力の一部がテキストフィールドの外側に延在する場合であっても、手書き入力のシーケンス全体がテキストフィールドに入力されることを意図することを任意選択的に示す。いくつかの実施形態では、テキストフィールドの外部で開始するが、相当量(例えば、30%、50%など)の手書き入力がテキストフィールド内に入るユーザ入力は、テキストフィールドにテキストを入力する意図であると任意選択的に考慮される。いくつかの実施形態では、テキスト入力フィールドは、テキスト入力フィールドから特定の距離内の手書き入力がテキスト入力フィールド内の手書き入力であると見なされる、所定のエラーマージンを含む。いくつかの実施形態では、第1の文字シーケンスは、部分的に書き込まれた単語(例えば、不完全な単語)である。
いくつかの実施形態では、第1のユーザ入力を受信したことに応じて、図17Dのように、電子デバイスは、ユーザインタフェース内に、第1の手書き入力の表現(例えば、入力が受信されるとおりにディスプレイ上に手書き入力の軌跡を表示する)と、第1の手書き入力内の第1の文字シーケンスに基づいて選択された1つ以上の予測文字の表現(例えば、第1の文字シーケンスに追加された場合に、提案された単語の第1の部分のフォントベースのテキストを表示することなく任意選択的に表示される提案された単語を補完する文字に対応するフォントベースのテキストを手書き入力と同時に表示する(例えば、手書き入力と整列される))とを表示し、1つ以上の予測文字の表現が、書き込み方向での第1の手書き入力の表現の後に表示される(1806)(例えば、1つ以上の予測文字は、英語、スペイン語、フランス語の場合に左から右へ、ヘブライ語若しくはアラビア語の場合に右から左へ、若しくは標準中国語若しくは漢字の場合に上から下へなどの、デバイスの現在の言語又はローカライゼーション設定に基づいて、又は第1の手書き入力が進行した全般的な方向に基づいて、決定された書き込みの方向に手書き入力と整列されて表示される)。
いくつかの実施形態では、ユーザがタッチ感知ディスプレイ上に「描画」すると、ディスプレイは、入力が受信された位置にユーザの手書き入力を示す。いくつかの実施形態では、タッチ感知ディスプレイ上のどこで手書き入力が受信されても手書き入力軌跡が示される。いくつかの実施形態では、文字シーケンスが部分的に書き込まれた単語である場合、電子デバイスは、提案される文字を表示して、ユーザの部分的に書き込まれた単語を提案される単語へと補完する。いくつかの実施形態では、1つ以上の予測文字は、ユーザに提案された単語の残りの文字(例えば、予測単語をもたらすために手書き入力に追加される文字)である。いくつかの実施形態では、予測文字は、手書き入力における一時停止(例えば、0.5秒、1秒、2秒、3秒、5秒)の後に表示される。いくつかの実施形態では、予測単語は、ユーザ又は(例えば、ユーザ以外の)複数のユーザによる使用の人気、単語の共通性、文のコンテクストなどの、ユーザの所望の単語を予測するための1つ以上の因子に基づいて決定される。
ユーザに単語を(例えば、手書き入力を受信し、提案される単語の残部をユーザに表示することにより)提案する上述の方法により、電子デバイスは、(例えば、提案される単語の残部をユーザに表示することにより)提案される単語をユーザに提供することが可能となる。これは、(例えば、ユーザがテキストを手書きすることを可能にし、ユーザが書き込んでいる可能性が最も高い単語を自動的に判定し、文字群の残部をユーザに表示することによってユーザに単語を提案することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の手書き入力の表現及び1つ以上の予測文字の表現を表示している間に、図17Mのように、電子デバイスは、1つ以上の入力デバイスを介して、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信する(1808)(例えば、テキストフィールド上又はその近くでユーザ入力を受信する)。いくつかの実施形態では、ユーザ入力は、スタイラス又は他の書き込みデバイスから受信される。いくつかの実施形態では、ユーザ入力は、第1の手書き入力及び/又は1つ以上の予測文字の表現に向けられたジェスチャである。
いくつかの実施形態では、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信したことに応じて(1810)、第2の手書き入力が1つ以上の予測文字の表現に関する1つ以上の第1の基準を満たすとの判定に従って、図17Nのように、電子デバイスは、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上の予測文字を受け入れる(1812)(例えば、ユーザ入力が1つ以上の予測文字の下で下線を引くジェスチャである場合、ユーザ入力は、1つ以上の予測文字を受け入れる要求として解釈される)。いくつかの実施形態では、1つ以上の予測文字の下で下線を引くジェスチャに応じて、予測文字は、ユーザインタフェースに入力される。いくつかの実施形態では、予測文字を入力すると同時に、手書き入力はフォントベースのテキストに変換される(例えば、次いで、予測文字はフォントベースのテキストと整列される)。
いくつかの実施形態では、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信したことに応じて(1810)、第2の手書き入力が、1つ以上の予測文字の表現に関する1つ以上の第1の基準を満たさないとの判定に従って、図17Jのように、電子デバイスは、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上の予測文字を受け入れることを見合わせる(1814)(例えば、ユーザ入力が1つ以上の予測文字の下の下線ではない場合、ユーザ入力は、1つ以上の予測文字を受け入れる要求ではなく、予測文字はユーザインタフェースに入力されない)。
予測文字を(例えば、予測文字に向けられた手書き入力を受信し、手書き入力が第1の基準を満たす場合に予測文字を受け入れることにより)受け入れる上述の方法により、提案された単語を素早いジェスチャで受け入れることが可能となる。これは、(例えば、提案される単語を受け入れるために別個のユーザインタフェースにナビゲートすること又は追加の入力を実行することなく、ユーザの書き込みと一致する単語をユーザに自動的に提案し、提案される単語を受け入れる容易な方法をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の手書き入力の表現及び1つ以上の予測文字の表現を表示している間に、図17Mのように、電子デバイスは、1つ以上の入力デバイスを介して、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力(例えば、1つ以上の予測文字の一部又は全部に下線を引くユーザ入力)を受信する(1816)。
いくつかの実施形態では、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信したことに応じて(1818)、第2の手書き入力が1つ以上の予測文字の表現の第1の部分に関して1つ以上の第1の基準を満たすが、1つ以上の予測文字の表現の第2の部分に関しては満たさないとの判定に従って、図17Pのように、電子デバイスは、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上の予測文字の表現の第1の部分に対応する1つ以上の予測文字のサブセットを受け入れる(1820)(例えば、ユーザ入力が、1つ以上の予測文字の一部のみ(例えば、予測文字の第1の部分であるが第2の部分ではない)の下での下線ジェスチャである場合、ユーザ入力は下線が付された一部の文字のみを受け入れる要求であり、下線付き文字のみがユーザインタフェース上の入力のために受け入れられる)。
いくつかの実施形態では、下線が付されている1つ以上の文字は、ユーザがどの文字を受け入れたかをユーザに示すために、異なる視覚的特性(例えば、色の変化、不透明度の変化など)を有するように更新される。例えば、1つ以上の予測文字はグレーテキストとして表示され、ユーザが文字に下線を引くと、下線付き文字は黒になり、ユーザがその文字を受け入れていることを示す。いくつかの実施形態では、1つ以上の予測文字の第2の部分は、第1の部分が入力としてテキスト入力領域内に入力された後に表示されることを停止する。いくつかの実施形態では、1つ以上の予測文字の第1の部分がテキスト入力領域に入力されると、手書き入力はフォントベースのテキストに変換され、文字の第1の部分は、手書き入力に対応するフォントベースのテキストと整列される。
いくつかの実施形態では、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信したことに応じて(1818)、第2の手書き入力が、1つ以上の予測文字の表現の第1及び第2の部分に関して1つ以上の第1の基準を満たすとの判定に従って、図17Nのように、電子デバイスは、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上の予測文字の表現の第1及び第2の部分に対応する1つ以上の予測文字の一部を受け入れる(1822)(例えば、ユーザ入力が1つ以上の予測文字の(例えば、第1の部分のみではなく、又は予測文字の全てではなく)第1及び第2の部分の下での下線ジェスチャである場合、ユーザ入力は、下線が付された文字(例えば、予測文字の第1及び第2の部分)のみを受け入れる要求であり、下線付き文字のみがユーザインタフェース上の入力のために受け入れられる)。いくつかの実施形態では、下線付き文字は、ユーザインタフェースに入力され、(例えば、任意選択的にフォントベースのテキストに変換された)手書き入力と整列される。
予測文字を(例えば、ユーザが受け入れることを望む文字に下線を引く手書き入力を受信することにより)受け入れる上述の方法により、提案された単語の一部を素早いジェスチャで受け入れることが可能となる。これは、(例えば、提案される単語を受け入れるために別個のユーザインタフェースにナビゲートすること又は追加の入力を実行することなく、提案される単語を受け入れる容易な方法をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Nのように、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上のそれぞれの予測文字を受け入れることは(1824)、第1の手書き入力の表現及び1つ以上のそれぞれの予測文字の表現を表示することを停止することを含む(1826)。
いくつかの実施形態では、図17Nのように、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上のそれぞれの予測文字を受け入れることは(1824)、ユーザインタフェース内に、第1の手書き入力に対応する第1の文字シーケンス(1830)、及び1つ以上のそれぞれの予測文字(1832)、の表現を表示すること(1828)を含む(例えば、1つ以上の予測文字を受け入れると同時に手書き入力をフォントベースのテキストに変換する)。いくつかの実施形態では、これは、手書き入力及び予測文字の表示を除去することと、それを手書き入力と受け入れられた予測文字との組合せに対応するフォントベースのテキストで置換することとを含む。いくつかの実施形態では、表示を置換することは、方法700に関して上述したアニメーションと同様に、手書き入力及び予測文字を最終的なフォントベースのテキストに変換するアニメーションを表示することを含む。
予測文字を(例えば、手書き入力及び予測文字の両方を手書き入力と受け入れられた予測文字との組合せのフォントベースのテキストで置換することにより)受け入れる上述の方法により、提案された単語を素早いジェスチャでユーザインタフェース内で使用することが可能となる。これは、(例えば、予測文字を受け入れることとは別個に手書き入力がフォントベースのテキストに変換されるのを待機することをユーザに必要とすることなく、予測文字がユーザインタフェース内に入力されるのと同時に手書き入力をフォントベースのテキストに変換することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、1つ以上の予測文字の表現に関して1つ以上の第1の基準を満たす第2のユーザ入力を受信している間に、図17Lのように、電子デバイスは、第2のユーザ入力が1つ以上の予測文字のそれぞれについて1つ以上の第1の基準を満たすときに、1つ以上の予測文字のそれぞれの表示特性の値を変更する(1834)(例えば、ユーザが1つ以上の予測文字の文字に下線を引くと、下線が付されている1つ以上の文字は、ユーザがどの文字を受け入れたかをユーザに示すために異なる視覚的特性(例えば、色の変化、不透明度の変化など)を有するように更新される)。例えば、1つ以上の予測文字はグレーテキストとして表示され、ユーザが文字に下線を引くと、下線付き文字は黒になり、ユーザがその文字を受け入れていることを示す。
予測文字を(例えば、それまでに選択された文字の視覚的特性を変更することにより)受け入れる上述の方法により、電子デバイスは、どの文字が受け入れられており入力されることになるかについての確認を提供することが可能となる。これは、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする(例えば、ユーザがどの文字を選択したかのライブの視覚的インジケータを提供する)。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の手書き入力の表現及び1つ以上の予測文字の表現を表示している間に、図17Kのように、電子デバイスは、1つ以上の入力デバイスを介して、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力(例えば、更なる手書き入力)を受信する(1836)。
いくつかの実施形態では、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信したことに応じて(1838)、第2の手書き入力が第1の手書き入力の継続を含むとの判定に従って、図17Kのように、電子デバイスは、1つ以上の予測文字の少なくともサブセットの表現の表示を停止する(1840)(例えば、予測文字を表示した後にユーザが書き込みを継続する場合、予測文字が表示から除去される)。いくつかの実施形態では、予測文字のシーケンス(又は、任意選択的に、シーケンス全体)が表示から除去される。いくつかの実施形態では、ユーザが上書きした予測文字のシーケンス(又は、任意選択的に、シーケンスのみ)が表示から除去される。いくつかの実施形態では、デバイスは、ユーザが予測文字と同じ文字を書き込んでいるかどうかを判定し、(例えば、ユーザが書き込んでいない予測文字の一部又は全部を表示し続けながら)ユーザが書き込んだ文字を表示から除去する。
提案された文字を(例えば、ユーザが予測文字を受け入れたくないことを示す手書き入力をユーザが継続するときに、予測文字の表示を停止することにより)拒否する上述の方法により、中断なしに継続的な手書き入力を提供することが可能となる。これは、(例えば、予測文字の表示を消去するために追加の入力を実行することをユーザに必要とすることなく、ユーザが手書き入力を継続するときに文字の表示を自動的に停止することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力(例えば、更なる手書き入力)を受信したことに応じて(1842)、第2の手書き入力が第1の手書き入力の継続を含むとの判定に従って、電子デバイスは(1844)、ユーザインタフェース内に、図17Jのように、第2の手書き入力が第2の文字シーケンスに対応する第1の手書き入力及び第2の手書き入力の表現(1846)(例えば、第1の手書き入力の軌跡と同時に手書き入力が受信される位置で第2の手書き入力の軌跡を表示する)と、図17Jのように、第1及び第2の手書き入力内の第1及び第2の文字シーケンスに基づいて選択された1つ以上の第2の予測文字の表現(1848)(例えば、新しい手書き入力を考慮するように予測文字を更新し、予測文字の別のセットを表示する)と、を表示する。
いくつかの実施形態では、図17H及び図17Jのように、第1の文字シーケンス、第2の文字シーケンス、及び1つ以上の第2の予測文字の組合せは、第1の文字シーケンスと1つ以上の予測文字との組合せとは異なる(1850)(例えば、第1及び第2の文字シーケンスの組合せが、ユーザが書き込んでいる可能性が高いものの予測を変更した場合、第1及び第2の文字シーケンスの組合せに基づいて、ユーザが書き込んでいる可能性が高いものの新しい予測に対応する新しい予測文字を表示する)。いくつかの実施形態では、第1及び第2の文字シーケンスの組合せが、ユーザが書き込んでいる可能性が高いものの予測を変更しない場合(例えば、第2の文字シーケンスは予測と同じである)、予測文字の新しいセットは、一部の文字が除去された前の文字のセット(例えば、ユーザが書き込んだ文字)と同じである。
表示された予測文字を(例えば、更なる手書き入力に基づいて表示された予測文字を変更することにより)更新する上述の方法により、電子デバイスは、更なる手書き入力に基づいて、更新された予測単語を提供することが可能となる。これは、(例えば、予測単語を更新するために追加の入力を実行することをユーザに必要とすることなく、関連する予測単語をユーザに継続的に提供するために、ユーザの入力に従って、提案された単語を自動的に更新することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力(例えば、更なる手書き入力)を受信したことに応じて(1852)、第2の手書き入力が第1の手書き入力の継続を含むとの判定に従って、電子デバイスは(1854)、ユーザインタフェース内に、図17Jのように、第2の手書き入力が第2の文字列に対応する第1の手書き入力及び第2の手書き入力の表現(1856)(例えば、第1の手書き入力の軌跡と同時に手書き入力が受信される位置で第2の手書き入力の軌跡を表示する)と、図17Jのように、第1及び第2の手書き入力内の第1及び第2の文字シーケンスに基づいて選択された1つ以上の第2の予測文字の表現(1858)(例えば、新しい手書き入力を考慮するように予測文字を更新し、予測文字の別のセットを表示する)と、を表示する。
いくつかの実施形態では、図17J~図17Kのように、第1の文字シーケンス、第2の文字シーケンス、及び1つ以上の第2の予測文字の組合せは、第1の文字シーケンスと1つ以上の予測文字との組合せと同じである(1860)(例えば、第1及び第2の文字シーケンスの組合せが、ユーザが書き込んでいる可能性が高いものの予測を変更しない(例えば、第2の文字シーケンスは予測と同じ文字である)場合、予測文字の新しいセットは、一部の文字が除去された前の文字セット(例えば、ユーザが第2の文字シーケンスで書き込んだ文字)と同じである。
予測文字を(例えば、ユーザの更なる手書き入力が書き込んだ文字の表示を除去するために予測文字を更新することにより)更新する上述の方法により、電子デバイスは、提案された単語の書き込みをユーザが継続したとしても、提案された単語を受け入れる継続的な能力を提供することが可能となる。これは、(例えば、ユーザが(例えば、ユーザがそれらを既に書いたので)もはや興味を持っていない無関係な文字を見ることをユーザに必要とすることなく、ユーザが書いた文字の表示をユーザがそれを書き込むときに自動的に除去することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の手書き入力の表現及び1つ以上の予測文字の表現を表示している間に(1862)、1つ以上の基準が満たされているとの判定に従って、図17E~図17Hのように、電子デバイスは、ユーザインタフェース内に、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上の予測文字を受け入れる手書き入力の表現のアニメーションを表示する(1864)(例えば、予測文字をどのように受け入れるかのヒントをユーザに提供するために、予測文字の下に下線アニメーションを表示する)。いくつかの実施形態では、アニメーションは、1つ以上の予測文字にわたって移動する下線である。いくつかの実施形態では、1つ以上の基準は、予測文字をどのように受け入れるかのヒントを提供するアニメーションが、その日、その週、そのセッション、そのユーザなどに既に表示されていない場合に満たされる。
いくつかの実施形態では、第1の手書き入力の表現及び1つ以上の予測文字の表現を表示している間に(1862)、1つ以上の基準が満たされないとの判定に従って、図17Eのように、電子デバイスは、ユーザインタフェース内に、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)1つ以上の予測文字を受け入れる手書き入力の表現のアニメーションを表示することを見合わせる(1866)(例えば、ユーザにヒントを提供するアニメーションを表示しない)。いくつかの実施形態では、アニメーションが現在の手書きセッション中に、当日(又は任意の他の持続時間)中に、ユーザに既に表示されている場合にはアニメーションは表示されない。いくつかの実施形態では、アニメーションは、デバイス上に1回のみ表示されるか、又は特定のユーザに対して1回のみ表示される。いくつかの実施形態では、アニメーションは、ユーザが予測文字を受け入れるために下線ジェスチャを実行した場合にはもはや表示されない(例えば、ユーザが予測文字をどのように受け入れるかを知っていることを示す)。
予測文字をどのように受け入れるかのヒントを(例えば、予測文字に下線を引く下線アニメーションを表示することにより)表示する上述の方法は、提案された単語を受け入れるためのジェスチャの視覚的指示を提供する。これは、(例えば、予測単語をどのように受け入れるかを判断するために別個の調査を実行することをユーザに必要とすることなく、予測単語をどのように受け入れるかの短いチュートリアルを自動的に表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Eのように、1つ以上の基準は、電子デバイスがユーザインタフェースにおいて使用するための予測文字を受け入れる手書き入力を閾値回数未満だけ検出した(例えば、予測文字を受け入れる手書き入力を全く検出しないか、5回又は別の所定の回数未満だけ予測文字を受け入れる手書き入力を検出した)ときに満たされ、電子デバイスがユーザインタフェース内で使用するための予測文字を受け入れる手書き入力を少なくとも閾値回数だけ検出していないときには満たされない基準を含む(1868)(例えば、ユーザが予測文字を受け入れるジェスチャを全く実行しなかった場合にはアニメーションを表示するが、ユーザが以前にジェスチャを実行した場合にはアニメーションの表示を見合わせる)。
予測文字をどのように受け入れるかのヒントの表示を(例えば、ユーザが予測文字をどのように受け入れるかを知っていることを示す、予測文字を受け入れるジェスチャをユーザが以前に実行した場合に、もはやアニメーションを表示しないことにより)制限する上述の方法により、電子デバイスは、ディスプレイ上にアニメーションを不必要に表示することを回避することが可能となる。これは、(例えば、ユーザが予測文字をどのように受け入れるかを知るためのヒントを必要としていない可能性が高いと自動的に判定し、将来のヒントの表示を見合わせることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Eのように、第1の手書き入力は、ユーザインタフェース内の第1のテキスト入力領域に向けられ、1つ以上の基準は、電子デバイスが閾値回数未満だけ第1のテキスト入力領域内に予測文字を表示した(例えば、第1のテキスト入力領域内に予測文字を全く表示しないか、5回又は別の所定の回数未満だけ第1のテキスト入力領域内に予測文字を表示した)ときに満たされ、電子デバイスが第1のテキスト入力領域内に予測文字を少なくとも閾値回数だけ表示していないときには満たされない基準を含む(1870)(例えば、現在の手書き入力が向けられているそれぞれのテキスト入力領域内の予測文字に対してアニメーションが表示されていない場合にアニメーションを表示するが、それぞれのテキスト入力領域に対してアニメーションが以前に表示されている場合にはそのテキスト入力領域内に再びアニメーションを表示しない)。
予測文字をどのように受け入れるかのヒントの表示を(例えば、各テキスト入力領域に対して1回だけアニメーションを表示することにより)制限する上述の方法により、電子デバイスは、ディスプレイ上にアニメーションを不必要に表示することを回避しながら、現在のテキスト入力領域が予測文字を受け入れることをサポートしていることを示すことが可能となる。これは、(例えば、各テキスト入力領域に対してヒントを1回表示し、将来はそのテキスト入力領域に対してヒントを表示することを見合わせることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Eのように、1つ以上の基準は、電子デバイスが閾値回数未満だけユーザインタフェース内に予測文字を表示した(例えば、ユーザインタフェース内に予測文字を全く表示しないか、5回又は別の所定の回数未満だけユーザインタフェース内に予測文字を表示した)ときに満たされ、電子デバイスがユーザインタフェース内に予測文字を少なくとも閾値回数だけ表示していないときに満たされない基準を含む(1872)(例えば、現在の手書き入力が入力されているそれぞれのユーザインタフェース上で予測文字に対してアニメーションが表示されていない場合にはアニメーションを表示するが、それぞれのユーザインタフェース上でアニメーションが以前に表示されている場合にはユーザインタフェース上にアニメーションを再び表示しない)。
予測文字をどのように受け入れるかのヒントの表示を(例えば、各ユーザインタフェースに対して1回だけアニメーションを表示することにより)制限する上述の方法により、電子デバイスは、ディスプレイ上にアニメーションを不必要に表示することを回避しながら、現在のユーザインタフェースが予測文字を受け入れることをサポートしていることを示すことが可能となる。これは、(例えば、各ユーザインタフェースに対してヒントを1回表示し、将来はそのユーザインタフェースに対してヒントを表示することを見合わせることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Eのように、1つ以上の基準は、電子デバイスが閾値回数未満だけ当日中に予測文字を表示した(例えば、当日中に予測文字を全く表示しないか、5回又は別の所定の回数未満だけ予測文字を表示した)ときに満たされ、電子デバイスが当日中に予測文字を少なくとも閾値回数だけ表示していないときに満たされない基準を含む(1874)(例えば、アニメーションがその日に表示されていない場合(例えば、アニメーションがその日に表示されていない場合にはアニメーションを表示するが、アニメーションが既にその日に表示されている場合にはその日の残りの間アニメーションを表示しない)。
予測文字をどのように受け入れるかのヒントの表示を(例えば、1日当たり1回だけアニメーションを表示することにより)制限する上述の方法により、電子デバイスは、ディスプレイ上にアニメーションを不必要に表示することを回避しながら、予測文字をどのように受け入れるかのリマインダを提供することが可能となる。これは、(例えば、ヒントを1日当たり1回表示し、その日の残りの間ヒントを表示することを見合わせることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の手書き入力を構成する手書き文字のサイズが第1のサイズであるとの判定に従って、図17Dのように、1つ以上の予測文字は第2のサイズで表示される(1876)(例えば、手書き入力のサイズに基づいて、特定のサイズで予測文字を表示する)。いくつかの実施形態では、予測文字は、手書き入力と比較して、より小さい、より大きい、又は同じサイズで表示される。
いくつかの実施形態では、第1の手書き入力を構成する手書き文字のサイズが、第1のサイズとは異なる第3のサイズであるとの判定に従って、図17Dのように、1つ以上の予測文字は、第2のサイズとは異なる第4のサイズで表示される(1878)(例えば、手書き入力が第1のサイズとは異なるサイズである場合、1つ以上の予測文字もまた、(例えば、手書き入力のサイズに基づいて)異なるサイズで表示される)。
予測文字を(例えば、手書き入力のサイズに基づくそれぞれのサイズで予測文字を表示することにより)表示する上述の方法により、電子デバイスは、ディスプレイ上に表示される文字の連続性を増大させるために、手書き入力のサイズに基づいて、予測文字のサイズを調整することが可能となる。これは、(例えば、手書き入力のサイズに基づくそれぞれのサイズで予測文字を表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Dのように、第2のサイズは第1のサイズと一致し、第4のサイズは第3のサイズと一致する(1880)(例えば、予測文字のサイズは、予測文字が対応する手書き入力のサイズと一致する)。いくつかの実施形態では、サイズを一致させることは、高さ、幅、文字間隔、又は上記の任意の組合せを一致させることを含む。
予測文字を(例えば、予測文字のサイズを手書き入力のサイズと一致させることにより)表示する上述の方法により、電子デバイスは、手書き入力のサイズに基づいて予測文字のサイズを調整して、ディスプレイ上に表示される文字の連続性を増大させることが可能となる。これは、(例えば、予測文字を、手書き入力のサイズと一致するそれぞれのサイズで表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェースを表示している間に、図17Bのように、電子デバイスは、タッチ感知ディスプレイを介して、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信し、第2の手書き入力は第2の文字シーケンスに対応する(1882)(例えば、テキストフィールド上又はその近くでユーザ入力を受信する)。いくつかの実施形態では、ユーザ入力は、スタイラス又は他の書き込みデバイスから受信される。いくつかの実施形態では、ユーザ入力は、第1の手書き入力及び/又は1つ以上の予測文字の表現に向けられたジェスチャである。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(1884)、第2の文字シーケンスが1つ以上の基準を満たすとの判定に従って、図17Dのように、電子デバイスは、ユーザインタフェース内に、第2の手書き入力の表現及び第2の手書き入力内の第2の文字シーケンスに基づいて選択された1つ以上の第2の予測文字の表現を表示する(1886)(例えば、第2の文字シーケンスが一意の単語に対応する場合には、予測文字を表示する)。いくつかの実施形態では、一意の単語は、手書き入力に文字を追加することによって特定の数未満の単語(例えば、5語、10語、20語)が作成され得るような単語である。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(1884)、第2の文字シーケンスが1つ以上の基準を満たさないとの判定に従って、図17Dのように、電子デバイスは、ユーザインタフェース内に、1つ以上の第2の予測文字の表現を表示することなく第2の手書き入力の表現を表示する(1888)(例えば、第2の文字シーケンスが一意の単語に対応しない場合、予測を表示しない)。いくつかの実施形態では、ユーザ入力が潜在的に多数の単語(例えば、20個の潜在的な単語、50個の潜在的な単語、100個の潜在的な単語などより多く)となり得る場合、予測を表示しない(例えば、予測が正しい可能性が閾値を下回るため)。
予測文字を(例えば、手書き入力が特定の基準を満たす(例えば、手書き入力が一意の単語に対応する)場合に予測文字を表示することにより)表示する上述の方法により、電子デバイスは、予測がユーザに提供されるインスタンスを制限し、ユーザが予測を受け入れる可能性が低い場合に予測を提供することを回避することが可能となる。これは、(例えば、ユーザが予測文字を受け入れる可能性がより高い特定の状況で予測文字を表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェースを表示している間に、図17Bのように、電子デバイスは、タッチ感知ディスプレイを介して、ユーザインタフェースに向けられた第2の手書き入力を含む第2のユーザ入力を受信し、第2の手書き入力は第2の文字シーケンスに対応する(1890)(例えば、テキストフィールド上又はその近くでユーザ入力を受信する)。いくつかの実施形態では、ユーザ入力は、スタイラス又は他の書き込みデバイスから受信される。いくつかの実施形態では、ユーザ入力は、第1の手書き入力及び/又は1つ以上の予測文字の表現に向けられたジェスチャである。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(1892)、図17Bのように、電子デバイスは、ユーザインタフェース内に、第2の手書き入力の表現を表示する(1894)(例えば、手書き入力が受信される位置(単数又は複数)に第2の手書き入力の軌跡を表示する)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(1892)、第2の手書き入力の終了から所定量を超える時間が経過したとの判定に従って、図17Dのように、電子デバイスは、ユーザインタフェース内に、第2の手書き入力内の第2の文字シーケンスに基づいて選択された1つ以上の第2の予測文字の表現を表示する(1896)(例えば、ユーザが、閾値量の時間(例えば、0.5秒、1秒、2秒、3秒、5秒)手書き入力を一時停止した場合、予測文字を表示する)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(1892)、第2の手書き入力の終了から所定量未満の時間が経過したとの判定に従って、図17Dのように、電子デバイスは、1つ以上の第2の予測文字の表現を表示することを見合わせる(1898)(例えば、ユーザが閾値量の時間手書き入力を一時停止していない場合、予測文字を表示せず、任意選択的に、第2の手書き入力の終了から所定量の時間が経過した後に予測文字を表示する)。
予測文字を(例えば、ユーザが閾値量の時間手書き入力を一時停止した後に予測文字を表示することにより)提供する上述の方法により、電子デバイスは、ユーザが手書き入力をアクティブに実行している間に、予測文字を表示してユーザを不必要に混乱させることを回避しつつ、ユーザが予測文字を見て考慮する可能性がより高い状況で予測文字を提供することが可能となる。これは、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Sのように、第1の文字シーケンスと1つ以上の予測文字との組合せが、ユーザインタフェース内で、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)第1の文字シーケンスと1つ以上の予測文字との組合せを入力するよう選択可能な選択可能ユーザインタフェース要素内に表示される(1898-02)(例えば、手書き入力の表現の近くにポップアップを表示する)。いくつかの実施形態では、ポップアップは、予測単語を受け入れ、手書き入力を予測単語に変換するように選択可能な、予測単語の選択可能オプション(例えば、手書き入力と予測文字との予測単語への組合せ)を含む。いくつかの実施形態では、ユーザが更なる手書き入力を提供すると、ポップアップは、追加の手書き入力に基づいて更新された予測単語を表示するように更新される。
予測文字を(例えば、手書き入力の位置の近くのポップアップ内に予測文字を表示することにより)表示する上述の方法により、電子デバイスは、手書き入力が検出されているユーザインタフェースをブロックすることなく、予測単語を提供することが可能となる。これは、(例えば、手書き入力を同時に提供しながら、ユーザが予測入力を見ることができるポップアップ内に予測文字を表示することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図17Sのように、選択可能ユーザインタフェース要素は、第1の文字シーケンスと1つ以上の予測文字との組合せの第1の表現と、第1の文字シーケンスの第2の表現とを含み、第1の表現は、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)第1の文字シーケンスと1つ以上の予測文字との組合せを入力ために選択可能であり、第2の表現は、ユーザインタフェースにおいて使用するための(例えば、表示されるテキストフィールドに入力するための)第1の文字シーケンスなしに、1つ以上の予測文字を入力ために選択可能である(1898-04)(例えば、ポップアップはまた、それまでに書き込まれた手書き文字のテキスト表示も含む)。いくつかの実施形態では、手書き文字のテキスト表示はフォントベースのテキストとして表示される。いくつかの実施形態では、テキスト表示は、手書き入力を、それまでに書き込まれた文字のフォントベースのテキストバージョンに変換するために選択可能ではない。いくつかの実施形態では、テキスト表示は、手書き入力を、(変換を伴う予測文字も含むことなく)それまでに書き込まれた(及び解釈された)文字のフォントベースのテキストバージョンに変換するために選択可能である。いくつかの実施形態では、ユーザが更なる手書き入力を提供し続けると、ポップアップ(例えば、予測単語及び/又はそれまでに書き込まれた手書き文字のテキスト表示)が更新される。
手書き入力に対応するフォントベースのテキストと同時に予測文字を(例えば、予測文字及び手書き入力のフォントベースのテキスト解釈をポップアップで同時に表示することにより)表示する上述の方法により、電子デバイスは、ユーザの書き込みを確認し、予測単語を受け入れるか、又は、それまでに書き込まれた手書き入力を受け入れる能力を提供することが可能となる。これは、(例えば、予測単語を選択するか、又は書き込まれたとおりに手書き入力を受け入れるために、異なるユーザインタフェースにナビゲートすることをユーザに必要とすることなく、予測単語を受け入れるか、又はユーザがそれまでに書き込んだもののフォントベースのテキストを受け入れるオプションをユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図18A~図18Iにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1600、2000、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図18A~図18Iに関して上述した方法1800にも、類似の様式で適用可能であることに留意されたい。例えば、方法1800を参照して上述した自動補完提案を提示する動作は、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1600、2000、及び2200)を参照して本明細書に記載される手書き入力の受け入れ及び/又は変換、テキストの選択及び削除、手書き入力を既存のテキストに挿入すること、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力メニューを提示すること、手書き入力の特性を制御すること、及び手書き入力をフォントベースのテキストに変換すること、コンテンツ入力パレットにオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図18A~図18Iを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作1802、1806、1844、1854、1864、1886、1888、1894、及び1896並びに受信する動作1804、1808、1816、1836、1882、及び1890は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
手書き入力をフォントベースのテキストに変換する
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。以下に説明する実施形態は、電子デバイスが、手書き入力をフォントベースのテキストに変換し、したがってデバイスとのユーザの対話を強化する方法を提供する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図19A~図19BBは、電子デバイスが手書き入力をフォントベースのテキストに変換する例示的な方法を示す。これらの図中の実施形態は、図20A~図20Dを参照して説明するプロセスを含め、以下に説明するプロセスを例示するために使用される。
図19A~図19BBは、電子デバイス500が、手書き入力をフォントベースのテキストに変換する動作を示す。図19Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図19Aで、デバイス500は、(例えば、ユーザインタフェース620、800、1000、1210、及び1700と同様に)メモ帳アプリケーションに対応するユーザインタフェース1900を表示している。いくつかの実施形態では、ユーザインタフェース1900は、ユーザが(例えば、方法700、1100、1300、及び1800に関して上述したように、ソフトキーボード又はスタイラス203を介して)テキストを入力することができるテキスト入力領域1902を含む。
図19Bで、文字「h」を書き込む手書き入力1904が、スタイラス203からテキスト入力領域1902内で受信される。図19Cで、手書き入力1904は続けて文字「an」を書き込む。いくつかの実施形態では、ユーザが所定数の文字(1文字、2文字、3文字)を書き込んだ後、又は所定量の時間(0.5秒、1秒、3秒)後、手書き入力1906の一部(例えば、手書き入力によって残された軌跡の一部)が視覚的特性を変更し始める。いくつかの実施形態では、手書き入力1906の一部は、色及び/又は不透明度を変更する(例えば、黒からグレーへ、暗い青から明るい青へなど)。いくつかの実施形態では、色を変更する手書き入力1906の部分は、手書き1904の最初(例えば、第1のストロークで)に開始し、手書き入力の経路に従う。例えば、図19Dに示すように、「h」の第1の垂直ストロークの頂部は黒からグレーに変化し、次いで、垂直ストロークの残部、次いで曲線などがグレーになる。
図19Dで、ユーザが手書き入力を継続すると、手書き入力1906の一部は、上述のように、手書き入力の経路に沿って拡大する。いくつかの実施形態では、視覚的特性の継続的な変更は、ユーザが手書き入力を継続することを必要としない(例えば、以下で更に詳細に説明されるように、手書き入力が減速又は停止する場合には、任意選択的に手書き入力に「追いつく」)。いくつかの実施形態では、手書き入力1906の一部は、元のストロークの速度に基づいて経路に沿って拡大する(例えば、ユーザが「h」を非常に素早く書き込んだ場合、「h」は、非常に素早くグレーに変換される)。いくつかの実施形態では、変換速度は、ユーザの現在の書き込みの速度に基づく(例えば、ユーザが「and」及び後続の文字を素早く書き込む場合、変換速度も速い)。いくつかの実施形態では、(例えば、拡大の)視覚的特性を変更する速度は、ユーザの手書き入力の速度と一致する。いくつかの実施形態では、視覚的特性を変更する速度は、ユーザの手書き入力の速度に基づく(例えば、任意選択的に、ユーザの手書き入力の速度よりも遅い)。いくつかの実施形態では、視覚的特性を変更する速度は固定され、ユーザの手書き入力の速度に依存しない。いくつかの実施形態では、視覚的特性を変更する速度は、ユーザが手書き入力のそれぞれの部分を書き込んでからの時間量(例えば、0.5秒、1秒、2秒、3秒など)に基づく。したがって、いくつかの実施形態では、手書き入力の視覚的特性を変更することは、ユーザの手書き入力からの「インク」が乾燥しているかのように見える(例えば、前に作成され表示された手書き軌跡の部分は、後に作成され表示された手書き軌跡の部分よりも前に変換される)。
図19Eで、ユーザは手書き入力を実行し続け、「wri」を「hand」に追加する。いくつかの実施形態では、ユーザが手書き入力を実行していることに応じて、又はその間に、手書き入力1906の一部は、手書き入力1904の経路に従うことを継続し、したがって手書き入力1904.内の更なる文字の視覚的特性を変更する。いくつかの実施形態では、変更はストローク毎に実行される(例えば、各文字に対する各手書きストロークが一度に変換される)。いくつかの実施形態では、変更は文字単位で実行される(例えば、文字のストロークの順序とは無関係に、各文字が一度に変換される)。実施形態では、図19Eに示すように、手書き入力1904の視覚的特性を変更する速度は、手書き入力1904の速度よりも遅れる(例えば、ユーザが3文字を書き込んだ時間中に、2文字が変換されている)。
図19Fで、スタイラス203がタッチダウンしたままである間(例えば、又は任意選択的に、方法1300に関して上述したように、タイマがカウントしている間など、スタイラス203がもはやタッチスクリーンに接触していないが、デバイス500が手書き入力をフォントベースのテキストに変換する時の前に)、ユーザは手書き入力を一時停止する(例えば、任意の追加の文字を書き込まない)。いくつかの実施形態では、手書き入力1906の一部の変換は、手書き入力1904/スタイラス203の現在位置へと「追いつき」続ける。いくつかの実施形態では、手書き入力1906の一部は、手書き入力1904の現在の位置に完全には追いつかない。いくつかの実施形態では、グレーに変換される手書き入力1906の部分は、手書き入力1904の最も遠い位置から所定の距離(例えば、1文字、2文字など)で停止する。いくつかの実施形態では、ユーザがそれぞれの単語を書き込むことを完了していないか、及び/又は手書き入力1904が(例えば、方法1300に関して上述したように)まだフォントベースのテキストに変換されない場合、変換は一時停止する。したがって、図19Fに示すように、直近に書き込まれた2つの文字に対応する文字「r」及び「i」は、グレーに変換されない。
図19Gで、ユーザは、(例えば、「t」を書き込むことにより)手書き入力1904を再開する。いくつかの実施形態では、ユーザが手書き入力を再開することに応じて、変換は、手書き入力1904の経路に沿って継続する。いくつかの実施形態では、変換(例えば、グレーの拡大)が手書き入力1904の経路に沿って継続する間、変換は、手書き入力1904の現在の位置(例えば、手書き入力の最も遠い位置)から所定の距離を維持する。
図19Hで、ユーザは、手書き入力1904の実行を継続して、単語「handwriting」の書き込みを完了する。いくつかの実施形態では、ユーザが手書き入力を継続したことに応じて、変換は、手書き入力1904の最も遠い位置(例えば、スタイラス203の現在位置)から所定の距離まで手書き入力1904の経路に沿って継続する。
図19Iで、スタイラス203のリフトオフが検出される。いくつかの実施形態では、デバイス500は、ユーザが手書き入力1904を書き込むことを完了したと判定する。いくつかの実施形態では、ユーザが手書き入力1904の書き込みを完了したことに応じて、デバイス500は、(例えば、任意選択的に、方法700、1100、及び1300に記載されるプロセスに従って)手書き入力1904をフォントベースのテキストに変換する。いくつかの実施形態では、(例えば、図19Fに関して上述したように、手書き入力を語中で一時停止するのとは対照的に)ユーザがそれぞれの単語の書き込みを完了したとデバイス500が判定したことに応じて、手書き入力1904をグレーに変換するプロセスは、手書き入力の全ての文字がグレーに変更されるように、手書き単語の残部(例えば、図19Hで変換されなかった文字を含む)を変換する。
いくつかの実施形態では、手書き入力1904がグレーに完全にされるのと同時に、又はその後に(例えば、ユーザが単語「handwriting」の書き込みを完了したとの判定に応じて)、デバイス500は、手書き入力1904をフォントベースのテキストに変換するプロセスを開始する。いくつかの実施形態では、手書き入力1904を変換するプロセスは、手書き入力1904をフォントベースのテキストに変換するアニメーションを含む。いくつかの実施形態では、アニメーションは、図19Iに示すように、手書き入力1908の一部をディゾルブすることを含む。例えば、図19Iに示すように、「h」はディゾルブし始め、個々の離散的な不変化詞に変換される。
図19Jで、アニメーションは継続し、「h」は不変化詞に更に溶解される一方、文字「a」及び「n」がディゾルブし始める。いくつかの実施形態では、不変化詞は、不変化詞がディゾルブした文字の元の境界内に留まる(例えば、不変化詞は、フォントベースのテキストの最終位置に向かって移動し始めていない)。したがって、いくつかの実施形態では、アニメーションは、単語「handwriting」の最初から進行し、単語「handwriting」の最後の文字まで文字単位で移動する。いくつかの実施形態では、それぞれの文字がディゾルブされる不変化詞の数は、それぞれの文字の面積に基づく。例えば、より長い及び/又はより太いストロークを有する文字は、より多くの不変化詞にディゾルブされるが、より短い及び/又はより細いストロークを有する文字は、より少ない不変化詞にディゾルブされる。
図19Kで、文字「h」からの不変化詞は、フォントベースのテキストの最終位置に向かって移動し始める(例えば、テキスト入力領域1902と左揃えにされる)。いくつかの実施形態では、文字「a」及び「n」は、不変化詞に完全にディゾルブされる。いくつかの実施形態では、ディゾルブアニメーションは、単語に従って(例えば、「d」及び「w」など)を継続する。
図19Lで、文字「h」からの不変化詞がフォントベースのテキストの最終位置に向かって移動し続けている間に、フォントベースのテキスト1912が表示される(例えば、「h」)。したがって、いくつかの実施形態では、フォントベースのテキストは、「h」からの全ての不変化詞が最終位置に移動する前に表示される。いくつかの実施形態では、文字「h」からの不変化詞はフォントベースのテキストに移動し、それと一体化する。いくつかの実施形態では、不変化詞は、フォントベースのテキストに達する前の所定の距離(例えば、1mm、2mm、5mmなど)で表示から除去される。いくつかの実施形態では、文字「h」からの各不変化詞は、その元の位置から最終位置への固有のそれぞれの軌道を有する(例えば、各不変化詞は、他の不変化詞が表示から除去されるのを考慮することなく、表示から除去される)。いくつかの実施形態では、不変化詞が最終的なフォントベースの位置に向かって移動するにつれて加速し、次いで最終的なフォントベースの位置に近づくにつれて(例えば、任意選択的に、それらが表示から除去される位置に近づくにつれて)減速するような勢いを不変化詞は有する。
例えば、図19Mで、文字「h」からの不変化詞の大部分は、それらの最終位置に達し、表示から除去される。いくつかの実施形態では、いくつかの不変化詞(例えば、任意選択的に、文字「h」の最も右側の部分からの不変化詞)は、それらのそれぞれの最終位置に向かって依然として移動している。図19K~図19Mは、それぞれの最終位置に向かって移動する文字「a」及び「n」からの不変化詞を図示していないが、文字「a」及び「n」からの不変化詞のアニメーションは、文字「h」について記載したのと同じプロセスに従って、それらのそれぞれの最終位置に向かって、任意選択的に同時に移動することが理解される。同様に、図19K~図19Mは、手書き入力1904の残りの文字のディゾルブアニメーションを図示していないが、不変化詞のディゾルブ及び移動のアニメーションは、文字「h」について記載したのと同じプロセスに従って、「h」からの不変化詞がそれらの最終位置に向かって移動する間に、任意選択的に実行される。図19Nは、全ての文字が不変化詞にディゾルブし、それらの最終位置に移動し、フォントベースのテキスト1912.に変換された後の最終結果を示す。
上記の図19A~図19Mは、単語が文字単位のプロセスでディゾルブされる実施形態を示す。図19O~図1919Vは、単語の全ての文字が同時にアニメーション化される(例えば、ディゾルブアニメーションが文字単位ではなく単語単位である)代替的な実施形態を示す。
図19Oで、単語「two」を書き込む手書き入力1914が受信される。いくつかの実施形態では、ユーザが手書き入力1914を実行している間に、図19A~図19Iに関して上述したプロセスと同様に、単語「two」は黒からグレーに変換される。図19Pで、ユーザが単語「two」を書き込むことを完了すると、スタイラス203のリフトオフが検出されて、単語全体がグレーに変換される。図19Qで、手書き入力1914の文字(例えば、任意選択的に、手書き入力1914のあらゆる文字)が、(例えば、一度に連続する各文字とは対照的に)ディゾルブし始める。図19Rで、手書き入力1914をフォントベースのテキスト1916に変換するアニメーションが進行中である間に、ユーザは、第2の単語の手書き入力1918を開始する。いくつかの実施形態では、図19Rに示すように、語「two」からの不変化詞はそれぞれの最終位置に向かって移動しており、変換された単語(例えば、「two」)に対応するフォントベースのテキスト1916が表示される。
図19Sで、ユーザは、手書き入力1918を実行し続ける。いくつかの実施形態では、手書き入力1918と同時に、手書き入力1918は、図19A~図19Iに関して上述したプロセスと同様に、グレーに変換される。図19Sで、手書き入力1914をフォントベースのテキスト1916に変換するアニメーションが完了する(例えば、単語「two」からのより多くの不変化詞が表示されない)。
図19Tで、ユーザが単語「cats」を書き込むことを完了すると、スタイラス203のリフトオフが検出される。いくつかの実施形態では、ユーザが単語「cats」を書き込むことを完了したことに応じて、単語は、(例えば、図19A~図19Iを参照して上述したプロセスに従って)グレーになるように更新される。)。いくつかの実施形態では、ユーザが単語「cats」を書き込むことを完了し、単語をグレーに変換することに応じて、図19Uに示すように、単語(例えば、同時にあらゆる文字)が不変化詞にディゾルブし、フォントベースのテキストの最終位置に向かって移動することを開始する。いくつかの実施形態では、フォントベースのテキスト(例えば、「cats」)の最終位置は、以前に変換されたフォントベースのテキスト(例えば、「two」)と整列される。図19Vで、アニメーションが完了し、手書き入力1914及び1918は、「two cats」に対応するフォントベースのテキスト1916に変換されている。したがって、いくつかの実施形態では、アニメーションは単語単位で(例えば、単語内の各文字が同時に)実行される。いくつかの実施形態では、各単語の不変化詞の数は、各単語の面積(例えば、単語の各文字によって占有される面積の量)に基づく。それぞれの単語をフォントベースのテキストに変換するアニメーションは、ユーザが手書き入力を継続している(例えば、別の単語を書き込む)ことに依存せず、デバイス500が、ユーザが単語の書き込みを完了したと判定し手書き入力をフォントベースのテキストに変換する任意の時に任意選択的に実行されることが理解される。
図19W~図19BBは、手書き入力をフォントベースのテキストに変換するアニメーションを表示する別の実施形態を示す。図19Wで、ユーザは、(例えば、図19Hに示すのと同様に)単語「handwriting」の書き込みを完了する。図19Xで、スタイラス203のリフトオフが検出される。いくつかの実施形態では、デバイス500は、ユーザが手書き入力1904を書き込むことを完了したと判定する。いくつかの実施形態では、ユーザが手書き入力1904の書き込みを完了したことに応じて、デバイス500は、(例えば、任意選択的に、方法700、1100、及び1300に記載されるプロセスに従って)手書き入力1904をフォントベースのテキストに変換する。いくつかの実施形態では、デバイス500が、ユーザがそれぞれの単語の書き込みを完了したと判定したことに応じて、手書き入力1904をグレーに変換するプロセスは、手書き入力の全ての文字がグレーに変更されるように、(例えば、図19Wで以前にグレーに変換されていない文字を含む)手書き単語の残部を変換する。
いくつかの実施形態では、手書き入力1904がグレーに完全に変換されるのと同時に、又はその後に(例えば、ユーザが単語「handwriting」の書き込みを完了したとの判定に応じて)、デバイス500は、手書き入力1904をフォントベースのテキストに変換するプロセスを開始する。いくつかの実施形態では、手書き入力1904を変換するプロセスは、手書き入力1904をフォントベースのテキストに変換するアニメーションを含む。いくつかの実施形態では、アニメーションは、結果として得られるフォントベースのテキストの最終サイズに及び/又はそれに向かって手書き入力1908を縮小すること、及び/又は、結果として得られるフォントベースのテキストをビューに同時にフェードインしながら、手書き入力1908をビュー外にフェードアウトすることを含む。例えば、図19Yで、手書き入力1904は、図19Xと比較してサイズが縮小されている(例えば、水平方向及び/又は垂直方向にサイズが縮小している)。図19Yで、手書き入力1904は、追加的に又は代替的にフェードアウトを開始する(例えば、透明性の増大及び/又はグレーへの変化)。図19Yで、手書き入力に対応するフォントベースのテキスト1920は、ビューにフェードインし始める。例えば、図19Yで、フォントベースのテキスト1920はグレーで高い透明度値で表示される。いくつかの実施形態では、フォントベースのテキスト1920のサイズは、テキスト入力領域1902に対する現在のフォント設定のデフォルトサイズである。
図19Zは、継続する変換アニメーションを示す。図19Zで、手書き入力1904は、サイズが縮小しフェードアウトすることを継続する。同時に、フォントベースのテキスト1920は、引き続きビューにフェードインする(例えば、より透明ではなく、及び/又はよりグレーではなくなる)。図19AAで、フォントベースのテキスト1920が引き続きビューにフェードインする間に、手書き入力1904はサイズを縮小し続ける。図19AAに示すように、手書き入力1904は、フォントベースのテキスト1920の最終サイズ(例えば、高さ及び/又は幅)に近づく。図19BBで、変換アニメーションが完了し、手書き入力1904が表示されることを停止し(例えば、透明度が100%に達し)、フォントベースのテキスト1920が完全に表示される(例えば、透明性がなく、グレーアウトしていない)。
図19W~図19BBは、手書き入力1904のフェーディングと同時に変化する手書き入力1904のサイズを示しているが、変換アニメーションのこれらの2つの構成要素は、任意選択的に、(例えば、並行してではなく)連続的に実行されることが理解される。いくつかの実施形態では、手書き入力1904のサイズは、フェードアウトする前に(例えば、完全にフェードアウトする前、又はフェードアウトを開始する前に)、フォントベースのテキストのサイズ(又はフォントベースのテキストのおよそのサイズ)に縮小する。
また、ユーザが書き込む際に視覚的特性を変化させる手書き入力のアニメーションに関して本明細書に記載される実施形態は、(例えば、図6~図19のいずれかに関して上述したように)文字及び/又は単語を書き込む手書き入力が受信される任意の又はあらゆる時に任意選択的に実行され、不変化詞にディゾルブしフォントベースのテキストの最終位置に移動する手書き入力のアニメーション及び/又はフォントベースのテキストがフェードインする間にサイズを縮小しフェードアウトする手書き入力のアニメーションは、(図6~図19のいずれかに関して上述したように)手書き入力がフォントベースのテキストに変換される任意の又はあらゆる時に任意選択的に実行されることも理解される。
図20A~図20Dは、手書き入力をフォントベースのテキストに変換する方法2000を示す流れ図である。方法2000は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで実行される。方法2000におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に説明するように、方法2000は、手書き入力をフォントベースのテキストに変換する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、図19Bのように、ディスプレイデバイス及び1つ以上の入力デバイスを有する電子デバイス(例えば、デバイス100、デバイス300、デバイス500、デバイス501、若しくはデバイス591などの電子デバイス、タッチスクリーン(例えば、タッチ感知ディスプレイ)を含むモバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はタッチスクリーン(例えば、タッチ感知ディスプレイ)を含むコンピュータ)は、ユーザインタフェース(例えば、方法700、1100、1300、1500、及び1800を参照して記載されたものなどの、タッチ感知ディスプレイ上のテキスト又は文字入力ユーザインタフェース)を表示している間に、1つ以上の入力デバイスを介して、図19Bのように、移動の経路に対応する入力(例えば、手書き入力などのディスプレイ上のスタイラスを用いた入力)を検出する。
いくつかの実施形態では、入力を検出し続ける間(2004)(例えば、接触がディスプレイ上に維持されている間)、入力を検出したことに応じて、図19Bのように、電子デバイスは、ディスプレイデバイスを介して、ユーザインタフェース内の第1の位置に第1の外観を有する経路の表現(例えば、経路の表現の位置)を表示する(2006)。最初に、経路は、任意選択的に、黒で表示される。
いくつかの実施形態では、入力を検出し続ける間(2004)、第1の外観を有する経路の表現を表示した後、図19Cのように、電子デバイスは、経路の表現の少なくとも一部の外観を、第1の外観とは異なる第2の外観に変更する(2008)(例えば、時間が経過するにつれて、経路の一部を黒からグレーに変更する)。いくつかの実施形態では、ディスプレイとのスタイラスの現在の接触位置からの何らかの所定の距離(例えば、0.5cm、1cm、2cm、5cm、1文字、2文字、3文字)までの経路の一部はグレーに変化し、スタイラスに近い経路の部分は黒のままである。
いくつかの実施形態では、経路の表現の一部の外観を第1の外観とは異なる第2の外観に変更した後(2010)(例えば、入力に対応する接触のリフトオフなどのアニメーション基準の検出又は経路に対応する単語若しくは文字の検出に応じて)、図19Lのように、電子デバイスは、ユーザインタフェース内の第2の位置に経路に基づいて選択される1つ以上のフォントベースの文字を表示する(2012)(例えば、手書き入力に対応する文字を識別し、それらをディスプレイ内の第2の位置に表示する)。いくつかの実施形態では、第2の位置は第1の位置とは異なる。いくつかの実施形態では、第2の位置は第1の位置と同じである。
いくつかの実施形態では、経路の表現の一部の外観を第1の外観とは異なる第2の外観に変更した後(2010)、図19K~図19Mのように、電子デバイスは、ユーザインタフェース内の第1の位置からユーザインタフェース内の第2の位置(例えば、フォントベースの文字の位置)へ移動する経路の部分のアニメーションを表示する(2014)。いくつかの実施形態では、アニメーションの少なくとも一部(又はアニメーション全体)は、1つ以上のフォントベースの文字を表示するのと同時に表示される。いくつかの実施形態では、アニメーションの少なくとも一部(又はアニメーション全体)は、1つ以上のフォントベースの文字を表示する前に表示される。いくつかの実施形態では、アニメーションの少なくとも一部(又はアニメーション全体)は、1つ以上のフォントベースの文字を表示した後に表示される。
手書き入力の表現の外観を変更した後、その現在の位置からフォントベースの文字の位置へ移動する経路のアニメーションを表示する上述の方法は、手書き入力のどの部分がフォントベースのテキストに変換されるかを示し、フォントベースのテキストがどのようになるかを示す。これは、(例えば、起こりつつある動作に関するフィードバックを提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図19Cのように、第1の外観は第1の色(例えば、黒)であり、第2の外観は第1の色とは異なる第2の色(例えば、グレー)である(2016)。手書き入力の表現の一部の外観を変更する上述の方法は、手書き入力のどの部分がフォントベースのテキストに変換されるかを示す。これは、(例えば、起こりつつある動作に関するフィードバックを提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、経路の表現の一部の外観を変更することは、図19C~図19Iのように、経路の表現が最初に表示された方向に基づいて決定された方向において第1の外観から第2の外観へ経路の表現のサブ部分を漸進的に変更することによって経路の表現の一部の外観の変化を徐々にアニメーション化することを含む(2018)。例えば、手書き入力が検出されると、ディスプレイ上のスタイラスの現在の位置から最も遠い経路の部分が最初に外観を変更し、スタイラスの現在の位置に向かって徐々に変更する。
手書き入力の表現の外観を変更する上述の方法は、以前に入力された手書き入力のどの部分に追加の手書き入力を追加することができるかを示す。これは、(例えば、追加の手書き入力の適切な位置に関するフィードバックを提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、経路の表現の一部の外観を変更することは、図19C~図19Fのように、経路の表現が最初に表示された速度に基づいて決定された速度で第1の外観から第2の外観へ経路の表現のサブ部分を漸進的に変更することによって経路の表現の一部の外観の変化を徐々にアニメーション化することを含む(2020)。例えば、手書き入力がより速いほど、経路のサブ部分の外観の変化がより速くなる。
手書き入力の速度に基づいて手書き入力の表現の外観を変更する上述の方法は、フィードバックの提示が更なる入力を受信するためのボトルネックではないことを保証する。これは、(例えば、上述の経路フィードバックを提供するために必要な時間を短縮することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、経路の表現の一部の外観を変更することは、図19Fのように、経路を生成させた入力から第1の閾値距離に経路の表現の一部が到達したときに第1の外観から第2の外観への経路の表現の一部の外観の変化をアニメーション化することを停止することを含む(2022)(例えば、経路は、第2の色である経路の部分が、経路を描画するために使用されたタッチ感知面上での接触から閾値距離(例えば、0.25cm、0.5cm、1cm、2cm、5cm、1文字、2文字、3文字など)に到達するまで、第1の色から第2の色に徐々に変化する)。
現在のスタイラス位置に最も近い表現の一部における手書き入力の表現の外観を変更しない上述の方法は、更なる手書き入力が依然として受け入れられ、前に検出された手書き入力と一体化され得ることを示す。これは、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、経路の表現の一部の外観の変化をアニメーション化することを停止した後、図19Gのように、電子デバイスは、入力の継続した移動を検出する(2024)(例えば、最後に検出されたスタイラス入力位置からの追加の手書き入力を検出する)。いくつかの実施形態では、入力の継続的な移動を検出したことに応じて、図19G.のように、電子デバイスは、経路の表現が最初に表示された方向に基づいて決定された方向において第1の外観から第2の外観に経路の表現のサブ部分を漸進的に変更することによって経路の表現の一部の外観の変化の緩やかなアニメーションを再開する(2026)。例えば、追加の手書き入力が受信されると、手書き入力の表現は、追加の手書き入力によって生成された経路に続く方向における経路の外観を変更するアニメーションを継続する(アニメーションを再開する)。
外観の変化のアニメーションを再開する上述の方法は、追加の手書き入力に関する継続的なフィードバックを提供する。これは、(例えば、フィードバックの提供を継続するために、継続した手書き入力以外のアクションを必要としないことにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図19Iのように、ユーザインタフェース内の第1の位置からユーザインタフェース内の第2の位置へ移動する経路の部分のアニメーションは、入力の終了を検出したことに応じて(例えば、タッチ感知面からの接触のリフトオフ、又は1、2、4秒などの時間閾値よりも長い間の後続の接触のないリフトオフの後)表示される(2028)。いくつかの実施形態では、アニメーションの実行は、方法700、1100、及び1300に関して上述したものなどの、手書き入力をフォントベースのテキストに変換するための同じトリガによってトリガされる。いくつかの実施形態では、本明細書に記載されるアニメーションは、(例えば、方法700、100、及び1300に関して上述したように)手書きテキストがフォントベースのテキストに変換されるときにはいつも実行される。
リフトオフまで第2の位置への経路をアニメーション化しない上述の方法は、デバイスがアニメーションを不必要に提示すること及び経路の表示を誤って停止することを防止する。これは、(例えば、経路に向けられた追加の手書き入力が検出される可能性がある間、あまりに早く経路の表示を停止する可能性を低下させることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図19I.のように、ユーザインタフェース内の第1の位置からユーザインタフェース内の第2の位置へ移動する経路の部分のアニメーションは、文字認識基準が満たされたことを検出したことに応じて表示される(2030)。例えば、方法700、1100、及び1300に記載されるような基準)。したがって、いくつかの実施形態では、フォントベースの文字の位置に向かって飛ぶ経路のアニメーションは、それらの文字が手書き入力内で認識されるときにのみ生じる(及び/又はそれに応じて生じる)。
文字認識基準が満たされるまで第2の位置への経路をアニメーション化しない上述の方法は、デバイスがアニメーションを不必要に提示すること及び経路の表示を誤って停止することを防止する。これは、(例えば、経路に向けられた追加の手書き入力が検出される可能性がある間、あまりに早く経路の表示を停止する可能性を低下させることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェース内の第1の位置からユーザインタフェース内の第2の場所に移動する経路の部分のアニメーションは、図19J~図19Kのように、第2の位置へ向かって移動しながら互いに対して(例えば、互いに向かって、又は互いから離れるように)移動する複数の別個の不変化詞で経路の一部を置換することを含む(2032)(例えば、複数の別個の不変化詞は、手書き入力が複数の不変化詞にディゾルブしていることを示すように、最初に手書き入力の境界内に表示される)。いくつかの実施形態では、その後、複数の不変化詞は、フォントベースのテキストの最終位置に向かって移動し又は飛んで、フォントベースのテキストに再組立てされる。いくつかの実施形態では、複数の不変化詞の移動は、不変化詞が最初に初期位置から離れて加速し、次いで最終位置に向かって減速するような慣性を有する。したがって、いくつかの実施形態では、アニメーションは、経路の部分がフォントベースの文字へとモーフィング/生成されるものであるかのように、結果を反映する。
第1の位置から第2の位置へ移動する経路をアニメーションする上述の方法は、手書きのどの部分がフォントベースの文字に対応するかについての即時的なフィードバックを提供する。これは、(例えば、手書き入力を最終的な対応するフォントベースのテキストと視覚的に関連付けることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図19Jのように、複数の別個の不変化詞中の別個の不変化詞の数は、複数の別個の不変化詞が対応する経路の表現の部分の長さに少なくとも部分的に基づいて決定される(2034)(例えば、経路の表現のより長い部分に対してはより多くの不変化詞、経路の表現のより短い部分に対してはより少ない不変化詞)。いくつかの実施形態では、手書き入力及び/又は経路の他の特性(例えば、幅など)も、複数の不変化詞内の不変化詞の数を決定する要因である。
手書き経路の一部の長さに基づいて、より多い又はより少ない不変化詞を利用する上述の方法は、手書き経路のどの部分がどの文字に対応するかについての即時的なフィードバックを提供する。これは、(例えば、手書き入力の部分をフォントベースの文字の部分と視覚的に関連付けることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェース内の第1の位置からユーザインタフェース内の第2の位置へ移動する経路の部分のアニメーションは、図19Uのように、アニメーションに対応する視覚的要素が第2の位置に到達する前にアニメーションを表示するのを停止することを含む(2036)。例えば、不変化詞は、第2の位置に近づくにつれて徐々にフェードアウトする。アニメーションの視覚的要素が第2の位置に到達することを防止する上述の方法は、第2の位置におけるフォントベースの文字がアニメーションによって不明瞭になることを防止する。これは、(例えば、手書き入力が変換されたフォントベースの文字の明確な表示を提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図19Lのように、1つ以上のフォントベースの文字は、フォントベースの文字シーケンス(例えば、複数文字の文字列)を含む(2038)。いくつかの実施形態では、ユーザインタフェース内の第1の位置からユーザインタフェース内の第2の位置へ移動する経路の部分のアニメーションは、図19Lのように、文字シーケンス内の第1のフォントベースの文字の後に生じる文字シーケンス内の第2のフォントベースの文字に対応する経路の表現の第2の部分の(例えば、第1の位置から第2の位置への)アニメーションを開始する前に、文字シーケンス内の第1のフォントベースの文字に対応する経路の表現の第1の部分の(例えば、第1の位置から第2の位置への)アニメーションを開始することによって、異なる文字に対応する経路の表現の部分を順次アニメーション化することを含む(2040)。例えば、第1の手書き文字は、最初に第1のフォントベースの文字へのアニメーション化として示され、第2の手書き文字は、次に第2のフォントベースの文字へのアニメーション化として示されるなどである。いくつかの実施形態では、第2のアニメーションは、第1のアニメーションが完了するまで開始しない。いくつかの実施形態では、第2のアニメーションは、(第1のアニメーションが完了する前であるが)第1のアニメーションが開始した後に開始する。
文字単位でアニメーションを実行する上述の方法は、手書き経路内のどの文字がフォントベースの文字内のどの文字に対応するかについての即時的なフィードバックを提供する。これは、(例えば、手書き入力内の文字をフォントベースの文字内の文字と視覚的に関連付けて、変換における潜在的なエラーを明確にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図19Rのように、1つ以上のフォントベースの文字は、フォントベースの単語シーケンス(例えば、複数語の文字列)を含む(2042)。いくつかの実施形態では、ユーザインタフェース内の第1の位置からユーザインタフェース内の第2の位置へ移動する経路の部分のアニメーションは、図19Rのように、単語シーケンス内の第1のフォントベースの単語の後に生じる単語シーケンス内の第2のフォントベースの単語に対応する経路の表現の第2の部分の(例えば、第1の位置から第2の位置への)アニメーションを開始する前に、単語シーケンス内の第1のフォントベースの単語に対応する経路の表現の第1の部分の(例えば、第1の位置から第2の位置への)アニメーションを開始することによって、異なる単語に対応する経路の表現の部分を順次アニメーション化することを含む(2044)。例えば、第1の手書き単語は、最初に第1のフォントベースの単語へのアニメーション化として示され、第2の手書き単語は、次に第2のフォントベースの単語へのアニメーション化として示されるなど)。いくつかの実施形態では、第2のアニメーションは、第1のアニメーションが完了するまで開始しない。いくつかの実施形態では、第2のアニメーションは、(第1のアニメーションが完了する前であるが)第1のアニメーションが開始した後に開始する。
単語単位でアニメーションを実行する上述の方法は、手書き経路内のどの単語がフォントベースの文字内のどの単語に対応するかについての即時的なフィードバックを提供する。これは、(例えば、手書き入力内の単語をフォントベースの文字内の単語と視覚的に関連付けて、変換における潜在的なエラーを明確にすることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図20A~図20Dにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1600、1800、及び2200)に関して本明細書に記載される他のプロセスの詳細はまた、図20A~図20Dに関して上述した方法2000にも、類似の様式で適用可能であることに留意されたい。例えば、方法2000を参照して上述した手書き入力をフォントベースのテキストに変換する動作は、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1600、1800、及び2200)を参照して本明細書に記載される手書き入力の受け入れ及び/又は変換、テキストの選択及び削除、手書き入力を既存のテキストに挿入すること、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力メニューを提示すること、手書き入力の特性を制御すること、及び自動補完提案を提示すること、コンテンツ入力パレットにオプションを表示することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図20A~図20Dを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作2006、2012、及び2014並びに検出する動作2002、及び2024は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
コンテンツ入力パレット上の動的オプション
ユーザは、テキスト及び描画を電子デバイスに入力することを含めて多くの異なる方法で電子デバイスと対話する。いくつかの実施形態では、電子デバイスは、コンテンツ入力領域に挿入されたコンテンツを制御するためのオプションを含むコンテンツ入力パレットを提供する。以下に説明する実施形態は、電子デバイスが、コンテンツ入力の現在のコンテクストに基づいて、コンテンツ入力パレット内に異なるツール及びオプションを動的に表示する方法を提供する。いくつかの実施形態では、異なるツール及びオプションを表示することは、ユーザの経験をカスタマイズするため、デバイスとの対話を強化する。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対して電池寿命を増大する。人々がデバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図21A~図21DDは、電子デバイスがコンテンツ入力パレット内にオプションを表示する例示的な方法を示す。これらの図中の実施形態は、図22A~図22Jを参照して説明するプロセスを含め、以下に説明するプロセスを例示するために使用される。
図21Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図21Aで、デバイス500は、(例えば、ディスプレイデバイスを介して、ディスプレイ生成構成要素を介してなど)ユーザインタフェース2100を表示している。いくつかの実施形態では、ディスプレイ生成構成要素は、表示データを受信し、ユーザインタフェースを表示することができるハードウェア構成要素(例えば、電気的構成要素を含む)である。いくつかの実施形態では、ディスプレイ生成構成要素の例としては、タッチスクリーンディスプレイ(例えば、タッチスクリーン504)、モニタ、テレビ、プロジェクタ、統合された、ディスクリートの、若しくは外部のディスプレイデバイス、又はデバイス500と通信している任意の他の好適なディスプレイデバイスが挙げられる。
いくつかの実施形態では、ユーザインタフェース2100は、(例えば、図8Aに関して上述したユーザインタフェース800と同様の)メモ帳アプリケーションに対応する。いくつかの実施形態では、ユーザインタフェース2100は、ユーザが複数行テキストを入力することができるコンテンツ入力領域2102を含む。いくつかの実施形態では、コンテンツ入力領域2102は、1つ以上の既存のテキスト文字2104を含む。いくつかの実施形態では、既存のテキスト2104は、(方法700、1100、1300、1500、1600、1800、及び/又は2000に関して上述したように)以前に手書き入力として入力され、フォントベースのテキストに変換された。いくつかの実施形態では、既存のテキスト2104は、ソフトキーボードを使用して(例えば、ユーザ又は別のユーザによって、このデバイス又は別のデバイス上で)入力された。図8Aでは、既存のテキスト2104はフォントベースのテキストであるが、既存のテキスト2104は手書きテキストであり得ることが理解される。
図21Bで、コンテンツ入力領域2102におけるタッチスクリーン504上のスタイラス203のタッチダウン(例えば、タッチスクリーン504との接触)が検出される。いくつかの実施形態では、コンテンツ入力領域2102におけるスタイラス203のタッチダウンを検出したことに応じて、図21Cに示すように、デバイス500はコンテンツ入力パレット2110を表示する。いくつかの実施形態では、コンテンツ入力パレット2110は、コンテンツ入力領域2102.内のコンテンツに関連付けられた1つ以上の選択可能オプションを含むユーザインタフェース要素である。例えば、コンテンツ入力パレット2110は、コンテンツ入力領域内のコンテンツの色を変更する(例えば、既存のコンテンツの色を変更するか、又はユーザによって挿入される将来のコンテンツの内容を変更する)ためのオプション、コンテンツ入力領域内のテキストのフォントを変更する(例えば、既存のテキストのフォントを変更するか、又はユーザによって挿入される将来のテキストのフォントを変更する)ためのオプション、リッチオブジェクト(例えば、ファイル、画像など)を添付又は挿入するためのオプション、コンテンツ入力ツールを選択するためのオプションなどを含む。
図21Cに示すように、コンテンツ入力パレット2110は、アンドゥオプション2112-1及びリドゥオプション2112-2.を含む。いくつかの実施形態では、アンドゥオプション2112-1は、直近のアクション(例えば、コンテンツ入力関連アクション)をアンドゥするために選択可能であり、リドゥオプション2112-2は、直近のアクション(例えば、コンテンツ入力関連アクション)を再び実行するために選択可能である。いくつかの実施形態では、コンテンツ入力パレット2110は、コンテンツ入力パレット2110.に現在表示されていない追加オプションを表示するように選択可能なオプション2118を含む。いくつかの実施形態では、オプション2118の選択に応じて、現在表示されているツールは、コンテンツ入力パレット2110から除去され、他のオプションで置換される。いくつかの実施形態では、追加オプションはポップアップボックス内に表示され、コンテンツ入力パレット2110内に現在表示されているオプションは維持される。
いくつかの実施形態では、コンテンツ入力パレット2110は、テキスト入力ツール2114-1、ペン入力ツール2114-2及びマーカーツール2114-3を含む。いくつかの実施形態では、コンテンツ入力パレット2110に、より多い又は少ないコンテンツ入力ツールを含めることができる。いくつかの実施形態では、テキスト入力ツール2114-1の選択により、デバイスは、テキスト入力モードに入り、コンテンツ入力領域内に描かれた手書き入力がテキスト文字について(方法700、1100、1300、1500、1600、1800、及び/又は2000に関して上述したように)分析され、識別され、フォントベースのテキストに変換される。いくつかの実施形態では、ペン入力ツール2114-2の選択により、デバイスは、コンテンツ入力領域内に描かれた手書き入力が(例えば、それらをフォントベースのテキストに変換することなく)ペンによって描かれているかのようにスタイル設定されるペン入力モードに入る。いくつかの実施形態では、マーカー入力ツール2114-3の選択により、デバイスは、コンテンツ入力領域内に描かれた手書き入力が(例えば、それらをフォントベースのテキストに変換することなく)マーカーによって描かれているかのようにスタイル設定されるマーカー入力モードに入る。いくつかの実施形態では、テキスト入力ツール以外のコンテンツ入力ツールは、(例えば、それらのツールはユーザがコンテンツ入力領域内に描くことを可能にし、フォントベースのテキストに変換されないため)描画ツールと称される。
いくつかの実施形態では、コンテンツ入力パレット2110に含まれるオプションのうちの1つ以上は、現在アクティブなコンテンツ入力ツールに依存する。いくつかの実施形態では、現在アクティブなコンテンツ入力ツールに関連付けられていることにより、コンテンツ入力パレット2110に含まれる1つ以上のオプションが表示される。例えば、図21Cで、テキスト入力ツール2114-1が(例えば、テキスト入力ツール2114-1が他のツールと比較して拡大されて表示されていることによって示されるように)現在アクティブであるため、コンテンツ入力パレット2110は、フォントベースのテキストをコンテンツ入力領域2102に入力することに関連付けられたオプション2116(例えば、オプション2116-1~2116-8)を含む。いくつかの実施形態では、オプション2116-1は、テーブルをコンテンツ入力領域2102.に挿入するために選択可能である。いくつかの実施形態では、オプション2116-2は、(例えば、手書き入力が変換されるフォントベースのテキストの)フォント設定を変更するために選択可能である。いくつかの実施形態では、オプション2116-3は、チェックボックスをコンテンツ入力領域2102.に挿入するために選択可能である。いくつかの実施形態では、オプション2116-4は、仮想キーボードを表示するために選択可能である。いくつかの実施形態では、オプション2116-5は、デバイスの組み込みカメラを使用して写真を撮り、写真をコンテンツ入力領域2102.に挿入するために選択可能である。いくつかの実施形態では、オプション2116-6は、ファイルをコンテンツ入力領域2102に(例えば、選択可能なアイコンとして)添付するために選択可能である。いくつかの実施形態では、オプション2116-7は、(図21F~図21Gに関して以下でより詳細に説明するように)コンテンツをカット/コピー/ペーストするために選択可能である。いくつかの実施形態では、図21Cに示すように、オプション2116-7は、ポップアップユーザインタフェース内に(例えば、楕円によって示すように)追加オプションを表示するために選択可能である。いくつかの実施形態では、オプション2116-8は、(例えば、選択された絵文字を挿入するために選択可能な複数の絵文字を含むポップアップユーザインタフェースを表示することにより)絵文字をコンテンツ入力領域2102に挿入するために選択可能である。いくつかの実施形態では、図21Cに示されるオプションは単なる例示であり、コンテンツ入力領域2102.内に、より多い、より少ない、又は他のオプションが含まれ得る。
図21Dで、コンテンツ入力領域2102.内に描画するスタイラス203からの手書き入力が検出される。いくつかの実施形態では、手書き入力に応じて、手書き入力2106の表現は、手書き入力の位置でコンテンツ入力領域2102内に表示される。例えば、図21Dで、ユーザは、コンテンツ入力領域2102.内に「buy eggs」と書き込んだ。図21Eで、タッチスクリーン504からのスタイラス203のリフトオフが検出される。いくつかの実施形態では、図21E.に示すように、スタイラス203のリフトオフを検出したことに応じて、手書き入力2106の表現がフォントベースのテキストに変換される。いくつかの実施形態では、手書き入力をフォントベースのテキストに変換するプロセスは、方法700、1100、1300、1500、1600、1800、及び/又は2000.に関して上述されている。
図21Fで、オプション2116-7を選択するユーザ入力(例えば、タップ入力)がスタイラス203から受信される。いくつかの実施形態では、ユーザ入力に応じて、デバイス500はポップアップ2117を表示する。いくつかの実施形態では、ポップアップ2117は、1つ以上の追加オプションを含む。図21Gで、ポップアップ2117は、カット機能(例えば、選択されたコンテンツをコンテンツ入力領域から同時に除去しながら、選択されたコンテンツをデバイスのクリップボードにコピーする)を実行するために選択可能なオプション2119-1、コピー機能(例えば、コンテンツをコンテンツ入力領域から除去することなく、選択されたコンテンツをデバイスのクリップボードにコピーする)を実行するために選択可能オプション2119-2、ペースト機能(例えば、デバイスのクリップボード内にあるコンテンツをコンテンツ入力領域内に挿入する)を実行するために選択可能オプション2119-3を含む。
図21Hで、ペン入力ツール2114-2を選択するユーザ入力(例えば、タップ入力)がスタイラス203から受信される。いくつかの実施形態では、ユーザ入力に応じて、図21Iに示すように、デバイス500はペン入力モードに入り、コンテンツ入力2102内の手書き入力がペンによって描かれているかのようにスタイル設定される。いくつかの実施形態では、デバイスがペン入力モードに入ったことに応じて、コンテンツ入力パレット2110は、テキスト入力ツール2114-1に表示されたツールのセットとは異なるツールのセットを含むように更新される。例えば、図21Iで、オプション2116はコンテンツ入力パレット2110内にもはや表示されず、オプション2113(例えば、オプション2113-1~2113-6)がコンテンツ入力パレット2110.内に表示される。いくつかの実施形態では、オプション2113-1は、手書き入力の色を黒に設定するために選択可能であり、オプション2113-2は、手書き入力の色を赤に設定するために選択可能であり、オプション2113-3は、手書き入力の色を黄に設定するために選択可能であり、オプション2113-4は、手書き入力の色を青に設定するために選択可能であり、オプション2113-5は、手書き入力の色を緑に設定するために選択可能である。いくつかの実施形態では、オプション2113-6は、ユーザが複数の色から、カラーホイールから、又は数値的なカラーパラメータを入力して選択することができるカラーパレットを表示するように選択可能である。
図21Jで、コンテンツ入力領域2102.内で描画するスタイラス203からの手書き入力が検出される。いくつかの実施形態では、手書き入力に応じて、手書き入力2108の表現は、手書き入力の位置でコンテンツ入力領域2102内に表示される。例えば、図21Jで、ユーザは、ペン入力モードにある間、コンテンツ入力領域2102内に「today」と書き込んだ。図21Kで、タッチスクリーン504からのスタイラス203のリフトオフが検出される。いくつかの実施形態では、デバイスがテキスト入力モードにないため、スタイラス203のリフトオフによって表現2108はフォントベースのテキストへの変換を引き起こさず、表現2108はそのペンのスタイル設定を維持する。
したがって、いくつかの実施形態では、上述のように、コンテンツ入力パレット2110内に表示されるオプションのうちの1つ以上は、選択されるコンテンツ入力ツールに基づく。いくつかの実施形態では、テキスト入力ツールが現在アクティブである場合、コンテンツ入力パレット2110は、フォントベースのテキストの入力に関連するツールを含む。いくつかの実施形態では、描画ツール(例えば、ペンツール、マーカーツール、ハイライタツールなど)が現在アクティブである場合、コンテンツ入力パレット2110は、描画の入力に関連するツールを含む。
図21Lで、スタイラス203のタッチダウンが移動バー2115上で検出される。図21Mで、タッチスクリーン504との接触を維持しながら、スタイラス203の移動が検出される。いくつかの実施形態では、スタイラス203の移動を検出したことに応じて、コンテンツ入力パレット2110はスタイラス203.の移動に従って移動する。いくつかの実施形態では、移動している間、コンテンツ入力パレット2110は、(例えば、図21Pで以下に記載されるような)小型表示モードに入る。いくつかの実施形態では、移動している間、コンテンツ入力パレット2110はフル表示モードを維持する。
図21Nで、コンテンツ入力パレット2110.を移動させた後に、スタイラス203のタッチダウンの終了が検出される。いくつかの実施形態では、スタイラス203のタッチダウンの終了を検出したことに応じて、コンテンツ入力パレット2110はタッチスクリーン504の右側にはめ込まれ、ポートレートモードで(例えば、図21A~図21Mに示すように水平ではなく垂直に)表示される。いくつかの実施形態では、コンテンツ入力パレット2110がそれぞれのエッジの閾値距離内(例えば、反対側のエッジよりもそれぞれのエッジにより近接して0.5インチ、1インチ、2インチ以内)に移動される場合、コンテンツ入力パレット2110はタッチスクリーン504のエッジ(例えば、上、下、左、右)のうちのいずれかにはめ込まれる。
図21Oで、スタイラス203のタッチダウンが移動バー2115上で検出される。図21Pで、コンテンツ入力パレット2110をタッチスクリーン504の左下隅に向かって移動させるスタイラス203の移動が検出される。いくつかの実施形態では、タッチスクリーン504の左下隅に移動したことに応じて、図21Pに示すように、コンテンツ入力パレット2110は小型表示モードに入る。いくつかの実施形態では、小型表示モードのコンテンツ入力パレットはアイコン2120.として表示される。いくつかの実施形態では、アイコン2120は、現在アクティブなコンテンツ入力ツールの表現を含む。図21Pで、現在アクティブなコンテンツ入力ツールはペン入力ツールであり、アイコン2120はペン入力ツールの表現を含む。
図21Qで、コンテンツ入力パレット2110を左下隅に移動させた後に、スタイラス203のタッチダウンの終了が検出される。いくつかの実施形態では、スタイラス203のタッチダウンの終了を検出したことに応じて、コンテンツ入力パレットは、タッチスクリーン504の左下隅において小型表示モードに留まる。
図21R~図21Vは、指描画入力設定が有効にされる実施形態を示す。図21Rで、指描画入力設定は無効にされている。いくつかの実施形態では、指描画入力設定は、全てのコンテンツ入力領域及びデバイス500.上の全てのアプリケーションに適用されるグローバル設定である。このような実施形態では、グローバル指描画入力設定は、ユーザが異なるアプリケーションに切り替わるとき、又は異なるコンテンツ入力領域にコメントを入力し始めるときに適用され続ける。いくつかの実施形態では、ユーザは、デバイス500の設定ユーザインタフェースから、グローバル指描画入力設定を変更(例えば、有効化又は無効化)することができる。いくつかの実施形態では、指描画入力設定は、(例えば、スタイラス203とは対照的に)指からコンテンツ入力領域内で受信される入力が、描画入力として解釈されるか、又はナビゲーション入力として解釈されるかを制御する。例えば、指描画入力設定が有効にされると、コンテンツ入力領域内の指入力が(例えば、スタイラス203から受信される入力と同様に)コンテンツ入力として解釈され、それぞれのコンテンツ入力領域内にコンテンツを描画又はさもなければ挿入する。いくつかの実施形態では、指描画入力設定が無効にされると、指入力は、それぞれのコンテンツ入力領域内にコンテンツを描画又は入力する入力ではなく、(例えば、ユーザインタフェースをスクロールするか、又はコンテンツ入力領域内のオブジェクトを選択するような)ナビゲーション入力又は選択入力として解釈される。いくつかの実施形態では、コンテンツ入力パレット2110は、指描画入力を有効化又は無効化する(例えば、グローバル設定を変更する)ためのトグル2122を含む。いくつかの実施形態では、トグル2122を切り替えることは、指描画入力を(場合に応じて)コンテンツ入力領域2102又は現在のアプリケーションだけについて有効化又は無効化する(例えば、グローバル設定を一時的にオーバーライドする)。いくつかの実施形態では、トグル2122を切り替えることは、指描画入力を(場合に応じて)全てのコンテンツ入力領域及び/又は全てのアプリケーションについて有効化又は無効化する(例えば、グローバル設定を変更する)。いくつかの実施形態では、トグル2122は、セッションの終了まで、グローバル指描画入力設定を一時的にオーバーライドする。例えば、一時的な指描画入力設定は、現在の描画セッションに対してのみアクティブである(例えば、ユーザが別のコンテンツ入力領域を選択するまでであり、その時点でグローバル指描画入力設定が復元される)。別の実施例では、一時的な指描画入力設定は、現在のアプリケーションセッションに対してのみアクティブである(例えば、ユーザが別のアプリケーションに切り替えるまでであり、その時点でグローバル指描画入力設定が復元される)。別の実施例では、一時的な指描画入力設定は、現在のデバイスセッションに対してアクティブである(例えば、ユーザがデバイスをロックするか、又はディスプレイをオフにするまでであり、その時点でグローバル指描画入力設定が復元される)。
図21Sで、指描画入力設定が無効にされている間に、上方向スワイプ入力が指2124から受信される。いくつかの実施形態では、上方向スワイプ入力に応じて、図21Sに示すように、ユーザインタフェース2100は上方へのスワイプ移動に従って上方にスクロールされる。したがって、指描画入力設定が無効にされている間におけるコンテンツ入力領域2102内の指ジェスチャは、ユーザインタフェースのナビゲーション(例えば、オブジェクトのスクロール又は選択)を引き起こす。図21Tで、トグル2122を切り替えるユーザ入力が指2124から受信され、したがって指描画入力を有効にする。図21Uで、コンテンツ入力領域2102.内で描画する指2124からの手書き入力が検出される。いくつかの実施形態では、手書き入力に応じて、手書き入力2126の表現が手書き入力の位置でコンテンツ入力領域2102内に表示される。例えば、図21Uで、ユーザは、指2124.を使用してコンテンツ入力領域2102内に「test」と書き込んだ。図21Vで、テキスト入力ツール2114-1がアクティブであるため、表現2126は、(方法700、1100、1300、1500、1600、1800、及び/又は2000に関して上述したのと同様の方法で)フォントベースのテキストに変換される。したがって、指描画入力設定が有効にされている間に、コンテンツ入力領域内の指ジェスチャは、スタイラス入力と同じ方式で処理され、それによりジェスチャは、コンテンツ入力領域内にコンテンツを挿入させる(任意選択的に、フォントベースのテキストに変換されるか、又は現在アクティブなコンテンツ入力ツールに基づいてスタイル設定される)。
図21W~図21DDは、デバイス500が複数のアプリケーションを同時に表示している間にコンテンツ入力パレットが表示される実施形態を示す。図21Wで、デバイス500は、2つのアプリケーションが同時に表示されるマルチタスキングモードにある。いくつかの実施形態では、2つのアプリケーションは、同じアプリケーションの2つのインスタンス、又は2つの異なるアプリケーションの1つのインスタンスである。図21Wで、メモ帳アプリケーションに対応するユーザインタフェース2100がタッチスクリーン504の左側に表示され、電子メールアプリケーションに対応するユーザインタフェース2101がタッチスクリーン504.の右側に表示される。
図21Wで、ユーザインタフェース2100のコンテンツ入力領域2102は、図21Vに関して上述したコンテンツ入力領域2102と類似しており、既存のテキスト2104、フォントベースのテキスト2106の表現、手書き入力2108の表現、及びフォントベースのテキスト2126の表現を含む。いくつかの実施形態では、電子メールアプリケーションに対応するユーザインタフェース2101は、受信者フィールドに対応するテキスト入力フィールド2128、及び電子メールの本文に対応するコンテンツ入力フィールド2130を含む。
図21Xで、コンテンツ入力領域2130におけるタッチスクリーン504上のスタイラス203のタッチダウン(例えば、タッチスクリーン504との接触)が検出される。いくつかの実施形態では、コンテンツ入力領域2130におけるスタイラス203のタッチダウンを検出したことに応じて、図21Yに示すように、デバイス500は、ユーザインタフェース2101内の中央にコンテンツ入力パレット2110を表示する。いくつかの実施形態では、コンテンツ入力パレット2110内に表示されるオプションは、表示されているアプリケーションに基づく。例えば、図21Yで、コンテンツ入力パレット2110は、フォント設定を変更するために選択可能なオプション2116-2、デバイスの組み込みカメラを使用して写真を撮り、写真をコンテンツ入力領域2102に挿入するために選択可能なオプション2116-5、コンテンツをカット/コピー/ペーストするために選択可能なオプション2116-7(例えば、コンテンツをカット、コピー、又はペーストするためのオプションを有するポップアップを表示する)、及び複数のコンテンツ入力ツールの中から選択するために選択可能なオプション2116-9(例えば、コンテンツ入力ツールオプションを有するポップアップを表示する)を含む。したがって、(例えば、コンテンツ入力領域2102と同様に)フォントベースのテキスト及び描画の両方を受け入れるコンテンツ入力領域2130に対してコンテンツ入力パレット2110が表示されるが、コンテンツ入力領域2130に対するコンテンツ入力パレット2110は、コンテンツ入力領域2102に対するコンテンツ入力パレットとは異なるオプションを有する。いくつかの実施形態では、アプリケーションの設計者は、コンテンツ入力領域毎にコンテンツ入力パレット2110内に表示されるオプションを選択するか、又はさもなければカスタマイズすることができる。
いくつかの実施形態では、アプリケーションに基づいてオプションを表示することに加えて、又は代替的に、コンテンツ入力パレット2110は、ユーザインタフェース2101の幅に基づいて(例えば、複数のアプリケーションが同時に表示されるマルチタスキングモードになっている結果として)より小さなモードで表示されることができる。いくつかの実施形態では、コンテンツ入力パレット2110がより小さいモードにあるとき、コンテンツ入力パレット2110.内により少ないオプションが表示される。いくつかの実施形態では、コンテンツ入力パレット2110がより小さいモードにあるとき、特定のオプションが他のオプションと共に折り畳まれ、ポップアップ内に表示される)。
図21Zで、テキスト入力領域2128におけるタッチスクリーン504上のスタイラス203のタッチダウン(例えば、タッチスクリーン504との接触)が検出される。いくつかの実施形態では、テキスト入力領域2128におけるスタイラス203のタッチダウンを検出したことに応じて、図21AAに示すように、デバイス500は、ユーザインタフェース2101内の中央にコンテンツ入力パレット2110を表示する。いくつかの実施形態では、テキスト入力領域2128は、フォントベースのテキストのみと適合し、図面と不適合である(例えば、テキスト入力領域2128は、描画入力/コンテンツを受け入れ又は表示することができず、フォントベースのテキスト入力/コンテンツのみを受け入れ又は表示することができる)。したがって、図21AAに示すように、コンテンツ入力パレット2110は、テキスト入力領域2128のみがフォントベースのテキストに適合することに基づくオプションのセットを含む。例えば、図21AAで、コンテンツ入力パレット2110は、アンドゥオプション2112-1、リドゥオプション2112-2、テキスト入力ツール2114-1、ソフトキーボードを表示するためのオプション2116-4及びオプション2118を含む。したがって、コンテンツ入力パレット2110は、テキスト入力領域2128にテキストを入力することに特有の限定されたオプションのセットを含む(例えば、マーカー入力ツールを選択するオプション、又は手書き入力の色を設定するオプションなどのオプションを含まない)。
したがって、上述したように、デバイス500は、パレットが表示されるアプリケーション、コンテンツが入力されているコンテンツ入力領域のタイプ、及び/又はパレットのサイズ(任意選択的にユーザインタフェースの幅に基づく)に基づいて、コンテンツ入力パレット2110内に異なるオプションのセットを表示することができる。
図21BB~図21DDは、コンテンツ入力パレット2110が表示されるときにコンテンツ入力ツールが自動的に選択される実施形態を示す。図21BBで、コンテンツ入力領域2102におけるタッチスクリーン504上のスタイラス203のタッチダウン(例えば、タッチスクリーン504との接触)が検出される。いくつかの実施形態では、コンテンツ入力領域2102におけるスタイラス203のタッチダウンを検出したことに応じて、図21CCに示すように、デバイス500は、ユーザインタフェース2100内の中央にコンテンツ入力パレット2110を表示する。いくつかの実施形態では、コンテンツ入力領域2102は、フォントベースのテキスト(例えば、既存のテキスト2104、表現2106及び表現2126)を含むため、テキスト入力ツール2114-1は、コンテンツ入力領域2102内の手書き入力がフォントベースのフォントに変換されるように自動的に選択される(例えば、テキスト入力ツール2114-1は、どのツールが直近に使用されたコンテンツ入力ツールであるかとは無関係に自動的に選択される)。したがって、コンテンツ入力領域2102がフォントベースのテキストを含むため、ユーザは、より多くのフォントベースのテキストを挿入することを意図している可能性が高く、テキスト入力ツール2114-1が自動的に選択される(例えば、デバイスは自動的にテキスト入力モードに設定される)。いくつかの実施形態では、図21CCに示すように、コンテンツ入力パレット2110は、より少ないオプションがコンテンツ入力パレット2110に含まれるより小さいモードで表示される。例えば、図21CCで、アンドゥオプション及びリドゥオプションは表示されず、2つのコンテンツ入力ツールのみ(例えば、テキスト入力ツール2114-1及びペン入力ツール2114-2)が表示され、テキスト入力ツール2114-1が選択されても、オプション2116-2、2116-3、2116-4、2116-6、2116-7、及び2116-8のみが表示される(例えば、オプション2116-1及び2116-5は含まれない)。
図21DDで、コンテンツ入力領域2102は、手書き入力2109の表現のみを含み、フォントベースのテキストを含まない。図21DDで、コンテンツ入力領域2102におけるスタイラス203のタッチダウンを検出したことに応じて、デバイス500は、ユーザインタフェース2100.の中心にあるコンテンツ入力パレット2110を表示する。いくつかの実施形態では、コンテンツ入力領域2102は任意のフォントベースのテキストを含まないため(及び任意選択的に、コンテンツ入力領域2102は手書きのコンテンツを含むため)、以前に使用されたツールが自動的に選択される(例えば、直近に使用されたコンテンツ入力ツール)。いくつかの実施形態では、以前に使用されたツールは、コンテンツ入力領域2102(例えば、コンテンツ入力パレット2110が表示されている同じコンテンツ入力領域)にコンテンツを挿入するために直近に使用されたツールである。いくつかの実施形態では、以前に使用されたツールは、コンテンツを任意のアプリケーションのための任意のコンテンツ入力領域に挿入するために直近に使用されたツールである。例えば、図21DDで、ペン入力ツール2114-2が自動的に選択される(例えば、デバイスは自動的にペン入力モードに設定される)。いくつかの実施形態では、直近に使用されたツールは、テキスト入力ツール(例えば、ユーザが別のコンテンツ入力領域で使用するためにテキスト入力ツールを選択した場合)であり得る。
図22A~図22Jは、コンテンツ入力パレット内にオプションを表示する方法2200を示す流れ図である。方法2200は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Iを参照して上述したようなデバイス100、デバイス300、デバイス500、デバイス501、デバイス510、及びデバイス591などの電子デバイスで実行される。方法2200におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に記載されるように、方法2200は、コンテンツ入力パレット内にオプションを表示する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、ディスプレイ生成構成要素及び1つ以上の入力デバイス(例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はコンピュータであり、マウス(例えば、外部)、トラックパッド(任意選択的に組み込み又は外部)、タッチパッド(任意選択的に組み込み又は外部)、遠隔制御デバイス(例えば、外部)、別のモバイルデバイス(例えば、電子デバイスとは別個の)、ハンドヘルドデバイス(例えば、外部)、及び/又はコントローラ(例えば、外部)のうちの1つ以上と任意選択的に通信する)と通信する電子デバイスは、ディスプレイ生成構成要素を介して、第1のコンテンツ入力領域(例えば、ユーザがテキスト、画像、マルチメディアなどをインプット及び/又は入力することができるユーザインタフェース内の領域)及び図21Cにおけるコンテンツ入力領域2102及びコンテンツ入力パレット2110などのコンテンツ入力ユーザインタフェース要素(例えば、コンテンツ入力領域へのコンテンツの入力を制御する1つ以上のオプションを含むパレット)を含むユーザインタフェースを表示し(2202)、電子デバイスが手書き入力を受信し手書き入力をフォントベースのテキストに変換するように構成された第1のコンテンツ入力モードに電子デバイスがある間に、コンテンツ入力ユーザインタフェース要素は、第1のコンテンツ入力モードに対応するオプションの第1のセットを含む(例えば、コンテンツ入力ユーザインタフェース要素内に表示されるオプションのうちの1つ以上のセットは、デバイスが動作しているコンテンツ入力モードに依存する)。
例えば、電子メール作成ユーザインタフェースでは、電子メールの本文に対するコンテンツ入力領域は、ユーザインタフェース1400に関して上述したような、テキスト、静止画像、動画、添付書類などを受信する(及び電子メールを介して送信する)ことができる。別の実施例では、メモ帳アプリケーションにおいて、コンテンツ入力領域は、ユーザインタフェース620、800、1000、及び1210.に関して上述したように、手書きテキスト、描画、図などを受信することができ、画像、描画などを挿入することができる。
いくつかの実施形態では、パレットは、異なるコンテンツ入力モードに対応する手書きデバイスの1つ以上の表現(それぞれのコンテンツ入力モードに入るために選択可能である)を含む。いくつかの実施形態では、パレットは、挿入された手書きコンテンツの色、サイズ、形状、フォントなどを変更するためのオプションを含む。いくつかの実施形態では、パレットは、方法1500.に関して上述したように、ファイル、添付書類、画像、フォントベースのテキストなどを挿入するためのオプションを含む。
例えば、電子デバイスが手書きテキスト入力モードにある間に、デバイスは、(例えば、方法700、1100、1300、1500、1600、1800、及び/又は2000に関して上述したプロセスと同様の方法で)手書き入力を受信し、手書き入力を認識し、手書き入力をフォントベースのテキストに変換することができる。いくつかの実施形態では、手書き入力は、スタイラス、指、又は任意の他の書き込みデバイスから受信される。いくつかの実施形態では、スタイラスからの手書き入力のみがフォントベースのテキストに変換される。いくつかの実施形態では、第1のコンテンツ入力モードに対応するオプションの第1のセットは、(コンテンツ入力領域内でテーブルを挿入するための)テーブル入力オプション、(フォントベースのテキストのフォントを変更するための)フォントオプション、(コンテンツ入力領域内でオプションボタンを挿入するための)チェックボックス入力オプション、(ユーザインタフェース内でソフトキーボード又は仮想キーボードを表示するための)仮想キーボードオプション、(電子デバイスのカメラを使用して画像を撮り、画像をコンテンツ入力領域に挿入するための)カメラオプション、(ファイルをコンテンツ入力領域に挿入及び/又は添付するための)ファイル添付オプション、(絵文字をコンテンツ入力領域に挿入するための)絵文字オプション、(コンテンツをクリップボードにコピーするか、又はクリップボードからコンテンツを挿入するための)コピー/ペーストオプションなどのうちの1つ以上を含む。
いくつかの実施形態では、ディスプレイ生成構成要素は、電子デバイス(任意選択的にタッチスクリーンディスプレイ)と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し1人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素(任意選択的に組み込み若しくは外部)などである。いくつかの実施形態では、ディスプレイ生成構成要素は、表示データを受信し、ユーザインタフェースを表示することができるハードウェア構成要素(例えば、電気的構成要素を含む)である。
いくつかの実施形態では、電子デバイスが第1のコンテンツ入力モードにある間にコンテンツ入力ユーザインタフェース要素を表示している間に、電子デバイスは、電子デバイスを第1のコンテンツ入力モードから、図21Hにおける選択ペン入力ツール2114-2のように、手書き入力をフォントベースのテキストに変換することなく手書き入力を受信するように電子デバイスが構成される第2のコンテンツ入力モードに切り替える要求に対応するユーザ入力を受信する(2204)(例えば、パレット上で、手書きテキスト入力モードとは異なるコンテンツ入力モードに対応する手書きデバイスの表現を選択するユーザ入力を受信する)。
例えば、ユーザ入力は、鉛筆、ペン、マーカー、ハイライタなどの表現を選択する。いくつかの実施形態では、ユーザ入力は、手書きテキスト入力モードを終了し、選択された表現に関連付けられた別のコンテンツ入力モードに入る要求に対応する。いくつかの実施形態では、手書きテキスト入力モード以外のコンテンツ入力モードは、手書き入力をフォントベースのテキストに変換しない。いくつかの実施形態では、手書きテキスト入力モード以外のコンテンツ入力モード内にある間の手書き入力は、選択された手書きデバイスに基づいてコンテンツを挿入する。例えば、鉛筆コンテンツ入力モードにある間(例えば、鉛筆ツールが選択されたとき)、手書き入力は鉛筆の描画に対応するスタイルで表示される。いくつかの実施形態では、手書き入力は、スタイラス、指、又は任意の他の書き込みデバイスから受信される。いくつかの実施形態では、電子デバイスを切り替える要求に対応するユーザ入力は、スタイラス又はタッチ入力(例えば、コンテンツ入力ユーザインタフェース要素上のそれぞれのツールを選択する)、音声コマンド(例えば、マイクロフォンを介して)、又は任意の他の好適な入力機構を介して受信される。
いくつかの実施形態では、図21Iのように、ユーザ入力を受信したことに応じて(2206)、電子デバイスは、図21Iにおいてコンテンツ入力パレット2110がオプション2116を含むものからオプション2113を含むものに切り替わるように、コンテンツ入力ユーザインタフェース要素内の第1のコンテンツ入力モードに対応するオプションの第1のセットを、第2のコンテンツ入力モードに対応する、オプションの第1のセットとは異なるオプションの第2のセットで置換する(2208)(例えば、第1のコンテンツ入力モードにあるときに表示されるコンテンツ入力ユーザインタフェース要素内に表示される1つ以上のオプションのセットを、第2のコンテンツ入力モードにあることに基づいて1つ以上のオプションの異なるセットで置換する)。
いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素から1つ以上のオプションが除去される。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素に1つ以上のオプションが追加される。いくつかの実施形態では、除去されるオプションは、第2のコンテンツ入力モードに適用されないか、又はそれに無関係である。いくつかの実施形態では、追加されるオプションは、第1のコンテンツ入力モードに適用されないか、又はそれに無関係であるが、第2のコンテンツ入力モードに適用されるか、及び/又はそれに関連する。例えば、手書きテキスト入力モードにある間に、コンテンツ入力ユーザインタフェース要素は、フォントオプション(例えば、フォントサイズ、フォントタイプ、色、下線、斜体、取消線、下付き、上付きなどの、結果として得られるフォントベースのテキストのフォントを変更するために選択可能)を含み、鉛筆描画コンテンツ入力モードに入ることにより、フォントオプションが表示から除去され、1つ以上のカラー入力オプション(例えば、挿入されるコンテンツ及び/又は手書き描画の色を変更するために選択可能)が表示される。いくつかの実施形態では、ユーザ入力を受信したことに応じて、デバイスは、第2のコンテンツ入力モードで動作するように構成される。例えば、ユーザがコンテンツ入力ユーザインタフェース要素から描画ツールを選択した場合、デバイスは描画モードに入り、手書き入力は描画として解釈され、入力はコンピュータテキスト(例えば、フォントベースのテキスト)に変換されない。
上述のように、両方とも(例えば、スタイラスを使用した)手書き入力に基づくが異なって動作する2つのコンテンツ入力モードに対して異なるコンテンツ入力オプションを提供する上述の方法により、電子デバイスは、ユーザが入っているコンテンツ入力モードに合わせて調整されたオプションをユーザに提供することが可能となる。これは、(例えば、関連するオプションにアクセスするために別個のメニューにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく、アクティブなコンテンツ入力モードに関連するオプションをユーザに自動的に提供し、アクティブなコンテンツ入力モードに無関係なオプションをユーザに提供しないことにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスが第1のコンテンツ入力モードにある間に、電子デバイスは、1つ以上の入力デバイスを介して、図21Dにおけるスタイラス203のタッチダウンのように、第1のコンテンツ入力領域に向けられた手書き入力を含むユーザ入力を受信する(2210)(例えば、タッチ感知ディスプレイを介した接触を第1のコンテンツ入力領域上の指又はスタイラスから受信する)。いくつかの実施形態では、ユーザ入力は、1つ以上の手書き単語の1つ以上の文字を形成するためのジェスチャのシーケンスを含む。
いくつかの実施形態では、ユーザ入力を受信したことに応じて、電子デバイスは、ユーザインタフェース内で第1のコンテンツ入力領域に対応する位置に、図21Dにおける手書き入力の表現2106のように、手書き入力の表現を表示する(2212)(例えば、入力が受信される際に手書き入力が受信された位置で、ディスプレイ上に手書き入力の軌跡を表示する)。例えば、ユーザがタッチ感知ディスプレイ上に「描画」すると、ディスプレイは、入力が受信された位置にユーザの手書き入力を示す。いくつかの実施形態では、手書き入力の表現を表示することは、方法700.に関して上記でより詳細に記載される。
いくつかの実施形態では、図21Dのように、第1のコンテンツ入力領域に対応する位置に手書き入力の表現を表示した後(2214)、図21Eのように、電子デバイスは、手書き入力の表現を表示することを停止し(2216)、第1のコンテンツ入力領域内に手書き入力に対応するフォントベースのテキストを表示する(2218)(例えば、ディスプレイ上の手書き入力の少なくとも一部を除去し、テキスト入力フィールド内の手書き入力の除去された部分に対応するフォントベースのテキスト(例えば、コンピュータ化テキスト、デジタルテキスト)を表示する)。いくつかの実施形態では、第1のコンテンツ入力モードは、方法700、1100、1300、1500、1600、1800、及び/又は2000に関して上記でより詳細に記載されるように、手書き入力が第1のコンテンツ入力領域内のフォントベースのテキストに変換されるようなテキスト入力モード(例えば、テキスト入力ツールが選択された時)である。
手書き入力をテキストに(例えば、デバイスが第1のコンテンツ入力モードにある場合に、第1のコンテンツ入力領域に向けられた入力を受信し、手書き入力をフォントベースのテキストで置換することにより)変換する上述の方法により、ユーザは、テキスト入力ツールが選択されている場合にテキストを入力するためにユーザインタフェース上に直接書き込むことが可能となる。これは、(例えば、テキスト入力モードと描画モードとの間で切り替えるために物理キーボード又は仮想キーボードなどの異なる入力機構に切り替えることをユーザに必要とすることなく)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスが第2のコンテンツ入力モードにある間に、電子デバイスは、1つ以上の入力デバイスを介して、図21Jにおけるスタイラス203のタッチダウンのように、第1のコンテンツ入力領域に向けられた手書き入力を含むユーザ入力を受信する(2200)(例えば、タッチ感知ディスプレイを介した接触を第1のコンテンツ入力領域上の指又はスタイラスから受信する)。いくつかの実施形態では、ユーザ入力は、1つ以上の手書き単語の1つ以上の文字を形成するためのジェスチャのシーケンスを含む。
いくつかの実施形態では、ユーザ入力を受信したことに応じて、電子デバイスは、図21Kにおける手書き入力2108の表現のように、手書き入力の表現に対応するフォントベースのテキストを表示することなく、ユーザインタフェース内で第1のコンテンツ入力領域に対応する位置に手書き入力の表現を表示する(2222)(例えば、入力が受信される際に手書き入力が受信された位置で、ディスプレイ上に手書き入力の軌跡を表示する)。
例えば、ユーザがタッチ感知ディスプレイ上に「描画」すると、ディスプレイは、入力が受信された位置(例えば、第1のコンテンツ入力領域内)にユーザの手書き入力を示す。いくつかの実施形態では、手書き入力の表現は、第2のコンテンツ入力モードにある間にフォントベースのテキストで置換されない。いくつかの実施形態では、第2のコンテンツ入力モードは、描画モードである。いくつかの実施形態では、第2のコンテンツ入力モードは、方法1500及び1600.に関して上述したように、テキスト入力モード以外のコンテンツ入力モード(例えば、テキスト入力ツール以外のツールが選択される)である。
手書き入力を(例えば、デバイスが第2のコンテンツ入力モードにある場合に、第1のコンテンツ入力領域に向けられた入力を受信し、入力をフォントベースのテキストで置換しないことにより)描画として受け入れる上述の方法により、ユーザは、(例えば、別の入力デバイス又は入力機構に切り替えることをユーザに必要とすることなく)素早く効率的に描画モードに切り替え、フォントベースのテキストを入力するために使用されるのと同じ入力デバイスを使用して、ユーザインタフェース内で描画することが可能となる。これは、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のコンテンツ入力モードに対応するオプションの第1のセットは(2224)、図21Cにおけるオプション2116のように、以下のうちの1つ以上を含む(例えば、以下のカテゴリーのそれぞれの少なくとも1つのツールを含む、以下のカテゴリーのうちの1つからの少なくとも1つのツールを含む、以下のカテゴリーのうちの2つ以上からの少なくとも1つのツールを含む、など):図21Cにおけるオプション2116-2のように、第1のコンテンツ入力領域内のフォントベースのテキストに対する1つ以上のフォント設定を選択するための1つ以上のオプション(2226)(例えば、異なるフォント設定を選択するためのダイアログボックス又はポップアップを表示するために選択可能なオプション、又は異なるフォント設定を選択するための複数のオプション)、図21Cにおけるオプション2116-4のように、フォントベースのテキストを第1のコンテンツ入力領域に入力するためのソフトキーボードを表示するための1つ以上のオプション(2228)(例えば、ソフトキーボード又は仮想キーボードを表示するために選択可能なオプション)、又は図21Cにおけるオプション2116-8のように、第1のコンテンツ入力領域に絵文字を挿入するための1つ以上のオプション(2230)(例えば、第1のコンテンツ入力領域に入力するための1つ以上の絵文字を選択するためのダイアログボックスを表示するために選択可能なオプション)。
いくつかの実施形態では、デバイスが第1のコンテンツ入力モードにある間に、オプションは、手書き入力(例えば、将来の入力)の表現の視覚的特性に影響を及ぼす。いくつかの実施形態では、第1のコンテンツ領域内のテキストが選択される(例えば、強調表示される)場合、オプションは、選択されたテキストの視覚的特性に影響を及ぼす。いくつかの実施形態では、フォント設定は、フォントサイズ、フォントタイプ、太字、斜体、下線、取消線状態、色などを含む。いくつかの実施形態では、ソフトキーボード又は仮想キーボードは、物理キーボードの視覚的表現である。いくつかの実施形態では、ソフトキーボード上の文字のユーザ選択により、それぞれの文字が第1のコンテンツ入力領域に入力される。
テキスト入力モードに関連付けられたオプションを(例えば、デバイスがテキスト入力モードにあるときにフォントベースのテキストに固有のオプションを含むことにより)コンテンツ入力ユーザインタフェース要素内に表示する上述の方法により、ユーザは、コンテンツ入力領域内に入力されたフォントベースのテキストを素早く効率的に構成することが可能となる。これは、(例えば、フォントベースのテキストの視覚的特性を変更するために別個のユーザインタフェースにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第2のコンテンツ入力モードに対応するオプションの第2のセットは、図21Iのオプション2113のように、第1のコンテンツ入力領域内の手書き入力の表現に対する1つ以上の色設定を選択するための1つ以上のオプションを含む(2232)(例えば、デバイスが第2のコンテンツ入力モードにある間に、手書き入力(例えば、将来の入力)の表現の色を変更するためのオプション)。いくつかの実施形態では、オプションは、複数の最近使用された色を含む。いくつかの実施形態では、オプションは、複数の所定の一般的に使用される色(例えば、青、赤、緑、黄、原色など)を含む。いくつかの実施形態では、オプションは、色を選択するためのカラーパレットを表示するオプションを含む。いくつかの実施形態では、第1のコンテンツ領域内のコンテンツが選択される(例えば、強調表示される)場合、オプションは、選択されたコンテンツの視覚的特性に影響を及ぼす。
コンテンツ入力ユーザインタフェース要素内に描画モードに関連付けられたオプションを(例えば、デバイスが描画モードにあるときに描画に固有のオプションを含むことにより)表示する上述の方法により、ユーザは、コンテンツ入力領域内に入力された描画を素早く効率的に構成することが可能となる。これは、(例えば、描画の視覚的特性を変更するために別個のユーザインタフェースにナビゲートすること又は追加の入力を実行することをユーザに必要とすることなく)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素を表示している間に、図21Lのように、電子デバイスは、コンテンツ入力ユーザインタフェース要素に向けられたユーザ入力(例えば、コンテンツ入力ユーザインタフェース要素を選択するユーザ入力)を受信する(2234)。
いくつかの実施形態では、ユーザ入力を受信したことに応じて(2236)、ユーザ入力がコンテンツ入力ユーザインタフェース要素に対応する位置に向けられた選択入力と、選択入力を維持している間の移動とを含むとの判定に従って、電子デバイスは、図21Mのように、ユーザ入力の移動に従ってユーザインタフェース内のコンテンツ入力ユーザインタフェース要素を移動させる(2238)(例えば、ユーザ入力の移動に従ってコンテンツ入力ユーザインタフェース要素を移動させる)。
いくつかの実施形態では、ユーザ入力は、コンテンツ入力ユーザインタフェース上の操作アフォーダンスとの接触を含む。いくつかの実施形態では、接触の終了(例えば、リフトオフ)時に、コンテンツ入力ユーザインタフェース要素は、接触の最終位置に維持される。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素は、ディスプレイ上の所定の位置にはめ込まれる。例えば、所定の位置は、ディスプレイの下部、ディスプレイの左側、ディスプレイの右側、又はディスプレイの上部を含む。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素は、その視覚的外観を変更して、新しい位置に適合する。例えば、ディスプレイの上部又は下部にある間、コンテンツ入力ユーザインタフェース要素は水平であり、ディスプレイの左又は右にある間、コンテンツ入力ユーザインタフェース要素は垂直である。
コンテンツ入力ユーザインタフェース要素を(例えば、コンテンツ入力ユーザインタフェース要素を選択し、それを異なる位置にドラッグするユーザ入力を受信することにより)移動させる上述の方法は、(例えば、ユーザインタフェースをスクロールするか又はコンテンツ入力ユーザインタフェース要素を消去するために追加の入力を実行することをユーザに必要とすることなく、ユーザインタフェースの以前に不明瞭な部分を明らかにするために、コンテンツ入力ユーザインタフェース要素を移動させる能力をユーザに与えることにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図21Mのように、ユーザ入力の移動に従ってコンテンツ入力ユーザインタフェース要素を移動させることに応じて(2240)(例えば、コンテンツ入力ユーザインタフェース要素を移動させるユーザ入力に応じて)、コンテンツ入力ユーザインタフェース要素の最終位置が1つ以上の位置基準を満たすとの判定に従って、電子デバイスは、コンテンツ入力ユーザインタフェース要素を第1のサイズで表示し(2242)、コンテンツ入力ユーザインタフェースが第1のサイズを有する間に、図21Pのように、コンテンツ入力ユーザインタフェース要素は、現在のコンテンツ入力モードに対応するオプションの所与のセットを表示することなく、現在のコンテンツ入力モードの表現を含む(例えば、コンテンツ入力ユーザインタフェース要素がディスプレイ内の所定の位置に移動された場合、コンテンツ入力ユーザインタフェース要素を「小型」モード又は簡素化モードで表示する)。
いくつかの実施形態では、ユーザ入力の移動に従ってコンテンツ入力ユーザインタフェース要素を移動させることに応じて、コンテンツ入力ユーザインタフェース要素の最終位置が1つ以上のロケーション基準を満たさないとの判定に従って、電子デバイスは、コンテンツ入力ユーザインタフェース要素を第1のサイズとは異なる第2のサイズで表示し(2244)、コンテンツ入力ユーザインタフェースが第2のサイズを有する間に、図21Oのように、コンテンツ入力ユーザインタフェース要素は、現在のコンテンツ入力モードの表現及び現在のコンテンツ入力モードに対応するオプションの所与のセットを含む(例えば、コンテンツ入力ユーザインタフェース要素を移動させた後のコンテンツ入力ユーザインタフェース要素の最終位置がディスプレイ上の所定の位置にない場合、コンテンツ入力ユーザインタフェース要素をフルサイズモードで表示する)。
いくつかの実施形態では、ユーザ入力は、タッチダウン及びコンテンツ入力ユーザインタフェース要素をドラッグする移動を含む。いくつかの実施形態では、小型又は簡素化モードは、他のコンテンツ入力ツールを表示することなく、及びアクティブなコンテンツ入力モードに対応するオプションのセットを表示することなく、現在アクティブなコンテンツ入力ツールの表現を表示することを含む。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素を小型モードで表示させるディスプレイ内の所定の位置は、ディスプレイの隅(例えば、左上、右上、左下、及び右下隅)を含む。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素が「小型」モードにある間、コンテンツ入力ユーザインタフェース要素の選択は、コンテンツ入力ユーザインタフェース要素をそのデフォルト(例えば、フルサイズ)モードに戻す。
コンテンツ入力ユーザインタフェース要素のサイズを(例えば、コンテンツ入力ユーザインタフェース要素の位置に基づいて)変更する上述の方法は、(例えば、ユーザがコンテンツ入力ユーザインタフェース要素を移動させ、コンテンツ入力ユーザインタフェース要素を小型化することを可能にすることにより)ユーザインタフェースの妨害を最小限に抑えながらコンテンツを入力するオプションをユーザに素早く効率的に提供する。これは、(例えば、コンテンツ入力ユーザインタフェース要素を移動及びサイズ変更するために追加の入力を実行することをユーザに必要とすることなく、ユーザがコンテンツ入力ユーザインタフェース要素を所定の位置に移動させるように要求した場合に、コンテンツ入力ユーザインタフェース要素をより小さいサイズに自動的に変更することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図21R.のように、電子デバイスは、第1のコンテンツ入力モード及び第2のコンテンツ入力モードにある間に、それぞれのデバイス(例えば、スタイラス)以外のオブジェクトからのそれぞれの手書き入力を受け入れ又は無視するように電子デバイスを構成するためのグローバル設定(例えば、指からのコンテンツ挿入を有効又は無効にするためのグローバル設定)を含む(2246)。
いくつかの実施形態では、グローバル設定を有効にした結果、指からの入力がスタイラスからの入力に類似して処理される(例えば、フォントベースのテキストに変換された手書き入力を挿入するか、又は描画を挿入するなど)。いくつかの実施形態では、グローバル設定を無効にした結果、指からの入力がナビゲーション入力、選択入力、又はコンテンツ挿入入力以外の任意の他の入力として処理される(例えば、スワイプジェスチャは任意選択的にスクロール入力として処理され、タップ入力は任意選択的に選択入力として処理されるなど)。
いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素は、図21Rにおけるトグルオプション2122のように、グローバル設定の状態とは無関係に、第1のコンテンツ入力モード及び第2のコンテンツ入力モードにある間に、スタイラス以外のオブジェクトからのそれぞれの手書き入力を受け入れ又は無視するように選択可能なオプションを含む(2248)(例えば、パレットは、グローバル設定をオーバーライドして、コンテンツ入力領域との対話に関して指入力がスタイラス入力と同様に解釈されることを場合に応じて無効化又は有効化するボタン又はトグルスイッチなどのオプションを含む)。
指からの手書き入力を(例えば、パレット上の選択可能オプションによってオーバーライドされ得るグローバル設定を提供することにより)管理する上述の方法は、指入力に対するデフォルト応答をオーバーライドする素早く効率的な方法を提供する。これは、(例えば、グローバル設定を切り替えるために、スタイラスを使用することに切り替えること、又は追加の入力を実行して設定ユーザインタフェースにナビゲートすることをユーザに必要とすることなく、コンテンツを挿入するための別の方法をユーザに提供することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図21Wにおけるテキスト入力領域2128及びコンテンツ入力領域2130のように、ユーザインタフェースは第2のコンテンツ入力領域を含み、第1のコンテンツ入力領域はコンテンツオプションの第1のセットをサポートし、第2のコンテンツ入力領域はコンテンツオプションの第1のセットとは異なる第2のセットをサポートする(2250)(例えば、コンテンツ入力領域は、特定のオプションのみが所与のコンテンツ入力モードでサポートされるように構成される)。
例えば、第1のコンテンツ入力領域は、特定のフォントタイプ又はフォントサイズのみを受け入れるように構成される一方、第2のコンテンツ入力領域は、任意のフォントタイプ又はフォントサイズを受け入れるように構成される。このような実施形態では、デバイスが第1及び第2のコンテンツ入力領域に手書き入力を入力するときに第1のコンテンツ入力モードにある場合であっても、第1のコンテンツ入力領域に対するコンテンツ入力ユーザインタフェース要素はフォントタイプ又はフォントサイズを選択するためのオプションを含まない一方、第2のコンテンツ入力領域に対するコンテンツ入力ユーザインタフェース要素はフォントタイプ及びフォントサイズのためのオプションを含む。
いくつかの実施形態では、電子デバイスが第1のコンテンツ入力モードにある間(2252)、図21Xのように、電子デバイスは、それぞれのコンテンツ入力領域に向けられたユーザ入力(例えば、それぞれのコンテンツ入力領域をタップ若しくは選択するユーザ入力、又はそれぞれのコンテンツ入力領域内で描画するユーザ入力)を受信する(2254)。
いくつかの実施形態では、それぞれのコンテンツ入力領域に向けられたユーザ入力を受信したことに応じて(2256)、図21Yのように、電子デバイスは、ユーザインタフェース内に、コンテンツ入力ユーザインタフェース要素を表示する(2258)(例えば、コンテンツ入力領域のタイプに対応するオプションを有するコンテンツ入力ユーザインタフェース要素を表示する)。
いくつかの実施形態では、それぞれのコンテンツ入力領域が第1のコンテンツ入力領域であるとの判定に従って、図21Yのように、コンテンツ入力ユーザインタフェース要素は、コンテンツオプションの第1のセットに対応するオプションの第1のセットを含む(2260)(例えば、第1のコンテンツ入力領域に対するコンテンツ入力ユーザインタフェース要素内に表示されるオプションは、第1のコンテンツ入力領域によってサポートされるコンテンツオプションに対応する)。例えば、第1のコンテンツ入力領域が、ユーザがフォント設定を変更することを許可しないように構成される場合、コンテンツ入力ユーザインタフェース要素は、フォント設定を変更するためのオプションを含まない。
いくつかの実施形態では、それぞれのコンテンツ入力領域が第2のコンテンツ入力領域であるとの判定に従って、図21AAのように、コンテンツ入力ユーザインタフェース要素は、オプションの第1のセットとは異なりコンテンツオプションの第2のセットに対応するオプションの第3のセットを含む(2262)(例えば、第2のコンテンツ入力領域に対するコンテンツ入力ユーザインタフェース要素内に表示されるオプションは、第2のコンテンツ入力領域によってサポートされるコンテンツオプションに対応する)。
例えば、第2のコンテンツ入力領域が、ユーザがフォント設定を変更することを可能にするように構成されている場合、コンテンツ入力ユーザインタフェース要素は、フォント設定を変更するためのオプションを含む。したがって、いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素に含まれるオプションは、ユーザがコンテンツを入力しているコンテンツ入力領域(例えば、フォーカスを有するコンテンツ入力領域又はユーザが直近に対話しているか、若しくは現在対話しているコンテンツ入力領域)のタイプに依存する。それぞれのコンテンツ入力領域に向けられたユーザ入力に応じて、コンテンツは、ユーザ入力に従ってそれぞれのコンテンツ入力領域に挿入される。例えば、いくつかの実施形態では、ユーザがそれぞれのコンテンツ入力領域内で描画を開始する場合、パレットが表示され、ユーザの描画の表現がそれぞれのコンテンツ入力領域内に表示される。
コンテンツ入力領域に基づいてコンテンツ入力ユーザインタフェース要素上に表示されるオプションを(例えば、コンテンツ入力領域によってサポートされるオプションを表示し、コンテンツ入力領域によってサポートされないオプションを表示しないことにより)構成する上述の方法は、(例えば、それぞれのコンテンツ入力領域によってどのオプションがサポートされるかを自動的に判定し、サポートされないオプションを表示しないことにより)サポートされるオプションをユーザに素早く効率的に提供する。これは、(例えば、動作不能であるか、又はサポートされないオプションをユーザに提供しないことにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のコンテンツ入力領域を含むユーザインタフェースを表示している間に、第1のコンテンツ入力領域は第1のコンテンツ入力モード及び第2のコンテンツ入力モードにおいてコンテンツ入力をサポートし(例えば、第1のコンテンツ入力領域はフォントベースのテキスト及び描画を受け入れるため、第1のコンテンツ入力領域はテキスト入力モード及び描画モードにある間に入力を受け入れる)、図21BBのように、電子デバイスは、第1のコンテンツ入力領域に向けられたユーザ入力を受信する(2264)。いくつかの実施形態では、異なるコンテンツ入力領域は、特定のコンテンツ入力モードが無効になるように、異なるタイプのコンテンツを受け入れるように構成することができる。
いくつかの実施形態では、第1のコンテンツ入力領域に向けられたユーザ入力に応じて、図21CCのように、電子デバイスは、コンテンツ入力ユーザインタフェース要素をユーザインタフェース内に表示する(2266)。いくつかの実施形態では、第1のコンテンツ入力領域がフォントベースのテキストを含まないとの判定に従って、図21DDのように、コンテンツ入力ユーザインタフェース要素は、第1のコンテンツ入力領域内の直近に使用されたコンテンツ入力モードに対応するオプションのそれぞれのセットを含む(2268)(例えば、コンテンツ入力領域が(例えば、テキスト入力ツールを使用する間に、キーボード、ソフトキーボード、又は手書き入力のいずれかを介して入力された)任意のフォントベースのテキストを含まない場合、選択されたデフォルトのコンテンツ入力ツールは、直近に使用されたコンテンツ入力ツールである)。
いくつかの実施形態では、直近に使用されたコンテンツ入力ツールは、(例えば、任意のコンテンツ入力領域にわたって、及び/又は任意のアプリケーションにわたって)グローバルな直近に使用されたコンテンツ入力ツールである。いくつかの実施形態では、直近に使用されたコンテンツ入力は、第1のコンテンツ入力領域に対して直近に使用されたコンテンツ入力ツールである。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素は、選択されたコンテンツ入力ツールに対応するオプションのセットを含む。いくつかの実施形態では、コンテンツ入力領域が任意のフォントベースのテキストを含まない場合、デバイスは、直近に使用されたコンテンツ入力モードで動作するように構成されており、コンテンツ入力ユーザインタフェース要素は、直近に使用されたコンテンツ入力モードに対応するオプションを含む。例えば、ユーザが以前にそれぞれのコンテンツ入力領域内に鉛筆スタイルの描画を挿入するために鉛筆ツールを選択してからコンテンツ入力ユーザインタフェース要素を消去した場合、次にユーザがコンテンツ入力ユーザインタフェース要素の表示を生じさせる(例えば、それぞれのコンテンツ入力領域に向けられた手書き入力の検出に応じてなどで表示させる)時には、鉛筆ツールが自動的に選択され、コンテンツ入力ユーザインタフェース要素内のオプションのセットは鉛筆ツールに対応する。別の実施例では、ユーザが以前に第1のコンテンツ入力領域にマーカースタイルの描画を挿入するためにマーカーツールを選択し、コンテンツ入力ユーザインタフェース要素を消去してから、第2のコンテンツ入力領域に対するコンテンツ入力ユーザインタフェース要素を表示した場合、マーカーツールが自動的に選択され、コンテンツ入力ユーザインタフェース要素内のオプションのセットはマーカーツールに対応する。第3の実施例では、ユーザがそれぞれのコンテンツ入力領域に(例えば、仮想キーボード、物理キーボード、テキスト入力ツール、又は任意の他のテキスト挿入機能を使用して)フォントベースのテキストを挿入し、ハイライタツールを選択してから、コンテンツ入力ユーザインタフェース要素を消去した場合、次にユーザがコンテンツ入力ユーザインタフェース要素を表示する時には、それぞれのコンテンツ入力領域がフォントベースのテキストを有するため、以前に選択されたツールがハイライタツールであったとしても、テキスト入力ツールが自動的に選択される。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素が表示されるときに自動的に選択されるツールは、デバイスが構成されているコンテンツ入力モードを規定する。例えば、自動的に選択されるツールがテキスト入力ツールである場合、デバイスは、手書きテキスト入力モードで動作するように構成されている。別の実施例では、自動的に選択されるツールが鉛筆ツールである場合、デバイスは鉛筆コンテンツ入力モードで動作するように構成されている。いくつかの実施形態では、デバイスがユーザ入力を受信する前に異なるモードで動作するように構成された場合、ユーザ入力に応じて、デバイスは自動的に選択されるツールに基づくモードで動作するように切り替わる。
直近に使用されたコンテンツ入力ツールに関連付けられたオプションを表示する上述の方法(例えば、コンテンツ入力領域が任意のフォントベースのフォントを含まない場合)は、ユーザが使用する可能性が最も高いオプションをユーザに素早く効率的に提供する。これは、(例えば、所望のコンテンツ入力モードに切り替えるために追加の入力を実行することをユーザに必要とすることなく、ユーザが直近に使用したコンテンツ入力モードにデバイスを自動的に構成することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のコンテンツ入力領域がフォントベースのテキストを含むとの判定に従って、図21CCのように、コンテンツ入力ユーザインタフェース要素は、第1のコンテンツ入力モードに対応するオプションの第1のセットを含む(2270)(例えば、コンテンツ入力領域がフォントベースのテキストを含む場合、選択されるコンテンツ入力ツールはテキスト入力ツールである)。
いくつかの実施形態では、コンテンツ入力領域がフォントベースのテキストを含む場合、デバイスは第1のコンテンツ入力モード(例えば、テキスト入力モード)で動作するように(例えば、コンテンツ入力領域内で検出されたタッチダウンの後に)構成される。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素は、テキスト入力ツールに対応するオプションの第1のセットを含む。いくつかの実施形態では、ユーザ入力に応じて、自動的に選択されるツールがコンテンツ入力ツールであるため、デバイスは、それぞれのコンテンツ入力モードで動作するように構成される。
テキスト入力ツールに関連付けられたオプションを表示する上述の方法(例えば、コンテンツ入力領域がフォントベースのフォントを含む場合)は、ユーザが使用する可能性が最も高いオプションをユーザに素早く効率的に提供する(例えば、ユーザは、フォントベースのフォントを既に含むコンテンツ入力領域に起因してテキストを入力する可能性が高い)。これは、(例えば、所望のコンテンツ入力モードに切り替えるために追加の入力を実行することをユーザに必要とすることなく、テキスト入力モードにデバイスを自動的に構成することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図21CCのように、コンテンツ入力ユーザインタフェース要素を表示することは(2272)、図21CCのように、ユーザインタフェースが第1のアプリケーションのユーザインタフェースであるとの判定に従って、オプションの第1のセット内の第1のオプションを含めることを含む(2274)(例えば、アプリケーションは、それらの対応するコンテンツ入力領域に対するオプションの異なるセットをサポートするように構成することができる)。例えば、特定のタイプのコンテンツ入力領域に対して、第1のアプリケーションは、ユーザが全ての可能な色を選択することを可能にし得る一方、第2のアプリケーションは、ユーザが色を選択することができることを制限する。したがって、いくつかの実施形態では、ユーザインタフェースが第1のアプリケーションのユーザインタフェースである場合、第1のコンテンツ入力領域に入力されたコンテンツの色を選択するオプションが、第1のコンテンツ入力領域に対して表示されるオプションに含まれる。
いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素を表示することは、図21Yのように、ユーザインタフェースが、第1のアプリケーションとは異なる第2のアプリケーションのユーザインタフェースであるとの判定に従って、オプションの第1のセット内に第1のオプションを含めることなく、オプションの第1のセット内に第2のオプションを含めることを含む(2276)(例えば、第1のオプションとは異なる第2のオプションがコンテンツ入力ユーザインタフェース要素内に表示されるオプションのセットに含まれ、第1のアプリケーション及び第2のアプリケーションに対するコンテンツ入力領域が両方とも同じタイプのコンテンツ(この例ではフォントベースのテキスト及び描画)をサポートすることとは無関係に、第1のコンテンツ入力領域に入力されたコンテンツの色を選択するオプションは、コンテンツ入力ユーザインタフェース要素内に表示されるオプションに含まれない)。
いくつかの実施形態では、それぞれのアプリケーションに対するコンテンツ入力ユーザインタフェース要素内に表示されるオプションは、それぞれのアプリケーションの開発者によってカスタマイズされる。例えば、開発者は、オプション及び/又はツールのデフォルト又は標準のリストでオプション及び/又はツールを追加又は除去することができる。いくつかの実施形態では、開発者は、それぞれのアプリケーション内の全てのコンテンツ入力領域に対するツールをカスタマイズするか、又はそれぞれのアプリケーション内の各コンテンツ入力領域に対するツールを個別にカスタマイズすることができる。
アプリケーションに基づいてオプションを(例えば、それぞれのアプリケーションが許可するように構成されるオプションを表示することにより)表示する上述の方法は、(例えば、動作不能であるオプション又はサポートされていないオプションをユーザに提供することなく)それぞれのアプリケーションによってサポートされるオプションをユーザに素早く効率的に提供する。これは、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザインタフェースは、図21Wにおけるユーザインタフェース2100などの第1のアプリケーションのユーザインタフェースである(2278)。いくつかの実施形態では、図21Wのように、ディスプレイ生成構成要素を介して、第1のコンテンツ入力領域を含むユーザインタフェースを表示している間に(2280)、電子デバイスは、図21Wにおけるユーザインタフェース2102のように、ディスプレイ生成構成要素を介して、第2のアプリケーションの第2のユーザインタフェースを表示し(2282)、第2のユーザインタフェースは、第2のコンテンツ入力領域を含む(例えば、ディスプレイ上に2つのユーザインタフェースを同時に表示する)。いくつかの実施形態では、電子デバイスはマルチタスキングモードにあり、2つのユーザインタフェースは同じアプリケーションのもの(例えば、同じアプリケーションの2つのインスタンス又はウィンドウ)であるか、又は2つのユーザインタフェースは2つの異なるアプリケーションのためのユーザインタフェースである。
いくつかの実施形態では、ユーザインタフェース及び第2のユーザインタフェースを表示している間に、図21X.のように、電子デバイスは、ユーザ入力を受信する(2284)。いくつかの実施形態では、ユーザ入力を受信したことに応じて(2286)、ユーザ入力が第1のコンテンツ入力領域に向けられているとの判定に従って、図21CCのように、電子デバイスは、第1のアプリケーションに対応する第1の位置にコンテンツ入力ユーザインタフェース要素を表示する(2288)(例えば、ユーザが第1のユーザインタフェースのコンテンツ入力領域を選択する場合、コンテンツ入力ユーザインタフェース要素は、第1のアプリケーションに基づく位置に表示される)。例えば、第1のアプリケーションのユーザインタフェースがディスプレイの右半分に表示された場合、コンテンツ入力ユーザインタフェース要素は、ディスプレイの右半分に表示され、及び/又は第1のアプリケーションの中心に置かれる。
いくつかの実施形態では、ユーザ入力を受信したことに応じて、ユーザ入力が第2のコンテンツ入力領域に向けられているとの判定に従って、図21Yのように、電子デバイスは、第1の位置とは異なり第2のアプリケーションに対応する第2の位置にコンテンツ入力ユーザインタフェース要素を表示する(2290)(例えば、ユーザが第2のユーザインタフェースのコンテンツ入力領域を選択する場合、コンテンツ入力ユーザインタフェース要素は、第2のアプリケーションに基づく位置に表示される)。
例えば、第2のアプリケーションのユーザインタフェースがディスプレイの左半分に表示される場合、コンテンツ入力ユーザインタフェース要素は、ディスプレイの左半分に表示され、及び/又は第2のアプリケーションの中心に置かれる。いくつかの実施形態では、ユーザインタフェースのサイズがディスプレイのフルサイズではない場合、コンテンツ入力ユーザインタフェース要素は、フルサイズ以外のサイズで、及びアクティブなコンテンツ入力モードに対応するオプションの全セット以外のオプションのセットと共に表示される。例えば、第1のユーザインタフェースがディスプレイの幅の25%である場合(例えば、第2のユーザインタフェースはディスプレイの幅の75%である)、第1のユーザインタフェースに対して表示されるコンテンツ入力ユーザインタフェース要素は、任意選択的に、フルサイズよりも小さく(例えば、フルサイズの25%、33%、50%、66%など)、1つ以上のオプションはコンテンツ入力ユーザインタフェース要素内に表示されない。いくつかの実施形態では、コンテンツ入力ユーザインタフェース要素内に表示されない1つ以上のオプションは、コンテンツ入力ユーザインタフェース要素内のオプションの選択に応じて表示されるサブメニュー内に表示される(例えば、コンテンツ入力ユーザインタフェース要素に収まらない1つ以上のオプションは、コンテンツ入力ユーザインタフェース要素からアクセス可能なサブメニューに移動される)。
コンテンツ入力ユーザインタフェース要素を(例えば、ユーザがコンテンツを入力しているコンテンツ入力領域を有するアプリケーションを中心に)表示する上述の方法は、(例えば、コンテンツ入力ユーザインタフェース要素を、関連するアプリケーションのより近くで、ユーザがコンテンツを挿入していないアプリケーションからはより遠く離れて配置することにより)コンテンツ入力ユーザインタフェース要素がどのユーザインタフェースに関連付けられているかを素早く効率的に示す。これは、(例えば、誤ったユーザインタフェースへの誤入力を低減することにより)ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を強化し、ユーザ・デバイス間のインタフェースをより効率的にする。これは更に、デバイスの使用におけるエラーを低減しながら、ユーザが電子デバイスをより素早く効率的に使用することを可能することにより、電力使用を低減し、電子デバイスのバッテリ寿命を改善する。
図22A~図22Jにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1600、1800、及び2000)に関して本明細書に記載される他のプロセスの詳細はまた、図22A~図22Jに関して上述した方法2200にも、類似の様式で適用可能であることに留意されたい。例えば、方法2200を参照して上述したコンテンツ入力パレットにオプションを表示する動作は、本明細書に記載される他の方法(例えば、方法700、900、1100、1300、1500、1600、1800、及び2000)を参照して本明細書に記載される手書き入力の受け入れ及び/又は変換、テキストの選択及び削除、手書き入力を既存のテキストに挿入すること、手書きテキストをフォントベースのテキストに変換するタイミングを管理すること、手書き入力メニューを提示すること、手書き入力の特性を制御すること、及び自動補完提案を提示すること、手書き入力をフォントベースのテキストに変換することなどの特性のうちの1つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Iに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図22A~図22Jを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作2202、2212、2218、2222、2242、2244、2258、2266、2272、2282、2288及び2290並びに受信する動作2204、2210、2220、2234、2254、2264、及び2284は、イベントソータ170、イベント認識部180、及びイベント処理部190によって任意選択的に実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
上述したように、本技術の一態様は、1つの電子デバイスから別の電子デバイスへのコンテンツのストリーミングを容易にするために、特定の正当なソースから利用可能なデータを収集して使用することを潜在的に含む。本開示は、場合によっては、この収集されたデータが、特定の人物を一意的に特定する、又は特定するために使用できる、個人情報データを含み得ることを想到している。そのような個人情報データは、人口統計データ、位置ベースのデータ、オンライン識別子、電話番号、電子メールアドレス、住所、ユーザの健康又はフィットネスレベル(例えば、バイタルサイン測定、服薬情報、運動情報)に関するデータ若しくは記録、生年月日、又は任意の他の個人情報、使用履歴、手書きスタイルなどを含むことができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、スタイラスを使用した電子デバイスとの対話に関する動作(例えば、テキストとしての手書きの認識)を自動的に実行するために使用することができる。したがって、そのような個人情報データを使用することにより、ユーザは、手書き入力に関するアクションを実行するために、より少ない入力を入力することが可能となる。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。例えば、手書きスタイルを使用して、ユーザに対して提案されるフォントベースのテキストを生成することができる。
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用に関与するそれらエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到している。具体的には、そのようなエンティティは、ユーザのプライバシーを維持するための業界又は政府の要件を満たす又は上回ると一般に認識されるプライバシー慣行を実現し、一貫して適用することが予想されるであろう。個人データの使用に関するそのような情報は目立つべきであり、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、正当な使用のためのみに収集されるべきである。更に、そのような収集/共有は、ユーザの承諾を受けた後に、又は適用可能な法律に明記された他の正当な根拠に基づいて行われるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け付けられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。加えて、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、より高い基準を課す役割を担い得る管轄権固有の考慮事項を含めた、適用可能な法令及び基準に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律(Health Insurance Portability and Accountability Act、HIPAA)などの、連邦法及び/又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び/又はソフトウェア要素を提供することができると想到する。例えば、ユーザは、電子デバイスの発見又はプライバシー設定を変更するために、1つ以上の電子デバイスを構成することができる。例えば、ユーザは、自動補完提案を提供する際に、ユーザの手書き入力履歴のうちの特定のものにアクセスすることのみを電子デバイスに許可する設定を選択することができる。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、適用可能な場合、特定の健康関連アプリケーションを含めて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、識別子を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、位置データを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって集約すること)、及び/又は差分プライバシーなどの他の方法によって、容易にしてもよい。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、手書きは、ユーザのデバイス上でのみ取り扱われている手書き、又は他の非個人情報などの、集約された非個人情報データ、又は必要最小限の個人情報に基づいて認識され得る。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。