JP7391102B2 - ジェスチャ処理方法およびデバイス - Google Patents

Description

本出願は、2019年3月1日に中国国家知識産権局に出願した「GESTURE PROCESSING METHOD AND DEVICE」という名称の中国特許出願第201910157644．4号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

本出願の実施形態は、電子技術の分野に関し、特に、ジェスチャ処理方法およびデバイスに関する。

電子デバイスの知的開発により、ユーザと携帯電話などの電子デバイスとの間の対話方法が増えている。空中ジェスチャは、近年出現している対話形式である。

一般に、電子デバイスのシステムアプリケーションは、ユーザの空中ジェスチャをサポートし、サードパーティアプリケーションは、通常、事前に空中ジェスチャに適合される必要がある。例えば、サードパーティアプリケーションは、空中ジェスチャとコード内のアプリケーション制御または命令との間の対応関係を事前定義する必要がある。このようにして、空中ジェスチャを検出した後、電子デバイスは、対応するアプリケーション制御または命令を使用して応答を行う。

現在、電子デバイス上でユーザによって使用されるサードパーティアプリケーションのタイプおよびサードパーティアプリケーションの数は増えている。各サードパーティアプリケーションが空中ジェスチャに適合される場合、適合作業負荷は比較的大きい。適応が実施されない場合、ユーザは、空中ジェスチャを使用してサードパーティアプリケーションを操作することができず、それにより、空中ジェスチャの使用範囲を制限し、空中ジェスチャのユーザ体験に影響を及ぼす。

本出願の実施形態は、空中ジェスチャに基づいて対応する汎用入力イベントを生成するためのジェスチャ処理方法および装置を提供する。汎用入力イベントは、システムアプリケーションとサードパーティアプリケーションの両方が汎用入力イベントに応答することができる、すなわち、両方が空中ジェスチャに応答することができるように、電子デバイス上でユーザによって実行された接触操作に対応する入力イベントである。このようにして、空中ジェスチャの使用範囲が拡大されることができ、サードパーティアプリケーションの適応作業が省略されることができる。

前述の目的を達成するために、以下の技術的解決策が本出願の実施形態において使用される。

一態様によれば、本出願の一実施形態は、1つ以上のプロセッサと、1つ以上のメモリと、1つ以上のマルチメディアアプリケーション（すなわち、1つ以上のマルチメディアアプリケーションプログラム）であって、オーディオアプリケーションまたはビデオアプリケーションを含む、マルチメディアアプリケーションと、1つ以上のコンピュータプログラムと、インタフェースを表示するように構成されたディスプレイと、検出構成要素とを含む電子デバイスを提供する。検出構成要素は、カメラ、ディスプレイの下に配置された赤外線センサ、ディスプレイの下に配置された超音波センサ、またはディスプレイの下に配置された電磁誘導構成要素のいずれか1つまたは任意の組み合わせを含む。検出構成要素は、ユーザが電子デバイスと接触していないときにユーザによって行われた空中ジェスチャを検出するように構成される。1つ以上のコンピュータプログラムは、メモリに記憶される。1つ以上のコンピュータプログラムは命令を含む。命令がプロセッサによって実行されると、電子デバイスは、マルチメディアアプリケーションが開かれた後にマルチメディアアプリケーションの第1のインタフェースを表示するステップであって、第1のインタフェースが第1のマルチメディアファイルに対応する、ステップと、検出構成要素が空中ジェスチャを検出した場合、空中ジェスチャに基づいて応答操作を実行するステップとを実行することを可能にされる。応答操作は、第1のマルチメディアファイルを再生すること、第1のマルチメディアファイルの再生を一時停止すること、第1のマルチメディアファイルの再生進捗を調整すること、再生音量を調整すること、表示輝度を調整すること、または第1のマルチメディアファイルを別のマルチメディアファイルに切り替えることのうちの少なくとも1つを含む。

マルチメディアアプリケーションは、システムアプリケーションであってもよいし、電子デバイス内のサードパーティアプリケーションであってもよい。

このようにして、ユーザは、空中ジェスチャを使用することにより、電子デバイスと接触することなく、電子デバイス内のシステムマルチメディアアプリケーションおよびサードパーティマルチメディアアプリケーションが、再生制御に関連する操作を実行することを可能にし、それにより、ユーザ体験を改善することがある。

可能な実装形態では、空中ジェスチャは、手の振りまたは手の並進移動である。応答操作は、第1のマルチメディアファイルを早送りすること、第1のマルチメディアファイルを巻き戻すこと、再生音量を上げること、再生音量を下げること、表示輝度を上げること、表示輝度を下げること、または第1のマルチメディアファイルを別のマルチメディアファイルに切り替えること、を含む。

言い換えれば、手の振りまたは手の並進移動の空中ジェスチャを通して、ユーザは、電子デバイス内のマルチメディアアプリケーションが、再生制御に関連する操作を実行することを可能にすることができる。

別の可能な設計では、マルチメディアアプリケーションは第1のビデオプレーヤである。空中ジェスチャに基づいて応答操作を実行するステップは、空中ジェスチャおよび空中ジェスチャが発生する位置に基づいて応答操作を実行するステップを含む。空中ジェスチャが手の上方向への並進移動または手の上方向への振りであるとき、空中ジェスチャが発生する位置が電子デバイスの右側に近い場合、応答操作は再生音量を上げることである、または、空中ジェスチャが発生する位置が電子デバイスの左側に近い場合、応答操作は表示輝度を上げることである。空中ジェスチャが手の下方向への並進移動または手の下方向への振りであるとき、空中ジェスチャが発生する位置が電子デバイスの右側に近い場合、応答操作は再生音量を下げることである、または、空中ジェスチャが発生する位置が電子デバイスの左側に近い場合、応答操作は表示輝度を下げることである。空中ジェスチャが手の右方向への並進移動または手の右方向への振りであるとき、応答操作は第1のマルチメディアファイルを早送りすることである。空中ジェスチャが手の左方向への並進移動または手の左方向への振りであるとき、応答操作は第1のマルチメディアファイルを巻き戻すことである。

換言すれば、手の振りまたは手の並進移動の方向、および手の振りまたは手の並進移動が発生する位置などの要因に基づいて、ユーザは電子デバイスのビデオプレーヤが再生制御に関する操作を実行することを可能にすることができる。

別の可能な設計では、マルチメディアアプリケーションはオーディオプレーヤである。空中ジェスチャが手の右方向への並進移動または手の右方向への振りであるとき、応答操作は第1のマルチメディアファイルを早送りすることである。空中ジェスチャが手の左方向への並進移動または手の左方向への振りであるとき、応答操作は第1のマルチメディアファイルを巻き戻すことである。

このようにして、手の振りまたは手の並進移動の空中ジェスチャを通して、ユーザは、電子デバイス内のオーディオプレーヤが再生制御に関連する操作を実行することを可能にすることができる。

別の可能な設計では、マルチメディアアプリケーションは第2のビデオプレーヤである。空中ジェスチャが手の上方向への並進移動または手の上方向への振りであるとき、応答操作は、第1のマルチメディアファイルを第2のマルチメディアファイルに切り替えることである。空中ジェスチャが手の下方向への並進移動または手の下方向への振りであるとき、応答操作は、第1のマルチメディアファイルを第3のマルチメディアファイルに切り替えることである。

このようにして、手の振りまたは手の並進移動の空中ジェスチャを通して、ユーザは、電子デバイス内のビデオプレーヤが再生制御に関連する操作を実行することを可能にすることができる。

別の可能な設計では、マルチメディアアプリケーションはギャラリである。空中ジェスチャが手の右方向への並進移動または手の右方向への振りである場合、応答操作は、第1のマルチメディアファイルを第2のマルチメディアファイルに切り替えることである。空中ジェスチャが手の左方向への並進移動または手の左方向への振りである場合、応答操作は、第1のマルチメディアファイルを第3のマルチメディアファイルに切り替えることである。

このようにして、手の振りまたは手の並進移動の空中ジェスチャを通して、ユーザは、電子デバイス内のギャラリが、表示された写真を切り替えることを可能にすることができる。

別の可能な設計では、空中ジェスチャは、電子デバイスに向かう手のひらの移動である。応答操作は、第1のマルチメディアファイルを再生すること、第1のマルチメディアファイルの再生を一時停止すること、または第1のマルチメディアファイルを別のマルチメディアファイルに切り替えることを含む。

電子デバイスに向かう手のひらの移動は、電子デバイスに向かうスラップとも呼ばれ得る。

このようにして、電子デバイスに向かう手のひらの移動の空中ジェスチャを通して、ユーザは、電子デバイス内のマルチメディアアプリケーションが再生制御に関連する操作を実行することを可能にすることができる。

別の可能な設計では、マルチメディアアプリケーションは第1のビデオプレーヤである。第1のインタフェースは、再生制御および切り替え制御を含む。空中ジェスチャに基づいて応答操作を実行するステップは、空中ジェスチャ、空中ジェスチャが発生する位置、および第1のビデオプレーヤの現在の状態に基づいて応答操作を実行するステップを含む。空中ジェスチャが発生する位置が再生制御に近く、第1のマルチメディアファイルが現在再生されている場合、応答操作は第1のマルチメディアファイルの再生を一時停止することである。空中ジェスチャが発生する位置が再生制御に近く、第1のマルチメディアファイルが現在再生されていない場合、応答操作は第1のマルチメディアファイルを再生することである。空中ジェスチャが発生する位置が切り替え制御に近い場合、応答操作は、第1のマルチメディアファイルを別のマルチメディアファイルに切り替えることである。

言い換えれば、電子デバイスは、ユーザによって行われた空中ジェスチャ、空中ジェスチャが発生する位置、およびビデオプレーヤの現在の再生状態を参照して、異なる応答操作を実行することができる。

一態様によれば、本出願の一実施形態は、1つ以上のプロセッサと、1つ以上のメモリと、1つ以上のアプリケーション（すなわち、1つ以上のアプリケーションプログラム）と、1つ以上のコンピュータプログラムと、インタフェースを表示するように構成されたディスプレイと、検出構成要素であって、ユーザが電子デバイスに接触していないとき、ユーザによって行われた空中ジェスチャを検出するように構成された、検出構成要素と、を含む電子デバイスを提供する。検出構成要素は、カメラ、ディスプレイの下に配置された赤外線センサ、ディスプレイの下に配置された超音波センサ、またはディスプレイの下に配置された電磁誘導構成要素のいずれか1つまたは任意の組み合わせを含む。1つ以上のコンピュータプログラムは、メモリに記憶される。1つ以上のコンピュータプログラムは命令を含む。命令がプロセッサによって実行されると、電子デバイスは、アプリケーションが開かれた後にアプリケーションの第1のインタフェースを表示するステップと、検出構成要素が空中ジェスチャを検出した場合、空中ジェスチャに基づいて応答操作を実行するステップとを実行することを可能にされる。応答操作は、ページをスクロールすること、または第1のインタフェースを別のインタフェースに切り替えることのうちの少なくとも1つを含む。

アプリケーションは、システムアプリケーションであってもよいし、電子デバイス内のサードパーティアプリケーションであってもよい。

このようにして、ユーザは、空中ジェスチャを使用することにより、電子デバイスと接触することなく、電子デバイス内のシステムアプリケーションおよびサードパーティアプリケーションが、ページをスクロールし、表示されたインタフェースを切り替える操作を実行することを可能にし、それにより、ユーザ体験を改善することがある。

可能な設計では、空中ジェスチャが手の上方向への並進移動または手の上方向への振りである場合、応答操作はページを上方向にスクロールすることである。空中ジェスチャが、手の下方向への並進移動または手の下方向への振りである場合、応答操作は、ページを下方向にスクロールすることである。

このようにして、手の振りまたは手の並進移動の空中ジェスチャを通して、ユーザは、電子デバイスがページをスクロールする操作を実行することを可能にすることができる。

別の可能な設計では、空中ジェスチャが手の右方向への並進移動または手の右方向への振りである場合、応答操作は、第1のインタフェースを第2のインタフェースに切り替えることである。空中ジェスチャが手の左方向への並進移動または手の左方向への振りであるとき、応答操作は、第1のインタフェースを第3のインタフェースに切り替えることである。第1のインタフェースはアプリケーションの第1の機能に対応し、第2のインタフェースはアプリケーションの第2の機能に対応し、第3のインタフェースはアプリケーションの第3の機能に対応する。あるいは、アプリケーションはリーダであり、第1のインタフェース、第2のインタフェース、および第3のインタフェースは、それぞれリーダによって表示される3つのページである。

このようにして、手の並進移動または手の振りの空中ジェスチャを通じて、ユーザは、WeChatなどのアプリケーションが、異なる機能に対応するページを切り替えて表示することを可能にするか、またはリーダなどのアプリケーションがページをめくることを可能にすることができる。

別の可能な設計では、命令がプロセッサによって実行されると、電子デバイスは、検出構成要素が空中ジェスチャを検出した後、空中ジェスチャに対応する操作マークを表示するステップを実行することをさらに可能にされる。

この解決策において、操作マークは、ユーザに直感的な視覚体験を提供するために、タッチ画面上でユーザによって実行され、空中ジェスチャに対応する実際のタッチ操作をシミュレートするために使用され得る。

別の可能な設計では、空中ジェスチャに基づいて応答操作を実行するステップは、空中ジェスチャに基づいて汎用入力イベントを生成するステップであって、汎用入力イベントは、システムアプリケーションとサードパーティアプリケーションの両方が応答できる入力イベントである、ステップと、汎用入力イベントに基づいて応答操作を実行するステップとを含む。

言い換えれば、電子デバイスは、ユーザの空中ジェスチャに基づいて、システムアプリケーションとサードパーティアプリケーションの両方が応答することができる汎用入力イベントを生成することができる。したがって、電子デバイス上のシステムアプリケーションとサードパーティアプリケーションの両方が汎用入力イベントに応答することができ、その結果、システムアプリケーションとサードパーティアプリケーションの両方がユーザの空中ジェスチャに応答することができる。このように、空中ジェスチャの使用範囲は比較的広い。

別の可能な設計では、空中ジェスチャに基づいて汎用入力イベントを生成するステップは、予め設定された第1の対応関係に基づいて空中ジェスチャのジェスチャタイプを決定するステップであって、第1の対応関係は、ジェスチャ情報と空中ジェスチャのジェスチャタイプとの間の対応関係であり、ジェスチャ情報は、姿勢、形状、移動距離、移動方向、移動速度、移動軌道、または空中ジェスチャの位置と瞬間との間の対応関係、のうちのいずれか1つまたは任意の組み合わせを含む、ステップと、ジェスチャタイプを電子デバイスのアプリケーションフレームワーク層に報告するステップと、アプリケーションフレームワーク層によって、予め設定された第2の対応関係に基づいて汎用入力イベントを決定し、汎用入力イベントを生成するために、汎用入力イベントをアプリケーション層に報告するステップであって、第2の対応関係は、ジェスチャタイプと汎用入力イベントとの間の対応関係である、ステップと、アプリケーション層のフォアグラウンドシステムアプリケーションまたはフォアグラウンドサードパーティアプリケーションによって、汎用入力イベントに応答する操作を実行するステップとを含む。

言い換えれば、電子デバイス内のアプリケーションフレームワーク層およびアプリケーション層は、応答を行うために、空中ジェスチャに基づいて対応する汎用入力イベントを生成することができる。

別の可能な設計では、命令がプロセッサによって実行されると、電子デバイスは、第1の対応関係に基づいて、空中ジェスチャに対応するジェスチャタイプが存在しないと決定される場合、空中ジェスチャが無効なジェスチャであると決定し、現在のアプリケーションおよび／またはユーザの使用習慣に基づいて有効な基準空中ジェスチャを決定するステップと、基準空中ジェスチャを用いてユーザを促すステップとを実行することをさらに可能にされる。

このようにして、現在のアプリケーションおよび／またはユーザの使用習慣を参照して、ユーザのジェスチャが無効であることを発見した場合、電子デバイスは、ユーザが使用することができる、ユーザが頻繁に使用する、現在のアプリケーションが応答することができるなどの有効な空中ジェスチャを基準空中ジェスチャとして決定して、基準空中ジェスチャを用いてユーザを促すことができる。したがって、ユーザは、プロンプトに基づいて正しい空中ジェスチャを行うことができる。

別の可能な設計では、命令がプロセッサによって実行されると、電子デバイスは、第1の対応関係に基づいて、空中ジェスチャに対応するジェスチャタイプが存在しないと決定された場合、空中ジェスチャが無効なジェスチャであると決定し、現在のアプリケーションおよび／またはユーザの使用習慣に基づいて有効な基準空中ジェスチャを決定するステップと、基準空中ジェスチャに対応する基準汎用入力イベントを決定するステップと、基準汎用入力イベントおよび現在のアプリケーションに基づいて、第1の操作を決定するステップと、第1の操作を実行するかどうかをユーザに促すステップと、ユーザからの第1の操作を実行することを示す命令が検出された後に、第1の操作を実行するステップと、を実行することをさらに可能にされる。

このようにして、電子デバイスは、現在のアプリケーションおよび／または使用習慣に基づいてユーザの意図を推測することができ、すなわち、ユーザが電子デバイスに実行を期待し得る第1の操作を推測することができる。このようにして、電子デバイスは、ユーザに必要とされる第1の操作を直接実行することを可能にされ得るが、ユーザは、対応する空中ジェスチャを新たに行う必要はない。

別の可能な設計では、空中ジェスチャが手の振りまたは手の並進移動である場合、汎用入力イベントはスライドイベントである、または空中ジェスチャが電子デバイスに向かう手のひらの移動である場合、汎用入力イベントはタップイベントである。

言い換えれば、電子デバイスは、手の振りまたは手の並進移動の空中ジェスチャに基づいてスライドイベントを生成することができ、電子デバイスに向かう手のひらの移動の空中ジェスチャに基づいてタップイベントを生成することができる。

別の可能な設計では、命令がプロセッサによって実行されると、電子デバイスは、汎用入力イベントが発生された後に、汎用入力イベントに対応する操作マークを表示するステップを実行することをさらに可能にされる。

この解決策において、操作マークは、ユーザに直感的な視覚体験を提供するために、タッチ画面上でユーザによって実行され、汎用入力イベントに対応する実際のタッチ操作をシミュレートするために使用され得る。

別の可能な設計では、操作マークは静的マークまたは動的マークである。動的マークは、プロセスピクトグラムであってもよい。

例えば、静的マークは、矢印であってもよいし、またはべた塗りのドットであってもよい。例えば、動的マークは、移動する矢印であってもよいし、または手が矢印と共に移動する過程を示すピクトグラムであってもよい。

別の可能な設計では、タップイベントおよびスライドイベントに加えて、汎用入力イベントは、タッチイベントおよびホールドイベントまたはドラッグイベントをさらに含んでもよい。タップイベントは、シングルタップイベントまたはダブルタップイベントを含む。

例えば、汎用入力イベントは、ユーザが電子デバイスのタッチ画面に実際にタッチしたときに生成され得る入力イベントであり得る。

別の可能な設計では、汎用入力イベントは、少なくとも1つのdownイベント、少なくとも1つのupイベント、および／または少なくとも1つのmoveイベントを使用して表される。

言い換えると、汎用入力イベントは、downイベント、upイベント、moveイベント、またはこれらの組み合わせを用いて記述されてもよい。

別の態様によれば、本出願の一実施形態はジェスチャ処理方法を提供し、電子デバイスが空中ジェスチャを検出することを含む。電子デバイスは、空中ジェスチャに基づいて汎用入力イベントを生成する。電子デバイスは、システムアプリケーションまたはサードパーティアプリケーションを使用して汎用入力イベントに応答する。

この解決策において、電子デバイスは、空中ジェスチャに基づいて、システムアプリケーションとサードパーティアプリケーションの両方が応答することができる汎用入力イベントを生成することができる。したがって、電子デバイス上の任意のアプリケーションは、汎用入力イベントに応答することができ、すなわち、任意のアプリケーションは、空中ジェスチャの使用範囲を拡大し、ユーザ体験を向上させるために、ユーザの空中ジェスチャに応答することができる。

可能な設計では、電子デバイスが空中ジェスチャに基づいて汎用入力イベントを決定することは、電子デバイスが空中ジェスチャのジェスチャ情報に基づいて汎用入力イベントを生成することを含む。

この解決策において、最初にジェスチャ情報に基づいてジェスチャタイプを決定し、次にジェスチャタイプに基づいて対応する汎用入力イベントを決定する代わりに、電子デバイスは、姿勢、形状、移動距離、移動方向、移動速度、移動軌跡、または空中ジェスチャの位置と瞬間との間の対応関係などのジェスチャ情報に基づいて、対応する汎用入力イベントを生成することができる。

別の可能な設計では、ユーザが空中ジェスチャをトリガしたことを検出した後、電子デバイスは空中ジェスチャを検出する。電子デバイスがユーザの手を検出すると、電子デバイスは、ユーザが空中ジェスチャをトリガしたと決定する。電子デバイスが空中ジェスチャを検出することは、電子デバイスが検出構成要素を使用して空中ジェスチャのデータ情報を収集することを含む。

このように、ユーザが空中ジェスチャをトリガした後に、空中ジェスチャのデータ情報の収集、ジェスチャ情報の決定、ジェスチャタイプの決定、汎用入力イベントの生成などの一連の操作が行われる。このようにして、一連の操作はリアルタイムで絶えず実行される必要がなく、それによって電子デバイスの関連リソースを節約する。

別の可能な設計では、電子デバイスが空中ジェスチャを検出することは、空中ジェスチャ検出機能を有効にした後、電子デバイスが空中ジェスチャを検出することを含む。

このようにして、電子デバイスは、空中ジェスチャを有効にした後に空中ジェスチャを検出し、それにより、電子デバイスの関連する検出リソースを節約し、空中ジェスチャに起因して引き起こされる誤操作を回避する。

別の態様によれば、本出願の一実施形態はジェスチャ処理装置を提供する。装置は、電子デバイスに含まれる。装置は、前述の態様および可能な実施態様における任意の方法で電子デバイスの動作を実施する機能を有する。機能は、ハードウェアを使用して実施され得るか、またはハードウェアによって対応するソフトウェアを実行することによって実施され得る。ハードウェアまたはソフトウェアは、前述の機能に対応する少なくとも1つのモジュールもしくはユニット、例えば、検出モジュールもしくはユニット、生成モジュールもしくはユニット、または実行モジュールもしくはユニットを含む。

さらに別の態様によれば、本出願の一実施形態は、少なくとも1つのプロセッサと、少なくとも1つのメモリとを含む、電子デバイスを提供する。少なくとも1つのメモリは、少なくとも1つのプロセッサに結合される。少なくとも1つのメモリはコンピュータプログラムコードを記憶するように構成される。コンピュータプログラムコードはコンピュータ命令を含む。少なくとも1つのプロセッサがコンピュータ命令を実行すると、電子デバイスは、前述した態様の任意の可能な実施態様におけるジェスチャ処理方法を実行することを可能にされる。

別の態様によれば、本出願の実施形態は、コンピュータ命令を含むコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で実行されると、電子デバイスは、前述した態様の任意の可能な実施態様におけるジェスチャ処理方法を実行することを可能にされる。

さらに別の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。このコンピュータプログラム製品がコンピュータで実行されると、コンピュータは、前述した態様の任意の可能な実施態様でジェスチャ処理方法を実行することを可能にされる。

本出願の実施形態に係る携帯電話器のハードウェア構成の概略図である。 本出願の実施形態に係る携帯電話器のソフトウェア構成の概略図である。 本出願の一実施形態によるジェスチャ処理手順のフローチャートである。 本出願の一実施形態によるジェスチャ処理手順のフローチャートである。 本出願の一実施形態による操作効果の概略図である。 本出願の一実施形態による操作効果の概略図である。 本出願の一実施形態によるジェスチャのグループの概略図である。 本出願の一実施形態によるジェスチャのグループの概略図である。 本出願の一実施形態によるジェスチャのグループの概略図である。 本出願の一実施形態によるジェスチャのグループの概略図である。 本出願の一実施形態によるカメラによって収集されたジェスチャのグループの概略図である。 本出願の一実施形態によるカメラによって収集されたジェスチャのグループの概略図である。 本出願の一実施形態によるカメラによって収集されたジェスチャのグループの概略図である。 本出願の一実施形態によるカメラによって収集されたジェスチャのグループの概略図である。 本出願の一実施形態によるジェスチャのグループの概略図である。 本出願の一実施形態によるインタフェースのグループの概略図である。 本出願の一実施形態によるインタフェースのグループの概略図である。 本出願の一実施形態によるインタフェースのグループの概略図である。 本出願の一実施形態によるインタフェースのグループの概略図である。 本出願の一実施形態によるインタフェースの概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による別の操作効果の概略図である。 本出願の一実施形態による操作マークの概略図である。 本出願の一実施形態による操作マークのグループの概略図である。 本出願の一実施形態による操作マークのグループの概略図である。 本出願の一実施形態による別の操作マークの概略図である。 本出願の一実施形態によるジェスチャ処理方法のフローチャートである。

以下では、本出願の実施形態の添付の図面を参照して、本出願の実施形態の技術的解決策を説明する。本出願の説明では、「／」は、別段の指定がない限り、関連付けられた対象間の「または」関係を表す。例えば、A／Bは、AまたはBを表し得る。本出願では、「および／または」は、関連付けられた対象を説明するための関連付けの関係のみを説明し、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、以下の3つの場合を、すなわち、Aのみが存在する場合、AおよびBの両方が存在する場合、およびBのみが存在する場合を表してもよく、その場合、AまたはBは、単数または複数であり得る。

加えて、本出願の説明では、「複数の」は、別段の指定がない限り、2つ以上を意味する。「以下のうちの少なくとも1つ」またはその類似表現は、単一の項目または複数の項目の任意の組み合わせを含む、それらの項目の任意の組み合わせを意味する。例えば、a、b、またはcのうちの少なくとも1つは、a、b、c、aおよびb、aおよびc、bおよびc、またはaおよびbおよびcを表すことができる。本明細書では、a、b、およびcは単数であっても複数であってもよい。

携帯電話などの電子デバイスを使用する場合、ユーザが手で電子デバイスに直接接触して操作を行うことは不便であり得る。例えば、ユーザの手が濡れている、油っぽい、または汚れている場合、ユーザが手を介して電子デバイスと直接接触することは不便である。別の例として、屋外が寒いためにユーザが手袋を着用している場合、ユーザが手で電子デバイスに直接接触することは不便である。別の例では、ユーザは、携帯電話を見るためにベッド上に横たわり、携帯電話は、支持体を使用してベッドヘッドに取り付けられ、ユーザの手から離れている。あるいは、車載の場合では、電子デバイスがユーザから離れており、ユーザが手で電子デバイスを直接操作することは不便である。

この場合、ユーザは、空中ジェスチャを使用して電子デバイスを操作することができる。空中ジェスチャは、ユーザの手が電子デバイスに接触しておらず、手と電子デバイスとの間の距離が予め設定された距離閾値（例えば、1 cm）以上であるときに実行されるジェスチャ操作である。電子デバイスは、空中ジェスチャを検出するために、カメラ、タッチ画面、電磁誘導構成要素（例えば、電子デバイスのディスプレイの下方向に配置されてもよい）、赤外線センサ（例えば、電子デバイスのディスプレイの下方向に配置されてもよい）、または超音波センサ（例えば、電子デバイスのディスプレイの下方向に配置されてもよい）などの検出構成要素を使用して、ユーザの手の形状および動き状態などの情報を収集することができる。空中ジェスチャは、静的ジェスチャおよび動的ジェスチャを含むことができるが、これらに限定されない。静的ジェスチャとは、指を曲げたり閉じたりする瞬間の手の姿勢を意味し、例えば、OKジェスチャ、Vジェスチャ、および5本の指を広げるジェスチャである。動的ジェスチャとは、ある時間内の手の動き状態を意味し、例えば、手振りジェスチャ、並進移動ジェスチャ、拳ジェスチャ、押圧ジェスチャなど、移動方向、速度、手の姿勢変化などを含む。

本出願の一実施形態は、空中ジェスチャに基づいて対応する汎用入力イベントを生成するために、電子デバイスに適用可能なジェスチャ処理方法を提供する。汎用入力イベントは、システムアプリケーションとサードパーティアプリケーションの両方が汎用入力イベントに応答することができる、すなわち、空中ジェスチャに応答することができるように、電子デバイス上でユーザによって実行された接触操作に対応する入力イベントである。このようにして、空中ジェスチャの使用範囲が拡大されることができ、サードパーティアプリケーションの適応作業が省略されることができる。さらに、サードパーティアプリケーションは、事前に空中ジェスチャに適応される必要はなく、それによって適合作業負荷を低減する。

例えば、電子デバイスは、携帯電話、タブレットコンピュータ、ウェアラブルデバイス、車載デバイス、拡張現実（augmented reality、AR）／仮想現実（virtual reality、VR）デバイス、ノートパソコン、ウルトラモバイルパーソナルコンピュータ（ultra－mobile personal computer、UMPC）、ネットブック、または携帯情報端末（personal digital assistant、PDA）などの電子デバイスであってよい。本出願の実施形態では、特定のタイプの電子デバイスは限定されない。

例えば、電子デバイスは携帯電話である。図1は、携帯電話100の概略構造図である。携帯電話100は、プロセッサ110、外部メモリインタフェース120、内部メモリ121、ユニバーサルシリアルバス（universal serial bus、USB）インタフェース130、充電管理モジュール140、電源管理モジュール141、バッテリ142、アンテナ1、アンテナ2、モバイル通信モジュール150、ワイヤレス通信モジュール160、オーディオモジュール170、スピーカ170A、受信機170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、ボタン190、モータ191、インジケータ192、カメラ193、ディスプレイ194、加入者識別モジュール（subscriber identification module、SIM）カードインタフェース195などを含み得る。センサモジュール180は、圧力センサ180A、ジャイロセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学式近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周囲光センサ180L、骨伝導センサ180Mなどを含み得る。

本出願の本実施形態で示される構造は、携帯電話100に対するいかなる特定の限定も構成しないことが理解されよう。本出願のいくつかの他の実施形態では、携帯電話100は、図に示されたものよりも多いまたは少ない構成要素を含むことができる、いくつかの構成要素を組み合わせることができる、いくつかの構成要素を分割することができる、または異なる構成要素配置を有することができる。図に示されている構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組み合わせを使用することによって実装され得る。例えば、携帯電話100は、赤外線センサ、超音波センサ、電磁誘導構成要素などをさらに含んでもよく、空中ジェスチャを検出し、空中ジェスチャの収集されたデータ情報をプロセッサに送信して、空中ジェスチャのジェスチャ情報を取得するように構成されてもよい。

プロセッサ110は、1つ以上の処理ユニットを含み得る。例えば、プロセッサ110は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィック処理ユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、および／またはニューラルネットワーク処理ユニット（neural－network processing unit、NPU）を含み得る。様々な処理ユニットは、独立したデバイスであってもよく、または1つ以上のプロセッサに統合されてもよい。

コントローラは、携帯電話100の神経中枢および指令センタであり得る。コントローラは、命令操作コードおよび時系列信号に基づいて操作制御信号を生成して、命令読み取りおよび命令実行の制御を完了することができる。

メモリは、プロセッサ110にさらに配置され得、命令およびデータを記憶するように構成される。いくつかの実施形態では、プロセッサ110内のメモリはキャッシュメモリである。このメモリは、プロセッサ110によって使用されたばかりの、またはプロセッサ110によって周期的に使用される命令またはデータを記憶し得る。プロセッサ110が命令またはデータを再度使用する必要がある場合、プロセッサ110は、その命令またはデータをメモリから直接呼び出し得る。これにより、度重なるアクセスを回避し、プロセッサ110の待機時間を短縮し、したがってシステム効率を向上させる。

いくつかの実施形態において、プロセッサ110は、1つ以上のインタフェースを含むことができる。インタフェースは、集積回路間（inter－integrated circuit、I2C）インタフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インタフェース、パルス符号変調（pulse code modulation、PCM）インタフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インタフェース、モバイルインダストリープロセッサインタフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インタフェース、加入者識別モジュール（subscriber identity module、SIM）インタフェース、ユニバーサルシリアルバス（universal serial bus、USB）インタフェース、などを含むことができる。

I2Cインタフェースは、双方向同期シリアルバスであり、1本のシリアルデータライン（serial data line、SDA）と1本のシリアルクロックライン（serial clock line，SCL）とを含む。いくつかの実施形態では、プロセッサ110は、複数のI2Cバスのグループを含み得る。プロセッサ110は、異なるI2Cバスインタフェースを介して、タッチセンサ180K、充電器、フラッシュライト、カメラ193などに別個に結合されてもよい。例えば、携帯電話100のタッチ機能を実施するために、プロセッサ110は、I2Cインタフェースを介してタッチセンサ180Kに結合されてよく、その結果、プロセッサ110はI2Cバスインタフェースを介してタッチセンサ180Kと通信する。

I2Sインタフェースは、音声通信を実行するように構成され得る。いくつかの実施形態では、プロセッサ110は、I2Sバスの複数のグループを含み得る。プロセッサ110は、プロセッサ110とオーディオモジュール170との間の通信を実施するために、I2Sバスを介してオーディオモジュール170に結合されてもよい。いくつかの実施形態では、オーディオモジュール170は、ブルートゥース(登録商標)ヘッドセットを使用して通話に応答する機能を実装するために、I2Sインタフェースを介してワイヤレス通信モジュール160にオーディオ信号を送信することができる。

PCMインタフェースはまた、オーディオ通信を実行し、アナログ信号をサンプリング、量子化、および符号化するように構成されてもよい。いくつかの実施形態では、オーディオモジュール170は、PCMバスインタフェースを介してワイヤレス通信モジュール160に結合され得る。一部の実施形態では、オーディオモジュール170は、あるいは、ブルートゥース(登録商標)ヘッドセットを使用して通話に応答する機能を実施するために、PCMインタフェースを介してワイヤレス通信モジュール160に音声信号を送信してもよい。I2SインタフェースとPCMインタフェースの両方とも、音声通信を実行するように構成されてよい。

UARTインタフェースは、ユニバーサルシリアルデータバスであり、非同期通信を実行するように構成される。バスは、双方向通信バスであってもよく、シリアル通信とパラレル通信との間で送信されるデータを変換する。いくつかの実施形態では、UARTインタフェースは通常、プロセッサ110をワイヤレス通信モジュール160に接続するように構成される。例えば、ブルートゥース(登録商標)機能を実装するために、プロセッサ110は、UARTインタフェースを介してワイヤレス通信モジュール160のブルートゥース(登録商標)モジュールと通信する。いくつかの実施形態では、ブルートゥース(登録商標)ヘッドセットを使用することによって音楽を再生する機能を実施するために、オーディオモジュール170は、UARTインタフェースを介してワイヤレス通信モジュール160にオーディオ信号を送信してよい。

MIPIインタフェースは、プロセッサ110をディスプレイ194やカメラ193などの周辺構成要素に接続するように構成され得る。MIPIインタフェースは、カメラシリアルインタフェース（camera serial interface、CSI）、ディスプレイシリアルインタフェース（display serial interface、DSI）、などを含む。いくつかの実施形態では、携帯電話100の写真撮影機能を実施するために、プロセッサ110は、CSIインタフェースを介してカメラ193と通信する。携帯電話100の表示機能を実施するために、プロセッサ110は、DSIインタフェースを介してディスプレイ194と通信する。

GPIOインタフェースは、ソフトウェアを介して構成され得る。GPIOインタフェースは、制御信号またはデータ信号として構成されてもよい。一部の実施形態では、GPIOインタフェースは、プロセッサ110と、カメラ193、ディスプレイ194、ワイヤレス通信モジュール160、オーディオモジュール170、およびセンサモジュール180などとを接続するように構成され得る。GPIOインタフェースは、あるいは、I2Cインタフェース、I2Sインタフェース、UARTインタフェース、またはMIPIインタフェースなどとして構成されてもよい。

USBインタフェース130は、USB規格に準拠したインタフェースであり、具体的には、Mini USBインタフェース、Micro USBインタフェース、USB Type Cインタフェースなどであってもよい。USBインタフェース130は、携帯電話100に充電するために充電器に接続するように構成されてもよく、携帯電話100と周辺機器との間でデータを伝送するように構成されてもよく、または、ヘッドセットを使用してオーディオを再生するためヘッドセットに接続するように構成されてもよい。あるいは、このインタフェースは、例えばARデバイスなどの別の電子デバイスにつながるように構成されてもよい。

本出願の実施形態に示されるモジュール間のインタフェース接続関係は、説明のための単なる一例であり、携帯電話100の構造に対する限定を構成しないことが理解され得る。本出願のいくつかの他の実施形態において、携帯電話100は、あるいは、上述の実施形態におけるインタフェース接続のやり方とは異なるインタフェース接続のやり方を使用してもよく、もしくは複数のインタフェース接続のやり方の組み合わせを使用してもよい。

充電管理モジュール140は、充電器から充電入力を受け取るように構成される。充電器は、無線充電器であり得るか、または有線充電器であり得る。有線充電のいくつかの実施形態では、充電管理モジュール140は、USBインタフェース130を介して有線充電器から充電入力を受け取り得る。無線充電のいくつかの実施形態において、充電管理モジュール140は、携帯電話100の無線充電コイルを使用することによって無線充電入力を受け取ることができる。充電管理モジュール140は、バッテリ142に充電しながら、電源管理モジュール141を使用して携帯電話100に給電する。

電源管理モジュール141は、バッテリ142および充電管理モジュール140とプロセッサ110とを接続するように構成される。電源管理モジュール141は、バッテリ142および／または充電管理モジュール140の入力を受け取り、プロセッサ110、内部メモリ121、外部メモリ、ディスプレイ194、カメラ193、ワイヤレス通信モジュール160などに給電する。電源管理モジュール141は、バッテリ容量、バッテリサイクル数、およびバッテリの健康状態（漏電またはインピーダンス）などのパラメータを監視するようにさらに構成され得る。

いくつかの他の実施形態では、電源管理モジュール141は、代替として、プロセッサ110内に配置されてもよい。いくつかの他の実施形態では、電源管理モジュール141および充電管理モジュール140は、代替として、同一デバイス内に配置されてもよい。

携帯電話100のワイヤレス通信機能は、アンテナ1、アンテナ2、モバイル通信モジュール150、ワイヤレス通信モジュール160、モデムプロセッサ、ベースバンドプロセッサなどを介して実施され得る。

アンテナ1およびアンテナ2は、電磁波信号を送受信するように構成される。携帯電話100内の各アンテナは、1つ以上の通信帯域をカバーするように構成され得る。アンテナ利用を向上させるために、様々なアンテナがさらに多重化されてもよい。例えば、アンテナ1は、ワイヤレスローカルエリアネットワークにおいてダイバーシティアンテナとして多重化されてもよい。いくつかの他の実施形態では、アンテナは、チューニングスイッチと組み合わせて使用されてもよい。

モバイル通信モジュール150は、2G、3G、4G、5Gなどを含む、携帯電話100に適用されたワイヤレス通信解決策を提供し得る。モバイル通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、および低ノイズ増幅器（low noise amplifier、LNA）などを含み得る。モバイル通信モジュール150は、アンテナ1を介して処理された電磁波を受信し、受信された電磁波に対してフィルタリングまたは増幅などの処理を実行し、この電磁波を復調のためにモデムプロセッサに送信し得る。モバイル通信モジュール150は、モデムプロセッサによって変調された信号をさらに増幅し、アンテナ1を介して放射のために増幅された信号を電磁波に変換し得る。

いくつかの実施形態において、モバイル通信モジュール150の少なくともいくつかの機能モジュールは、プロセッサ110内に配置され得る。いくつかの実施形態において、モバイル通信モジュール150の少なくともいくつかの機能モジュールおよびプロセッサ110の少なくともいくつかのモジュールは、同じデバイス内に配置され得る。

モデムプロセッサは、変調器および復調器を含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次に、復調器は、復調によって取得された低周波ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、次いでアプリケーションプロセッサに送られる。アプリケーションプロセッサは、オーディオ機器（スピーカ170Aや受信機170Bに限定されない）を使用することによって音響信号を出力するか、またはディスプレイ194によって画像もしくはビデオを表示する。

いくつかの実施形態において、モデムプロセッサは、独立した構成要素であってよい。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ110から独立していてもよく、モバイル通信モジュール150または別の機能モジュールと同じデバイスに配置される。

ワイヤレス通信モジュール160は、ワイヤレスローカルエリアネットワーク（wireless local area networks、WLAN）（例えば、ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワーク）、ブルートゥース(登録商標)（bluetooth(登録商標)、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離ワイヤレス通信（near field communication、NFC）技術、赤外線（infrared、IR）技術などを含み、携帯電話100に適用されるワイヤレス通信の解決策を提供し得る。ワイヤレス通信モジュール160は、少なくとも1つの通信処理モジュールに統合された1つ以上の構成要素であり得る。ワイヤレス通信モジュール160は、アンテナ2を介して電磁波信号を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を行い、処理された信号をプロセッサ110に送信する。ワイヤレス通信モジュール160はさらに、プロセッサ110から送信信号を受信し、この信号に対して周波数変調および増幅を実行し、処理された信号を、放射のためにアンテナ2を介して電磁波に変換し得る。

いくつかの実施形態では、携帯電話100において、アンテナ1とモバイル通信モジュール150とは結合され、アンテナ2とワイヤレス通信モジュール160とは結合され、その結果、携帯電話100は、ワイヤレス通信技術を使用してネットワークおよび別の電子デバイスと通信することができる。ワイヤレス通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications、GSM(登録商標)）、汎用パケット無線サービス（general packet radio service、GPRS）、符号分割多元接続（code division multiple access、CDMA）、広帯域符号分割多元接続（wideband code division multiple access、WCDMA(登録商標)）、時分割符号分割多元接続（time－division code division multiple access、TD－SCDMA）、ロングタームエボルーション（long term evolution、LTE）、BT、GNSS、WLAN、NFC、FM、IR技術、などを含み得る。GNSSは、全地球測位システム（global positioning system、GPS）、全地球航法衛星システム（global navigation satellite system、GLONASS）、北斗航法衛星システム（beidou navigation satellite system、BDS）、準天頂衛星システム（quasi－zenith satellite system、QZSS）、および／または静止衛星型補強システム（satellite based augmentation systems、SBAS）を含み得る。

携帯電話100は、GPU、ディスプレイ194、アプリケーションプロセッサ、などを使用することによって表示機能を実現する。GPUは、画像処理のためのマイクロプロセッサであり、ディスプレイ194およびアプリケーションプロセッサに接続される。GPUは、数学的および幾何学的計算を行い、画像をレンダリングするように構成される。プロセッサ110は、プログラム命令を実行して表示情報を生成または変更する1つ以上のGPUを含むことができる。

ディスプレイ194は、画面194とも呼ばれ、画像、ビデオなどを表示するように構成され得る。ディスプレイ194は、ディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、Miniled、MicroLed、Micro－oLed、量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）などであり得る。いくつかの実施形態では、携帯電話100は1つまたはN個のディスプレイ194を含んでよく、Nは1より大きい正の整数である。

携帯電話100は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、アプリケーションプロセッサなどを使用して写真撮影機能を実施し得る。

ISPは、カメラ193によってフィードバックされたデータを処理するように構成される。例えば、撮影時には、シャッタが押され、レンズを介してカメラの受光素子に光が伝えられる。光信号は電気信号に変換され、カメラの受光素子は、電気信号を処理のためにISPに送信して、電気信号を可視画像に変換する。ISPは、画像のノイズ、輝度、および色合いに対してアルゴリズム最適化をさらに実行し得る。ISPは、写真撮影のシナリオの露出および色温度などのパラメータをさらに最適化することができる。いくつかの実施形態において、ISPはカメラ193内に配置され得る。

カメラ193は、静止画像またはビデオを取り込むように構成される。物体の光学画像がレンズを通して生成され、受光素子上に投影される。感光素子は、電荷結合素子（charge coupled device、CCD）、または相補形金属酸化膜半導体（complementary metal－oxide－semiconductor、CMOS）フォトトランジスタであってよい。感光素子は、光信号を電気信号に変換し、次いで、電気信号をデジタル画像信号に変換するために、電気信号をISPへと送る。ISPは、デジタル画像信号を処理のためにDSPへと出力する。DSPは、デジタル画像信号を、RGB形式やYUV形式等の標準的な形式の画像信号に変換する。いくつかの実施形態では、携帯電話100は1つまたはN個のカメラ193を含んでよく、Nは1より大きい正の整数である。

カメラは、RGBカメラ、赤外線カメラ、深度カメラなどのうちの1つ以上を含むことができる。いくつかの実施形態では、カメラは、空中ジェスチャのジェスチャ情報を取得するために、空中ジェスチャを検出し、空中ジェスチャの収集されたデータ情報をプロセッサに送信するように構成されてもよい。例えば、データ情報は、空中ジェスチャの収集された画像情報であってもよい。

デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理することができる。例えば、携帯電話100が周波数を選択するとき、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換を行うように構成される。

ビデオコーデックは、デジタルビデオを圧縮または展開するように構成される。携帯電話100は、1つ以上のビデオコーデックをサポートし得る。このようにして、携帯電話100は、複数の符号化フォーマット、例えば、ムービングピクチャーエキスパートグループ（moving picture experts group，MPEG）－1、MPEG－2、MPEG－3、およびMPEG－4でビデオを再生または録画することができる。

NPUは、ニューラルネットワーク（neural－network、NN）演算プロセッサであり、例えば人間の脳ニューロン間の伝達モードを参照することによって、生物学的ニューラルネットワークの構造を参照することによって入力情報を迅速に処理し、自己学習をさらに継続的に実行することができる。画像認識、顔認識、音声認識、およびテキスト理解などの携帯電話100のインテリジェントな認知などのアプリケーションは、NPUを使用して実施されることができる。

いくつかの実施形態では、NPUまたは別のプロセッサは、カメラなどの検出構成要素によって送信された空中ジェスチャのデータ情報に基づいてジェスチャ情報を取得し、ジェスチャ情報に基づいてジェスチャタイプなどを識別することができる。

外部メモリインタフェース120は、携帯電話100の記憶容量を拡張するために、Micro SDカードなどの外部記憶カードに接続するように構成され得る。外部ストレージカードは、データ記憶機能を実施するために、外部メモリインタフェース120を介してプロセッサ110と通信する。例えば、外部ストレージカードには、音楽およびビデオなどのファイルが保存される。

内部メモリ121は、命令を含むコンピュータ実行可能プログラムコードを記憶するように構成され得る。プロセッサ110は内部メモリ121に記憶された命令を実行して、携帯電話100の様々な機能アプリケーションおよびデータ処理を行う。内部メモリ121は、プログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、および少なくとも1つの機能（例えば、音響再生機能または画像再生機能）によって必要とされるアプリケーションなどを記憶し得る。データ記憶領域は、携帯電話100の使用中に作成されたデータ（例えば、オーディオデータやアドレス帳）などを記憶することができる。加えて、内部メモリ121は、高速ランダムアクセスメモリを含んでいてもよく、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリデバイス、またはユニバーサルフラッシュストレージ（universal flash storage、UFS）をさらに含んでいてもよい。

携帯電話100は、オーディオモジュール170、スピーカ170A、受信機170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサなどを使用して、オーディオ機能、例えば、音楽再生や録音を実施し得る。

オーディオモジュール170は、デジタル音声情報をアナログ音声信号出力に変換するように構成され、アナログ音声入力をデジタル音声信号に変換するようにも構成される。オーディオモジュール170は、オーディオ信号を符号化および復号するようにさらに構成され得る。いくつかの実施形態において、オーディオモジュール170は、プロセッサ110内に配置されてよく、あるいはオーディオモジュール170のいくつかの機能モジュールが、プロセッサ110内に配置される。

スピーカ170Aは、「ホーン」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。携帯電話100は、スピーカ170Aを介して音楽を聴いたり、ハンズフリー通話に応答したりしてよい。

受信機170Bは、「イヤホン」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。携帯電話100を使用して電話が応答されたり、音声情報が受信されたりする場合、音声を聴くために受信機170Bは人の耳に近づけられてもよい。

「マイク」または「マイクロフォン」とも呼ばれるマイクロフォン170Cは、音響信号を電気信号に変換するように構成される。ユーザは、通話や音声情報の送信を行う際に、マイクロフォン170Cに人の口を近づけて音声を発し、マイクロフォン170Cに音声信号を入力してもよい。少なくとも1つのマイクロフォン170Cが、携帯電話100内に配置され得る。

いくつかの他の実施形態では、音響信号を収集し、雑音低減機能をさらに実施するために、2つのマイクロフォン170Cが携帯電話100内に配置されてもよい。いくつかの他の実施形態では、音響信号を収集し、ノイズを低減し、音源をさらに識別し、指向性録音機能を実装するなどのために、携帯電話100内に3つ、4つ、またはそれ以上のマイクロフォン170Cが代替的に配置されてもよい。

ヘッドセットジャック170Dは、有線ヘッドセットに接続されるように構成される。ヘッドセットジャック170Dは、USBインタフェース130であり得るか、または3．5mmオープンモバイル端末プラットフォーム（open mobile terminal platform、OMTP）標準インタフェース、または米国セルラー通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インタフェースであり得る。

圧力センサ180Aは、圧力信号を感知するように構成され、圧力信号を電気信号に変換することができる。一部の実施形態では、圧力センサ180Aは、ディスプレイ194上に配置され得る。例えば、抵抗式圧力センサ、誘導式圧力センサ、および静電容量式圧力センサなどの複数のタイプの圧力センサ180Aがある。静電容量式圧力センサは、導電性材料で作られた少なくとも2つの平行なプレートを含み得る。圧力センサ180Aに力が加わると、電極間の静電容量が変化する。携帯電話100は、静電容量の変化に基づいて圧力強度を決定する。ディスプレイ194上でタッチ操作が行われると、携帯電話100は、圧力センサ180Aを使用することによってタッチ操作の強度を検出する。携帯電話100はまた、圧力センサ180Aの検出信号に基づいてタッチ位置を計算し得る。

いくつかの実施形態では、同じタッチ位置で行われるが、異なるタッチ操作強度を有するタッチ操作が、異なる操作命令に対応する場合がある。例えば、タッチ操作強度が第1の圧力閾値未満であるタッチ操作がメッセージアイコン上で行われると、SMSメッセージを閲覧するための命令が実行される。メッセージアイコンに対してタッチ操作強度が第1の圧力閾値以上であるタッチ操作が行われると、新しいSMSメッセージを作成するための命令が実行される。

ジャイロセンサ180Bは、携帯電話100の移動姿勢を決定するように構成されてもよい。いくつかの実施形態では、ジャイロセンサ180Bを使用することによって、三軸（すなわち、x軸、y軸、およびz軸）を中心とした携帯電話100の角速度が決定され得る。ジャイロセンサ180Bは、写真撮影中に手振れ補正を行うように構成され得る。例えば、シャッタが押されると、ジャイロセンサ180Bは、携帯電話100がジッターする角度を検出し、その角度に基づく計算によって、レンズモジュールが補償する必要がある距離を取得し、レンズが逆運動によって携帯電話100のジッターを相殺することを可能にし、画像安定化を実現する。ジャイロセンサ180Bは、ナビゲーションシナリオおよび動きセンシングゲームシナリオにおいてさらに使用され得る。

加速度センサ180Eは、携帯電話100の様々な方向（通常は3軸上）の加速度の値を検出することができる。携帯電話100が静止しているとき、重力の値および方向が検出されることができる。加速度センサ180Eは、携帯電話100の姿勢を識別するようにさらに構成されてもよく、横置きモードと縦置きモードの切り替えまたは歩数計などの用途に適用される。

距離センサ180Fは、距離を測定するように構成される。携帯電話100は、赤外光またはレーザを介して距離を測定することができる。いくつかの実施形態においては、写真撮影のシナリオにおいて、携帯電話100は、距離センサ180Fを使用することによって距離を測定して、迅速な焦点合わせを実施することができる。

光学式近接センサ180Gは、例えば、発光ダイオード（LED）およびフォトダイオードなどの光検出器を含むことができる。発光ダイオードは、赤外線発光ダイオードであり得る。携帯電話100は、発光ダイオードを介して赤外光を放射する。携帯電話100は、フォトダイオードを使用することによって近くの物体からの赤外線反射光を検出する。十分な反射光が検出されると、携帯電話100は、携帯電話100の近くに物体があると決定することができる。不十分な反射光が検出されると、携帯電話100は、携帯電話100の近くに物体がないと決定することができる。携帯電話100は、光学式近接センサ180Gを使用することによって、ユーザが通話のために携帯電話100を耳の近くに保持していることを検出して、節電のために画面を自動的にオフにし得る。光学式近接センサ180Gはまた、画面を自動的にロック解除またはロックするために、レザーケースモードまたはポケットモードで使用されてもよい。

周囲光センサ180Lは、周囲光の輝度を検知するように構成される。携帯電話100は、検知された周囲光の輝度に基づいてディスプレイ194の輝度を適応的に調整し得る。さらに、周囲光センサ180Lは、写真撮影時にホワイトバランスを自動的に調整するようにも構成され得る。周囲光センサ180Lはまた、偶発的なタッチを防ぐ目的で携帯電話100がポケット内にあるかどうかを検出するために光学式近接センサ180Gと協働し得る。

指紋センサ180Hは、指紋を収集するように構成される。携帯電話100は、収集された指紋の特徴を使用して、指紋ロック解除、アプリケーションロックアクセス、指紋ベースの写真撮影、指紋ベースの電話応答などを実施し得る。

タッチセンサ180Kは、「タッチパネル」とも呼ばれる。タッチセンサ180Kは、ディスプレイ194に配置されてもよく、タッチセンサ180Kとディスプレイ194とは、「タッチ画面」とも呼ばれる、タッチ画面を形成する。タッチセンサ180Kは、タッチセンサ180K上またはその近くで実行されたタッチ操作を検出するように構成される。タッチセンサは、タッチイベントのタイプを決定するために、検出されたタッチ操作をアプリケーションプロセッサに転送することができる。ディスプレイ194は、タッチ操作に関連する視覚的出力を提供し得る。一部の他の実施形態では、タッチセンサ180Kは、あるいは、携帯電話100の表面上に配置され、ディスプレイ194の位置とは異なる位置にあってもよい。

いくつかの他の実施形態では、タッチ画面は、空中ジェスチャのジェスチャ情報を取得するために、空中ジェスチャを検出し、空中ジェスチャの収集されたデータ情報をプロセッサに送信するように構成されてもよい。

ボタン190は、電源ボタン、音量ボタンなどを含む。ボタン190は、機械的ボタンであり得るか、またはタッチボタンであり得る。携帯電話100は、ボタン入力を受け取り、携帯電話100のユーザ設定および機能制御に関連したボタン信号入力を生成し得る。

モータ191は、振動プロンプトを生成し得る。モータ191は、着信振動プロンプトおよびタッチ振動フィードバックを提供するように構成され得る。例えば、異なるアプリケーション（例えば、撮影および音声再生）対して実行されるタッチ操作は、異なる振動フィードバック効果に対応し得る。モータ191はまた、ディスプレイ194の異なる領域で行われたタッチ操作の異なる振動フィードバック効果に対応し得る。異なるアプリケーションのシナリオ（例えば、タイムリマインダ、情報受信、目覚まし時計、およびゲーム）も、やはり異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果は、さらにカスタマイズ可能であってよい。

インジケータ192は、インジケータライトであってもよく、充電状態および電力の変化を示すように構成されてもよく、またはメッセージ、不在着信、通知などを示すように構成されてもよい。

SIMカードインタフェース195は、SIMカードにつながるように構成される。SIMカードは、携帯電話100との接触または携帯電話100からの分離を実施するために、SIMカードインタフェース195に挿入され得る、またはSIMカードインタフェース195からプラグ接続され得る。携帯電話100は1つまたはN個のSIMカードインタフェースをサポートしてよく、Nは1より大きい正の整数である。SIMカードインタフェース195は、Nano SIMカード、Micro SIMカード、SIMカード、などをサポートし得る。複数のカードが同時に1つのSIMカードインタフェース195に挿入されてもよい。複数のカードは、同一タイプまたは異なるタイプのものであり得る。SIMカードインタフェース195は、様々なタイプのSIMカードとの互換性を有し得る。SIMカードインタフェース195は、外部ストレージカードとの互換性も有し得る。携帯電話100は、SIMカードを使用してネットワークとインタラクトして、通話機能やデータ通信などの機能を実施する。一部の実施形態では、携帯電話100は、eSIM、すなわち組み込みSIMカードを使用する。eSIMカードは、携帯電話100に埋め込まれてもよく、携帯電話100から分離されることはできない。

図2は、本出願の一実施形態による携帯電話100のソフトウェアの構成を示すブロック図である。階層化アーキテクチャでは、ソフトウェアはいくつかの層に分割され、各層は明確な役割とタスクを有する。層は、ソフトウェアインタフェースを介して互いに通信する。いくつかの実施形態では、Android(登録商標)システムは、上から順に4つの層、すなわちアプリケーション層、アプリケーションフレームワーク層、アンドロイド(登録商標)ランタイム（Android(登録商標) runtime）、システムライブラリ、およびカーネル層に分割される。アプリケーション層は、一連のアプリケーションパッケージを含むことができる。

図2に示されるように、アプリケーションパッケージは、カメラ、ギャラリ、カレンダー、電話、マップ、ナビゲーション、WLAN、ブルートゥース(登録商標)、音楽、ビデオ、およびメッセージなどのアプリケーションを含むことができる。

アプリケーションフレームワーク層は、アプリケーションプログラミングインタフェース（application programming interface，API）およびアプリケーション層におけるアプリケーションのためのプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの事前定義された機能を含む。

図2に示されるように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャなどを含み得る。

ウィンドウプログラムは、ウィンドウアプリケーションを管理するように構成されている。ウィンドウマネージャは、ディスプレイのサイズを取得し、ステータスバーがあるかどうかを決定し、画面をロックし、画面ショットを撮ることなどができる。

コンテンツプロバイダは、データを記憶して取得し、アプリケーションがデータにアクセスできるようにするように構成される。データは、ビデオ、画像、音声、発信および受信された通話、閲覧履歴およびブックマーク、名簿などを含み得る。

ビューシステムは、テキストを表示するための制御、および写真を表示するための制御などの視覚的制御を含む。ビューシステムは、アプリケーションを構築するように構成され得る。表示インタフェースは、1つ以上のビューを含み得る。例えば、メッセージ通知アイコンを含む表示インタフェースは、テキスト表示ビューおよび写真表示ビューを含み得る。

電話マネージャは、携帯電話100の通信機能、例えば、通話ステータスの管理（応答または拒否を含む）を提供するように構成される。

リソースマネージャは、アプリケーションに対して、ローカライズされた文字列、アイコン、写真、レイアウトファイル、ビデオファイルなどの様々なリソースを提供する。

通知マネージャは、アプリケーションがステータスバーに通知情報を表示することを可能にし、通知メッセージを伝達するように構成され得る。通知マネージャは、ユーザとの対話なしで、短い一時停止の後に自動的に消えることができる。例えば、通知マネージャは、ダウンロードの完了、メッセージプロンプトなどの通知を提供するように構成されている。通知マネージャは、あるいは、グラフまたはスクロールバーテキストの形式でシステムの上部ステータスバーに表示される通知、例えば、バックグラウンドで実行されているアプリケーションの通知であり得、またはダイアログウィンドウの形式の画面上に表示される通知である。例えば、ステータスバーにテキスト情報が表示されたり、警告音が再生されたり、振動が発生されたり、表示灯が点滅したりする。

Android(登録商標) runtimeは、コアライブラリおよび仮想マシンを含む。Android(登録商標) runtimeは、アンドロイド(登録商標)システムのスケジューリングおよび管理を担当する。

コアライブラリは、2つの部分、すなわち、java言語で呼び出される必要がある関数と、アンドロイド(登録商標)のコアライブラリとを含む。

アプリケーション層およびアプリケーションフレームワーク層は、仮想マシン上で動作する。仮想マシンは、アプリケーション層およびアプリケーションフレームワーク層でjavaファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティおよび例外管理、ならびにガベージコレクションなどの機能を実装するように構成される。

システムライブラリは、複数の機能モジュール、例えば、サーフェスマネージャ（surface manager）、メディアライブラリ（Media Libraries）、3次元グラフィックス処理ライブラリ（例えば、OpenGL ES）、および2Dグラフィックスエンジン（例えば、SGL）を含むことができる。

サーフェスマネージャは、表示サブシステムを管理し、複数の用途のための2Dおよび3D層の融合を提供するように構成される。

メディアライブラリは、一般的に使用される複数のオーディオおよびビデオフォーマット、静止画像ファイルなどの再生および記録をサポートする。メディアライブラリは、MPEG4、H．264、MP3、AAC、AMR、JPG、およびPNGなどの複数のオーディオおよびビデオ符号化フォーマットをサポートすることができる。

3次元グラフィックス処理ライブラリは、3次元グラフィックス描画、画像レンダリング、合成、層処理などを実施するように構成される。

2Dグラフィックスエンジンは、2D描画用の描画エンジンである。

カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくとも、ディスプレイドライバ、カメラドライバ、オーディオドライバ、およびセンサドライバを含む。

本出願の本実施形態では、空中ジェスチャに基づいて電子デバイスによって生成され、システムアプリケーションとサードパーティアプリケーションの両方が直接応答することができる汎用入力イベントは、電子デバイス上でユーザによって実行された接触操作に対応する入力イベントであり得る。例えば、電子デバイスは、タッチ画面（例えば、タッチ画面を有する携帯電話またはタブレットコンピュータ）を有するデバイスであってもよく、空中ジェスチャに基づいて電子デバイスによって生成された汎用入力イベントは、タッチ画面上でユーザによって実行されたタッチ操作に対応する入力イベントであってもよい。あるいは、電子デバイスは、ボタン（例えば、ボタンを有する携帯電話またはノートパソコン）を有するデバイスであってもよく、空中ジェスチャに基づいて電子デバイスによって生成された汎用入力イベントは、ボタンに対してユーザによって実行された操作に対応する入力イベントであってもよい。あるいは、電子デバイスは、マウスと連携して使用されるデバイスであってもよく、空中ジェスチャに基づいて電子デバイスによって生成された汎用入力イベントは、ユーザによるマウスのクリックまたはスクロールなどの操作に対応する入力イベントであってもよい。あるいは、電子デバイスは、タッチパッド（例えば、ノートパソコン）と連携して使用されるデバイスであってもよく、空中ジェスチャに基づいて電子デバイスによって生成された汎用入力イベントは、タッチパッド上でユーザによって実行されたタッチ操作に対応する入力イベントであってもよい。

電子デバイスが携帯電話100であるとき、本出願のいくつかの実施形態では、図3（a）において、NPUまたは別のプロセッサなどの計算モジュールは、カメラ、タッチ画面、赤外線センサ、超音波センサ、電磁誘導構成要素、または携帯電話100の別の検出構成要素（例えば、leapmotionなどの外部構成要素）によって収集された、空中ジェスチャのデータ情報に基づいてジェスチャ情報を取得し、ジェスチャ情報に基づいてジェスチャ識別を実行して、ジェスチャタイプを決定し得る。計算モジュールは、ジェスチャタイプをアプリケーションフレームワーク層に報告する。アプリケーションフレームワーク層は、ジェスチャタイプと汎用入力イベントとの間の予め設定された対応関係に基づいて、計算モジュールによって報告されたジェスチャタイプに対応する汎用入力イベントを決定し、汎用入力イベントをアプリケーション層に報告する。すなわち、アプリケーションフレームワーク層は、汎用入力イベントを生成する。汎用入力イベントは、一般にオペレーティングシステムによって定義され、ユーザが操作を実行するために携帯電話と接触しているときに生成され得る。システムアプリケーションとサードパーティアプリケーションの両方が入力イベントに直接応答することができる。アプリケーション層（例えば、フォアグラウンドアプリケーション）の関連アプリケーションは、汎用入力イベントに応答し、対応する機能を実行することができる。関連アプリケーションは、システムアプリケーションであってもよく、またはサードパーティアプリケーションであってもよい。

本出願のいくつかの他の実施形態では、図3（b）において、NPUまたは別のプロセッサなどの計算モジュールは、空中ジェスチャのものであり、検出構成要素によって収集されたデータ情報に基づいてジェスチャ情報を取得し、ジェスチャ情報をアプリケーションフレームワーク層に報告し得る。予め設定されたマッピングポリシを参照して、アプリケーションフレームワーク層は、ジェスチャ情報に基づいて対応する汎用入力イベントを生成する。汎用入力イベントは、電子デバイスシステムにおいて一般的に定義されるdownイベント、upイベント、および／またはmoveイベントを使用して記述されるイベントであってもよい。言い換えれば、汎用入力イベントは、downイベント、upイベント、moveイベント、またはそれらの組み合わせであってもよい。アプリケーションフレームワーク層は、汎用入力イベントをアプリケーション層に報告する。アプリケーション層におけるシステムアプリケーションまたはサードパーティアプリケーションは、downイベント、upイベント、および／またはmoveイベントを使用して記述される汎用入力イベントに応答し、対応する機能を実行することができる。

このようにして、システムアプリケーションとサードパーティアプリケーションの両方は、空中ジェスチャ（空中ジェスチャをマッピングする汎用入力イベントとも呼ばれる）に基づいて生成された汎用入力イベントに応答することができる。言い換えれば、システムアプリケーションとサードパーティアプリケーションの両方が空中ジェスチャに応答することができる。したがって、空中ジェスチャの使用範囲は比較的大きく、空中ジェスチャのユーザ体験は比較的良好である。さらに、サードパーティアプリケーションは、事前に空中ジェスチャに適合される必要はなく、それによって、サードパーティアプリケーションの適合作業を省略する。

現在、タッチ画面を有する携帯電話が例として使用されている。この場合、タッチ画面上でユーザによって実行されるタッチ操作（すなわち、接触操作）の処理プロセスは、タッチ画面がユーザのタッチ操作を検出した後、対応するハードウェアがタッチ操作をカーネル層に送信することを含み得る。カーネル層は、タッチ操作を汎用入力イベント（タッチ操作のタッチ座標およびタイムスタンプなどの情報を含む）に処理する。汎用入力イベントは、カーネル層に記憶される。アプリケーションフレームワーク層は、カーネル層から汎用入力イベントを取得し、汎用入力イベントを関連アプリケーション（例えば、フォアグラウンドアプリケーション）に配信する。関連アプリケーションは、汎用入力イベントに応答してタッチ操作に応答する。

本出願の実施態様で提供される空中ジェスチャの操作の処理プロセスとタッチ操作の現在の処理プロセスとの比較から、携帯電話が、空中ジェスチャに基づいて、タッチ画面上でユーザによって実行されたタッチ操作に対応する汎用入力イベントを生成することができることが分かる。したがって、システムアプリケーションとサードパーティアプリケーションの両方が汎用入力イベントに応答することができ、システムアプリケーションとサードパーティアプリケーションの両方が空中ジェスチャに応答することができる。携帯電話は、実際のタッチ操作に対応する汎用入力イベントを生成するために、空中ジェスチャを使用することによって、タッチ画面上でユーザによって実行された実際のタッチ操作をシミュレートすることも理解されよう。したがって、システムアプリケーションとサードパーティアプリケーションの両方が汎用入力イベントに応答することができ、システムアプリケーションとサードパーティアプリケーションの両方が空中ジェスチャに応答することができる。

以下の実施形態は、本出願の本実施形態で提供されるジェスチャ処理方法を、電子デバイスがタッチ画面を有する携帯電話であり、空中ジェスチャに基づいて携帯電話によって生成された汎用入力イベントがユーザの実際のタッチイベントに対応する入力イベントである例を使用して説明する。

本出願の本実施形態では、携帯電話は空中ジェスチャ検出機能を有する。空中ジェスチャ検出機能が有効にされた後、携帯電話は、カメラ、タッチ画面、赤外線センサ、または超音波センサなどの検出構成要素を使用することによって、ユーザの空中ジェスチャを検出することができる。

いくつかの実施形態では、携帯電話は、デフォルトで空中ジェスチャ検出機能を有効にし、タッチ画面の画面オン状態と画面オフ状態の両方で空中ジェスチャを連続的に検出することができる。

例えば、携帯電話の低電力プロセッサは、カメラ、タッチ画面、赤外線センサ、または超音波センサなどの検出構成要素を連続的に使用して、画面オフ状態の携帯電話をサポートして、空中ジェスチャがトリガされたかどうかを検出することができる。例えば、低電力プロセッサは、センサハブsensor hubであってもよい。

いくつかの他の実施形態では、画面オフ状態の携帯電話は、デフォルトで空中ジェスチャ検出機能を無効にする。

例えば、技術的解決策において、画面オン状態で、現在のタッチ画面がロック解除されている場合、携帯電話は自動的に空中ジェスチャ検出機能を有効にして、タッチ画面がロックされているときに空中ジェスチャを検出することによって引き起こされる誤操作を回避する。

別の技術的解決策において、タッチ画面が画面オン状態にある場合、タッチ画面がロック解除されているかどうかにかかわらず、空中ジェスチャ検出機能が自動的に有効にされる。一般に、タッチ画面は、ユーザによって実行された画面オン操作が検出された後にのみ画面オン状態にある。しかしながら、通常、ユーザがタッチ画面上で画面オン操作を行うとき、ユーザは携帯電話を使用することを期待するか、またはユーザは携帯電話について考慮する。この場合、携帯電話はまた、空中ジェスチャを使用して携帯電話を直接操作するために、ユーザによって能動的に行われた空中ジェスチャを検出することができ、それにより、ユーザによるタッチ画面のロック解除の操作を省略する。

いくつかの他の実施形態では、携帯電話は、デフォルトで空中ジェスチャ検出機能を無効にし、ユーザの有効化指示を検出した後にのみ空中ジェスチャ検出機能を有効にする。有効化指示は、ユーザの音声指示、ユーザが携帯電話の物理的ボタンを押す操作、タッチ画面上でユーザに行われるタッチ操作、ユーザに携帯電話を振られる操作などであってもよい。

例えば、画面オフ状態では、携帯電話のタッチ画面はコンテンツを表示しないが、タッチ画面のタッチ機能は有効にされる。ユーザの指がタッチ画面上をスライドすると、タッチ画面はコンテンツの表示を開始し、表示されたコンテンツはタッチ画面上のユーザのスライドジェスチャ軌道である。図4（a）を参照すると、ユーザがタッチ画面上に円形の軌道を描画する操作を検出した後、携帯電話は軌道を表示し、空中ジェスチャ検出機能を有効にする。

別の例では、図4（b）を参照すると、画面オン状態で、ユーザが指関節を使用してタッチ画面上に「g」軌道を描く操作を検出した後、携帯電話は空中ジェスチャ検出機能を有効にする。

いくつかの他の実施形態では、デフォルトで、携帯電話は、画面オン状態で空中ジェスチャ検出機能を有効にし、画面オフ状態で空中ジェスチャ検出機能を無効にする。画面オフ状態の携帯電話は、ユーザの有効化指示を検出した後にのみ空中ジェスチャ検出機能を有効にする。携帯電話が画面オフ状態にある場合、ユーザは、現時点で携帯電話を操作することを期待しないことがある。携帯電話は、ユーザの有効化指示を検出した後に空中ジェスチャ検出機能を有効にして、空中ジェスチャによって引き起こされる誤操作を回避し、操作精度を向上させる。

いくつかの他の実施形態では、携帯電話は、デフォルトで画面オン状態で空中ジェスチャ検出機能を有効にし、画面オフ状態に切り替えた後に空中ジェスチャ検出機能を継続的に有効にするかどうかをユーザに確認する。ユーザの有効化指示を検出した後、携帯電話は、空中ジェスチャ検出機能を継続的に有効にする。

空中ジェスチャ検出機能が有効にされると、携帯電話は、ユーザの空中ジェスチャを検出すること、空中ジェスチャのデータ情報を収集すること、データ情報に基づいてジェスチャ情報を取得すること、ジェスチャ情報に基づいてジェスチャタイプを識別すること、および汎用入力イベントを生成することなどの処理を実行することができる。

技術的解決策において、空中ジェスチャ検出機能が有効にされた後、携帯電話は、ユーザが空中ジェスチャ操作を行うかどうかにかかわらず、データを収集し、収集されたデータに基づいてジェスチャタイプを識別し、汎用入力イベントを生成するなどの処理を連続的に実行する。

別の技術的解決策において、空中ジェスチャ検出機能が有効にされた後、ユーザが空中ジェスチャをトリガした（またはユーザが空中ジェスチャ検出をトリガした）と携帯電話が決定した場合、携帯電話は、ユーザの空中ジェスチャのデータ情報を収集し、データ情報に基づいてジェスチャタイプを識別し、汎用入力イベントを生成するなどの処理を実行する。ユーザが空中ジェスチャをトリガしたことを検出する前に、携帯電話は、収集されたデータ情報に基づいてジェスチャタイプを識別するなどの処理を実行せず、それによって携帯電話の計算リソースを節約する。この解決策を例として使用して以下が説明される。

いくつかの実施形態では、携帯電話がユーザの手を検出し、ユーザの手が携帯電話と接触していないと決定した場合、携帯電話は、ユーザが空中ジェスチャをトリガしたと決定することができる。

携帯電話が、手が現れたかどうかを検出する方法は複数あり得る。例えば、解決策において、カメラを使用して手が現れたかどうかを検出するとき、携帯電話は、ニューラルネットワークアルゴリズムを使用して、カメラによって収集された写真を識別する。ニューラルネットワークアルゴリズムは、予め訓練されている。訓練中、大量の手の写真および大量の手のラベルがニューラルネットワークに入力される。カメラによって収集された写真が訓練されたニューラルネットワークに入力された後、ニューラルネットワークによって出力されたラベルが手のラベルである場合、携帯電話は、ユーザの手が検出されたと決定する。また、ニューラルネットワークが学習される際に、予め手のひらの一部（例えば、1つ以上の指先を含む手の写真）を含む多数の写真がニューラルネットワークに入力されてもよい。このようにして、手がカメラに比較的近いために手のひらが部分的にしか撮影されることができない場合、携帯電話はニューラルネットワークを使用することによって手を正確に識別することができる。

カメラを使用して手が現れたかどうかが検出されると、別の解決策において、手のモデルが携帯電話に設定され、携帯電話は、手のモデルをカメラによって収集された手の写真と一致させる。類似度が70％以上である場合、携帯電話は、手が検出されたと決定する。

別の例として、赤外線センサを使用して手が現れたかどうかを検出する場合、赤外線エミッタが赤外線を放出することができ、赤外線は検出されたターゲットによって反射される。検出されたターゲットの反射によって得られた赤外線放射エネルギー分布グラフは、赤外線検出器の受光素子に反射されて、赤外線熱グラフを得ることができる。熱グラフは、物体の表面上の熱分布領域に対応する。検出された異なるターゲットの表面は、異なる熱分布領域に対応する。検出されたターゲットの熱グラフが手の表面の熱分布領域と一致する場合、携帯電話は、ユーザの手が検出されたと決定することができる。

いくつかの他の実施形態では、空中ジェスチャの誤った検出イベントを低減するために、検出ポリシが携帯電話にさらに構成されてもよい。例えば、検出ポリシでは、手が携帯電話と接触しておらず、手と携帯電話との間の距離が予め設定された値1（例えば、20 cm）以下である場合、携帯電話は、ユーザが空中ジェスチャをトリガしたと決定することができる。手と携帯電話との間の距離が予め設定された値1より大きい場合、携帯電話は、ユーザが空中ジェスチャをトリガしないと考えることができる。

別の例として、別の検出ポリシでは、手が携帯電話と接触しておらず、携帯電話によって検出された手の面積が予め設定された値2（例えば、9 cm²）以上である場合、携帯電話は、ユーザが空中ジェスチャをトリガしたと決定することができる。検出された手の面積が予め設定された値2未満である場合、携帯電話は、ユーザが空中ジェスチャをトリガしないと考えることができる。

手と携帯電話との間の距離は、手の一部（例えば、手の重心、人差し指の指先、または携帯電話によって最初に検出された手の一部）と携帯電話の一部（例えば、タッチ画面の中心位置）との間の距離であってもよいか、または、手の一部と携帯電話のタッチ画面が位置される平面との間の垂直距離であってもよいか、または別の距離であってもよい。これは、本出願の本実施形態では限定されない。

ユーザが空中ジェスチャをトリガしたことを携帯電話が検出した場合、携帯電話は空中ジェスチャのデータ情報を収集することができる。空中ジェスチャのデータ情報は、空中ジェスチャの操作プロセスにおいて検出構成要素によって収集されたデータである。

例えば、検出構成要素がカメラである場合、空中ジェスチャのデータ情報は、カメラによって収集され、ユーザの手を含む写真であってもよいか、または、検出構成要素が赤外線センサである場合、空中ジェスチャのデータ情報は、赤外線センサが手を検出したときの赤外線の放射データ、反射データなどであってもよい。

具体的には、携帯電話は、空中ジェスチャがトリガされた後、空中ジェスチャが終了する前に、空中ジェスチャのデータ情報を連続的に収集することができる。携帯電話が空中ジェスチャが終了したと決定するための複数の方法があり得る。例えば、一実施形態では、携帯電話がもはやユーザの手を検出しないとき、携帯電話は、空中ジェスチャが終了したと決定する。

別の例として、別の実施形態では、手と携帯電話との間の距離が予め設定された値3以上である（例えば、20 cm）と決定する場合、携帯電話は、空中ジェスチャが終了したと決定する。さらに別の実施形態では、ユーザによって送信された音声「空中ジェスチャを終了する」を検出した後、携帯電話は、空中ジェスチャが終了したと決定する。さらに別の実施形態では、ユーザの終了ジェスチャを検出した後、携帯電話は、空中ジェスチャが終了したと決定する。例えば、終了ジェスチャは「V」ジェスチャであり、空中ジェスチャは手の上方向への振りジェスチャである。手の上方向への振りの空中ジェスチャを完了した後、ユーザは「V」ジェスチャを行って、空中ジェスチャが完了したことを示す。

例えば、検出構成要素はカメラである。カメラは、比較的低いフレームレート（例えば、10フレーム／秒（fps））で写真を撮影して、手が写真に現れるかどうかに基づいて、空中ジェスチャがトリガされるかどうかを決定することができる。カメラによって撮影された写真に手が現れたと決定した後、携帯電話は、空中ジェスチャがトリガされたと決定する。次いで、カメラは、ユーザの空中ジェスチャのデータ情報を収集するために、比較的高いフレームレート（例えば、60 fps）で写真を撮ることができる。

例えば、ユーザが図5A（a）から図5A（d）に示す上方向に手を振るプロセスでは、カメラによって収集されるデータ情報は、図5B（a）から図5B（d）で手の姿勢および動きの状態が動的に変化する写真セットであり得る。カメラによって撮影された写真がもはや手を含まないとき、携帯電話は、空中ジェスチャが終了したと決定し、空中ジェスチャがトリガされたかどうかをさらに検出するために、比較的低いフレームレートで写真を撮影し続けることができる。

次いで、携帯電話は、収集された空中ジェスチャのデータ情報に基づいて空中ジェスチャのジェスチャ情報を取得することができる。ジェスチャ情報は、空中ジェスチャの姿勢や動き状態などの情報を示すために使用される。例えば、ジェスチャ情報は、姿勢、形状、移動距離、移動方向、移動速度、移動軌跡、または手の位置と瞬間との間の対応関係のうちの任意の1つ以上を含む。

携帯電話は、複数の方法を使用してジェスチャ情報内の手の姿勢または形状などの静的特徴を決定することができる。例えば、手の姿勢または形状などの静的特徴は、携帯電話のニューラルネットワークアルゴリズムを使用して決定される。ニューラルネットワークが学習される際には、予め様々な姿勢や形状の手の写真と、対応するラベルとがニューラルネットワークに入力される。訓練されたニューラルネットワークが使用されて、カメラによって収集された写真を処理すると、手の異なる姿勢および形状などの静的特徴が識別されることができる。

別の例では、姿勢および形状などの異なる静的特徴を有する手の表面の熱分布領域は異なる。携帯電話は、検出されたターゲットの熱グラフと、姿勢および形状などの異なる予め設定された静的特徴を有する手の表面の熱分布領域との間の一致状態に基づいて、手の姿勢および形状などの異なる静的特徴を識別することができる。

例えば、図5B（a）から図5B（d）に示された写真セットに対応する空中ジェスチャの場合、携帯電話によって取得されたジェスチャ情報は、手の形状は手の側面である、移動開始位置は（x1，y1）である、移動終了位置は（x2，y2）である、移動距離は10 cmである、移動方向は下から上である、移動軌跡は（x1，y1）、（x3，y3）、（x4，y4）、．．．、（x2，y2）である、（x1，y1）における手の姿勢は、手の側面の横方向への拡張である、（x2，y2）における手の姿勢は手の傾斜した側面である、（x3，y3）における手の姿勢は手の側面のほぼ垂直方向への拡張である、瞬間と位置との間の対応関係、などを含み得る。

一実施形態では、空中ジェスチャのジェスチャ情報を取得した後、携帯電話は、空中ジェスチャのジェスチャタイプを取得するために、ジェスチャ情報に基づいてジェスチャを識別することができる。

空中ジェスチャのジェスチャタイプは、静的ジェスチャのジェスチャタイプおよび動的ジェスチャのジェスチャタイプを含むことができるが、これらに限定されない。例えば、静的ジェスチャのジェスチャタイプは、OKジェスチャタイプ、Vジェスチャタイプ、または5本指を広げたジェスチャタイプを含むことができ、動的ジェスチャのジェスチャタイプは、振り（例えば、上方向、下方向、左方向、または右方向への振り）、並進移動、スラップ、握りしめ、または緩めなどの様々なタイプを含むことができる。

携帯電話は、姿勢、形状、移動距離、移動方向、移動速度、移動軌跡、または手の位置と瞬間との対応関係などのジェスチャ情報に基づいて、空中ジェスチャのジェスチャタイプを決定することができる。例えば、手の姿勢および形状などの静的特徴を決定した後、携帯電話は、静的特徴に基づいて静的ジェスチャのジェスチャタイプを決定することができる。動的ジェスチャの場合、携帯電話は、異なる瞬間の手の姿勢および形状などの静的特徴、および／または手の移動距離、移動方向、および移動速度などの動き状態に基づいて、動的ジェスチャのジェスチャタイプを決定することができる。

異なるユーザは、同じジェスチャタイプの空中ジェスチャに対して異なる操作を有することができるが、空中ジェスチャの特徴は基本的に一貫していることに留意されたい。携帯電話は、異なるユーザによって行われた同じジェスチャタイプの空中ジェスチャを識別することができる。

例えば、図5B（a）から図5B（d）に示された写真セットから取得されたジェスチャ情報について、携帯電話は、ジェスチャ情報に基づいて、最初に手のひらと手首が水平であり、指先が右方向であり、その後、手首は基本的に動かず、手のひらが上方向に回転していると決定して、対応するジェスチャタイプが上方向への振りであると決定することができる。

いくつかの実施形態では、ジェスチャ情報と一致するジェスチャタイプがないと携帯電話が決定した場合、携帯電話は、有効な空中ジェスチャが識別されていないと決定する。このようにして、携帯電話は、音声、振動、タッチ画面上のプロンプト情報の表示などの方法で、現在の空中ジェスチャが無効であることをユーザに確認することができる。あるいは、ユーザは、現在使用されているアプリケーションまたは携帯電話によって以前に学習および記録されたユーザの習慣に基づいて、ユーザが正しい空中ジェスチャを行うことを期待しているかどうかについて確認されてもよく、またはユーザは、携帯電話が操作を実行することを期待しているかどうかについて確認されてもよい。

例えば、携帯電話は、「空中ジェスチャは無効です。正しい空中ジェスチャを行ってください。」という音声を使用して、ユーザに確認してもよい。別の例では、図6（a）を参照すると、携帯電話は、タッチ画面上にプロンプト情報601「現在の空中ジェスチャは無効です。手を上方向に振りますか？」を表示してもよい。携帯電話が、ユーザによって入力された「はい」という音声指示を検出した場合、携帯電話は、手の上方向への振りジェスチャに基づいて、本出願の本実施形態における後続のステップを実行する。

別の例では、図6（b）を参照すると、携帯電話は、タッチ画面上にプロンプト情報602「現在の空中ジェスチャは無効です。ページを上方向にスライドしますか？」を表示し得る。携帯電話が、ユーザによって入力された「はい」という音声指示を検出した場合、またはユーザが制御603をタップする操作を検出した場合、携帯電話はページを上方向にスライドする。

別の例では、図6（c）または図6（d）を参照すると、携帯電話は、タッチ画面上に、ユーザが使用することを期待し得る空中ジェスチャのテキスト情報604および／またはピクトグラム情報605を表示することができる。

別の例では、携帯電話は、現在のアプリケーションインタフェースが応答することができる汎用入力イベントに対応する空中ジェスチャのテキスト情報および／またはピクトグラム情報をタッチ画面上に表示することができる。

別の例では、携帯電話は、タッチ画面上に、現在の無効な空中ジェスチャと類似している有効な空中ジェスチャのテキスト情報および／またはピクトグラム情報を表示することができる。

別の例では、携帯電話は、タッチ画面上に、最も頻繁に使用される1つ以上の有効な空中ジェスチャのテキスト情報および／またはピクトグラム情報を表示することができる。

ジェスチャタイプを決定した後、携帯電話は、ジェスチャタイプに基づいて対応する汎用入力イベントを生成することができる。汎用入力イベントは、一般にオペレーティングシステムによって定義され、ユーザが携帯電話のタッチ画面にタッチした場合をシミュレートすることによって生成され得る。システムアプリケーションとサードパーティアプリケーションの両方が入力イベントに直接応答することができる。例えば、ジェスチャタイプと汎用入力イベントとの間の対応関係は、携帯電話に予め設定される。携帯電話は、汎用入力イベントを生成するために、対応関係に基づいてジェスチャタイプに対応する汎用入力イベントを決定することができる。具体的には、携帯電話のアプリケーションフレームワーク層は、対応関係に基づいて、ジェスチャタイプに対応する汎用入力イベントを決定し、汎用入力イベントを生成するために、汎用入力イベントをアプリケーション層に報告することができる。

例えば、表1は、ジェスチャタイプと汎用入力イベントとの間の対応関係について参照され得る。振りジェスチャタイプは、スライドイベントに対応する。ここで、図5A（a）から図5A（d）に示す上方向の振りジェスチャタイプは、上方向のスライドイベントに対応し、左方向の振りジェスチャタイプは、左方向のスライドイベントに対応し、ある方向への振りジェスチャタイプは、その方向へのスライドイベントに対応する。

表1に示すように、スラップ（すなわち、手のひらを携帯電話に向かって移動する）ジェスチャタイプはタップイベントに対応する。1回のスラップのジェスチャタイプはシングルタップイベントに対応し、予め設定された持続時間内の2回の連続するスラップのジェスチャタイプはダブルタップイベントに対応し、高速スラップのジェスチャタイプは押圧イベント（すなわち、押圧強度が予め設定された閾値以上のイベント）に対応する。

別の例として、表1を参照すると、OKジェスチャタイプはシングルタップイベントに対応する。システムアプリケーションおよびサードパーティアプリケーションは、上方向のスライドイベント、左方向のスライドイベント、またはシングルタップイベントなどの汎用入力イベントに直接応答することができ、すなわち、空中ジェスチャに応答することができる。

ジェスチャタイプに対応し、携帯電話に予め設定された汎用入力イベントは、downイベント、upイベント、および／またはmoveイベントを使用して記述されることができる。例えば、汎用入力イベントと、downイベント、upイベント、および／またはmoveイベントの各々との間の対応関係は、携帯電話において予め設定されてもよい。スライドイベントは、downイベント、moveイベント、およびupイベントを使用して記述されることができる。タップイベントは、downイベントおよびupイベントを使用して記述され得る。例えば、上方向へのスライドイベントは、downイベントを受信する、一連のmoveイベントを受信する、最後にupイベントを受信するのように記述され得る。ここで、moveイベントが記述する移動方向は、上方向への移動である。

別の実施形態では、携帯電話は、汎用入力イベントと静的ジェスチャのジェスチャタイプとの間の対応関係と、汎用入力イベントと動的ジェスチャのジェスチャタイプとの間の対応関係とを別々に記憶することができる。ユーザは、空中ジェスチャが静的ジェスチャであるか動的ジェスチャであるかをさらに示すことができる（例えば、音声を使用して示すことができる）。携帯電話が、ユーザによって示された空中ジェスチャが静的ジェスチャであることを検出すると、携帯電話は、汎用入力イベントと静的ジェスチャのジェスチャタイプとの間の対応関係に基づいて、対応する汎用入力イベントを決定する。携帯電話が、ユーザによって示された空中ジェスチャが動的ジェスチャであることを検出すると、携帯電話は、空中ジェスチャと汎用入力イベントとの間の一致精度および一致効率を改善するために、汎用入力イベントと動的ジェスチャのジェスチャタイプとの間の対応関係に基づいて、対応する汎用入力イベントを決定する。

別の実施形態では、ジェスチャタイプを決定した後、携帯電話は、ジェスチャタイプに基づいて、downイベント、upイベント、および／またはmoveイベントを使用して記述される汎用入力イベントを生成することができる。例えば、ジェスチャタイプと、downイベント、upイベント、および／またはmoveイベントの各々との間の対応関係は、携帯電話において予め設定されてもよい。振りジェスチャタイプは、downイベント、moveイベント、およびupイベントの組み合わせを使用して記述される汎用入力イベントに対応することができる。スラップジェスチャタイプは、downイベントとupイベントとの組み合わせを使用して記述される汎用入力イベントに対応することができる。OKジェスチャタイプは、downイベントとupイベントとの組み合わせを使用して記述される汎用入力イベントに対応することができる。システムアプリケーションおよびサードパーティアプリケーションは、downイベント、upイベント、および／またはmoveイベントを使用して記述される汎用入力イベントに直接応答することができ、すなわち、空中ジェスチャに応答することができる。具体的には、携帯電話のアプリケーションフレームワーク層は、ジェスチャタイプに基づいて、downイベント、upイベント、および／またはmoveイベントを使用して記述される汎用入力イベントを決定し、汎用入力イベントを生成するために、汎用入力イベントをアプリケーション層に報告することができる。

例えば、ジェスチャタイプが3本指の押圧である場合、携帯電話は、3本指の押圧に基づいて、downイベント、upイベント、および／またはmoveイベントを使用して記述される多点タッチイベント（すなわち、汎用入力イベント）を生成することができる。言い換えれば、複数のdownイベントが異なる位置で同時に受信され、その後、upイベントが異なる位置で受信される。

別の例では、ジェスチャタイプが3本指の下方向への移動である場合、携帯電話は、downイベント、upイベント、および／またはmoveイベントを使用して記述される多点下方向のスライドイベント（すなわち、汎用入力イベント）を生成することができる。別の例では、ジェスチャタイプが握りしめである場合、携帯電話は、downイベント、upイベント、および／またはmoveイベントを使用して記述される握りしめイベント（すなわち、汎用入力イベント）を生成することができる。

別の例では、ジェスチャタイプが緩みであるとき、携帯電話は、downイベント、upイベント、および／またはmoveイベントを使用して記述される拡張イベント（すなわち、汎用入力イベント）を生成することができる。

別の実施形態では、手の移動の振幅および速度などの異なる特徴に基づいて、空中ジェスチャは、別のジェスチャタイプをさらに含むことができる。携帯電話は、downイベント、upイベント、および／またはmoveイベントを使用して記述され、別のジェスチャタイプに対応する汎用入力イベントをさらに生成することができる。

例えば、別のジェスチャタイプは、振幅の大きい上方向の振りおよび高速の上方向の振りをさらに含んでもよい。ジェスチャタイプが振幅の大きい上方向の振りであるとき、携帯電話は、それに対応して、downイベント、upイベント、および／またはmoveイベントを使用して記述される長距離の上方向のスライドイベント（すなわち、汎用入力イベント）を生成することができる。ジェスチャタイプが高速の上方向の振りであるとき、携帯電話は、それに対応して、downイベント、upイベント、および／またはmoveイベントを使用して記述される高速の上方向のスライドイベント（すなわち、汎用入力イベント）を生成することができる。携帯電話は、downイベント、upイベント、および／またはmoveイベントを使用して説明された長距離の上方向のスライドイベント、高速の上方向のスライドイベントなどに直接応答することができ、すなわち、空中ジェスチャに応答することができる。

ジェスチャタイプに対応する汎用入力イベントが、downイベント、upイベント、および／またはmoveイベントを使用して記述される場合、例えば、手のオフセットとmoveイベントにおける移動距離との間に予め設定された比例関係が存在し得る。上方向の振りにおける手のオフセットが予め設定された値4（例えば、15 cm）よりも大きいとき、空中ジェスチャは、振幅の大きい上方向の振りジェスチャである。空中ジェスチャに対応するmoveイベントにおける移動距離和が予め設定された値5（例えば、3 cm）よりも大きいとき、moveイベントを用いて記述される汎用入力イベントは、長距離の上方向のスライドイベントである。

別の例では、手の上方向の振りの移動速度が予め設定された値6（例えば、1 m／s）よりも大きい場合、空中ジェスチャは高速の上方向の振りジェスチャである。空中ジェスチャに対応するmoveイベントの移動速度が予め設定された値7（例えば、5 cm／s）より大きいとき、moveイベントを使用して記述される汎用入力イベントは高速のスライドイベントである。

なお、ジェスチャタイプに基づいて携帯電話によって生成される汎用入力イベントは、ユーザが実際に携帯電話をタッチして操作するときに生成される入力イベントであるため、携帯電話は、ユーザの実際のタッチ操作に対応する汎用入力イベントを生成するために、ユーザの実際のタッチ操作として空中ジェスチャをシミュレートすると言うことができる。

汎用入力イベントを生成した後、携帯電話は、関連するアプリケーションを使用して汎用入力イベントに応答することができる。関連アプリケーションは、フォアグラウンドアプリケーションであってもよく、フォアグラウンドアプリケーションに関連するアプリケーション、例えば、現在のアプリケーションがジャンプする別のアプリケーションであってもよい。

具体的には、関連アプリケーションは、予め設定されたポリシに従って汎用入力イベントに応答することができる。例えば、ユーザがブラウザを使用してウェブページを閲覧し、手を上方向に振る図5A（a）から図5A（d）のシナリオでは、携帯電話は、上方向の振りジェスチャタイプに基づいて上方向のスライドイベントを生成する。図7に示すように、上方向のスライドイベントに応答して、ブラウザアプリケーションはページを上方向にスクロールすることができる。スクロールページの長さは、タッチ画面の高さの1／3である。長距離の上方向のスライドイベントおよび高速の上方向のスライドイベントに応答して、ブラウザアプリケーションはまた、ページを上方向にスクロールすることができる。スクロールページの長さは、それぞれ、タッチ画面の高さの2／3およびタッチ画面の高さであってもよい。

別の例では、ユーザがブラウザを使用してウェブページを閲覧し、手を上方向に遷移的に動かす図5Cのシナリオでは、携帯電話は、上方向への遷移的な移動のジェスチャタイプに基づいて上方向のスライドイベントを生成する。図7に示すように、ブラウザは、上方向のスライドイベントに応答してページを上方向にスクロールする。

別の例では、ユーザがブラウザを使用してウェブページを閲覧するシナリオでは、空中ジェスチャが手の下方向の振りまたは手の下方向への遷移的な移動である場合、携帯電話は、下方向の振りまたは下方向への遷移的な移動のジェスチャタイプに基づいて下方向のスライドイベントを生成する。ブラウザアプリケーションは、下方向のスライドイベントに応答してページを下方向にスクロールすることができる。

別の例として、図8（a）に示す音楽再生シナリオでは、空中ジェスチャは、ユーザの手のひらが携帯電話に向かって1回押すこと（または手のひらが携帯電話に接近すること、または手のひらが携帯電話に向かってたたくこと）であり、汎用入力イベントはシングルタップイベントであり、音楽プレーヤの現在のインタフェース上の複数の制御、例えば、以前制御、一時停止制御、および次制御は、シングルタップイベントに応答することができる。技術的解決策において、予め設定されたポリシに従って、予め設定された位置（例えば、タッチ画面上の左端にある以前制御）の制御がシングルタップイベントに応答することができる。別の技術的解決策において、予め設定されたポリシに従って、予め設定された制御（例えば、一時停止制御801）がタップイベントに応答することができる。一時停止の概略図については、図8（b）を参照されたい。

別の技術的解決策において、予め設定されたポリシに従って、携帯電話は、空中ジェスチャが発生する位置を参照して汎用入力イベントにさらに応答することができる。例えば、空中ジェスチャが発生する位置が一時停止制御に近い場合、一時停止制御はシングルタップイベントに応答し、空中ジェスチャが発生する位置が以前制御に近い場合、以前制御は、シングルタップイベントに応答する、または、空中ジェスチャが発生する位置が次制御に近い場合、次制御はシングルタップイベントに応答する。例えば、ユーザの手のひらが携帯電話に向かって押す空中ジェスチャの場合、携帯電話のアプリケーションインタフェース上にあり、タッチ画面上の手の重心の投影に最も近い一時停止制御は、シングルタップイベントに応答することができる。

さらに別の技術的解決策において、予め設定されたポリシに従って、携帯電話は、フォアグラウンド実行アプリケーションの現在の状態を参照して、シングルタップイベントにさらに応答することができる。例えば、音楽プレーヤの現在のインタフェースは、再生制御を含む。音楽プレーヤが現在音楽再生状態にある場合、携帯電話は、再生制御がシングルタップイベントに応答したときに音楽再生を一時停止する。音楽プレーヤが現在音楽再生状態にない場合、携帯電話は、再生制御がシングルタップイベントに応答したときに音楽を再生する。

別の例として、図8（a）に示す音楽再生シナリオでは、空中ジェスチャがユーザの手の右方向への振りジェスチャ（または手の右方向への遷移的な移動）である場合、汎用入力イベントは右方向へのスライドイベントであり、音楽プレーヤは、右方向へのスライドイベントに応答して、現在の音楽の再生進行を早送りする、または、空中ジェスチャがユーザの手の左方向への振りジェスチャ（または手の左方向への遷移的な移動）である場合、汎用入力イベントは左方向へのスライドイベントであり、音楽プレーヤは、左方向へのスライドイベントに応答して、現在の音楽の再生進行を巻き戻す。

携帯電話が空中ジェスチャに基づいて汎用入力イベントを生成して応答するシナリオは、上記のブラウザシナリオおよび音楽再生シナリオに限定されず、さらに複数の他の使用シナリオであってもよいことに留意されたい。

例えば、ユーザが図9（a）に示されるTik Tok（Tik Tok）で短いビデオを再生するシナリオでは、図9（b）を参照すると、携帯電話がユーザの手の上方向の振り（または手の上方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが上方向の振り（または上方向への遷移的な移動）であると決定して、対応する上方向のスライドイベントを生成することができる。図9（c）を参照すると、Tik Tokは、別の短いビデオを再生するために上方向のスライドイベントに応答する。

携帯電話がユーザの手の下方向の振り（または手の下方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが下方向の振り（または下方向への遷移的な移動）であると決定して、対応する下方向のスライドイベントを生成することができる。この場合、Tik Tokは、別の短いビデオを再生するために下方向のスライドイベントに応答する。

別の例として、ユーザが図10（a）に示すTik Tokで短いビデオを再生するシナリオでは、ユーザの手のひらが携帯電話に向かって1回押す（または手のひらが携帯電話に接近するか、または手のひらが携帯電話に向かってたたく）空中ジェスチャを携帯電話が検出した場合、携帯電話は、ジェスチャタイプが1回のスラップであると決定して、対応するシングルタップイベントを生成することができる。図10（b）を参照すると、Tik Tokはシングルタップイベントに応答して現在の短いビデオの再生を一時停止する。

別の例として、ユーザが図11（a）に示すリーダを使用して電子文書を読み取るシナリオでは、図11（b）を参照すると、携帯電話がユーザの手の左方向の振り（または手の左方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが左方向の振り（または左方向への遷移的な移動）であると決定して、対応する左方向のスライドイベントを生成することができる。図11（c）を参照すると、リーダは、左方向のスライドイベントに応答してページを前方向にめくる。

携帯電話がユーザの手の右方向の振り（または手の右方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが右方向の振り（または右方向への遷移的な移動）であると決定して、対応する右方向のスライドイベントを生成することができる。リーダは、右方向へのスライドイベントに応答してページを後方向にめくる。

別の例として、携帯電話が図12（a）に示すWeChatの機能「連絡先」に対応するインタフェースを表示するシナリオでは、図12（b）を参照すると、携帯電話がユーザの手の右方向の振り（または手の右方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが右方向の振り（または右方向への遷移的な移動）であると決定して、対応する右方向のスライドイベントを生成することができる。図12（c）を参照すると、WeChatは右方向のスライドイベントに応答して、機能「メッセージ」に対応するインタフェースを表示する。

図12（a）に示すシナリオでは、携帯電話がユーザの手の左方向の振り（または手の左方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが左方向の振り（または左方向への遷移的な移動）であると決定して、対応する左方向のスライドイベントを生成することができる。この場合、WeChatは、左方向のスライドイベントに応答して、機能「発見」に対応するインタフェースを表示する。

加えて、図12（a）に示すシナリオでは、WeChatは、ページをスクロールするために上方向のスライドイベントまたは下方向のスライドイベントにさらに応答することができる。

別の例として、図13（a）および図13（b）を参照すると、ユーザがギャラリ（またはアルバムと呼ばれる）を使用して写真を閲覧するシナリオでは、携帯電話がユーザの拳の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが握りしめであると決定して、対応する握りしめイベントを生成することができる。図13（c）を参照すると、ギャラリは握りしめイベントに応答して写真を縮小する。

携帯電話がユーザの手の右方向への振りの空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが右方向への振りであると決定して、対応する右方向のスライドイベントを生成する。ギャラリは、右方向へのスライドイベントに応答して、前の写真を表示する。携帯電話がユーザの手の左方向への振りの空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが左方向への振りであると決定して、対応する左方向のスライドイベントを生成する。ギャラリは、左方向のスライドイベントに応答して、次の写真を表示する。

別の例では、ユーザがYouTube(登録商標)プレーヤを使用してビデオを再生するシナリオでは、携帯電話は、空中ジェスチャに基づいてビデオの再生進捗を調整し、ビデオを再生し、再生を一時停止し、別のビデオに切り替えることができる。これは、音楽再生シナリオと類似している。

加えて、空中ジェスチャがユーザの手の上方向の振りジェスチャ（または手の上方向の遷移的な移動）であることを携帯電話が検出したとき、汎用入力イベントは上方向のスライドイベントである。空中ジェスチャが発生する位置が携帯電話の右側に近い場合、YouTube(登録商標)プレーヤは、音量を上げるために上方向のスライドイベントに応答する。空中ジェスチャが発生する位置が携帯電話の左側に近い場合、YouTube(登録商標)プレーヤは上方向のスライドイベントに応答して表示輝度を上げる。同様に、YouTube(登録商標)プレーヤは、ユーザの空中ジェスチャに基づいて、さらに音量を下げ、表示輝度を下げることができる。

別の例として、携帯電話が画面のインタフェース1を表示するシナリオでは、携帯電話がユーザの手の左方向の振り（または手の左方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが左方向の振り（または左方向への遷移的な移動）であると決定して、対応する左方向のスライドイベントを生成することができる。携帯電話は、画面のインタフェース2を表示するために左方向のスライドイベントに応答する。携帯電話がユーザの手の右方向の振り（または手の右方向への遷移的な移動）の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが右方向の振り（または右方向への遷移的な移動）であると決定して、対応する右方向のスライドイベントを生成することができる。携帯電話は、画面のインタフェース3を表示するために右方向のスライドイベントに応答する。

いくつかの他の実施形態では、携帯電話が任意のインタフェースを表示するとき、携帯電話がユーザの拳の空中ジェスチャを検出した場合、携帯電話は、ジェスチャタイプが握りしめていると決定して、対応するダブルタップ画面キャプチャイベントを生成することができる。携帯電話は、写真を形成するために現在の画面を取り込むために、ダブルタップ画面キャプチャイベントに応答する。

本出願の別の実施形態では、携帯電話は、タッチ画面上でユーザによって実行され、空中ジェスチャまたは汎用入力イベントに対応する実際のタッチ操作をシミュレートするために、タッチ画面上に操作マークをさらに表示することができ、それにより、ユーザに直感的な視覚体験を提供する。操作マークは、携帯電話が応答する汎用入力イベントをユーザに促すためにさらに使用されてもよい。次いで、携帯電話は、関連アプリケーションを使用して汎用入力イベントに応答することができる。操作マークは、静的マークであってもよいし、動的マークであってもよい。動的マークは、プロセスピクトグラムであってもよい。

技術的解決策において、汎用入力イベントと操作マークとの間の対応関係が携帯電話において予め設定される。携帯電話は、ジェスチャタイプに対応する汎用入力イベントに基づいてタッチ画面上に操作マークを表示して、タッチ画面上でユーザによって実行され、汎用入力イベントに対応する実際のタッチ操作をシミュレートし、携帯電話が応答する汎用入力イベントを使用してユーザに確認することができる。

例えば、図5A（a）から図5A（d）に示される空中ジェスチャを検出した後、携帯電話は、上方向の振りジェスチャタイプが上方向のスライドイベントに対応すると決定する。携帯電話は、図14に示す操作マーク1401を表示する、すなわち、タッチ画面上に上方向の矢印を表示して、タッチ画面上でユーザによって実行される上方向のスライド操作をシミュレートし、上方向のスライドイベントが応答されるべきであることをユーザに確認することができる。次に、上方向へのスライド操作に応答して、携帯電話はページをスクロールして、図7に示すインタフェースを表示することができる。

別の例では、図15（a）および図15（b）を参照すると、携帯電話は、タッチ画面上でユーザによって実行される上方向のスライド操作をシミュレートするために、タッチ画面上で下から上に移動する手の形状1501を表示し、手の移動軌道に対応する上方向の矢印1502を表示することができる。次に、上方向へのスライド操作に応答して、携帯電話はページをスクロールして、図7に示すインタフェースを表示することができる。

別の例では、ユーザの手のひらが図10（a）に示す携帯電話に向かって一度押すという空中ジェスチャを検出した後、携帯電話は、一回のスラップのジェスチャタイプがシングルタップイベントに対応すると決定し、図16に示す円形マーク1601を表示して、タッチ画面上のユーザのシングルタップ操作をシミュレートし、携帯電話がシングルタップイベントに応答することをユーザに確認することができる。次に、シングルタップ操作に応答して、携帯電話は、図10（b）に示すインタフェースを表示するために、現在の短いビデオの再生を一時停止する。

別の技術的解決策において、ジェスチャタイプと操作マークとの間の対応関係が携帯電話において予め設定される。携帯電話は、ジェスチャタイプに基づいてタッチ画面上に操作マークを表示して、タッチ画面上でユーザによって実行され、汎用入力イベントに対応する実際のタッチ操作をシミュレートし、携帯電話が応答する汎用入力イベントを使用してユーザに確認することができる。例えば、上方向の振りの空中ジェスチャを識別した後、携帯電話は、図14および図15（a）および図15（b）に示すタッチ画面上に操作マークまたは別の操作マークを表示することができる。

さらに別の技術的解決策において、携帯電話は、タッチ画面上でユーザによって実行され、汎用入力イベントに対応する実際のタッチ操作をシミュレートし、携帯電話が、応答する汎用入力イベントを使用してユーザに確認するために、汎用入力イベントにおけるdownイベント、upイベント、および／またはmoveイベントに基づいてタッチ画面上に操作マークを表示することができる。例えば、汎用入力イベントにおけるdownイベントに対応して、タッチ画面は、手の形状を表示し、moveイベントに対応して、タッチ画面上の手は移動し、タッチ画面は方向矢印で移動軌道を表示し、upイベントに対応して、タッチ画面は、手の形状および移動軌跡の表示を停止する。

本出願の別の実施形態では、空中ジェスチャのジェスチャ情報が取得された後、携帯電話は、ジェスチャ情報に基づいて、downイベント、upイベント、および／またはmoveイベントを使用して組み合わされた汎用入力イベントをさらに生成することができる。システムアプリケーションおよびサードパーティアプリケーションは、downイベント、upイベント、および／またはmoveイベントに直接応答することができ、すなわち、downイベント、upイベント、および／またはmoveイベントを使用して組み合わされた汎用入力イベントに直接応答して、空中ジェスチャに応答することができる。

具体的には、ジェスチャ情報と、downイベント、upイベント、および／またはmoveイベントの各々との間のマッピング関係を決定するために、携帯電話において予め設定マッピングポリシが設定されてもよい。例えば、マッピングポリシでは、ジェスチャ情報に基づいて、携帯電話は、手が現れる瞬間が、downイベントが発生する瞬間に対応することを検出し、タッチ画面（例えば、タッチ画面上の（x0，y0））上の手の予め設定された部分（例えば、携帯電話によって最初に検出された手の重心、人差し指の指先、または手の一部）の投影位置は、downイベントが発生する位置に対応する。手が移動する場合、手の移動プロセスは、moveイベントが発生するプロセス（すなわち、一連のmoveイベントが受信される）に対応し、手の移動距離とmoveイベントにおける移動距離との間には、予め設定された比例関係が存在する。次に、携帯電話がもはや手の予め設定された部分を検出しなくなった瞬間は、upイベントが発生する瞬間に対応し、最終的にタッチ画面上の予め設定された部分の投影位置（例えば、タッチ画面上の（x 1、y 1））は、upイベントが発生する瞬間に対応する。ジェスチャ情報をマッピングするdownイベント、upイベント、および／またはmoveイベントは、汎用入力イベントに組み合わされる。これらの汎用入力イベントは、前述の実施形態で説明した汎用入力イベント、例えば、シングルタップイベント、上方向のスライドイベント、握りしめイベント、マルチタッチイベント、および高速の上方向のスライドイベントであってもよい。

前述の実施形態は、電子デバイスが携帯電話であり、空中ジェスチャに基づいて携帯電話によって生成された汎用入力イベントが、タッチ画面上でユーザによって実行されたタッチ操作に対応し、システムアプリケーションとサードパーティアプリケーションの両方が直接応答することができる入力イベントである例を使用して、主に説明されている。

別の実施形態では、汎用入力イベントは、代替的に別の入力イベントであってもよい。例えば、空中ジェスチャに基づいて携帯電話によって生成された汎用入力イベントは、携帯電話上のユーザによる物理的ボタン（例えば、電源ボタン）を押す操作に対応し、システムアプリケーションとサードパーティアプリケーションの両方が直接応答することができる入力イベントである。電源ボタンの周囲には、例えば赤外線センサが配置される。電源ボタンの周りに配置された赤外線センサが、携帯電話の側で手によって行われるスラップの空中ジェスチャ（すなわち、携帯電話の側に近づく）を検出すると、電源ボタンを押す汎用入力イベントが生成される。

前述の実施形態は、電子デバイスが携帯電話である例を使用して主に説明されている。電子デバイスが別の電子デバイスである場合、空中ジェスチャに基づいて電子デバイスによって生成された汎用入力イベントは、代替的に、電子デバイス上でユーザによって実行された別のタイプの接触操作（例えば、ボタン、タッチパッド、またはマウスに対するタッチ操作）に対応する入力イベントであってもよい。本出願の実施形態では詳細は繰り返されない。

本願の一実施形態は、ジェスチャ処理方法をさらに提供する。ジェスチャ処理方法は、電子デバイスに適用されてもよい。ディスプレイおよび検出構成要素は、電子デバイス上に配置される。ディスプレイは、インタフェースを表示するように構成されてもよい。検出構成要素は、空中ジェスチャを検出するように構成されてもよい。検出構成要素は、カメラ、ディスプレイの下に配置された赤外線センサ、ディスプレイの下に配置された超音波センサ、ディスプレイの下に配置された電磁誘導構成要素などのいずれか1つまたは任意の組み合わせを含む。図17に示されるように、本方法は、以下のステップを含み得る。

1701．電子デバイスがマルチメディアアプリケーションを開く。

例えば、マルチメディアアプリケーションは、オーディオアプリケーション（例えば、音楽プレーヤ）、ビデオプレーヤ（例えば、Tik Tok等のビデオプレーヤ）、またはギャラリであってもよい。

1702．電子デバイスは、マルチメディアアプリケーションの第1のインタフェースを表示する。第1のインタフェースは、第1のマルチメディアファイルに対応する。

1703．電子デバイスが空中ジェスチャを検出した場合、電子デバイスは空中ジェスチャに基づいて応答操作を実行する。

応答操作は、第1のマルチメディアファイルを再生すること、第1のマルチメディアファイルの再生を一時停止すること、第1のマルチメディアファイルの再生進捗を調整すること、再生音量を調整すること、表示輝度を調整すること、第1のマルチメディアファイルを別のマルチメディアファイルに切り替えることなどのうちの少なくとも1つを含み得る。言い換えれば、電子デバイスは、マルチメディアアプリケーションを使用して応答操作を実行することができる。マルチメディアアプリケーションは、システムアプリケーションまたはサードパーティアプリケーションであってもよい。

このようにして、ユーザは、対応する再生制御操作を実行して、それによってユーザ体験を改善するために、電子デバイス内のシステムマルチメディアアプリケーションまたはサードパーティマルチメディアアプリケーションを制御するために空中ジェスチャを使用することができる。

本出願の一実施形態は、空中ジェスチャを検出するように構成された検出ユニットと、空中ジェスチャに基づいて応答操作を実行するように構成された処理ユニットとを含む電子デバイスを提供する。処理ユニットは、空中ジェスチャに基づいて汎用入力イベントを生成し、汎用入力イベントに応答するように特に構成され得る。加えて、検出ユニットおよび処理ユニットは、前述の実施形態におけるジェスチャ処理方法を実施するために、前述の実施形態における他のステップを実行するようにさらに構成されてもよい。

本出願の一実施形態は、1つ以上のプロセッサと、1つ以上のメモリと、1つ以上のアプリケーションと、1つ以上のコンピュータプログラムと、アプリケーションのインタフェースを表示するように構成されたディスプレイと、検出構成要素とを含む電子デバイスを提供する。検出構成要素は、カメラ、ディスプレイの下に配置された赤外線センサ、ディスプレイの下に配置された超音波センサ、またはディスプレイの下に配置された電磁誘導構成要素のいずれか1つまたは任意の組み合わせを含む。検出構成要素は、ユーザが電子デバイスと接触していないときにユーザによって行われた空中ジェスチャを検出するように構成される。1つ以上のコンピュータプログラムは、メモリに記憶される。1つ以上のコンピュータプログラムは命令を含む。命令がプロセッサによって実行されると、電子デバイスは、前述の実施形態のステップを実行することを可能にされ得る。

例えば、命令がプロセッサによって実行されると、電子デバイスは、マルチメディアアプリケーションが開かれた後にマルチメディアアプリケーションの第1のインタフェースを表示するステップであって、第1のインタフェースが第1のマルチメディアファイルに対応する、ステップと、検出構成要素が空中ジェスチャを検出した場合、空中ジェスチャに基づいて応答操作を実行するステップとを実行することを可能にされ得る。応答操作は、第1のマルチメディアファイルを再生すること、第1のマルチメディアファイルの再生を一時停止すること、第1のマルチメディアファイルの再生進捗を調整すること、再生音量を調整すること、表示輝度を調整すること、第1のマルチメディアファイルを別のマルチメディアファイルに切り替えることなどのうちの少なくとも1つを含み得る。

別の例では、命令がプロセッサによって実行されると、電子デバイスは、アプリケーションが開かれた後にアプリケーションの第1のインタフェースを表示することを可能にされ得る。検出構成要素が空中ジェスチャを検出した場合、空中ジェスチャに基づいて応答操作が実行される。応答操作は、ページをスクロールすること、または第1のインタフェースを別のインタフェースに切り替えることのうちの少なくとも1つを含むことができる。

例えば、電子デバイスが携帯電話である場合、電子デバイスのプロセッサは図1のプロセッサ110であってもよく、メモリは図1の内部メモリ121であってもよく、ディスプレイは図1のディスプレイ194であってもよく、検出構成要素のカメラは図1のカメラ193であってもよく、検出構成要素の赤外線センサ、超音波センサ、電磁センサなどは図1のセンサモジュール180であってもよい。

本出願の一実施形態は、コンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体は、コンピュータ命令を保存する。コンピュータ命令が電子デバイス上で実行されると、電子デバイスは、関連する方法ステップを実行して、前述の実施形態におけるジェスチャ処理方法を実行することを可能にされる。

本出願の一実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、前述の実施形態におけるジェスチャ処理方法を実施するために前述の関連するステップを実行することを可能にされる。

また、本出願の一実施形態は装置をさらに提供する。装置は、具体的には、チップ、構成要素、またはモジュールであり得る。装置は、接続されたプロセッサおよびメモリを含み得る。メモリは、コンピュータ実行可能命令を記憶するように構成される。装置が動作すると、プロセッサは、メモリに保存されたコンピュータ実行可能命令を実行することができ、それによりチップは、方法実施形態におけるジェスチャ処理方法を実行する。

本出願の実施形態で提供される電子デバイス、コンピュータ記憶媒体、コンピュータプログラム製品、またはチップはすべて、上記の対応する方法を実行するように構成され得る。したがって、達成されることができる有益な効果については、上記の対応する方法の有益な効果を参照されたい。ここでは詳細は繰り返し説明されない。

実施態様の前述の説明に基づいて、当業者は、便利で簡単な説明のために、前述の機能モジュールへの分割が説明のための例として使用されているにすぎないことを明確に理解し得る。実際の用途では、前述の機能は、要件に基づいて実施するための異なる機能モジュールに割り当てられることができ、つまり装置の内部構造は、前述した機能の全部または一部を実施するために、異なる機能モジュールに分割される。

本出願で提供されるいくつかの実施形態では、開示された装置および方法は別の方法で実施され得ることを理解されたい。例えば、説明されている装置の実施形態は一例にすぎない。例えば、モジュールまたはユニットへの分割は単なる論理機能分割であり、実際の実装においては他の分割であり得る。例えば、複数のユニットまたは構成要素は、組み合わされても別の装置に統合されてもよく、あるいは一部の特徴は、無視されても実行されなくてもよい。さらに、提示または論述された相互結合または直接的な結合もしくは通信接続は、いくつかのインタフェースを介して実施され得る。装置またはユニット間の間接的な結合または通信接続は、電子的な、機械的な、または別の形態で実施されてもよい。

別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして提示された部分は、1つ以上の物理ユニットであってもよいし、1つの場所に配置されてもよいし、または異なる場所に分散されてもよい。ユニットの一部または全部は、実施形態の解決策の目的を達成するために実際の要求に基づいて選択されてもよい。

さらに、本出願の実施形態の機能ユニットは、1つの処理ユニットに統合されてもよいし、またはこれらのユニットのそれぞれは、物理的に単独で存在してもよいし、または2つ以上のユニットが、1つのユニットに統合される。統合ユニットは、ハードウェアの形態で実施されてもよいし、またはソフトウェア機能ユニットの形態で実施されてもよい。

統合されたユニットがソフトウェア機能ユニットの形態で実現され、独立した製品として販売または使用される場合、統合されたユニットは、可読記憶媒体に記憶され得る。このような理解に基づいて、本質的に本出願の実施形態の技術的解決策は、または従来技術に寄与する部分、または技術的解決策の全部もしくは一部は、ソフトウェア製品の形態で実施され得る。ソフトウェア製品は記憶媒体に記憶され、本出願の実施形態での方法のステップの全部または一部を遂行することをデバイス（シングルチップマイクロコンピュータ、チップなどであり得る）またはプロセッサ（processor）に命令するいくつかの命令を含んでいる。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ（Read－Only Memory、ROM）、ランダムアクセスメモリ（Random Access Memory、RAM）、磁気ディスク、または光ディスクなどの、プログラムコードを記憶し得る任意の媒体を含む。

以上の説明は、この出願の単なる特定の実装にすぎず、この出願の保護範囲を限定しようとするものではない。本出願に開示された技術的範囲におけるあらゆる変形または置換が、本出願の保護の範囲に包含される。したがって、本出願の保護の範囲は、特許請求の範囲の保護範囲に従うものとする。

1 アンテナ
1 インタフェース
2 アンテナ
2 インタフェース
3 インタフェース
100 携帯電話
110 プロセッサ
120 外部メモリインタフェース
121 内部メモリ
130 USBインタフェース
140 充電管理モジュール
141 電源管理モジュール
142 バッテリ
150 モバイル通信モジュール
160 ワイヤレス通信モジュール
170 オーディオモジュール
170A スピーカ
170B 受信機
170C マイクロフォン
170D ヘッドセットジャック
180 センサモジュール
180A 圧力センサ
180B ジャイロセンサ
180C 気圧センサ
180D 磁気センサ
180E 加速度センサ
180F 距離センサ
180G 光学式近接センサ
180H 指紋センサ
180J 温度センサ
180K タッチセンサ
180L 周囲光センサ
180M 骨伝導センサ
190 ボタン
191 モータ
192 インジケータ
193 カメラ
194 ディスプレイ／画面
195 SIMカードインタフェース
601 プロンプト情報
602 プロンプト情報
603 制御
604 テキスト情報
605 ピクトグラム情報
801 一時停止制御
1401 操作マーク
1501 手の形状
1502 矢印
1601 円形マーク

Claims (18)

1. 電子デバイスであって、
   1つ以上のプロセッサと、
   1つ以上のメモリと、
   1つ以上のマルチメディアアプリケーションであって、前記マルチメディアアプリケーションはオーディオアプリケーションまたはビデオアプリケーションを含む、1つ以上のマルチメディアアプリケーションと、
   1つ以上のコンピュータプログラムと、
   インタフェースを表示するように構成されたディスプレイと、
   ユーザが前記電子デバイスと接触していないときに前記ユーザによって行われた空中ジェスチャを検出するように構成された検出構成要素であって、前記検出構成要素は、カメラ、前記ディスプレイの下に配置された赤外線センサ、前記ディスプレイの下に配置された超音波センサ、または前記ディスプレイの下に配置された電磁誘導構成要素、のうちのいずれか1つまたは任意の組み合わせを含む、検出構成要素と
   を備え、
   前記1つ以上のコンピュータプログラムは前記メモリに記憶され、前記1つ以上のコンピュータプログラムは命令を含み、前記命令が前記プロセッサによって実行されると、前記電子デバイスは、
   前記マルチメディアアプリケーションが開かれた後、前記マルチメディアアプリケーションの第1のインタフェースを表示するステップであって、前記第1のインタフェースは第1のマルチメディアファイルに対応する、ステップと
   前記検出構成要素が前記空中ジェスチャを検出した場合、
   前記空中ジェスチャのジェスチャ情報を取得することと、
   前記空中ジェスチャのジェスチャタイプ又は前記ジェスチャ情報又を前記電子デバイスのアプリケーションフレームワーク層に報告することであって、前記ジェスチャタイプは前記ジェスチャ情報に基づくことと、
   予め設定された対応関係に基づいて、汎用入力イベントを前記アプリケーションフレームワーク層によって決定することであって、前記汎用入力イベントは前記電子デバイス上で前記ユーザによって実行される接触操作に対応する入力イベントであることと、
   前記アプリケーションフレームワーク層によって、前記汎用入力イベントをアプリケーション層に報告することであって、前記アプリケーション層は、システムアプリケーション及びサードパーティアプリケーションを含み、前記システムアプリケーション及び前記サードパーティアプリケーションは前記汎用入力イベントに応答するように構成されることと
   によって、前記空中ジェスチャに基づいて前記汎用入力イベントを生成するステップと、
   前記汎用入力イベントに基づいて応答操作を実行するステップと
   を実行することを可能にされる
   電子デバイス。
2. 前記応答操作は、前記第1のマルチメディアファイルを再生すること、前記第1のマルチメディアファイルの再生を一時停止すること、前記第1のマルチメディアファイルの再生進行を調整すること、再生音量を調整すること、表示輝度を調整すること、または前記第1のマルチメディアファイルを別のファイルへ切り替えること、のうちの少なくとも1つを含む
   請求項1に記載の電子デバイス。
3. 前記空中ジェスチャは、手の振りまたは手の並進移動であり、前記応答操作は、前記第1のマルチメディアファイルを早送りすること、前記第1のマルチメディアファイルを巻き戻すこと、前記再生音量を上げること、前記再生音量を下げること、前記表示輝度を上げること、前記表示輝度を下げること、または前記第1のマルチメディアファイルを別のマルチメディアファイルに切り替えること、を含む、請求項2に記載の電子デバイス。
4. 前記マルチメディアアプリケーションが第1のビデオプレーヤであり、前記汎用入力イベントに基づいて応答操作を実行する前記ステップは、
   前記空中ジェスチャおよび前記空中ジェスチャが発生する位置に基づいて前記応答操作を実行するステップであって、
   前記空中ジェスチャが手の上方向への並進移動または手の上方向への振りであるとき、前記空中ジェスチャが発生する前記位置が前記電子デバイスの右側に近い場合、前記応答操作は前記再生音量を上げることである、または、前記空中ジェスチャが発生する前記位置が前記電子デバイスの左側に近い場合、前記応答操作は前記表示輝度を上げることである、
   前記空中ジェスチャが手の下方向への並進移動または手の下方向への振りであるとき、前記空中ジェスチャが発生する前記位置が前記電子デバイスの右側に近い場合、前記応答操作は前記再生音量を下げることである、または、前記空中ジェスチャが発生する前記位置が前記電子デバイスの左側に近い場合、前記応答操作は前記表示輝度を下げることである、
   前記空中ジェスチャが手の右方向への並進移動または手の右方向への振りであるとき、前記応答操作は前記第1のマルチメディアファイルを早送りすることである、または
   前記空中ジェスチャが手の左方向への並進移動または手の左方向への振りであるとき、前記応答操作は前記第1のマルチメディアファイルを巻き戻すことである、ステップ
   を含む、請求項3に記載の電子デバイス。
5. 前記マルチメディアアプリケーションはオーディオプレーヤであり、
   前記空中ジェスチャが手の右方向への並進移動または手の右方向への振りであるとき、前記応答操作は前記第1のマルチメディアファイルを早送りすることである、または
   前記空中ジェスチャが手の左方向への並進移動または手の左方向への振りである場合、前記応答操作は前記第1のマルチメディアファイルを巻き戻すことである、
   請求項3に記載の電子デバイス。
6. 前記マルチメディアアプリケーションは第2のビデオプレーヤであり、
   前記空中ジェスチャが手の上方向への並進移動または手の上方向への振りであるとき、前記応答操作は前記第1のマルチメディアファイルを第2のマルチメディアファイルに切り替えることである、または
   前記空中ジェスチャが手の下方向への並進移動または手の下方向への振りである場合、前記応答操作は前記第1のマルチメディアファイルを第3のマルチメディアファイルに切り替えることである、
   請求項3に記載の電子デバイス。
7. 前記マルチメディアアプリケーションはギャラリであり、
   前記空中ジェスチャが手の右方向への並進移動または手の右方向への振りであるとき、前記応答操作は前記第1のマルチメディアファイルを第2のマルチメディアファイルに切り替えることである、または
   前記空中ジェスチャが手の左方向への並進移動または手の左方向への振りである場合、前記応答操作は前記第1のマルチメディアファイルを第3のマルチメディアファイルに切り替えることである、
   請求項3に記載の電子デバイス。
8. 前記空中ジェスチャは、前記電子デバイスに向かう手のひらの移動であり、前記応答操作は、前記第1のマルチメディアファイルを再生すること、前記第1のマルチメディアファイルの再生を一時停止すること、または前記第1のマルチメディアファイルを別のマルチメディアファイルに切り替えることを含む、請求項1に記載の電子デバイス。
9. 前記マルチメディアアプリケーションは第1のビデオプレーヤであり、前記第1のインタフェースは、再生制御および切り替え制御を含み、前記汎用入力イベントに基づいて応答操作を実行する前記ステップは、
   前記空中ジェスチャ、前記空中ジェスチャが発生する位置、および前記第1のビデオプレーヤの現在の状態に基づいて前記応答操作を実行するステップであって、
   前記空中ジェスチャが発生する前記位置が前記再生制御の近くにあり、前記第1のマルチメディアファイルが現在再生されている場合、前記応答操作は前記第1のマルチメディアファイルの再生を一時停止することであり、
   前記空中ジェスチャが発生する前記位置が前記再生制御の近くにあり、前記第1のマルチメディアファイルが現在再生されていない場合、前記応答操作は前記第1のマルチメディアファイルを再生することである、または
   前記空中ジェスチャが発生する前記位置が前記切り替え制御に近い場合、前記応答操作は前記第1のマルチメディアファイルを別のマルチメディアファイルに切り替えることである、ステップ
   を含む、請求項1に記載の電子デバイス。
10. 電子デバイスであって、
    1つ以上のプロセッサと、
    1つ以上のメモリと、
    1つ以上のアプリケーションと、
    1つ以上のコンピュータプログラムと、
    インタフェースを表示するように構成されたディスプレイと、
    ユーザが前記電子デバイスと接触していないときに前記ユーザによって行われた空中ジェスチャを検出するように構成された検出構成要素であって、前記検出構成要素は、カメラ、前記ディスプレイの下に配置された赤外線センサ、前記ディスプレイの下に配置された超音波センサ、または前記ディスプレイの下に配置された電磁誘導構成要素、のうちのいずれか1つまたは任意の組み合わせを含む、検出構成要素と
    を備え、
    前記1つ以上のコンピュータプログラムは前記メモリに記憶され、前記1つ以上のコンピュータプログラムは命令を含み、前記命令が前記プロセッサによって実行されると、前記電子デバイスは、
    前記アプリケーションが開かれた後、前記アプリケーションの第1のインタフェースを表示するステップと
    前記検出構成要素が前記空中ジェスチャを検出した場合、
    前記空中ジェスチャのジェスチャ情報を取得することと、
    前記空中ジェスチャのジェスチャタイプ又は前記ジェスチャ情報又を前記電子デバイスのアプリケーションフレームワーク層に報告することであって、前記ジェスチャタイプは前記ジェスチャ情報に基づくことと、
    予め設定された対応関係に基づいて、汎用入力イベントを前記アプリケーションフレームワーク層によって決定することであって、前記汎用入力イベントは前記電子デバイス上で前記ユーザによって実行される接触操作に対応する入力イベントであることと、
    前記アプリケーションフレームワーク層によって、前記汎用入力イベントをアプリケーション層に報告することであって、前記アプリケーション層は、システムアプリケーション及びサードパーティアプリケーションを含み、前記システムアプリケーション及び前記サードパーティアプリケーションは前記汎用入力イベントに応答するように構成されることと
    によって、前記空中ジェスチャに基づいて前記汎用入力イベントを生成するステップと、
    前記汎用入力イベントに基づいて応答操作を実行するステップと
    を実行することを可能にされる
    電子デバイス。
11. 前記空中ジェスチャが手の上方向への並進移動または手の上方向への振りであるとき、前記応答操作はページを上方向にスクロールすることである、または
    前記空中ジェスチャが手の下方向への並進移動または手の下方向への振りである場合、前記応答操作は前記ページを下方向にスクロールすることである、
    請求項10に記載の電子デバイス。
12. 前記空中ジェスチャが手の右方向への並進移動または手の右方向への振りである場合、前記応答操作は、前記第1のインタフェースを第2のインタフェースに切り替えることである、または
    前記空中ジェスチャが手の左方向への並進移動または手の左方向への振りである場合、前記応答操作は前記第1のインタフェースを第3のインタフェースに切り替えることであり、
    前記第1のインタフェースは前記アプリケーションの第1の機能に対応し、前記第2のインタフェースは前記アプリケーションの第2の機能に対応し、前記第3のインタフェースは前記アプリケーションの第3の機能に対応する、または
    前記アプリケーションはリーダであり、前記第1のインタフェース、前記第2のインタフェース、および前記第3のインタフェースは、それぞれ前記リーダによって表示される3つのページである、
    請求項10に記載の電子デバイス。
13. 前記命令が前記プロセッサによって実行されると、前記電子デバイスは、
    前記検出構成要素が前記空中ジェスチャを検出した後、前記空中ジェスチャに対応する操作マークを表示するステップ
    を実行することをさらに可能にされる、請求項1から12のいずれか一項に記載の電子デバイス。
14. 前記空中ジェスチャに基づいて前記汎用入力イベントを生成する前記ステップは、
    予め設定された第1の対応関係に基づいて前記空中ジェスチャの前記ジェスチャタイプを決定するステップであって、前記第1の対応関係は、前記ジェスチャ情報と前記空中ジェスチャの前記ジェスチャタイプとの間の対応関係であり、前記ジェスチャ情報は、姿勢、形状、移動距離、移動方向、移動速度、移動軌道、または前記空中ジェスチャの位置と瞬間との間の対応関係、のうちのいずれか1つまたは任意の組み合わせを含む、ステップと、
    前記ジェスチャタイプを前記電子デバイスの前記アプリケーションフレームワーク層に報告するステップと、
    前記アプリケーションフレームワーク層によって、予め設定された第2の対応関係に基づいて前記汎用入力イベントを決定し、前記汎用入力イベントを生成するために、前記汎用入力イベントを前記アプリケーション層に報告するステップであって、前記第2の対応関係は、ジェスチャタイプと汎用入力イベントとの間の対応関係である、ステップと、
    前記アプリケーション層のフォアグラウンドシステムアプリケーションまたはフォアグラウンドサードパーティアプリケーションによって、前記汎用入力イベントに応答する操作を実行するステップと
    を含む、請求項13に記載の電子デバイス。
15. 前記命令が前記プロセッサによって実行されると、前記電子デバイスは、
    前記第1の対応関係に基づいて、前記空中ジェスチャに対応する前記ジェスチャタイプが存在しないと決定された場合、前記空中ジェスチャが無効なジェスチャであると決定し、現在のアプリケーションおよび／または前記ユーザの使用習慣に基づいて有効な基準空中ジェスチャを決定するステップと、
    前記基準空中ジェスチャを用いて前記ユーザを促すステップと
    を実行することをさらに可能にされる、請求項14に記載の電子デバイス。
16. 前記命令が前記プロセッサによって実行されると、前記電子デバイスは、
    前記第1の対応関係に基づいて、前記空中ジェスチャに対応する前記ジェスチャタイプが存在しないと決定された場合、前記空中ジェスチャが無効なジェスチャであると決定し、現在のアプリケーションおよび／または前記ユーザの使用習慣に基づいて有効な前記基準空中ジェスチャを決定するステップと、
    前記基準空中ジェスチャに対応する基準汎用入力イベントを決定するステップと、
    前記基準汎用入力イベントおよび前記現在のアプリケーションに基づいて、第1の操作を決定するステップと、
    前記第1の操作を実行するかどうかを前記ユーザに促すステップと、
    前記ユーザからの前記第1の操作を実行することを示す命令が検出された後に、前記第1の操作を実行するステップと、
    を実行することをさらに可能にされる、請求項15に記載の電子デバイス。
17. 前記空中ジェスチャが手の振りまたは手の並進移動である場合、前記汎用入力イベントはスライドイベントである、または
    前記空中ジェスチャが前記電子デバイスに向かう手のひらの移動である場合、前記汎用入力イベントはタップイベントである、
    請求項13から16のいずれか一項に記載の電子デバイス。
18. 前記命令が前記プロセッサによって実行されると、前記電子デバイスは、
    前記汎用入力イベントが発生した後に、前記汎用入力イベントに対応する操作マークを表示するステップ
    を実行することをさらに可能にされる、請求項13から17のいずれか一項に記載の電子デバイス。

Images