JP5790203B2 - 情報処理装置、情報処理方法、プログラム、および遠隔操作システム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、プログラム、および遠隔操作システムに関する。

近年、タッチパネルディスプレイを搭載した携帯型の情報処理装置が普及しつつある。ユーザーは、タッチパネルディスプレイに表示されるグラフィカル・ユーザー・インターフェイス（ＧＵＩ）を通じて、所定の操作入力を行うことができる（例えば、特許文献１を参照）。

ユーザーは、一般的に、利き手に装置を把持して利き手により、または利き手と異なる手に装置を把持して利き手により、タッチパネルに対して操作入力を行う。ここで、ＧＵＩの構成に応じては、例えば、一方の手により操作し易いが他方の手により操作し難い、または両手により操作し易いが片手により操作し難い等、操作状態に応じてタッチパネルの操作性が異なる場合がある。このため、情報処理装置の操作性が低下してしまう場合があった。このため、下記の特許文献２には、片手、又は両手による操作状態を判定し、判定結果に応じてＧＵＩの構成を変更することが記載されている。

特開２０１１−７７８６３号公報 特開２０１１−７６５２１号公報

しかしながら、特許文献２には、アイコンなどのＧＵＩを操作状態に応じて移動することが記載されているが、フリック操作などのユーザーの操作は、右手、左手、または両手のそれぞれの操作に応じて軌跡が異なるため、操作を誤検出してしまう場合がある。

このため、ユーザーの操作（右手、左手、または両手による操作）に起因する誤検出を確実に抑えることのできる技術が望まれていた。

本開示によれば、操作面上で移動される指を検出する検出部と、前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定する判定部と、前記判定部による判定結果に基づいて、ユーザーインターフェースを変更する処理変更部と、を備える、情報処理装置が提供される。

本開示によれば、ユーザーの操作状態に起因する誤検出を確実に抑えることが可能となる。

本開示の一実施形態に係るリモートコントローラを含むリモートコントローラシステムを示す図である。 本開示の一実施形態に係るリモートコントローラの主要な機能構成を示すブロック図である。 リモートコントローラの動作を示すフロー図である。 リモートコントローラの動作を説明するための図である。 左手操作時のＵＩの例を示す模式図である。 両手操作時のＵＩの例を示す模式図である。 右手操作時のＵＩの例を示す模式図である。 右手操作であることが判定された場合に、タッチパネル上で指Ｐの接触が検出された点Ｄｔに対して、カーソルＣｕｒの位置を左上にずらして表示した例を示す模式図である。 操作状態に応じた指の移動状態を示す図である。 右手操作時に検出される指の移動方向を示す図である。 左手操作時に検出される指の移動方向を示す図である。 両手操作時に検出される指の移動方向を示す図である。 操作状態の判定処理の一例を示すフロー図である。 右手操作、左手操作を検出する他の例を示す模式図である。 操作状態に応じてＵＩの構成を変更する処理を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．リモートコントローラシステムの概要
２．システムの構成例
３．リモートコントローラの動作
４．操作状態の判定処理
５．ＵＩを変更する処理

［１．リモートコントローラシステムの概要］
以下では、本開示の一実施形態に係るリモートコントローラ１００について説明する。ただし、本開示は、リモートコントローラ１００に限らず、タッチパネルディスプレイ１０１を搭載した携帯情報端末（ＰＤＡ）、携帯電話等、携帯型の情報処理装置にも同様に適用することができる。

図１は、本開示の一実施形態に係るリモートコントローラ１００を含むリモートコントローラシステムを示す図である。図１に示すように、リモートコントローラシステムは、タッチパネルディスプレイ１０１を搭載したリモートコントローラ１００、およびリモートコントローラ１００を通じて操作されるテレビ（表示装置）１０を含む。なお、テレビ１０は、リモートコントローラ１００を通じて操作される電子機器の一例である。

リモートコントローラシステムでは、少なくともリモートコントローラ１００からテレビ１０の方向に有線通信または無線通信が行われる。リモートコントローラ１００−テレビ１０間の通信は、直接的に行われてもよく、不図示のネットワーク等を介して間接的に行われてもよい。

リモートコントローラ１００は、テレビ１０を操作するための操作用アイコン等をタッチパネルディスプレイ１０１に表示する。アイコン選択等の操作入力が行われると、リモートコントローラ１００は、操作入力に応じて所定の操作コマンドＣをテレビ１０に送信する。テレビ１０は、操作コマンドＣを受信し、操作コマンドＣに応じて所定の動作Ａを行う。

ユーザーは、通常、利き手によりリモートコントローラ１００を把持して利き手によりタッチパネルディスプレイ１０１を操作し、または利き手と異なる手によりリモートコントローラ１００を把持して利き手によりタッチパネルディスプレイ１０１を操作する。そして、リモートコントローラ１００は、所定の時点でリモートコントローラ１００の操作状態を判定し、操作用アイコン等、ＧＵＩの表示を変更する。

操作状態の判定に際して、リモートコントローラ１００は、所定の移動方向Ｄｄを指定し、指定に従ってタッチパネルディスプレイ１０１上で移動される指Ｐの移動方向Ｄａを検出する。そして、リモートコントローラ１００は、指定した移動方向Ｄｄと、検出した移動方向Ｄａの差異Δに基づいて、自装置の操作状態を判定する。

ここで、右手によりリモートコントローラ１００を把持して右手の親指Ｐによりタッチパネルディスプレイ１０１を操作する場合について説明する。この場合、タッチパネルディスプレイ１０１上で（パネル面に平行して）親指Ｐを真直ぐ上方向Ｄｄに移動させようとしても、右手の構造に起因して、親指の移動方向Ｄａが右上方向に傾斜してしまう。よって、指定に従って移動される指Ｐの移動方向Ｄａを検出し、指定した移動方向Ｄｄと検出した移動方向Ｄａの差異Δに基づいて、リモートコントローラ１００の操作状態を判定することができる。

リモートコントローラ１００のタッチパネルディスプレイ１０１を利用して、テレビ１０の操作を行うことができるが、この時、ユーザーが手元のリモートコントローラ１００を見ることなく、テレビ１０のみを見て操作ができることが望ましい。このため、ユーザは、フリックやスワイプ操作など、手元を見ることなしにタッチパネルディスプレイ１０１上で行うことのできる操作を利用することができる。

そして、本実施形態では、手元を見ずに操作することのできる、タッチパネルディスプレイ１０１付きのリモートコントローラ１００において、ユーザーがリモートコントローラ１００を保持している手が両手か、右手か、または左手かを判別して、判別結果に応じて、両手向け、右手向け、左手向けにそれぞれ最適なユーザーインターフェース（ＵＩ）に自動で切り替える。これにより、誤動作を抑止するとともに、操作性を大幅に改善することができる。

［２．システムの構成例］
図２には、リモートコントローラ１００およびテレビ１０の機能構成が示されている。リモートコントローラ１００は、タッチパネルディスプレイ１０１、制御部１０３、メモリ１０５、通信部１０７、動き検出センサ１０９を含む。テレビ１０は、ディスプレイ１１、制御部１３、メモリ１５、通信部１７を含む。なお、図２には、本開示の一実施形態に係る主要な機能構成のみが示されている。

まず、リモートコントローラ１００の機能構成について説明する。タッチパネルディスプレイ１０１は、表示パネル１０１ａにタッチパネル１０１ｂ（検出部）が積層された構成を有する。表示パネル１０１ａとしては、液晶ディスプレイ（ＬＣＤ）等が利用される。タッチパネル１０１ｂとしては、抵抗膜方式、静電容量方式、超音波方式、赤外線方式等のパネルが利用される。

タッチパネル１０１ｂは、パネル面に対する指Ｐの接触状態を検出する。なお、他の実施形態では、接触状態に代えてまたは接触状態に加えて、指Ｐの近接状態を検出してもよい。タッチパネル１０１ｂは、タッチパネル１０１ｂに指Ｐが接触した時点で接触信号を制御部１０３に供給し、タッチパネル１０１ｂから指Ｐが離れた時点で解除信号を制御部１０３に供給する。

また、タッチパネル１０１ｂは、タッチパネル１０１ｂに指Ｐが接触している間、接触位置に対応した座標信号を制御部１０３に供給する。ここで、座標信号は、タッチパネル１０１ｂに対する接触位置のＸ−Ｙ座標を表している。なお、以下の説明では、タッチパネル１０１ｂの左右方向をＸ方向（左方向を−、右方向を＋）、上下方向をＹ方向（上方向を＋、下方向を−）として定義する。

制御部１０３は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、ＣＰＵは、ＲＡＭを作業メモリとして用いて、ＲＯＭに格納されているプログラムを実行し、リモートコントローラ１００の各部を制御する。制御部１０３は、プログラムにより、リモートコントローラ１００の操作状態を判定する判定部１０３ａ、ユーザーインターフェースを変更する処理変更部１０３ｂ、表示パネル１０１ａの表示を制御する表示処理部１０３ｃとして機能する。

判定部１０３ａは、ユーザによるタッチパネル１０１ｂ上での指Ｐの操作に基づいて、当該操作が右手、左手、又は両手を用いた操作のいずれであるかを判定する。処理変更部１０３ｂは、判定部１０３ａによる判定結果に基づいて、、ユーザーインターフェースを変更する。表示処理部１０３ｃは、表示パネル１０１ａにおける表示のための処理を行う。より具体的には、処理変更部１０３ｂは、ユーザによる操作が右手、左手、又は両手を用いた操作のいずれであるかに応じて、操作の判定領域、無効領域を変更し、指に対するカーソルの中心位置を変更する。また、処理変更部１０３ｂは、ユーザによる操作が右手、左手、又は両手を用いた操作のいずれであるかに応じて、ユーザのジェスチャーに基づく情報処理装置１００の動きを検出するアルゴリズムを変更する。

メモリ１０５は、ＥＥＰＲＯＭ等の不揮発性メモリであり、アイコンデータ、コマンド情報等を格納している。通信部１０７は、ユーザーによる操作入力に応じて、所定の操作コマンドＣをテレビ１０に送信する。

動き検出センサ１０９は、例えば３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度を検出する加速度センサ、ＧＰＳセンサ等を有して構成される。制御部１０３は、動き検出センサ１０９の検出値に基づいて、ユーザが情報処理装置１００を動かしてジェスチャー等をした場合に、メモリ１０５に格納されたアルゴリズムに従って、そのジェスチャーの動きを取得することができる。

制御部１０３は、タッチパネル１０１ｂから供給された座標信号をデコードして座標データを生成し、座標データおよび接触／解除信号に基づいて、リモートコントローラ１００の各部を制御する。制御部１０３は、ユーザーによる操作入力に応じて、操作入力に応じたコマンド情報をメモリ１０５から読み出し、通信部１０７に供給する。通信部１０７は、コマンド情報に基づいて、所定の操作コマンドＣをテレビ１０に送信する。

制御部１０３は、メモリ１０５に記憶されているアイコンデータを読出してＧＵＩ画面の表示データを生成し、表示データを表示パネル１０１ａに供給する。表示パネル１０１ａは、表示データに基づいてＧＵＩ画面を表示する。また、制御部１０３は、リモートコントローラ１００の操作状態に応じてアイコンの形状・配置等が変更されるように、ＧＵＩ画面の表示データを生成する。

制御部１０３は、後述するように、所定の時点で所定の移動方向Ｄｄを指定するメッセージＭｓｇを生成し、ユーザーに通知する。なお、メッセージＭｓｇは、表示パネル１０１ａを用いて視覚的に通知されてもよく、不図示のスピーカを用いて聴覚的に通知されてもよい。

移動方向Ｄｄは、例えば、タッチパネル１０１ｂに対して上方向、下方向、左方向、右方向のいずれかとして指定される。移動方向Ｄｄは、タッチパネル１０１ｂに対する移動方向として指定される。この場合、例えば「表示画面に沿って指を真直ぐ上方向に移動して下さい。」というメッセージＭｓｇが通知される。

また、移動方向Ｄｄは、タッチパネル１０１ｂに対する移動方向を特定可能な２以上の点として指定されてもよい。この場合、例えば「表示画面の下端で任意の点を指で指示した後に、表示画面の上端でその点の真直ぐ上に位置する点を指で指示して下さい。」というメッセージＭｓｇが通知される。

制御部１０３は、指定した移動方向Ｄｄと、指定に従ってタッチパネル１０１ｂ上で移動される指Ｐの移動方向Ｄａの差異Δに基づいて、リモートコントローラ１００の操作状態を判定する。そして、制御部１０３は、指定した移動方向Ｄｄと検出した移動方向Ｄａの差異Δに基づいて、リモートコントローラ１００の操作状態を判定する。

移動方向を指定する場合、指Ｐの移動方向Ｄａは、ドラッグ操作またはフリック動作に応じて、タッチパネル１０１ｂ上で連続的に検出される指Ｐの移動軌跡から求められる。なお、ドラッグ動作とは、タッチパネル１０１ｂに指Ｐを接触させた状態で指Ｐを移動させる動作であり、フリック動作とは、タッチパネル１０１ｂを指Ｐで任意の方向に弾くような動作である。この場合、指Ｐの移動方向Ｄａは、接触信号の検出時点の座標データ（移動始点）と、解除信号の検出直前の座標データ（移動終点）の座標差から求められる。より詳細には、フリック操作とは、パネル面に触れた指Ｐをパネル面上で任意の方向に向けて移動させる操作である。フリック操作では、パネル面への非接触状態から接触状態への遷移を示す接触点が移動始点Ｍ０となり、接触状態から非接触状態への遷移を示す接触点が移動終点Ｍ１となる。

一方、移動方向を特定可能な点を指定する場合、指Ｐの移動方向Ｄａは、ポインティング動作に応じて、タッチパネル１０１ｂ上で一方の点と他方の点の間で離散的に検出される指Ｐの移動座標から求められる。ポインティング動作とは、タッチパネル１０１ｂの任意の点を指Ｐにより指示する動作である。この場合、指Ｐの移動方向Ｄａは、一方の点に対するポインティングの検出時点の座標データ（移動始点）と、他方の点に対するポインティングの検出時点の座標データ（移動終点）の座標差から求められる。

次に、テレビ１０の機能構成について説明する。ディスプレイ１１は、操作画面、コンテンツ等を表示する。制御部１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、テレビ１０の各部を制御する。メモリ１５は、ＥＥＰＲＯＭ等の不揮発性メモリであり、操作画面情報、操作コマンド情報等を格納している。

通信部１７は、アンテナ１８を介して、操作コマンドＣをリモートコントローラ１００から受信する。なお、通信部１７は、操作コマンドＣの受信以外に、テレビ１０に対応する操作画面情報、操作コマンド情報、テレビ１０の状態を示すステータス情報等をリモートコントローラ１００に送信することもできる。

制御部１３は、リモートコントローラ１００から操作コマンドＣを受信すると、操作コマンド情報に基づいて、受信した操作コマンドＣに対応する処理Ａを実行するように、各部を制御する。

［３．リモートコントローラの動作］
本実施形態では、液晶タッチパネル付きのリモートコントローラ１００において、ユーザーがリモートコントローラ１００を持っているのが両手か、右手か、左手かをフリック等の軌跡から判定する。そして、判定の結果、両手向け、右手向け、左手向けにそれぞれ最適なユーザーインタフェース（ＵＩ）に自動で切り替えることで、誤動作を防止し、操作性を改善する。

以下では、図３〜図５を参照しながら、リモートコントローラ１００の動作について説明する。図３は、リモートコントローラ１００の動作を示すフロー図である。図４は、リモートコントローラ１００の動作を説明するための図である。図５Ａ〜図５Ｃは、操作状態に応じたＵＩの構成の変更を示す図である。

図３に示すように、制御部１０３は、所定の時点が到来すると、操作状態の判定処理を開始する（ステップＳ１０１）。所定の時点は、所定の操作入力の時点でもよく、リモートコントローラ１００の起動時等、所定の処理時点でもよい。

判定処理を開始すると、制御部１０３は、所定の移動方向Ｄｄを指定するメッセージＭｓｇをユーザーに通知する（Ｓ１０３）。例えば図４では、「表示画面に沿って指を真直ぐ上方向に移動して下さい。」というメッセージＭｓｇが表示されている（状態ＳＴ４ａ）。

メッセージＭｓｇが表示され、メッセージＭｓｇに応じた操作入力が行われると、リモートコントローラ１００は、操作入力を検出する（Ｓ１０５）。例えば図４では、ユーザーは、タッチパネル１０１ｂ（タッチパネルディスプレイ１０１）上で右手の親指Ｐを真直ぐ上方向に移動しようとするが、右手の構造に起因して、指Ｐが僅かに右上方向に傾斜して移動されている（状態ＳＴ４ｂ）。

操作入力が検出されると、制御部１０３は、指Ｐの移動始点Ｍ０と移動終点Ｍ１の座標差に基づいて、指Ｐの移動方向Ｄａを求める（Ｓ１０７）。移動方向Ｄａを求めると、制御部１０３は、指定した移動方向Ｄｄと検出した移動方向Ｄａの差異Δに基づいて、リモートコントローラ１００の操作状態を判定する（Ｓ１０９）。操作状態としては、片手により操作している状態と、両手により操作している状態が判別され、さらに、左手により操作している状態と右手により操作している状態が判別される。ここで、操作状態を判定できた場合に、制御部１０３は、判定結果に応じてＵＩの構成を変更する（Ｓ１１１）。

図５Ａ〜図５Ｃは、操作状態に応じたＧＵＩの構成の変更例を示す模式図である。ここで、図５Ａは左手操作時のＵＩの例であり、図５Ｂは両手操作時のＵＩの例であり、図５Ｃは右手操作時のＵＩの例である。

図５Ａ〜図５Ｃに示すように、左手操作、両手操作、右手操作のそれぞれに応じて、フリック上下左右判定のための領域と、遊び領域（無効領域）とが変更される。図５Ａ〜図５Ｃにおいて、「上」、「下」、「右」、「左」のそれぞれで示される領域は、上方向への操作、下方向への操作、右方向への操作、左方向への操作、をそれぞれ検出する領域を示している。例えば、図５Ｂにおいて、指とタッチパネル１０１ｂの接触が、「下」の領域から「上」の領域へ移動した場合、下から上へのフリック操作が行われたことが検知される。

両手により操作している場合、フリックは比較的正確に直線で行われるため、図５Ｂに示すように、上下左右の判定領域の境界は直線とし、遊び領域は少なく、または無しとする。ボタン押下の判定領域も表示されているボタンのサイズとほぼ同じ領域とする。

片手により操作している場合、図５Ａ又は図５Ｃに示すように、上下左右の判定領域の境界を曲線とし、遊びの領域を大きくする。遊びの領域で操作がされた場合、操作方向を一意に特定できないので、操作の受付は行われない。これにより、操作方向を一意に特定できない曖昧な移動操作が行われた場合でも、操作方向の誤判定を確実に抑止できる。また、例えば、右手の親指でタッチパネル１０１ｂ上の操作が行われた場合、親指の付け根の位置（Ｃ１）を中心として親指の先端が円弧を描くように操作されることが多い。この場合、図５Ｂの両手向けＵＩでは、Ｃ１を中心として円弧Ｅに沿った操作が行われると、ユーザーは下から上へのフリック操作を意図しているにも関わらず、円弧Ｅに沿って「下」、「左」、「上」、「右」の各領域を通るようにタッチパネル１０１ｂが操作されるため、誤操作が生じてしまう。

このため、図５Ｃのように右手向けＵＩを変更することによって、ユーザーの操作（円弧Ｅ）は、「下」、「上」の２つの領域を通るようにタッチパネル１０１ｂが操作されるため、ユーザーが意図する下から上へのフリック操作を確実に検出することができる。従って、誤操作が行われることを確実に抑えることができる。

図５Ａに示す左手向けＵＩについても同様に、左手の親指でタッチパネル１０１ｂ上の操作が行われた場合、親指の付け根の位置（Ｃ２）を中心として親指の先端が円弧を描くように操作されるため、図５Ａのように左手向けＵＩを変更することによって、誤操作を確実に抑えることが可能である。

また、右手向けＵＩでは、Ｃ１を中心として円弧Ｅに沿った操作が行われるため、図５Ｃに示す「遊び領域」では操作を受け付けないようにすることで、ユーザーが意図しない操作によって誤操作が行われてしまうことを確実に抑えることができる。

図５Ａに示す左手向けＵＩについても同様に、親指の付け根の位置（Ｃ２）を中心として親指の先端が円弧を描くように操作されるため、遊び領域では操作を受け付けないようにすることで、ユーザーが意図しない操作によって誤操作が行われてしまうことを確実に抑えることができる。

従って、本実施形態によれば、ユーザーが操作する手に応じてＵＩを変更することで、誤操作の発生を確実に低減することができる。

図５Ａ〜図５Ｃに示すように、表示画面の中央下部には操作ボタン２００が表示されている。ユーザーがタッチパネル１０１ｂ上で操作ボタン２００を操作することで、操作ボタン２００に従った入力がタッチパネル１０１ｂに対して行われる。

操作ボタン２００を押し下げる操作において、ユーザーが片手により操作している場合は、両手で操作している場合と比較して指の中心位置がずれる。より詳細には、両手で操作する場合は、操作ボタン２００の位置そのものが押されるケースが多いが、右手で操作する場合は、操作ボタン２００の位置よりも右下にずれた領域が押される場合が多い。同様に、左手で操作する場合は、操作ボタン２００の位置よりも左下にずれた領域が押される場合が多い。

そこで、図５Ａ又は図５Ｃに示すように、操作ボタン２００が押し下げられた際のタッチパネル１０１ｂ上での押し下げの判定領域２１０を、操作ボタン２００の位置よりも下側に移動するとともに、左手操作・右手操作に応じて左右にずらすようにする。左手で操作している場合は、図５Ａに示すように、操作ボタン２００の押し下げの判定領域２１０を操作ボタン２００に対して左下方向（矢印方向）にずらす。また、右手で操作している場合は、図５Ｃに示すように、操作ボタン２００の押し下げの判定領域２１０を右下方向（矢印方向）にずらす。これにより、ユーザーが操作ボタン２００の押し下げを意図しているにも関わらず、操作ボタン２００の押し下げ操作が行われていない状況を確実に回避することが可能である。

また、操作ボタン２００自体など、表示されるパーツ（アイコンなど）の位置を左手操作の場合と右手操作の場合とで左右で入れ替えても良い。この場合においても、操作ボタン２００またはアイコン等を、右手で操作している場合は右下方向にずらし、左手で操作している場合は左下方向にずらすようにする。これにより、操作している指Ｐと操作ボタン２００またはアイコン等との距離が近くなり、操作性を高めることができる。

また、指に対するポインティングカーソルの中心位置を、左手操作の場合と右手操作の場合とでずらしても良い。図６は、右手操作であることが判定された場合に、タッチパネル上で指Ｐの接触が検出された点Ｄｔに対して、カーソルＣｕｒの位置を左上にずらして表示した例を示す模式図である。図６に示すように、右手操作の場合は親指Ｐが画面の左上から右下に延在するため、指Ｐの接触が検出された点Ｄｔに対して、カーソルＣｕｒの位置を左上にずらして表示することにより、カーソルＣｕｒを親指Ｐの先端の所望の位置に表示することができ、ユーザによる操作性を大幅に向上できる。同様に、左手操作の場合は、指Ｐの接触が検出された点Ｄｔに対して、カーソルＣｕｒの位置を右上にずらして表示する。

また、ジェスチャー操作の判定の際に、左手操作と右手操作の場合で最適なアルゴリズムを選ぶようにしてもよい。ユーザが情報処理装置１００を動かした場合のジェスチャーを動き検出部１０９で検出する場合、情報処理装置１００を右手で動かした場合と左手で動かした場合とでは、動きに相違が生じる。このため、ジェスチャーを判定するためのアルゴリズムを右手操作、左手操作、両手操作のそれぞれで変更することにより、各操作に応じた最適なアルゴリズムでジェスチャーを判定することができる。

［４．操作状態の判定処理］
以下では、図７〜図９を参照しながら、操作状態の判定処理について説明する。図７は、操作状態に応じた指Ｐの移動状態を示す図である。図８Ａ〜８Ｃは、右手操作時、左手操作時、両手操作時に検出される指Ｐの移動方向Ｄａを示す図である。図９は、操作状態の判定処理の一例を示すフロー図である。

図７の状態ＳＴ６ａに示すように、右手操作時には、リモートコントローラ１００が右手に把持され、右手の親指Ｐの付け根部がリモートコントローラ１００の右下に位置する。タッチパネル１０１ｂ上で親指Ｐを移動させると、親指Ｐが付け根部を軸として動作することになる。よって、ユーザーが直線方向を意図して親指Ｐを移動させても、親指Ｐが付け根部を軸として円弧を描くように移動し易くなる。なお、左手操作時の移動状態も右手操作時の移動状態と同様に説明することができる。

一方、図７の状態ＳＴ６ｂに示すように、両手操作時には、リモートコントローラ１００が一方の手（例えば左手）により把持され、他方の手（例えば右手）の人差し指Ｐ等がタッチパネル１０１ｂ（タッチパネルディスプレイ１０１）上で移動される。ここで、他方の手の指Ｐは、リモートコントローラ１００を把持している左手に関係せずに、タッチパネル１０１ｂ上で自由に移動される。よって、ユーザーが直線方向を意図して人指し指Ｐを移動させると、人指し指Ｐが直線を描くように移動し易くなる。なお、図７では、移動操作の始点Ｍ０と終点Ｍ１でＸ方向の座標差ΔＸが示されていないが、通常、僅かな座標差ΔＸが生じうる。

図８Ａには、右手操作時に検出される指Ｐの移動方向Ｄａが示されている。この場合、上方向の移動操作を指定した場合には、移動方向Ｄａが右方向に傾き（状態ＳＴ７Ａａ）、下方向の移動操作を指定した場合には、移動方向Ｄａが左方向に傾き易くなる（状態ＳＴ７Ａｂ）。また、左方向の移動操作を指定した場合には、移動方向Ｄａが下方向に傾き（状態ＳＴ７Ａｃ）、右方向の移動操作を指定した場合には、移動方向Ｄａが上方向に傾き易くなる（状態ＳＴ７Ａｄ）。

図８Ｂには、左手操作時に検出される指Ｐの移動方向Ｄａが示されている。この場合、上方向の移動操作を指定した場合には、移動方向Ｄａが左方向に傾き（状態ＳＴ７Ｂａ）、下方向の移動操作を指定した場合には、移動方向Ｄａが右方向に傾き易くなる（状態ＳＴ７Ｂｂ）。また、左方向の移動操作を指定した場合には、移動方向Ｄａが上方向に傾き（状態ＳＴ７Ｂｃ）、右方向の移動操作を指定した場合には、移動方向Ｄａが下方向に傾き易くなる（状態ＳＴ７Ｂｄ）。

図８Ｃには、両手操作時に検出される指Ｐの移動方向Ｄａが示されている。この場合、上下左右いずれの方向の移動操作Ｄｄを指定した場合でも、通常、指が指定した方向に移動されるので、移動方向Ｄａが特定の方向に傾き難くなる（状態ＳＴ７Ｃａ〜ＳＴ７Ｃｄ）。

図９には、操作状態の判定処理の一例が示されている。図９に示す判定処理では、制御部１０３は、まず、タッチパネル１０１ｂに対して上方向の移動操作をユーザーに促す（ステップＳ２０１）。

制御部１０３は、上方向の移動操作の始点Ｍ０と終点Ｍ１のＸ方向の座標差ΔＸ（終点座標−始点座標）の絶対値｜ΔＸ｜が第１の閾値未満Δｔｈ１であるかを判定する（Ｓ２０３）。そして、判定条件に該当すれば、制御部１０３は、両手操作であると判断する（Ｓ２０５）。

ステップＳ２０３の判定条件に該当しなければ、制御部１０３は、絶対値｜ΔＸ｜が第２の閾値Δｔｈ２（≧第１の閾値Δｔｈ１）以上であるかを判定する（Ｓ２０７）。ここで、閾値Δｔｈ２を用いて絶対値｜ΔＸ｜を判定することで、操作状態の誤判定が防止される。

そして、判定条件に該当すれば、制御部１０３は、座標差ΔＸが正値であるかを判定する（Ｓ２０９）。そして、制御部１０３は、座標差ΔＸが正値である場合に右手操作であると判断し（Ｓ２１１）、座標値ΔＸが負値である場合に左手操作であると判断する（Ｓ２１３）。

一方、ステップＳ２０７の処理で、絶対値｜ΔＸ｜が閾値Δｔｈ２未満であると判定された場合に、制御部１０３は、タッチパネル１０１ｂに対して右方向の移動操作をユーザーに促す（Ｓ２１５）。

制御部１０３は、右方向の移動操作の始点座標Ｍ０と終点座標Ｍ１のＹ方向の座標差ΔＹ（終点座標−始点座標）の絶対値｜ΔＹ｜が第２の閾値Δｔｈ２以上であるかを判定する（Ｓ２１７）。ここでも、閾値Δｔｈ２を用いて絶対値｜ΔＹ｜を判定することで、操作状態の誤判定が防止される。

そして、判定条件に該当すれば、制御部１０３は、座標差ΔＹが正値であるかを判定する（Ｓ２１９）。そして、制御部１０３は、座標差ΔＹが正値である場合に右手操作であると判断し（Ｓ２２１）、座標値ΔＹが負値である場合に左手操作であると判断する（Ｓ２２３）。

一方、ステップＳ２１７の処理で、絶対値｜ΔＹ｜が閾値Δｔｈ２未満であると判定された場合に、制御部１０３は、上方向および右方向の移動操作時の判定結果を組合せて操作状態を判定する。これにより、絶対値｜ΔＸ｜、｜ΔＹ｜が小さい場合でも、互いに異なる方向の移動操作時の判定結果を用いて操作状態を判定することができる。

制御部１０３は、Ｘ方向およびＹ方向の座標差ΔＸ、ΔＹの両方が正値であるかを判定する（Ｓ２２５）。そして、制御部１０３は、判定条件に該当する場合に右手操作であると判断する（Ｓ２２７）。

一方、判定条件に該当しない場合、制御部１０３は、Ｘ方向およびＹ方向の座標差ΔＸ、ΔＹの両方が負値であるかを判定する（Ｓ２２９）。そして、制御部１０３は、判定条件に該当する場合に左手操作であると判断し（Ｓ２３１）、判定条件に該当しない場合に判定不能であると判断する（Ｓ２３３）。

なお、上記例では、ステップＳ２０３の処理で第１の閾値Δｔｈ１を用いて両手操作を判定している。しかし、ステップＳ２２９の判定条件に該当しない場合に、判定不能であると判断する代わりに、両手操作であると判断してもよい。また、ステップＳ２１５の後に右方向の移動操作時のＹ方向の座標差ΔＹの絶対値｜ΔＹ｜が閾値Δｔｈ１未満であるかを判定し、判定条件に該当する場合に、両手操作であると判断してもよい。

また、上記例では、上方向および右方向の移動操作時の判定結果を用いて操作状態を判定している。しかし、互いに異なる方向の移動操作であれば、例えば、上方向と下方向、上方向と左方向、左方向と右方向等、いずれの方向の移動操作の判定結果を用いてもよい。ただし、互いに直交する方向の移動操作の判定結果を用いた場合には、タッチパネル１０１ｂのアスペクト比に起因して、移動方向Ｄｄ、Ｄａの差異Δが生じ易いので、操作状態を高い精度で判定することができる。

また、上記例では、ステップＳ２２５以降の処理で、上方向および右方向の移動操作時の判定結果を組合せて操作状態を判定しているが、ステップＳ２１７の処理で判定条件に該当しない場合に判定不能と判断してもよい。

また、上記例では、上方向の移動操作時の閾値と右方向の移動操作時の閾値として、同一の閾値Δｔｈ２を用いているが、例えばΔｔｈ２とΔｔｈ２´等、異なる閾値を用いてもよい。

以上説明したように、本開示の一実施形態に係るリモートコントローラ１００によれば、指定した移動方向Ｄｄと、指定に従って表示パネル１０１ａ上で移動される指Ｐの移動方向Ｄａの差異Δに基づいて、リモートコントローラ１００の操作状態が判定される。リモートコントローラ１００を片手で操作している場合には、指定した移動方向Ｄｄと指Ｐの移動方向Ｄａには、手の構造に起因して、操作に用いられる指Ｐに応じた差異Δが生じ易くなる。一方、リモートコントローラ１００を両手で操作している場合には、指定した移動方向Ｄｄと指Ｐの移動方向Ｄａには、操作に用いられる指Ｐに応じた差異Δが生じ難くなる。このため、移動方向Ｄｄ、Ｄａの差異Δに基づいて、リモートコントローラ１００の操作状態を容易かつ正確に判定することができる。

なお、上記の説明では、タッチパネル１０１ｂに対して上下左右の移動方向Ｄｄが指定される場合について説明したが、例えば、タッチパネル１０１ｂの対角線に沿って斜めの移動方向Ｄｄが指定されてもよい。この場合、指定した対角線沿いの移動方向Ｄｄと、検出した移動方向Ｄａの差異Δ（角度差）に基づいて、リモートコントローラ１００の操作状態を判定することができる。

また、上記の説明では、タッチパネル１０１ｂに接触する指Ｐの移動方向Ｄａを検出する場合について説明したが、タッチパネル１０１に近接する指の移動方向Ｄａを検出してもよい。

また、上記の説明では、ユーザーに所定方向の移動操作を促して操作状態を判定したが、これに限定されるものではない。例えば、ユーザーのフリック操作が任意に行われた場合に、垂直軸または水平軸と指Ｐの移動方向Ｄａの差異Δに基づいて、操作状態を判定することも勿論可能である。また、指Ｐのフリック操作を複数回検出し、複数回の検出結果に基づいて操作状態を判定することで、判定の精度を高めることができる。

図１０は、右手操作、左手操作を検出する他の例を示す模式図である。図１０に示す例では、ユーザがタッチパネル１０１ｂで接触した指Ｐの軌跡（円弧）を検出し、円弧の向きによって右手操作か左手操作かを判定する。

図１０において、軌跡Ｋ１は右手操作の場合を示しており、軌跡Ｋ２は左手操作の場合を示している。右手操作の場合、３つの接触点Ｍ１０，Ｍ１１，Ｍ１２から軌跡Ｋ１が求まる。また、軌跡Ｋ１を円弧とした場合に、その中心ＣＥを求める。右手操作の場合、軌跡Ｋ１は親指の付け根を中心とた円弧となり、円弧の中心は表示パネル１０１ａの右側に位置する。従って、軌跡Ｋ１に対して中心ＣＥが右側に位置している場合は、右手操作であると判定することができる。

左手操作の場合も同様に、軌跡Ｋ２を円弧とした場合に、軌跡Ｋ２に対して中心ＣＥが左側に位置している場合は、左手操作であると判定することができる。

［５．ＵＩを変更する処理］
次に、操作状態に応じてＵＩの構成を変更する処理について説明する。図１１は、操作状態に応じてＵＩの構成を変更する処理を示すフローチャートである。先ず、ステップＳ１０では、フリック操作を検出する。次のステップＳ１２では、フリックの軌跡が、左手操作による曲線、直線、右手操作による曲線、判断不能のいずれであるかを判定する。

フリックの軌跡が左手操作による曲線の場合は、ステップＳ１４へ進む。ステップＳ１４では、図５Ａに示した左手向けＵＩに変更し、左手向けＵＩで上下左右の操作を判別する。

フリックの軌跡が直線の場合は、ステップＳ１６へ進む。ステップＳ１６では、図５Ｂに示した両手向けＵＩに変更し、両手向けＵＩで上下左右の操作を判別する。

フリックの軌跡が右手操作による曲線の場合は、ステップＳ１８へ進む。ステップＳ１８では、図５Ｃに示した右手向けＵＩに変更し、右手向けＵＩで上下左右の操作を判別する。

フリックの軌跡が判断できない場合は、ステップＳ２０へ進む。ステップＳ２０では、ＵＩを変更せずに、前回と同じＵＩで上下左右を判別する。

以上説明したように本実施形態によれば、液晶タッチパネル付きのリモートコントローラ１００を保持しているのが両手か、右手か、左手かを判別して、両手向け、右手向け、左手向けにそれぞれ最適なＵＩに自動で切り換えることで、誤動作を抑止するとともに、操作性を大幅に改善することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）操作面上で移動される指を検出する検出部と、
前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定する判定部と、
前記判定部による判定結果に基づいて、ユーザーの操作の検出に係る処理を変更する処理変更部と、
を備える、情報処理装置。

（２）前記処理変更部は、前記判定部による判定結果に基づいて、前記検出部による検出に基づく操作の判定領域を変更する、前記（１）に記載の情報処理装置。

（３）前記処理変更部は、前記判定領域の境界部分に前記検出部による検出を受け付けない無効領域を設定し、前記判定部による判定結果に基づいて、前記無効領域を変更する、前記（２）に記載の情報処理装置。

（４）前記処理変更部は、前記判定部により右手又は左手による操作と判定された場合は前記無効領域を設定し、前記判定部により両手による操作と判定された場合は前記無効領域を設定する、前記（３）に記載の情報処理装置。

（５）前記操作面と重なるように表示パネルが設けられ、前記表示パネルには操作ボタンが表示され、前記処理変更部は、前記判定部による判定結果に基づいて、前記操作ボタンの押し下げの判定領域を変更する、前記（２）に記載の情報処理装置。

（６）前記処理変更部は、前記判定部により右手による操作と判定された場合は前記判定領域を前記操作ボタンの位置に対して右側に移動し、前記判定部により左手による操作と判定された場合は前記判定領域を前記操作ボタンの位置に対して左側に移動する、前記（５）に記載の情報処理装置。

（７）前記処理変更部は、前記判定部による判定結果に基づいて、検出した指の位置に対するカーソルの中心位置を変更する、前記（１）に記載の情報処理装置。

（８）前記処理変更部は、前記判定部による判定結果に基づいて、ジェスチャーの判定アルゴリズムを変更する、前記（１）に記載の情報処理装置。

（９）操作面上で移動される指を検出することと、
前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定することと、
前記判定の結果に基づいて、ユーザーの操作の検出に係る処理を変更することと、
を備える、情報処理方法。

（１０）操作面上で移動される指を検出する手段、
前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定する手段、
前記判定の結果に基づいて、ユーザー操作の検出に係る処理を変更する手段、
としてコンピュータを機能させるためのプログラム。

（１１）情報処理装置と、前記情報処理装置により遠隔操作される電子機器を有し、
前記情報処理装置は、
操作面上で移動される指を検出する検出部と、
前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定する判定部と、
前記判定部による判定結果に基づいて、ユーザーの操作の検出に係る処理を変更する処理変更部と、
を備える、遠隔操作システム。

１００ リモートコントローラ
１０１ タッチパネルディスプレイ
１０１ａ 表示パネル
１０１ｂ タッチパネル
１０３ 制御部
１０３ａ 判定部
１０３ｂ 処理変更部

Claims (8)

1. 操作面上で移動される指を検出する検出部と、
   前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定する判定部と、
   前記判定部による判定結果に基づいて、ユーザーの操作の検出に係る処理を変更する処理変更部と、
   を備え、
   前記処理変更部は、前記判定部による判定結果に基づいて、前記検出部による検出に基づく操作の判定領域を変更し、前記判定領域の境界部分に前記検出部による検出を受け付けない無効領域を設定し、前記判定部による判定結果に基づいて、前記無効領域を変更し、前記判定部により右手又は左手による操作と判定された場合は前記無効領域を設定し、前記判定部により両手による操作と判定された場合は前記無効領域を設定する、情報処理装置。
2. 前記操作面と重なるように表示パネルが設けられ、前記表示パネルには操作ボタンが表示され、前記処理変更部は、前記判定部による判定結果に基づいて、前記操作ボタンの押し下げの判定領域を変更する、請求項１に記載の情報処理装置。
3. 前記処理変更部は、前記判定部により右手による操作と判定された場合は前記判定領域を前記操作ボタンの位置に対して右側に移動し、前記判定部により左手による操作と判定された場合は前記判定領域を前記操作ボタンの位置に対して左側に移動する、請求項２に記載の情報処理装置。
4. 前記処理変更部は、前記判定部による判定結果に基づいて、検出した指の位置に対するカーソルの中心位置を変更する、請求項１に記載の情報処理装置。
5. 前記処理変更部は、前記判定部による判定結果に基づいて、ジェスチャーの判定アルゴリズムを変更する、請求項１に記載の情報処理装置。
6. 操作面上で移動される指を検出することと、
   前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定することと、
   前記判定の結果に基づいて、ユーザーの操作の検出に係る処理を変更することと、
   を備え、
   前記処理を変更する際に、前記判定の結果に基づいて、前記検出に基づく操作の判定領域を変更し、前記判定領域の境界部分に前記検出を受け付けない無効領域を設定し、前記判定の結果に基づいて、前記無効領域を変更し、前記判定により右手又は左手による操作と判定された場合は前記無効領域を設定し、前記判定により両手による操作と判定された場合は前記無効領域を設定する、情報処理方法。
7. 操作面上で移動される指を検出する手段、
   前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定する手段、
   前記判定の結果に基づいて、ユーザー操作の検出に係る処理を変更する手段であって、前記判定の結果に基づいて、前記検出に基づく操作の判定領域を変更し、前記判定領域の境界部分に前記検出を受け付けない無効領域を設定し、前記判定の結果に基づいて、前記無効領域を変更し、前記判定により右手又は左手による操作と判定された場合は前記無効領域を設定し、前記判定により両手による操作と判定された場合は前記無効領域を設定する手段、
   としてコンピュータを機能させるためのプログラム。
8. 情報処理装置と、前記情報処理装置により遠隔操作される電子機器を有し、
   前記情報処理装置は、
   操作面上で移動される指を検出する検出部と、
   前記操作面上で移動される指の移動軌跡に基づいて、右手、左手、又は両手による操作のいずれかを判定する判定部と、
   前記判定部による判定結果に基づいて、ユーザー操作の検出に係る処理を変更する処理変更部と、
   を備え、
   前記処理変更部は、前記判定部による判定結果に基づいて、前記検出部による検出に基づく操作の判定領域を変更し、前記判定領域の境界部分に前記検出部による検出を受け付けない無効領域を設定し、前記判定部による判定結果に基づいて、前記無効領域を変更し、前記判定部により右手又は左手による操作と判定された場合は前記無効領域を設定し、前記判定部により両手による操作と判定された場合は前記無効領域を設定する、遠隔操作システム。

Images