JP2010277197A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザに対する表示パネルの向きに依存しない操作を可能にする、情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】表示パネル１０１に接触する操作体Ｍの指示方向を検出する操作体検出部１０９と、検出された操作体の指示方向に基づいて、操作体により入力される操作の方向を特定する操作特定部１０７と、を備える。これにより、操作体の指示方向に基づいて操作の方向が特定されるので、操作者に対する表示パネルの向きに依存しない操作が可能になる。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、指、手、スタイラス等の操作体の動作を各種センサにより検出し、ユーザとインタラクションを行う情報処理装置が知られている。情報処理装置は、例えば、センサに対する操作体の接触・近接状態、センサに捉えられる操作体の遠隔動作等を検出し、ユーザにより入力される操作を特定する。

特に、タッチパネル式インタフェースを用いる情報処理装置は、表示パネルに対する操作体の接触状態に基づいて、ユーザにより入力される操作を特定している。ここで、ユーザは、表示パネル上でグラフィカルユーザインタフェース（ＧＵＩ）の表示方向を認識した上で、その方向に対応するように操作を行っている。

例えば、ＧＵＩ表示の上下方向にスライダのオブジェクトが表示されている場合、ユーザは、スライダのツマミを選択し、ＧＵＩ表示の方向を認識した上で、ＧＵＩ表示の上下方向に対応するようにドラッグ操作する。

ここで、ユーザに対する表示パネルの向きとＧＵＩ表示の向きが一致していない場合（例えば、表示パネルの上部がユーザに対して左側となるように配置されている場合）、ユーザは、ＧＵＩ表示の方向に対応する操作を直感的に入力できない場合がある。

この場合、ユーザは、ＧＵＩ表示の上下方向に対応するように、表示パネルに対して左右方向にドラッグ操作することとなる。また、ユーザは、表示パネルの向きを変更した後、ＧＵＩ表示の上下方向に対応するように、表示パネルに対して上下方向にドラッグ操作することになる。

いずれにしても、ユーザは、ＧＵＩ表示の方向、換言すればユーザに対する表示パネルの向きに依存した操作を強いられるので、必ずしも良好な操作環境を享受できているといえない。

近年では、特に、オブジェクトを介してコンテンツを間接的に操作する代わりに、コンテンツ自体を直接的に操作する（表示パネル上の位置を特定せずに操作する。）ことが行われている。このため、ユーザに対する表示パネルの向きに依存しない操作を可能にすれば、直感的な操作が可能となり、操作環境の向上を図ることができる。

そこで、本発明は、ユーザに対する表示パネルの向きに依存しない操作を可能にする、情報処理装置、情報処理方法およびプログラムを提供しようとするものである。

本発明の第１の観点によれば、表示パネルに接触する操作体の指示方向を検出する操作体検出部と、検出された操作体の指示方向に基づいて、操作体により入力される操作の方向を特定する操作特定部と、を備える情報処理装置が提供される。ここで、上記操作体検出部は、操作体の先端部の向きに基づいて、操作体の指示方向を決定してもよい。これにより、操作体の指示方向に基づいて操作の方向が特定されるので、操作者に対する表示パネルの向きに依存しない操作が可能になる。

上記操作体検出部は、表示パネルに接触して移動する操作体の指示方向および移動方向を検出し、操作特定部は、検出された操作体の指示方向および移動方向に基づいて、操作体により入力される操作の方向を特定してもよい。ここで、上記操作特定部は、検出された操作体の指示方向と移動方向により定義される角度に基づいて、操作体により入力される操作の方向を特定してもよい。これにより、操作体の指示方向および移動方向から特定された操作の方向に基づいて、操作者に対する表示パネルの向きに依存しないドラッグ操作が可能になる。

上記情報処理装置は、表示パネルの表示を制御する表示制御部をさらに備え、上記操作特定部は、検出された操作体の指示方向に基づいて、表示パネルの表示を回転させる操作の方向を特定し、表示制御部は、特定された操作の方向に応じて表示パネルの表示を回転させてもよい。これにより、操作体の指示方向から特定された操作の方向に基づいて回転する表示パネルの表示に基づいて、操作者に対する表示パネルの向きに依存しない操作が可能になる。

上記操作体検出部は、操作体の指示方向を連続して検出し、連続して検出された操作体の指示方向が所定の閾値内にある場合に、連続して検出された操作体の指示方向に基づいて、操作体の指示方向を決定してもよい。これにより、操作体の指示方向の検出精度を高めることができる。

また、本発明の第２の観点によれば、表示パネルに接触する操作体の指示方向を検出するステップと、検出された操作体の指示方向に基づいて、操作体により入力される操作の方向を特定するステップと、を含む情報処理方法が提供される。

また、本発明の第３の観点によれば、本発明の第２の観点による情報処理方法をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、ユーザに対する表示パネルの向きに依存しない操作を可能にする、情報処理装置、情報処理方法およびプログラムを提供することができる。

本発明の一実施形態に係る情報処理装置の概要を示す図である。 本発明の一実施形態に係る情報処理装置の機能構成例を示すブロック図である。 表示パネル上の操作体の状態を示す図である。 図３Ａに示す状態において、センサ画像上で特定された領域を示す図である。 表示パネル上の操作体の状態を示す図である。 図４Ａに示す状態において、センサ画像上で特定された領域を示す図である。 図３ＡのＡ−Ａ線上の輝度値の分布を示す図である。 図３ＡのＢ−Ｂ線上の輝度値の分布を示す図である。 操作方向の特定処理を示すフロー図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 操作方向の特定処理を示す模式図である。 表示方向の回転処理を示すフロー図である。 表示方向の回転処理を示す模式図である。 表示方向の回転処理を示す模式図である。 近接ジェスチャに基づく操作の特定処理を示すフロー図である。 近接ジェスチャに基づく操作の特定処理（静止ジェスチャ）を示す模式図である。 近接ジェスチャに基づく操作の特定処理（反復移動ジェスチャ）を示す模式図である。 近接ジェスチャに基づく操作の特定処理（移動ジェスチャ）を示す模式図である。 接触ジェスチャに基づく操作の特定処理を示すフロー図である。 接触ジェスチャに基づく操作の特定処理（ポイントジェスチャ）を示す模式図である。 接触ジェスチャに基づく操作の特定処理（プッシュジェスチャ）を示す模式図である。 接触ジェスチャに基づく操作の特定処理（カバージェスチャ）を示す模式図である。 接触・近接状態に基づく操作の特定処理を示すフロー図である。 近接検出モードの制御処理を示すフロー図である。 近接検出モードの制御処理を示す模式図である。 近接検出モードの制御処理を示す模式図である。 近接・遠隔検出モードの制御処理を示すフロー図である。 近接・遠隔検出モードの制御処理を示す模式図である。 近接・遠隔検出モードの制御処理を示す模式図である。 接触検出モードの制御処理を示すフロー図である。 接触検出モードの制御処理を示す模式図である。 接触検出モードの制御処理を示す模式図である。 アプリケーションの起動制御処理を示すフロー図である。 アプリケーションの起動制御処理を示す模式図である。 アプリケーションの起動制御処理を示す模式図である。 アプリケーションの起動制御処理を示す模式図である。 情報処理装置のハードウェア構成例を示すブロック図である。

以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［１．情報処理装置１００の概要］
図１は、本発明の一実施形態に係る情報処理装置１００の概要を示す図である。本発明の一実施形態に係る情報処理装置１００は、指、手、スタイラス等の操作体Ｍの表示パネル１０１に対する接触状態を少なくとも検出する。なお、以下では、情報処理装置１００が表示パネル１０１を内蔵する場合について説明するが、情報処理装置１００は、通信手段を介して表示パネル１０１に接続されてもよい。

情報処理装置１００は、表示パネル１０１に接触する操作体Ｍの指示方向を検出し、検出された操作体Ｍの指示方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。ここで、情報処理装置１００は、例えば、指の先端等、操作体Ｍの先端部の向きに基づいて、操作体Ｍの指示方向を検出する。これにより、操作体Ｍの指示方向に基づいて操作の方向が特定されるので、ユーザに対する表示パネル１０１の向きに依存しない操作が可能になる。

特に、情報処理装置１００は、表示パネル１０１に接触して移動する操作体Ｍの指示方向および移動方向を検出し、検出された操作体Ｍの指示方向および移動方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。これにより、表示パネル１０１の向きが横向きまたは縦向きにかかわらず、が操作体Ｍの指示方向および移動方向から特定された操作の方向に基づいて、ユーザに対する表示パネル１０１の向きに依存しないドラッグ操作が可能になる。

［２．情報処理装置１００の機能構成］
図２は、本発明の一実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、表示パネル１０１、遠隔センサ１０７、操作体検出部１０９、状態検出部１１１、記憶部１１３、表示制御部１１５、制御部１１７を含んで構成される。

表示パネル１０１は、接触近接センサ１０３および表示部１０５として機能する。接触近接センサ１０３は、操作体Ｍの接触・近接状態を捉える。接触近接センサ１０３は、光学式、静電容量式等のセンサであるが、以下では、表示パネル１０１の受光状態に基づいて、操作体Ｍの接触・近接状態を捉える場合を想定する。表示部１０５は、表示制御部１１５の制御下で、オブジェクト、コンテンツ、アプリケーションの処理結果等を表示する。なお、オブジェクトとは、例えば、アイコン、ボタン、サムネイル等、ＧＵＩを構成する任意のオブジェクトである。

遠隔センサ１０７は、ステレオカメラ等からなり、所定のジェスチャ等、操作体Ｍの遠隔動作を撮像して捉える。

操作体検出部１０９は、接触近接センサ１０３および遠隔センサ１０７を用いて操作体Ｍの状態を検出する。操作体検出部１０９は、操作体Ｍの接触・近接・移動状態、遠隔動作を検出する。操作体検出部１０９は、特に操作体Ｍの指示方向、所定のジェスチャ等を検出する。操作体検出部１０９は、表示パネル１０１に対する操作体Ｍの指示方向を検出し、特に、表示パネル１０１に接触して移動する操作体Ｍの指示方向および移動方向を検出する。なお、接触時とともに近接時にも操作体Ｍの指示方向を検出してもよい。

操作体検出部１０９は、表示パネル１０１の受光状態に基づいて、表示パネル１０１に対する操作体Ｍの接触・近接の有無、操作体Ｍの接触・近接面積、操作体Ｍの指示方向、接触・近接ジェスチャを検出する。なお、接触近接センサ１０３による操作体Ｍの検出方法の詳細については後述する。操作体検出部１０９は、遠隔センサ１０７の撮像結果に基づいて、遠隔ジェスチャを検出する。操作体検出部１０９は、操作体Ｍの接触・近接・遠隔動作を、予め登録されたジェスチャ情報と照合することで、所定のジェスチャを検出する。

状態検出部１１１は、加速度センサ、ジャイロセンサ等を含み、自装置の静止状態、向きを検出する。表示制御部１１５は、表示部１０５によるオブジェクト、コンテンツ、アプリケーションの処理結果等の表示を制御する。

記憶部１１３は、情報処理プログラム、アプリケーションプログラム、オブジェクトのデータ、ジェスチャ情報等を記憶している。制御部１１７は、情報処理プログラムの実行により各部を制御し、情報処理装置１００全体の動作を制御する。

制御部１１７は、操作体Ｍの指示方向に基づいて、操作体Ｍにより入力される操作の方向を特定する操作特定部として機能する。ここで、制御部１１７は、特に、検出された操作体Ｍの指示方向および移動方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。

また、制御部１１７は、自装置の静止状態または向きに応じて、操作体Ｍによる自装置に対する操作を検出するモードを制御するモード制御部として機能する。

［３．操作体Ｍの検出方法］
表示パネル１０１には、ＲＧＢ画素および受光センサがマトリクス状に配置されている。受光センサは、表示パネル１０１から放射されて操作体Ｍで反射された光を受光し、受光状態に基づいて、操作体Ｍの接触・近接状態を捉えることで、接触近接センサ１０３として機能する。そして、操作体検出部１０９は、接触近接センサ１０３の出力結果をデジタル処理することで、センサ画像Ｓを生成する。

操作体検出部１０９は、センサ画像Ｓに基づいて各画素に対応する受光状態を表す輝度値を算出し、所定の２つの閾値Ｔｈ１、Ｔｈ２を用いて輝度値を３値化処理する。３値化処理では、各画素の輝度値が第１、第２、第３のカテゴリに分類され、センサ画像Ｓの領域が各カテゴリに対応する第１、第２、第３の領域Ａ１、Ａ２、Ａ３に区分される。第１、第２、第３の領域Ａ１、Ａ２、Ａ３は、輝度大、輝度中、輝度小の領域に対応しており、操作体Ｍの接触領域、近接領域、非接触・非近接領域として各々に特定される。

操作体検出部１０９は、第１の領域Ａ１の存在に基づいて、表示パネル１０１に対する操作体Ｍの接触を検出し、第２の領域Ａ２の存在に基づいて、表示パネル１０１に対する操作体Ｍの近接を検出する。また、操作体検出部１０９は、第１および第２の領域Ａ１、Ａ２の面積を算出することで、操作体Ｍの接触面積および近接面積を各々に検出する。

特に、操作体検出部１０９は、第１および第２の領域Ａ１、Ａ２の重心位置Ｇ１、Ｇ２を算出し、算出された重心位置Ｇ１、Ｇ２同士を結ぶ直線（重心線）の方向を算出し、第１の領域Ａ１の重心位置Ｇ１および重心線に基づいて、操作体Ｍの指示方向を検出する。操作体Ｍの指示方向は、第１の領域Ａ１の重心位置Ｇ１を重心線に沿って指示する方向として定義される。

以下では、図３〜図５を参照しながら、操作体Ｍの指示方向の検出方法について説明する。図３および図４は、表示パネル１０１上の操作体Ｍの状態（図３Ａ、図４Ａ）、およびセンサ画像Ｓ１、Ｓ２上で特定された第１および第２の領域（図３Ｂ、図４Ｂ）を示す図である。図５は、図３Ｂのセンサ画像Ｓ１上の輝度値の分布を示す図であり、図５Ａおよび図５ＢがＡ−Ａ線上およびＢ−Ｂ線上の輝度値の分布を各々に示している。

図３および図４には、表示パネル１０１上で操作体Ｍの指示方向を変更する場合が示されている。この場合、通常、操作体Ｍの先端部（指先）が表示パネル１０１に接触し、先端部以外の部分（指の腹）が表示パネル１０１に近接する。

図３に示す状態では、操作体Ｍは、ＧＵＩ表示の上方向を指示している（図３Ａ参照）。この場合、操作体検出部１０９は、センサ画像Ｓ１上の輝度値の分布に基づいて、ＧＵＩ表示の上方向として操作体Ｍの指示方向を検出する（図３Ｂ参照）。例えば、図５に示す例では、Ａ−Ａ線上で検出された第１および第２の領域Ａ１、Ａ２により、操作体Ｍの接触および近接が検出され（図５Ａ参照）、Ｂ−Ｂ線上で検出された第２の領域Ａ２により、操作体Ｍの近接が検出される（図５Ｂ参照）。

図４に示す状態では、操作体Ｍは、ＧＵＩ表示の左上方向を指示している（図４Ａ参照）。この場合、操作体検出部１０９は、センサ画像Ｓ２上の輝度値の分布に基づいて、ＧＵＩ表示の左上方向として操作体Ｍの指示方向を検出する（図４Ｂ参照）。

［４−１．操作方向の特定処理］
以下では、表示パネル１０１に接触して移動する操作体Ｍの指示方向および移動方向に基づいて、操作体Ｍにより入力される操作の方向を特定する処理について説明する。

図８は、操作方向の特定処理を示すフロー図であり、図７および図８は、操作方向の特定処理を示す模式図である。

操作体検出部１０９は、操作体Ｍの接触を検知すると（ステップＳ１０１）、前述した操作体Ｍの検出方法に基づいて、操作体Ｍの指示方向を検出する（Ｓ１０３）。ここで、操作体Ｍの指示方向は、操作体Ｍが移動している状態、移動していない状態のいずれで検出されてもよい。

操作体Ｍの指示方向は、図７Ａに示すように、例えば表示パネル１０１上で仮想的に設定される座標系に基づいて角度θ１として定義される。座標系は、表示パネル１０１の向きに依存せずに設定可能であるが、以下では表示パネル１０１の上下方向および左右方向に対応して通常の直交座標系が設定される場合を想定する。この場合、角度θは、直交座標系の第１象限から第４象限に至る反時計回りに定義される。

操作体検出部１０９は、所定フレーム数に亘って角度θ１を連続して検出したかを判定する（Ｓ１０５）。各検出値は、例えば不図示のバッファ等に保存される。そして、操作体検出部１０９は、検出結果の変動が所定の閾値θｔ未満であれば（Ｓ１０７）、検出結果の中間値等として角度θ１を決定する（Ｓ１０９）。

操作体検出部１０９は、角度θ１を決定した後に、操作体Ｍの移動開始点と移動終了点を検出し（Ｓ１１１）、操作体Ｍの移動方向を決定する（Ｓ１１３）。操作体Ｍの移動方向は、図７Ｂに示すように、操作体Ｍの移動開始点と移動終了点を結ぶ移動ベクトルＶに基づいて、角度θ１と同一の座標系に基づいて角度θ２として定義される。

以下では、説明の便宜上、操作体Ｍが一直線上で移動する場合を想定する。この場合、移動開始点は、操作体Ｍの接触を検出していない状態で、操作体Ｍの接触が最初に検出された点として定義される。同様に、移動終了点は、接触を伴う操作体Ｍの移動を検出している状態で、操作体Ｍの非接触が最初に検出された点として定義される。なお、操作体Ｍが屈曲移動する場合、移動方向の変化点に基づいて、屈曲移動毎に移動開始点および移動終了点を定義できる。

制御部１１７は、操作体Ｍの指示方向および移動方向を表す角度θ１、θ２の差分Δθ（＝θ１−θ２）を決定する（Ｓ１１５）。制御部１１７は、差分Δθに基づいて、操作体Ｍにより入力される操作の方向を特定する（Ｓ１１７、Ｓ１１９、Ｓ１２１）。操作方向は、図７Ｃに示すように、角度θ１と角度θ２の差分Δθに基づいて特定される。

操作方向は、例えば、−４５°≦Δθ＜４５°である場合に上方向として特定され（Ｓ１２３）、４５°≦Δθ＜１３５°である場合に左方向として特定される（Ｓ１２５）。同様に、操作方向は、１３５°≦Δθ＜１８０°または−１８０°≦Δθ＜−１３５°である場合に下方向として特定され（Ｓ１２７）、−１３５°≦Δθ＜−４５°である場合に右方向として特定される（Ｓ１２９）。

なお、操作方向の特定精度を高めるために、角度範囲は、例えば−３０°≦Δθ＜３０°の場合に上方向の操作方向として特定するようにしてもよい。また、ユーザの利き手に応じて、角度範囲を調整してもよい。

図８には、操作方向の特定処理の一例として、ＧＵＩ表示の上下方向に表示されているスライダＯのツマミＴを選択し、上方向に操作する場合が示されている。

図８Ａに示すように、ユーザに対する表示パネル１０１の向きとＧＵＩ表示の向きが一致している場合（例えば、表示パネル１０１の上部がユーザに対して上側となるように配置されている場合）、ユーザは、ＧＵＩ表示の上方向に対応するように、表示パネル１０１に対して上方向にツマミＴをドラッグ操作する。ここで、ドラッグ操作は、ツマミＴを対象として行われてもよく、ツマミＴが選択された状態で、オブジェクトが表示されていない領域等で行われてもよい。

例えば、操作体Ｍの指示方向および移動方向が角度θ１＝１３５°、角度θ２＝１２０°として検出されると、差分Δθ＝１５°となり、図７Ｃに示したように、上方向の操作が特定される。これにより、ユーザは、スライダＯを上方向に操作できる。

一方、図８Ｂに示すように、ユーザに対する表示パネル１０１の向きとＧＵＩ表示の向きが一致していない場合（例えば、表示パネル１０１の上部がユーザに対して左側となるように配置されている場合）、ユーザは、ＧＵＩ表示の右方向に対応するように、表示パネル１０１に対して上方向にドラッグ操作する。

例えば、操作体Ｍの指示方向および移動方向が角度θ１＝４５°、角度θ２＝２０°として検出されると、差分Δθ＝２５°となり、図７Ｃに示したように、上方向の操作が特定される。これにより、ユーザは、ユーザに対する表示パネル１０１の向きとＧＵＩ表示の向きが一致していない場合（図８Ｂ）でも、両方の向きが一致している場合（図８Ａ）と同様に、表示パネル１０１に対して上方向にドラッグ操作することで、スライダＯを上方向に操作できる。

よって、ユーザは、ＧＵＩ表示の方向を認識した上で、ＧＵＩ表示の方向に対応するようにドラッグ操作したり、表示パネル１０１の向きを変更した後にドラッグ操作したりせずにすむ。このため、ＧＵＩ表示の方向、換言すれば表示パネル１０１の向きに依存しない操作が可能になり、操作環境の向上を図ることができる。

例えば、上／下方向の操作により音量を大きく／小さく調節する場合、左／右方向の操作により再生時点を前／後に調節する場合、上／下／左／右方向の操作に対応して表示パネル１０１の表示をスクロールさせる場合には、表示パネル１０１の向きに依存しない直感的な操作が可能となる。特に、オブジェクトを指定せずにコンテンツ自体を直接的に操作する場合（表示パネル１０１上で位置を特定せずにドラッグ操作する場合）に、操作性を向上させることができる。

［４−２．表示方向の回転処理］
以下では、操作体Ｍの指示方向に基づいて、表示パネル１０１のＧＵＩ表示を回転させる操作の方向を特定する処理について説明する。

図９および図１０は、表示方向の回転処理を示すフロー図および模式図である。図１０には、表示方向を下方向に回転する場合（図１０Ａ）および左方向に回転する場合（図１０Ｂ）が示されている。

操作体検出部１０９は、操作体Ｍの接触を検知すると（Ｓ２０１）、前述した操作体Ｍの検出方法に基づいて、操作体Ｍの指示方向を検出する（Ｓ２０３）。ここで、操作体Ｍの指示方向は、操作体Ｍが移動している状態、移動していない状態のいずれで検出されてもよい。

操作体Ｍの指示方向は、図１０Ａ、１０Ｂに示すように、例えば表示パネル１０１上で仮想的に設定される座標系に基づいて角度θ１として定義される。以下では、表示パネル１０１の上下方向および左右方向に対応して通常の直交座標系が設定される場合を想定する。この場合、角度θ１は、直交座標系上で第１象限から第４象限に至る反時計回りに定義される。

操作体検出部１０９は、所定フレーム数に亘って角度θ１を連続して検出しているかを判定する（Ｓ２０５）。そして、操作体検出部１０９は、検出結果の変動が所定の閾値θｔ未満であれば（Ｓ２０７）、検出結果の中間値等として角度θ１を決定する（Ｓ２０９）。

制御部１１７は、操作体Ｍの指示方向を表す角度θ１に基づいて、表示パネル１０１のＧＵＩ表示を回転させる操作の方向を特定する（Ｓ２１１、Ｓ２１３、Ｓ２１５）。表示方向は、例えば、４５°≦θ１＜１３５°である場合に下方向として特定され（Ｓ２１７）、１３５°≦θ１＜２２５°である場合に右方向として特定される（Ｓ２１９）。同様に、表示方向は、２２５°≦θ１＜３１５°である場合に上方向として特定され（Ｓ２２１）、０°≦θ１＜４５°または３１５°≦θ１＜３６０°である場合に左方向として特定される（Ｓ２２３）。

なお、操作方向の特定精度を高めるために、角度範囲は、例えば３０°≦Δθ＜１２０°の場合に下方向として特定するようにしてもよい。また、ユーザの利き手に応じて、角度範囲を調整してもよい。

ここで、ＧＵＩ表示の回転後の方向は、通常使用時（正位置）の表示パネル１０１に対して、ＧＵＩ表示の上側が表示される向きとして定義される。つまり、表示方向が下方向とは、正位置の表示パネル１０１の下部にＧＵＩ表示の上側が表示されることを意味し、表示方向が左方向とは、正位置の表示パネル１０１の左部にＧＵＩ表示の上側が表示されることを意味する。

表示制御部１１５は、表示方向が特定されると、表示方向の変更が必要な場合（Ｓ２２５）には、特定された操作の方向に応じて表示パネル１０１のＧＵＩ表示を回転するように、表示部１０５を制御する（Ｓ２２７）。なお、指示方向が再び変化すると、変更後の指示方向に応じて表示方向が変更される。

これにより、操作体Ｍの指示方向に基づいて、表示パネル１０１のＧＵＩ表示の方向を回転させることで、ＧＵＩ表示の方向、換言すれば表示パネル１０１の向きに依存しない操作が可能になり、操作環境の向上を図ることができる。

［４−３．近接ジェスチャに基づく操作の特定処理］
以下では、表示パネル１０１上での操作体Ｍによる近接ジェスチャに基づいて、操作体Ｍにより入力される操作を特定する処理について説明する。

図１１および図１２は、近接ジェスチャに基づく操作の特定処理を示すフロー図および模式図である。図１２には、近接ジェスチャの一例として、操作体Ｍの静止ジェスチャ（図１２Ａ）、操作体Ｍの反復移動ジェスチャ（図１２Ｂ）、操作体Ｍの移動ジェスチャ（図１２Ｃ）が示されている。

例えば、操作体Ｍの静止ジェスチャは、表示パネル１０１上で手を静止させる動作として検出される。操作体Ｍの反復移動ジェスチャは、表示パネル１０１上で手を水平方向（および／または垂直方向）で反復移動させる動作として検出される。操作体Ｍの移動ジェスチャは、表示パネル１０１上で手を水平方向（および／または垂直方向）で移動させる動作として検出される。

以下では、操作体Ｍの静止ジェスチャ、反復移動ジェスチャ、および移動ジェスチャに対応する３つの操作を特定する場合について説明するが、他の近接ジェスチャに基づいて、４以上の操作を特定してもよい。なお、各近接ジェスチャには、予めジェスチャ情報および特定の操作が対応付けられているものとする。

操作体検出部１０９は、操作体Ｍの近接を検知すると（Ｓ３０１）、所定期間（例えば５００ｍｓ）に亘って操作体Ｍの近接の有無を連続して検出しているかを判定する（Ｓ３０３）。操作体検出部１０９は、操作体Ｍの近接を連続して検出していれば、移動状態の検出を開始し（Ｓ３０５）、検出していなければ、操作体Ｍの近接を継続して検知する。

操作体Ｍの移動状態は、接触近接センサ１０３の検出範囲内で、表示パネル１０１に対する操作体Ｍの水平移動および／または垂直移動として検出される。操作体Ｍの移動状態は、例えば、操作体Ｍの移動量・速度・加速度等として検出されるが、以下では、操作体Ｍの移動速度ｖを検出する場合を想定する。

操作体検出部１０９は、所定フレーム数に亘って操作体Ｍの移動速度ｖを連続して検出しているかを判定する（Ｓ３０７）。

制御部１１７は、操作体Ｍの移動速度ｖの絶対値が所定の閾値ｖｔ未満であるかを判定する（Ｓ３１３）。そして、制御部１１７は、判定結果が肯定的であれば、静止ジェスチャに対応する操作を特定する（Ｓ３１５）。一方、制御部１１７は、移動速度ｖが閾値ｖｔ以上であり、かつ、移動速度ｖの変化に一定の反復性が認められれば（Ｓ３１７で“Ｙｅｓ”の場合）、反復移動ジェスチャに対応する操作を特定する（Ｓ３１９）。また、制御部１１７は、移動速度ｖが閾値ｖｔ以上であり、かつ、移動速度ｖの変化に一定の反復性が認められなければ（Ｓ３１７で“Ｎｏ”
の場合）、移動ジェスチャに対応する操作を特定する（Ｓ３２１）。

ここで、操作体検出部１０９は、操作体Ｍの移動速度ｖとともに、近接面積Ａａを検出してもよい（Ｓ３０９）。そして、制御部１１７は、近接面積Ａａが所定の閾値Ａａｔ（例えば、表示パネル１０１の面積の７０％）を満たす場合にのみ（Ｓ３１１）、移動速度ｖに基づいて操作を特定することで、近接ジェスチャに基づく操作を正確に特定できる。なお、近接面積Ａａは、移動速度ｖと閾値Ｖｔとの比較判定（Ｓ３１３、Ｓ３１７）後に判定されてもよい。

これにより、表示パネル１０１上での操作体Ｍの近接ジェスチャに基づいて、様々な操作の入力が可能となる。よって、ユーザは、表示パネル１０１上のオブジェクト（または情報処理装置１００の操作子）に操作体Ｍを接触させずに、操作体Ｍにより所望の操作を素早く入力できる。また、静止ジェスチャを消音操作に対応付け、反復移動ジェスチャを再生順序のシャッフル操作に対応付け、移動ジェスチャを再生順序の送り操作に対応付ける等、各近接ジェスチャに任意の意味づけをすることで、ユーザは、直感的な操作を行うことができる。

［４−４．接触ジェスチャに基づく操作の特定処理］
以下では、表示パネル１０１上での操作体Ｍによる接触ジェスチャに基づいて、操作体Ｍにより入力される操作を特定する処理について説明する。

図１３および図１４は、接触ジェスチャに基づく操作の特定処理を示すフロー図および模式図である。図１４には、接触ジェスチャの一例として、オブジェクトを指定したポイントジェスチャ（図１４Ａ）、オブジェクトを指定したプッシュジェスチャ（図１４Ｂ）、オブジェクトを指定しないカバージェスチャ（図１４Ｃ）が示されている。

例えば、ポイントジェスチャは、オブジェクトに指先を接触させる動作であり、プッシュジェスチャは、オブジェクトに指の腹を接触させる動作である。また、カバージェスチャは、例えば、表示パネル１０１を複数の指で覆う動作である。ここで、各接触ジェスチャは、表示パネル１０１に対する操作体Ｍの接触面積（および／または接触形状）に基づいて検出される。

以下では、ポイントジェスチャ、プッシュジェスチャ、カバージェスチャに対応する３つの操作を特定する場合について説明するが、他の接触ジェスチャに基づいて、４以上の操作を特定してもよい。なお、各接触ジェスチャには、予めジェスチャ情報および特定の操作が対応付けられているものとする。

操作体検出部１０９は、操作体Ｍの接触を検出すると（Ｓ４０１）、操作体Ｍの接触位置Ｐおよび接触面積Ａｔを検出する（Ｓ４０３）。

制御部１１７は、操作体Ｍの接触位置Ｐが特定のオブジェクトの領域内であるかを判定する（Ｓ４０５）。接触位置Ｐとオブジェクト領域との関係は、記憶部１１３に記憶されているオブジェクトの位置に基づいて判定される。また、接触位置Ｐが複数のオブジェクトの領域内にある場合、オブジェクトを指定しないジェスチャが検出される。

そして、判定結果が肯定的である場合に、制御部１１７は、接触面積Ａｔを所定の閾値Ａｔｔ１と比較する（Ｓ４０７）。そして、制御部１１７は、接触面積Ａｔが閾値Ａｔｔ１未満であれば、ポイントジェスチャに対応する操作を特定し（Ｓ４０９）、閾値Ａｔｔ１以上であれば、プッシュジェスチャに対応する操作を特定する（Ｓ４１１）。

一方、ステップＳ４０５の判定結果が否定的である場合に、制御部１１７は、接触面積Ａｔを所定の閾値Ａｔｔ２（Ａｔｔ１＜Ａｔｔ２）と比較する（Ｓ４１３）。そして、制御部１１７は、接触面積Ａが閾値Ａｔｔ２以上であれば、カバージェスチャに対応する操作を特定する（Ｓ４１５）。

ここで、接触面積Ａｔは、接触位置Ｐとオブジェクト領域との比較判定（Ｓ４０５）後に判定されてもよい。また、操作体検出部１０９は、接触面積Ａｔとともに、接触領域の形状、操作体Ｍの近接状態等を検出してもよい。そして、制御部１１７は、接触領域の形状、操作体Ｍの近接状態に基づいて、指先、指の腹等の接触が検知された場合にのみ、接触面積Ａｔに基づいて操作を特定することで、接触ジェスチャに基づく操作を正確に特定できる。

これにより、表示パネル１０１上での操作体Ｍによる接触ジェスチャに基づいて、様々な操作の入力が可能となる。特に、指先によるジェスチャに局所的な操作を対応付け、手の平によるジェスチャに大局的な操作を対応付ける等、各接触ジェスチャに任意の意味づけをすることで、ユーザは、直感的な操作を行うことができる。

［４−５．接触・近接状態に基づく操作の特定処理］
以下では、表示パネル１０１上での操作体Ｍの接触・近接状態に基づいて、操作体Ｍにより入力される操作を特定する処理について説明する。

図１５は、接触・近接状態に基づく操作の特定処理を示すフロー図である。

特定処理の開始に際して、操作体検出部１０９は、表示パネル１０１に対する操作体Ｍの接触の有無を検知し、接触を検知すると（Ｓ５０１）、操作体Ｍの接触位置Ｐおよび接触面積Ａｔを検出する（Ｓ５０３）。

制御部１１７は、接触面積Ａｔが閾値Ａｔｔ未満であるかを判定する（Ｓ５０５）。判定結果が否定的である場合に、制御部１１７は、接触シェード操作（カバージェスチャに対応する操作）を特定する（Ｓ５１３）。一方、判定結果が肯定的である場合に、制御部１１７は、入力起点と接触位置Ｐの差が閾値Ｍｔ以上であるかを判定し（Ｓ５０７）、判定結果が肯定的である場合に、ドラッグ操作を特定する（Ｓ５０９）。ここで、ドラッグ操作が特定されると、前述した操作方向の特定処理が行われる（Ｓ５１１）。一方、判定結果が否定的である場合に、処理が再開される。

処理の開始に際して、操作体検出部１０９は、表示パネル１０１に対する操作体Ｍの近接の有無を検知する（Ｓ５１５）。近接を検知すると、操作体検出部１０９は、所定時間に亘って操作体Ｍの近接を連続して検出していれば（Ｓ５１７で“Ｙｅｓ”）、操作体Ｍの移動速度ｖおよび近接面積Ａａの検出を開始し（Ｓ５１９）、連続検出していなければ（Ｓ５１７で“Ｎｏ”）、処理が再開される。次に、制御部１１７は、近接面積Ａａが閾値Ａａｔ以上であるかを判定し（Ｓ５２１）、判定結果が否定的である場合に、処理が再開される。

一方、ステップＳ５２１の判定結果が肯定的である場合に、制御部１１７は、所定フレーム数に亘って連続検出される移動速度ｖの絶対値が閾値ｖｔ未満であるかを判定する（Ｓ５２３）。そして、制御部１１７は、判定結果が肯定的である場合に、近接シェード操作（静止ジェスチャに対応する操作）を特定し（Ｓ５２５）、判定結果が否定的である場合に、近接シェイク操作（反復移動ジェスチャに対応する操作）を特定する（Ｓ５２７）。

処理の開始に際して、制御部１１７は、操作体Ｍの接触を継続的に検知していたかを判定する（Ｓ５２９）。制御部１１７は、接触面積Ａｔが所定の閾値Ａｔｔ未満であったかを判定する（Ｓ５３１）。そして、制御部１１７は、判定結果が肯定的である場合に、入力起点と接触位置Ｐの差が閾値Ｍｔ未満であるかを判定し（Ｓ５３３）、判定結果が肯定的である場合に、タップ操作を特定する（Ｓ５３５）。一方、ステップＳ５２９、Ｓ５３１、Ｓ５３３で判定結果が否定的である場合に、処理が再開される。

操作体Ｍの近接状態を検出する場合、表示パネル１０１と操作体Ｍとが隔てられているので、接触状態の検出に比べて、誤検出を生じる可能性が高くなる。しかし、所定閾値Ａａｔ以上の近接面積Ａａが検出される場合にのみ、近接ジェスチャとして捉えることで、誤検出を抑制できる。

また、操作体Ｍの接触・近接状態を同時に検出する場合、ユーザが意図する接触ジェスチャを近接ジェスチャとして捉えてしまうことで、誤検出を生じる可能性が高くなる。しかし、所定の継続時間に亘って近接状態が検出される場合にのみ、近接ジェスチャとして捉えることで、誤検出を抑制できる。

［５．検出モードの制御方法］
以下では、情報処理装置１００（以下では自装置とも称する。）の静止状態または向きに応じて、操作体Ｍによる自装置に対する操作を検出するモードを制御する方法について説明する。

［５−１．近接検出モードの制御方法］
まず、自装置の静止状態に応じて、操作体Ｍによる表示パネル１０１に対する近接操作を検出するモードを制御する実施例について説明する。

接触近接センサ１０３は、接触操作の検出部と近接操作の検出部からなる。接触近接センサ１０３は、情報処理装置１００が起動中に接触センサとして継続的に機能しており、近接操作に対応するアプリケーションの起動中に、近接センサとしても機能する。以下では、接触操作の検出部と近接操作の検出部に対する電源系統が別系統で設けられている場合を想定する。状態検出部１１１は、加速度センサを含み、自装置の静止状態を検出する。

制御部１１７は、自装置の静止状態に応じて、操作体Ｍによる自装置に対する操作を検出するモードを制御するモード制御部として機能する。特に、制御部１１７は、操作体Ｍによる表示パネル１０１に対する近接操作を検出する近接検出モードを制御する。

図１６および図１７は、近接検出モードの制御処理を示すフロー図および模式図である。

制御部１１７は、近接操作に対応するアプリケーションを起動中であるかを判定し（Ｓ６０１）、判定結果が肯定的である場合に、状態検出部１１１による検出結果に応じて、自装置が静止状態にあるかを判定する（Ｓ６０３）。一方、制御部１１７は、判定結果が否定的である場合に、アプリケーションの起動を継続して判定する。

自装置が静止状態にある場合に、制御部１１７は、静止状態が所定時間に亘って継続しているかを判定し（Ｓ６０５）、判定結果が肯定的である場合に、近接検出モードを有効にする（Ｓ６０７）。一方、ステップＳ６０３、Ｓ６０５の判定結果が否定的である場合に、制御部１１７は、近接検出モードを無効にする（Ｓ６０９）。この場合、近接操作に対応する検出処理、電源供給が省略される。

図１７Ａには、近接操作に対応するアプリケーションを起動中に、自装置がユーザにより保持されて静止状態にある場合が示されている。この場合、近接検出モードが有効になり、ユーザは、表示パネル１０１に対する操作体Ｍの近接状態を変化させることで、近接操作を行うことができる（この状態で接触操作も行うことができる。）。

図１７Ｂには、自装置が誤って移動された場合が示されている。この場合、表示パネル１０１上に操作体Ｍが近接すると、近接検出モードが無効にならなければ、ユーザが意図しない近接操作が検出されてしまう。しかし、自装置が移動状態になると、近接検出モードが自動的に無効になり、近接操作が検出されなくなるので、ユーザが意図しない近接操作が検出されずにすむ。そして、自装置が再び静止状態になると、近接検出モードが有効になるので、ユーザは、近接操作を再開できる。

これにより、自装置の静止状態に応じて、近接検出モードが制御されるので、近接操作を検出する必要がない場合には、近接操作に対応する検出処理および電源供給を省略できる。また、ユーザが意図しない近接操作を検出しないですむ。さらに、ユーザは、検出モードを手動で制御せずとも、接触操作と近接操作をシームレスに行える。

［５−２．近接・遠隔検出モードの制御方法］
つぎに、自装置の静止状態に応じて、操作体Ｍによる表示パネル１０１に対する近接・遠隔操作を検出するモードを制御する実施例について説明する。

接触近接センサ１０３および状態検出部１１１については、前述の実施例と同様である。遠隔センサ１０７は、所定のジェスチャ等、操作体Ｍの遠隔動作を撮像して捉える。遠隔センサ１０７は、ステレオカメラ等からなり、遠隔操作に対応するアプリケーションの起動中に機能する。以下では、接触近接センサ１０３と遠隔センサ１０７に対する電源系統が別系統で設けられている場合を想定する。

制御部１１７は、特に、操作体Ｍによる表示パネル１０１に対する近接操作を検出する近接検出モード、および操作体Ｍによる遠隔センサ１０７に対する遠隔操作を検出する遠隔検出モードを制御する。

図１８および図１９は、近接・遠隔検出モードの制御処理を示すフロー図および模式図である。

制御部１１７は、近接・遠隔操作に対応するアプリケーションを起動中であるかを判定し（Ｓ７０１）、判定結果が肯定的である場合に、状態検出部１１１による検出結果に応じて、自装置が静止状態にあるかを判定する（Ｓ７０３）。一方、制御部１１７は、判定結果が否定的である場合に、アプリケーションの起動を継続して判定する。

自装置が静止状態にある場合に、制御部１１７は、静止状態が所定時間に亘って継続しているかを判定し（Ｓ７０５）、判定結果が肯定的である場合に、近接検出モードを無効にし、遠隔検出モードを有効にする（Ｓ７０７）。この場合、近接操作に対応する検出処理、電源供給が行われない。一方、ステップＳ７０３、Ｓ７０５の判定結果が否定的である場合に、制御部１１７は、近接検出モードを有効にし、遠隔検出モードを無効にする（Ｓ７０９）。この場合、遠隔操作に対応する検出処理、電源供給が省略される。

図１９Ａには、近接・遠隔操作に対応するアプリケーションを起動中に、自装置が机上に配置されて静止状態にある場合が示されている。この場合、遠隔検出モードが有効になり、近接検出モードが無効になるので、ユーザは、自装置に対する操作体Ｍの遠隔動作を変化させることで、遠隔操作を行うことができる（この状態で接触操作も行うことができる。）。

図１９Ｂには、車中等で自装置がユーザにより保持されて移動（振動）状態にある場合が示されている。この場合、自装置が移動状態にあるので、遠隔検出モードが無効にならなければ、ユーザが意図しない遠隔操作が検出されてしまう場合がある。しかし、自装置が移動状態になると、遠隔検出モードが自動的に無効になり、遠隔操作が検出されなくなるので、ユーザが意図しない遠隔操作が検出されずにすむ。そして、自装置が再び静止状態になると、遠隔検出モードが有効になるので、ユーザは、遠隔操作を再開できる。

これにより、自装置の静止状態に応じて、近接検出モードおよび遠隔検出モードが制御されるので、近接操作または遠隔操作を検出する必要がない場合には、近接操作または遠隔操作に対応する検出処理および電源供給を省略できる。また、ユーザが意図しない遠隔操作を検出しないですむ。さらに、ユーザは、検出モードを手動で制御せずとも、近接操作と遠隔操作をシームレスに行える。

［５−３．接触検出モードの制御方法］
さらに、自装置の向きに応じて、操作体Ｍによる自装置に対する接触操作を検出するモードを制御する方法について説明する。

本実施例では、自装置の表示パネル１０１に主センサ１０３が設けられ、自装置の長軸方向の側面に副センサ１０４Ｒ、１０４Ｌおよび短軸方向の側面に副センサ１０４Ｕ、１０４Ｄが各々に設けられる。主センサ１０３は、表示パネル１０１に対する操作体Ｍの接触操作を検出し、副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、１０４Ｄは、例えば、表示パネル１０１のＧＵＩ表示をスクロールさせるために操作体Ｍの接触操作を検出する。以下では、副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、１０４Ｄに対する電源系統が別系統で設けられている場合を想定する。

状態検出部１１１は、ジャイロセンサを含み、自装置の向きを検出する。以下では、自装置の長軸方向および短軸方向がユーザに対して上下方向となる場合を各々に縦向きおよび横向きと称する。状態検出部１１１は、自装置が縦向きにあるか横向きにあるかを検出する。

制御部１１７は、特に、副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、１０４Ｄに対する接触操作を検出する検出モードを制御する。制御部１１７は、例えば、自装置が縦向きにある場合に、副センサ１０４Ｒ、１０４Ｌによる検出を有効にするとともに副センサ１０４Ｕ、１０４Ｄによる検出を無効にし、自装置が横向きにある場合に、副センサ１０４Ｒ、１０４Ｌによる検出を無効にするとともに副センサ１０４Ｕ、１０４Ｄによる検出を有効にする。特に、制御部１１７は、自装置の向きに応じて、ユーザの利き手側に対応する副センサ１０４Ｌ、１０４Ｒ、１０４Ｕ、１０４Ｄを有効にする。以下では、ユーザが右利きである場合を想定する。

図２０および図２１は、接触検出モードの制御処理を示すフロー図および模式図である。

制御部１１７は、状態検出部１１１からのセンサ出力に応じて、自装置が縦向きにあるかを判定し（Ｓ８０１）、判定結果が肯定的である場合（図２１Ａ）に、自装置が所定時間に亘って縦向きであるかを判定する（Ｓ８０３）。そして、判定結果が肯定的である場合に、制御部１１７は、ユーザに対して右側にある副センサ１０４Ｒを有効にし、他の副センサ１０４Ｌ、１０４Ｕ、１０４Ｄを無効にする（Ｓ８０５）。

一方、自装置が横向きにある場合（例えば、表示パネル１０１の上部がユーザに対して左側にある場合）に、自装置が所定時間に亘って横向きであるかを判定する（Ｓ８０７）。判定結果が肯定的である場合（図２１Ｂ）に、制御部１１７は、ユーザに対して右側にある副センサ１０４Ｄを有効にし、他の副センサ１０４Ｒ、１０４Ｌ、１０４Ｕを無効にする（Ｓ８０９）。

また、図２２および図２３は、アプリケーションの起動制御処理を示すフロー図および模式図である。

制御部１１７は、状態検出部１１１による検出結果に応じて、自装置が縦向きにあるかを判定し（Ｓ９０１）、判定結果が肯定的である場合（図２３Ａ）に、操作体Ｍが副センサ１０４Ｒに接触しているかを判定する（Ｓ９０３）。次に、判定結果が肯定的である場合に、制御部１１７は、操作体Ｍが副センサ１０４Ｒに所定時間に亘って接触しているかを判定する（Ｓ９０５）。そして、判定結果が肯定的である場合に、制御部１１７は、ブックリーダを起動する（Ｓ９０７）。

一方、自装置が横向きにある場合（例えば、表示パネル１０１の上部がユーザに対して左側にある場合）に、操作体Ｍが副センサ１０４Ｕおよび１０４Ｄに接触しているかを判定する（Ｓ９０９）。次に、判定結果が肯定的である場合に、制御部１１７は、操作体Ｍが副センサ１０４Ｕおよび１０４Ｄに所定時間に亘って接触しているかを判定する（Ｓ９１１）。そして、判定結果が肯定的である場合（図２３Ｂ）に、制御部１１７は、ゲームを起動する（Ｓ９１３）。

また、例えば、自装置が横向きにあり、ユーザが自装置を持上げようとして、操作体Ｍが副センサ１０４Ｒ、１０４Ｌ、１０４Ｕ、または１０４Ｄのいずれかに接触している場合（図２３Ｃ）に、制御部１１７は、ブックリーダを起動せずにすむ。

これにより、自装置の向きに応じて、接触検出モードが制御されるので、接触操作の対象とならない副センサ１０４では、接触操作に対応する検出処理および電源供給を省略できる。また、ユーザが意図しない接触操作を検出しないですむ。

［６．情報処理装置１００のハードウェア構成］
図２４は、情報処理装置１００のハードウェア構成例を示すブロック図である。

情報処理装置１００は、主に、ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んで構成される。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１７、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１００の動作を少なくとも部分的に制御する。ＲＯＭ９０３は、ＣＰＵ９０１が用いるプログラムやパラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が実行するプログラム、プログラム実行時のパラメータ等を一時記憶する。ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５は、ホストバス９０７により互いに接続される。ホストバス９０７は、ブリッジ９０９を介して外部バス９１１に接続される。

入力装置９１５は、例えば、マウス、キーボード、表示パネル１０１、ボタン、スイッチ等、ユーザが操作可能な操作手段である。また、入力装置９１５は、例えば、赤外線等の電波を用いた遠隔操作手段でもよく、情報処理装置１００の操作に対応した携帯電話機、ＰＤＡ等の外部機器９２９でもよい。入力装置９１５は、例えば上記の操作手段を用いてユーザにより入力された操作情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等を含んで構成される。情報処理装置１００のユーザは、入力装置９１５の操作を介して、情報処理装置１００に対して各種のデータを入力し、処理動作を指示する。

出力装置９１７は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、表示パネル１０１、ランプ等の表示装置、スピーカ、ヘッドフォン等の音声出力装置、プリンタ、携帯電話機、ファクシミリ等、取得された情報をユーザに対して視覚的または聴覚的に通知可能な装置を含んで構成される。出力装置９１７は、情報処理装置１００の処理結果を出力する。例えば、表示装置は、情報処理装置１００による処理結果を、テキスト情報またはイメージ情報として表示し、音声出力装置は、再生された音声データ、音響データ等のオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、データ格納用の装置であり、例えば、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等を含む。ストレージ装置９１９は、ＣＰＵ９０１が実行するプログラム、各種データ、外部から取得された各種データ等を格納する。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１００に内蔵または外付けされる。ドライブ９２１は、装着される磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に対して、記録済みデータを読出してＲＡＭ９０５に出力し、記録対象のデータを書き込む。

接続ポート９２３は、例えば、ＵＳＢポート、ＳＣＳＩポート、ＲＳ２３２Ｃポート等、外部機器９２９を情報処理装置１００に直接接続するためのポートである。情報処理装置１００は、接続ポート９２３に接続された外部機器９２９に対して、接続ポート９２３を介してデータを取得し、データを提供する。

通信装置９２５は、通信網Ｎに接続するための通信デバイス等から構成される通信インタフェース９１３である。通信装置９２５は、例えば、有線または無線ＬＡＮ、ＷＵＳＢ用の通信カード、ＡＤＳＬ用のルータ、通信用モデム等である。通信装置９２５は、例えばインターネットや他の通信機器との間で、所定のプロトコルに則して信号等を送受信する。通信装置９２５に接続される通信網Ｎは、有線または無線により接続されたネットワーク等により構成され。例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信、または衛星通信等でもよい。

以上、本発明の実施形態に係る情報処理装置１００の機能を実現するためのハードウェア構成の一例について説明した。なお、上記ハードウェアの各構成要素は、汎用的なデバイスを用いて構成されてもよく、各構成要素の機能の特化したデバイスを用いて構成されてもよい。

［７．まとめ］
以上説明したように、本発明の実施形態に係る情報処理装置１００は、表示パネル１０１に接触する操作体Ｍの指示方向を検出し、検出された操作体Ｍの指示方向に基づいて、操作体Ｍにより入力される操作の方向を特定する。これにより、操作体Ｍの指示方向に基づいて操作の方向が特定されるので、ユーザに対する表示パネル１０１の向きに依存しない操作が可能になる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１００ 情報処理装置
１０１ 表示パネル
１０３ 接触近接センサ
１０５ 表示部
１０７ 遠隔センサ
１０９ 操作体検出部
１１１ 状態検出部
１１３ 記憶部
１１５ 表示制御部
１１７ 制御部（操作特定部、モード制御部）

Claims (9)

1. 表示パネルに接触する操作体の指示方向を検出する操作体検出部と、
   前記検出された操作体の指示方向に基づいて、前記操作体により入力される操作の方向を特定する操作特定部と、
   を備える情報処理装置。
2. 前記操作体検出部は、前記表示パネルに接触して移動する前記操作体の指示方向および移動方向を検出し、
   前記操作特定部は、前記検出された操作体の指示方向および移動方向に基づいて、前記操作体により入力される操作の方向を特定する、請求項１に記載の情報処理装置。
3. 前記操作特定部は、前記検出された操作体の指示方向と移動方向により定義される角度に基づいて、前記操作体により入力される操作の方向を特定する、請求項２に記載の情報処理装置。
4. 前記表示パネルの表示を制御する表示制御部をさらに備え、
   前記操作特定部は、前記検出された操作体の指示方向に基づいて、前記表示パネルの表示を回転させる操作の方向を特定し、
   前記表示制御部は、前記特定された操作の方向に応じて前記表示パネルの表示を回転させる、請求項１に記載の情報処理装置。
5. 前記操作特定部は、操作者に対する前記表示パネルの向きに依存せずに、前記操作体により入力される操作の方向を特定する、請求項１に記載の情報処理装置。
6. 前記操作体検出部は、前記操作体の先端部の向きに基づいて、前記操作体の指示方向を決定する、請求項１に記載の情報処理装置。
7. 前記操作体検出部は、前記操作体の指示方向を連続して検出し、前記連続して検出された操作体の指示方向が所定の閾値内にある場合に、前記連続して検出された操作体の指示方向に基づいて、前記操作体の指示方向を決定する、請求項１に記載の情報処理装置。
8. 表示パネルに接触する操作体の指示方向を検出するステップと、
   前記検出された操作体の指示方向に基づいて、前記操作体により入力される操作の方向を特定するステップと、
   を含む情報処理方法。
9. 表示パネルに接触する操作体の指示方向を検出するステップと、
   前記検出された操作体の指示方向に基づいて、前記操作体により入力される操作の方向を特定するステップと、
   を含む情報処理方法をコンピュータに実行させるためのプログラム。

Images