以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。以下に説明する実施の形態においては、まず、この発明を、表示デバイス(表示素子)と入力検知デバイス(指示位置検出手段)とにより構成される入力部を備えた情報処理装置に適用した場合について説明する。この後、より具体的な例として、この発明を撮像装置に適用した場合について説明する。
[情報処理装置の構成例]
図1は、この発明の一実施の形態が適用された情報処理装置であって、この実施の形態の情報処理装置100の構成例を説明するためのブロック図である。
図1に示すように、情報処理装置100は、入力検知デバイス1と、ユーザーインターフェース制御部2と、データオブジェクト制御部3と、表示メモリ部4と、表示デバイス5と、係数及びデータ格納部6と、全体制御部7とを備えている。
入力検知デバイス1は、例えば、感圧式や静電式のタッチパネルの構成とされたものである。入力検知デバイス1は、ユーザー(使用者)からの当該入力検知デバイス1の操作面に対する指示操作(接触操作)を受け付けて、当該操作面上の指示位置(接触位置)を検出し、当該指示位置を示す座標データ(座標情報)を出力する。
表示デバイス5は、例えばLCDや有機ELパネル(Organic Electroluminescence Panel)等のいわゆる薄型の表示素子と、当該表示素子に対する表示制御を行うコントローラなどをも含むものである。
そして、入力検知デバイス1は、表示デバイス5の表示素子の表示画面の全面に対して、例えば貼付されるようにして設けられる。すなわち、入力検知デバイス1の操作面は、表示デバイス5の表示素子の表示画面に一致するようにされている。
したがって、表示デバイス5の表示画面上の座標と、入力検知デバイス1の操作面上の座標とは一致するようにされる。そして、ユーザーが入力検知デバイス1の操作面上の位置に、指やスタイラスなどを接触させたとする。
この場合に、その接触位置に対応する(一致する)表示画面上の位置に数字が表示されていた場合には、ユーザーはその表示されている数字を選択して入力するようにしたと、例えば装置の制御部において判別することができるようにされる。
このように、この実施の形態の情報処理装置100においては、入力検知デバイス1と表示デバイス5とによって、ユーザーからの指示操作(指示入力)を受け付ける入力部(入力手段)を構成している。
ユーザーインターフェース制御部2、データオブジェクト制御部3、全体制御部7は、例えば、1つのマイクロコンピュータによって実現される。もちろん、これらの各制御部のそれぞれを別々のマイクロコンピュータによって実現することもできる。
なお、マイクロコンピュータは、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(random Access Memory)、EEPROM(Electrically Erasable and Programmable ROM)などがCPUバスを通じて接続されて構成されるものである。
ここで、CPUは、後述のROMに記憶保持されているプログラムを読み出して実行し、目的とする処理を実行する。より具体的にCPUは、ROMに記憶保持されているプログラムを実行し、種々の演算を行ってその結果を各部に通知したり、各部から供給されるデータを用いて演算を行ってその結果をメモリに記録したりするなどの処理を行う。
ROMは、上述したようにCPUによって実行されるプログラムや処理に必要になる種々のデータなどが予め記録されたものである。RAMは、各種の処理においてその途中結果を一時記憶するなど、主に作業領域として用いられるものである。
EEPROMは、いわゆる不揮発性のメモリであり、情報処理装置100の電源が落とされても保持しておく必要のある情報、例えば、種々の設定パラメータや機能追加のためのプログラムなどを記憶保持するものである。
また、表示メモリ部4は、例えばRAMが用いられて構成された表示専用のメモリ部である。また、係数及びデータ格納部6は、ROMやEEPROMなどの不揮発性メモリが用いられて構成され、ユーザーインターフェース制御部2において用いられる種々の係数やデータを記憶保持するものである。
また、全体制御部7は、入力検知デバイス1の操作面に対して行われるユーザーの入力操作に応じて各部を制御し、ユーザーの指示に応じた処理を行うようにするものである。
そして、この実施の形態の情報処理装置100において、入力検知デバイス1は、入力検知デバイス1の操作面上に指やスタイラス等を接触させることにより、当該操作を検出することができるものである。そして、入力検知デバイス1は、その接触位置を示す座標データを出力することができるものである。
また、入力検知デバイス1は、入力検知デバイス1の操作面上の複数の箇所に指やスタイラス等を接触させることにより、同時に行うようにされた操作のそれぞれを検出することができるものである。そして、入力検知デバイス1は、その接触位置のそれぞれを示す座標データを出力することができるものである。
また、入力検知デバイス1は、入力検知デバイス1の操作面に対して繰り返し行うようにされる指示操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。
さらに、入力検知デバイス1は、ユーザーによって、入力検知デバイス1の操作面に対して指やスタイラスが接触されている間は、所定のタイミング毎に連続して接触位置を検出し、これを示す座標データを出力することもできる。
これにより、入力検知デバイス1は、いわゆるタップ操作、ダブルタップ操作、ドラッグ操作、フリック操作、ピンチ操作などのユーザーからの様々な指示操作(操作入力)を受け付けて、これに応じた座標情報を検出することができるものである。
ここで、タップ操作は、ユーザーの指やスタイラスによって、入力検知デバイス1の操作面上の所定の一点を「ちょん」と1回だけ指示する動作(操作)である。ダブルタップ操作は、入力検知デバイス1の操作面上の所定の一点を連続して2回、「ちょん、ちょん」と指示する動作である。
また、ドラッグ操作は、ユーザーの指やスタイラスを入力検知デバイス1の操作面上に接触させたまま移動させる動作である。フリック操作は、ユーザーの指やスタイラスを入力検知デバイス1の操作面上に接触させてから、そのまま任意の方向に素早く「はじく」ようにする動作である。
ピンチ操作は、ユーザーの2本の指等を同時に入力検知デバイス1の操作面上に接触させて、当該2本の指等を開いたり、閉じたりする動作である。この場合、特に、接触させた2本の指等を開く操作をピンチアウト操作、2本の指等を閉じる操作をピンチイン操作と呼んでいる。
ドラッグ操作とフリック操作とは、動作の速さに違いがあるものの、操作面上にユーザーの指等を接触させた後に、当該操作面上を移動させる操作(操作面上をなぞる操作)であり、移動距離と移動方向との2種類の情報によって把握できる操作である。
このため、ドラッグ操作とフリック操作とは、「なぞり操作」あるいは「ジェスチャ」などと呼ばれる場合もある。なお、この明細書においても、なぞり操作と言う場合には、ドラッグ操作とフリック操作とを総称している。
そして、詳しくは後述もするが、この実施の形態の情報処理装置100において、表示デバイス5の表示素子の表示画面は大きく2つの領域に分けられる。1つは、ユーザーからのなぞり操作を受け付けるためのユーザーインターフェース領域である。他の1つは、実行可能な機能に対応した項目群や再生可能なコンテンツに対応した項目群などを表示し、その選択を可能にする項目等表示選択領域である。
ユーザーインターフェース領域上の入力検知デバイス1の操作面に対しては、主になぞり操作が行うようにされる。ここでは、説明を簡単にするため、なぞり操作としてドラッグ操作が行われる場合を例にして説明する。
ユーザーインターフェース領域上の入力検知デバイス1の操作面に対して、ドラッグ操作が行われると、予め決められたタイミング毎に、入力検知デバイス1の操作面上のドラッグ位置に対応する座標情報(座標データ)が検出される。そして、検出された座標データは、順次にユーザーインターフェース制御部2に通知される。
したがって、ユーザーインターフェース制御部2は、入力検知デバイス1からの座標データに基づいて、ドラッグ操作が開始されてから終了するまでの間において、ユーザーの指等の接触位置がどのように変化したのかを正確に把握することができる。
そして、ユーザーインターフェース制御部2は、ドラッグ操作が開始され最初に通知された座標データが示す位置をドラッグ操作の開始点(開始位置)として認識する。この後、ユーザーインターフェース制御部2は、最新に通知された座標データが示す位置を現在のドラッグ位置として認識する。
そして、ユーザーインターフェース制御部2は、ドラッグ操作の開始点と現在のドラッグ位置との差分を求める。さらに、インターフェース制御部2は、求めた差分のユーザーインターフェース領域における最大ドラッグ可能量に対する比率(操作量)を求める。また、ユーザーインターフェース制御部2は、ドラッグ操作の開始点を基準とし、現在のドラッグ位置がどの方向にあるのかをも把握する。
したがって、ユーザーインターフェース制御部2は、求めた比率(操作量)と、ドラッグ操作の開始点から現在のドラッグ位置への方向とに応じて、現在、開始点を基準としてどのようなドラッグ操作が行うようにされているのかを把握することができる。
インターフェース制御部2は、求めた比率と、ドラッグ操作の開始点を基準とする現在のドラッグ位置への方向(操作方向)とに応じて、表示メモリ部4に記憶保持されているユーザーインターフェース領域の表示情報である境界シンボルの表示位置を算出する。
なお、上述したように、ドラッグ操作の操作量を示す比率は、ドラッグ操作の開始点と現在のドラッグ位置との差分を用いて算出している。このため、当該差分を、プラス(+)、マイナス(−)の符号を用いて表現できるようにしておくことにより、比率の絶対値がドラッグ操作の操作量を示し、比率の符号部分が、ドラッグ操作の開始点を基準とする現在のドラッグ位置の方向を示すものとなる。
そして、ユーザーインターフェース制御部2は、算出した現在の操作量(差分)と、現在のドラッグ位置の方向とに応じて、表示メモリ部4に記憶保持されているユーザーインターフェース領域に表示されている境界シンボルの表示位置を変えるように制御する。
ここで、境界シンボルは、ユーザーのドラッグ操作に応じて、その表示態様を変える場合の対象となるものである。このように、境界シンボルは、ユーザーのドラッグ操作に応じて表示態様を変えるものであり、操作シンボルとも呼べるものである。
同時に、ユーザーインターフェース制御部2は、求めた比率と、係数及びデータ格納部6に記憶保持されている係数データとを用いて、項目等表示選択領域に表示されている項目情報(データオブジェクト)をスクロールさせるための加速度を求める。求めた加速度と、現在のドラッグ位置の方向とは、データオブジェクト制御部3に通知される。
データオブジェクト制御部3は、ユーザーインターフェース制御部2からの加速度と、現在のドラッグ位置の方向とに基づいて、項目等表示選択領域に表示されている項目情報をスクロールさせるように、表示メモリ部4の項目情報とその表示位置を制御する。
この後、表示デバイス5は、表示メモリ部4に整えられた表示情報に基づいて、表示素子の表示画面に設けられるユーザーインターフェース領域と表示項目等表示選択領域の表示を変えるようにする。
これにより、表示画面に設けられるユーザーインターフェース領域上の入力検知デバイスの操作面に対して行われたドラッグ操作の操作状況に応じて、ユーザーインターフェース領域に表示されている境界シンボルの表示態様を変えることができる。
また、表示画面に設けられるユーザーインターフェース領域上の入力検知デバイスの操作面に対して行われたドラッグ操作の操作状況に応じて、項目等表示選択領域に表示されている項目表示をスクロールさせることができる。
そして、目的とする項目表示が、項目等表示選択領域に表示されると、ユーザーは項目等表示選択領域の当該目的とする項目表示上の入力検知デバイス1の操作面上に指等を接触させるタップ操作を行う。
この場合、タップ操作された位置を示す座標データが、入力検知デバイス1から出力され、ユーザーインターフェース制御部2に供給される。ユーザーインターフェース制御部2は、入力検知デバイス1からの座標データが、項目等表示選択領域に対するものであるときには、当該座標データを全体制御部7に通知する。
全体制御部7は、通知された座標データが示す表示画面上の位置に表示されている表示項目は何かを判断する。そして、全体制御部7は、当該選択された表示項目に対応付けられている処理を実行したり、当該表示項目に対応付けられているコンテンツを再生したりするように各部を制御する。
なお、ここでは、ユーザーインターフェース制御部2と全体制御部7との機能により、ユーザーの指示に応じた処理を実行するものとして説明したが、これに限るものではない。例えば、入力検知デバイス1からユーザーインターフェース制御部2を経由して、あるいは直接に、検出された座標データをデータオブジェクト制御部3に通知する。
そして、データオブジェクト制御部3が、当該座標データに基づいて、ユーザーによって指示された(選択された)データオブジェクトを判断し、これを全体制御部7に通知して、全体制御部7が指示されたデータオブジェクトに対応する処理を実行するように構成することももちろん可能である。
このように、情報処理装置100において、ユーザーは、自分の行ったドラッグ操作に応じて変化するユーザーインターフェース領域に表示されている境界シンボルの表示態様の変化によって、ドラッグ操作の操作状況を客観的に把握することができる。
これによって、項目等表示選択領域に表示されている項目表示のスクロール具合の調整を容易に、かつ、適切におこない、目的とする表示項目を迅速に見つけだし、目的とする処理を行うようにすることができる。すなわち、ユーザーの操作性を向上させることができる。
[ドラッグ操作に応じた表示遷移の具体例]
[ユーザーインターフェース領域の中央部分からドラッグ操作を行う場合]
次に、ドラッグ操作に応じて遷移する表示態様の具体例について説明する。図2〜図7は、この実施の形態の情報処理装置100において、ドラッグ操作に応じて遷移する表示デバイス5の表示画面に表示される情報の表示態様について説明するための図である。
まず、図2〜図5を用いて、後述するユーザーインターフェース領域の中央部分からドラッグ操作を開始する場合について説明する。
図2は、情報処理装置100において、入力検知デバイス1に対してドラッグ操作がされる前の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
この実施の形態の情報処理装置100は、上述もしたように、表示デバイス5の表示素子の表示画面5Gの全面には、入力検知デバイス1が例えば貼付されることにより、図2において点線で示したように、入力検知デバイス1の操作面が形成されている。
そして、この例の場合には、図2に示すように、表示画面5Gの左端側には、ユーザーインターフェース領域101が設けられている。また、表示画面5Gにおいて、左端側に設けられたユーザーインターフェース領域101以外の部分が、項目等表示選択領域102となるようにされている。
なお、図2に示したように、ユーザーインターフェース領域101と項目等表示選択領域102とは、表示画面5Gの縦方向(表示画面5Gの短辺に沿う方向)には同じ長さを有する。
しかし、ユーザーインターフェース領域101と項目等表示選択領域102とは、表示画面5Gの横方向(表示画面5Gの長辺に沿う方向)には、その長さの比が、例えば、1対4程度となるようにされる。
しかし、これは一例であり、ユーザーインターフェース領域101と項目等表示選択領域102とは、表示画面5G内において種々の位置に種々の大きさで設けるようにすることが可能である。
そして、この実施の形態の情報処理装置100において、ユーザーインターフェース領域101は、上述もしたように、ユーザーからの主になぞり操作、この実施の形態においてはドラッグ操作を受け付ける部分である。
また、項目等表示選択領域102は、実行可能な機能や再生可能なコンテンツに対応した項目群などを表示し、その選択を可能する部分であり、ユーザーからの主にタップ操作を受け付ける部分である。
この実施の形態においては、図2に示すように、ユーザーインターフェース領域102は、線分である4つの境界シンボル103A、103B、103C、103Dによって、5つの部分に分けられるようにされている。
この実施の形態において、境界シンボル103A、103B、103C、103Dは、通常時(ドラッグ操作が行われていない時)には、ユーザーインターフェース領域101の縦方向に、例えば、5つの領域を均等に分割する位置に表示するようにされる。
なお、上述もしたように、ユーザーインターフェース領域101の縦方向は、表示画面5Gの短辺に沿う方向であり、ユーザーインターフェース領域101の横方向は、表示画面5Gの長辺に沿う方向である。
この実施の形態の場合には、図2に示すように、境界シンボル103Bと境界シンボル103Cとにより挟まれた、ユーザーインターフェース領域101の縦方向の中心部分には、中心であることを示す3本の線分である中心ガイドシンボル104が表示される。
そして、項目等表示選択領域102には、表示項目群(データオブジェクト群)105が表示される。この実施の形態において、項目等表示選択領域102には、4つの表示項目(データオブジェクト)が表示するようにされている。この図2に示した例は、例えば、100項目ある表示項目のうち、20番目から23番目の表示項目が表示され、上下いずれの方向にもスクロール可能な状態になっている場合を示している。
そして、図2に示すように、ユーザーインターフェース領域101の中心ガイドシンボル104が表示されている位置の入力検知デバイス1の操作面上にユーザーが指等を接触させ、矢印が示す方向にドラッグ操作を開始させたとする。この例において、符号Sが示す位置が、ユーザーが指等を最初に接触させた開始点である。また、この例ではドラッグ開始点Sを中心ガイドシンボル104の中点よりやや上寄りとしている。
図3は、図2に示したドラッグ操作開始前の状態から、図2において矢印が示した方向にドラッグ操作が開始された直後の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してドラッグ操作が行われると、入力検出デバイス1からは、ユーザーのドラッグ操作に応じて変化する入力検出デバイス1の操作面上の接触位置に応じた座標データが出力される。
入力検出デバイス1からの座標データは、ユーザーインターフェース制御部2に供給される。ユーザーインターフェース制御部2は、入力検出デバイス1からの座標データに基づいて、ユーザーのドラッグ操作の方向と操作量とを把握する。そして、ユーザーインターフェース制御部2は、当該把握した内容にしたがって、表示メモリ部4のユーザーインターフェース領域101の境界シンボルの表示位置を変更する。
この例の場合には、ユーザーインターフェース領域101の各境界シンボル103A、103B、103C、103Dのそれぞれは、図3に示すように、その表示位置が、図2に示した場合に比べてドラッグ操作の方向に移動するようにされる。更に、図3の境界シンボル103Bと境界シンボル103Cの距離は図2のそれよりも広くなる。
また、図3に示すように、ユーザーインターフェース領域101の各境界シンボル103A、103B、103C、103Dの間隔が、ゴムが縮んだ際の模様のように詰まることにより、ユーザーのドラッグ操作の操作量を直感的に認識可能にしている。
すなわち、図3において、ドラッグ操作の開始点は、位置Sが示しており、現在のドラッグ位置は、位置E1が示している。この場合の操作方向は、開始点Sから現在のドラッグ位置E1までの実線矢印が示すように、表示画面5Gに対して上向き方向となる。
また、この場合のドラッグ操作の操作量は、上述もしたように、開始点Sと現在のドラッグ位置E1との差分に応じたものとなるから、図3において両矢印201が示す大きさとなる。
このため、ユーザーインターフェース制御部2は、表示メモリ部4を制御し、表示メモリ部4のユーザーインターフェース領域101の各境界シンボルの位置を、ドラッグ操作の操作量とその操作の方向に応じて移動させる。
この場合、ドラッグ操作の開始時にドラッグ操作の開始点Sを基準とし、その上部に位置する境界シンボル間の間隔と、表示画面5Gの上端部と当該上端部に最も近い境界シンボルとの間隔とはドラッグ中も均等となるようにされる。
同様に、ドラッグ操作の開始時にドラッグ操作の開始点Sを基準とし、その下部に位置する境界シンボル間の間隔と、表示画面5Gの下端部と当該下端部に最も近い境界シンボルとの間隔とはドラッグ中も均等となるようにされる。
その際に表示表面5Gの上端部、境界シンボル103A、境界シンボル103B、その時点のドラッグ点、境界シンボル103C、境界シンボル103D、表示表面5Gの下端部という順番は変わらない。
そして、ユーザーインターフェース制御部2は、ドラッグ操作の開始点Sに対する現在のドラッグ位置E1に応じて決まるドラッグ操作の方向に、境界シンボル間の間隔、表示画面5Gの端部と境界シンボルとの間隔を狭くする。
したがって、図3に示した例の場合には、境界シンボル103Aと境界シンボル103Bとの間と表示画面5Gの上端部と境界シンボル103Aとの間は、共に間隔αとなるようにされる。
同様に、図3に示した例の場合には、境界シンボル103Cと境界シンボル103Dとの間と表示画面5Gの下端部と境界シンボル103Dとの間は、共に間隔βとなるようにされる。
そして、図3に示した例の場合、ドラッグ操作の方向は、開始点Sから現在のドラッグ位置E1に向う方向であるので、間隔βより間隔αの方が狭くなるようにされる。このように、ドラッグ操作の方向に、境界シンボル間等の間隔が狭くなるようにされる。
したがって、境界シンボル間等の間隔によって、ドラッグ操作の開始点Sを基準として、ドラッグ操作位置がどちら側に位置し、どの程度のドラッグ操作が情報処理装置100に対して行われているのかを、ユーザーは視覚を通じて直感的に認識することができる。
そして、図3に示した例の場合には、ドラッグ操作が行われた直後の状態を示しており、開始点Sから現在のドラッグ位置E1までの距離と、両矢印201が示す操作量の大きさとは同じである。
この図3の例の場合、ユーザーインターフェース制御部2は、両矢印201が示す操作量に応じて、項目等表示選択領域102に表示されている表示項目をスクロールさせるための加速度を求める。
ユーザーインターフェース制御部2は、ドラッグ操作の方向と、求めた加速度とを、上述もしたように、データオブジェクト制御部3に通知する。データオブジェクト制御部3は、詳しくは後述もするが、ドラッグ操作の方向と加速度とから、項目等表示選択領域102に表示される表示項目を、どちらの方向にどれだけスクロールさせるかを決定する。
そして、データオブジェクト制御部3は、当該決定した内容にしたがって、表示メモリ部4の項目等表示選択領域102に表示させるべき表示項目をスクロールさせるように、表示項目の位置を変更させる。
図3に示した例の場合には、ドラッグ操作は、ユーザーインターフェース領域101の矢印が示すように、上向きであるので、項目等表示選択領域102の矢印202が示す方向に、表示項目がスクロールするようにされる。つまり、この例の場合には、表示項目が遡る方向にスクロールするようにされる。
そして、図3に示した状態からさらにドラッグ操作を続行することにより、項目等表示選択領域102に表示させる表示項目のスクロールの加速度を変更することが可能となる。この場合には、さらに、境界シンボル間の間隔が変更される。
図4は、図3に示したドラッグ位置E1からさらにドラッグ操作が行うようにされた場合の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
図4において、位置E1から位置E2への矢印で示したように、ドラッグ位置E1からドラッグ操作が続行され、ドラッグ位置E2にまでドラッグ操作が行われたとする。この場合、新たに行われたドラッグ操作は、ドラッグ位置E1から現在のドラッグ位置E2までである。
しかし、ドラッグ操作の開始点Sと現在のドラッグ位置E2との差分によって示されるドラッグ操作の操作量は、図4において両矢印301が示すように、図3に示した両矢印201に比べて大きなものとなる。
そして、ユーザーインターフェース制御部2は、ドラッグ操作の方向と、両矢印301が示す最新のドラッグ操作の操作量に基づいて表示メモリ部3を制御し、境界シンボル103A、103B、103C、103Dの位置を変更する。
この場合、図3に示した両矢印201と、図4に示した両矢印301とを比較すると分るように、ドラッグ操作の操作量は、図3に示した状態からさらに大きくなっている。このため、図3に示した状態から図4に示した状態へと、さらにドラッグ操作が同じ方向に継続された場合、境界シンボル間の間隔は、間隔αがより密となり、間隔βはより疎となる。更に、図4の境界シンボル103Bと境界シンボル103Cの距離は図3のそれよりも広くなる。
すなわち、図4に示したように、表示画面5Gの上端部と境界シンボル103Aとの間と、境界シンボル103Aと境界シンボル103Bとの間の間隔は、共に間隔αであり均等である。同様に、表示画面5Gの下端部と境界シンボル103Dとの間と、境界シンボル103Cと境界シンボル103Dとの間の間隔は、共に間隔βであり均等である。
しかし、図3と図4とを比較すると明らかなように、位置E1から位置E2まで更にドラッグ操作が行われた場合には、ドラッグ操作の開始点Sを基準にして、そのドラッグ操作の方向である上部側に位置していた境界シンボル間等の間隔αがより小さくなり、ドラッグ操作の方向とは逆方向に位置していた境界シンボル間等の間隔βがより広くなる。
これにより、ユーザーは、自分がどちら側にドラッグ操作を実行しており、その状態がどのように情報処理装置100において認識されているのかを、ユーザーインターフェース領域101の境界シンボルの表示態様に応じて正確に知ることができる。
なお、図4に示したように、前回のドラッグ位置E1から更に同一方向にドラッグ操作が行われ、現在のドラッグ位置E2まで到達した場合、今回のドラッグ操作の操作量は、ドラッグ位置E1からドラッグ位置E2までである。
しかし、この実施の形態の情報処理装置100は、ドラッグ操作の操作量は、ドラッグ操作の開始点Sと現在のドラッグ位置E2との差分として求めることができる。このため、図3に示した状態よりも、図4に示した状態の方が、ドラッグ操作の操作量は多くなっている。
このように、この実施の形態の情報処理装置100において、ドラッグ操作の操作量は、あくまで、ドラッグ操作の開始点からのものとして把握するようにされる。
そして、ユーザーインターフェース制御部2は、図4において両矢印301が示すようなドラッグ操作の操作量に基づいて、項目等表示選択領域102に表示する表示項目のスクロールのための加速度を求める。
この求めた加速度とドラッグ操作の方向とをデータオブジェクト制御部3に通知することによって、データオブジェクト制御部3が、表示メモリ部4の表示項目をスクロールさせるように制御する。
これにより、項目等表示選択領域102に表示される表示項目は、図4において矢印402が示すように、ドラッグ操作の操作量に応じて、更にスクロール速度が速くなるようにされる。そして、図4に示すように、より遡る方向に位置する表示項目まで、表示項目のスクロールが行うようにされる。
なお、図4は、図3に示した状態から更に同一方向にドラッグ操作が行われ、ドラッグ操作の操作量が大きくなった場合を示しているが、ドラッグ操作が逆方向に行われることにより、ドラッグ操作の操作量が小さくなる場合もある。
例えば、上述のように、図2に示した状態から、図3、図4に示したようにドラッグ操作が行われ、現在のドラッグ位置が位置E2にあるとする。この場合に、逆の方向にドラッグ操作が行われ、図4のユーザーインターフェース領域101に示した状態から図3のユーザーインターフェース領域101に示した状態に戻るようにされたとする。
この場合、実際のドラッグ操作の方向は、位置E2から位置E1へ向う方向であるので、表示画面5Gに対して下向き方向である。また、実際のドラッグ操作の操作量は、位置E2から位置E1までの量となる。
しかし、上述もしたように、この実施の形態の情報処理装置100において、ドラッグ操作の方向や操作量は、継続しているドラッグ操作の開始点Sを基準にして把握するようにしている。
このため、図4の位置E2から図3の位置E1まで戻るようにドラッグ操作が行われた場合、ドラッグ操作の方向は、ドラッグ操作の開始点Sから現在のドラッグ位置E1までの方向となるので、情報処理装置100が把握するドラッグ操作の方向は変わらない。また、この場合のドラッグ操作の操作量は、ドラッグ操作の開始点Sからドラッグ位置E1までの操作量となるので、図3において両矢印201が示す量となる。
そして、ユーザーインターフェース制御部2は、当該ドラッグ操作の方向と操作量とに応じて、表示メモリ部4のユーザーインターフェース領域101に表示すべき境界シンボルの表示位置を制御する。このため、ユーザーインターフェース領域101の境界シンボルの表示態様は、図4のユーザーインターフェース領域101に示した状態から、図3のユーザーインターフェース領域101に示した状態に戻ることになる。
更に、ユーザーインターフェース制御部2は、最新のドラッグ操作の操作量に基づいて、項目等表示選択領域102に表示された表示項目のスクロールの加速度を求める。このため、表示項目のスクロール加速度も、図3において両矢印201が示した大きさに対応するものとなる。
そして、上述もしたように、データオブジェクト制御部3は、ユーザーインターフェース制御部2からのドラッグ操作の方向とドラッグ操作の操作量とに基づいて、項目等表示選択領域102に表示される表示項目のスクロール制御がなされる。
このため、上述したように、図4の位置E2から図3の位置E1に戻るようにドラッグ操作が行われた場合、ドラッグ操作の方向は変わらず、ドラッグ操作の操作量が変わっただけである。
したがって、この場合、スクロールの方向は変更されること無く、図4に示した状態から更に遡る方向に表示項目はスクロールするようにされる。しかし、この時のスクロール速度は、ドラッグ操作の操作量に応じて、図3のときと同じ速度、すなわち、図4の場合のスクロール速度よりは遅いスクロール速度となるようにされる。
そして、さらに、図3の位置E1から図2の開始点Sに向うように、ドラッグ操作が行われたとする。この場合、ドラッグ位置が開始点Sに近づくにしたがって、ドラッグ操作の方向が上向き方向であることは変わらないが、ドラッグ操作の操作量はどんどん小さくなる。
そして、上述もしたように、ユーザーインターフェース領域101の境界シンボル間の間隔は、ドラッグ操作量に応じて決まる。このため、この場合、ドラッグ操作の方向にある境界シンボルの間隔(前述の間隔α)は狭かったのが広くなって行き、ドラッグ操作の方向と逆にある境界シンボルの間隔(前述の間隔β)は広かったのが狭くなって行く。
これにより、ドラッグ操作のドラッグ位置が、ドラッグ操作の開始点Sに到達した時点で、ユーザーインターフェース領域101の各境界シンボル103A〜103Dのそれぞれは、図2のユーザーインターフェース領域101に示した表示態様に戻る。
また、この場合において、ドラッグ位置がドラッグ操作の開始点Sに到達するまでの間においては、項目等表示選択領域102表示されている表示項目のスクロールも続行される。
この場合、ドラッグ位置がドラッグ操作の開始点Sに到達するまでの間においては、項目等表示選択領域102表示されている表示項目のスクロールの方向は変わることはない。しかし、ドラッグ操作の操作量が小さくなるにしたがって、スクロールの加速度は小さくなる。
したがって、ドラッグ位置が、位置E1からドラッグ操作の開始点Sに到達するまでの間においては、項目等表示選択領域102に表示される表示項目のスクロールの速度は徐々に遅くなるようにされる。
そして、ドラッグ位置がドラッグ操作の開始点Sに到達すると、ドラッグ操作の操作量は0(ゼロ)になるので、項目等表示選択領域102に表示される表示項目のスクロールは停止することになる。
このように、ユーザーインターフェース領域101上の入力検知デバイス101の操作面に対して継続してドラッグ操作を行っている間においては、所定のタイミング毎に、ドラッグ開始点Sを基準としてドラッグ操作の方向と操作量が検出される。
そして、これらに応じて、ユーザーインターフェース領域101の境界シンボルの表示態様が変えられると共に、項目等表示選択領域102の表示項目のスクロール表示が行うようにされる。
そして、基本的に、ドラッグ操作の操作量が大きくなるにしたがって、ユーザーインターフェース領域101の境界シンボルの、ドラッグ操作の方向にあるシンボル群の間隔は狭くなって行き、ドラッグ操作の方向と逆にあるシンボル群の間隔は広くなって行く。
逆に、ドラッグ操作の操作量が小さくなるにしたがって、ユーザーインターフェース領域101の境界シンボルの、ドラッグ操作の方向にあるシンボル群の間隔は広くなって行き、ドラッグ操作の方向と逆にあるシンボル群の間隔は狭くなって行く。
換言すれば、ユーザーインターフェース領域101のドラッグ操作の方向にある境界シンボル間の間隔が広い(疎である)とドラッグ操作の操作量(操作比率)が少ないことを示めしている。また、ドラッグ操作の方向にある境界シンボル間の間隔が狭い(密である)とドラッグ操作の操作量(操作量比率)が大きいことを示す。
また、この実施の形態の情報処理装置100において、ユーザーインターフェース領域101に対しては、どこからでも連続したドラッグ操作が可能である。
図5は、図4に示したドラッグ位置E2から、それまでとは反対の方向に大きくドラッグ操作が行うようにされた場合の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
図2、図3、図4を用いて説明したように、ドラッグ操作が開始点S→位置E1→位置E2と言うように行われたとする。そして、図5に示すように、現在のドラッグ位置が位置E2まで到達した後に、ユーザーインターフェース領域101の入力検知デバイス1の操作面に対して接触させた指等を離すことなく、当該領域の右上から左下に向かって大きくドラッグ操作したとする。
この場合にも、ユーザーインターフェース領域101の境界シンボルの表示位置は、ドラッグ操作の方向とドラッグ操作の操作量に基づいて変更するようにされる。同時に、項目等表示選択領域102に表示されている表示項目もまた、ドラッグ操作の方向と、ドラッグ操作の操作量に応じて決まる加速度とに基づいてスクロール表示するようにされる。
この場合、上述もしたように、ドラッグ操作の操作位置が位置E2から開始点Sに到達するまでの間においては、ユーザーインターフェース領域101の境界シンボルの、ドラッグ操作の方向にあるシンボル群の間隔は広くなって行く。また、ドラッグ操作の方向と逆にあるシンボル群の間隔は狭くなって行く。そして、ドラッグ位置がドラッグ操作の開始点Sに戻ると、ユーザーインターフェース領域101の境界シンボルは図2に示した表示態様に戻る。
また、ドラッグ操作の操作位置が位置E2から開始点Sに到達するまでの間においては、項目等表示選択領域102の表示項目は、スクロールの方向は変えられることなく、スクロールの速度が徐々に遅くなるようにされる。そして、ドラッグ位置がドラッグ操作の開始点Sに戻ると、項目等表示選択領域102の表示項目のスクロールは停止する。
そして、更にドラッグ操作が継続して行われ、表示画面5Gにおいて、ドラッグ位置が開始点Sの下側に位置するようになると、ドラッグ操作の方向は、表示画面5Gに対して下向きとなり、ドラッグ操作の操作量も徐々に増加していくことになる。
そして、この場合、表示画面5Gの上端部と境界シンボル103Aとの間、及び、境界シンボル103Aと境界シンボル103Bとの間の間隔αは広がって行く。逆に、ドラッグ操作の方向である境界シンボル103Cと境界シンボル103Dとの間、及び、境界シンボル103Dと表示画面5Gの下端部との間の間隔βは狭くなって行く。
この場合、表示画面5Gの上端部と境界シンボル103Aとの間、及び、境界シンボル103Aと境界シンボル103Bとの間の間隔αはそれぞれ等しい。また、境界シンボル103Cと境界シンボル103Dとの間、及び、境界シンボル103Dと表示画面5Gの下端部との間の間隔βはそれぞれ等しい。また、ドラッグ開始時の境界シンボル103Bと開始点S、開始点Sと境界シンボル103Cの比率も一定になる。
図5に示した場合において、ドラッグ操作の方向は、図5において右上から左下に向う実線の矢印で示したように、表示画面5Gにおいて下向き方向となる。したがって、ドラッグ操作の方向の入力検知デバイス1の操作面の端部とは、図5に示した例の場合には、表示画面5Gの下端部となる。
したがって、図5に示した例の場合、表示画面5Gの上端部と境界シンボル103Aとの間と、境界シンボル103Aと境界シンボル103Bとの間の間隔αは広くなる。そして、境界シンボル103Cと境界シンボル103Dとの間、及び、境界シンボル103Dと表示画面5Gの下端部との間の間隔βは狭くなる。
このように、この図5に示した例の場合、表示画面5Gの上端部と境界シンボル103Aとの間、及び、境界シンボル103Aと境界シンボル103Bとの間の間隔αは均等となる。また、境界シンボル103Cと境界シンボル103Dとの間、及び、境界シンボル103Dと表示画面5Gの下端部との間の間隔βは均等となる。そして、なぞり方向側の間隔が狭くなるので、間隔βのほうが間隔αよりも狭くなる。
更に、図5の境界シンボル103Bと境界シンボル103Cの距離は図2のそれよりも狭くなる。ここで、この例ではドラッグ開始点Sを中心ガイドシンボルの中点よりやや上寄りとしているが、ドラッグ開始点Sを中心ガイドシンボルの中点とした場合、境界シンボル103Bと境界シンボル103Cの距離は常に一定に保たれるような動きとなる。
そして、ドラッグ位置が、表示画面5Gの下端部に近づくにしたがって、ドラッグ操作の操作量は大きくなるので、境界シンボル間の間隔は徐々に狭められる。そして、最終的には、図5に示したように、最初のドラッグ開始点Sより下にあった境界シンボル103Cと境界シンボル103Dとの間隔、境界シンボル103Dと表示画面5Gの下端部との間隔は狭められて、同じ位置に重ねて表示されるようになる。
また、上述したように、ドラッグ操作の方向が表示画面5Gに対して下向きとなり、ドラッグ操作の操作量が徐々に増加するようになると、これに応じて、項目等表示選択領域102の表示項目のスクロール方向とスクロール速度とが変更される。
この場合、スクロール方向は、図5において、実線の矢印402が示すように、標示画面5Gにおいて下向きの方向となる。また、スクロールの速度は、上述もしたように、ドラッグ操作の操作量に応じて決まる加速度に基づいて決まる。
そして、図5に示した例の場合には、ドラッグ位置がドラッグ操作の開始点Sよりも下側に位置するようになると、各境界シンボルは、表示画面5Gの下側に移動するようにされるので、ドラッグ操作の方向が逆向きになったことを明確に知ることができる。
[ユーザーインターフェース領域の端部からドラッグ操作を行う場合]
次に、図6、図7を用いて、ユーザーインターフェース領域の端部からドラッグ操作を開始する場合について説明する。
図6は、情報処理装置100において、入力検知デバイス1に対してドラッグ操作がされる前の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。したがって、ユーザーインターフェース領域101、項目等表示選択領域102の表示態様は、図2を用いて説明した場合と同様の状態になっている。
そして、図6に示すように、ユーザーインターフェース領域101の下端部近傍の入力検知デバイス1の操作面上にユーザーが指等を接触させ、矢印が示す方向にドラッグ操作を開始させたとする。この例においても、符号Sが示す位置が、ユーザーが指等を最初に接触させた開始点である。
図7は、図6に示したドラッグ操作開始前の状態から、図6において矢印が示した方向にドラッグ操作が開始された直後の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
上述もしたように、入力検知デバイス1の操作面に対してドラッグ操作が行われると、入力検出デバイス1からは、ユーザーのドラッグ操作に応じて変化する入力検出デバイス1の操作面上の接触位置に応じた座標データが出力される。
入力検出デバイス1からの座標データは、ユーザーインターフェース制御部2に供給され、ユーザーインターフェース制御部2において、ユーザーのドラッグ操作の方向と操作量とが把握される。そして、ユーザーインターフェース制御部2は、当該把握した内容にしたがって、表示メモリ部4のユーザーインターフェース領域101の境界シンボルの表示位置を変更する。
この図6、図7に示す例の場合では、全ての境界シンボルが開始点Sよりもドラッグ操作方向にあるので、ユーザーインターフェース領域101の各境界シンボル103A、103B、103C、103Dのそれぞれは、図7に示すように、その表示位置が、図6に示した場合に比べてドラッグ操作の方向に移動するようにされる。
また、図7に示すように、ユーザーインターフェース領域101の各境界シンボル103A、103B、103C、103Dの間隔が、ゴムが縮んだ際の模様のように詰まることにより、ユーザーのドラッグ操作の操作量を直感的に認識可能にしている。
すなわち、図7において、ドラッグ操作の開始点は、位置Sが示しており、現在のドラッグ位置は、位置Eが示している。この場合の操作方向は、開始点Sから現在のドラッグ位置Eまでの実線矢印が示すように、表示画面5Gに対して上向き方向となる。また、この場合のドラッグ操作の操作量は、上述もしたように、開始点Sと現在のドラッグ位置Eとの差分に応じたものとなる。
このため、ユーザーインターフェース制御部2は、表示メモリ部4を制御し、表示メモリ部4のユーザーインターフェース領域101の各境界シンボルの位置を、ドラッグ操作の操作量とその操作の方向に応じて、ドラッグ操作が行われた方向に移動させる。
この図6、図7に示す例の場合にも、境界シンボル103A、103B、103C、104Dのそれぞれは、表示画面5Gの上端部を含めて、均等間隔に表示される。
前述の通り、「ドラッグ開始時点を境にした線群と上端または下端の間隔は均等となる。」ので、境界シンボルの表示位置を制御することによって、ユーザーインターフェース領域101においてゴムの伸び縮みを表現するようにしている。このため、ドラッグ操作が開始される前の状態において、ドラッグ操作の開始点からドラッグ操作の方向に位置する境界シンボル間の間隔は等間隔となるように制御する。
図6、図7に示した例の場合、ドラッグ操作の開始点Sは、ユーザーインターフェース領域101の下端部に近い位置にあり、ドラッグ操作の方向は、図6、図7において矢印が示すように、上向き方向である。したがって、各境界シンボル103A、103B、103C、103Dのそれぞれは、ドラッグ操作の開始点Sからドラッグ操作の方向に位置している。
この場合には、図7に示したように、各シンボル間の間隔を均一にしながら、開始点Sを基準として求めるドラッグ操作の操作量と操作の方向に応じて、狭めたり、縮めたりするようにして表示する。
これにより、ユーザーインターフェース領域101の境界シンボルの表示態様により、ドラッグ操作に応じて、ユーザーインターフェース領域101部分が、あたかもゴムが伸び縮みしているように表示することができるようにされる。
なお、ここでは、ドラッグ操作の開始点Sを、表示画面5Gの下端部の近傍に位置するようにした場合を例にして説明した。しかし、ドラッグ操作の開始点Sを表示画面5Gの上端部の近傍に位置するようにする場合もある。
この場合には、境界シンボルの移動方向は図7に示した場合と逆になる。しかし、境界シンボルの表示態様の変化は、図7に示した場合と同様に、ドラッグ操作が開始される前の状態において、ドラッグ操作の開始点からドラッグ操作の方向に位置する境界シンボル間の間隔は等間隔となるようにされる。
また、項目表示選択領域102の表示項目のスクロール表示については、図6、図7の示した例の場合にも、図2〜図5を用いて説明した場合と同様にして行われる。
すなわち、ユーザーインターフェース制御部2は、入力検知デバイス1からの座標データに応じて、ドラッグ操作の方向と、ドラッグ操作の操作量に応じて決まるスクロールの加速度とを求め、これらをデータオブジェクト制御部3に通知する。
ユーザーインターフェース制御部2からの情報に基づいて、データオブジェクト制御部3は、表示メモリ部4の表示項目の表示位置を制御し、ドラッグ操作の方向に応じた方向に、ドラッグ操作の操作量に応じた加速度で、表示項目のスクロール表示を行う。
このように、この実施の形態の情報処理装置100は、ユーザーのドラッグ操作に応じて単に表示項目をスクロール表示させるものではない。ユーザーインターフェース領域101に対して行うようにされるドラッグ操作に応じて、ユーザーインターフェース領域の境界シンボルの表示態様を、ゴムの伸び縮みに対応させて変化させるようにしている。
これにより、ユーザーは、ユーザーインターフェース領域101の境界シンボルの表示態様の変化により、自分が行っているドラッグ操作が情報処理装置100においてどのように認識されているのかを視覚を通じて直感的に認識できるようにされる。
したがって、ユーザーは、自分が行っているドラッグ操作が強すぎるのか、弱すぎるのかを適切に認識し、ドラッグ操作の強度を迅速に調整して、目的する態様で、表示項目をスクロールさせるようにすることができる。
[情報処理装置100のドラッグ操作受け付け時の処理]
図8は、この実施の形態の情報処理装置100において行われるドラッグ操作時の処理を説明するためのフローチャートである。
図8に示す処理は、情報処理装置100に電源投入され、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してドラッグ操作が行うようにされた場合に実行される。この図8に示す処理は、主に、ユーザーインターフェース制御部2とデータオブジェクト制御部3とによって実行される。
すなわち、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してドラッグ操作が行うようにされると、ユーザーインターフェース制御部2とデータオブジェクト制御部3とは、協働して図8に示す処理を実行する。
まず、ユーザーインターフェース制御部2は、入力検知デバイス1からのユーザー操作情報を受け取る(ステップS101)。ここで、ユーザー操作情報は、ドラッグ操作に応じて変化する入力検知デバイス1の操作面に対応する座標データである。
ユーザーインターフェース制御部2は、受け取ったユーザー操作情報に応じて、ドラッグ操作の開始点(ドラッグ開始点)と現在のドラッグ位置との差分を算出し、この差分の最大ドラック可能量に対する比率を算出する(ステップS102)。
このステップS102においては、詳しくは後述もするが、ユーザーインターフェース領域101の上下方向の長さ(表示画面5Gの短辺方向の長さ)を最大ドラッグ可能量とする。そして、当該最大ドラッグ可能量に対する、ユーザーインターフェース領域101の表示画面の短辺方向におけるドラッグ開始点と現在のドラッグ位置との差分の比率を算出する。
これにより、例えば、ユーザーインターフェース領域101において、表示画面の横方向(表示画面の長辺方向)の位置については考慮しないようにすることができ、ユーザーインターフェース領域101の縦方向のドラッグ操作を検知することができる。
そして、ユーザーインターフェース制御部2は、開始点の位置、開始点に対するドラッグ操作の方向、ドラッグ操作の比率(操作量)に応じて、ユーザーインターフェース領域101に表示されている境界シンボルの表示位置を求める(ステップS103)。
例えば、係数及びデータ格納部6には、ドラッグ操作の開始点のユーザーインターフェース領域101上の位置、開始点を基準とするドラッグ操作の方向、ドラッグ操作の操作量の3つの情報に対応させて、各境界シンボルの表示位置が記憶保持されている。
ユーザーインターフェース制御部2は、上述したように求められる情報に基づいて、係数及びデータ格納部6を参照することにより、境界シンボルのユーザーインターフェース領域上101の表示位置を特定することができるようにされる。
更に、ユーザーインターフェース制御部2は、ドラッグ操作の操作量(比率)に応じて、表示項目をスクロールさせる場合のスクロールの加速度を求める(ステップS104)。このステップS104の処理においても、ドラッグ操作の操作量に応じて、一意にスクロールの加速度を特定することができるようにされる。
より具体的には、例えば、係数及びデータ格納部6には、ドラッグ操作の操作量に対応付けられて、スクロールの加速度が記憶保持されている。そして、求めたドラッグ操作の操作量に基づいて、係数及びデータ格納部6の所定のエリアから対応する加速度データを読み出す。このようにして、ドラッグ操作の操作量に応じて、スクロールの加速度を求めることができる。
この後、ユーザーインターフェース制御部2は、求めた各境界シンボルの表示位置に基づいて、表示メモリ部4に記憶保持されているユーザーインターフェース領域101の各境界シンボルの表示位置を更新する(ステップS105)。
また、ユーザーインターフェース制御部2は、ドラッグ操作の方向と求めたスクロールの加速度とを、データオブジェクト制御部3に通知する(ステップS106)。
データオブジェクト制御部3は、ユーザーインターフェース制御部2からのドラッグ操作の方向とスクロールの加速度とに応じて、表示メモリ部4の項目等表示選択領域102の表示情報(表示項目の表示位置)を更新する(ステップS107)。
この後、表示デバイス5が、表示メモリ部4の更新された表示情報(境界シンボル及び表示項目(データオブジェクト)を、自己の表示素子の表示画面に表示するようにする(ステップS108)。
そして、この図8に示した処理は、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対して継続してドラッグ操作が行われている間においては、所定のタイミング毎に繰り返し行うようにさる。
ユーザーのドラッグ操作に応じて、ユーザーインターフェース領域101の境界シンボルの表示対応を変えることができると共に、項目等表示選択領域102に表示される表示項目(データオブジェクト)をスクロール表示させることができる。
[項目等表示選択領域の表示項目のスクロール表示の詳細]
次に、この実施の形態の情報処理装置100において行われる、ユーザーのドラッグ操作に応じた項目等表示選択領域102の表示項目のスクロール表示を行う処理について説明する。
[ドラッグ操作の操作量の求め方]
まず、ユーザーインターフェース領域101上の入力検出デバイス1の操作面に対して行われるドラッグ操作の操作量を求める場合の処理の一例について説明する。
図9は、ドラッグ操作の操作量を求める場合の処理の一例について説明するための図である。図9にも示すように、ユーザーインターフェース領域101に対しては、主に、その縦方向(表示画面5Gの短辺に沿う方向)にドラッグ操作が行うようにされる。
したがって、図9において両矢印Lが示すように、ユーザーインターフェース領域101の縦方向の長さLが、最大ドラッグ可能量ということになる。そして、図9に示した例においては、ユーザーインターフェース領域の下端部を値「0(ゼロ)」とし、上端部を値「100」として、最大ドラッグ可能量が値「100」となるようにしている場合を示している。
そして、図9に示したように、ドラッグ操作の開始点を位置Sとし、ユーザーインターフェース領域101の上向き方向(上端方向)と、下向き方向(下端方向)とに、それぞれ同じ大きさγ分ドラッグ操作をした場合について考える。
まず、開始点Sから上向き方向に大きさγ分ドラッグ操作を行い、ドラッグ位置E1に到達した場合について考える。この場合の開始点Sと現在のドラッグ位置E1との差分は、図9において(1)式に示すように、ドラッグ位置E1の縦方向の座標位置から開始点Sの縦方向の座標位置を減算することにより求められる。
そして、この場合、ドラッグ位置E1の縦方向の座標位置が、開始点Sの縦方向の座標位より大きいので、求めた値はプラスの値になる。したがって、この場合の差分は、「+γ」と言うことになる。
次に、開始点Sから下向き方向に大きさγ分ドラッグ操作を行い、ドラッグ位置E2に到達した場合について考える。この場合の開始点Sと現在のドラッグ位置E2との差分は、図9において(2)式に示すように、ドラッグ位置E2の縦方向の座標位置から開始点Sの縦方向の座標位置を減算することにより求められる。
そして、この場合、ドラッグ位置E2の縦方向の座標位置が、開始点Sの縦方向の座標位より小さいので、求めた値はマイナスの値になる。したがって、この場合の差分は、「−γ」と言うことになる。
そして、開始点Sからドラッグ位置E1までドラッグ操作を行った場合の差分の最大ドラッグ可能量に対する比率は、図9に示した(3)式により求められる。また、開始点Sからドラッグ位置E2までドラッグ操作を行った場合の差分の最大ドラッグ可能量に対する比率は、図9に示した(4)式により求められる。
そして、この例の場合、図9の(3)式、(4)式により求めた比率が、ドラッグ操作の操作比率、すなわち、ドラッグ操作の操作量を示すことになる。そして、この場合、求めた比率の絶対値が操作量の大きさを示し、比率の符号がドラッグ操作の方向を示すものとなる。
そして、ユーザーインターフェース制御部2は、求めたドラッグ操作の方向とドラッグ操作の操作量とに応じて、表示メモリ部4のユーザーインターフェース領域101に表示する境界シンボルの表示位置を決定して、その表示位置を制御する。
また、ユーザーインターフェース制御部2は、求めたドラッグ操作の方向とドラッグ操作の操作量とに応じて、項目等表示選択領域102に表示される表示項目のスクロールの方向とスクロールの加速度とを求めるようにしている。
[表示項目のスクロール加速度の求め方]
次に、図9を用いて説明したようにして求められるドラッグ操作の方向とドラッグ操作の操作量とに基づいて求められる、表示項目のスクロールの方向とスクロールの加速度とを求める場合の処理について説明する。
この例の場合、表示項目のスクロールの方向は、ドラッグ操作の方向に応じて一意に決められる。すなわち、上述もしたように、ドラッグ操作の方向は、ドラッグ操作の開始点Sに対する現在のドラッグ位置に応じて一意に決められる。
具体的には、ドラッグ操作の開始点Sよりも上側にドラッグ位置がある場合には、スクロールの方向は上側方向となり、ドラッグ操作の開始点Sよりも下側にドラッグ位置がある場合には、スクロールの方向は下側方向となる。したがって、図9に示した例の場合には、ドラッグ操作の差分や比率の符号によって特定することが可能となる。
また、スクロールの加速度は、ドラッグ操作の操作量の大きさ(操作量の絶対値)によって一意に特定することができるようにされる。図10は、ドラッグ操作の操作量の大きさに応じてスクロールの加速度を求める場合の処理について説明するための図である。
図10において、横軸がドラッグ操作の操作量の大きさを示し、縦軸がスクロールの加速を示している。この図10に示したグラフに対応した情報が、例えば、係数及びデータ格納部6に記憶保持されており、ドラッグ操作の操作量の大きさが特定できれば、それに応じてスクロールの加速度も一意に求めることができるようにされている。
そして、図10に示した例の場合、ドラッグ操作の開始点Sからドラッグ位置が遠ざかる方向に移動している場合には、はじめはなだらかにスクロールの加速度は上昇する。その後、ドラッグ操作の開始点Sからのドラッグ位置が所定量分離れると、スクロール速度は急激に上昇し、その後またなだらかな上昇となる。
このように、この実施の形態の情報処理装置においては、ドラッグ操作の開始点Sに対するドラッグ位置に応じてスクロールの方向が特定される。また、ドラッグ操作の操作量の大きさに基づいて、スクロールの加速度が特定するようにされる。
[スクロールの加速度に基づく表示項目のスクロール速度の求め方]
次に、上述したように求められる、スクロールの方向とスクロールの加速度に基づいて、実際に表示項目をスクロールさせる場合のスクロール速度を決定する場合の処理について具体的に説明する。
図11は、ユーザーのドラッグ操作に応じて、表示項目をスクロールさせる場合の処理を説明するための図である。図11において、右側の図は、ドラッグ操作に応じてスクロールが開始された後の現時点(時点t)における表示項目等の表示状態を示している。
また、図11において、左側の図は、例えばデータオブジェクト制御部3のメモリに記憶保持されているスクロール表示される表示項目(データオブジェクト)の並びを示している。
すなわち、図11に示すように、表示画面5Gの左端側に設けられるユーザーインターフェース領域101に対して、矢印が示すようにドラッグ操作が行われたとする。そして、上述もしたように、ドラッグ操作に応じて、ユーザーインターフェース領域101に表示される境界シンボルの表示位置を変更する処理が開始されると共に、項目等表示選択領域102に表示されている表示項目のスクロール処理が開始される。
そして、現在時点tにおいて、表示画面5Gの項目等表示選択領域102には、図11に示すように、項目8の途中から、項目9、項目10、項目11、項目12の途中までが表示された状態にあるとする。すなわち、図11の右側の図に示すように、スクロール表示される表示項目の並びにおいては、点線で囲んだ領域が表示された状態になっている。
そして、図10を用いて説明したように、時点tにおけるドラッグ操作の操作量の大きさに応じて、時点tにおけるスクロールの加速度aが一意に特定することができる。この時点tにおける加速度aは、単位時間に速度が変化する割合を意味する。
ここで、単位時間は、ドラッグ操作の操作量に応じて加速度を検出するタイミングの間隔であり、加速度は、当該単位時間における表示項目のスクロール量(移動量)に相当する。
このため、時点tより、1つ前のスクロールの加速度の検出タイミングである時点t−1におけるスクロールの目的位置に、時点tにおける加速度(単位時間当たりのスクロール量)を加算することにより、時点tにおけるスクロールの目的位置が求められる。
より具体的に説明する。図11の右側の図において点線で囲んで示したように、時点tにおいて、表示画面5Gの項目等表示選択領域102には、項目8の途中から項目12の途中までが表示にされた状態にあるとする。したがって、時点tにおける表示の先頭は、図11に示したように項目8の途中の位置である。
そして、図11の右側の図に示すように、時点tの1つ前の時点(時点tの1つ前の加速度の検出タイミング)である時点t−1におけるスクロールの目的位置が項目5の途中の位置であったとする。
このスクロールの目的位置は、スクロールの開始時においては、スクロール開始時点において表示画面5Gに表示されている表示項目の先頭位置に対して、最初に特定されたスクロールの加速度を加算することにより求めることができる。
これ以後においては、スクロールの加速度を特定する各タイミングにおいて、前回のスクロールの目的位置に対して、今回特定したスクロールの加速度を加算することにより、加速度の検出タイミング毎に、スクロールの目的位置を特定することができる。
そして、時点tにおける加速度a、すなわち、単位時間当たりのスクロール量が、表示項目2つ分であったとする。そして、上述したように、時点t−1におけるスクロールの目的位置は、図11の右側の図に示したように、項目5の途中である。
したがって、時点tにおけるスクロールの目的位置は、時点t−1におけるスクロールの目的位置(項目5の途中)に対して、時点tにおける加速度a(項目2つ分)を加算することにより求められる。この場合、時点tのスクロールの目的位置は、図11の右側の図に示したように、項目3の途中と言うことになる。
そして、この例の場合、時点tにおける単位時間当たりのスクロールの速度は、時点tにおける目的位置から時点tにおける表示位置(表示項目の先頭位置)を減算し、更に予め決められた係数を乗算することにより求められる。
図12は、スクロール速度を算出する場合の計算式を説明するための図である。ここでは、図11を用いて説明した例の場合について説明する。時点t(現時点)におけるスクロール速度Vを求めるためには、まず、時点tより1つ前の加速度の検出タイミングである時点t−1におけるスクロールの目的位置に対して、時点tにおける加速度を加算することにより、時点tのスクロールの目的位置を求める。
そして、図12の(1)式に示すように、時点tにおけるスクロールの目的位置から時点tにおける表示項目の表示位置(表示されている表示項目の先頭位置)を減算する。これにより、時点tにおける表示されている表示項目の先頭位置からスクロールの目的位置までの距離が求められる。
そして、図12の(1)式に示すように、減算により求めた距離に対して、予め決められた係数を乗算することにより、時点tにおける単位時間当たりのスクロール距離、すなわち、時点tにおける単位時間当たりのスクロール速度Vを求めることができる。
これにより、時点tにおいては、ドラッグ操作の方向に応じたスクロールの方向に、表示項目をスクロール速度V分移動させるようにスクロールすることにより、ドラッグ操作に応じて、表示項目をスクロールさせることができる。
つまり、図12の(2)式に示すように、時点tの1つ前の時点t−1におけるスクロール速度V1は、時点t−1における目的位置から時点t−1における表示されている表示項目の先頭位置を減算し、これに所定の係数を乗算することにより求められる。
そして、時点tにおける表示項目の表示位置(表示項目の先頭位置)Xは、時点t−1からスクロール速度V1分進んだ位置である。このため、図12の(3)式に示したように、点tにおける表示項目の表示位置Xは、時点t−1におけるスクロール速度V1に、時点t−1における表示項目の表示位置を加算することによって特定する。
このように、スクロールの加速度を求める時点において、スクロールの速度を特定し、現在の表示項目の表示位置(表示項目の先頭位置)に対して、スクロールの速度を加算する。これにより、次に項目等表示選択領域102の先頭部分に、どの表示項目を表示するかを特定することができる。
なお、ここでも、単位時間は、加速度を求めるタイミング間の間隔であり、この実施の形態の情報処理装置においては、等間隔に発生する所定のタイミング毎に、ドラッグ位置を検出してドラッグ操作の操作量を求め、これ応じて加速度を求めるようにしている。
そして、求めるスクロールの速度は、単位時間当たりの速度であるので、当該スクロールの速度は、そのまま単位時間当たりの表示項目のスクロールの距離(移動距離)であると言える。
図13は、この実施の形態の情報処理装置100におけるスクロールの速度の変化について説明するための図である。図13においては、項目等表示領域102に表示されている表示項目が、スクロール方向に表示項目が多数存在する位置にあるとする。この場合に、ドラッグ操作が行われると、図13において矢印が示すように、表示候補の表示項目の数はどんどん少なくなる。
そして、図10を用いて説明したように、スクロールの加速度は、ドラッグ操作の操作量の大きさに応じて決まる。また、表示項目のスクロールの速度は、上述したように、スクロールの加速度に応じて求められるスクロールの目的位置を考慮して求められる。
このため、スクロール方向に表示項目が少なくなってきた場合には、最終的に、スクロールの目的位置が最端部の表示項目に固定される。この場合には、スクロールの速度は、自動的に徐々に遅くなるようにされる。
つまり、図13に示すように、スクロールの加速度に応じて、スクロールの目的位置をスクロール方向に移動させることが可能な、位置Zまでの区間Aにおいては、スクロールの速度を、スクロールの加速度に対応させて上昇させていくことが可能である。
しかし、図13において、位置Z以降の区間Bは、表示項目の数が少なくなり、スクロールの加速度に応じて、スクロールの目的位置をスクロール方向に移動させることができず、スクロールの目的位置が最端部の表示項目に固定される区間であるとする。
この場合、区間Bにおいては、結果として、表示項目のスクロールの速度は徐々に遅くなるようにされる。これにより、スクロール速度が速いまま、表示項目のスクロールが表示項目の並びの最短部まで表示され、最短部分の表示項目を正確に確認できず、逆方向にドラッグ操作を行って、再度、表示項目を確認する必要が生じるといった不都合を回避することができる。
なお、図11〜図13においては、図11のユーザーインターフェース領域101において矢印で示したように、ユーザーインターフェース領域1上の入力検知デバイス1の操作面に対して、上側へのドラッグ操作が行われた場合を例にして説明した。
しかし、ドラッグ操作の方向が、開始点から下側方向に行うようにされた場合でっても、表示項目のスクロール方向が変わるだけで、ドラッグ操作が開始点から上側方向に行うようにされた場合と同様にして表示項目のスクロールが行われる。
[スクロールの速度の求め方のまとめ]
次に、主にデータオブジェクト制御部3において行われる項目等表示選択領域102に表示される表示項目のスクロール処理についてまとめる。図14は、データオブジェクト制御部3において行われる表示項目のスクロール処理について説明するためのフローチャートである。
この図14に示す処理は、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対して、ドラッグ操作が行われている間において、主にデータオブジェクト制御部3において所定のタイミング毎に繰り返し実行される処理である。
まず、データオブジェクト制御部3は、上述もしたように、ユーザーインターフェース制御部2から、表示項目のスクロールの加速度を受け取る(ステップS201)。このステップS201において、データオブジェクト制御部3は、スクロールの加速度のほか、ユーザーインターフェース制御部2から例えばユーザーによるドラッグ操作の方向を示す情報などをも受け取ることになる。
そして、データオブジェクト制御部3は、加速度を用いて、スクロールの目的位置を更新する(ステップS202)。具体的には、上述もしたように、前回のスクロールの目的位置に対して、今回の加速度を加算することによって、今回のスクロールの目的位置を求める。
次に、データオブジェクト制御部3は、更新した目的位置(今回のスクロールの目的位置)と現在の表示項目の表示位置(表示項目の先頭位置)との差分を算出する(ステップS203)。
そして、データオブジェクト制御部3は、ステップS203において求めた差分に対して、予め決められた係数を乗算することにより、現在時点の速度を算出する(ステップS204)。このステップS203とステップS204の処理が、図12を用いて説明した(1)式の処理である。
そして、データオブジェクト制御部3は、ステップS204において求めたスクロールの速度と、ユーザーインターフェース制御部2からのドラッグ操作の操作方向とに基づいて、表示メモリ部4の表示項目の表示位置を更新する(ステップS205)。そして、この図14に示す処理を抜け、次の実行タイミングまで待つことになる。
これにより、ユーザーのドラッグ操作に応じて、項目等表示選択領域102に表示される表示項目をスクロールさせることができる。
[境界シンボル間の間隔の制御処理]
この実施の形態の情報処理装置100においては、上述もしたように、ユーザーのドラッグ操作に応じて、ユーザーインターフェース領域101に表示させる境界シンボルの表示態様を変えるようにしている。
図15、図16は、境界シンボルの初期表示状態(ドラッグ操作が行われる前の状態)の一例を説明するための図である。図15に示すように、また、図2〜図7等にも示したように、この実施の形態の情報処理装置100においては、ユーザーインターフェース領域101に表示する境界シンボルとして4本の線分を用いるようにしている。
なお、これは一例であり、例えば、図16に示すように、6本の線分1031、1032、1033、1034、1035、1036を境界シンボルとして用いるようにしても良い。この場合には、ユーザーインターフェース領域101は、R1〜R7で示した7個の領域に分けられることになる。
このように、多くの境界シンボルを用いることにより、ユーザーのドラッグ操作に応じた変化をより詳細に表現することが可能となる。しかし、あまり境界シンボルの数を多くすると、ドラッグ操作に応じた変化が見えにくくなる場合もあるので、その数は適度なものとすることが望ましい。
そして、上述もしたように、この実施の形態の情報処理装置100においては、ドラッグ操作に応じて、境界シンボル間の間隔を変更する。この場合、第1の条件(原則)として、ドラッグ開始時にドラッグ開始点Sを境にした上部にある境界シンボル間と表示画面5Gの上端部と当該上端部に最も近い境界シンボルとの間の間隔はドラッグ中も均等に間隔αとなる。また、ドラッグ開始時にドラッグ開始点Sを境にした下部にある境界シンボル間と表示画面5Gの下端部と当該下端部に最も近い境界シンボルとの間の間隔はドラッグ中も均等に間隔βとなる。そして、なぞり方向側の間隔が狭くなる。
具体的に、図2〜図4を用いて説明した例の場合には、表示画面5Gの上端部と境界シンボル103Aとの間、及び、境界シンボル103Aと境界シンボル103Bと間の間隔は均等に間隔αとなる。また、境界シンボル103Cと境界支部103Dとの間、及び、境界シンボルDと表示画面5Gの下端部との間隔は均等に間隔βとなる。
この原則はドラッグ中も変わらず、表示表面5Gの上端部、境界シンボル103A、境界シンボル103B、その時点のドラッグ点、境界シンボル103C、境界シンボル103D、表示表面5Gの下端部という順番は変わらない。そして、なぞり方向側の間隔が狭くなるので、間隔αのほうが間隔βよりも狭くなるように制御している。
[ドラッグ操作終了後のユーザーインターフェース領域の表示態様]
そして、上述したように、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してドラッグ操作を行って、項目等表示選択領域102に表示されている表示項目をスクロールさせ、目的する表示項目が表示されたとする。
この場合、ユーザーは、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対して接触させて指等を当該操作面から離すことによってドラッグ操作を終了する。
このようにして、ドラッグ操作が終了するようにされた場合に、この実施の形態の情報処理装置100においては、ドラッグ操作が終了したことを、ユーザー自身が明確に知ることができるようにしている。
図17は、ドラッグ操作が終了するようにされた直後の表示画面5Gの表示情報の表示状態の一例を説明するための図である。例えば、図2〜図4を用いて説明したように、ドラッグ操作の開始点S→ドラッグ位置E1→ドラッグ位置E2の順にドラッグ操作が行われて、表示項目のスクロールが行われ、目的とする表示項目が表示されたので、ドラッグ操作を終了したとする。
この場合には、例えば、ドラッグ操作終了時点において、項目等表示選択領域102の上端側に表示情報の全体が表示されていた表示項目(図4の例の場合には項目4)を、先頭の表示項目とし、図17に示したように、4つの表示項目が表示するようにされる。この後、項目等表示選択領域102における表示項目のスクロールが停止される。
一方、ユーザーインターフェース領域101の境界シンボル103A、103B、103C、103Dのそれぞれは、ドラッグ操作が行われる前の初期状態の所定位置に戻るようにされる。しかし、単に初期状態の所定位置に戻るものではない。
図17に示すように、境界シンボル103A、103B、103C、103Dのそれぞれは、ドラッグ操作が行われる前の初期状態の所定位置に戻り、各境界シンボル上の矢印が示すように、上下に震動するように表示される。
この実施の形態の情報処理装置100においては、ユーザーのドラッグ操作に応じて、ユーザーインターフェース領域101の境界シンボルの表示態様により、ユーザーインターフェース領域101においてゴムの伸び縮みを表現するようにした。
そして、伸びたり縮んだりしていたゴムが元の状態に戻る場合、ゴムが元の状態に引き戻されるときのエネルギーにより、若干振動した状態になる。
そこで、この状態を表現するために、ドラッグ操作が終了し、ユーザーインターフェース領域101において、境界シンボルの位置を初期位置に戻した場合に、境界シンボルを上下に震動させることにより、ゴムの収縮状態が解除されたことを示すようにしている。
なお、この実施の形態の情報処理装置100においては、ドラッグ操作の操作量に応じて、ドラッグ操作終了後の各境界シンボルの振動幅を制御する。すなわち、ドラッグ操作の操作量が大きいときには、ドラッグ操作終了後の各境界シンボルの振動幅は大きくし、ドラッグ操作の操作量が小さい場合には、ドラッグ操作終了後の各境界シンボルの振動幅は小さくなるようにしている。
図18は、ドラッグ操作が終了するようにした場合に、ユーザーインターフェース領域101の境界シンボルの表示位置を初期状態に戻す場合の処理を説明するためのフローチャートである。
図18に示す処理は、ユーザーによってドラッグ操作が開始された後において、ユーザーインターフェース制御部2において、適宜のタイミングで繰り返し実行するようにされる。
すなわち、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してドラッグ操作が行うようにされると、ユーザーインターフェース制御部2は、図18に示し処理も適宜のタイミングで繰り返し実行するようする。
そして、図18に示す処理において、ユーザーインターフェース制御部2は、入力検知デバイス1からの検出出力を監視し、ユーザーインターフェース領域101上の操作面に対するユーザーの接触が終了したか否かを判断する(ステップS301)。
ステップS301の判断処理において、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対するユーザーの接触が終了していないと判断したときには、この図18に示す処理を抜け、次の実行タイミングを待つ。
ステップS301の判断処理において、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対するユーザーの接触が終了したと判断したときには、ドラッグ操作の操作量に基づいて、用いる加速度を選択する(ステップS302)。
このステップS302の処理は、ドラッグ操作の開始点からドラッグ操作終了時のドラッグ位置までの操作量に応じて、境界シンボルを初期状態の位置に戻したときに、境界シンボルを振動させるために用いるものである。
そして、ユーザーインターフェース制御部2は、まず、ユーザーインターフェース領域101の各境界シンボルを初期状態の位置に戻すと共に、選択した加速度と所定の物理モデルにしたがって、境界シンボルを振動させる(ステップS303)。
このステップS303において用いられる物理モデルは、例えば、ゴムの伸縮運動であるが、その他にも、例えば、ばねの伸縮運動など、種々の物理モデルを用いるようにすることが可能である。
そして、ステップS303の境界シンボルの振動は、徐々に収束し、最終的に各境界シンボルは初期状態の位置に静止した状態に戻ることになる。この後、ユーザーインターフェース制御部2は、図18に示した処理を終了し、ドラッグ操作が開始された場合にまた繰り返し実行されることになる。
これにより、ユーザーは、自分がドラッグ操作をさせた場合に、ユーザーインターフェース領域101の各境界シンボルの表示位置と振動とによって、情報処理装置100の状態も、ドラッグ操作が終了した状態に遷移したことを認識することができる。
[フリック操作の適用]
上述した実施の形態においては、入力検知デバイス1の操作面に対してドラッグ操作を行うようにした場合を例にして説明した。
しかし、ドラッグ操作とフリック操作とは、上述もしたように、動作の速さに違いがあるものの、操作面上にユーザーの指等を接触させた後に、当該操作面上を移動させる操作であり、移動距離と移動方向との2種類の情報によって把握できる操作である。
このため、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対しフリック操作を行った場合にも、項目等表示領域102に表示される表示項目のスクロールを行うようにすることができる。
図19は、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対しフリック操作を行った場合の項目等表示領域102に表示される表示項目のスクロール表示について説明するための図である。
図19(A)は、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対しフリック操作が行われる前の表示画面5Gの表示状態を説明するための図である。
図19(A)に示すように、ユーザーインターフェース領域101には、各境界シンボルなどが、ドラッグ操作やフリック操作が行われる前の初期状態の位置に表示されている。また、項目等表示領域102には、図2に示した場合と同様に、項目20から項目23までの4つの表示項目が表示され、上下方向のいずれにもスクロールすることができる状態になっている。
そして、図19において、ユーザーインターフェース領域101の下側部分から点線矢印で示したように、表示画面5Gの上側方向(上端方向)にフリック操作が行われたとする。
フリック操作は、上述もしたように、ユーザーの指等によって入力検知デバイス1の操作面上に接触させてから、そのまま任意の方向に素早く「はじく」ようにする動作である。したがって、ユーザーの指等の入力検知デバイス1の操作面に対する接触は、ドラッグ操作に比べると非常に短い時間となる。
このため、図19(B)に示すように、フリック操作が行われた直後においては、そのフリック操作の開始点と操作方向と操作量とに応じて、ユーザーインターフェース領域101の各境界シンボルの表示態様を変える。同時に、図19(B)に示すように、フリック操作の操作方向と操作量とに応じて、項目等表示選択領域102の表示項目をスクロールさせる。
この場合、ユーザーインターフェース領域101の各境界シンボルの表示態様の変更は、基本的は、上述したドラッグ操作の場合と同様に行うことが可能である。すなわち、フリック操作の場合であっても、ユーザーの指などの接触の開始点から終了点までの距離に応じて、フリック操作の操作量を把握することができる。また、ユーザーの指などの接触の開始点から終了点までの時間に応じて、フリック操作の操作量を把握することができる。
しかし、フリック操作の場合、入力検知デバイス1の操作面に対する接触状態は非常に短い。このため、フリック操作の場合には、操作量を予め決められた量とするようにしてもよい。
そして、上述したように、フリック操作は、入力検知デバイス1の操作面に対する接触状態は非常に短い。このため、フリック操作に応じて、図19(B)に示したような表示を行うようにした後、迅速に、ユーザーインターフェース領域101の境界シンボルの表示態様を初期状態に戻すと共に、項目等表示選択領域102のスクロールを停止させる。
すなわち、フリック操作に応じて、図19(B)に示したように表示態様を変えた後、図19(C)に示すように、ユーザーインターフェース領域101の各境界シンボルの表示位置を初期状態の位置に戻し、各境界シンボルを上下に振動させるように表示する。
この境界シンボルを振動させるように表示する処理は、図17、図18を用いて上述した場合と同様にして行われる。
また、フリック操作に応じて、図19(B)に示したように表示を変えた後、図19(C)に示すように、項目等表示選択領域102の表示項目のスクロールを停止させる。この場合、フリック操作に応じた量分の表示項目のスクロールを実行した後に、項目等表示選択領域102の上端側に表示情報の全体が表示されている表示項目を、先頭の表示項目とし、図19(C)に示したように、4つの表示項目が表示するようにされる。
このように、ドラッグ操作に替えてフリック操作を行うようにした場合であっても、そのフリック操作の操作方向と操作量とに応じて、ユーザーインターフェース領域101の境界シンボルの表示態様を変えることができる。同時に、フリック操作の操作方向と操作量とに応じて、項目等表示選択領域102の表示項目のスクロールを行うことができる。
[情報処理装置100のフリック操作受け付け時の処理]
図20は、この実施の形態の情報処理装置100において行われるフリック操作作時の処理を説明するためのフローチャートである。
図20に示す処理は、情報処理装置100に電源投入され、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してフリック操作が行うようにされた場合に実行される。この図20に示す処理は、主に、ユーザーインターフェース制御部2とデータオブジェクト制御部3とによって実行される。
すなわち、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してフリック操作が行うようにされると、ユーザーインターフェース制御部2とデータオブジェクト制御部3とは、協働して図20に示す処理を実行する。
まず、ユーザーインターフェース制御部2は、入力検知デバイス1からのユーザー操作情報を受け取る(ステップS401)。ここで、ユーザー操作情報は、フリック操作に応じて変化する入力検知デバイス1の操作面に対応する座標データである。
ユーザーインターフェース制御部2は、受け取ったユーザー操作情報に応じて、ユーザー操作量(フリック操作量)を求め、当該ユーザー操作量に応じて境界シンボルの表示位置を求める(ステップS402)。
なお、ユーザー操作量(フリック操作量)は、上述もしたように、フリック操作の開始点(フリック開始点)とフリック操作の終了点(フリック終了点)との差分として求めることができる。
また、ユーザー操作量(フリック操作量)は、上述もしたように、フリック操作の開始点(フリック開始点)からフリック操作の終了点(フリック終了点)までの時間として求めることもできる。あるいは、ユーザー操作量(フリック操作量)として一定の値を用いるようにしてもよい。
この例の場合、ステップS402においては、フリック操作の開始点のユーザーインターフェース領域101上の位置、開始点を基準とするフリック操作の方向、フリック操作の操作量(ユーザー操作量)に基づいて、各境界シンボルの表示位置がどこになるかを特定できる。
例えば、係数及びデータ格納部6には、ドラッグ操作の開始点のユーザーインターフェース領域101上の位置、開始点を基準とするフリック操作の方向、フリック操作の操作量の3つの情報に対応させて、各境界シンボルの位置が記憶保持されている。
ユーザーインターフェース制御部2は、上述したように求められる情報に基づいて、係数及びデータ格納部6を参照することにより、境界シンボルのユーザーインターフェース領域101上の表示位置を特定することができるようにされる。
更に、ユーザーインターフェース制御部2は、ユーザー操作量(フリック操作)に応じて、表示項目をスクロールさせる場合のスクロールの加速度を求める(ステップS403)。このステップS403の処理においても、フリック操作の操作量に応じて、一意にスクロールの加速度を特定することができるようにされる。
より具体的には、例えば、係数及びデータ格納部6には、フリック操作の操作量に対応付けられて、スクロールの加速度が記憶保持されている。そして、求めたフリック操作の操作量に基づいて、係数及びデータ格納部6の所定のエリアから対応する加速度データを読み出す。このようにして、フリック操作の操作量に応じて、スクロールの加速度を求めることができる。
この後、ユーザーインターフェース制御部2は、求めた各境界シンボルの表示位置に基づいて、表示メモリ部4に記憶保持されているユーザーインターフェース領域101の各境界シンボルの表示位置を更新する(ステップS404)。
また、ユーザーインターフェース制御部2は、フリック操作の方向と求めたスクロールの加速度とを、データオブジェクト制御部3に通知する(ステップS405)。
データオブジェクト制御部3は、ユーザーインターフェース制御部2からのフリック操作の方向とスクロールの加速度とに応じて、表示メモリ部4の項目等表示選択領域102の表示情報(表示項目の表示位置)を更新する(ステップS406)。
この後、表示デバイス5が、表示メモリ部4の更新された表示情報(境界シンボル及び表示項目(データオブジェクト)を、自己の表示素子の表示画面に表示するようにする(ステップS407)。そして、この図20に示した処理を終了させ、次のフリック操作を待つことになる。
このように、ユーザーのフリック操作に応じて、ユーザーインターフェース領域101の境界シンボルの表示対応を変えることができると共に、項目等表示選択領域102に表示される表示項目(データオブジェクト)をスクロール表示させることができる。
[ドラッグ操作に応じた表示遷移の他の例]
次に、ドラッグ操作に応じたユーザーインターフェース領域101の境界シンボルの表示態様の他の例について説明する。上述した実施の形態においては、ドラッグ操作の開始点Sを基準にして、ドラッグ開始時に当該開始点Sより上部に位置する境界シンボルと、下部に位置する境界シンボルとで、それらが形成する間隔を異ならせるようにした。しかしこれに限るものではない。
例えば、境界シンボル103A、103B、103C、104Dのそれぞれを、それぞれ毎に表示位置を変えるようにし、各境界シンボル間の間隔を変更するようにしてもよい。図21〜図27は、この実施の形態の情報処理装置100において、ドラッグ操作に応じて遷移する表示デバイス5の表示画面に表示される情報の表示態様の他の例について説明するための図である。
まず、図21〜図26を用いて、ユーザーインターフェース領域101の中央部分からドラッグ操作を開始する場合について説明する。
図21は、上述した図2の場合と同様の状態を示しており、情報処理装置100において、入力検知デバイス1に対してドラッグ操作がされる前の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
この例の場合にも、図21に示すように、ユーザーインターフェース領域101は、線分である4つの境界シンボル103A、103B、103C、103Dによって、5つの部分に分けられるようにされている。
この実施の形態において、境界シンボル103A、103B、103C、103Dは、通常時(ドラッグ操作が行われていない時)には、ユーザーインターフェース領域101の縦方向に、例えば、5つの領域を均等に分割する位置に表示するようにされる。
また、図21に示すように、境界シンボル103Bと境界シンボル103Cとにより挟まれた、ユーザーインターフェース領域101の縦方向の中心部分には、中心であることを示す3本の線分である中心ガイドシンボル104が表示される。
そして、項目等表示選択領域102には、表示項目群(データオブジェクト群)105が表示される。この実施の形態において、項目等表示選択領域102には、4つの表示項目(データオブジェクト)が表示するようにされている。この図21に示した例の場合にも、例えば、100項目ある表示項目のうち、20番目から23番目の表示項目が表示され、上下いずれの方向にもスクロール可能な状態になっている場合を示している。
そして、図21に示すように、ユーザーインターフェース領域101の中心ガイドシンボル104が表示されている位置の入力検知デバイス1の操作面上にユーザーが指等を接触させ、矢印が示す方向にドラッグ操作を開始させたとする。この例において、符号Sが示す位置が、ユーザーが指等を最初に接触させた開始点である。
図22は、図21に示したドラッグ操作開始前の状態から、図21において矢印が示した方向にドラッグ操作が開始された直後の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対してドラッグ操作が行われると、入力検出デバイス1からは、ユーザーのドラッグ操作に応じて変化する入力検出デバイス1の操作面上の接触位置に応じた座標データが出力される。
入力検出デバイス1からの座標データは、ユーザーインターフェース制御部2に供給される。ユーザーインターフェース制御部2は、入力検出デバイス1からの座標データに基づいて、ユーザーのドラッグ操作の方向と操作量とを把握する。そして、ユーザーインターフェース制御部2は、当該把握した内容にしたがって、表示メモリ部4のユーザーインターフェース領域101の境界シンボルの表示位置を変更する。
この例の場合には、ユーザーインターフェース領域101の各境界シンボル103A、103B、103C、103Dのそれぞれは、図22に示すように、その表示位置が、図21に示した場合に比べてドラッグ操作の方向に移動するようにされる。
また、図22に示すように、ユーザーインターフェース領域101の各境界シンボル103A、103B、103C、103Dの間隔が、ゴムが縮んだ際の模様のように詰まることにより、ユーザーのドラッグ操作の操作量を直感的に認識可能にしている。
すなわち、図22において、ドラッグ操作の開始点は、位置Sが示しており、現在のドラッグ位置は、位置E1が示している。この場合の操作方向は、開始点Sから現在のドラッグ位置E1までの実線矢印が示すように、表示画面5Gに対して上向き方向となる。
また、この場合のドラッグ操作の操作量は、上述もしたように、開始点Sと現在のドラッグ位置E1との差分に応じたものとなるから、図22において両矢印201が示す大きさとなる。
このため、ユーザーインターフェース制御部2は、表示メモリ部4を制御し、表示メモリ部4のユーザーインターフェース領域101の各境界シンボルの位置を、ドラッグ操作の操作量とその操作の方向に応じて移動させる。
図22に示した例の場合には、境界シンボル103Aと103Bとの間、境界シンボル103Bと103Cとの間、境界シンボル103Cと103Dとの間は、それぞれ異なるようにされている。
そして、図22に示した例の場合、ユーザーインターフェース制御部2は、ドラッグ操作の開始点Sに対する現在のドラッグ位置E1に応じて決まるドラッグ操作の方向の入力検知デバイス1の操作面の端部に近い境界シンボル間の間隔ほど狭くなるようにしている。
この図22に示した場合において、ドラッグ操作の方向は、上述もしたように、表示画面5Gにおいて、開始点Sから現在のドラッグ位置E1へ向う方向(表示画面5Gにおいて上向き方向)となる。
したがって、ドラッグ操作の方向の入力検知デバイス1の操作面の端部とは、図22に示した例の場合には、表示画面5Gの上端部となる。そして、図22に示した例の場合、表示画面5Gの上端部に近い境界シンボル間ほど狭くなるようにしている。
このため、図22に示した例の場合には、境界シンボル103Aと103Bとの間が一番狭くなり、境界シンボル103Bと103Cとの間が2番目に狭くなり、境界シンボル103Cと103Dとの間が3番目に狭くなる。
換言すれば、境界シンボル103Aと103Bとの間→境界シンボル103Bと103Cとの間→境界シンボル103Cと103Dとの間の順で、境界シンボル間の間隔が徐々に広くなるようにされる。
なお、この場合において、項目等表示選択領域102に表示されている表示項目のスクロール表示は、図2〜図5、及び、図9〜図14を用いて説明した場合と同様にして行われることになる。
そして、図22に示した状態からさらにドラッグ操作を続行することにより、項目等表示選択領域102に表示させる表示項目のスクロールの加速度を変更することが可能となる。この場合には、さらに、境界シンボル間の間隔が変更される。
図23は、図22に示したドラッグ位置E1からさらにドラッグ操作が行うようにされた場合の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
図23において、位置E1から位置E2への矢印で示したように、ドラッグ位置E1からドラッグ操作が続行され、ドラッグ位置E2にまでドラッグ操作が行われたとする。この場合、新たに行われたドラッグ操作は、ドラッグ位置E1から現在のドラッグ位置E2までである。
しかし、ドラッグ操作の開始点Sと現在のドラッグ位置E2との差分によって示されるドラッグ操作の操作量は、図23において両矢印301が示すように、図22に示した両矢印201に比べて大きなものとなる。
そして、ユーザーインターフェース制御部2は、ドラッグ操作の方向と、両矢印301が示す最新のドラッグ操作の操作量に基づいて表示メモリ部3を制御し、境界シンボル103A、103B、103C、103Dの位置を変更する。
この場合、図22に示した両矢印201と、図23に示した両矢印301とを比較すると分るように、ドラッグ操作の操作量は、図22に示した状態からさらに大きくなっている。このため、図22に示した状態から図23に示した状態へと、さらにドラッグ操作が同じ方向に継続された場合、境界シンボル間の間隔はより密となるようにされる。
これにより、ユーザーは、自分がどちら側にドラッグ操作を実行しており、その状態がどのように情報処理装置100において認識されているのかを、ユーザーインターフェース領域101の境界シンボルの表示態様に応じて正確に知ることができる。
また、この実施の形態の情報処理装置100において、ユーザーインターフェース領域101に対しては、どこからでも連続したドラッグ操作が可能である。
図24は、図23に示したドラッグ位置E2から、それまでとは反対の方向に大きくドラッグ操作が行うようにされた場合の表示デバイス5の表示画面5Gに表示される情報の表示状態を説明するための図である。
図21、図22、図23を用いて説明したように、ドラッグ操作が開始点S→位置E1→位置E2と言うように行われたとする。そして、図24に示すように、現在のドラッグ位置が位置E2まで到達した後に、ユーザーインターフェース領域101の入力検知デバイス1の操作面に対して接触させた指等を離すことなく、当該領域の右上から左下に向かって大きくドラッグ操作したとする。
この場合にも、ユーザーインターフェース領域101の境界シンボルの表示位置は、ドラッグ操作の方向とドラッグ操作の操作量に基づいて変更するようにされる。同時に、項目等表示選択領域102に表示されている表示項目もまた、ドラッグ操作の方向と、ドラッグ操作の操作量に応じて決まる加速度とに基づいてスクロール表示するようにされる。
この場合、ドラッグ操作の操作位置が位置E2から開始点Sに到達するまでの間においては、ユーザーインターフェース領域101の境界シンボル間の間隔が徐々に広くなるようにされる。そして、ドラッグ位置がドラッグ操作の開始点Sに戻ると、ユーザーインターフェース領域101の境界シンボルは図21に示した表示態様に戻る。
そして、更にドラッグ操作が継続して行われ、表示画面5Gにおいて、ドラッグ位置が開始点Sの下側に位置するようになると、ドラッグ操作の方向は、表示画面5Gに対して下向きとなり、ドラッグ操作の操作量も徐々に増加していくことになる。
そして、この場合、ユーザーインターフェース領域101の各境界シンボル103A、103B、103C、103Dのそれぞれは、ドラッグ操作の方向、すなわち、表示画面5Gの下端部に向う方向に移動するようにされる。
この場合、境界シンボル103A、103B、103C、104Dのそれぞれは、それぞれ毎に表示位置が変えられ、各境界シンボル間の間隔が変更するようにされる。つまり、境界シンボル103Aと103Bとの間、境界シンボル103Bと103Cとの間、境界シンボル103Cと103Dとの間は、それぞれ異なるようにされる。
そして、この図24に示した例の場合にも、ユーザーインターフェース制御部2は、ドラッグ操作の開始点Sに対する現在のドラッグ位置に応じて決まるドラッグ操作の方向の入力検知デバイス1の操作面の端部に近い境界シンボル間の間隔ほど狭くなるようにしている。
図24に示した場合において、ドラッグ操作の方向は、図24において右上から左下に向う実線の矢印で示したように、表示画面5Gにおいて下向き方向となる。したがって、ドラッグ操作の方向の入力検知デバイス1の操作面の端部とは、図24に示した例の場合には、表示画面5Gの下端部となる。したがって、図24に示した例の場合、表示画面5Gの下端部に近い境界シンボル間ほど狭くなるようにしている。
このため、図24に示した例の場合には、境界シンボル103Dと103Cとの間が一番狭くなり、境界シンボル103Cと103Bとの間が2番目に狭くなり、境界シンボル103Bと103Aとの間が3番目に狭くなる。
換言すれば、境界シンボル103Dと103Cとの間→境界シンボル103Cと103Bとの間→境界シンボル103Bと103Aとの間の順で、境界シンボル間の間隔が徐々に広くなるようにされる。
そして、ドラッグ位置が、表示画面5Gの下端部に近づくにしたがって、ドラッグ操作の操作量は大きくなるので、境界シンボル間の間隔は徐々に狭められる。そして、最終的には、図24に示したように、境界シンボル103A、103B、103C、103Dのそれぞれは、同じ位置に重ねて表示するようにされる。
このようにして、ドラッグ操作に応じて、ユーザーインターフェース領域101に表示する各境界シンボル間の間隔を異ならせて表示することにより、その間隔によって、ドラッグ操作の方向と、ドラッグ操作の操作量とをユーザーに通知することができる。
なお、例えば、図6に示したように、ユーザーインターフェース領域101の下端部や、その逆に上端部からドラッグした場合には、ドラッグ操作の開始点からドラッグ操作の方向に位置する境界シンボル間の間隔は等間隔となるように制御するようにしてもよい。
以下においては、図21〜図24を用いて説明した境界シンボル間の間隔の制御を行う場合の一例について説明する。以下においては、図21にも示し、また、図15にも示したように、線分である4本の境界シンボル103A、103B、103C、103Dが用いられる場合を例にして説明する。
図15に示し、また、図21にも示したように、この例においては、境界シンボル103Bと103Cとによって挟まれた領域を領域Aとし、ユーザーインターフェース領域101の上端と境界シンボル103Aとで挟まれた領域を領域Bとする。また、境界シンボル103Aと103Bとによって挟まれた領域を領域Dとする。
また、図15に示し、図21にも示したように、ユーザーインターフェース領域101の下端と境界シンボル103Dとで挟まれた領域を領域Cとし、境界シンボル103Cと103Dとによって挟まれた領域を領域Eとする。また、以下においては、図15に示したように、矢印aが示す方向を上側方向、また、矢印bが示す方向を下側方向として説明する。
そして、この実施の形態の情報処理装置100においては、ドラッグ操作の開始点の位置とドラッグ操作の方向と、ドラッグ操作の操作量とに応じて、境界シンボル間の間隔を制御する。
具体的には、例えば、図25、図26に示すような対応表を用いることによって、境界シンボル間の間隔を制御することができる。すなわち、図25、図26は、ユーザーインターフェース領域101上のドラッグ操作の開始点の位置とドラッグ操作の方向とドラッグ操作の操作量とに応じて、境界シンボル間の間隔をどのように制御するかを対応付けた対応表を説明するための図である。
図25、図26において、ドラッグ開始領域欄はドラッグ操作の開始点が位置する領域を示す。また、ドラッグ操作方向は、ドラッグ操作の開始点に対する現在のドラッグ位置の方向(ドラッグ操作の方向)を示す。
図25、図26において、操作量(比率)欄は、ドラッグ操作の操作量が示される。図25において、操作量(比率)欄のx1〜xnは、ドラッグ操作の操作量(ドラッグ操作の開始点からドラッグ位置までの操作量)であり、この例の場合には、x1<x2<x3<x4<…<xnという関係にあるようにされる。
また、図25、図26において、操作量(比率)欄は、ドラッグ操作の操作量の範囲を示す。すなわち、操作量(比率)欄において、「≦x1」は「0<操作量≦x1」である範囲を示し、「≦x2」は「x1<操作量≦x2」である範囲を示している。また、「≦x3」は「x2<操作量≦x3」である範囲を示し、「≦x4」は「x3<操作量≦x4」である範囲を示す。また、「≦xn」は「xn−1<操作量≦xn」である範囲を示す。
また、図25、図26において、先頭シンボル位置欄は、先頭の境界シンボル(境界シンボルの移動方向)と、先頭の境界シンボルのユーザーインターフェース領域101における位置を示す。
なお、図25、図26の先頭シンボル位置欄において、位置y1、y2、…、ynはユーザーインターフェース領域101の上端側の位置を示し、位置yy1、yy2、…、yynはユーザーインターフェース領域101の下端側の位置を示している。
また、図25、図26において、シンボル間隔区分は、境界シンボル間の間隔の制御区分、すなわち、各境界シンボル間の間隔を不均等にするか、均等にするかの区別が示される。
また、図25、図26において、シンボル間隔1、シンボル間隔2、シンボル間隔3のそれぞれは、境界シンボル間の間隔の大きさを示している。そして、シンボル間隔1は、ユーザーインターフェース領域101において、ドラッグ操作の方向の一番端に位置する境界シンボル間に対応する。また、シンボル間隔2はシンボル間隔1の次の境界シンボル間に対応し、シンボル間隔3はシンボル間隔2の次の境界シンボル間に対応する。
例えば、図21に示した例において、領域Aから上側の領域A、B、Dのいずれかに指等を接触させることによりドラッグ操作の開始点を設け、そのまま図21において上側方向(図15の矢印aが示す方向)にドラッグ操作を行ったとする。
この場合、ドラッグ操作の開始点からドラッグ操作の方向には、多くても2本の境界シンボルしか存在しない。このため、図25において、ドラッグ開始領域が領域A、B、Dのいずれかであり、ドラッグ操作の方向が上側である5つの行に示したように、ドラッグ操作の操作量に応じて、各境界シンボルの表示位置が制御される。
この場合、図25に示したように、境界シンボル103Aを先頭の境界シンボルとし、図21において上側方向に各境界シンボルの表示位置が変わるように制御される。
そして、先頭の境界シンボル103Aの表示位置は、値y1、y2、…によって示されるユーザーインターフェース領域101上の位置となるようにされる。そして、各境界シンボル間の間隔がシンボル間隔1、シンボル間隔2、シンボル間隔3が示す値によって制御される。
この場合、(1)境界シンボル103Aと103Bとの間→(2)境界シンボル103Bと103Cとの間→(3)境界シンボル103Cと103Dとの間の順に、間隔は広くなるようにされる。
そして、図25のシンボル間隔1、シンボル間隔2、シンボル間隔3の情報から分るように、ドラッグ操作の操作量が大きくなるしたがって、各境界シンボル間の間隔は徐々に狭くなる。
したがって、この場合、各境界シンボルは、徐々にユーザーインターフェース領域101の上端側に移動し、最終的には、間隔は0(ゼロ)になって、4つの境界シンボルが同じ位置に重なって表示するようにされる。
また、図21に示した例において、領域Aから下側の領域A、C、Eのいずれかに指等を接触させることによりドラッグ操作の開始点を設け、そのまま図21において下側方向(図15における矢印bが示す方向)にドラッグ操作を行ったとする。
この場合、ドラッグ操作の開始点からドラッグ操作の方向には、多くても2本の境界シンボルしか存在しない。したがって、図25において、ドラッグ開始領域が領域A、C、Eのいずれかであり、ドラッグ操作の方向が下側である5つの行に示したように、ドラッグ操作の操作量に応じて、各境界シンボルの表示位置が制御される。
この場合、図25に示したように、境界シンボル103Dを先頭の境界シンボルとし、図21において下側方向に各境界シンボルの表示位置が変わるように制御される。
そして、先頭の境界シンボル103Dの表示位置は、値yy1、yy2、…によって示されるユーザーインターフェース領域101上の位置となるようにされる。そして、各境界シンボル間の間隔がシンボル間隔1、シンボル間隔2、シンボル間隔3が示す値によって制御される。
この場合、(1)境界シンボル103Dと103Cとの間→(2)境界シンボル103Cと103Bとの間→(3)境界シンボル103Bと103Aとの間の順に、間隔は広くなるようにされる。
そして、図25のシンボル間隔1、シンボル間隔2、シンボル間隔3の情報から分るように、ドラッグ操作の操作量が大きくなるしたがって、各境界シンボル間の間隔は徐々に狭くなる。
したがって、この場合、各境界シンボルは、徐々にユーザーインターフェース領域101の下端側に移動し、最終的には、間隔は0(ゼロ)になって、4つの境界シンボルが同じ位置に重なって表示するようにされる。
また、図21に示した例において、上端側の領域Bに指等を接触させることによりドラッグ操作の開始点を設け、そのまま図21において下側方向にドラッグ操作を行ったとする。
この場合、ドラッグ操作の開始点からドラッグ操作の方向には、4つ全ての境界シンボルが存在し、境界シンボルで挟まれた3つの境界シンボル間が存在する。このため、図25において、ドラッグ開始領域が領域Bであり、ドラッグ操作の方向が下側である場合の各行に示したように、ドラッグ操作の操作量に応じて、各境界シンボルの表示位置が制御される。
この場合、図25に示したように、境界シンボル103Dを先頭の境界シンボルとし、図21において矢印が示す方向と反対方向である下側方向に各境界シンボルの表示位置が変わるように制御される。
そして、先頭の境界シンボル103Dの表示位置は、値yy1、yy2、…によって示されるユーザーインターフェース領域101上の位置となるようにされる。そして、各境界シンボル間の間隔がシンボル間隔1、シンボル間隔2、シンボル間隔3が示す値によって制御される。
この場合、(1)境界シンボル103Aと103Bとの間、(2)境界シンボル103Bと103Cとの間、(3)境界シンボル103Cと103Dとの間のそれぞれの間隔は、均等になるように制御される。
そして、この例の場合にも、図25のシンボル間隔1、シンボル間隔2、シンボル間隔3の情報から分るように、ドラッグ操作の操作量が大きくなるしたがって、各境界シンボル間の間隔は徐々に狭くなる。
したがって、この場合、各境界シンボルは、各シンボル間の間隔が均等になるようにされながら、徐々にユーザーインターフェース領域101の下端側に移動する。そして、最終的には、間隔は0(ゼロ)になって、4つの境界シンボルが同じ位置に重なって表示するようにされる。
また、図21に示した例において、下端側の領域Cに指等を接触させることによりドラッグ操作の開始点を設け、そのまま図21において上側方向にドラッグ操作を行ったとする。
この場合においても、ドラッグ操作の開始点からドラッグ操作の方向には、4つ全ての境界シンボルが存在し、境界シンボルで挟まれた3つの境界シンボル間が存在する。したがって、図25において、ドラッグ開始領域が領域Cであり、ドラッグ操作の方向が上側である場合の各行に示したように、ドラッグ操作の操作量に応じて、各境界シンボルの表示位置が制御される。
この場合、図25に示したように、境界シンボル103Aを先頭の境界シンボルとし、図21において上側方向に各境界シンボルの表示位置が変わるように制御される。
そして、先頭の境界シンボル103Aの表示位置は、値y1、y2、…によって示されるユーザーインターフェース領域101上の位置となるようにされる。そして、各境界シンボル間の間隔がシンボル間隔1、シンボル間隔2、シンボル間隔3が示す値によって制御される。
この場合、(1)境界シンボル103Aと103Bとの間、(2)境界シンボル103Bと103Cとの間、(3)境界シンボル103Cと103Dとの間のそれぞれの間隔は、均等になるように制御される。
そして、この例の場合にも、図25のシンボル間隔1、シンボル間隔2、シンボル間隔3の情報から分るように、ドラッグ操作の操作量が大きくなるしたがって、各境界シンボル間の間隔は徐々に狭くなる。
したがって、この場合、各境界シンボルは、各シンボル間の間隔が均等になるようにされながら、徐々にユーザーインターフェース領域101の上端側に移動する。そして、最終的には、間隔は0(ゼロ)になって、4つの境界シンボルが同じ位置に重なって表示するようにされる。
また、図21に示した例において、上端側の領域Dに指等を接触させることによりドラッグ操作の開始点を設け、そのまま図21において下側方向にドラッグ操作を行ったとする。
この場合、ドラッグ操作の開始点からドラッグ操作の方向には、3つの境界シンボルが存在し、境界シンボルで挟まれた2つの境界シンボル間が存在する。この場合、図26において、ドラッグ開始領域が領域Dであり、ドラッグ操作の方向が下側である場合の各行に示したように、ドラッグ操作の操作量に応じて、各境界シンボルの表示位置が制御される。
この場合、図26に示したように、境界シンボル103Dを先頭の境界シンボルとし、図21において下側方向に各境界シンボルの表示位置が変わるように制御される。
そして、先頭の境界シンボル103Dの表示位置は、値yy1、yy2、…によって示されるユーザーインターフェース領域101上の位置となるようにされる。そして、各境界シンボル間の間隔がシンボル間隔1、シンボル間隔2、シンボル間隔3が示す値によって制御される。
この場合、(1)境界シンボル103Cと103Dとの間と(2)境界シンボル103Bと103Cとの間とは均等の間隔となりようにされる。しかし、(3)境界シンボル103Aと103Bとの間の間隔は、(1)境界シンボル103Cと103Dとの間や(2)境界シンボル103Bと103Cとの間の間隔よりは大きくなるように制御される。
そして、この例の場合にも、図26のシンボル間隔1、シンボル間隔2、シンボル間隔3の情報から分るように、ドラッグ操作の操作量が大きくなるしたがって、各境界シンボル間の間隔は徐々に狭くなる。
したがって、この場合、開始点から見てドラッグ操作の方向に位置する境界シンボルによって挟まれた2の境界シンボル間の間隔が均等になり、それ以外の境界シンボル間の間隔は、それら2つの境界シンボル間の間隔より長くなるようにされる。
そして、各境界シンボルは、徐々にユーザーインターフェース領域101の下端側に移動する。そして、最終的には、間隔は0(ゼロ)になって、4つの境界シンボルが同じ位置に重なって表示するようにされる。
また、図21に示した例において、下端側の領域Eに指等を接触させることによりドラッグ操作の開始点を設け、そのまま図21において上側方向にドラッグ操作を行ったとする。
この場合、ドラッグ操作の開始点からドラッグ操作の方向には、3つの境界シンボルが存在し、境界シンボルで挟まれた2つの境界シンボル間が存在する。このため、図26において、ドラッグ開始領域が領域Eであり、ドラッグ操作の方向が上側である場合の各行に示したように、ドラッグ操作の操作量に応じて、各境界シンボルの表示位置が制御される。
この場合、図26に示したように、境界シンボル103Aを先頭の境界シンボルとし、図21において上側方向に各境界シンボルの表示位置が変わるように制御される。
そして、先頭の境界シンボル103Aの表示位置は、値y1、y2、…によって示されるユーザーインターフェース領域101上の位置となるようにされる。そして、各境界シンボル間の間隔がシンボル間隔1、シンボル間隔2、シンボル間隔3が示す値によって制御される。
この場合、(1)境界シンボル103Aと103Bとの間と(2)境界シンボル103Bと103Cとの間とは均等の間隔となりようにされる。しかし、(3)境界シンボル103Cと103Dとの間の間隔は、(1)境界シンボル103Aと103Bとの間や(2)境界シンボル103Bと103Cとの間の間隔よりは大きくなるように制御される。
そして、この例の場合にも、図26のシンボル間隔1、シンボル間隔2、シンボル間隔3の情報から分るように、ドラッグ操作の操作量が大きくなるしたがって、各境界シンボル間の間隔は徐々に狭くなる。
したがって、この場合、開始点から見てドラッグ操作の方向に位置する境界シンボルによって挟まれた2の境界シンボル間の間隔が均等になり、それ以外の境界シンボル間の間隔は、それら2つの境界シンボル間の間隔より長くなるようにされる。
そして、各境界シンボルは、徐々にユーザーインターフェース領域101の上端側に移動する。そして、最終的には、間隔は0(ゼロ)になって、4つの境界シンボルが同じ位置に重なって表示するようにされる。
このように、この実施の形態の情報処理装置100は、ユーザーインターフェース領域101上におけるドラッグ操作の開始点の位置と、開始点に対するドラッグ操作の方向と、ドラッグ操作の操作量とに基づいて、境界シンボルの表示位置を制御する。
この場合、ユーザーインターフェース領域101の境界シンボルの表示態様をユーザーのドラッグ操作に応じて変える。これにより、ユーザーインターフェース領域101の表示を、ゴムの伸び縮みに合致した態様で変化するようにすることができる。
そして、上述もしたように、ユーザーのドラッグ操作に応じた態様で、ユーザーインターフェース領域101の表示が変えられる。これにより、ユーザーは、自分が行っているドラッグ操作が、情報処理装置100においてどのように認識されているのかを明確に知ることができる。
そして、ユーザーインターフェース領域101の境界シンボルの表示態様の変化に基づいて、自己が行っているドラッグ操作について修正を施し、ユーザーが考えている通りに表示項目のスクロールを行うようにすることができる。
なお、図25、図26を用いて説明した境界シンボル間の間隔の調整処理においては、以下の第1、第2の条件にしたがって、境界シンボル間の間隔を制御した。
すなわち、第1の条件(原則)として、ドラッグ操作の開始点に対する現在のドラッグ位置に応じて決まるドラッグ操作の方向の入力検知デバイス1の操作面の端部に近い境界シンボル間の間隔ほど狭くなるように制御した。
ただし、第2の条件として、ドラッグ操作が開始される前の状態において、ドラッグ操作の開始点からドラッグ操作の方向に位置する境界シンボル間の間隔は均等となるように制御した。
これらの制御により、ユーザーインターフェース領域101の境界シンボルの表示態様をユーザーのドラッグ操作に応じて、ユーザーが行っているドラッグ操作が、当該情報処理装置においてどのように認識されているのかを視覚を通じて明確に把握できる。
また、ユーザーインターフェース領域101の境界シンボルの表示態様は、あたかもゴムの伸び縮みのように変化させることができるので、操作しているユーザーにとって、自分が行っている操作状態を感覚的に理解しやすいと言うメリットがある。
なお、図25、図26を用いて説明した境界シンボル間の間隔の調整処理は一例であり、この他にも種々の方式を用いることができる。
例えば、(a)ユーザーインターフェース領域101上におけるドラッグ操作の開始点の位置と、(b)開始点に対するドラッグ操作の方向とに基づいて、各境界シンボル間の間隔の割合をどのようにするかを決めておく。
そして、(c)ドラッグ操作の操作量に基づいて、各境界シンボル間の間隔の単位幅を変えるようにすることによって、境界シンボル間の間隔を適切に制御することができる。この場合、図25、図26に示したような詳細な対応表は必要ない。
また、図2〜図5を用いて説明した場合と同様に、表示画面5Gの上端部と境界シンボルとの間の間隔や、表示画面5Gの下端部と境界シンボルとの間の間隔についても、制御するようにすることももちろん可能である。
つまり、操作方向の先頭の境界シンボルの表示位置もまた、最初の表示位置から、ユーザーのドラッグ操作の操作量に応じた量だけ、徐々にずらすようにすることもできる。
また、各境界シンボル間の間隔を所定の関数に基づいて決めるようにするなどの方法を用いるようにすることもできる。
要は、例えば、(a)ユーザーインターフェース領域101上におけるドラッグ操作の開始点の位置と、(b)開始点に対するドラッグ操作の方向と、(c)ドラッグ操作の操作量とに基づいて、境界シンボルの表示位置を制御するようにすればよい。
この場合に、例えば、ゴムの伸び縮みや、ばねの伸び縮みなどといった、所定の物理モデルにしたがって、ユーザーのドラッグ操作に関連付けて、ユーザーインターフェース領域101の境界シンボルの表示態様が制御できればよい。
なお、図21〜図26を用いて説明した例は、ドラッグ操作を行った場合の例であるが、フリック操作を行った場合にも同様に境界シンボルの表示態様を変えることもできる。
図27は、ユーザーインターフェース領域101上の入力検知デバイス1の操作面に対しフリック操作を行った場合の項目等表示領域102に表示される表示項目のスクロール表示について説明するための図である。
図27(A)に示すように、ユーザーインターフェース領域101には、各境界シンボルなどが、ドラッグ操作やフリック操作が行われる前の初期状態の位置に表示されているとする。また、項目等表示領域102には、項目20から項目23までの4つの表示項目が表示され、上下方向のいずれにもスクロールすることができる状態になっているとする。
そして、図27(A)において、ユーザーインターフェース領域101の中央部分から点線矢印で示したように、表示画面5Gの上側方向(上端方向)にフリック操作が行われたとする。
この場合、図27(B)に示すように、フリック操作が行われた直後においては、そのフリック操作の開始点と操作方向と操作量とに応じて、ユーザーインターフェース領域101の各境界シンボルの表示態様を変える。同時に、図27(B)に示すように、フリック操作の操作方向と操作量とに応じて、項目等表示選択領域102の表示項目をスクロールさせる。
例えば、図27(B)に示すように、境界シンボル103Aと境界シンボル103Bとの間→境界シンボル103Bと境界シンボル103Cとの間→境界シンボル103Cと境界シンボル103Dとの間の順に徐々に広くなるように制御される。
つまり、フリック操作の方向の表示画面5Gの端部に近い境界シンボルの間ほど狭くなるようにされる。これにより、どちらの方向にフリック操作されたかを確実に知ることができると共に、どの位の操作量のフリック操作を行ったかを、ユーザーインターフェース領域の境界シンボルの表示態様によってユーザーは正確に把握することができる。
なお、上述もしたように、フリック操作の場合、入力検知デバイス1の操作面に対する接触状態は非常に短い。このため、フリック操作の場合には、操作量を予め決められた量とするようにしてもよい。
そして、上述したように、フリック操作は、入力検知デバイス1の操作面に対する接触状態は非常に短い。このため、フリック操作に応じて、図27(B)に示したような表示を行うようにした後、迅速に、ユーザーインターフェース領域101の境界シンボルの表示態様を初期状態に戻すと共に、項目等表示選択領域102のスクロールを停止させる。
すなわち、フリック操作に応じて、図27(B)に示したように表示態様を変えた後、図27(C)に示すように、ユーザーインターフェース領域101の各境界シンボルの表示位置を初期状態の位置に戻し、各境界シンボルを上下に振動させるように表示する。
この境界シンボルを振動させるように表示する処理は、図17、図18を用いて上述した場合と同様にして行われる。
また、フリック操作に応じて、図27(B)に示したように表示を変えた後、図27(C)に示すように、項目等表示選択領域102の表示項目のスクロールを停止させる。この場合、フリック操作に応じた量分の表示項目のスクロールを実行した後に、項目等表示選択領域102の上端側に表示情報の全体が表示されている表示項目を、先頭の表示項目とし、図27(C)に示したように、4つの表示項目が表示するようにされる。
このように、ドラッグ操作に替えてフリック操作を行うようにした場合であっても、各境界シンボル間の間隔をそのフリック操作の操作方向と操作量とに応じて異ならせるようにして変化させ、操作内容をユーザーに通知するようにすることができる。同時に、フリック操作の操作方向と操作量とに応じて、項目等表示選択領域102の表示項目のスクロールを行うことができる。
[この発明の情報処理装置の撮像装置への適用]
次に、この発明の情報処理装置をビデオカメラ(撮像装置)に適用した場合の例について説明する。
図28は、この発明による情報処理装置が適用されたビデオカメラ200の構成例を説明するためのブロック図である。まず、ビデオカメラ200において、取り込むようにした映像や音声を記録媒体に記録する場合の動作について説明する。
キー入力回路221は、撮影開始キー、撮影停止キー、スタンバイキー、再生キー、再生停止キー、早送りキー、早戻しキーなどの種々の操作キーを備え、ユーザーからの入力操作を受け付けて、これを制御部220に供給する。
制御部220は、図示しないが、CPU、ROM、RAM、不揮発性メモリなどが、CPUバスを通じて接続されて形成されたマイクロコンピュータであり、図28に示したように、各部に制御信号を供給することにより各部を制御する。
したがって、制御部220は、キー入力回路221を通じて受け付けたユーザーからの指示入力に応じて各部を制御し、ユーザーの指示に応じた処理をビデオカメラ200において実行することができるようにされる。
そして、キー入力回路221を通じて撮影を開始することの指示入力を受け付けると、制御部220は、各部を制御し、撮影処理を開始される。
そして、この場合、マイク部2が周囲の音声を集音して電気信号に変換し、これを音声信号処理回路202に供給する。音声信号処理部202は、これに供給された音声信号に対して、増幅処理、ノイズ低減処理、A/D(Analog/Digital)変換処理などの種々の音声信号処理を行い、処理後のデジタル音声信号を重畳分離回路203に供給する。
一方、レンズ部204は、制御部220を通じて、露出やフォーカスが制御され、被写体の画像を取り込んで、当該画像を後段の受光部205が有する撮像素子の結像面に結像させるようにする。
受光部205は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなど撮像素子を備えている。そして、受光部205は、自己の撮像素子の結像面に結像するようにされた画像を電気信号に変換し、これをカメラ信号処理回路206に供給する。
カメラ信号処理回路206は、これに供給された映像信号をデジタル信号に変換し、検波処理、ホワイトバランス調整、同時化処理、ガンマ補正などの種々のカメラ信号処理を行って、処理後のデジタル映像信号を重畳分離回路203に供給する。
重畳分離回路203は、これに供給されたデジタル音声信号やデジタル映像信号をデータ圧縮して、多重化処理し、記録データを形成して、この記録データを記録再生回路207に供給する。
記録再生回路207は、重畳分離回路207からの記録データを、内部メモリ208やメモリースティック(登録商標)209に記録する。なお、メモリースティック209は、ソニー株式会社製のいわゆるメモリカードである。そして、ビデオカメラ200においては、メモリースティック209を用いるようにしたが、その他の種々のメモリカードを用いるようにすることもできる。
また、上述したように、映像や音声の収録を行うようにしている場合においては、重畳分離回路203からデータ圧縮前の映像データが、重畳回路213に供給される。この重畳回路213には、オンスクリーンディスプレイ回路222からの表示対象の映像に重畳させるための表示情報も供給される。
すなわち、オンスクリーンディスプレイ回路222は、制御部220の制御に応じて、後述するLCDパネル214の表示画面に表示する映像に重畳させる種々に表示情報を形成し、これを重畳回路213に供給する。
オンスクリーンディスプレイ回路222において形成される表示情報としては、種々のガイダンスメッセージ、アイコン、音量調整バー、映像についての種々の調整バーなどを形成する。
この他にも、オンスクリーンディスプレイ回路222は、例えば、ユーザーインターフェース領域101に表示する境界シンボルや中止ガイドシンボル、表示項目(データオブジェクト)等をも形成し、重畳回路213に供給する。
重畳回路213は、重畳分離回路203からの映像信号に対して、オンスクリーンディスプレイ回路222からの表示情報を重畳し、これをアナログ信号に変換して、LCDコントローラパネル214に供給する。
これにより、レンズ部204が捉えている映像にオンスクリーンディスプレイ回路222で形成された映像を重畳した映像を、LCDパネル214の表示画面に表示して、ユーザーに提供することができる。
なお、オンスクリーンディスプレイ222は、制御部220の制御に応じて必要な場合においてのみ、重畳する表示情報を形成するものであり、常に重畳する表示情報を形成するものではない。オンスクリーンディスプレイ222で表示情報が形成されていない場合には、レンズ部204が捉えている映像のみがLCDパネル214に表示される。
また、上述したように、映像や音声の収録を行うようにしている場合においては、重畳分離回路203からデータ圧縮前の音声データが、音声出力部211に供給される。音声出力部211は、これに供給された音声データをアナログ音声信号に変換し、制御部220からの制御に応じて増幅させるなどの処理を行って、処理後の音声信号をスピーカ212に供給する。
これにより、マイク部201によって集音されている音声を、スピーカ212を通じて放音し、ユーザーに提供することができる。
次に、内蔵メモリ208やメモリースティック209に記録された記録データ(映像データと音声データとが多重化されたもの)を再生する場合について説明する。
キー入力回路221を通じてメモリに記録された記録データの再生を開始することの指示入力を受け付けると、制御部220は、各部を制御し、記録データの再生処理を開始される。
この場合、記録再生回路207は、再生するように指示された記録データを、これが記録されている内蔵メモリ208あるいはメモリースティック209から読み出し、読み出した記録データを重畳分離回路203に供給する。
重畳分離回路203は、記録再生回路207からの記録データを、これに多重化されている音声データと映像データとに分離すると共に、圧縮解凍(データ伸張)して、データ圧縮前の音声データと、映像データを復元する。
そして、重畳分離回路203は、復元した映像データを、重畳回路213を通じてLCDパネル214に供給する。これにより、メモリに記録されていた映像データに応じた映像をLCDパネル214の表示画面に表示することができる。
なお、この場合にも、制御部220は、必要に応じてオンスクリーンディスプレイ回路222を制御し、LCDパネル214の表示画面に表示されている映像に対して、種々の表示情報を重畳して表示することができるようにされる。
一方、重畳分離回路203は、復元した音声データを音声出力部211に供給する。これにより、メモリに記録されていた音声データに応じた音声をスピーカ212から放音することができるようにされる。
なお、ビデオカメラ200において、通信処理部223は、制御部220の制御に応じて外部機器との接続を可能にするための外部インターフェースである。
そして、通信処理部223は、内部メモリ208やメモリースティック209に記録されている記録データから、送信用データを形成し、これを外部機器に対して送出するようにする。
また、通信処理部223は、外部機器からの送信データを受け付けて、自機において利用可能な形式の信号に変換し、これを記録再生回路207に供給して、自己のメモリに記録したりすることもできるようにされている。
また、電源回路240、バッテリ241、電源プラフ242、スイッチ回路243により、電源系を構成し、制御部220に対して常時電源を供給するようにしている。
そして、ビデオカメラ200に電源が投入された場合には、制御部220がスイッチ回路243をオンにしてビデオカメラ200の各部に電源を供給して各部が駆動できるようにする。
また、電源が投入されているビデオカメラ200の電源が落とすようにされた場合には、制御部220がスイッチ回路243をオフにしてビデオカメラ200の各部への電源の供給を停止させることができるようにしている。
そして、この実施の形態のビデオカメラ200においても、図28に示すように、LCDパネル214の表示画面には、タッチパネル215が貼付するようにされ、表示画面の全面にタッチパネル215の操作面が形成されている。
そして、このビデオカメラ200においては、制御部220、オンスクリーンディスプレイ222、重畳回路213、LCDパネル214、タッチパネル215により、この発明による情報処理装置100を実現している。
すなわち、図28において、タッチパネル215が入力検知デバイス1を実現し、また、制御部220が、ユーザーインターフェース制御部2、データオブジェクト制御部3、係数及びデータ格納部6、全体制御部7のそれぞれの機能を実現している。
また、オンスクリーンディスプレイ222及び重畳回路213が表示メモリ部4を実現し、また、LCDパネル214が表示デバイス5を実現している。
これにより、このビデオカメラ200において、実行可能な種々の機能の中から目的とする機能を選択して実行する場合に、上述した情報処理装置100と同様に、ユーザーのドラッグ操作に応じて、表示態様を変えるようにすることができる。
すなわち、制御部220、オンスクリーンディスプレイ222、重畳回路213の機能を用いて、LCDパネル214の表示画面に、図2〜図7等に示したように、ユーザーインターフェース領域101や項目等表示選択領域102を設ける。
そして、ユーザーインターフェース領域101上のタッチパネル215の操作面に対して、ドラッグ操作やフリック操作を行う。これにより、ユーザーインターフェース領域101の境界シンボルの表示態様を変えたり、項目等表示選択領域102の表示項目をスクロールさせたりすることができるようにされる。
[実施の形態の効果]
上述した実施の形態の情報処理装置によれば、なぞり操作に応じた表示項目のスクロールの加速度の度合いを、物体の伸縮表現を用いて表現するようにしたことにより、ユーザー操作量を直感的に把握・変更することが可能となった。また、ユーザーインターフェース領域のどこからでも再度なぞり操作を行えることにより、ユーザー利便性が高まった。
また、スクロールの加速度を現在のなぞり位置ではなく、なぞり操作の開始点からの差分として把握することにより、ユーザーインターフェース領域の境界シンボルの表示形態を、我々に身近な伸縮表現とし、直感的に操作量を把握・変更することが可能となった。
また、ユーザー自身のなぞり操作量を直感的に把握することが可能となったことにより、ユーザーが認知したなぞり操作量を元に、自分にとって快適なスクロール速度に容易に変更することが可能となった。
また、ユーザー自身がスクロール速度を容易に変更することが可能となったことにより、表示項目(データオブジェクト)をゆっくりと確認したい場合と、すばやく移動したい場合の切り替えが容易になった。
また、なぞり操作の終了時に、ユーザーインターフェース領域の各境界シンボルをゴムの伸び縮みのような動きに対応して表示することにより、直感的になぞり操作が終了したことを認識できるようになった。
[この発明の方法、プログラム]
なお、上述した実施の形態から明らかなように、この発明の方法、プログラムは、図8、図14、図18、図20に示したフローチャートを用いて説明した方法、プログラムとして実現可能である。
すなわち、図8、図14、図18、図20を用いて説明した方法は、この発明の方法である。
そして、図8、図14、図18、図20を用いて説明した処理を実行するプログラムが、この発明のプログラムである。
したがって、この発明のプログラムを実現し、LCD等の表示デバイスとタッチパネル等の入力検知デバイスを備えた種々の電子機器に搭載することにより、この発明の情報処理装置を実現することができる。
[その他]
なお、上述した実施の形態の情報処理装置100において、表示素子の機能は、表示デバイス5が実現し、指示位置検出手段の機能は、入力検知デバイス1が実現ししている。また、検出手段の機能は、ユーザーインターフェース制御部2が実現している。
また、上述した実施の形態の情報処理装置100において、操作シンボル表示制御手段の機能は、ユーザーインターフェース制御部2と表示メモリ部4とが実現し、スクロール制御手段の機能は、データオブジェクト制御部3と表示メモリ部4が実現している。
また、上述した実施の形態のビデオカメラ200において、表示素子の機能は、LCDパネル214が実現し、指示位置検出手段の機能は、タッチパネル215が実現ししている。また、検出手段の機能は、制御部220が実現している。
また、上述した実施の形態のビデオカメラ200において、操作シンボル表示制御手段やスクロール制御手段の機能は、制御部220とオンスクリーンディスプレイ222と重畳回路213が実現している。
また、上述した実施の形態においては、この発明による情報処理装置の適用例として、ビデオカメラに適用した場合を例にして説明したが、これに限るものではない。例えば、デジタルスチルカメラ、ゲーム機、PDA(Personal Digital Assistant)等と呼ばれる携帯情報端末など、LCDなどの表示デバイスとタッチパネルなどの入力検知デバイスを有する種々の電子機器に適用することができる。
また、上述した実施の形態においては、初期状態において、境界シンボル間の間隔は均等であるものとして説明したが、これに限るものではない。初期状態の境界シンボル間の間隔や境界シンボルの数などは適宜のものとすることができる。
また、境界シンボルは、線分に限るものではない。ユーザーインターフェース領域を複数の領域に分割し、そのそれぞれの領域に絵や図形を表示したり、異なる色で潰すようにしたりしてもよい。
この場合には、各領域の境界部分が、上述した境界シンボルの表示位置となる。そして、上述した境界シンボルの場合と同様に、各領域の境界位置を変更するように制御する。これにより、上述した実施の形態の場合のように、ユーザーインターフェース領域において、ゴムの伸び縮みのような表示を表現することができる。
この場合、ユーザーインターフェース領域の分割された領域の広さが変えられることに応じて、表示されている絵や図形を変化させ、また、表示されている色の範囲を変化させることになる。
各領域に表示されている絵や図形を変化させる場合には、表示されている絵や図形を引き伸ばしたり、縮めたりする表現となり、表示されている色の範囲を変化させる場合には、同一の色により塗り潰す範囲が変更される領域の広さに応じて変わる表現となる。
また、上述した実施の形態の情報処理装置の場合には、ユーザーインターフェース領域は、図2等に示したように、表示画面に対して、向って左側に設けるようにしたが、これに限るものではない。表示画面に対して向って右側に設けるようにしてもよい。
また、表示画面の上端側や下端側にユーザーインターフェース領域を設け、表示画面の左右方向になぞり操作を行うように構成することも可能である。
すなわち、ユーザーインターフェース領域や項目等表示選択領域は、表示画面上の適宜の位置に適宜の大きさで設けることができる。
また、上述した実施の形態において、入力検知デバイスは、感圧式や静電式のいわゆる接触型のタッチパネルであるものとして説明したが、これに限るものではない。例えば、ユーザーが指を近づけることにより、パネルの静電容量の変化に応じてユーザーからの指示を受けることが可能な非接触型のパネルを用いるようにした場合にもこの発明を適用できる。
また、ユーザーが指などを近づけることにより、パネル上の明暗の変化に応じてユーザーからの指示を受けることが可能な非接触型のパネルを用いるようにした場合にもこの発明を適用できる。