[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5267229B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP5267229B2
JP5267229B2 JP2009055407A JP2009055407A JP5267229B2 JP 5267229 B2 JP5267229 B2 JP 5267229B2 JP 2009055407 A JP2009055407 A JP 2009055407A JP 2009055407 A JP2009055407 A JP 2009055407A JP 5267229 B2 JP5267229 B2 JP 5267229B2
Authority
JP
Japan
Prior art keywords
finger
contact
unit
operation surface
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009055407A
Other languages
English (en)
Other versions
JP2010211401A (ja
Inventor
文規 本間
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2009055407A priority Critical patent/JP5267229B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2010/053706 priority patent/WO2010104015A1/ja
Priority to US13/254,289 priority patent/US20110310049A1/en
Priority to CN201080010400.0A priority patent/CN102341776B/zh
Priority to RU2011136682/08A priority patent/RU2011136682A/ru
Priority to BRPI1009499A priority patent/BRPI1009499A2/pt
Priority to EP10750769A priority patent/EP2407868A1/en
Publication of JP2010211401A publication Critical patent/JP2010211401A/ja
Application granted granted Critical
Publication of JP5267229B2 publication Critical patent/JP5267229B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関し、例えばタッチパネルを有する情報処理装置に適用して好適なものである。
近年、表示部の表示面上に透明なタッチパネルを有し、ユーザがタッチパネルの操作面を触ることで操作入力が可能な情報処理装置が広く普及している。
このような情報処理装置としては、例えばユーザが表示面に表示されたボタンやアイコンなどの表示子を、操作面を介して指で押下するように選択し、選択された表示子に応じた処理を実行するものが提案されている。
またこのような情報処理装置として、例えばユーザが表示面に表示された画面に対して操作面を介して所定の軌跡を描くような操作を行い、この軌跡に応じた処理を実行するものも提案されている(例えば、特許文献1参照)。
特開2005−339420号公報
ところで、上述した情報処理装置は、表示面に操作対象となる表示子や画面を表示し、これらに対して操作面を介して操作されることで、命令を入力するようになされている。
従って、上述した情報処理装置において、ユーザが所望の操作を行うためには、表示面に表示されている表示子や画面などを、操作面を介して視認して操作入力を行わなければならなかった。
ゆえに、ユーザが、上述した情報処理装置を鞄の中や衣服のポケットの中などに入れている場合、操作面を視認するために情報処理装置を取り出さなければならず、不便であった。
本発明は以上の点を考慮してなされたもので、ユーザに操作面を視認させなくても容易に操作を行わせ得る情報処理装置、情報処理方法及び情報処理プログラムを提案しようとするものである。
かかる課題を解決するため本発明の情報処理装置においては、操作部の操作面に対して指が接触した位置を検出する接触検出部と、操作面に設定された座標軸に基づいて、接触検出部が検出した当該位置を座標に変換する座標変換部と、座標変換部から得られる座標に基づいて命令を入力する命令入力部と、操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識する操作認識部と、操作認識部により当該操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を操作部を操作する手の手首方向と推定し、操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部とを設けるようにした。
このように操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これにより、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。
また、かかる課題を解決するため本発明の情報処理装置においては、操作部の操作面に対して指が接触した位置及び指が接触した範囲を検出する接触検出部と、操作面に設定された座標軸に基づいて、接触検出部が検出した当該位置を座標に変換する座標変換部と、座標変換部から得られる座標に基づいて命令を入力する命令入力部と、操作面に対して、指を接触させたまま回転させる操作が行われたことを認識する操作認識部と、操作認識部により当該操作が認識されると、指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出し、当該指の根元が接触した位置から当該指の先が接触した位置へ向かう方向を操作部を操作する手の手首方向と推定し、操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部とを設けるようにした。
このように操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これにより、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。
本発明によれば、操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これにより、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして、ユーザに操作面を視認させなくても容易に操作を行わせ得る情報処理装置、情報処理方法及び情報処理プログラムを実現することができる。
本発明における音楽再生装置の構成(1)を示す略線図である。 本発明における音楽再生装置の構成(2)を示すブロック図である。 本発明における楽曲切替え操作(1)の説明に供する略線図である。 本発明の第1の実施の形態におけるブラインドモード切替え操作の説明に供する略線図である。 本発明における楽曲切替え操作(2)の説明に供する略線図である。 本発明の第1の実施の形態におけるブラインド操作処理手順を示すフローチャートである。 本発明の第1の実施の形態における音楽再生装置の機能構成を示すブロック図である。 本発明の第2の実施の形態におけるブラインドモード切替え操作の説明に供する略線図である。 本発明の第2の実施の形態におけるブラインド操作処理手順を示すフローチャートである。 本発明の第2の実施の形態における音楽再生装置の機能構成を示すブロック図である。 本発明の他の実施の形態におけるブラインドモード切替え操作の説明の供する略線図である。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(指を立てる操作をブラインドモード切替え操作とする例)
2.第2の実施の形態(指を回転させる操作をブラインドモード切替え操作とする例)
3.他の実施の形態
<1.第1の実施の形態>
[1−1.音楽再生装置の全体構成]
図1において、1は全体として音楽再生装置を示す。この音楽再生装置1は携帯型であり、片手で把持し得る程度の大きさ(いわゆる手の平サイズ)でなる扁平矩形状の筐体2を有する。この筐体2の表面には、長方形板状の表示部3が設けられている。図1(B)に示すように表示部3は、LCD(Liquid Crystal Display)3Aの表示面上に、透明な感圧センサ3B及び透明なタッチパネル3Cを順に張り付けるようにして形成されている。
音楽再生装置1は、このタッチパネル3Cの操作面に対する操作を認識すると、当該操作に応じて、楽曲の再生、停止、音量の増減などの各種命令を入力するようになされている。因みにここでは、静電容量方式のタッチパネル3Cを用いている。
また、この表示部3の裏面には各電子回路が実装された基板4が張り付けられ、当該基板4と表示部3とが電気的に接続されるようになされている。
ちなみに、以下の説明では、筐体2が一方向へは比較的短く形成されているため当該一方向を筐体短手方向とも呼ぶ。また以下の説明では、筐体が他方向へは比較的長く形成されているため当該他方向を筐体長手方向とも呼ぶ。またここでは、筐体短手方向を筐体2の左右方向とし、筐体長手方向を筐体2の上下方向とする。そして以下の説明では、筐体2の四方の側面において右方の側面を右面、左方の側面を左面、上方の側面を上面、下方の側面を下面とも呼ぶ。
筐体2の下面には、ヘッドホン端子(図示せず)が設けられ、このヘッドホン端子を介して、ヘッドホン5が接続されるようになされている。音楽再生装置1は、このヘッドホン5を介してユーザに再生した楽曲の音声を聴取させるようになされている。
[1−2.音楽再生装置の回路構成]
つづいて、音楽再生装置1の各回路部を、図2を用いて説明する。音楽再生装置1では、各回路部がバス10を介して接続されている。CPU11は、不揮発性メモリ12に記憶されているプログラムをRAM(Random Access Memory)13に読み出す。そしてCPU11は、読み出したプログラムをRAM13上で展開し、この展開したプログラムに従って各回路部を制御すると共に、各種処理を実行するようになされている。
CPU11は、接続部(図示せず)を介して外部機器と接続されると、外部機器から楽曲データを取得し、この楽曲データを不揮発性メモリ12に記憶するようになされている。因みに、楽曲データには楽曲の音声データだけでなく、その楽曲に関連する情報(タイトル名、アーティスト名、アルバム名、ジャケット写真画像など)のデータが含まれる。
また、CPU11は、タッチパネル3Cを介して楽曲を再生する操作が行われたことを認識すると、これに応じて不揮発性メモリ12からこの楽曲の音声データを読み出して、これを再生部14に送出する。
再生部14は、この楽曲の音声データに対して復号処理及び増幅処理などの所定の再生処理を施すことにより音声信号を得て、この音声信号を音声出力部15に送出する。この結果、音声出力部15からヘッドホン5を介してこの音声信号に基づく楽曲の音声が出力されるようになされている。
また、CPU11は、不揮発性メモリ12に記憶されている楽曲データから楽曲に関連する情報(タイトル名、アーティスト名、アルバム名、ジャケット写真画像など)を取得し、LCD3Aに表示するようになされている。
タッチパネル3Cは、格子状に配置された複数の静電センサを有している。これらの静電センサは、ユーザの指が接触すると静電容量を増加させるようになされている。
タッチパネル3Cは、静電センサの静電容量が変化すると、当該静電センサの静電容量の値と当該静電センサのタッチパネル3Cの操作面における位置とを示す静電センサ情報をCPU11に送出する。
CPU11は、この静電センサ情報に基づいて、タッチパネル3Cに対してユーザの指が接触した範囲(これを接触範囲とも呼ぶ)を検出し、タッチパネル3Cの操作面に設定された座標軸に基づいて、この接触範囲を座標に変換する。
そしてCPU11は、この座標に基づいて接触範囲の形状を算出し、その形状における重心の座標を算出する。そしてCPU11は、この重心の座標をユーザの指が接触した位置(これを接触位置とも呼ぶ)の座標として算出する。そしてCPU11は、この接触位置の座標に基づいてタッチパネル3Cの操作面に対するユーザの操作を認識し、この操作に応じて各種命令を入力する。
感圧センサ3Bは、ユーザの指がタッチパネル3Cの操作面を押下した圧力(これを押下圧力とも呼ぶ)を検出し、この押下圧力を示す押下圧力値をCPU11に送出する。尚、ここで、押下圧力値は、0〜255の値をとるとする。
[1−3.楽曲切替え操作]
次に、この音楽再生装置1での楽曲切替え操作について、詳しく説明する。まず、CPU11は、不揮発性メモリ12に記録されている楽曲データから複数枚の楽曲のジャケット写真画像を読み出す。そして、CPU11は、図3(A)に示すように、これらのジャケット写真画像J(J0、J1、J2、…、Jn)を奥行き方向に連続して重ねるように配置した楽曲切替え画面20をLCD3Aに表示する。
具体的に、CPU11は、楽曲切替え画面20において、一番手前のジャケット写真画像J0が手前に倒れたように表示し、このジャケット写真画像J0の奥にジャケット写真画像J1を他のジャケット写真画像と重ならないように表示する。このような楽曲切替え画面20において、CPU11はジャケット写真画像J1に対応する楽曲を選択している状態である。
このときCPU11は、ユーザが表示部3を視認して操作を行う通常モードであるとする。通常モードのとき、CPU11は、タッチパネル3Cの操作面の中心を原点とし、筐体短手方向をX軸、筐体長手方向をY軸とする座標軸を当該操作面に設定する。CPU11は、この座標軸を、Y軸正の方向が上面方向、Y軸負の方向が下面方向、X軸正の方向が右面方向、X軸負の方向が左面方向となるように設定する。CPU11は、通常モードのとき、この座標軸に従って、LCD3Aに各種表示画面(例えば楽曲切替え画面20)を表示し、ユーザに各種操作を行わせる。
この通常モードのとき、例えばユーザが指によりタッチパネル3Cの操作面内における右側の領域、つまりX軸正の領域を押下したとする。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そしてCPU11は、接触位置がX軸正の領域であり、図3(B)に示すように、押下圧力値が所定の閾値A1(例えば50)以上閾値A2(例えば70)未満であると判別すると、選択する楽曲を次の楽曲に切替える。
またCPU11は、接触位置がX軸正の領域であり、押下圧力値が閾値A2以上閾値A3(例えば90)未満であると判別すると、選択する楽曲を次のアルバムの楽曲に切替える。
またCPU11は、接触位置がX軸正の領域であり、押下圧力値が閾値A3以上であると判別すると、選択する楽曲を次の頭文字のアルバム名を持つアルバムの楽曲に切替える。次の頭文字のアルバム名を持つアルバムとは、例えば、現在選択されている楽曲のアルバム名の頭文字が「A」の場合、アルバム名の頭文字が「B」のアルバムである。
このようにCPU11は、押下圧力に応じて楽曲を切替える単位を変化させるようになされており、ユーザが指でタッチパネル3Cを強く押し込むほど楽曲を切替える単位を大きくするようになされている。
そしてCPU11は、本のページをめくるように、今まで選択されていた楽曲に対応するジャケット写真画像J1を手前側に倒すようなアニメーションを表示し、切替えた楽曲に対応するジャケット写真画像J2を新たに表示する。これによりCPU11は、選択する楽曲を次の楽曲に切り替えたことをユーザに認識させることができる。
また、ユーザがタッチパネル3Cから指を離したとする。このときCPU11は、タッチパネル3Cを介して、当該タッチパネル3Cからユーザの指が離れたことを認識し、選択された楽曲(ジャケット写真画像J2に対応する楽曲)の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
また通常モードのとき、例えばユーザが指でタッチパネル3Cの操作面内における左側の領域、つまりX軸負の領域を押下したとする。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そして、CPU11は、これらの情報から接触位置がX軸負の領域であり、押下圧力値が閾値A1以上閾値A2未満であると判別すると、選択する楽曲を前の楽曲に切替える。
またCPU11は、接触位置がX軸負の領域であり、押下圧力値が閾値A2以上閾値A3未満であると判別すると、選択する楽曲を前のアルバムの楽曲に切替える。
またCPU11は、接触位置がX軸負の領域であり、押下圧力値が閾値A3以上であると判別すると、選択する楽曲を前の頭文字のアルバム名を持つアルバムの楽曲に切替える。
そしてCPU11は、本のページをめくるように、手前側に倒れていたジャケット写真画像J0を起こすようなアニメーションを表示し、選択された楽曲に対応するジャケット写真画像J0をよく見える状態で表示する。これによりCPU11は、選択する楽曲を前の楽曲に切り替えたことをユーザに認識させることができる。
また、ユーザがタッチパネル3Cの操作面から指を離したとする。このときCPU11は、タッチパネル3Cを介して操作面からユーザの指が離れたことを認識し、選択された楽曲(ジャケット写真画像J0に対応する楽曲)の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
またユーザが、例えば楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、下から上へ指をすべらせる操作を行ったとする。このときCPU11は、タッチパネル3Cを介して、下から上へ指をすべらせる操作が行われたことを認識し、音声出力部15を制御して出力する音声の音量を上げるようになされている。
一方ユーザが、楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、上から下へ指をすべらせる操作を行ったとする。このときCPU11は、タッチパネル3Cを介して上から下へ指をすべらせる操作が行われたことを認識し、音声出力部15を制御して出力する音声の音量を下げるようになされている。
このように音楽再生装置1は、ユーザがタッチパネル3Cの操作面内の右側の領域を押下したことを認識すると選択する楽曲を次の楽曲に切り替え、当該操作面内の左側の領域を押下したことを認識すると選択する楽曲を前の楽曲に切替えるようになされている。
また音楽再生装置1は、ユーザがタッチパネル3Cの操作面から指を離したことを認識すると、そのとき選択している楽曲を再生するようになされている。
また音楽再生装置1は、ユーザがタッチパネル3Cの操作面上で、上から下、又は下から上へ指をすべらせる操作が行われたことを認識すると、音声出力部15から出力される音量の増減を行うようになされている。
以上のように音楽再生装置1は、通常モードのとき、予めタッチパネル3Cの操作面に設定された座標軸に従って、ユーザの操作を認識するようになされている。従って音楽再生装置1は、この座標軸に応じた所定の向きでユーザに操作されるようになされている。
[1−4.ブラインド操作]
さらに、この音楽再生装置1では、ユーザが表示部3を視認せず操作を行うブラインドモードが設けられている。尚、ユーザが表示部3を視認せず行う操作をブラインド操作とも呼ぶ。この音楽再生装置1でのブラインド操作について、詳しく説明する。
音楽再生装置1では、通常モードからブラインドモードに切替えるための操作(これをブラインドモード切替え操作とも呼ぶ)が設定されている。具体的に、ブラインドモード切替え操作とは、図4に示すように、ユーザが、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作である。つまり、ユーザがタッチパネル3Cの操作面を指の腹で押下し、さらにその指を操作面から離さずに、指の関節を曲げて指を立てることで操作面を指の先で押下する操作である。尚、このブラインドモード切替え操作は指1本で行うことが可能な操作である。
ここでユーザが、このようなブラインドモード切替え操作を行ったとする。このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そして、CPU11は、操作始めから操作終わりまでの接触位置の遷移と押下圧力値の変化とを検出する。
ここで、人間の指において、指の腹の重心と指の先の重心の位置が異なることより、ブラインドモード切替え操作は、タッチパネル3Cの操作面に対する接触位置が移動する操作となることが考えられる。
また、指の腹で押下するよりも指の関節を曲げて指の先で押下する方がユーザの指に力が入ることより、ブラインドモード切替え操作が行われたとき、操作始めから操作終わりに向かって感圧センサ3Bで検出される押下圧力値が増加すると考えられる。
従ってCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判別する。またCPU11は、操作始めの押下圧力値と比較して操作終わりの押下圧力値が所定値以上増加したか否かを判別する。
そしてCPU11は、接触位置が所定距離以上移動し、操作始めの押下圧力値と比較して操作終わりの押下圧力値が所定値以上増加したことを検出すると、ユーザがブラインドモード切替え操作を行ったと認識する。このときCPU11は、図4に示すように、操作始めの接触位置P1が指の腹が接触した位置であり、操作終わりの接触位置P2が指の先が接触した位置であることを認識する。そしてCPU11は、ブラインドモードに切り替わる。
また、人間の指の特徴として、指の腹の重心が指の先の重心よりも手首側にあることより、指の腹が接触した位置よりも指の先が接触した位置はユーザの手首側にあると考えられる。
従って、CPU11は、ブラインドモードに切り替わると、操作終わりの接触位置P2から操作始めの接触位置P1へ向かう方向を、タッチパネル3Cを操作する手の手首方向であると推定する。そして、CPU11は、この手首方向をタッチパネル3Cの操作面における下方向と定義する。
そしてCPU11は、定義したタッチパネル3Cの下方向をY軸負の方向とし、接触位置P1と接触位置P2とが通る直線がY軸となるように、タッチパネル3Cの操作面に設定された座標を変換する。すなわち、接触位置P1と接触位置P2とが通る直線によって、タッチパネル3Cの操作面がX軸正の領域(Y軸に対して右側の領域)とX軸負の領域(Y軸に対して左側の領域)とに分けられる。
このようにCPU11は、ブラインドモード切替え操作が行われたことを認識するとブラインドモードに切り替わり、ブラインドモード切替え操作に基づいて、ユーザの手首方向を下方向とする座標軸をタッチパネル3Cの操作面に設定するようになされている。
そしてこのブラインドモードのとき、例えば図5に示すように、ユーザが、表示部3を視認せず、ブラインドモード切替え操作を行った位置からユーザにとっての右側に指をずらしてタッチパネル3Cを押下したとする。すなわちユーザは、タッチパネル3C上で、ブラインドモード切替え操作により変換された座標におけるX軸正の領域を押下する。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そしてCPU11は、通常モードのときと同様に、接触位置の座標がX軸正の領域にあると判別すると、押下圧力値に応じて、選択する楽曲を次の楽曲又は次のアルバムの楽曲又は次の頭文字のアルバム名を持つアルバムの楽曲に切替える。
このようにCPU11は、タッチパネル3Cの操作面に対するユーザの手の向きに応じた座標軸を当該操作面に設定することで、当該操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。これによりCPU11は、ユーザに対して、操作面に対するユーザの手の向きを基準とした操作を行わせることができるので、ブラインド操作を行わせることができる。
そしてCPU11は、選択する楽曲を切替えたことをユーザに通知する音声(これを通知音声とも呼ぶ)の音声データを不揮発性メモリ12から読み出し、これを再生部14に送出して再生部14に再生させる。この結果、音声出力部15からこの通知音声が出力される。通知音声とは、例えば「ネクストチューン」など次の楽曲であることを示す音声や、その楽曲のタイトル名を示す音声などである。
これにより音楽再生装置1は、ブラインドモードのとき、ユーザに表示部3を視認させなくても、選択されている楽曲が切替わったことをユーザに対して認識させることができる。
そして、CPU11は、通常モードのときと同様に、タッチパネル3Cの操作面からユーザの指が離れたことを検出すると、選択された楽曲の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
またブラインドモードのとき、例えば図5に示すように、ユーザが、表示部3を視認せず、ブラインドモード切替え操作を行った位置からユーザにとっての左側に指をずらしてタッチパネル3Cを押下したとする。すなわちユーザは、ブラインドモード切替え操作により変換された座標においてX軸負の領域を押下する。
このときCPU11は、タッチパネル3Cを介して接触位置の座標を取得し、感圧センサ3Bを介して押下圧力値を取得する。そしてCPU11は、通常モードのときと同様に、接触位置がX軸負の領域であると判別すると、押下圧力値に応じて、選択する楽曲を前の楽曲又は前のアルバムの楽曲又は前の頭文字のアルバム名を持つアルバムの楽曲に切替える。そしてCPU11は、上述したと同様に通知音声を再生部14に再生させ、音声出力部15からこの通知音声を出力させる。
そして、CPU11は、通常モードのときと同様に、タッチパネル3Cの操作面からユーザの指が離れたことを認識すると、選択された楽曲の音声データを再生部14に再生させる。この結果、音声出力部15からこの楽曲の音声が出力される。
またユーザが、表示部3を視認せず、例えば、楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、ユーザの手首方向から指の先方向へ指をすべらせる操作を行ったとする。すなわちユーザは、ブラインドモード切替え操作により変換された操作面の座標軸における下から上(Y軸正の方向)へ指をすべらせる操作を行う。
このときCPU11は、通常モードのときと同様に、タッチパネル3Cを介して、下から上へ指をすべらせる操作が行われたと認識し、音声出力部15を制御して出力する音声の音量を上げるようになされている。
一方ユーザが、表示部3を視認せず、例えば、楽曲の再生中、タッチパネル3Cの操作面に指を接触させ、ユーザの指の先方向から手首方向へ指をすべらせる操作を行ったとする。すなわちユーザは、ブラインドモード切替え操作により変換された操作面の座標軸における上から下(Y軸負の方向)へ指をすべらせる操作を行う。
このときCPU11は、通常モードのときと同様に、タッチパネル3Cを介して上から下へ指をすべらせる操作が行われたと認識し、音声出力部15を制御して出力する音声の音量を下げるようになされている。
このように音楽再生装置1は、ブラインドモードのときも、通常モードのときと同様に、タッチパネル3Cの操作面に設定された座標軸における右側の領域をユーザが押下したと認識すると選択する楽曲を次の楽曲に切り替えるようになされている。また音楽再生装置1は、当該座標軸における左側の領域をユーザが押下したと認識すると選択する楽曲を前の楽曲に切替えるようになされている。
そして音楽再生装置1は、ブラインドモードのときも、通常モードのときと同様に、ユーザがタッチパネル3Cから指を離したことを認識すると、そのとき選択されている楽曲を再生するようになされている。また、音楽再生装置1は、ブラインドモードのときも、通常モードのときと同様に、タッチパネル3Cの操作面に設定された座標軸に従って、当該操作面上で上から下、又は下から上へ指をすべらせる操作を認識し、音量の増減を行うようになされている。因みに、このような楽曲の切替え、再生、音量の増減などの操作は、全て指1本で行うことが可能な操作である。
以上のように音楽再生装置1は、ブラインドモードのとき、タッチパネル3Cの操作面に対するユーザの手の向きに応じた座標軸を当該操作面に設定することで、当該操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、ユーザに、当該操作面に対する手の向きがどのような向きであろうと、当該操作面に対するユーザの手の向きを基準とした操作を行わせることができるので、ブラインド操作を行わせることができる。
またこれにより音楽再生装置1は、ブラインドモードのときも通常モードのときと同様の操作感覚で、楽曲の切替え、楽曲の再生、音量の増減などのブラインド操作をユーザに行わせることができる。
[1−5.ブラインド操作処理手順]
次に上述した音楽再生装置1によるブラインド操作の動作処理手順(これをブラインド操作処理手順とも呼ぶ)RT1を、図6に示すフローチャートを用いて詳しく説明する。ちなみに、このブラインド操作処理手順RT1は、音楽再生装置1のCPU11が、不揮発性メモリ12にインストールされたプログラムに従って実行するものである。
図6に示すように、音楽再生装置1のCPU11は、タッチパネル3Cを介して操作面に対してユーザの指が押下されたことを認識すると、ブラインド操作処理手順RT1をステップSP0から開始して、次のステップSP1に移る。
ステップSP1においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判定する。このステップSP1において肯定結果が得られると、このときCPU11は、ステップSP2に移る。
ステップSP2においてCPU11は、感圧センサ3Bを介して取得した押下圧力値に基づいて、操作始めの押下圧力値と比較して操作終わりの押下圧力値が所定値以上増加しているか否かを判定する。このステップSP2において肯定結果が得られると、このときCPU11は、ステップSP3に移る。
ステップSP3においてCPU11は、ユーザによりブラインドモード切替え操作が行われたことを認識し、ブラインドモードに切り替わる。またこのときCPU11は、操作始めの接触位置P1が指の腹が接触した位置であり、操作終わりの接触位置P2が指の先が接触した位置であることを認識する。
そして、CPU11は、操作終わりの接触位置P2(図4)から操作始めの接触位置P1(図4)に向かう方向をユーザの手首方向と推定し、この方向をタッチパネル3Cの操作面における下方向と定義して、ステップSP4に移る。
ステップSP4においてCPU11は、ステップSP3において定義された下方向をY軸負の方向とし、接触位置P1と接触位置P2とが通る直線がY軸となるように、タッチパネル3Cの操作面に設定された座標を変換して、ステップSP5に移る。
一方、ステップSP1において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定された座標の変換を行わず、ステップSP5に移る。
また、ステップSP2において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定された座標の変換を行わず、ステップSP5に移る。
ステップSP5においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、タッチパネル3Cの操作面に設定された座標におけるX軸負の領域、つまりY軸に対して左側の領域がユーザの指により押下されたか否かを判定する。このステップSP5において肯定結果が得られると、このことは、ユーザが前の楽曲を選択しようとして楽曲切替え操作を行ったことを意味し、このときCPU11は、ステップSP6に移る。
ステップSP6においてCPU11は、このとき感圧センサ3Bを介して取得した押下圧力値に応じて、選択する楽曲を前の楽曲又は前のアルバムの楽曲又は前の頭文字のアルバム名を持つアルバムの楽曲に切替えて、ステップSP7に移る。
一方、ステップSP5において否定結果が得られると、このことは、ユーザが前の楽曲を選択するための楽曲切替え操作を行ってはいないことを意味し、このときCPU11は、ステップSP7に移る。
ステップSP7においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、タッチパネル3Cの操作面に設定されている座標におけるX軸正の領域、つまりY軸に対して右側の領域が押下されたか否かを判定する。このステップSP7において肯定結果が得られると、このことは、ユーザが次の楽曲を選択しようとして楽曲切替え操作を行ったことを意味し、このときCPU11は、ステップSP8に移る。
ステップSP8においてCPU11は、このとき感圧センサ3Bを介して取得した押下圧力値に応じて、選択する楽曲を次の楽曲又は次のアルバムの楽曲又は次の頭文字のアルバム名を持つアルバムの楽曲に切替えて、ステップSP1に戻る。
一方、ステップSP7において否定結果が得られると、このことは、ユーザが次の楽曲を選択するための楽曲切替え操作を行ってはいないことを意味し、このときCPU11は、ステップSP1に戻る。このようにCPU11は、ブラインド操作処理手順RT1を繰り返す。
このようなブラインド操作処理手順RT1より、CPU11は、ユーザにブラインド操作を行わせることができるようになされている。
[1−6.動作及び効果]
以上の構成において、音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、タッチパネル3Cを介して、当該操作面に対する指の接触位置を検出する。また、音楽再生装置1は、感圧センサ3Bを介して、このときユーザの指により当該操作面が押下された圧力を示す押下圧力値を検出する。
そして音楽再生装置1は、タッチパネル3Cの操作面に対してユーザの指が接触しているときに、接触位置が移動し、操作始めと比較して操作終わりの押下圧力値が増加したことを検出すると、ユーザによりブラインドモード切替え操作が行われたと認識する。このとき音楽再生装置1は、操作始めの接触位置P1が指の腹が接触した位置であり且つ操作終わりの接触位置P2が指の先が接触した位置であると認識する。
そして音楽再生装置1は、指の先が接触した位置である操作終わりの接触位置P2から指の腹が接触した位置である操作始めの接触位置P1へ向かう方向を、タッチパネル3Cを操作する手の手首方向と推定する。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して、この方向を下方向とする座標軸を設定し、指の腹が接触した位置と指の先が接触した位置とを通る直線を当該座標軸のY軸として設定する。
そして音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、当該タッチパネル3Cの操作面に対する指の接触位置を検出する。そして、音楽再生装置1は、タッチパネル3Cの操作面に設定された座標軸に基づいて、この接触位置を座標に変換する。そして音楽再生装置1は、この座標に応じて各種操作を認識し、当該操作に応じて各種命令を入力する。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わることができる。
また音楽再生装置1は、接触位置の座標がY軸に対して右側の領域にあると判別すると、選択する楽曲を次の楽曲に切替え、接触位置の座標がY軸に対して左側にあると判別すると、選択する楽曲を前の楽曲に切替えるようにした。
これにより音楽再生装置1は、ユーザの手首方向を下方向として、右側又は左側を指で押下するという操作をユーザに行わせるだけでよく、ユーザに複雑な操作を覚えさせることなく簡単に操作を行わせることができる。
また音楽再生装置1は、ブラインドモード切替え操作及びブラインド操作を指1本による操作でユーザに行わせるようにした。
これにより音楽再生装置1は、ポケットの中や鞄の中のような狭いスペースにおいてもブラインドモード切替え操作及びブラインド操作を容易に行わせることができる。
またこれにより音楽再生装置1は、ユーザに、親指でブラインドモード切替え操作及びブラインド操作を行わせる場合、当該操作を行わない4本の指で音楽再生装置1の筐体2を把持させることができるので、筐体2を安定して把持させることができる。
また音楽再生装置1は、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作を行わせるようにした。
これにより音楽再生装置1は、タッチ操作やドラッグ操作、スクロール操作など通常タッチパネルにおいてよく用いられる操作とブラインドモード切替え操作を混同することなく認識でき、誤認識を防ぐことができる。
以上の構成によれば、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置を検出するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して、指を接触させたまま、接触部分を指の腹から先へ変えるブラインドモード切替え操作が行われたことを認識するようにした。そして、音楽再生装置1は、当該操作が認識されると、指の先が接触した位置から指の腹が接触した位置へ向かう方向を、タッチパネル3Cを操作する手の手首方向と推定し、タッチパネル3Cの操作面に対して、当該方向に応じた座標軸を設定するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置をタッチパネル3Cに設定された座標軸に基づいて座標に変換し、この座標に基づいて命令を入力するようにした。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わせることができる。
[1−7.音楽再生装置の機能構成]
ここで、上述したブラインド操作に主眼を置いた音楽再生装置1の機能構成について説明する。図7に示すように、音楽再生装置1は、操作部101、接触検出部102、圧力検出部103、操作認識部104、座標軸設定部105、座標変換部106及び命令入力部107で構成されている。
接触検出部102は、操作部101の操作面に対して指が接触した位置を検出する。圧力検出部103は、操作部101の操作面に対する指の押下圧力を検出する。
操作認識部104は、操作部101の操作面に対して指が接触しているときに、指が接触している位置が移動し且つ当該操作面に対する指の押下圧力が変化したことを検出すると、指を接触させたまま、接触部分を指の腹から先へ変える操作(この実施例におけるブラインドモード切替え操作)が行われたと認識する。
座標軸設定部105は、操作認識部101により当該操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を操作部101を操作する手の手首方向と推定し、操作部101の操作面に対して、当該方向に応じて座標軸を設定する。
座標変換部106は、操作部101の操作面に設定された座標軸に基づいて、接触検出部102が検出した当該位置を座標に変換する。命令入力部107は、座標変換部106から得られる座標に基づいて、命令を入力する。
このような機能構成により、音楽再生装置1は、上述したブラインド操作を機能的に実現し得るようになされている。ここで、操作部101は、タッチパネル3Cに相当する機能部である。また、接触検出部102は、タッチパネル3C及びCPU11に相当する機能部である。また、圧力検出部103は、感圧センサ3Bに相当する機能部である。また、操作認識部104、座標軸設定部105、座標変換部106及び命令入力部107は、CPU11に相当する機能部である。
<2.第2の実施の形態>
次に本発明の第2の実施の形態を詳述する。この第2の実施の形態においては、音楽再生装置1のブラインドモード切替え操作が異なる点以外、上述した第1の実施の形態と同様であり、同様部分である音楽再生装置1の構成、楽曲切替え操作などの説明は省略する。
[2−1.ブラインド操作]
CPU11は楽曲切替え画面20をタッチパネル3Cに表示する。ここでユーザが、図8(A)に示すように、ブラインドモード切替え操作として、タッチパネル3Cに対して、指を寝かせて接触させたまま、指を回転させる操作を行ったとする。尚、このブラインドモード切替え操作は指1本で行うことができる操作である。
このときCPU11は、タッチパネル3Cを介して接触位置の座標及び接触範囲の座標を取得し、操作始めから操作終わりまでの接触位置の遷移と接触範囲の変化とを検出する。
ここで、ブラインドモード切替え操作は、指を回転させることにより指の接触している部分を指の腹から指の側面へ、もしくはその逆へ変える操作であるため、タッチパネル3Cの操作面に対する接触位置が移動する操作となることが考えられる。
従ってCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判別する。
また、人間の指において指の腹より指の側面の方が細いことより、指の腹が接触した範囲の形状よりも指の側面が接触した範囲の形状の方が細長いことが考えられる。
従ってCPU11は、図8(B)に示すように、操作始めの接触範囲R1及び操作終わりの接触範囲R2の座標に基づいて、操作始めの接触範囲R1を囲む最も面積の小さい矩形RS1と操作終わりの接触範囲R2を囲む最も面積の小さい矩形RS2とを算出する。そしてCPU11は、矩形RS1及び矩形RS2の短辺の長さをそれぞれ算出する。
そしてCPU11は、矩形RS1及び矩形RS2の短辺の長さを比較し、矩形RS1の短辺の長さと矩形RS2の短辺の長さとの差分が所定値以上か否かを判別する。
そしてCPU11は、接触位置が所定距離以上移動し、矩形RS1の短辺の長さと矩形RS2の短辺の長さとの差分が所定値以上であることを判別すると、ユーザによりブラインドモード切替え操作が行われたと認識し、ブラインドモードに切り替わる。
また、図8(C)に示すように、指を寝かせて接触させたまま、指を回転させる操作が行われたとき、ユーザの指の根元がタッチパネル3Cの操作面からはみ出すように接触されていることが考えられる。従ってこのような場合、指の腹又は指の側面が接触した範囲の一部がタッチパネル3Cの縁BAに接しており、この箇所が指の根元に近い部分が接触した箇所であると考えられる。
従ってCPU11は、ブラインドモードに切り替わると、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接している箇所を検出し、その箇所の中点PBを検出する。そしてCPU11は、操作始めの接触範囲R1の中で中点PBから最も遠い点PFを検出する。そしてCPU11は、中点PBが指の根元が接触した位置であると認識し、中点PBから最も遠い点PFが指の先が接触した位置であると認識する。
そしてCPU11は、点PFから中点PBへ向かう方向をタッチパネル3Cを操作するユーザの手の手首方向であると推定する。そして、CPU11は、このユーザの手首がある方向をタッチパネル3Cの操作面における下方向と定義し、これに従って上述した第1の実施の形態と同様にタッチパネル3Cの操作面に設定された座標を変換する。
このようにCPU11は、第1の実施の形態と同様に、ブラインドモード切替え操作が行われたことを認識するとブラインドモードに切り替わる。
そしてCPU11は、タッチパネル3Cの操作面に対して、この方向を下方向とする座標軸を設定し、点PFと中点PBとを通る直線を当該座標軸のY軸として設定する。
そしてCPU11は、上述した第1の実施の形態と同様に、タッチパネル3Cの操作面に設定された座標軸に従って、楽曲の切替え、再生、音量の増減などのユーザの操作を認識する。
これにより音楽再生装置1は、当該操作面に対するユーザの手の向きに従ってユーザの操作を認識することができ、ユーザに、当該操作面に対するユーザの手の向きを基準とした操作を行わせることができるので、ブラインド操作を行わせることができる。
[2−2.ブラインド操作処理手順]
次に上述した音楽再生装置1によるブラインド操作の動作処理手順(これをブラインド操作処理手順とも呼ぶ)RT2を、図9に示すフローチャートを用いて詳しく説明する。ちなみに、このブラインド操作処理手順RT2は、音楽再生装置1のCPU11が、不揮発性メモリ12にインストールされたプログラムに従って実行するものである。
尚、図9に示すブラインド操作処理手順RT2は、上述した第1の実施の形態のブラインド操作処理手順RT1の同一ステップに同一符号を付して示すものである。
音楽再生装置1のCPU11は、タッチパネル3Cを介して操作面に対してユーザの指が押下されたことを認識すると、ブラインド操作処理手順RT2をステップSP100から開始して、次のステップSP101に移る。
ステップSP101においてCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判定する。このステップSP101において肯定結果が得られると、このときCPU11は、ステップSP102に移る。
ステップSP102においてCPU11は、操作始めの接触範囲R1を囲む矩形RS1(図8)の短辺の長さと操作終わりの接触範囲R2を囲む矩形RS2(図8)の短辺の長さとの差分が所定値以上であるか否かを判定する。このステップSP102において肯定結果が得られると、このときCPU11は、ステップSP103に移る。
ステップSP103においてCPU11は、ユーザによりブラインドモード切替え操作が行われたと認識し、ブラインドモードに切り替わる。そして、CPU11は、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接している箇所の中点PBと、操作始めの接触範囲R1の中で中点PBから最も遠い点PFとを検出し、ステップSP104に移る。
ステップSP104においてCPU11は、中点PBが指の根元が接触した位置であると認識し、中点PBから最も遠い点PFが指の先が接触した位置であると認識する。そして、CPU11は、点PFから中点PBへ向かう方向をユーザの手首がある方向と推定し、この方向をタッチパネル3Cの操作面における下方向と定義して、ステップSP105に移る。
ステップSP105においてCPU11は、ステップSP103において定義された下方向がY軸負の方向となるように、タッチパネル3Cの操作面に設定された座標を変換して、ステップSP5に移る。
一方、ステップSP101において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定されている座標の変換を行わず、ステップSP5に移る。
また、ステップSP102において否定結果が得られると、このことは、ユーザによりブラインドモード切替え操作が行われていないことを意味し、このときCPU11は、タッチパネル3Cの操作面に設定されている座標の変換を行わず、ステップSP5に移る。
CPU11は、上述した第1の実施の形態と同様にしてステップSP5〜ステップSP8の処理を行う。すなわちCPU11は、第1の実施の形態と同様に、タッチパネル3Cの操作面に設定された座標に従って、Y軸に対して右側の領域を押下されたと認識すると選択する楽曲を次の楽曲に切り替え、Y軸に対して左側の領域を押下されたと認識すると選択する楽曲を前の楽曲に切替える。
このようなブラインド操作処理手順RT2より、CPU11は、ユーザにブラインド操作を行わせることができるようになされている。
[2−3.動作及び効果]
以上の構成において、音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、当該タッチパネル3Cの操作面に対する指の接触位置及び接触範囲を検出する。
そして音楽再生装置1は、タッチパネル3Cの操作面に対してユーザの指が接触しているときに、接触位置が移動し、接触範囲を囲む矩形の短辺の長さが操作始めと操作終わりとで変化したことを検出すると、ブラインドモード切替え操作が行われたと認識する。
そして音楽再生装置1は、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接触している箇所の中点PBを指の根元が接触した位置として検出する。そして音楽再生装置1は、操作始めの接触範囲R1の中で中点PBから最も遠い点PFを指の先が接触した位置として検出する。
そして音楽再生装置1は、指の先が接触した位置から指の根元が接触した位置へ向かう方向をタッチパネル3Cを操作する手の手首方向と推定する。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して、この方向を下方向とする座標軸を設定する。
そして音楽再生装置1は、ユーザの指によりタッチパネル3Cの操作面が押下されると、当該タッチパネル3Cの操作面に対する指の接触位置を検出する。そして、音楽再生装置1は、タッチパネル3Cの操作面に設定された座標軸、すなわちユーザの手の向きに合った座標軸に基づいて、この接触位置を座標に変換する。そして音楽再生装置1は、この座標に応じて各種操作を認識し、当該操作に応じて各種命令を入力する。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わることができる。
また音楽再生装置1は、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を寝かせて接触させたまま、指を回転させる操作を行わせるようにした。
これにより音楽再生装置1は、指が1本入る程度の狭いスペースにおいてもブラインドモードに切替えることができるので、第1の実施の形態と比べて、狭いスペースにおけるブラインド操作を一段と容易に行わせることができる。
この他第2の実施の形態における音楽再生装置1は、第1の実施の形態における音楽再生装置1とほぼ同様の作用効果を奏しうる。
以上の構成によれば、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置及び接触範囲を検出するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して指を接触させたまま指を回転させるブラインドモード切替え操作が行われたことを認識するようにした。そして、音楽再生装置1は、当該操作が認識されると、接触範囲から指の先が接触した位置と指の根元が接触した位置とを検出するようにした。そして、音楽再生装置1は、指の先が接触した位置から指の根元が接触した位置へ向かう方向を手首の方向と推定し、タッチパネル3Cの操作面に対して、当該方向に応じた座標軸を設定するようにした。そして、音楽再生装置1は、タッチパネル3Cの操作面に対して指が接触した接触位置をタッチパネル3Cに設定された座標軸に基づいて座標に変換し、この座標に基づいて命令を入力するようにした。
このように音楽再生装置1は、タッチパネル3Cの操作面に対するユーザの手の向きに応じて操作面の座標軸を設定することで、操作面に対するユーザの手の向きに従って、ユーザの操作を認識することができる。
これにより音楽再生装置1は、操作面に対するユーザの手の向きがどのような向きであろうと、常に操作面に対するユーザの手の向きを基準とした操作をユーザに行わせることができる。かくして音楽再生装置1は、ユーザに操作面を視認させなくても容易に操作を行わせることができる。
[2−4.音楽再生装置の機能構成]
ここで、上述したブラインド操作に主眼を置いた音楽再生装置1の機能構成について説明する。図10に示すように、音楽再生装置1は、操作部201、接触検出部202、操作認識部203、座標軸設定部204、座標変換部205及び命令入力部206で構成されている。
接触検出部202は、操作部201の操作面に対して指が接触した位置及び指が接触した範囲を検出する。操作認識部203は、操作部201の操作面に対して指が接触しているときに、指が接触している位置が移動し且つ指が接触している範囲の形状が変化したことを検出すると、指を接触させたまま回転させる操作が行われたと認識する。
座標軸設定部204は、操作認識部201により当該操作が認識されると、指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出する。そして座標軸設定部204は、当該指の根元が接触した位置から当該指の先が接触した位置へ向かう方向を操作部201を操作する手の手首方向と推定し、操作部201の操作面に対して、当該方向に応じて座標軸を設定する。
座標変換部205は、操作部201の操作面に設定された座標軸に基づいて、接触検出部202が検出した当該位置を座標に変換する。命令入力部206は、座標変換部205から得られる座標に基づいて、命令を入力する。
このような機能構成により、音楽再生装置1は、上述したブラインド操作を機能的に実現し得るようになされている。ここで、操作部201は、タッチパネル3Cに相当する機能部である。また、接触検出部202は、タッチパネル3C及びCPU11に相当する機能部である。また、座標変換部203、命令入力部204、操作認識部205及び座標軸設定部206は、CPU11に相当する機能部である。
<3.他の実施の形態>
[3−1.他の実施の形態1]
なお上述した第1の実施の形態では、CPU11は、操作始めと操作終わりの押下圧力値の変化に基づいて、ユーザがブラインドモード切替え操作を行ったと認識するようにした。
これに限らずCPU11は、例えば操作始めと操作終わりの接触範囲の形状の変化に基づいて、ブラインドモード切替え操作が行われたかを認識するようにしてもよい。
具体的に、ユーザは、第1の実施の形態と同様に、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作を行ったとする。
このときCPU11は、タッチパネル3Cを介して接触位置の座標及び接触範囲の座標を取得し、操作始めから操作終わりまでの接触位置の遷移と接触範囲の変化とを検出する。
ここで、第1の実施の形態と同様に、ブラインドモード切替え操作は、タッチパネル3Cに対する接触位置が移動する操作となることが考えられる。従ってCPU11は、タッチパネル3Cを介して取得した接触位置の座標に基づいて、接触位置が所定距離以上移動したか否かを判別する。
また、図11に示すように、指の腹が接触した範囲の面積は広く、その範囲の形状は指の太さ方向が短軸となるような略楕円形であり、指の先が接触した範囲の面積は狭く、その範囲の形状は指の太さ方向が長軸となるような略楕円形であることが考えられる。従って、指の接触している部分が指の腹から指の先へ変えられると、指の接触している範囲の長軸及び短軸が90度入れ替わることが考えられる。
従ってCPU11は、操作始めの接触範囲R3の座標と操作終わりの接触範囲R4の座標とに基づいて、操作始めの接触範囲R3を囲む最も面積の小さい矩形RS3及び操作終わりの接触範囲R4を囲む最も面積の小さい矩形RS4を検出する。そしてCPU11は、矩形RS3及び矩形RS4の長辺軸及び短辺軸をそれぞれ検出する。
そしてCPU11は、操作始めの接触範囲R3を囲む矩形RS3と操作終わりの接触範囲R4を囲む矩形RS4とを比較し、長辺軸及び短辺軸が略90度異なるか否かを判別する。
そしてCPU11は、接触位置が所定距離以上移動し、矩形RS3及び矩形RS4の長辺軸及び短辺軸が略90度異なることを判別すると、ユーザがブラインドモード切替え操作を行ったと認識する。
そして、CPU11は、ユーザがブラインドモード切替え操作を行ったことを認識すると、ブラインドモードに切り替わる。またこのときCPU11は、操作始めの接触位置P3が指の腹が接触した位置であり、操作終わりの接触位置P4が指の先が接触した位置であることを認識する。
そしてCPU11は、ブラインドモードに切り替わると、操作終わりの接触位置P4から操作始めの接触位置P3へ向かう方向を、タッチパネル3Cを操作する手の手首方向であると推定する。そしてCPU11は、この手首方向をタッチパネル3Cの操作面における下方向と定義し、これに従ってタッチパネル3Cの操作面に設定された座標を変換する。
このようにCPU11は、上述した第1の実施の形態と同様に、ブラインドモード切替え操作が行われたことを認識すると、タッチパネル3Cの操作面に対するユーザの手の向きに応じた座標軸を当該操作面に設定する。
またこれに限らず、CPU11は、操作始めと操作終わりの接触範囲の面積の変化に基づいて、ブラインドモード切替え操作が行われたかを認識するようにしてもよい。
図11に示すように、指の腹が接触した範囲の面積の方が指の先が接触した範囲の面積よりも大きいと考えられる。このことより、CPU11は、接触位置が所定距離以上移動し、操作始めの接触範囲R3の面積が操作終わりの接触範囲R4の面積より所定値以上大きいことを判別すると、ユーザがブラインドモード切替え操作を行ったと認識してもよい。
またこれに限らずCPU11は、この他種々の方法で、指を接触させたまま、指の接触している部分を指の腹から指の先へ変えるブラインドモード切替え操作を認識するようにしてもよい。
また上述した第2の実施の形態では、CPU11は、接触範囲の形状の変化に基づいて指を回転させるブラインドモード切替え操作を認識するようにしたが、この他種々の方法で当該操作を認識するようにしてもよい。
[3−2.他の実施の形態2]
また上述した第1の実施の形態では、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の腹から指の先へ変える操作を行わせるようにした。
これに限らず、ブラインドモード切替え操作として、タッチパネル3Cの操作面に対して指を接触させたまま、指の接触している部分を指の先から指の腹へ変える操作を行わせるようにしてもよい。また、指の接触している部分を指の腹から指の先へ変える操作、もしくはその逆に変える操作のどちらをユーザが行っても、ブラインドモード切替え操作として認識するようにしてもよい。
この場合CPU11は、ユーザによりブラインドモード切替え操作が行われると、操作始めと操作終わりの押下圧力値を比較し、どちらの押下圧力値が高いかを判別する。そしてCPU11は、操作始めの押下圧力値が高かった場合、操作始めの接触位置を指の先が接触した位置であると認識し、操作終わりの接触位置を指の腹が接触した位置であると認識する。一方CPU11は、操作終わりの押下圧力値が高かった場合、操作終わりの接触位置を指の先が接触した位置であると認識し、操作始めの接触位置を指の腹が接触した位置であると認識する。
[3−3.他の実施の形態3]
さらに上述した第1の実施の形態では、CPU11は、ブラインドモード切替え操作において、指の先が接触した位置と指の腹が接触した位置とを通る直線がY軸となるように、タッチパネル3Cの操作面に設定された座標を変換するようにした。
これに限らず、CPU11は、ブラインドモード切替え操作において、当該Y軸と直交し、例えば指の先が接触した位置を通る直線がX軸となるように、タッチパネル3Cの操作面に設定された座標を変換するようにしてもよい。
これによりCPU11は、例えばユーザの指による押下操作などユーザ操作に対して、割り当てる命令入力を増やすことができる。例えば、CPU11は、ユーザがX軸に対して上側を押下すると楽曲を再生し、X軸に対して下側を押下すると楽曲を停止するようにしてもよい。
[3−4.他の実施の形態4]
さらに上述した第1及び第2の実施の形態では、CPU11は、ユーザによりY軸に対して右側が押下されると選択する楽曲を次の楽曲に切替え、Y軸に対して左側が押下されると選択する楽曲を前の楽曲に切替えるようにした。
これに限らず、CPU11は、この他種々のユーザ操作をタッチパネル3Cに設定された座標軸に基づいて認識し、この他種々の命令入力を割り当てるようにしてもよい。
[3−5.他の実施の形態5]
さらに上述した第2の実施の形態では、CPU11は、操作始めの接触範囲R1がタッチパネル3Cの縁BAに接する箇所の中点PBを指の根元が接触した位置として検出するようにした。そしてCPU11は、接触範囲R1の中で中点PBから最も遠い点PFを指の先が接触した位置として検出するようにした。
これに限らず、CPU11は、例えば操作始めの接触範囲R1の形状を検出し、その形状が細くなっている方を指の先が接触した位置として検出し、そこから接触範囲R1の中で最も遠い位置を指の根元が接触した位置として検出するようにしてもよい。またこれに限らずCPU11は、この他種々の方法で、接触範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出するようにしてもよい。
[3−6.他の実施の形態6]
さらに上述した第1の実施の形態では、CPU11は、ブラインドモード切替え操作において、指の先が接触した位置から指の腹が接触した位置へ向かう方向をユーザの手首方向と推定した。そしてCPU11は、この方向を下方向とするような座標軸をタッチパネル3Cの操作面に設定するようにした。
これに限らずCPU11は、ユーザの手首方向と推定した方向に応じた座標軸であれば、この他種々の座標軸をタッチパネル3Cの操作面に設定するようにしてもよい。
例えばCPU11は、ブラインドモード切替え操作においてユーザの手首方向と推定した方向から、所定の角度(例えば10〜30[°])ずらした方向を下方向とするような座標軸を設定するようにしてもよい。ユーザは、通常モードのとき、操作面の下方向から多少ずれた方向に手首をおくような形で操作面を操作することも想定される。このような場合、CPU11は、ユーザの手首方向と推定した方向から所定の角度ずらした方向を下方向とする座標軸を設定することで、ブラインドモードのときも、ユーザに通常モードのときと同様の操作感覚で操作させることができる。ゆえに、CPU11は、ブラインドモードのときの操作性を一段と向上させることができる。
[3−7.他の実施の形態7]
さらに上述した第1及び第2の実施の形態では、音楽再生装置1の動作処理を実行するためのプログラムを不揮発性メモリ12に記憶しておくようにした。
これに限らず、このプログラムをCD(Compact Disc)などの所定の記録媒体に記録しておき、CPU11がこのプログラムを記録媒体から読み出して実行するようにしてもよい。また、CPU11がこのプログラムをインターネット上の所定のサーバからダウンロードして不揮発性メモリ12にインストールするようにしてもよい。
[3−8.他の実施の形態8]
さらに上述した実施の形態では、情報処理装置としての音楽再生装置1に、接触検出部としてのタッチパネル3Cと、圧力検出部としての感圧センサ3Bと、接触検出部、座標変換部、命令入力部、操作認識部、座標軸設定部としてのCPU11とを設けるようにした。
これに限らず、同様の機能を有するのであれば、上述した音楽再生装置1の各機能部を、他の種々のハードウェア又はソフトウェアにより構成するようにしてもよい。例えば、接触検出部をタッチパネルのみで実現するようにしてもよいし、座標変換部、命令入力部、操作認識部、座標軸設定部のそれぞれを個別のハードウェアで実現するようにしてもよい。
[3−9.他の実施の形態9]
さらに、本発明は、上述した第1及び第2の実施の形態とここまで説明した他の実施の形態1乃至8とに限定されるものではない。すなわち本発明は、上述した第1及び第2の実施の形態とここまで説明した他の実施の形態1乃至8の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態も適用範囲とする。例えば、上述した第2の実施の形態と他の実施の形態3とを組み合わせるようにしてもよい。
本発明の情報処理装置、情報処理方法及び情報処理プログラムは、例えば、携帯型オーディオプレイヤ、PDA(Personal Digital Assistant)、携帯電話機等のその他種々の電子機器に適用することができる。
1……音楽再生装置、3……表示部、3A……LCD、3B……感圧センサ、3C……タッチパネル、11……CPU、101、201……操作部、102、202……接触検出部、103……圧力検出部、104、203……操作認識部、105、204……座標軸設定部、106、205……座標変換部、107、206……命令入力部、P1、P2、P3、P4……接触位置、R1、R2、R3、R4……接触範囲、PB……中点、PF……点。

Claims (10)

  1. 操作部の操作面に対して指が接触した位置を検出する接触検出部と、
    上記操作面に設定された座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換する座標変換部と、
    上記座標変換部から得られる座標に基づいて、命令を入力する命令入力部と、
    上記操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識する操作認識部と、
    上記操作認識部により上記操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部と
    を具える情報処理装置。
  2. 上記操作面に対する指の押下圧力を検出する圧力検出部
    を具え、
    上記操作認識部は、
    上記操作面に対して指が接触しているときに、指が接触している位置が移動し且つ上記操作面に対する指の押下圧力が変化したことを検出すると、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたと認識する
    請求項1に記載の情報処理装置。
  3. 上記座標軸設定部は、
    上記操作面に対して、上記手首方向を下方向とする座標軸を設定し、上記指の腹が接触した位置と上記指の先が接触した位置とを通る直線を当該座標軸のY軸として設定する
    請求項2に記載の情報処理装置。
  4. 上記命令入力部は、
    上記座標変換部から得られる座標が上記座標軸のY軸に対して右側の領域にあるときは第1の命令を入力し、上記変換部から得られる座標が上記座標軸のY軸に対して左側の領域にあるときは第2の命令を入力する
    請求項3に記載の情報処理装置。
  5. 上記接触検出部は、
    上記操作面に対して指が接触した位置及び指が接触した範囲を検出し、
    上記操作認識部は、
    上記操作面に対して指が接触しているときに、指が接触している位置が移動し且つ指が接触している範囲の形状が変化したことを検出すると、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたと認識する
    請求項1に記載の情報処理装置。
  6. 操作部の操作面に対して指が接触した位置及び指が接触した範囲を検出する接触検出部と、
    上記操作面に設定された座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換する座標変換部と、
    上記座標変換部から得られる座標に基づいて、命令を入力する命令入力部と、
    上記操作面に対して、指を接触させたまま回転させる操作が行われたことを認識する操作認識部と、
    上記操作認識部により上記操作が認識されると、指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出し、当該指の根元が接触した位置から当該指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定する座標軸設定部と
    を具える情報処理装置。
  7. 上記操作認識部は、
    上記操作面に対して指が接触しているときに、指が接触している位置が移動し且つ指が接触している範囲の形状が変化したことを検出すると、指を接触させたまま回転させる操作が行われたと認識する
    請求項6に記載の情報処理装置。
  8. 上記座標軸設定部は、
    指が接触した範囲の形状に基づいて、当該指が接触した範囲の中から指の根元が接触した位置と指の先が接触した位置とを検出する
    請求項6に記載の情報処理装置。
  9. 接触検出部が、操作部の操作面に対して指が接触した位置を検出し、
    操作認識部が、上記操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識し、
    座標軸設定部が、上記操作認識部により上記操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定し、
    座標変換部が、上記座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換し、
    命令入力部が、上記座標変換部から得られる座標に基づいて、命令を入力する
    情報処理方法。
  10. コンピュータに、
    接触検出部が、操作部の操作面に対して指が接触した位置を検出するステップと、
    操作認識部が、上記操作面に対して、指を接触させたまま、接触部分を指の腹から先へ、もしくはその逆に変える操作が行われたことを認識するステップと、
    座標軸設定部が、上記操作認識部により上記操作が認識されると、指の腹が接触した位置から指の先が接触した位置へ向かう方向を上記操作部を操作する手の手首方向と推定し、上記操作面に対して、当該方向に応じて座標軸を設定するステップと、
    座標変換部が、上記座標軸に基づいて、上記接触検出部が検出した上記位置を座標に変換するステップと、
    命令入力部が、上記座標変換部から得られる座標に基づいて、命令を入力するステップと
    を実行させるための情報処理プログラム。
JP2009055407A 2009-03-09 2009-03-09 情報処理装置、情報処理方法及び情報処理プログラム Expired - Fee Related JP5267229B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2009055407A JP5267229B2 (ja) 2009-03-09 2009-03-09 情報処理装置、情報処理方法及び情報処理プログラム
US13/254,289 US20110310049A1 (en) 2009-03-09 2010-03-01 Information processing device, information processing method, and information processing program
CN201080010400.0A CN102341776B (zh) 2009-03-09 2010-03-01 信息处理设备、信息处理方法和信息处理程序
RU2011136682/08A RU2011136682A (ru) 2009-03-09 2010-03-01 Устройство, способ и программа обработки информации
PCT/JP2010/053706 WO2010104015A1 (ja) 2009-03-09 2010-03-01 情報処理装置、情報処理方法及び情報処理プログラム
BRPI1009499A BRPI1009499A2 (pt) 2009-03-09 2010-03-01 dispositivo e método de processamento de informação, e, programa
EP10750769A EP2407868A1 (en) 2009-03-09 2010-03-01 Information processing device, information processing method, and information procession program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009055407A JP5267229B2 (ja) 2009-03-09 2009-03-09 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2010211401A JP2010211401A (ja) 2010-09-24
JP5267229B2 true JP5267229B2 (ja) 2013-08-21

Family

ID=42728305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009055407A Expired - Fee Related JP5267229B2 (ja) 2009-03-09 2009-03-09 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (7)

Country Link
US (1) US20110310049A1 (ja)
EP (1) EP2407868A1 (ja)
JP (1) JP5267229B2 (ja)
CN (1) CN102341776B (ja)
BR (1) BRPI1009499A2 (ja)
RU (1) RU2011136682A (ja)
WO (1) WO2010104015A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5651494B2 (ja) 2011-02-09 2015-01-14 日立マクセル株式会社 情報処理装置
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130067366A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Establishing content navigation direction based on directional user gestures
US8436827B1 (en) * 2011-11-29 2013-05-07 Google Inc. Disambiguating touch-input based on variation in characteristic such as speed or pressure along a touch-trail
US9524050B2 (en) 2011-11-29 2016-12-20 Google Inc. Disambiguating touch-input based on variation in pressure along a touch-trail
US9582096B2 (en) * 2012-03-28 2017-02-28 Sony Corporation Information processing apparatus, information processing method, and program
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
AU2013259606B2 (en) 2012-05-09 2016-06-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169882A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN104508618B (zh) 2012-05-09 2018-01-05 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
EP3467634B1 (en) 2012-12-29 2020-09-23 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN104903835B (zh) 2012-12-29 2018-05-04 苹果公司 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
JP5728629B2 (ja) * 2013-03-29 2015-06-03 楽天株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び情報記憶媒体
US9665206B1 (en) 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
CN104461335A (zh) * 2013-09-25 2015-03-25 联想(北京)有限公司 一种数据处理方法及电子设备
KR102282498B1 (ko) * 2014-05-19 2021-07-27 삼성전자주식회사 디스플레이를 이용한 입력 처리 방법 및 장치
CN105700784A (zh) * 2014-11-28 2016-06-22 神讯电脑(昆山)有限公司 触控输入方法及其电子装置
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
CN106293051B (zh) * 2015-08-21 2020-01-10 北京智谷睿拓技术服务有限公司 基于手势的交互方法、交互装置及用户设备
US11314388B2 (en) * 2016-06-30 2022-04-26 Huawei Technologies Co., Ltd. Method for viewing application program, graphical user interface, and terminal
DE102016120075B4 (de) * 2016-10-21 2020-11-05 Harman Becker Automotive Systems Gmbh Bediensystem zur Bedienung eines Multifunktionssystems
JP6976707B2 (ja) * 2017-04-13 2021-12-08 キヤノン株式会社 電子機器およびその制御方法
DE112017007739T5 (de) * 2017-08-08 2020-04-16 Ford Global Technologies, Llc Verbesserter betrieb von tragbaren vorrichtungen
JP6961451B2 (ja) * 2017-10-12 2021-11-05 キヤノン株式会社 電子機器、その制御方法およびプログラム
CN107608563B (zh) 2017-10-27 2021-04-09 合肥京东方光电科技有限公司 触控显示面板及其驱动方法、显示装置
JP7210158B2 (ja) * 2018-04-23 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記録媒体
JP7272831B2 (ja) * 2019-03-13 2023-05-12 Fcnt株式会社 携帯端末装置、情報処理方法および情報処理プログラム
US10983601B1 (en) * 2020-01-17 2021-04-20 Assa Abloy Ab Visually impaired mode keypad

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3817965B2 (ja) * 1999-04-21 2006-09-06 富士ゼロックス株式会社 検出装置
JP4855654B2 (ja) 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
JP2008191791A (ja) * 2007-02-01 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP2009009252A (ja) * 2007-06-27 2009-01-15 Panasonic Corp タッチ式入力装置
US20090166098A1 (en) * 2007-12-31 2009-07-02 Apple Inc. Non-visual control of multi-touch device
CN101340559A (zh) * 2008-03-13 2009-01-07 北京雷石天地电子技术有限公司 一种滑动式视频点播方法
US9019237B2 (en) * 2008-04-06 2015-04-28 Lester F. Ludwig Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display
WO2010073329A1 (ja) * 2008-12-25 2010-07-01 富士通株式会社 コンピュータプログラム、入力装置及び入力方法

Also Published As

Publication number Publication date
EP2407868A1 (en) 2012-01-18
JP2010211401A (ja) 2010-09-24
BRPI1009499A2 (pt) 2016-03-15
CN102341776A (zh) 2012-02-01
RU2011136682A (ru) 2013-03-10
CN102341776B (zh) 2014-02-12
WO2010104015A1 (ja) 2010-09-16
US20110310049A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
JP5267229B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR101419701B1 (ko) 멀티미디어 재생장치에서 멀티 터치를 이용한 재생 제어 방법
US9507507B2 (en) Information processing apparatus, information processing method and program
JP6444758B2 (ja) 多機能ハンドヘルド装置
KR102034584B1 (ko) 포터블 디바이스 및 그 제어 방법
KR101544364B1 (ko) 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
JP4669423B2 (ja) 電子機器、スクロール制御装置、およびプログラム
US20090179867A1 (en) Method for providing user interface (ui) to display operating guide and multimedia apparatus using the same
US20080189613A1 (en) User interface method for a multimedia playing device having a touch screen
US20090207140A1 (en) Identifying and responding to multiple time-overlapping touches on a touch panel
TW201118683A (en) Sensing a type of action used to operate a touch panel
EP2241958A1 (en) Information processing apparatus, inclination detection method and inclination detection program
JP2011170834A (ja) 情報処理装置、操作予測方法及び操作予測プログラム
JP2011150414A (ja) 情報処理装置、操作入力決定方法及び操作入力決定プログラム
WO2012127792A1 (ja) 情報端末、表示画面切り替えのための方法、及びそのプログラム
KR20100006219A (ko) 사용자 인터페이스 방법 및 장치
CN1933642B (zh) 移动通信终端
JP6437720B2 (ja) コンテンツ再生を制御するための方法及びその装置
US20170206877A1 (en) Audio system enabled by device for recognizing user operation
JP2011076452A (ja) タッチパネルを備えた表示制御装置
JP5081952B2 (ja) 項目選択装置、項目選択方法、ならびに、プログラム
Kato et al. Acoustic+ Pose: Adding Input Modality to Smartphones with Near-Surface Hand-Pose Recognition using Acoustic Surface
KR101888754B1 (ko) 스와이프 제스처를 이용한 한글 입력방법
JP2014021927A (ja) 電子機器、プログラムおよび記録媒体
JP2016062204A (ja) 情報入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

LAPS Cancellation because of no payment of annual fees