JP2012164115A - Operation control device, operation control program and operation control method - Google Patents
Operation control device, operation control program and operation control method Download PDFInfo
- Publication number
- JP2012164115A JP2012164115A JP2011023757A JP2011023757A JP2012164115A JP 2012164115 A JP2012164115 A JP 2012164115A JP 2011023757 A JP2011023757 A JP 2011023757A JP 2011023757 A JP2011023757 A JP 2011023757A JP 2012164115 A JP2012164115 A JP 2012164115A
- Authority
- JP
- Japan
- Prior art keywords
- user
- operation object
- screen
- hand
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 101
- 230000009471 action Effects 0.000 claims abstract description 89
- 230000008859 change Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は，情報機器への操作に対する制御を行う操作制御装置，操作制御プログラムおよび操作制御方法に関するものである。 The present invention relates to an operation control device, an operation control program, and an operation control method for controlling operations on information equipment.
例えばパーソナルコンピュータやテレビジョン，携帯端末などの情報機器において，ユーザが画面やコンピュータから離れて操作する際のユーザインタフェースとして，ユーザが身振り・手振りによって操作を行う空間ジェスチャ技術が提案されている。 For example, in an information device such as a personal computer, a television, or a mobile terminal, a space gesture technique in which a user performs an operation by gesture or hand gesture has been proposed as a user interface when the user operates away from a screen or a computer.
なお，特許文献１において，画面のスクロールなど機器の送り操作を行うために，ユーザの送り動作と復帰動作とを区別する技術が知られている。この技術では，ユーザの現在の運動が高速運動であると検出されたとき，現在の高速運動と直前の高速運動とによって判定している。
In
また，特許文献２において円運動などの周期動作の身振りによって，画面上の項目選択が可能となる技術が知られている。この技術では，ユーザが周期動作を高速に行うと，画面上の選択項目が高速に切り替えられる。 Further, Japanese Patent Application Laid-Open No. 2004-133867 discloses a technique that enables selection of items on a screen by gesturing a periodic motion such as a circular motion. With this technology, when the user performs a periodic operation at high speed, the selection items on the screen can be switched at high speed.
また，特許文献３において距離画像で距離が極小かつ時間差分の変化の生じた点を指示点として検出して，画面上でのポインティング制御を行う技術が知られている。また，特許文献４において画像の速度ベクトルを用いて，ノイズに影響されないジェスチャ認識を行う技術が知られている。また，特許文献５においてユーザの首振り動作による入力を可能とする技術が知られている。 Further, Japanese Patent Laid-Open No. 2004-133830 discloses a technique for performing pointing control on a screen by detecting a point at which a distance is minimal and a change in time difference is detected as a designated point in a distance image. Also, Japanese Patent Application Laid-Open No. 2004-228667 discloses a technique for performing gesture recognition that is not affected by noise using an image velocity vector. Further, Japanese Patent Application Laid-Open No. H10-228667 discloses a technique that enables input by a user's swinging motion.
上記の技術では，ユーザが，ポインティングの操作と切り分けながら，連続的なスクロール，ズームなどの画面操作を行うことが困難であった。 With the above technology, it is difficult for the user to perform screen operations such as continuous scrolling and zooming while separating from the pointing operation.
例えば，上記のユーザが高速に手を動かしたときに画面のスクロール制御を行う技術では，手の高速な動作がスクロール操作となるため，ユーザは，手の速さを変えるなどの直感的な操作で，スクロールの速さを連続的に調整することができない。また，例えば，上記の周期動作の身振りによって画面上の項目を選択する技術は，ポインティングや他のジェスチャとの切り分けに関して考慮がなされていない。 For example, in the above-described technology that controls the scrolling of the screen when the user moves his / her hand at high speed, since the high-speed movement of the hand becomes the scrolling operation, the user can perform intuitive operations such as changing the speed of the hand. Thus, the scrolling speed cannot be adjusted continuously. In addition, for example, a technique for selecting an item on the screen by gestures of the above-described periodic motion does not take into consideration the separation from pointing and other gestures.
このように，ユーザの直感的なジェスチャ操作が，スクロールやズームなどの連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることは，困難である。 As described above, it is difficult to determine whether the user's intuitive gesture operation involves a continuous operation such as scrolling or zooming or just a pointing operation.
一側面では，本発明は，ユーザの直感的なジェスチャ操作が，連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることが可能となる技術を提供することを目的とする。 In one aspect, an object of the present invention is to provide a technique that can distinguish whether a user's intuitive gesture operation involves a continuous operation or a simple pointing operation. To do.
１態様では，操作制御装置は，特定の物体の位置を取得する位置取得部と，位置取得部で取得した位置から仮想空間内における特定の物体と操作オブジェクトとの間の距離を計算する距離計算部と，仮想空間内での特定の物体の速さを計算する速度計算部と，距離計算部と速度計算部の計算結果に従って操作オブジェクトの運動への影響の大きさを定量的に示す作用量を算出する作用量算出部と，作用量算出部の算出結果に従って操作オブジェクトの運動を制御する作用部と，操作オブジェクトの運動に従って画面の表示内容を計算する情報表示内容計算部と，情報表示内容計算部の計算結果に従って情報を画面に表示する情報表示部とを備える。 In one aspect, the operation control device includes a position acquisition unit that acquires the position of the specific object, and a distance calculation that calculates a distance between the specific object and the operation object in the virtual space from the position acquired by the position acquisition unit. A velocity calculation unit that calculates the speed of a specific object in the virtual space, and an action amount that quantitatively indicates the magnitude of the influence on the motion of the operation object according to the calculation results of the distance calculation unit and the velocity calculation unit An action amount calculation unit that calculates the action amount, an action unit that controls the movement of the operation object according to the calculation result of the action amount calculation unit, an information display content calculation unit that calculates the display content of the screen according to the movement of the operation object, and the information display content And an information display unit that displays information on the screen according to the calculation result of the calculation unit.
１態様では，ユーザの直感的なジェスチャ操作が，連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることが可能となる。 In one aspect, it is possible to determine whether the user's intuitive gesture operation involves a continuous operation or a simple pointing operation.
以下，本実施の形態について，図を用いて説明する。 Hereinafter, the present embodiment will be described with reference to the drawings.
図１は，本実施の形態による操作制御装置の構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of an operation control apparatus according to the present embodiment.
図１に示す操作制御装置１０は，ユーザが画面から離れてジェスチャによって画面操作を行う際に，そのユーザのジェスチャ操作を認識し，画面を制御する。ジェスチャとは，３次元空間中で，手や頭などの身体の一部を動かすことを指す。ユーザのジェスチャ操作には，画面上の位置を指示するポインティングの操作や，連続的な操作などがある。連続的な操作としては，例えば，画面に表示された情報のスクロール操作やズーム操作，動画の再生位置の指定操作，連続的なスライドの切り替え操作など，様々な操作がある。
The
図１に示す操作制御装置１０は，連続的な操作に関する制御の実現に関わる機能部として，位置取得部１１，距離計算部１２，速度計算部１３，作用量算出部１４，作用部１５，情報表示内容計算部１６，情報表示部１７，情報記憶部１８を備える。本実施の形態では，操作制御装置１０が備える各機能部は，ソフトウェアで実現されるものとするが，等価な働きをするハードウェアで実現されてもよい。なお，操作制御装置１０は，ポインティングの操作に関する制御を実現する機能部も備えているが，図１の例では記載が省略されている。
The
また，操作制御装置１０には，位置取得用装置２０，表示装置３０が接続される。位置取得用装置２０は，特定の物体の位置を取得するために使用する装置である。表示装置３０は，情報を画面に表示する装置である。
In addition, a
本実施の形態による操作制御装置１０の本質部分は，図１に示す操作制御装置１０内の主にソフトウェアによって実現される各機能部であり，ハードウェアの機構に関しては特定のものに依存しない。
The essential part of the
例えば，位置取得用装置２０は，特定の物体の位置として，ジェスチャ操作を行うユーザの身体の一部の位置を得るための情報が取得できるものであればよい。位置取得用装置２０としては，例えば，距離センサや単眼カメラ，ステレオカメラなどと，物体トラッキング装置とを組み合わせたものが考えられる。また，位置取得用装置２０が，ジャイロセンサ，加速度センサ，超音波などを用いて位置取得が可能な，ユーザが身体に装着する端末機器を含む装置などであってもよい。
For example, the
例えば，表示装置３０は，後述する操作オブジェクトを，ユーザが画面で視認できるものであればよい。表示装置３０としては，例えば，一般的な市場で入手できる家庭用ＰＣ（Personal computer ）のモニタや，テレビジョン，プロジェクタ，携帯端末の液晶画面，ＨＭＤ（Head Mounted Display）などが考えられる。
For example, the
操作制御装置１０において，位置取得部１１は，特定の物体の位置を取得する。特定の物体は，例えば，ジェスチャ操作を行うユーザの身体の一部や，ジェスチャ操作を行うユーザの身体に装着された位置取得用の端末機器などである。位置取得部１１は，位置取得用装置２０からの入力情報をもとに，特定の物体の位置の取得を行う。
In the
距離計算部１２は，位置取得部１１で取得した位置から，仮想空間内における特定の物体と操作オブジェクトとの間の距離を計算する。本実施の形態において，操作制御装置１０は，３次元空間を想定し，特定の物体と操作オブジェクトとの位置関係を把握する。
The
操作オブジェクトは，ユーザが表示装置３０の画面に表示された操作対象の情報に対して連続的な操作を行いたいときに，ユーザがジェスチャ操作する表示装置３０の画面に表示されたオブジェクトである。操作オブジェクトは，ユーザのジェスチャ操作に対して，連続的な動作を行う。操作オブジェクトとしては，板状のスクロールバー等の連続的な平行移動を行うオブジェクトや，車輪や球等の連続的な回転を行うオブジェクトなど，様々なオブジェクトが考えられる。
The operation object is an object displayed on the screen of the
距離計算部１２は，特定の物体の位置を，位置取得部１１から取得する。距離計算部１２は，操作オブジェクトの位置を，例えば作用部１５から取得する。距離計算部１２は，特定の物体の位置と操作オブジェクトの位置とから，仮想空間内における特定の物体と操作オブジェクトとの間の距離を計算する。
The
速度計算部１３は，仮想空間内での特定の物体の速さを計算する。速度計算部１３は，例えば，特定の物体の位置を位置取得部１１から取得すると，そのとき取得された特定の物体の位置と，前のタイミングで取得された特定の物体の位置とから，特定の物体の移動速度を計算する。このとき，速度計算部１３が，特定の物体の移動速度に，特定の物体の移動方向も含めた速度ベクトルを求めるようにしてもよい。
The
作用量算出部１４は，距離計算部１２と速度計算部１３の計算結果に従って，操作オブジェクトの運動への影響の大きさを定量的に示す作用量を算出する。本実施の形態では，ユーザは，ジェスチャ操作による直感的な操作で，画面上の操作オブジェクトを操作する。作用量算出部１４は，ユーザによるジェスチャ操作を表している特定の物体の移動が，操作オブジェクトに対してどのような影響を与えるかを，定量的に求める。本実施の形態において，作用量は，特定の物体の移動が操作オブジェクトの運動に及ぼす影響の大きさを定量的に表したものである。
The action
なお，作用量算出部１４が，特定の物体と操作オブジェクトとの間の距離が大きくなるほど，作用量が小さくなるように計算を行ってもよい。また，作用量算出部１４が，特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度が大きいほど，作用量を小さくなるように計算を行ってもよい。
The action
作用部１５は，作用量算出部１４の算出結果に従って，操作オブジェクトの運動を制御する。このとき，作用部１５が，操作オブジェクトの仮想的な動作に伴う摩擦力を含む式によって表される物理モデルに従って，操作オブジェクトの運動を制御するようにしてもよい。
The
なお，作用量算出部１４が作用量を求める際の計算や，作用部１５が操作オブジェクトの運動を求める際の計算などの設計は，任意である。例えば，ユーザが直接に操作オブジェクトに触れて操作することを想定した物理モデルに従った式を理論的に求めて使用するようにしてもよい。また，様々な式を用いた実験の結果から，適切と考えられる式を選んで使用するようにしてもよい。
Designs such as calculation when the action
情報表示内容計算部１６は，操作オブジェクトの運動に従って，画面の表示内容を計算する。例えば，操作対象の情報が文書であり，連続的な操作がスクロール操作であり，操作オブジェクトがスクロールバーであるものとする。このとき，情報表示内容計算部１６は，スクロールバーの移動量に従って，文書のスクロール量を計算する。例えば，情報表示内容計算部１６は，スクロールバーの移動量を定数倍した量を，文書のスクロール量とする。
The information display
情報表示部１７は，情報表示内容計算部１６の計算結果に従って，情報を画面に表示する。例えば，上述の文書のスクロールの例において，情報表示部１７は，表示装置３０の画面に表示された文書について，そのとき表示されている部分から，情報表示内容計算部１６で計算されたスクロール量だけスクロールした部分を表示する。
The
情報表示部１７は，文章，動画，画像，リスト等の情報を，表示装置３０の画面に表示する。ここでは，表示装置３０の画面に表示する情報は，情報記憶部１８に記憶されているものとする。情報記憶部１８は，情報を記憶する，コンピュータがアクセス可能な記憶部である。
The
情報表示部１７は，表示装置３０の画面に操作オブジェクトを表示する。このとき，情報表示部１７は，操作オブジェクトを，操作対象の情報に重畳して表示するようにしてもよいし，操作対象の情報の周辺に表示するようにしてもよい。また，情報表示部１７は，操作オブジェクトを，常に表示するようにしてもよいし，連続的な操作を行うときにだけ表示するようにしてもよい。
The
図２は，本実施の形態による操作制御装置を実現するハードウェアの構成例を示す図である。 FIG. 2 is a diagram illustrating a configuration example of hardware for realizing the operation control apparatus according to the present embodiment.
図１に示す本実施の形態の操作制御装置１０は，例えば，ＣＰＵ（Central Processing Unit ）２，主記憶となるメモリ３，記憶装置４，通信装置５，媒体読取・書込装置６，入力装置７，出力装置８等を備えるコンピュータ１によって実現される。記憶装置４は，例えばＨＤＤ（Hard Disk Drive ）などである。媒体読取・書込装置６は，例えばＣＤ−Ｒ（Compact Disc Recordable ）ドライブやＤＶＤ−Ｒ（Digital Versatile Disc Recordable ）ドライブなどである。入力装置７は，例えばキーボード・マウス等の機器や，カメラ・センサ等の位置取得用装置２０などである。出力装置８は，例えばディスプレイ等の表示装置３０などである。
1 includes, for example, a central processing unit (CPU) 2, a
図１に示す操作制御装置１０および操作制御装置１０が備える各機能部は，コンピュータ１が備えるＣＰＵ２，メモリ３等のハードウェアと，ソフトウェアプログラムとによって実現することが可能である。コンピュータ１が実行可能なプログラムは，記憶装置４に記憶され，その実行時にメモリ３に読み出され，ＣＰＵ２により実行される。
The
コンピュータ１は，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。また，コンピュータ１は，サーバコンピュータからプログラムが転送されるごとに，逐次，受け取ったプログラムに従った処理を実行することもできる。さらに，このプログラムは，コンピュータ１で読み取り可能な記録媒体に記録しておくことができる。
The
以下では，本実施の形態によるユーザのジェスチャ操作に応じた操作制御装置１０の処理について，より具体的な例を用いて説明する。
Below, the process of the
図３は，本実施の形態によるユーザのジェスチャ操作の例を示す図である。 FIG. 3 is a diagram illustrating an example of a user's gesture operation according to the present embodiment.
図３（Ａ）は，ユーザがハンドジェスチャで表示装置３０の画面３１の操作を行う例を示している。ハンドジェスチャでは，ユーザの手４０が特定の物体となり，ユーザの手４０の動作がジェスチャ操作となる。以下では，ハンドジェスチャを例として，本実施の形態によるジェスチャ操作の例を説明する。なお，ジェスチャ操作はハンドジェスチャによる操作に限らず，頭などユーザの手４０以外の身体部位の動作をジェスチャ操作としてもよい。
FIG. 3A shows an example in which the user operates the
図３（Ａ）に示す例では，距離センサ等の位置取得用装置２０は，表示装置３０の上部に設置され，ユーザの手４０の位置を取得する。以下では，位置取得用装置２０として距離センサ等を用いて，ユーザの手４０を直接に認識して位置の取得を行うものとする。なお，ユーザの手４０に位置取得用の端末機器を装着し，その端末機器を用いて間接的にユーザの手４０の位置の取得を行うようにしてもよい。
In the example shown in FIG. 3A, the
なお，図３（Ａ）では，図１に示す操作制御装置１０を実現するコンピュータの記載を省略しているが，位置取得用装置２０，表示装置３０は，図示省略された操作制御装置１０を実現するコンピュータに接続されて動作しているものとする。
In FIG. 3A, the description of the computer that realizes the
図３（Ａ）に示す例において，表示装置３０の画面３１には，操作対象の情報として，リストビュー７０が表示されている。図３（Ａ）に示すリストビュー７０では，一度にすべての“item”を画面３１に表示することができない。そのため，ユーザは，表示されていない“item”を画面３１に表示したい場合には，リストビュー７０を上下方向にスクロールする必要がある。
In the example shown in FIG. 3A, a list view 70 is displayed on the
図３（Ａ）に示す例において，画面３１上のカーソル６０は，ユーザの手４０によるポインティングの操作でユーザが指示した画面３１上の位置を示す。このようなユーザの手４０の位置に応じた画面３１上のポインティングに関する処理は，ユーザの手４０による連続的な操作の有無に関わらず，常時行われている。
In the example shown in FIG. 3A, a
図３（Ａ）に示す例において，操作オブジェクト５０は，ユーザにジェスチャ操作でリストビュー７０のスクロール操作を行わせるために，画面３１に表示された操作オブジェクト５０である。図３（Ａ）に示す例では，操作オブジェクト５０の動作と，リストビュー７０のスクロール動作とが連動している。
In the example shown in FIG. 3A, the
図３（Ｂ）は，図３（Ａ）の画面３１に表示された操作オブジェクト５０の動作を示す。図３に示す操作オブジェクト５０は，３次元の仮想空間で動作する車輪型の回転体である。図３（Ｂ）に示すように，この操作オブジェクト５０の動作は，軸を中心とした車輪の回転となる。
FIG. 3B shows the operation of the
図３（Ａ）において，ユーザは，画面３１に向かって，操作オブジェクト５０を回転させるハンドジェスチャを行う。操作制御装置１０は，ユーザの手４０の動きを認識し，ユーザの手４０の動きに応じて，操作オブジェクト５０を回転させる。操作制御装置１０は，操作オブジェクト５０の回転に対応させて，画面３１上のリストビュー７０をスクロールする。ユーザは，画面３１から離れた場所で，画面３１上の車輪型の操作オブジェクト５０を回転させるように手４０を動かすことで，リストビュー７０をスクロールすることができる。
In FIG. 3A, the user performs a hand gesture that rotates the
図４は，本実施の形態による空間座標系の例を示す図である。 FIG. 4 is a diagram illustrating an example of a spatial coordinate system according to the present embodiment.
本実施の形態では，例えば，図４に示すように３次元空間の座標系が設定されるものとする。図４に示す座標系では，画面３１の左上隅に原点が設定されている。図４に示す座標系では，画面３１の法線方向にｚ軸が設定されており，ｚ軸は画面３１からユーザに向かう方向が正となっている。また，画面３１の平面の水平方向にｘ軸，垂直方向にｙ軸が設定されている。ｘ軸は，画面３１の左上隅の原点から右方向が正となっており，ｙ軸は，画面３１の左上隅の原点から下方向が正となっている。
In the present embodiment, for example, a coordinate system in a three-dimensional space is set as shown in FIG. In the coordinate system shown in FIG. 4, the origin is set at the upper left corner of the
図４に示す例では，操作オブジェクト５０は，画面３１の平面上すなわちｘｙ平面上に設定されている。図４に示す例において，ハッチングされた領域が，画面３１上の操作オブジェクト５０の領域である。
In the example shown in FIG. 4, the
操作制御装置１０において，位置取得部１１は，適宜，ユーザの手４０の座標（ｘ1 ，ｙ1 ，ｚ1 ）を取得する。
In the
距離計算部１２は，設定された３次元空間において，取得されたユーザの手４０の座標（ｘ1 ，ｙ1 ，ｚ1 ）と，画面３１に表示された操作オブジェクト５０の座標（ｘ2 ，ｙ2 ，ｚ2 ）とから，ユーザの手４０と操作オブジェクト５０との間の距離ｄを計算する。操作オブジェクト５０の座標は，例えば，画面３１における操作オブジェクト５０の表示領域の重心位置の座標である。なお，図４に示す例では，操作オブジェクト５０が，ｘｙ平面上に設定されているので，ｚ2 ＝０となる。
速度計算部１３は，例えば，取得されたユーザの手４０の座標と，前のタイミングで取得されたユーザの手４０の座標とから，ユーザの手４０の移動速度ｖ1 を計算する。取得された２つの座標から得られるユーザの手４０の移動距離を，２つの座標の取得時間間隔で割ることにより，ユーザの手４０の移動速度ｖ1 が得られる。このとき，速度計算部１３が，ユーザの手４０の移動速度に，ユーザの手４０の移動方向も含めた速度ベクトルを求めてもよい。速度ベクトルは，例えば，取得された２つの座標の差分を，２つの座標の取得時間間隔で割ることにより得られる。
For example, the
図５，図６は，本実施の形態によるユーザのジェスチャ操作に応じた操作オブジェクトの動作の一例を説明する図である。 5 and 6 are diagrams for explaining an example of the operation of the operation object according to the user's gesture operation according to the present embodiment.
図５，図６において，ハッチングされた矢印や円は，ユーザの手４０の位置を，画面３１上にポインティングした軌跡を示している。カーソル６０は，画面３１上にポインティングされたユーザの手４０の位置を示している。なお，図５，図６では省略されているが，画面３１には，操作対象の情報として図３（Ａ）に示すリストビュー７０が表示されているものとする。
In FIG. 5 and FIG. 6, hatched arrows and circles indicate a locus in which the position of the user's
図５（Ａ）に示す例は，ユーザが，手４０を前に出してカーソル６０を操作オブジェクト５０の車輪に合わせて，垂直下方向に手４０を移動させた場合の例である。このとき，操作制御装置１０は，ユーザの手４０の移動で操作オブジェクト５０の車輪の表面に下方向の力が加わったものと判断し，ユーザの手４０の移動に合わせて，車輪型の操作オブジェクト５０を下に回転させる。例えば，操作制御装置１０は，ユーザの手４０の移動速度が遅い場合には，車輪型の操作オブジェクト５０をゆっくりと回転させ，ユーザの手４０の移動速度が速い場合には，車輪型の操作オブジェクト５０を速く回転させる。操作制御装置１０は，操作オブジェクト５０の車輪の回転速度に応じた速さで，リストビュー７０を下方向にスクロールする。
The example illustrated in FIG. 5A is an example in which the user moves the
図５（Ｂ）に示す例は，ユーザが，手４０を前に出してカーソル６０を操作オブジェクト５０の車輪に合わせて，手４０を止めた場合の例である。このとき，操作制御装置１０は，ユーザの手４０が車輪の回転を止める動作を行ったと判断し，車輪型の操作オブジェクト５０の回転を止める。操作制御装置１０は，操作オブジェクト５０の車輪の回転停止に応じて，リストビュー７０のスクロールを停止する。
The example shown in FIG. 5B is an example in which the user puts the
なお，本実施の形態の例では，操作オブジェクト５０は，ユーザのジェスチャ操作に応じて運動し，停止のジェスチャ操作がなければ，ジェスチャ操作が行われていないときでも，徐々に減速しながら慣性で運動を続けるものとする。ユーザのジェスチャ操作に応じて操作オブジェクト５０が運動し，ユーザのジェスチャ操作が終わったときに操作オブジェクト５０が停止するように設計がなされてもよい。
In the example of the present embodiment, the
図６（Ａ）に示す例は，画面３１上でユーザの手４０の位置を示すカーソル６０が操作オブジェクト５０の車輪から外れている状態で，ユーザの手４０が垂直下方向に移動した場合の例である。このとき，操作制御装置１０は，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判断する。操作制御装置１０は，ユーザの手４０の移動に応じてカーソル６０を移動するポインティングの処理のみを行い，操作オブジェクトの運動にユーザの手４０の動作による影響を加味しない。
In the example shown in FIG. 6A, the
例えば，操作制御装置１０は，画面３１上でユーザの手４０の位置を示すカーソル６０の位置が，画面３１内の操作オブジェクト５０の領域上にない場合に，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判定する。このとき，作用量算出部１４は，操作オブジェクト５０の運動への影響の大きさを定量的に示す作用量を０とする。
For example, when the position of the
図６（Ｂ）に示す例は，ユーザが，手４０を画面から所定以上離した状態で，垂直下方向に手４０を移動させた場合の例である。このとき，操作制御装置１０は，カーソル６０が操作オブジェクト５０の車輪の位置に合っていても，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判断する。操作制御装置１０は，ユーザの手４０の移動に応じてカーソル６０を移動するポインティングの処理のみを行い，操作オブジェクト５０の運動にユーザの手４０の動作による影響を加味しない。
The example shown in FIG. 6B is an example where the user moves the
例えば，操作制御装置１０は，ユーザの手４０と操作オブジェクト５０との間の距離ｄが，所定の距離の閾値ｄth以上である場合に，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判定する。このとき，作用量算出部１４は，操作オブジェクト５０の運動への影響の大きさを定量的に示す作用量を０とする。
For example, the
ユーザの手４０が操作オブジェクト５０から離れ過ぎている場合には，ユーザが操作オブジェクト５０への操作を意図していない可能性がある。操作制御装置１０は，ユーザの手４０などの特定の物体と操作オブジェクト５０との間の距離で，ユーザのジェスチャ操作が連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分ける。
When the user's
図６（Ｃ）に示す例は，ユーザが，操作オブジェクト５０の動作可能な方向に対して，所定以上の角度で手４０を移動させた場合の例である。このとき，操作制御装置１０は，カーソル６０が操作オブジェクト５０の車輪の位置に合っていても，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判断する。操作制御装置１０は，ユーザの手４０の移動に応じてカーソル６０を移動するポインティングの処理のみを行い，操作オブジェクト５０の運動にユーザの手４０の動作による影響を加味しない。
The example illustrated in FIG. 6C is an example in which the user moves the
例えば，図６（Ｃ）において，操作オブジェクト５０の車輪は，垂直下方向に回転しているものとする。また，操作オブジェクト５０の車輪は，動作方向の反対側すなわち垂直上方向に回転可能である。操作制御装置１０は，ユーザの手４０の移動方向と操作オブジェクト５０の動作方向との間の角度｜θ｜が所定の角度の閾値θth以上，かつ｜１８０°−θ｜がθth以上である場合に，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判定する。このとき，作用量算出部１４は，操作オブジェクト５０の運動への影響の大きさを定量的に示す作用量を０とする。
For example, in FIG. 6C, it is assumed that the wheel of the
ユーザの手４０の移動方向が操作オブジェクト５０の動作可能な方向と大きくずれている場合には，ユーザが操作オブジェクト５０への操作を意図していない可能性がある。操作制御装置１０は，ユーザの手４０などの特定の物体と操作オブジェクト５０の動作可能方向との間の角度で，ユーザのジェスチャ操作が連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分ける。
If the moving direction of the user's
図７は，本実施の形態による特定の物体と操作オブジェクトとの位置関係に応じて作用量を変える例を説明する図である。 FIG. 7 is a diagram illustrating an example in which the amount of action is changed according to the positional relationship between a specific object and an operation object according to the present embodiment.
図６（Ｂ）の例で説明したように距離の閾値ｄthで作用量を判定する以外に，特定の物体と操作オブジェクト５０との位置関係に応じて，作用量が変わるように設計することも可能である。
As described in the example of FIG. 6B, in addition to determining the action amount based on the distance threshold d th , the action amount is designed to change according to the positional relationship between the specific object and the
図７（Ａ）は，画面３１上で，ユーザの手４０の位置を示すカーソル６０が，車輪型の操作オブジェクト５０の中心から離れているほど，操作オブジェクト５０に対するユーザの手４０の影響量が小さくなる例を示している。また，図７（Ｂ）は，３次元の空間において，ユーザの手４０の位置が，車輪型の操作オブジェクト５０の中心から離れているほど，操作オブジェクト５０に対するユーザの手４０の影響量が小さくなる例を示している。
FIG. 7A shows that, as the
図７に示すように，特定の物体と操作オブジェクト５０との位置関係に応じて，ユーザのジェスチャ操作が操作オブジェクト５０の回転運動に及ぼす影響量を変化させることも可能である。以下では，所定の分布関数を用いて，ユーザの手４０と車輪型の操作オブジェクト５０との位置関係に応じた作用量を求め，操作オブジェクト５０の回転運動を制御する例を説明する。
As shown in FIG. 7, it is possible to change the amount of influence that the user's gesture operation has on the rotational motion of the
操作制御装置１０において，作用部１５は，例えば，車輪型の操作オブジェクト５０の回転運動を，次の式（１）に従って制御するものとする。
In the
ａ2 ＝ｋ（ｘ3 ，ｙ3 ，ｚ3 ）・（（１／ｒ）・ｖ1y−ｖ2 ）−ｃｖ2
・・・（１）
式（１）において，ａ2 は，操作オブジェクト５０の回転の角加速度である。ｖ2 は，操作オブジェクト５０の動作速度，すなわち回転体の例では操作オブジェクト５０の回転の角速度である。ｖ1yは，ユーザの手４０のｙ軸方向の移動速度である。ｒは，回転の半径を示す定数である。ｃは，定数である。ｋ（ｘ3 ，ｙ3 ，ｚ3 ）は，操作オブジェクト５０の位置に対するユーザの手４０の相対位置（ｘ3 ，ｙ3 ，ｚ3 ）が，操作オブジェクト５０の回転運動に及ぼす影響の大きさを示す作用量である。
a 2 = k (x 3 , y 3 , z 3 ) · ((1 / r) · v 1y −v 2 ) −cv 2
... (1)
In Equation (1), a 2 is the angular acceleration of the rotation of the
式（１）を用いた制御では，作用部１５は，ユーザの手４０の位置とｙ軸方向の移動速度とに応じて操作オブジェクト５０の回転運動を変化させ，ユーザのジェスチャ操作がない場合には，操作オブジェクト５０の回転運動を徐々に減衰させる。
In the control using Expression (1), the
作用量算出部１４は，例えば，次の式（２）から，ｋ（ｘ3 ，ｙ3 ，ｚ3 ）を算出する。
The action
ｋ（ｘ3 ，ｙ3 ，ｚ3 ）＝ｋ0 ・ｅｘｐ｛−（１／２）
・（ｘ3 2 ／ｐ2 ＋ｙ3 2 ／ｑ2 ＋ｚ3 2 ／ｓ2 ）｝ ・・・（２）
式（２）において，（ｘ3 ，ｙ3 ，ｚ3 ）は，操作オブジェクト５０の位置（ｘ2 ，ｙ2 ，ｚ2 ）に対するユーザの手４０の位置（ｘ1 ，ｙ1 ，ｚ1 ）の相対位置を示している。すなわち，ｘ3 ＝ｘ1 −ｘ2 ，ｙ3 ＝ｙ1 −ｙ2 ，ｚ3 ＝ｚ1 −ｚ2 となる。ｋ0 ，ｐ，ｑ，ｓは，定数である。
k (x 3 , y 3 , z 3 ) = k 0 · exp {− (1/2)
(X 3 2 / p 2 + y 3 2 / q 2 + z 3 2 / s 2 )} (2)
In Expression (2), (x 3 , y 3 , z 3 ) is the position (x 1 , y 1 , z 1 ) of the user's
なお，式（１），式（２）において，定数は，理論的に決定してもよいし，実験的に決定してもよい。例えば，式（２）において，各定数ｋ0 ，ｐ，ｑ，ｓの値を変更しながら，ジェスチャ操作で操作オブジェクト５０を回転させる実験を行い，最も直感的な操作ができたと考えられる定数の組合せを採用するようにしてもよい。
In Equations (1) and (2), the constant may be determined theoretically or experimentally. For example, in the equation (2), an experiment is performed in which the
このように，ユーザの手４０と車輪型の操作オブジェクト５０との位置関係に応じて，操作オブジェクト５０の回転運動に与える影響の大きさを変えることで，ユーザの誤操作の影響を，少なくすることが可能となる。例えば，ユーザの手４０の位置を示すカーソル６０が，回転体の操作オブジェクト５０の中心から離れているほど，ユーザのジェスチャ操作が，操作オブジェクト５０に対する操作でない可能性が高いものと推定できる。また，３次元の空間において，ユーザの手４０の位置が回転体の操作オブジェクト５０の中心から離れているほど，ユーザのジェスチャ操作が，操作オブジェクト５０に対する操作でない可能性が高いものと推定できる。
In this way, by changing the magnitude of the influence on the rotational motion of the
また，ユーザの手４０と車輪型の操作オブジェクト５０との位置関係に応じて，操作オブジェクト５０の回転運動に与える影響の大きさを変えることで，ユーザが操作オブジェクトの回転速度を調整しやすくなる。例えば，操作オブジェクト５０を速く回転させたいときには，画面３１上の操作オブジェクト５０に手４０を近づけて操作を行い，操作オブジェクト５０をゆっくりと回転させたいときには，画面３１上の操作オブジェクト５０から手４０を離して操作を行う，といった調整が可能となる。
Further, by changing the magnitude of the influence on the rotational motion of the
図８は，本実施の形態の操作制御装置による操作オブジェクト制御処理フローチャートである。 FIG. 8 is a flowchart of an operation object control process performed by the operation control apparatus of this embodiment.
図８に示すフローチャートは，ユーザによるジェスチャ操作の認識から，ユーザによるジェスチャ操作の影響を含めた操作オブジェクトの運動の制御までの処理の一例を示している。 The flowchart shown in FIG. 8 shows an example of processing from recognition of the gesture operation by the user to control of the motion of the operation object including the influence of the gesture operation by the user.
位置取得部１１は，ユーザの手４０の位置を取得する（ステップＳ１０）。作用量算出部１４は，画面３１上でユーザの手４０の位置をポイントしたカーソル６０が操作オブジェクト５０の領域内にあるかを判定する（ステップＳ１１）。
The
カーソル６０が操作オブジェクト５０の領域内になければ（ステップＳ１１のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０が画面３１上の操作オブジェクト５０を指し示していない場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。
If the
カーソル６０が操作オブジェクト５０の領域内にあれば（ステップＳ１１のＹＥＳ），距離計算部１２は，ユーザの手４０と操作オブジェクト５０との間の距離ｄを計算する（ステップＳ１２）。作用量算出部１４は，距離ｄが所定の距離の閾値ｄth未満であるかを判定する（ステップＳ１３）。
If the
距離ｄが所定の距離の閾値ｄth未満でなければ（ステップＳ１３のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０と操作オブジェクト５０との間の距離が離れすぎている場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。
If the distance d is not less than the predetermined distance threshold d th (NO in step S13), the action
ユーザの手４０と操作オブジェクト５０との間の距離ｄが所定の距離の閾値ｄth未満であれば（ステップＳ１３のＹＥＳ），速度計算部１３は，ユーザの手４０の移動速度ｖ1 を計算する（ステップＳ１４）。ここでは，速度計算部１３は，ユーザの手４０の移動速度ｖ1 とともに，ユーザの手４０の移動方向も求めるものとする。
If the distance d between the user's
作用量算出部１４は，ユーザの手４０の移動方向と操作オブジェクト５０の動作方向との間の角度θを計算する（ステップＳ１５）。作用量算出部１４は，角度θまたは角度１８０°−θが所定の角度の閾値θth未満であるかを判定する（ステップＳ１６）。
The action
角度θまたは角度１８０°−θが所定の角度の閾値θth未満でなければ（ステップＳ１６のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０の移動方向と操作オブジェクト５０の動作可能方向との間の角度が大き過ぎる場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。
If the angle θ or the angle 180 ° −θ is not less than the predetermined angle threshold θ th (NO in step S16), the action
角度θまたは角度１８０°−θが所定の角度の閾値θth未満であれば（ステップＳ１６のＹＥＳ），作用量算出部１４は，ユーザの手４０の移動速度ｖ1 が所定の最小速度ｖmin と所定の最大速度ｖmax との間の値であるかを判定する（ステップＳ１７）。
If the angle θ or the angle 180 ° −θ is less than the predetermined angle threshold θ th (YES in step S16), the action
ユーザの手４０の移動速度ｖ1 が所定の最小速度ｖmin と所定の最大速度ｖmax との間の値でなければ（ステップＳ１７のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０の移動速度が極端に遅い場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。また，操作制御装置１０は，ユーザの手４０の移動速度が極端に速い場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。なお，ユーザの手４０の移動速度が極端に遅い場合に，図５（Ｂ）に示すように，ユーザのジェスチャ操作が操作オブジェクト５０の停止操作であると判断するようにしてもよい。
If the moving speed v 1 of the user's
ユーザの手４０の移動速度ｖ1 が所定の最小速度ｖmin と所定の最大速度ｖmax との間の値であれば（ステップＳ１７のＹＥＳ），作用量算出部１４は，作用量を算出する（ステップＳ１９）。ここでは，作用量算出部１４は，例えば上記の式（２）によって，作用量を算出する。
If the value (YES in step S17), the action
作用部１５は，操作オブジェクト５０の運動を制御する（ステップＳ２０）。このとき，作用部１５は，作用量算出部１４により求められた作用量を用いて，例えば上記の式（１）によって，操作オブジェクト５０の運動を制御する。
The
操作制御装置１０は，ステップＳ１０に戻って，次に取得されるユーザの手４０の位置の処理に移る。
The
図９は，本実施の形態の操作制御装置による画面制御処理フローチャートである。 FIG. 9 is a flowchart of a screen control process performed by the operation control apparatus according to the present embodiment.
図９に示すフローチャートは，操作オブジェクト５０の運動に応じて画面３１上の操作対象の情報を更新する制御までの処理の一例を示している。
The flowchart shown in FIG. 9 shows an example of processing up to the control for updating the operation target information on the
情報表示内容計算部１６は，操作オブジェクト５０が動いているか否かを監視する（ステップＳ３０）。
The information display
操作オブジェクト５０が動いている場合には（ステップＳ３０のＹＥＳ），情報表示内容計算部１６は，操作オブジェクト５０の運動に従って，画面３１の表示内容を計算する（ステップＳ３１）。例えば，情報表示内容計算部１６は，車輪型の操作オブジェクト５０の回転速度に応じたリストビュー７０のスクロール量を計算する。
When the
情報表示部１７は，情報表示内容計算部１６の計算結果に従って，表示装置３０が画面３１の表示内容を更新する（ステップＳ３２）。例えば，情報表示部１７は，情報表示内容計算部１６により求められたスクロール量だけ，表示装置３０の画面３１に表示されたリストビュー７０をスクロールする。
In the
操作制御装置１０は，ステップＳ３０〜ステップＳ３２に示す，操作オブジェクト５０の運動に従った画面３１上の操作対象の情報の更新を繰り返す。
The
ここまでは，主に車輪型の回転体の操作オブジェクト５０の例について説明した。操作オブジェクト５０は，車輪型の回転体の操作オブジェクト５０に限らない。以下では，平行移動する板状の操作オブジェクト５０の例を説明する。
So far, the example of the
図１０は，本実施の形態によるユーザのジェスチャ操作の例を示す図である。 FIG. 10 is a diagram illustrating an example of a user's gesture operation according to the present embodiment.
図１０（Ａ）は，図３（Ａ）と同様に，ユーザがハンドジェスチャで表示装置３０の画面３１の操作を行う例を示している。図１０（Ａ）に示すように，距離センサ等の位置取得用装置２０が表示装置３０の上部に設置され，ユーザの手４０の位置が取得される。図１０（Ａ）に示す例において，画面３１上のカーソル６０は，ユーザの手４０によるポインティングの操作でユーザが指示した画面３１上の位置を示す。なお，図１０（Ａ）では，図１に示す操作制御装置１０を実現するコンピュータの記載を省略しているが，位置取得用装置２０，表示装置３０は，図示省略された操作制御装置１０を実現するコンピュータに接続されて動作しているものとする。
FIG. 10A shows an example in which the user operates the
図１０（Ａ）に示す例において，表示装置３０の画面３１には，操作対象の情報として，写真画像を並べたアルバム７１が表示されている。図１０（Ａ）に示すアルバム７１では，一度にすべての画像を画面３１に表示することができない。そのため，ユーザは，表示されていない画像を画面３１に表示したい場合には，アルバム７１を左右方向にスクロールする必要がある。
In the example shown in FIG. 10A, an album 71 in which photographic images are arranged is displayed on the
図１０（Ａ）に示す例において，操作オブジェクト５０は，ユーザにジェスチャ操作でアルバム７１のスクロール操作を行わせるために，画面３１に表示された操作オブジェクト５０である。図１０（Ａ）に示す例では，操作オブジェクト５０の動作と，アルバム７１のスクロール動作とが連動している。
In the example shown in FIG. 10A, the
図１０（Ｂ）は，図１０（Ａ）の画面３１に表示された操作オブジェクト５０の動作を示す。図１０に示す操作オブジェクト５０は，３次元の仮想空間で動作する板状の移動体である。図１０（Ｂ）に示すように，この操作オブジェクト５０の動作は，ｘ軸方向の平行移動となる。
FIG. 10B shows the operation of the
図１０（Ａ）において，ユーザは，画面３１に向かって，操作オブジェクト５０を平行移動させるハンドジェスチャを行う。操作制御装置１０は，ユーザの手４０の動きを認識し，ユーザの手４０の動きに応じて，操作オブジェクト５０を平行移動させる。操作制御装置１０は，操作オブジェクト５０の平行移動に対応させて，画面３１上のアルバム７１をスクロールする。ユーザは，画面３１から離れた場所で，画面３１上の板状の操作オブジェクト５０を平行移動させるように手４０を動かすことで，アルバム７１をスクロールすることができる。
In FIG. 10A, the user performs a hand gesture that translates the
ユーザのジェスチャ操作が板状の操作オブジェクト５０に与える影響の大きさを示す作用量を求め，操作オブジェクト５０の平行移動を制御する例を説明する。
An example in which the amount of action indicating the magnitude of the influence of the user's gesture operation on the plate-like operation object 50 is obtained and the parallel movement of the
図１１は，操作オブジェクトの運動を摩擦力を考慮した物理モデルから求める例を説明する図である。 FIG. 11 is a diagram for explaining an example in which the motion of the operation object is obtained from a physical model considering the frictional force.
図１１に示す物理モデルにおいて，物体α８１は，ユーザの手４０を表すモデルであり，物体β８２は，板状の操作オブジェクト５０を表すモデルである。ここでは，図１１に示すような，物体α８１の移動の影響を受けて物体β８２が平面８３上を移動する物理モデルに基づいて，作用部１５が操作オブジェクト５０の運動を制御する例を説明する。
In the physical model shown in FIG. 11, the object α81 is a model representing the user's
図１１に示す物理モデルにおいて，ｍ1 は物体α８１の重さを示し，ｍ2 は物体β８２の重さを示す。ｇは，重力を示す。ｋ1 は，物体α８１と物体β８２との間の摩擦を示す。ｋ2 は，物体β８２と平面８３との間の摩擦を示す。 In the physical model shown in FIG. 11, m 1 represents the weight of the object α81, and m 2 represents the weight of the object β82. g represents gravity. k 1 indicates the friction between the object α81 and the object β82. k 2 represents the friction between the object β 82 and the plane 83.
図１１に示すような物理モデルに基づく制御では，作用部１５は，例えば，板状の操作オブジェクト５０の平行移動を，次の式（３）に従って制御するものとする。
In the control based on the physical model as shown in FIG. 11, for example, the
ａ2 ＝（１／ｍ2 ）｛ｋ1 ・ｇ・ｍ1 ・（ｖ1x−ｖ2 ）
−ｋ2 ・ｇ・（ｍ1 ＋ｍ2 ）ｖ2 ｝ ・・・（３） 式（３）において，ａ2 は，操作オブジェクト５０の平行移動加速度である。ｖ2 は，操作オブジェクト５０の平行移動速度である。ｖ1xは，ユーザの手４０のｘ軸方向の移動速度である。ｇ，ｍ1 ，ｍ2 ，ｋ2 は，定数となる。
a 2 = (1 / m 2 ) {k 1 · g · m 1 · (v 1x -v 2 )
-K 2 · g · (m 1 + m 2 ) v 2 } (3) In equation (3), a 2 is the translational acceleration of the
ここで，操作制御装置１０は，図７（Ｂ）に示す車輪型の操作オブジェクト５０の例と同様に，ユーザの手４０と操作オブジェクト５０との位置関係に応じて，ユーザのジェスチャ操作が操作オブジェクト５０の平行移動の運動に及ぼす影響量を，変化させるものとする。式（３）において，ｋ1 が，操作オブジェクト５０の位置に対するユーザの手４０の相対位置が，操作オブジェクト５０の平行移動の運動に及ぼす影響の大きさを示す作用量であるとする。なお，この例では，ｙ軸方向の位置関係の影響はないものとする。
Here, similarly to the example of the wheel-
このとき，式（３）を用いた制御は，ユーザの手４０の位置とｘ軸方向の移動速度とに応じて操作オブジェクト５０の平行移動の運動を変化させ，ユーザのジェスチャ操作がない場合には，操作オブジェクト５０の平行移動の運動を徐々に減衰させる制御となる。
At this time, the control using the expression (3) is performed when the movement motion of the
作用量算出部１４は，例えば，次の式（４）から，ｋ1 を算出する。
The action
ｋ1 ＝ｋ0 ・ｅｘｐ｛−（１／２）・（ｘ3 2 ／ｐ2 ＋ｚ3 2 ／ｑ2 ）｝
・・・（４）
式（４）において，（ｘ3 ，ｚ3 ）は，ｙ軸方向を除く操作オブジェクト５０の位置（ｘ2 ，ｚ2 ）に対するユーザの手４０の位置（ｘ1 ，ｚ1 ）の相対位置を示している。すなわち，ｘ3 ＝ｘ1 −ｘ2 ，ｚ3 ＝ｚ1 −ｚ2 となる。ｋ0 ，ｐ，ｑは，定数である。
k 1 = k 0 · exp {− (½) · (x 3 2 / p 2 + z 3 2 / q 2 )}
... (4)
In Expression (4), (x 3 , z 3 ) represents the relative position of the position (x 1 , z 1 ) of the user's
なお，式（３），式（４）において，定数は，理論的に決定してもよいし，実験的に決定してもよい。例えば，式（４）において，各定数ｋ0 ，ｐ，ｑの値を変更しながら，ジェスチャ操作で操作オブジェクト５０を平行移動させる実験を行い，最も直感的な操作ができたと考えられる定数の組合せを採用するようにしてもよい。
In Equations (3) and (4), the constant may be determined theoretically or experimentally. For example, in equation (4), an experiment is performed in which the
なお，図５，図６に示すユーザのジェスチャ操作に応じた操作オブジェクトの動作の例については，平行移動する板状の操作オブジェクト５０の場合でも，同様であるものとする。 The example of the operation object operation according to the user's gesture operation shown in FIGS. 5 and 6 is the same for the plate-like operation object 50 that moves in parallel.
このように，操作オブジェクト５０の仮想的な動作に伴う摩擦力を考慮した物理モデルに従って操作オブジェクト５０の運動を制御することにより，ユーザは，実際に操作オブジェクト５０を手４０で動かす感覚で，ジェスチャ操作を行うことができる。
In this way, by controlling the motion of the
図１２は，本実施の形態による特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度に応じて作用量を変える例を説明する図である。 FIG. 12 is a diagram for explaining an example in which the amount of action is changed according to the angle between the position change direction of the specific object and the operable direction of the operation object according to the present embodiment.
図６（Ｃ）の例で説明したように角度の閾値θthで作用量を判定する以外に，特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度に応じて，作用量が変わるように設計することも可能である。 As described in the example of FIG. 6C, in addition to determining the amount of action based on the angle threshold θ th , the action depends on the angle between the position change direction of the specific object and the operable direction of the operation object. It is also possible to design the amount to change.
図１２は，ユーザの手４０の移動方向と，ｘ軸と平行に動作する板状の操作オブジェクト５０の動作可能方向との間の角度θが大きくなるほど，操作オブジェクト５０に対するユーザの手４０の影響量が小さくなる例を示している。図１２において，手の速度ベクトルは，画面３１に投影したユーザの手４０の速度ベクトルを示している。
FIG. 12 shows the influence of the user's
図１２に示すように，特定の物体の移動方向と操作オブジェクト５０の動作可能方向との間の角度θに応じて，ユーザのジェスチャ操作が操作オブジェクト５０の運動に及ぼす影響量を変化させることも可能である。以下では，所定の分布関数を用いて，ユーザの手４０の移動方向と板状の操作オブジェクト５０の動作可能方向との間の角度θに応じた作用量を求め，操作オブジェクト５０の平行移動の運動を制御する例を説明する。
As illustrated in FIG. 12, the influence amount of the user's gesture operation on the motion of the
操作制御装置１０において，作用部１５は，例えば，板状の操作オブジェクト５０の平行移動の運動を，図１１に示す摩擦力を考慮した物理モデルに基づいた上記の式（３）に従って制御するものとする。上記の式（３）では，ｋ1 が，ユーザの手４０の移動方向と板状の操作オブジェクト５０の動作可能方向との間の角度θが，操作オブジェクト５０の平行移動の運動に及ぼす影響の大きさを示す作用量となる。
In the
作用量算出部１４は，例えば，次の式（５）から，ｋ1 を算出する。
The action
｜θ｜＜θthのとき：
ｋ1 ＝ｋ0 ・ｅｘｐ｛−（１／２）・（ｓｉｎ2 θ／ｃ2 ）｝
｜θ｜≧θthのとき：
ｋ1 ＝０ ・・・（５）
式（５）において，角度θは，−π／２＜θ＜π／２である。ｋ0 ，ｃは，定数である。式（５）において，定数は，理論的に決定してもよいし，実験的に決定してもよい。
When | θ | <θ th :
k 1 = k 0 · exp {− (½) · (sin 2 θ / c 2 )}
When | θ | ≧ θ th :
k 1 = 0 (5)
In the equation (5), the angle θ is −π / 2 <θ <π / 2. k 0 and c are constants. In equation (5), the constant may be determined theoretically or experimentally.
このように，ユーザの手４０の移動方向と操作オブジェクト５０の動作可能方向との間の角度に応じて，操作オブジェクト５０の平行移動の運動に与える影響の大きさを変えることで，ユーザの誤操作の影響を，少なくすることが可能となる。例えば，ユーザの手４０の移動方向と操作オブジェクト５０の動作可能方向との間の角度が大きいほど，ユーザのジェスチャ操作が，操作オブジェクト５０に対する操作でない可能性が高いものと推定できる。
In this way, by changing the magnitude of the influence on the motion of the translation of the
以上説明したように，本実施の形態による操作制御装置１０によって，ユーザの直感的なジェスチャ操作が，連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることが可能となる。ユーザは，手４０を速く動かす／手をゆっくりと動かすなどの直感的なジェスチャ操作で，スクロール，拡大／縮小などの連続的な操作を行うことができるようになる。
As described above, the
以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。 Although the present embodiment has been described above, the present invention can naturally be modified in various ways within the scope of the gist thereof.
例えば，本実施の形態では，特定の物体と操作オブジェクト５０との位置関係に応じた操作オブジェクト５０の制御と，特定の物体の位置変化方向と操作オブジェクト５０の動作可能方向との間の角度に応じた操作オブジェクトの制御とを別々に説明した。特定の物体と操作オブジェクト５０との位置関係に応じた操作オブジェクト５０の制御と，特定の物体の位置変化方向と操作オブジェクト５０の動作可能方向との間の角度に応じた操作オブジェクトの制御とを合わせて実施することも可能である。
For example, in the present embodiment, the
また，本実施の形態では，操作オブジェクト５０が慣性で運動する例を説明したが，これに限るものではない。例えば，情報表示内容計算部１６が，ユーザの手４０の移動が操作オブジェクト５０に影響するか否かの２値判定をし，影響すると判定された場合に，作用部１５が，ユーザの手４０の位置をポイントしたカーソル６０の移動に同期させて，操作オブジェクト５０を動かすなどの実施も可能である。
In the present embodiment, an example in which the
１０ 操作制御装置
１１ 位置取得部
１２ 距離計算部
１３ 速度計算部
１４ 作用量算出部
１５ 作用部
１６ 情報表示内容計算部
１７ 情報表示部
１８ 情報記憶部
２０ 位置取得用装置
３０ 表示装置
DESCRIPTION OF
Claims (6)
前記位置取得部で取得した位置から，仮想空間内における前記特定の物体と操作オブジェクトとの間の距離を計算する距離計算部と，
前記仮想空間内での前記特定の物体の速さを計算する速度計算部と，
前記距離計算部と前記速度計算部の計算結果に従って，前記操作オブジェクトの運動への影響の大きさを定量的に示す作用量を算出する作用量算出部と，
前記作用量算出部の算出結果に従って，前記操作オブジェクトの運動を制御する作用部と，
前記操作オブジェクトの運動に従って，画面の表示内容を計算する情報表示内容計算部と，
前記情報表示内容計算部の計算結果に従って，情報を画面に表示する情報表示部とを備える
ことを特徴とする操作制御装置。 A position acquisition unit for acquiring the position of a specific object;
A distance calculation unit for calculating a distance between the specific object and the operation object in a virtual space from the position acquired by the position acquisition unit;
A speed calculator for calculating the speed of the specific object in the virtual space;
An action amount calculation unit that calculates an action amount that quantitatively indicates the magnitude of the influence on the motion of the operation object according to the calculation results of the distance calculation unit and the speed calculation unit;
An action unit for controlling movement of the operation object according to a calculation result of the action amount calculation unit;
An information display content calculation unit for calculating the display content of the screen according to the movement of the operation object;
An operation control apparatus comprising: an information display unit that displays information on a screen according to a calculation result of the information display content calculation unit.
ことを特徴とする請求項１に記載の操作制御装置。 The operation control device according to claim 1, wherein the action amount calculation unit decreases the action amount as the distance between the specific object and the operation object increases.
ことを特徴とする請求項１または請求項２に記載の操作制御装置。 The action amount calculation unit reduces the action amount as the angle between the position change direction of the specific object and the operable direction of the operation object is larger. The operation control device described.
ことを特徴とする請求項１から請求項３までのいずれかに記載の操作制御装置。 The operation unit controls the motion of the operation object according to a physical model represented by an equation including a frictional force accompanying a virtual motion of the operation object. The operation control apparatus in any one.
特定の物体の位置を取得し，
前記特定の物体の位置から，仮想空間内における前記特定の物体と操作オブジェクトとの間の距離を計算し，
前記仮想空間内での前記特定の物体の速さを計算し，
前記距離と前記速さの計算結果に従って，前記操作オブジェクトの運動への影響の大きさを定量的に示す作用量を算出し，
前記作用量の算出結果に従って，前記操作オブジェクトの運動を制御し，
前記操作オブジェクトの運動に従って，画面の表示内容を計算し，
前記画面の表示内容の計算結果に従って，情報を画面に表示する
処理を実行させるための操作制御プログラム。 Computer
Get the position of a specific object,
Calculating the distance between the specific object and the manipulation object in the virtual space from the position of the specific object;
Calculating the speed of the particular object in the virtual space;
According to the calculation result of the distance and the speed, an action amount that quantitatively indicates the magnitude of the influence on the motion of the operation object is calculated,
Control the movement of the operation object according to the calculation result of the action amount,
Calculate the display content of the screen according to the movement of the operation object,
An operation control program for executing a process of displaying information on the screen according to the calculation result of the display content of the screen.
特定の物体の位置を取得し，
前記特定の物体の位置から，仮想空間内における前記特定の物体と操作オブジェクトとの間の距離を計算し，
前記仮想空間内での前記特定の物体の速さを計算し，
前記距離と前記速さの計算結果に従って，前記操作オブジェクトの運動への影響の大きさを定量的に示す作用量を算出し，
前記作用量の算出結果に従って，前記操作オブジェクトの運動を制御し，
前記操作オブジェクトの運動に従って，画面の表示内容を計算し，
前記画面の表示内容の計算結果に従って，情報を画面に表示する過程を実行する
ことを特徴とする操作制御方法。 Computer
Get the position of a specific object,
Calculating the distance between the specific object and the manipulation object in the virtual space from the position of the specific object;
Calculating the speed of the particular object in the virtual space;
According to the calculation result of the distance and the speed, an action amount that quantitatively indicates the magnitude of the influence on the motion of the operation object is calculated,
Control the movement of the operation object according to the calculation result of the action amount,
Calculate the display content of the screen according to the movement of the operation object,
An operation control method comprising: executing a process of displaying information on a screen according to a calculation result of display content of the screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011023757A JP5724422B2 (en) | 2011-02-07 | 2011-02-07 | Operation control device, operation control program, and operation control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011023757A JP5724422B2 (en) | 2011-02-07 | 2011-02-07 | Operation control device, operation control program, and operation control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012164115A true JP2012164115A (en) | 2012-08-30 |
| JP5724422B2 JP5724422B2 (en) | 2015-05-27 |
Family
ID=46843451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011023757A Expired - Fee Related JP5724422B2 (en) | 2011-02-07 | 2011-02-07 | Operation control device, operation control program, and operation control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5724422B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015041868A (en) * | 2013-08-21 | 2015-03-02 | 株式会社Ｗｈｅｒｅ | Head-mounted image display device, detection method, detection program, and image display system |
| JP6244069B1 (en) * | 2017-04-17 | 2017-12-06 | 株式会社オプティム | Remote work support system, remote work support method, and program |
| JP2017224003A (en) * | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | Method, program, and storage medium for providing virtual space |
| JP2018032130A (en) * | 2016-08-23 | 2018-03-01 | 株式会社コロプラ | Method and device for supporting input in virtual space and program causing computer to execute the method |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
| JP2001250123A (en) * | 2000-03-06 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and unit for controlling virtual space and recording medium with recorded virtual space control program |
| JP2002116859A (en) * | 2000-10-11 | 2002-04-19 | Sony Corp | Information processor, instruction recognition processing method and program storage medium |
| JP2005031799A (en) * | 2003-07-08 | 2005-02-03 | Sony Computer Entertainment Inc | Control system and method |
| WO2008041313A1 (en) * | 2006-10-02 | 2008-04-10 | Pioneer Corporation | Image display device |
| JP2008146243A (en) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | Information processor, information processing method and program |
| JP2010250492A (en) * | 2009-04-14 | 2010-11-04 | Sony Corp | Information processing apparatus, information processing method, and information processing program |
| JP2010277197A (en) * | 2009-05-26 | 2010-12-09 | Sony Corp | Information processing device, information processing method, and program |
| JP2012043194A (en) * | 2010-08-19 | 2012-03-01 | Sony Corp | Information processor, information processing method, and program |
-
2011
- 2011-02-07 JP JP2011023757A patent/JP5724422B2/en not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08315154A (en) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Gesture recognition system |
| JP2001250123A (en) * | 2000-03-06 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and unit for controlling virtual space and recording medium with recorded virtual space control program |
| JP2002116859A (en) * | 2000-10-11 | 2002-04-19 | Sony Corp | Information processor, instruction recognition processing method and program storage medium |
| JP2005031799A (en) * | 2003-07-08 | 2005-02-03 | Sony Computer Entertainment Inc | Control system and method |
| WO2008041313A1 (en) * | 2006-10-02 | 2008-04-10 | Pioneer Corporation | Image display device |
| JP2008146243A (en) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | Information processor, information processing method and program |
| JP2010250492A (en) * | 2009-04-14 | 2010-11-04 | Sony Corp | Information processing apparatus, information processing method, and information processing program |
| JP2010277197A (en) * | 2009-05-26 | 2010-12-09 | Sony Corp | Information processing device, information processing method, and program |
| JP2012043194A (en) * | 2010-08-19 | 2012-03-01 | Sony Corp | Information processor, information processing method, and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015041868A (en) * | 2013-08-21 | 2015-03-02 | 株式会社Ｗｈｅｒｅ | Head-mounted image display device, detection method, detection program, and image display system |
| JP2017224003A (en) * | 2016-05-17 | 2017-12-21 | 株式会社コロプラ | Method, program, and storage medium for providing virtual space |
| JP2018032130A (en) * | 2016-08-23 | 2018-03-01 | 株式会社コロプラ | Method and device for supporting input in virtual space and program causing computer to execute the method |
| JP6244069B1 (en) * | 2017-04-17 | 2017-12-06 | 株式会社オプティム | Remote work support system, remote work support method, and program |
| WO2018193509A1 (en) * | 2017-04-17 | 2018-10-25 | 株式会社オプティム | Remote work supporting system, remote work supporting method, and program |
| US10591986B2 (en) | 2017-04-17 | 2020-03-17 | Optim Corporation | Remote work supporting system, remote work supporting method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5724422B2 (en) | 2015-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6633256B1 (en) | Generating virtual annotation surfaces by gestures in augmented and / or virtual reality environments | |
| US10509487B2 (en) | Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment | |
| CN109891368B (en) | Switching of moving objects in augmented and/or virtual reality environments | |
| US10545584B2 (en) | Virtual/augmented reality input device | |
| US9836146B2 (en) | Method of controlling virtual object or view point on two dimensional interactive display | |
| US9639186B2 (en) | Multi-touch interface gestures for keyboard and/or mouse inputs | |
| US9791918B2 (en) | Breath-sensitive digital interface | |
| US20130155108A1 (en) | Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture | |
| US20130314320A1 (en) | Method of controlling three-dimensional virtual cursor by using portable electronic device | |
| JP2018522310A (en) | Input via hand context-sensitive collision with objects in virtual reality | |
| WO2017156112A1 (en) | Contextual virtual reality interaction | |
| US20120284668A1 (en) | Systems and methods for interface management | |
| WO2019010337A1 (en) | Volumetric multi-selection interface for selecting multiple entities in 3d space | |
| US9891713B2 (en) | User input processing method and apparatus using vision sensor | |
| JP5724422B2 (en) | Operation control device, operation control program, and operation control method | |
| JP2013012158A (en) | Electronic apparatus and control method | |
| KR20230007515A (en) | Method and system for processing detected gestures on a display screen of a foldable device | |
| EP3076268A1 (en) | An operating system, wearable device, and operation method | |
| US20240053832A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
| Luo et al. | Camera-based selection with cardboard head-mounted displays | |
| Chen et al. | An integrated framework for universal motion control | |
| Nguyen et al. | Direct manipulation video navigation on touch screens | |
| Dupré et al. | TriPad: Touch Input in AR on Ordinary Surfaces with Hand Tracking Only | |
| WO2016099559A1 (en) | 3d navigation mode | |
| Pietroszek | 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131106 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5724422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |