JP5724422B2 - 操作制御装置，操作制御プログラムおよび操作制御方法 - Google Patents

Description

本発明は，情報機器への操作に対する制御を行う操作制御装置，操作制御プログラムおよび操作制御方法に関するものである。

例えばパーソナルコンピュータやテレビジョン，携帯端末などの情報機器において，ユーザが画面やコンピュータから離れて操作する際のユーザインタフェースとして，ユーザが身振り・手振りによって操作を行う空間ジェスチャ技術が提案されている。

なお，特許文献１において，画面のスクロールなど機器の送り操作を行うために，ユーザの送り動作と復帰動作とを区別する技術が知られている。この技術では，ユーザの現在の運動が高速運動であると検出されたとき，現在の高速運動と直前の高速運動とによって判定している。

また，特許文献２において円運動などの周期動作の身振りによって，画面上の項目選択が可能となる技術が知られている。この技術では，ユーザが周期動作を高速に行うと，画面上の選択項目が高速に切り替えられる。

また，特許文献３において距離画像で距離が極小かつ時間差分の変化の生じた点を指示点として検出して，画面上でのポインティング制御を行う技術が知られている。また，特許文献４において画像の速度ベクトルを用いて，ノイズに影響されないジェスチャ認識を行う技術が知られている。また，特許文献５においてユーザの首振り動作による入力を可能とする技術が知られている。

特開２０１０−１８２０１４号公報 特開２０１０−０７９８４８号公報 特開平０７−３３４２９９号公報 特開２００４−１９２１５０号公報 特開平１０−１０５３１０号公報

上記の技術では，ユーザが，ポインティングの操作と切り分けながら，連続的なスクロール，ズームなどの画面操作を行うことが困難であった。

例えば，上記のユーザが高速に手を動かしたときに画面のスクロール制御を行う技術では，手の高速な動作がスクロール操作となるため，ユーザは，手の速さを変えるなどの直感的な操作で，スクロールの速さを連続的に調整することができない。また，例えば，上記の周期動作の身振りによって画面上の項目を選択する技術は，ポインティングや他のジェスチャとの切り分けに関して考慮がなされていない。

このように，ユーザの直感的なジェスチャ操作が，スクロールやズームなどの連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることは，困難である。

一側面では，本発明は，ユーザの直感的なジェスチャ操作が，連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることが可能となる技術を提供することを目的とする。

１態様では，操作制御装置は，特定の物体の位置を取得する位置取得部と，位置取得部で取得した位置から仮想空間内における特定の物体と操作オブジェクトとの間の距離を計算する距離計算部と，仮想空間内での特定の物体の速さを計算する速度計算部と，距離計算部と速度計算部の計算結果に従って操作オブジェクトの運動への影響の大きさを定量的に示す作用量を，特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度が大きいほど小さくなるように，算出する作用量算出部と，作用量算出部の算出結果に従って操作オブジェクトの運動を制御する作用部と，操作オブジェクトの運動に従って画面の表示内容を計算する情報表示内容計算部と，情報表示内容計算部の計算結果に従って情報を画面に表示する情報表示部とを備える。

１態様では，ユーザの直感的なジェスチャ操作が，連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることが可能となる。

本実施の形態による操作制御装置の構成例を示す図である。 本実施の形態による操作制御装置を実現するハードウェアの構成例を示す図である。 本実施の形態によるユーザのジェスチャ操作の例を示す図である。 本実施の形態による空間座標系の例を示す図である。 本実施の形態によるユーザのジェスチャ操作に応じた操作オブジェクトの動作の一例を説明する図である。 本実施の形態によるユーザのジェスチャ操作に応じた操作オブジェクトの動作の一例を説明する図である。 本実施の形態による特定の物体と操作オブジェクトとの位置関係に応じて作用量を変える例を説明する図である。 本実施の形態の操作制御装置による操作オブジェクト制御処理フローチャートである。 本実施の形態の操作制御装置による画面制御処理フローチャートである。 本実施の形態によるユーザのジェスチャ操作の例を示す図である。 操作オブジェクトの運動を摩擦力を考慮した物理モデルから求める例を説明する図である。 本実施の形態による特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度に応じて作用量を変える例を説明する図である。

以下，本実施の形態について，図を用いて説明する。

図１は，本実施の形態による操作制御装置の構成例を示す図である。

図１に示す操作制御装置１０は，ユーザが画面から離れてジェスチャによって画面操作を行う際に，そのユーザのジェスチャ操作を認識し，画面を制御する。ジェスチャとは，３次元空間中で，手や頭などの身体の一部を動かすことを指す。ユーザのジェスチャ操作には，画面上の位置を指示するポインティングの操作や，連続的な操作などがある。連続的な操作としては，例えば，画面に表示された情報のスクロール操作やズーム操作，動画の再生位置の指定操作，連続的なスライドの切り替え操作など，様々な操作がある。

図１に示す操作制御装置１０は，連続的な操作に関する制御の実現に関わる機能部として，位置取得部１１，距離計算部１２，速度計算部１３，作用量算出部１４，作用部１５，情報表示内容計算部１６，情報表示部１７，情報記憶部１８を備える。本実施の形態では，操作制御装置１０が備える各機能部は，ソフトウェアで実現されるものとするが，等価な働きをするハードウェアで実現されてもよい。なお，操作制御装置１０は，ポインティングの操作に関する制御を実現する機能部も備えているが，図１の例では記載が省略されている。

また，操作制御装置１０には，位置取得用装置２０，表示装置３０が接続される。位置取得用装置２０は，特定の物体の位置を取得するために使用する装置である。表示装置３０は，情報を画面に表示する装置である。

本実施の形態による操作制御装置１０の本質部分は，図１に示す操作制御装置１０内の主にソフトウェアによって実現される各機能部であり，ハードウェアの機構に関しては特定のものに依存しない。

例えば，位置取得用装置２０は，特定の物体の位置として，ジェスチャ操作を行うユーザの身体の一部の位置を得るための情報が取得できるものであればよい。位置取得用装置２０としては，例えば，距離センサや単眼カメラ，ステレオカメラなどと，物体トラッキング装置とを組み合わせたものが考えられる。また，位置取得用装置２０が，ジャイロセンサ，加速度センサ，超音波などを用いて位置取得が可能な，ユーザが身体に装着する端末機器を含む装置などであってもよい。

例えば，表示装置３０は，後述する操作オブジェクトを，ユーザが画面で視認できるものであればよい。表示装置３０としては，例えば，一般的な市場で入手できる家庭用ＰＣ（Personal computer ）のモニタや，テレビジョン，プロジェクタ，携帯端末の液晶画面，ＨＭＤ（Head Mounted Display）などが考えられる。

操作制御装置１０において，位置取得部１１は，特定の物体の位置を取得する。特定の物体は，例えば，ジェスチャ操作を行うユーザの身体の一部や，ジェスチャ操作を行うユーザの身体に装着された位置取得用の端末機器などである。位置取得部１１は，位置取得用装置２０からの入力情報をもとに，特定の物体の位置の取得を行う。

距離計算部１２は，位置取得部１１で取得した位置から，仮想空間内における特定の物体と操作オブジェクトとの間の距離を計算する。本実施の形態において，操作制御装置１０は，３次元空間を想定し，特定の物体と操作オブジェクトとの位置関係を把握する。

操作オブジェクトは，ユーザが表示装置３０の画面に表示された操作対象の情報に対して連続的な操作を行いたいときに，ユーザがジェスチャ操作する表示装置３０の画面に表示されたオブジェクトである。操作オブジェクトは，ユーザのジェスチャ操作に対して，連続的な動作を行う。操作オブジェクトとしては，板状のスクロールバー等の連続的な平行移動を行うオブジェクトや，車輪や球等の連続的な回転を行うオブジェクトなど，様々なオブジェクトが考えられる。

距離計算部１２は，特定の物体の位置を，位置取得部１１から取得する。距離計算部１２は，操作オブジェクトの位置を，例えば作用部１５から取得する。距離計算部１２は，特定の物体の位置と操作オブジェクトの位置とから，仮想空間内における特定の物体と操作オブジェクトとの間の距離を計算する。

速度計算部１３は，仮想空間内での特定の物体の速さを計算する。速度計算部１３は，例えば，特定の物体の位置を位置取得部１１から取得すると，そのとき取得された特定の物体の位置と，前のタイミングで取得された特定の物体の位置とから，特定の物体の移動速度を計算する。このとき，速度計算部１３が，特定の物体の移動速度に，特定の物体の移動方向も含めた速度ベクトルを求めるようにしてもよい。

作用量算出部１４は，距離計算部１２と速度計算部１３の計算結果に従って，操作オブジェクトの運動への影響の大きさを定量的に示す作用量を算出する。本実施の形態では，ユーザは，ジェスチャ操作による直感的な操作で，画面上の操作オブジェクトを操作する。作用量算出部１４は，ユーザによるジェスチャ操作を表している特定の物体の移動が，操作オブジェクトに対してどのような影響を与えるかを，定量的に求める。本実施の形態において，作用量は，特定の物体の移動が操作オブジェクトの運動に及ぼす影響の大きさを定量的に表したものである。

なお，作用量算出部１４が，特定の物体と操作オブジェクトとの間の距離が大きくなるほど，作用量が小さくなるように計算を行ってもよい。また，作用量算出部１４が，特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度が大きいほど，作用量を小さくなるように計算を行ってもよい。

作用部１５は，作用量算出部１４の算出結果に従って，操作オブジェクトの運動を制御する。このとき，作用部１５が，操作オブジェクトの仮想的な動作に伴う摩擦力を含む式によって表される物理モデルに従って，操作オブジェクトの運動を制御するようにしてもよい。

なお，作用量算出部１４が作用量を求める際の計算や，作用部１５が操作オブジェクトの運動を求める際の計算などの設計は，任意である。例えば，ユーザが直接に操作オブジェクトに触れて操作することを想定した物理モデルに従った式を理論的に求めて使用するようにしてもよい。また，様々な式を用いた実験の結果から，適切と考えられる式を選んで使用するようにしてもよい。

情報表示内容計算部１６は，操作オブジェクトの運動に従って，画面の表示内容を計算する。例えば，操作対象の情報が文書であり，連続的な操作がスクロール操作であり，操作オブジェクトがスクロールバーであるものとする。このとき，情報表示内容計算部１６は，スクロールバーの移動量に従って，文書のスクロール量を計算する。例えば，情報表示内容計算部１６は，スクロールバーの移動量を定数倍した量を，文書のスクロール量とする。

情報表示部１７は，情報表示内容計算部１６の計算結果に従って，情報を画面に表示する。例えば，上述の文書のスクロールの例において，情報表示部１７は，表示装置３０の画面に表示された文書について，そのとき表示されている部分から，情報表示内容計算部１６で計算されたスクロール量だけスクロールした部分を表示する。

情報表示部１７は，文章，動画，画像，リスト等の情報を，表示装置３０の画面に表示する。ここでは，表示装置３０の画面に表示する情報は，情報記憶部１８に記憶されているものとする。情報記憶部１８は，情報を記憶する，コンピュータがアクセス可能な記憶部である。

情報表示部１７は，表示装置３０の画面に操作オブジェクトを表示する。このとき，情報表示部１７は，操作オブジェクトを，操作対象の情報に重畳して表示するようにしてもよいし，操作対象の情報の周辺に表示するようにしてもよい。また，情報表示部１７は，操作オブジェクトを，常に表示するようにしてもよいし，連続的な操作を行うときにだけ表示するようにしてもよい。

図２は，本実施の形態による操作制御装置を実現するハードウェアの構成例を示す図である。

図１に示す本実施の形態の操作制御装置１０は，例えば，ＣＰＵ（Central Processing Unit ）２，主記憶となるメモリ３，記憶装置４，通信装置５，媒体読取・書込装置６，入力装置７，出力装置８等を備えるコンピュータ１によって実現される。記憶装置４は，例えばＨＤＤ（Hard Disk Drive ）などである。媒体読取・書込装置６は，例えばＣＤ−Ｒ（Compact Disc Recordable ）ドライブやＤＶＤ−Ｒ（Digital Versatile Disc Recordable ）ドライブなどである。入力装置７は，例えばキーボード・マウス等の機器や，カメラ・センサ等の位置取得用装置２０などである。出力装置８は，例えばディスプレイ等の表示装置３０などである。

図１に示す操作制御装置１０および操作制御装置１０が備える各機能部は，コンピュータ１が備えるＣＰＵ２，メモリ３等のハードウェアと，ソフトウェアプログラムとによって実現することが可能である。コンピュータ１が実行可能なプログラムは，記憶装置４に記憶され，その実行時にメモリ３に読み出され，ＣＰＵ２により実行される。

コンピュータ１は，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。また，コンピュータ１は，サーバコンピュータからプログラムが転送されるごとに，逐次，受け取ったプログラムに従った処理を実行することもできる。さらに，このプログラムは，コンピュータ１で読み取り可能な記録媒体に記録しておくことができる。

以下では，本実施の形態によるユーザのジェスチャ操作に応じた操作制御装置１０の処理について，より具体的な例を用いて説明する。

図３は，本実施の形態によるユーザのジェスチャ操作の例を示す図である。

図３（Ａ）は，ユーザがハンドジェスチャで表示装置３０の画面３１の操作を行う例を示している。ハンドジェスチャでは，ユーザの手４０が特定の物体となり，ユーザの手４０の動作がジェスチャ操作となる。以下では，ハンドジェスチャを例として，本実施の形態によるジェスチャ操作の例を説明する。なお，ジェスチャ操作はハンドジェスチャによる操作に限らず，頭などユーザの手４０以外の身体部位の動作をジェスチャ操作としてもよい。

図３（Ａ）に示す例では，距離センサ等の位置取得用装置２０は，表示装置３０の上部に設置され，ユーザの手４０の位置を取得する。以下では，位置取得用装置２０として距離センサ等を用いて，ユーザの手４０を直接に認識して位置の取得を行うものとする。なお，ユーザの手４０に位置取得用の端末機器を装着し，その端末機器を用いて間接的にユーザの手４０の位置の取得を行うようにしてもよい。

なお，図３（Ａ）では，図１に示す操作制御装置１０を実現するコンピュータの記載を省略しているが，位置取得用装置２０，表示装置３０は，図示省略された操作制御装置１０を実現するコンピュータに接続されて動作しているものとする。

図３（Ａ）に示す例において，表示装置３０の画面３１には，操作対象の情報として，リストビュー７０が表示されている。図３（Ａ）に示すリストビュー７０では，一度にすべての“item”を画面３１に表示することができない。そのため，ユーザは，表示されていない“item”を画面３１に表示したい場合には，リストビュー７０を上下方向にスクロールする必要がある。

図３（Ａ）に示す例において，画面３１上のカーソル６０は，ユーザの手４０によるポインティングの操作でユーザが指示した画面３１上の位置を示す。このようなユーザの手４０の位置に応じた画面３１上のポインティングに関する処理は，ユーザの手４０による連続的な操作の有無に関わらず，常時行われている。

図３（Ａ）に示す例において，操作オブジェクト５０は，ユーザにジェスチャ操作でリストビュー７０のスクロール操作を行わせるために，画面３１に表示された操作オブジェクト５０である。図３（Ａ）に示す例では，操作オブジェクト５０の動作と，リストビュー７０のスクロール動作とが連動している。

図３（Ｂ）は，図３（Ａ）の画面３１に表示された操作オブジェクト５０の動作を示す。図３に示す操作オブジェクト５０は，３次元の仮想空間で動作する車輪型の回転体である。図３（Ｂ）に示すように，この操作オブジェクト５０の動作は，軸を中心とした車輪の回転となる。

図３（Ａ）において，ユーザは，画面３１に向かって，操作オブジェクト５０を回転させるハンドジェスチャを行う。操作制御装置１０は，ユーザの手４０の動きを認識し，ユーザの手４０の動きに応じて，操作オブジェクト５０を回転させる。操作制御装置１０は，操作オブジェクト５０の回転に対応させて，画面３１上のリストビュー７０をスクロールする。ユーザは，画面３１から離れた場所で，画面３１上の車輪型の操作オブジェクト５０を回転させるように手４０を動かすことで，リストビュー７０をスクロールすることができる。

図４は，本実施の形態による空間座標系の例を示す図である。

本実施の形態では，例えば，図４に示すように３次元空間の座標系が設定されるものとする。図４に示す座標系では，画面３１の左上隅に原点が設定されている。図４に示す座標系では，画面３１の法線方向にｚ軸が設定されており，ｚ軸は画面３１からユーザに向かう方向が正となっている。また，画面３１の平面の水平方向にｘ軸，垂直方向にｙ軸が設定されている。ｘ軸は，画面３１の左上隅の原点から右方向が正となっており，ｙ軸は，画面３１の左上隅の原点から下方向が正となっている。

図４に示す例では，操作オブジェクト５０は，画面３１の平面上すなわちｘｙ平面上に設定されている。図４に示す例において，ハッチングされた領域が，画面３１上の操作オブジェクト５０の領域である。

操作制御装置１０において，位置取得部１１は，適宜，ユーザの手４０の座標（ｘ₁ ，ｙ₁ ，ｚ₁ ）を取得する。

距離計算部１２は，設定された３次元空間において，取得されたユーザの手４０の座標（ｘ₁ ，ｙ₁ ，ｚ₁ ）と，画面３１に表示された操作オブジェクト５０の座標（ｘ₂ ，ｙ₂ ，ｚ₂ ）とから，ユーザの手４０と操作オブジェクト５０との間の距離ｄを計算する。操作オブジェクト５０の座標は，例えば，画面３１における操作オブジェクト５０の表示領域の重心位置の座標である。なお，図４に示す例では，操作オブジェクト５０が，ｘｙ平面上に設定されているので，ｚ₂ ＝０となる。

速度計算部１３は，例えば，取得されたユーザの手４０の座標と，前のタイミングで取得されたユーザの手４０の座標とから，ユーザの手４０の移動速度ｖ₁ を計算する。取得された２つの座標から得られるユーザの手４０の移動距離を，２つの座標の取得時間間隔で割ることにより，ユーザの手４０の移動速度ｖ₁ が得られる。このとき，速度計算部１３が，ユーザの手４０の移動速度に，ユーザの手４０の移動方向も含めた速度ベクトルを求めてもよい。速度ベクトルは，例えば，取得された２つの座標の差分を，２つの座標の取得時間間隔で割ることにより得られる。

図５，図６は，本実施の形態によるユーザのジェスチャ操作に応じた操作オブジェクトの動作の一例を説明する図である。

図５，図６において，ハッチングされた矢印や円は，ユーザの手４０の位置を，画面３１上にポインティングした軌跡を示している。カーソル６０は，画面３１上にポインティングされたユーザの手４０の位置を示している。なお，図５，図６では省略されているが，画面３１には，操作対象の情報として図３（Ａ）に示すリストビュー７０が表示されているものとする。

図５（Ａ）に示す例は，ユーザが，手４０を前に出してカーソル６０を操作オブジェクト５０の車輪に合わせて，垂直下方向に手４０を移動させた場合の例である。このとき，操作制御装置１０は，ユーザの手４０の移動で操作オブジェクト５０の車輪の表面に下方向の力が加わったものと判断し，ユーザの手４０の移動に合わせて，車輪型の操作オブジェクト５０を下に回転させる。例えば，操作制御装置１０は，ユーザの手４０の移動速度が遅い場合には，車輪型の操作オブジェクト５０をゆっくりと回転させ，ユーザの手４０の移動速度が速い場合には，車輪型の操作オブジェクト５０を速く回転させる。操作制御装置１０は，操作オブジェクト５０の車輪の回転速度に応じた速さで，リストビュー７０を下方向にスクロールする。

図５（Ｂ）に示す例は，ユーザが，手４０を前に出してカーソル６０を操作オブジェクト５０の車輪に合わせて，手４０を止めた場合の例である。このとき，操作制御装置１０は，ユーザの手４０が車輪の回転を止める動作を行ったと判断し，車輪型の操作オブジェクト５０の回転を止める。操作制御装置１０は，操作オブジェクト５０の車輪の回転停止に応じて，リストビュー７０のスクロールを停止する。

なお，本実施の形態の例では，操作オブジェクト５０は，ユーザのジェスチャ操作に応じて運動し，停止のジェスチャ操作がなければ，ジェスチャ操作が行われていないときでも，徐々に減速しながら慣性で運動を続けるものとする。ユーザのジェスチャ操作に応じて操作オブジェクト５０が運動し，ユーザのジェスチャ操作が終わったときに操作オブジェクト５０が停止するように設計がなされてもよい。

図６（Ａ）に示す例は，画面３１上でユーザの手４０の位置を示すカーソル６０が操作オブジェクト５０の車輪から外れている状態で，ユーザの手４０が垂直下方向に移動した場合の例である。このとき，操作制御装置１０は，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判断する。操作制御装置１０は，ユーザの手４０の移動に応じてカーソル６０を移動するポインティングの処理のみを行い，操作オブジェクトの運動にユーザの手４０の動作による影響を加味しない。

例えば，操作制御装置１０は，画面３１上でユーザの手４０の位置を示すカーソル６０の位置が，画面３１内の操作オブジェクト５０の領域上にない場合に，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判定する。このとき，作用量算出部１４は，操作オブジェクト５０の運動への影響の大きさを定量的に示す作用量を０とする。

図６（Ｂ）に示す例は，ユーザが，手４０を画面から所定以上離した状態で，垂直下方向に手４０を移動させた場合の例である。このとき，操作制御装置１０は，カーソル６０が操作オブジェクト５０の車輪の位置に合っていても，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判断する。操作制御装置１０は，ユーザの手４０の移動に応じてカーソル６０を移動するポインティングの処理のみを行い，操作オブジェクト５０の運動にユーザの手４０の動作による影響を加味しない。

例えば，操作制御装置１０は，ユーザの手４０と操作オブジェクト５０との間の距離ｄが，所定の距離の閾値ｄ_th以上である場合に，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判定する。このとき，作用量算出部１４は，操作オブジェクト５０の運動への影響の大きさを定量的に示す作用量を０とする。

ユーザの手４０が操作オブジェクト５０から離れ過ぎている場合には，ユーザが操作オブジェクト５０への操作を意図していない可能性がある。操作制御装置１０は，ユーザの手４０などの特定の物体と操作オブジェクト５０との間の距離で，ユーザのジェスチャ操作が連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分ける。

図６（Ｃ）に示す例は，ユーザが，操作オブジェクト５０の動作可能な方向に対して，所定以上の角度で手４０を移動させた場合の例である。このとき，操作制御装置１０は，カーソル６０が操作オブジェクト５０の車輪の位置に合っていても，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判断する。操作制御装置１０は，ユーザの手４０の移動に応じてカーソル６０を移動するポインティングの処理のみを行い，操作オブジェクト５０の運動にユーザの手４０の動作による影響を加味しない。

例えば，図６（Ｃ）において，操作オブジェクト５０の車輪は，垂直下方向に回転しているものとする。また，操作オブジェクト５０の車輪は，動作方向の反対側すなわち垂直上方向に回転可能である。操作制御装置１０は，ユーザの手４０の移動方向と操作オブジェクト５０の動作方向との間の角度｜θ｜が所定の角度の閾値θ_th以上，かつ｜１８０°−θ｜がθ_th以上である場合に，ユーザのジェスチャ操作が操作オブジェクト５０の車輪を回転させる操作ではないと判定する。このとき，作用量算出部１４は，操作オブジェクト５０の運動への影響の大きさを定量的に示す作用量を０とする。

ユーザの手４０の移動方向が操作オブジェクト５０の動作可能な方向と大きくずれている場合には，ユーザが操作オブジェクト５０への操作を意図していない可能性がある。操作制御装置１０は，ユーザの手４０などの特定の物体と操作オブジェクト５０の動作可能方向との間の角度で，ユーザのジェスチャ操作が連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分ける。

図７は，本実施の形態による特定の物体と操作オブジェクトとの位置関係に応じて作用量を変える例を説明する図である。

図６（Ｂ）の例で説明したように距離の閾値ｄ_thで作用量を判定する以外に，特定の物体と操作オブジェクト５０との位置関係に応じて，作用量が変わるように設計することも可能である。

図７（Ａ）は，画面３１上で，ユーザの手４０の位置を示すカーソル６０が，車輪型の操作オブジェクト５０の中心から離れているほど，操作オブジェクト５０に対するユーザの手４０の影響量が小さくなる例を示している。また，図７（Ｂ）は，３次元の空間において，ユーザの手４０の位置が，車輪型の操作オブジェクト５０の中心から離れているほど，操作オブジェクト５０に対するユーザの手４０の影響量が小さくなる例を示している。

図７に示すように，特定の物体と操作オブジェクト５０との位置関係に応じて，ユーザのジェスチャ操作が操作オブジェクト５０の回転運動に及ぼす影響量を変化させることも可能である。以下では，所定の分布関数を用いて，ユーザの手４０と車輪型の操作オブジェクト５０との位置関係に応じた作用量を求め，操作オブジェクト５０の回転運動を制御する例を説明する。

操作制御装置１０において，作用部１５は，例えば，車輪型の操作オブジェクト５０の回転運動を，次の式（１）に従って制御するものとする。

ａ₂ ＝ｋ（ｘ₃ ，ｙ₃ ，ｚ₃ ）・（（１／ｒ）・ｖ_1y−ｖ₂ ）−ｃｖ₂
・・・（１）
式（１）において，ａ₂ は，操作オブジェクト５０の回転の角加速度である。ｖ₂ は，操作オブジェクト５０の動作速度，すなわち回転体の例では操作オブジェクト５０の回転の角速度である。ｖ_1yは，ユーザの手４０のｙ軸方向の移動速度である。ｒは，回転の半径を示す定数である。ｃは，定数である。ｋ（ｘ₃ ，ｙ₃ ，ｚ₃ ）は，操作オブジェクト５０の位置に対するユーザの手４０の相対位置（ｘ₃ ，ｙ₃ ，ｚ₃ ）が，操作オブジェクト５０の回転運動に及ぼす影響の大きさを示す作用量である。

式（１）を用いた制御では，作用部１５は，ユーザの手４０の位置とｙ軸方向の移動速度とに応じて操作オブジェクト５０の回転運動を変化させ，ユーザのジェスチャ操作がない場合には，操作オブジェクト５０の回転運動を徐々に減衰させる。

作用量算出部１４は，例えば，次の式（２）から，ｋ（ｘ₃ ，ｙ₃ ，ｚ₃ ）を算出する。

ｋ（ｘ₃ ，ｙ₃ ，ｚ₃ ）＝ｋ₀ ・ｅｘｐ｛−（１／２）
・（ｘ₃ ² ／ｐ² ＋ｙ₃ ² ／ｑ² ＋ｚ₃ ² ／ｓ² ）｝ ・・・（２）
式（２）において，（ｘ₃ ，ｙ₃ ，ｚ₃ ）は，操作オブジェクト５０の位置（ｘ₂ ，ｙ₂ ，ｚ₂ ）に対するユーザの手４０の位置（ｘ₁ ，ｙ₁ ，ｚ₁ ）の相対位置を示している。すなわち，ｘ₃ ＝ｘ₁ −ｘ₂ ，ｙ₃ ＝ｙ₁ −ｙ₂ ，ｚ₃ ＝ｚ₁ −ｚ₂ となる。ｋ₀ ，ｐ，ｑ，ｓは，定数である。

なお，式（１），式（２）において，定数は，理論的に決定してもよいし，実験的に決定してもよい。例えば，式（２）において，各定数ｋ₀ ，ｐ，ｑ，ｓの値を変更しながら，ジェスチャ操作で操作オブジェクト５０を回転させる実験を行い，最も直感的な操作ができたと考えられる定数の組合せを採用するようにしてもよい。

このように，ユーザの手４０と車輪型の操作オブジェクト５０との位置関係に応じて，操作オブジェクト５０の回転運動に与える影響の大きさを変えることで，ユーザの誤操作の影響を，少なくすることが可能となる。例えば，ユーザの手４０の位置を示すカーソル６０が，回転体の操作オブジェクト５０の中心から離れているほど，ユーザのジェスチャ操作が，操作オブジェクト５０に対する操作でない可能性が高いものと推定できる。また，３次元の空間において，ユーザの手４０の位置が回転体の操作オブジェクト５０の中心から離れているほど，ユーザのジェスチャ操作が，操作オブジェクト５０に対する操作でない可能性が高いものと推定できる。

また，ユーザの手４０と車輪型の操作オブジェクト５０との位置関係に応じて，操作オブジェクト５０の回転運動に与える影響の大きさを変えることで，ユーザが操作オブジェクトの回転速度を調整しやすくなる。例えば，操作オブジェクト５０を速く回転させたいときには，画面３１上の操作オブジェクト５０に手４０を近づけて操作を行い，操作オブジェクト５０をゆっくりと回転させたいときには，画面３１上の操作オブジェクト５０から手４０を離して操作を行う，といった調整が可能となる。

図８は，本実施の形態の操作制御装置による操作オブジェクト制御処理フローチャートである。

図８に示すフローチャートは，ユーザによるジェスチャ操作の認識から，ユーザによるジェスチャ操作の影響を含めた操作オブジェクトの運動の制御までの処理の一例を示している。

位置取得部１１は，ユーザの手４０の位置を取得する（ステップＳ１０）。作用量算出部１４は，画面３１上でユーザの手４０の位置をポイントしたカーソル６０が操作オブジェクト５０の領域内にあるかを判定する（ステップＳ１１）。

カーソル６０が操作オブジェクト５０の領域内になければ（ステップＳ１１のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０が画面３１上の操作オブジェクト５０を指し示していない場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。

カーソル６０が操作オブジェクト５０の領域内にあれば（ステップＳ１１のＹＥＳ），距離計算部１２は，ユーザの手４０と操作オブジェクト５０との間の距離ｄを計算する（ステップＳ１２）。作用量算出部１４は，距離ｄが所定の距離の閾値ｄ_th未満であるかを判定する（ステップＳ１３）。

距離ｄが所定の距離の閾値ｄ_th未満でなければ（ステップＳ１３のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０と操作オブジェクト５０との間の距離が離れすぎている場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。

ユーザの手４０と操作オブジェクト５０との間の距離ｄが所定の距離の閾値ｄ_th未満であれば（ステップＳ１３のＹＥＳ），速度計算部１３は，ユーザの手４０の移動速度ｖ₁ を計算する（ステップＳ１４）。ここでは，速度計算部１３は，ユーザの手４０の移動速度ｖ₁ とともに，ユーザの手４０の移動方向も求めるものとする。

作用量算出部１４は，ユーザの手４０の移動方向と操作オブジェクト５０の動作方向との間の角度θを計算する（ステップＳ１５）。作用量算出部１４は，角度θまたは角度１８０°−θが所定の角度の閾値θ_th未満であるかを判定する（ステップＳ１６）。

角度θまたは角度１８０°−θが所定の角度の閾値θ_th未満でなければ（ステップＳ１６のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０の移動方向と操作オブジェクト５０の動作可能方向との間の角度が大き過ぎる場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。

角度θまたは角度１８０°−θが所定の角度の閾値θ_th未満であれば（ステップＳ１６のＹＥＳ），作用量算出部１４は，ユーザの手４０の移動速度ｖ₁ が所定の最小速度ｖ_min と所定の最大速度ｖ_max との間の値であるかを判定する（ステップＳ１７）。

ユーザの手４０の移動速度ｖ₁ が所定の最小速度ｖ_min と所定の最大速度ｖ_max との間の値でなければ（ステップＳ１７のＮＯ），作用量算出部１４は，作用量を０とする（ステップＳ１８）。操作制御装置１０は，ユーザの手４０の移動速度が極端に遅い場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。また，操作制御装置１０は，ユーザの手４０の移動速度が極端に速い場合には，ユーザのジェスチャ操作が操作オブジェクト５０に対する操作ではないとする。なお，ユーザの手４０の移動速度が極端に遅い場合に，図５（Ｂ）に示すように，ユーザのジェスチャ操作が操作オブジェクト５０の停止操作であると判断するようにしてもよい。

ユーザの手４０の移動速度ｖ₁ が所定の最小速度ｖ_min と所定の最大速度ｖ_max との間の値であれば（ステップＳ１７のＹＥＳ），作用量算出部１４は，作用量を算出する（ステップＳ１９）。ここでは，作用量算出部１４は，例えば上記の式（２）によって，作用量を算出する。

作用部１５は，操作オブジェクト５０の運動を制御する（ステップＳ２０）。このとき，作用部１５は，作用量算出部１４により求められた作用量を用いて，例えば上記の式（１）によって，操作オブジェクト５０の運動を制御する。

操作制御装置１０は，ステップＳ１０に戻って，次に取得されるユーザの手４０の位置の処理に移る。

図９は，本実施の形態の操作制御装置による画面制御処理フローチャートである。

図９に示すフローチャートは，操作オブジェクト５０の運動に応じて画面３１上の操作対象の情報を更新する制御までの処理の一例を示している。

情報表示内容計算部１６は，操作オブジェクト５０が動いているか否かを監視する（ステップＳ３０）。

操作オブジェクト５０が動いている場合には（ステップＳ３０のＹＥＳ），情報表示内容計算部１６は，操作オブジェクト５０の運動に従って，画面３１の表示内容を計算する（ステップＳ３１）。例えば，情報表示内容計算部１６は，車輪型の操作オブジェクト５０の回転速度に応じたリストビュー７０のスクロール量を計算する。

情報表示部１７は，情報表示内容計算部１６の計算結果に従って，表示装置３０が画面３１の表示内容を更新する（ステップＳ３２）。例えば，情報表示部１７は，情報表示内容計算部１６により求められたスクロール量だけ，表示装置３０の画面３１に表示されたリストビュー７０をスクロールする。

操作制御装置１０は，ステップＳ３０〜ステップＳ３２に示す，操作オブジェクト５０の運動に従った画面３１上の操作対象の情報の更新を繰り返す。

ここまでは，主に車輪型の回転体の操作オブジェクト５０の例について説明した。操作オブジェクト５０は，車輪型の回転体の操作オブジェクト５０に限らない。以下では，平行移動する板状の操作オブジェクト５０の例を説明する。

図１０は，本実施の形態によるユーザのジェスチャ操作の例を示す図である。

図１０（Ａ）は，図３（Ａ）と同様に，ユーザがハンドジェスチャで表示装置３０の画面３１の操作を行う例を示している。図１０（Ａ）に示すように，距離センサ等の位置取得用装置２０が表示装置３０の上部に設置され，ユーザの手４０の位置が取得される。図１０（Ａ）に示す例において，画面３１上のカーソル６０は，ユーザの手４０によるポインティングの操作でユーザが指示した画面３１上の位置を示す。なお，図１０（Ａ）では，図１に示す操作制御装置１０を実現するコンピュータの記載を省略しているが，位置取得用装置２０，表示装置３０は，図示省略された操作制御装置１０を実現するコンピュータに接続されて動作しているものとする。

図１０（Ａ）に示す例において，表示装置３０の画面３１には，操作対象の情報として，写真画像を並べたアルバム７１が表示されている。図１０（Ａ）に示すアルバム７１では，一度にすべての画像を画面３１に表示することができない。そのため，ユーザは，表示されていない画像を画面３１に表示したい場合には，アルバム７１を左右方向にスクロールする必要がある。

図１０（Ａ）に示す例において，操作オブジェクト５０は，ユーザにジェスチャ操作でアルバム７１のスクロール操作を行わせるために，画面３１に表示された操作オブジェクト５０である。図１０（Ａ）に示す例では，操作オブジェクト５０の動作と，アルバム７１のスクロール動作とが連動している。

図１０（Ｂ）は，図１０（Ａ）の画面３１に表示された操作オブジェクト５０の動作を示す。図１０に示す操作オブジェクト５０は，３次元の仮想空間で動作する板状の移動体である。図１０（Ｂ）に示すように，この操作オブジェクト５０の動作は，ｘ軸方向の平行移動となる。

図１０（Ａ）において，ユーザは，画面３１に向かって，操作オブジェクト５０を平行移動させるハンドジェスチャを行う。操作制御装置１０は，ユーザの手４０の動きを認識し，ユーザの手４０の動きに応じて，操作オブジェクト５０を平行移動させる。操作制御装置１０は，操作オブジェクト５０の平行移動に対応させて，画面３１上のアルバム７１をスクロールする。ユーザは，画面３１から離れた場所で，画面３１上の板状の操作オブジェクト５０を平行移動させるように手４０を動かすことで，アルバム７１をスクロールすることができる。

ユーザのジェスチャ操作が板状の操作オブジェクト５０に与える影響の大きさを示す作用量を求め，操作オブジェクト５０の平行移動を制御する例を説明する。

図１１は，操作オブジェクトの運動を摩擦力を考慮した物理モデルから求める例を説明する図である。

図１１に示す物理モデルにおいて，物体α８１は，ユーザの手４０を表すモデルであり，物体β８２は，板状の操作オブジェクト５０を表すモデルである。ここでは，図１１に示すような，物体α８１の移動の影響を受けて物体β８２が平面８３上を移動する物理モデルに基づいて，作用部１５が操作オブジェクト５０の運動を制御する例を説明する。

図１１に示す物理モデルにおいて，ｍ₁ は物体α８１の重さを示し，ｍ₂ は物体β８２の重さを示す。ｇは，重力を示す。ｋ₁ は，物体α８１と物体β８２との間の摩擦を示す。ｋ₂ は，物体β８２と平面８３との間の摩擦を示す。

図１１に示すような物理モデルに基づく制御では，作用部１５は，例えば，板状の操作オブジェクト５０の平行移動を，次の式（３）に従って制御するものとする。

ａ₂ ＝（１／ｍ₂ ）｛ｋ₁ ・ｇ・ｍ₁ ・（ｖ_1x−ｖ₂ ）
−ｋ₂ ・ｇ・（ｍ₁ ＋ｍ₂ ）ｖ₂ ｝ ・・・（３） 式（３）において，ａ₂ は，操作オブジェクト５０の平行移動加速度である。ｖ₂ は，操作オブジェクト５０の平行移動速度である。ｖ_1xは，ユーザの手４０のｘ軸方向の移動速度である。ｇ，ｍ₁ ，ｍ₂ ，ｋ₂ は，定数となる。

ここで，操作制御装置１０は，図７（Ｂ）に示す車輪型の操作オブジェクト５０の例と同様に，ユーザの手４０と操作オブジェクト５０との位置関係に応じて，ユーザのジェスチャ操作が操作オブジェクト５０の平行移動の運動に及ぼす影響量を，変化させるものとする。式（３）において，ｋ₁ が，操作オブジェクト５０の位置に対するユーザの手４０の相対位置が，操作オブジェクト５０の平行移動の運動に及ぼす影響の大きさを示す作用量であるとする。なお，この例では，ｙ軸方向の位置関係の影響はないものとする。

このとき，式（３）を用いた制御は，ユーザの手４０の位置とｘ軸方向の移動速度とに応じて操作オブジェクト５０の平行移動の運動を変化させ，ユーザのジェスチャ操作がない場合には，操作オブジェクト５０の平行移動の運動を徐々に減衰させる制御となる。

作用量算出部１４は，例えば，次の式（４）から，ｋ₁ を算出する。

ｋ₁ ＝ｋ₀ ・ｅｘｐ｛−（１／２）・（ｘ₃ ² ／ｐ² ＋ｚ₃ ² ／ｑ² ）｝
・・・（４）
式（４）において，（ｘ₃ ，ｚ₃ ）は，ｙ軸方向を除く操作オブジェクト５０の位置（ｘ₂ ，ｚ₂ ）に対するユーザの手４０の位置（ｘ₁ ，ｚ₁ ）の相対位置を示している。すなわち，ｘ₃ ＝ｘ₁ −ｘ₂ ，ｚ₃ ＝ｚ₁ −ｚ₂ となる。ｋ₀ ，ｐ，ｑは，定数である。

なお，式（３），式（４）において，定数は，理論的に決定してもよいし，実験的に決定してもよい。例えば，式（４）において，各定数ｋ₀ ，ｐ，ｑの値を変更しながら，ジェスチャ操作で操作オブジェクト５０を平行移動させる実験を行い，最も直感的な操作ができたと考えられる定数の組合せを採用するようにしてもよい。

なお，図５，図６に示すユーザのジェスチャ操作に応じた操作オブジェクトの動作の例については，平行移動する板状の操作オブジェクト５０の場合でも，同様であるものとする。

このように，操作オブジェクト５０の仮想的な動作に伴う摩擦力を考慮した物理モデルに従って操作オブジェクト５０の運動を制御することにより，ユーザは，実際に操作オブジェクト５０を手４０で動かす感覚で，ジェスチャ操作を行うことができる。

図１２は，本実施の形態による特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度に応じて作用量を変える例を説明する図である。

図６（Ｃ）の例で説明したように角度の閾値θ_thで作用量を判定する以外に，特定の物体の位置変化方向と操作オブジェクトの動作可能方向との間の角度に応じて，作用量が変わるように設計することも可能である。

図１２は，ユーザの手４０の移動方向と，ｘ軸と平行に動作する板状の操作オブジェクト５０の動作可能方向との間の角度θが大きくなるほど，操作オブジェクト５０に対するユーザの手４０の影響量が小さくなる例を示している。図１２において，手の速度ベクトルは，画面３１に投影したユーザの手４０の速度ベクトルを示している。

図１２に示すように，特定の物体の移動方向と操作オブジェクト５０の動作可能方向との間の角度θに応じて，ユーザのジェスチャ操作が操作オブジェクト５０の運動に及ぼす影響量を変化させることも可能である。以下では，所定の分布関数を用いて，ユーザの手４０の移動方向と板状の操作オブジェクト５０の動作可能方向との間の角度θに応じた作用量を求め，操作オブジェクト５０の平行移動の運動を制御する例を説明する。

操作制御装置１０において，作用部１５は，例えば，板状の操作オブジェクト５０の平行移動の運動を，図１１に示す摩擦力を考慮した物理モデルに基づいた上記の式（３）に従って制御するものとする。上記の式（３）では，ｋ₁ が，ユーザの手４０の移動方向と板状の操作オブジェクト５０の動作可能方向との間の角度θが，操作オブジェクト５０の平行移動の運動に及ぼす影響の大きさを示す作用量となる。

作用量算出部１４は，例えば，次の式（５）から，ｋ₁ を算出する。

｜θ｜＜θ_thのとき：
ｋ₁ ＝ｋ₀ ・ｅｘｐ｛−（１／２）・（ｓｉｎ² θ／ｃ² ）｝
｜θ｜≧θ_thのとき：
ｋ₁ ＝０ ・・・（５）
式（５）において，角度θは，−π／２＜θ＜π／２である。ｋ₀ ，ｃは，定数である。式（５）において，定数は，理論的に決定してもよいし，実験的に決定してもよい。

このように，ユーザの手４０の移動方向と操作オブジェクト５０の動作可能方向との間の角度に応じて，操作オブジェクト５０の平行移動の運動に与える影響の大きさを変えることで，ユーザの誤操作の影響を，少なくすることが可能となる。例えば，ユーザの手４０の移動方向と操作オブジェクト５０の動作可能方向との間の角度が大きいほど，ユーザのジェスチャ操作が，操作オブジェクト５０に対する操作でない可能性が高いものと推定できる。

以上説明したように，本実施の形態による操作制御装置１０によって，ユーザの直感的なジェスチャ操作が，連続的な操作を伴うものであるか，単なるポインティングの操作であるかを切り分けることが可能となる。ユーザは，手４０を速く動かす／手をゆっくりと動かすなどの直感的なジェスチャ操作で，スクロール，拡大／縮小などの連続的な操作を行うことができるようになる。

以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。

例えば，本実施の形態では，特定の物体と操作オブジェクト５０との位置関係に応じた操作オブジェクト５０の制御と，特定の物体の位置変化方向と操作オブジェクト５０の動作可能方向との間の角度に応じた操作オブジェクトの制御とを別々に説明した。特定の物体と操作オブジェクト５０との位置関係に応じた操作オブジェクト５０の制御と，特定の物体の位置変化方向と操作オブジェクト５０の動作可能方向との間の角度に応じた操作オブジェクトの制御とを合わせて実施することも可能である。

また，本実施の形態では，操作オブジェクト５０が慣性で運動する例を説明したが，これに限るものではない。例えば，情報表示内容計算部１６が，ユーザの手４０の移動が操作オブジェクト５０に影響するか否かの２値判定をし，影響すると判定された場合に，作用部１５が，ユーザの手４０の位置をポイントしたカーソル６０の移動に同期させて，操作オブジェクト５０を動かすなどの実施も可能である。

１０ 操作制御装置
１１ 位置取得部
１２ 距離計算部
１３ 速度計算部
１４ 作用量算出部
１５ 作用部
１６ 情報表示内容計算部
１７ 情報表示部
１８ 情報記憶部
２０ 位置取得用装置
３０ 表示装置

Claims (5)

1. 特定の物体の位置を取得する位置取得部と，
   前記位置取得部で取得した位置から，仮想空間内における前記特定の物体と操作オブジェクトとの間の距離を計算する距離計算部と，
   前記仮想空間内での前記特定の物体の速さを計算する速度計算部と，
   前記距離計算部と前記速度計算部の計算結果に従って，前記操作オブジェクトの運動への影響の大きさを定量的に示す作用量を，前記特定の物体の位置変化方向と前記操作オブジェクトの動作可能方向との間の角度が大きいほど小さくなるように，算出する作用量算出部と，
   前記作用量算出部の算出結果に従って，前記操作オブジェクトの運動を制御する作用部と，
   前記操作オブジェクトの運動に従って，画面の表示内容を計算する情報表示内容計算部と，
   前記情報表示内容計算部の計算結果に従って，情報を画面に表示する情報表示部とを備える
   ことを特徴とする操作制御装置。
2. 前記作用量算出部は，前記特定の物体と前記操作オブジェクトとの間の距離が大きくなるほど，作用量を小さくする
   ことを特徴とする請求項１に記載の操作制御装置。
3. 前記作用部は，前記操作オブジェクトの仮想的な動作に伴う摩擦力を含む式によって表される物理モデルに従って，前記操作オブジェクトの運動を制御する
   ことを特徴とする請求項１または請求項２に記載の操作制御装置。
4. コンピュータに，
   特定の物体の位置を取得し，
   前記特定の物体の位置から，仮想空間内における前記特定の物体と操作オブジェクトとの間の距離を計算し，
   前記仮想空間内での前記特定の物体の速さを計算し，
   前記距離と前記速さの計算結果に従って，前記操作オブジェクトの運動への影響の大きさを定量的に示す作用量を，前記特定の物体の位置変化方向と前記操作オブジェクトの動作可能方向との間の角度が大きいほど小さくなるように，算出し，
   前記作用量の算出結果に従って，前記操作オブジェクトの運動を制御し，
   前記操作オブジェクトの運動に従って，画面の表示内容を計算し，
   前記画面の表示内容の計算結果に従って，情報を画面に表示する
   処理を実行させるための操作制御プログラム。
5. コンピュータが，
   特定の物体の位置を取得し，
   前記特定の物体の位置から，仮想空間内における前記特定の物体と操作オブジェクトとの間の距離を計算し，
   前記仮想空間内での前記特定の物体の速さを計算し，
   前記距離と前記速さの計算結果に従って，前記操作オブジェクトの運動への影響の大きさを定量的に示す作用量を，前記特定の物体の位置変化方向と前記操作オブジェクトの動作可能方向との間の角度が大きいほど小さくなるように，算出し，
   前記作用量の算出結果に従って，前記操作オブジェクトの運動を制御し，
   前記操作オブジェクトの運動に従って，画面の表示内容を計算し，
   前記画面の表示内容の計算結果に従って，情報を画面に表示する過程を実行する
   ことを特徴とする操作制御方法。

Images