JP2001291119A - ユーザインタフェース制御装置およびユーザインタフェース制御方法、並びにプログラム提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ディスプレイに表示されるオブジェクトの変
形、着色等の処理メニューの表示、選択処理を効率的に
実行可能なユーザインタフェース制御装置を提供する。 【解決手段】 表示装置に表示される３次元の作業対象
物体に対して変形、着色等の処理選択メニューを表示す
る際、表示されている作業対象物体を３次元のメニュー
表示物体に置き換えて表示する。メニュー表示物体は、
例えばＲＧＢ値の各設定値を選択可能な３次元色空間と
して表示される。ユーザは、メニュー表示物体に対して
例えばカーソル等の作業物体を用いて指示することによ
り所望の色を選択する。メニュー表示物体は、色選択の
みならず、変形ツール、あるいはその他、従来から用い
られ平面的に表示されていたメニュー選択画面にも適用
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザインタフェ
ース制御装置およびユーザインタフェース制御方法、並
びにプログラム提供媒体に関し、さらに詳細には、ＣＡ
Ｄ、パーソナルコンピュータ等のディスプレィに３次元
オブジェクトを表示して、３次元オブジェクトに対して
変形、着色等の様々な処理を施す画像処理システムにお
いて、処理のメニュー選択をユーザにとって分かりやす
くかつより使い易い構成としたユーザインタフェース制
御装置およびユーザインタフェース制御方法、並びにプ
ログラム提供媒体に関する。

【０００２】

【従来の技術】コンピュータグラフィックスの分野にお
いて、ディスプレイに三次元図形を表示し、表示した三
次元図形の姿勢あるいは形状、色彩等の変更処理を実行
する装置や方法についての様々な手法が開発され実現さ
れている。三次元オブジェクトのディスプレイ上への表
示手法としては、例えばマウス、二次元タブレット等を
用いて、奥行きデータを含むオブジェクトの形状データ
を入力する方法がある。さらに、実際の立体形状物体を
三次元デジタイザ、または三次元スキャナによってデー
タを取得して、そのデータに基づいて表示データを取得
してディスプレイに表示する方法も用いられている。ま
た、ディスプレイに表示された物体の変形等の処理を行
なう方法としては、グローブ型のマニュピュレータから
なる入力装置を用いた構成が知られている。

【０００３】さらに、粘土の変形を模倣した方法で３次
元のポリゴンで構成されたオブジェクトを変形する技術
が開発されている。例えば、Ｐｌａｙ社のモデリングツ
ールは、ディスプレイ上に３次元オブジェクトとカーソ
ルを表示し、オブジェクトの変形したい場所をカーソル
で指定する。そして、マウスボタンの押下によって変形
を実行することができる。

【０００４】オブジェクトに対する処理としては、変
形、着色等があり、さらに、変形態様の設定、着色すべ
き色の設定等、様々な設定が要求される。このような設
定は、一般にＧＵＩを利用したメニュー選択によって行
われる。多くの場合、画面やウィンドウの上部や下部と
いった画面の邪魔にならない位置に選択可能なメニュー
を表示し、ユーザが画面の隅に示されるメニューから様
々な項目を選択する構成が使用されている。あるいはオ
ブジェクトを表示した作業画面上に新たにウィンドウを
開き、その新たなウィンドウ中にメニューを表示し、そ
こからメニューを選択する構成もある。このような方法
では、メニューは２次元平面的に表示され、マウス等の
ポインティングデバイスを使用して２次元的にカーソル
を移動させてメニューを選択していた。

【０００５】

【発明が解決しようとする課題】しかし、上述のような
従来のメニュー選択方法においては、通常の作業、すな
わちオブジェクトに対する様々な処理を行う場所（以
後、作業スペースと呼ぶ）とメニューを表示する場所
（以後、メニュースペースと呼ぶ）が区別して表示され
るため、ユーザがメニューを選択するには作業スペース
からメニュースペースへカーソルおよび視点を移動しな
ければならなかった。

【０００６】特に、近年、仮想現実感を実現する画像処
理技術の進歩により、上述した３次元デジタイザや３次
元スキャナ、グローブ型入力装置等といった入力装置が
多く用いられるようになったが、これらの入力装置を用
いて作業を行っていたユーザがメニュー選択を行う為に
は、マウスやキーボードといった別の入力装置を用いて
カーソルをメニュースペースへ移動し、選択することが
要求される。そのためにユーザは入力装置を持ち換えな
ければならないという面倒な操作が必要となっていた。
また、ディスプレイの表示画面に２次元的にメニューを
並べる構成においては、メニューの数が増加するとメニ
ュースペースが広がり、作業スペースが狭まり、作業の
邪魔になるという問題点があった。

【０００７】本発明のユーザインタフェース制御装置お
よびユーザインタフェース制御方法は、上述の問題点を
解決するものであり、ディスプレイ上で作業スペースお
よびメニュースペースといった区別をする必要をなく
し、同一の画面で作業およびメニュー選択を行うことが
できる構成を提供することを目的とする。

【０００８】また、本発明は作業に利用していた入力装
置、例えば３次元位置入力装置等を他の入力装置、例え
ばマウス等に持ち替え、メニューを選択するといった手
間を省くことができるユーザインタフェース制御装置お
よびユーザインタフェース制御方法を提供することを目
的とする。

【０００９】さらに、本発明は３次元的にメニューを表
示する構成により、複数メニューをコンパクトに表示す
ることを可能とし、メニューが選択、あるいはメニュー
選択が解除されるとメニューが表示された物体が元の作
業の対象となる物体に置き換わり、継続して操作を行う
ことができる操作性の優れたユーザインタフェース制御
装置およびユーザインタフェース制御方法提供すること
を目的とする。

【００１０】

【課題を解決するための手段】本発明の第１の側面は、
３次元空間上の位置データに基づいて表示装置に物体の
表示を実行する３次元モデル処理装置におけるユーザイ
ンタフェース制御装置であり、前記表示装置に表示され
た処理対象である作業対象物体に対する処理を実行する
作業モードと、処理の態様を設定するメニューモードと
の２つのモードの切り換え処理を実行し、前記作業モー
ドからメニューモードへの切り換え処理において、表示
装置に表示された作業対象物体をメニュー表示物体に置
き換える処理を実行する制御手段を有することを特徴と
するユーザインタフェース制御装置にある。

【００１１】さらに、本発明のユーザインタフェース制
御装置の一実施態様において、前記制御手段は、前記メ
ニュー表示物体を、前記表示装置に３次元的に表示する
構成であることを特徴とする。

【００１２】さらに、本発明のユーザインタフェース制
御装置の一実施態様において、前記制御手段は、前記メ
ニュー表示物体を、前記表示装置に３次元的に表示し、
前記表示装置に表示された前記メニュー表示物体に対す
る３次元座標の指示により、３次元の設定値選択を実行
する構成であることを特徴とする。

【００１３】さらに、本発明のユーザインタフェース制
御装置の一実施態様において、前記３次元の設定値は、
ＲＧＢの各値であることを特徴とする。

【００１４】さらに、本発明のユーザインタフェース制
御装置の一実施態様において、前記制御手段は、前記メ
ニューモードから作業モードへの切り換え処理におい
て、表示装置に表示されたメニュー表示物体を作業対象
物体に置き換える処理を実行する構成であることを特徴
とすることを特徴とする。

【００１５】さらに、本発明のユーザインタフェース制
御装置の一実施態様において、前記制御手段は、作業対
象物体に対する処理を実行し前記表示装置に表示される
作業物体を、前記作業モードからメニューモードへの切
り換え処理において、前記メニュー表示物体に対する選
択処理を実行するための選択用物体に置き換える処理を
実行する構成を有することを特徴とする。

【００１６】さらに、本発明のユーザインタフェース制
御装置の一実施態様において、前記作業物体は、前記作
業対象物体に対する変形処理を実行する変形処理ツール
であり、前記制御手段は、前記メニュー表示物体として
異なる変形処理を実行する複数の異なる変形処理ツール
を表示する構成であることを特徴とする。

【００１７】さらに、本発明のユーザインタフェース制
御装置の一実施態様において、前記制御手段は、前記メ
ニューモードから作業モードへの切り換え処理におい
て、表示装置に表示された選択用物体を作業物体に置き
換える処理を実行する構成であることを特徴とする。

【００１８】さらに、本発明の第２の側面は、３次元空
間上の位置データに基づいて表示装置に物体の表示を実
行する３次元モデル処理装置におけるユーザインタフェ
ース制御方法であり、前記表示装置に表示された処理対
象である作業対象物体に対する処理を実行する作業モー
ドと、処理の態様を設定するメニューモードとの２つの
モードの切り換え処理を実行するモード切り換えステッ
プと、前記作業モードからメニューモードへの切り換え
処理の実行に際して、表示装置に表示された作業対象物
体をメニュー表示物体に置き換える表示切り換えステッ
プと、を有することを特徴とするユーザインタフェース
制御方法にある。

【００１９】さらに、本発明のユーザインタフェース制
御方法の一実施態様において、前記表示切り換えステッ
プにおいて、前記メニュー表示物体を、前記表示装置に
３次元的に表示することを特徴とする。

【００２０】さらに、本発明のユーザインタフェース制
御方法の一実施態様において、前記メニュー表示物体
を、前記表示装置に３次元的に表示し、前記表示装置に
表示された前記メニュー表示物体に対する３次元座標の
指示により、３次元の設定値選択を実行することを特徴
とする。

【００２１】さらに、本発明のユーザインタフェース制
御方法の一実施態様において、前記３次元の設定値は、
ＲＧＢの各値であることを特徴とする。

【００２２】さらに、本発明のユーザインタフェース制
御方法の一実施態様において、前記表示切り換えステッ
プにおいて、前記メニューモードから作業モードへの切
り換え処理において、表示装置に表示されたメニュー表
示物体を作業対象物体に置き換える処理を実行すること
を特徴とすることを特徴とする。

【００２３】さらに、本発明のユーザインタフェース制
御方法の一実施態様において、前記表示切り換えステッ
プにおいて、作業対象物体に対する処理を実行し前記表
示装置に表示される作業物体を、前記作業モードからメ
ニューモードへの切り換え処理の実行に際して、前記メ
ニュー表示物体に対する選択処理を実行するための選択
用物体に置き換える処理を実行することを特徴とする。

【００２４】さらに、本発明のユーザインタフェース制
御方法の一実施態様において、前記ユーザインタフェー
ス制御方法において、前記作業物体は、前記作業対象物
体に対する変形処理を実行する変形処理ツールであり、
前記メニュー表示物体として異なる変形処理を実行する
複数の異なる変形処理ツールを表示することを特徴とす
る。

【００２５】さらに、本発明のユーザインタフェース制
御方法の一実施態様において、前記ユーザインタフェー
ス制御方法において、前記メニューモードから作業モー
ドへの切り換え処理において、表示装置に表示された選
択用物体を作業物体に置き換える処理を実行することを
特徴とする。

【００２６】さらに、本発明の第３の側面は、表示装置
に表示された作業対象物体に対する処理を実行する３次
元モデリング装置において、作業対象物体と作業物体を
表示装置に表示する表示装置と、該作業対象物体と作業
物体の各々に対応する作業対象物体センサと作業物体ツ
ールセンサとを各センサの３次元位置を取得可能な作用
領域内において相対移動させて、該相対位置の変化に応
じた３次元位置データを生成するデータ入力部と、前記
データ入力部からのセンサの３次元位置データに基づい
て前記表示装置に表示される作業対象物体と作業物体の
表示態様を更新するとともに、前記作業対象物体に対す
る処理を実行する作業モードと、処理の態様を設定する
メニューモードとの２つのモードの切り換え処理を実行
し、前記作業モードからメニューモードへの切り換え処
理において、表示装置に表示された作業対象物体をメニ
ュー表示物体に置き換える処理を実行する制御手段を有
することを特徴とする３次元モデリング装置にある。

【００２７】さらに、本発明の３次元モデリング装置の
一実施態様において、前記制御手段は、前記メニューモ
ードから作業モードへの切り換え処理において、表示装
置に表示されたメニュー表示物体を作業対象物体に置き
換える処理を実行する構成であることを特徴とすること
を特徴とする。

【００２８】さらに、本発明の第４の側面は、３次元空
間上の位置データに基づいて表示装置に物体の表示を実
行する３次元モデル処理装置におけるユーザインタフェ
ース制御処理をコンピュータ・システム上で実行せしめ
るコンピュータ・プログラムを提供するプログラム提供
媒体であって、前記コンピュータ・プログラムは、前記
表示装置に表示された処理対象である作業対象物体に対
する処理を実行する作業モードと、処理の態様を設定す
るメニューモードとの２つのモードの切り換え処理を実
行するモード切り換えステップと、前記作業モードから
メニューモードへの切り換え処理において、表示装置に
表示された作業対象物体をメニュー表示物体に置き換え
る表示切り換えステップと、を有することを特徴とする
プログラム提供媒体にある。

【００２９】本発明の第４の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。

【００３０】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。

【００３１】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００３２】

【発明の実施の形態】以下、本発明のユーザインタフェ
ース制御装置およびユーザインタフェース制御方法の実
施例について図面を用いて説明する。

【００３３】［装置の構成］図１に本発明のシステム構
成図を示す。図１においてシステムは、処理プログラム
を実行する中央演算装置（ＣＰＵ）１０１、処理プログ
ラムが格納されるプログラムメモリ１０２、処理データ
を格納するデータメモリ１０３、結果を可視化するため
に作られた画像データを格納するフレームメモリ１０
４、このフレームメモリ１０４に格納された画像データ
を表示する画像表示装置１０５、３次元位置センサやデ
ータグローブ等の入力装置１０６、および各回路を接続
してプログラムやデータを伝送するバス１０７を備えて
いる。

【００３４】中央演算処理装置（ＣＰＵ）１０１は、入
力装置１０６からの入力データあるいは処理データを格
納したデータメモリ１０３から処理データを取り出し
て、プログラムメモリ１０２に格納された処理プログラ
ムに従って、表示データ生成処理を実行する。生成した
表示データはフレームメモリ１０４に格納される。さら
に、画像表示装置１０５がフレームメモリ１０４に格納
された表示データを表示する。

【００３５】［動作］次に、本発明のユーザインタフェ
ース制御装置を備えた３次元モデル処理装置の処理を説
明する。ここでは、例えば３次元空間上の位置および回
転角を測定できる複数の３次元センサを入力装置とした
３次元モデリングシステムに本発明のユーザインタフェ
ース制御装置を適用した例について説明する。

【００３６】３次元モデリングシステムは、例えば図２
のようなシステムである。図２のシステムは、２つの３
次元位置・角度センサ２０１、２０２をユーザが作用領
域で相対的に移動させることで、３次元位置・角度セン
サ２０１、２０２の相対位置、相対角度を変化させ、表
示装置２０３に表示された３次元位置・角度センサ２０
１に対応する処理対象物体２０４に対して、３次元位置
・角度センサ２０２に対応する処理ツール２０５を適用
して各種の処理を実行させて処理対象物体２０４に変
形、着色等の様々な作用を実行させるシステムである。

【００３７】２つの３次元位置・角度センサ２０１、２
０２は磁気センサ等により、それぞれの３次元位置が取
得され、さらに、処理ツール２０５に対応する３次元位
置・角度センサ２０２には変形、着色等の処理機能が設
定され、例えば、３次元位置・角度センサ２０２を処理
対象物体２０４に対応する３次元位置・角度センサ２０
１に一定距離以下に近づけると、表示装置２０３に表示
された処理ツール２０５が、処理対象物体２０４の内部
に入り込んで、処理対象物体２０４に凹部が形成される
等の処理が実行される。このような３次元モデリングシ
ステムを実現する構成ブロック図を図３に示す。

【００３８】図３は、センサからのデータ入力部３１０
を有する３次元モデリングシステムの構成ブロック図で
ある。この図３に示す例は、磁気センサを用いて３次元
位置・角度センサを構成した例である。磁気ソース３１
１から発せられた磁場内を作用領域とし、作用領域内
で、処理対象物体ツール３１２、処理ツール３１３によ
る操作を行なう。処理対象物体ツール３１２、処理ツー
ル３１３の各々には、磁気センサが取り付けられてお
り、磁気ソース３１１から発せられた磁場内に設定され
る作用領域内において、処理対象物体ツール３１２、処
理ツール３１３の磁気センサが磁気的変位データを専用
のインタフェース３１４に出力する。専用のインタフェ
ース３１４は、これらのデータに基づいて各々のツール
の位置情報、姿勢情報データを算出する。なお、磁気セ
ンサの代わりに超音波センサを用いて３次元位置を取得
する構成としてもよい。

【００３９】データ入力部３１０からの位置情報に基づ
いて中央演算処理装置（ＣＰＵ）３０１は、プログラム
メモリ３０２に格納された処理プログラムに従って、入
力データに基づく投影変換処理、表示データ生成処理等
を実行する。生成した表示データはフレームメモリ３０
４に格納される。さらに、画像表示装置３０５がフレー
ムメモリ３０４に格納された表示データを表示する。Ｚ
バッファ３０６は、隠面処理を行なうためのメモリであ
り、表示画面の全画素の奥行き方向の値（Ｚ値）を記憶
する。このＺバッファ３０６に格納された値を参照する
ことにより、３次元空間上の様々な位置に存在する複数
物体についての視点からの前後関係データを取得して各
物体の描画順序に関係なく正しく表示することができ
る。

【００４０】このように、本システムにおいてはセンサ
にそれぞれ画像表示装置３０５に表示される仮想空間上
の物体が対応付けされており、センサを移動および回転
させることにより、画像表示装置３０５に表示される仮
想空間上の物体も移動、回転させることができる。ま
た、２つのセンサの位置関係、つまり、仮想空間上の２
つの物体の位置関係により、作業の対象となる物体を変
形させたり、この物体に他の物体を結合させたり、色を
つけたりすることができる。例えば、作業を行う物体に
ペンのような機能を持たせ、この物体が作業の対象とな
る物体に接触したとき、色を塗ることができるシステム
である。

【００４１】以後、仮想空間上を移動、回転等といった
操作が可能な３次元物体で作業の対象となる物体を作業
対象物体、作業対象物体に対して作業を行う物体を作業
物体、３次元的にメニューが表示された物体をメニュー
表示物体と呼ぶ。また、作業対象物体に対し、移動、回
転および変形等といった操作が可能な状態を作業モー
ド、メニューが選択可能な状態をメニューモードと呼
ぶ。

【００４２】図４に本発明の本発明のユーザインタフェ
ース制御装置を適用した３次元モデリングシステムの処
理を説明するフローチャートを、図５にその具体的処理
例を示す。以下、図４のフローチャートに従って、処理
の詳細を説明する。

【００４３】まず、３次元モデリングシステムの状態を
作業モードに初期化する（Ｓ４０１）。作業モードで
は、図５（ａ）に示すように、画面上に作業対象物体５
０１と作業物体５０２が表示される。次に位置・回転角
等を入力装置を用いて入力し（Ｓ４０２）、入力された
位置・回転角等に基づいて、作業対象物体および作業物
体をそれぞれ移動・回転する（Ｓ４０３）。そして、３
次元空間上に存在する物体を表示装置に表示する（Ｓ４
０４）。ユーザが操作可能な３次元センサを移動・回転
することによって、仮想空間上の作業対象物体および作
業物体も同様に移動・回転することができる。

【００４４】次に、現在の状態が作業モードかどうか判
定（Ｓ４０５）する。作業モードである場合は、あらか
じめ決められたメニューモードへの切り換え操作かどう
か判定する（Ｓ４０６）。ここであらかじめ決められた
操作とは、例えば入力装置に付けられたメニューボタン
を押したり、３次元空間上の指定された場所へ作業対象
物体を移動したり、通常の操作と明確に違いが判断でき
る操作である。

【００４５】メニューモードへの切り換え操作である場
合、状態がメニューモードに切り換えられ（Ｓ４０
７）、図５（ｂ）に示すように、今まで作業を行ってい
た作業対象物体５０１自体がメニュー表示物体５０３に
変更されて表示される。ここでは、作業対象物体５０１
に対する着色処理を実行するものとする。メニュー表示
物体５０３は、図５（ｂ）に示すように、例えば、Ｒｅ
ｄ，Ｇｒｅｅｎ，Ｂｌｕｅの３つの軸を持った立方体に
置き換わる（Ｓ４０８）。

【００４６】本発明のユーザインタフェース制御装置
は、ユーザの操作するセンサに対応付けられ表示装置に
表示された作業対象物体５０１を削除し、同じセンサに
メニュー表示物体５０３を対応付ける処理を行なう。し
たがって、ユーザは同じ３次元センサを移動・回転する
ことによって、メニュー表示物体５０３も移動・回転す
ることができる。そして、ユーザはメニュー表示物体５
０３を自由に移動・回転させ、作業物体５０２を用い
て、メニューを選択することができる。例えば、メニュ
ー表示物体５０３に配置された（Ｒｅｄ，Ｇｒｅｅｎ，
Ｂｌｕｅ）空間上の（０，０，０）の位置を作業物体５
０２で選択すれば、Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅの３
項目についてそれぞれ０を選択したことになる。本発明
のユーザインタフェース制御装置は、このように３次元
空間上の位置を入力情報とする構成としたので、ＲＧＢ
値３項目の選択を一度の操作で実現することができる。

【００４７】そして、再びＳ４０２に戻り同様の操作を
繰り返す。また、メニューモードへの切り換え操作では
ない場合（Ｓ４０６の判定がＮｏ）、ステップＳ４１４
において、作業モードでの処理、例えば作業対象物体５
０１に対する着色等の処理を実行して、さらに、作業モ
ードの状態でＳ４０２に戻り作業対象物体５０１に対す
る操作を行う。

【００４８】また、Ｓ４０５において作業モードではな
いと判定された場合、メニューが選択されたかどうか判
定する（Ｓ４０９）。メニューが選択されると、選択さ
れたメニューにしたがって処理が行われ（Ｓ４１０）、
作業モードに切り換わる（Ｓ４１２）。また、メニュー
が選択されていない場合、メニューモードの解除操作か
どうか判定し（Ｓ４１１）、メニューモードが解除され
ると作業モードに切り換わる（Ｓ４１２）。このメニュ
ーモードの解除処理は、例えばメニューモードに示され
るメニューの選択終了、あるいはメニューモードにおけ
る設定終了ボタン等をクリックする等のあらかじめ決め
られた操作によって実行される処理である。

【００４９】作業モードに切り換わると、図５（ｃ）に
示すように、メニュー表示物体５０３が元の作業対象物
体５０１に置き換わり（Ｓ４１３）、引き続き作業対象
物体５０１に対する作業物体５０２を用いた操作を行う
ことができる。そして、再びＳ４０２に戻り同様の操作
を繰り返す。なお、Ｓ４０９およびＳ４１１は順番が逆
になっても良い。また、メニューモードの解除ではない
場合（Ｓ４１１の判定がＮｏ）、メニューモードの状態
で同様にＳ４０２に戻る。

【００５０】このような処理により、ユーザは作業対象
物体５０１に対する作業を行っていた画面と同一の画面
上で、かつ、作業を行っていたセンサを持ち替えること
なく、同一のセンサに対する操作で、同じ様にメニュー
表示物体を移動・回転等させ、メニュー選択することが
できる。

【００５１】また、メニューを選択した後、あるいはメ
ニューモードを解除した後、自動的にメニュー表示物体
が作業対象物体に置き換わる構成としたので、ユーザ
は、メニューによる各種選択、設定終了後も全くユーザ
の操作する操作対象を持ち替えたり、視点を変更するこ
となく引き続き作業対象物体に対して処理を行うことが
できる。

【００５２】図６にモードの切り換え処理による表示切
り換えを実現する制御手段の機能を説明するブロック図
を示す。図６において、入力手段６０１、は作業対象物
体センサまたはメニュー表示物体センサとして機能する
３次元データ入力装置である。入力手段６０２は作業物
体センサとして機能する３次元データ入力装置である。
制御手段６０３は、モード設定手段６０４、３Ｄオブジ
ェクト表示制御手段６０５、作業対象物体データ６０
６、メニュー表示物体データ６０７、作業物体データ６
０８を有する。なお、制御手段６０３は、図１の構成に
おける中央演算処理装置１０１、プログラムメモリ１０
２、データメモリ１０３、フレームメモリ１０４に相当
する。

【００５３】３Ｄオブジェクト表示制御手段６０５は、
作業モードにおいて、入力手段６０１、入力手段６０２
から入力される３次元データを受領して作業対象物体デ
ータ６０６、作業物体データ６０８から３次元表示用パ
ラメータを取得して作業対象物体および作業物体の表示
データを生成して表示手段６０９に表示する。モードが
作業モードからメニューモードに切り換わると、３Ｄオ
ブジェクト表示制御手段６０５は、作業対象物体データ
６０６からの３次元表示用パラメータの取得を中止し
て、メニュー表示物体データ６０７からの３次元表示用
パラメータの取得を開始して表示手段に対して入力手段
６０１の３次元データを反映した物体メニュー表示物体
を表示する。モードがメニューモードから作業モードに
切り換わったときは、その逆の処理を実行する。

【００５４】［変形例］上述の例では、色設定メニュー
として図５（ｂ）に示すように、ＲＧＢを各軸とする３
次元空間で設定可能な色を表示する形態を説明したが、
例えば、図７（ａ）に示すようにメニュー表示物体の表
面に複数の色を限定して表示する構成としてもよい。こ
の図７（ａ）のようなメニュー表示物体７０１の構成と
した場合、ユーザはメニュー表示物体７０１の表面を作
業物体７０２で指示して選択することになる。ユーザは
メニュー表示物体７０１に対応する３次元センサの向き
を変えて、好みの色を作業物体に対応するセンサで指示
することで好みの色を選択できる。

【００５５】さらに、図７（ｂ）に示すように、複数の
色に輝度変化を付けたメニュー表示物体７０３を表示す
ることによって図７（ａ）よりもより多くの選択肢を表
現可能な構成とすることができる。図７（ｂ）に示す例
ではメニュー表示物体７０３は球形であり、下部の輝度
が低く、上部にいくに従って輝度が高くなるように構成
され、作業物体７０４で任意の位置を指示可能である。
このように、本発明のユーザインタフェース制御装置
は、３次元メニューを構成してディスプレイに表示し、
３次元メニューを自由に回転、姿勢変更を行なう構成と
したので、従来の２次元平面でのメニュー選択に比較し
て、効率的にメニュー選択が可能となる。メニュー表示
物体を３次元形状とすることにより、メニューの形状に
制約がなくなり、あらゆる形のメニューが実現でき、ユ
ーザは選択可能なメニューの姿勢、角度を自由に変更し
てディスプレイに配置することができる。

【００５６】本発明の、３次元構成を持つメニュー表示
物体は、上述の色選択メニュー以外にも応用することが
できる。図８にその構成例を示す。図８のメニュー表示
物体８０１は、従来、ディスプレイの一部領域に平面的
に並べられていた例えば「ファイルオープン」、「ファ
イル保存」等の各種処理メニューを３次元の円筒状の周
囲に公正したものである。このように従来、横一列に平
面的に表示していたメニューを３次元的に整列させるこ
とによって、メニュー数が増加した場合でも、よりコン
パクトに表示することができ、作業領域を邪魔すること
がない。

【００５７】さらに、本発明のユーザインタフェース制
御装置を、３次元モデルの変形操作に応用した例を図９
に示す。図９の３次元モデル処理装置における処理につ
いて説明する。

【００５８】図９に示すように作業対象物体９０１に対
して、例えば円柱状、三角柱状の様々な作業物体を容易
する。これらの作業物体は、先に図２，３を用いて説明
したようにユーザが自在に操作可能な処理ツール（セン
サ）に対応した動きをディスプレイ上で行なう。ユーザ
のツールに対する操作により、作業物体９０２が作業対
象物体９０１に接触すると、作業物体９０２の形状に応
じて作業対象物体９０１を変形する。この例において、
メニュー選択は作業物体９０２の形状を変え、変形形状
を変えること、すなわち図９（ｂ）に示すような複数の
作業物体から１つの作業物体を選択する処理となる。

【００５９】図９（ａ）では作業物体９０２として円柱
が用いられている。ここで作業物体９０２を他の形状に
変える場合、ユーザはメニューモード（図９（ｂ））に
切り換える。メニューモードになると、今まで球として
表示されていた作業対象物体９０１がメニュー表示物体
９０３に置換される。

【００６０】ここではメニュー表示物体９０３として箱
の中に複数の選択可能な物体を表示している。このよう
に選択可能な物体を３次元物体として表示することによ
って、実際に作業物体を持ち替えているような、より直
感的なメニュー選択が可能である。上述の例では、作業
モードからメニューモードへの切り換え時に作業対象物
体をメニュー表示物体に置き換える処理のみを実行して
いたが、この例では、図９（ａ），（ｂ）から理解され
るように、作業物体９０２も選択用物体９０４に置き換
わる。

【００６１】このように、メニューモードへの切り換え
時に、作業対象物体９０１をメニュー表示物体９０３に
置換するだけでなく、作業物体９０２も選択用物体９０
４に置換することにより、ユーザは同一の操作対象であ
るセンサを全く持ち換えることなく、作業モードでの作
業処理、メニューモードでのメニュー選択処理を実行す
ることができる。

【００６２】図９の例では、図９（ｂ）のメニューモー
ドでメニュー表示物体９０３から選択用物体９０４によ
り三角柱を指定して作業物体として選択したとする。選
択処理により、図９（ｃ）に示すようにメニュー表示物
体９０３は、作業対象物体９０１に再び置き換わり、選
択用物体９０４は選択した作業物体９０２に置き換わ
る。作業モードでは、選択した形状の作業物体９０２で
変形操作を行うことが可能となる。

【００６３】図１０にモードの切り換え処理により、作
業対象物体と作業物体の表示切り換えを実現する制御手
段の機能を説明するブロック図を示す。図１０におい
て、入力手段１００１、は作業対象物体センサまたはメ
ニュー表示物体センサとして機能する３次元データ入力
装置である。入力手段１００２は作業物体センサまたは
選択用物体センサとして機能する３次元データ入力装置
である。制御手段１００３は、モード設定手段１００
４、３Ｄオブジェクト表示制御手段１００５、作業対象
物体データ１００６、メニュー表示物体データ１００
７、作業物体データ１００８、選択用物体データ１００
９を有する。なお、制御手段１００３は、図１の構成に
おける中央演算処理装置１０１、プログラムメモリ１０
２、データメモリ１０３、フレームメモリ１０４に相当
する。

【００６４】３Ｄオブジェクト表示制御手段１００５
は、作業モードにおいて、入力手段１００１、入力手段
１００２から入力される３次元データを受領して作業対
象物体データ１００６、作業物体データ１００８から３
次元表示用パラメータを取得して作業対象物体および作
業物体の表示データを生成して表示手段１０１０に表示
する。モードが作業モードからメニューモードに切り換
わると、３Ｄオブジェクト表示制御手段１００５は、作
業対象物体データ１００６からの３次元表示用パラメー
タの取得を中止して、メニュー表示物体データ１００７
からの３次元表示用パラメータの取得を開始するととも
に、作業物体データ１００８からの３次元表示用パラメ
ータの取得を中止して、選択用物体データ１００９から
の３次元表示用パラメータの取得を開始して表示手段に
対して入力手段６０１の３次元データを反映した物体メ
ニュー表示物体を表示するとともに、入力手段６０２の
３次元データを反映した選択用物体を表示する。モード
がメニューモードから作業モードに切り換わったとき
は、その逆の処理を実行する。

【００６５】図１１は、図９で説明したメニュー表示物
体を用いた作業物体の切り換えにより、円柱状および三
角柱状の作業物体９０２を用いて作業対象物体９０１に
対する変形処理を実行した例を示している。ユーザは作
業対象物体に対応するセンサと、円柱状または三角柱状
の作業物体に対応するセンサを相互に近づける等の処理
を実行することでディスプレイに表示された作業対象物
体９０１の変形処理を実行することができる。

【００６６】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【００６７】

【発明の効果】以上、説明したように本発明のユーザイ
ンタフェース制御装置およびユーザインタフェース制御
方法によれば、オブジェクトに対する様々な態様の変
形、着色等の処理を実行する際に、ユーザは操作対象を
持ち替えたり、切り換えたりすることなく、また視線も
作業領域と同一の表示画面から移動させることなく、メ
ニューの設定、選択が可能となるので、効率的な処理、
メニュー選択が可能となる。

【００６８】さらに、本発明のユーザインタフェース制
御装置およびユーザインタフェース制御方法によれば、
作業スペースおよびメニュースペースといった区別が解
消され、同一の画面で作業およびメニュー選択を行うこ
とが可能となる。さらに、作業に利用していた入力装
置、例えば３次元位置入力装置等を他の入力装置、例え
ばマウス等に持ち替え、メニューを選択するといった手
間を省くことが可能となり、作業モードとメニューモー
ドで操作方法を統一することができ、ユーザの負担が軽
減される。

【００６９】さらに、３次元的にメニューを表示する構
成により、複数メニューをコンパクトに表示することが
可能となり、３次元空間上の位置を入力情報として利用
することにより、複数項目の選択が同時に実現可能であ
る。また、常にメニューを表示するのではなく所定の操
作があった場合にのみ、メニューを表示し、メニューが
選択、あるいはメニュー選択が解除されるとメニューが
表示された物体が元の作業の対象となる物体に置き換わ
るので、作業スペースあるいはメニュースペースを大き
く設定することができ、またユーザによる操作を継続し
て行うことができ、効率的な作業が可能となる。

【図面の簡単な説明】

【図１】本発明のユーザインタフェース制御装置を備え
た３次元モデル処理装置の構成図である。

【図２】本発明のユーザインタフェース制御装置を備え
た３次元モデル処理装置の処理概要を説明する図であ
る。

【図３】本発明のユーザインタフェース制御装置を備え
た３次元モデル処理装置の構成図である。

【図４】本発明のユーザインタフェース制御装置を備え
た３次元モデル処理装置の処理フロー図である。

【図５】本発明のユーザインタフェース制御装置を備え
た３次元モデル処理装置の処理の具体例を説明する図で
ある。

【図６】本発明のユーザインタフェース制御装置におけ
るモード切り換えによる表示切り換え処理を実行するた
めの機能ブロック図を示す図である。

【図７】本発明のユーザインタフェース制御装置におけ
るメニュー表示例を示す図である。

【図８】本発明のユーザインタフェース制御装置におけ
るメニュー表示例を示す図である。

【図９】本発明のユーザインタフェース制御装置を備え
た３次元モデル処理装置の処理の具体例を説明する図で
ある。

【図１０】本発明のユーザインタフェース制御装置を備
えた３次元モデル処理装置の処理概要を説明する図であ
る。

【図１１】本発明のユーザインタフェース制御装置を備
えた３次元モデル処理装置の処理の具体例を説明する図
である。

【符号の説明】

１０１ 中央演算装置（ＣＰＵ） １０２ プログラムメモリ １０３ データメモリ １０４ フレームメモリ １０５ 画像表示装置 １０６ 入力装置 １０７ バス ２０１，２０２ ３次元位置・角度センサ ２０３ 表示装置 ２０４ 処理対象物体 ２０５ 処理ツール ３０１ 中央演算処理装置（ＣＰＵ） ３０２ プログラムメモリ ３０３ データメモリ ３０４ フレームメモリ ３０５ 画像表示装置 ３０６ Ｚバッファ ３１０ データ入力部 ３１１ 磁気ソース ３１２ 処理対象物体ツール３１２ ３１３ 処理ツール ３１４ インタフェース ５０１ 作業対象物体 ５０２ 作業物体 ５０３ メニュー表示物体 ６０１，６０２ 入力手段 ６０３ 制御手段 ６０４ モード設定手段 ６０５ ３オブジェクト表示制御手段 ６０６ 作業対象物体データ ６０７ メニュー表示物体データ ６０８ 作業物体データ ６０９ 表示手段 ７０１ 作業対象物体 ７０２ 作業物体 ７０３ メニュー表示物体 ７０４ 選択用物体 ８０１ メニュー表示物体 ９０１ 作業対象物体 ９０２ 作業物体 ９０３ メニュー表示物体 ９０４ 選択用物体 １００１，１００２ 入力手段 １００３ 制御手段 １００４ モード設定手段 １００５ ３オブジェクト表示制御手段 １００６ 作業対象物体データ １００７ メニュー表示物体データ １００８ 作業物体データ １００９ 選択用物体データ １０１０ 表示手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 塩谷 浩之 東京都品川区東五反田１丁目14番10号 株 式会社ソニー木原研究所内 (72)発明者 開 哲一 東京都品川区東五反田１丁目14番10号 株 式会社ソニー木原研究所内 Ｆターム(参考） 5B050 BA09 CA07 EA27 FA02 FA13 5B068 AA05 AA14 AA22 EE06 5E501 AA02 AC09 BA03 BA05 CA02 CB09 FB22 FB24 FB25 FB28

Claims (19)

【特許請求の範囲】
1. 【請求項１】３次元空間上の位置データに基づいて表示
   装置に物体の表示を実行する３次元モデル処理装置にお
   けるユーザインタフェース制御装置であり、 前記表示装置に表示された処理対象である作業対象物体
   に対する処理を実行する作業モードと、処理の態様を設
   定するメニューモードとの２つのモードの切り換え処理
   を実行し、前記作業モードからメニューモードへの切り
   換え処理において、表示装置に表示された作業対象物体
   をメニュー表示物体に置き換える処理を実行する制御手
   段を有することを特徴とするユーザインタフェース制御
   装置。
2. 【請求項２】前記制御手段は、 前記メニュー表示物体を、前記表示装置に３次元的に表
   示する構成であることを特徴とする請求項１に記載のユ
   ーザインタフェース制御装置。
3. 【請求項３】前記制御手段は、 前記メニュー表示物体を、前記表示装置に３次元的に表
   示し、 前記表示装置に表示された前記メニュー表示物体に対す
   る３次元座標の指示により、３次元の設定値選択を実行
   する構成であることを特徴とする請求項１に記載のユー
   ザインタフェース制御装置。
4. 【請求項４】前記３次元の設定値は、ＲＧＢの各値であ
   ることを特徴とする請求項３に記載のユーザインタフェ
   ース制御装置。
5. 【請求項５】前記制御手段は、 前記メニューモードから作業モードへの切り換え処理に
   おいて、表示装置に表示されたメニュー表示物体を作業
   対象物体に置き換える処理を実行する構成であることを
   特徴とすることを特徴とする請求項１に記載のユーザイ
   ンタフェース制御装置。
6. 【請求項６】前記制御手段は、 作業対象物体に対する処理を実行し前記表示装置に表示
   される作業物体を、前記作業モードからメニューモード
   への切り換え処理において、前記メニュー表示物体に対
   する選択処理を実行するための選択用物体に置き換える
   処理を実行する構成を有することを特徴とする請求項１
   に記載のユーザインタフェース制御装置。
7. 【請求項７】前記作業物体は、前記作業対象物体に対す
   る変形処理を実行する変形処理ツールであり、 前記制御手段は、 前記メニュー表示物体として異なる変形処理を実行する
   複数の異なる変形処理ツールを表示する構成であること
   を特徴とする請求項６に記載のユーザインタフェース制
   御装置。
8. 【請求項８】前記制御手段は、 前記メニューモードから作業モードへの切り換え処理に
   おいて、表示装置に表示された選択用物体を作業物体に
   置き換える処理を実行する構成であることを特徴とする
   請求項６に記載のユーザインタフェース制御装置。
9. 【請求項９】３次元空間上の位置データに基づいて表示
   装置に物体の表示を実行する３次元モデル処理装置にお
   けるユーザインタフェース制御方法であり、 前記表示装置に表示された処理対象である作業対象物体
   に対する処理を実行する作業モードと、処理の態様を設
   定するメニューモードとの２つのモードの切り換え処理
   を実行するモード切り換えステップと、 前記作業モードからメニューモードへの切り換え処理の
   実行に際して、表示装置に表示された作業対象物体をメ
   ニュー表示物体に置き換える表示切り換えステップと、 を有することを特徴とするユーザインタフェース制御方
   法。
10. 【請求項１０】前記表示切り換えステップにおいて、 前記メニュー表示物体を、前記表示装置に３次元的に表
    示することを特徴とする請求項９に記載のユーザインタ
    フェース制御方法。
11. 【請求項１１】前記ユーザインタフェース制御方法にお
    いて、 前記メニュー表示物体を、前記表示装置に３次元的に表
    示し、 前記表示装置に表示された前記メニュー表示物体に対す
    る３次元座標の指示により、３次元の設定値選択を実行
    することを特徴とする請求項９に記載のユーザインタフ
    ェース制御方法。
12. 【請求項１２】前記３次元の設定値は、ＲＧＢの各値で
    あることを特徴とする請求項１１に記載のユーザインタ
    フェース制御方法。
13. 【請求項１３】前記表示切り換えステップにおいて、 前記メニューモードから作業モードへの切り換え処理に
    おいて、表示装置に表示されたメニュー表示物体を作業
    対象物体に置き換える処理を実行することを特徴とする
    ことを特徴とする請求項９に記載のユーザインタフェー
    ス制御方法。
14. 【請求項１４】前記表示切り換えステップにおいて、 作業対象物体に対する処理を実行し前記表示装置に表示
    される作業物体を、前記作業モードからメニューモード
    への切り換え処理の実行に際して、前記メニュー表示物
    体に対する選択処理を実行するための選択用物体に置き
    換える処理を実行することを特徴とする請求項９に記載
    のユーザインタフェース制御方法。
15. 【請求項１５】前記ユーザインタフェース制御方法にお
    いて、 前記作業物体は、前記作業対象物体に対する変形処理を
    実行する変形処理ツールであり、 前記メニュー表示物体として異なる変形処理を実行する
    複数の異なる変形処理ツールを表示することを特徴とす
    る請求項１４に記載のユーザインタフェース制御方法。
16. 【請求項１６】前記ユーザインタフェース制御方法にお
    いて、 前記メニューモードから作業モードへの切り換え処理に
    おいて、表示装置に表示された選択用物体を作業物体に
    置き換える処理を実行することを特徴とする請求項１４
    に記載のユーザインタフェース制御方法。
17. 【請求項１７】表示装置に表示された作業対象物体に対
    する処理を実行する３次元モデリング装置において、 作業対象物体と作業物体を表示装置に表示する表示装置
    と、 該作業対象物体と作業物体の各々に対応する作業対象物
    体センサと作業物体ツールセンサとを各センサの３次元
    位置を取得可能な作用領域内において相対移動させて、
    該相対位置の変化に応じた３次元位置データを生成する
    データ入力部と、 前記データ入力部からのセンサの３次元位置データに基
    づいて前記表示装置に表示される作業対象物体と作業物
    体の表示態様を更新するとともに、前記作業対象物体に
    対する処理を実行する作業モードと、処理の態様を設定
    するメニューモードとの２つのモードの切り換え処理を
    実行し、前記作業モードからメニューモードへの切り換
    え処理において、表示装置に表示された作業対象物体を
    メニュー表示物体に置き換える処理を実行する制御手段
    を有することを特徴とする３次元モデリング装置。
18. 【請求項１８】前記制御手段は、 前記メニューモードから作業モードへの切り換え処理に
    おいて、表示装置に表示されたメニュー表示物体を作業
    対象物体に置き換える処理を実行する構成であることを
    特徴とすることを特徴とする請求項１７に記載の３次元
    モデリング装置。
19. 【請求項１９】３次元空間上の位置データに基づいて表
    示装置に物体の表示を実行する３次元モデル処理装置に
    おけるユーザインタフェース制御処理をコンピュータ・
    システム上で実行せしめるコンピュータ・プログラムを
    提供するプログラム提供媒体であって、前記コンピュー
    タ・プログラムは、 前記表示装置に表示された処理対象である作業対象物体
    に対する処理を実行する作業モードと、処理の態様を設
    定するメニューモードとの２つのモードの切り換え処理
    を実行するモード切り換えステップと、 前記作業モードからメニューモードへの切り換え処理に
    おいて、表示装置に表示された作業対象物体をメニュー
    表示物体に置き換える表示切り換えステップと、 を有することを特徴とするプログラム提供媒体。