JP2016110249A - 空間手書き入力システム、空間手書き入力方法およびコンピュータプログラム - Google Patents

Abstract

【課題】仮想平面に対する奥行き方向の操作軌跡を出力に反映させることにより、手書き入力システムの表現の幅を拡張するとともに、ユーザが仮想平面の位置を視覚的に把握できるようにすることを目的とする。
【解決手段】ポインタの移動軌跡の３次元座標を検出する座標検出部と、仮想平面を３次元空間内に設定する仮想平面設定部と、ポインタの移動軌跡の３次元座標を変換する座標変換部と、ポインタの移動軌跡のうち、ＸＹ平面上の軌跡を入力軌跡として取得する入力軌跡取得部と、ポインタの移動軌跡のうち、Ｚ軸方向の位置から仮想平面に対する接触度を算出して取得する接触度取得部と、接触度が閾値を超える場合に入力軌跡をＧＵＩ画面に表示し、かつ、ポインタの位置および仮想平面までの距離を示すためのインジケータをＧＵＩ画面に表示する表示部と、を備え、表示部が接触度に応じて表示軌跡の表現を変化させることを特徴とする空間手書き入力システム。
【選択図】図３

Description

本発明は、空間手書き入力システムに関し、具体的には、空間内の仮想平面を介したユーザの手書き入力に対して、仮想平面に対する奥行き方向の操作軌跡を反映した出力を可能とする空間手書き入力システムに関する。

近年、タッチパネルやジェスチャなどの、人間にとってより自然かつ直観的な操作でコンピュータ等の情報処理装置との情報の受け渡しを可能とする、ナチュラル・ユーザ・インターフェース（ＮＵＩ）と呼ばれる技術の開発が進んでいる。

例えば特許文献１においては、電子ペンと表示装置とが通信可能に接続された空間手書きシステムであって、前記電子ペンは、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合に、ストロークの切れ目として認識するストローク検出部と、前記ストロークの切れ目から次の切れ目までの、連続するストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を前記表示装置に出力する通信部と、を備え、前記表示装置は、前記平面座標の情報を受信して、前記仮想平面上のペン先の軌跡を画面上に表示する、ことを特徴とする空間手書きシステムが開示されている。また、特許文献２にも、同様の空間手書きシステムが開示されている。

特開２０１３−３９６１号公報 特開２０１３−１２５４８７号公報

特許文献１または２のように、所定の空間に仮想平面を設定し、仮想平面を介した手書き入力によりユーザがコンピュータ等と情報の受け渡しを行うことを可能とするシステムは、キーボードやマウスの操作と比べ、より自然で直観的な入力操作をユーザに提供すると同時に、入力の際の物理的制約（入力機器やその設置場所など）を軽減することを可能とし得るものである。仮想平面を用いたマンマシンインターフェースは、例えば医療の現場や食品製造の現場など、高い衛生管理が求められ、不要な物理的接触を避けることが求められる場面においても応用され得る。

これまで、仮想平面を用いて文字や図形を入力するシステムにおいては、ユーザの３次元空間における操作から仮想平面を基準とした２次元の軌跡を抽出し、そこに表れる文字や図形をより正確に認識するための技術が開示される一方で、操作の軌跡自体の表現方法についてはあまり着目されてこなかった。例えば特許文献１においては、３次元空間における操作の軌跡からユーザが入力する文字の切れ目を検出する技術が開示される一方で、文字を構成するストロークとして検出される軌跡の出力表現は、２次元座標における軌跡をそのまま一様な線で表すに過ぎないものであった。

また、仮想平面を用いた入力における基本的な問題点として、仮想平面はユーザの目に見えるものではないため、ユーザが仮想平面の位置を正確に把握することは容易とはいえないものであった。そのため、ユーザが文字または図形を仮想平面に入力する際、ユーザにとって仮想平面とポインタ（ユーザの指やペン型デバイスなど）との接触点がわかりにくく、自然な入力を妨げる要因となっていた。

本発明は以上のような課題を解決するためになされたものであり、仮想平面を用いた手書き入力において、仮想平面に対する奥行き方向の操作軌跡を出力に反映させることにより、手書き入力システムの表現の幅を拡張するとともに、ユーザが仮想平面の位置を視覚的に把握できるようにすることを目的とする。

上記課題を解決するために、本発明に係る空間手書き入力システムは、３次元空間におけるポインタの移動軌跡の３次元座標を検出する座標検出部と、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面に対応した仮想平面を前記３次元空間内に設定する仮想平面設定部と、前記ポインタの前記移動軌跡の前記３次元座標を、前記仮想平面上にＸ軸とＹ軸を取り、ＸＹ平面に直交する方向にＺ軸を取る座標に変換する座標変換部と、前記ポインタの前記移動軌跡のうち、前記ＸＹ平面上の軌跡を入力軌跡として取得する入力軌跡取得部と、前記ポインタの前記移動軌跡のうち、前記Ｚ軸方向の位置から前記仮想平面に対する接触度を算出して前記入力軌跡と関連付けて取得する接触度取得部と、前記接触度が所定の閾値を超える場合に前記入力軌跡を表示軌跡として前記ＧＵＩ画面に表示し、かつ、前記ＸＹ平面上の前記ポインタの位置および前記仮想平面までの前記Ｚ軸方向の距離を示すためのインジケータを前記ＧＵＩ画面に表示する表示部と、を備え、前記表示部が、前記接触度に応じて前記表示軌跡の表現を変化させることを特徴とする。

本発明の一実施形態によれば、本発明に係る空間手書き入力システムは、前記閾値が仮想平面との交点における前記接触度の値として設定され、前記接触度は前記仮想平面の手前側から奥側に向かって高くなるように算出されることを特徴とする。

本発明の一実施形態によれば、本発明に係る空間手書き入力システムは、前記表示部が、前記接触度が高いほど前記表示する軌跡の線の太さを増加させることを特徴とする。

本発明の一実施形態によれば、本発明に係る空間手書き入力システムは、前記表示部が、前記接触度が高いほど前記表示する軌跡の線の色の濃さを増加させることを特徴とする。

本発明の一実施形態によれば、本発明に係る空間手書き入力システムは、前記表示部が前記ＸＹ平面上の前記ポインタの現在位置を表すインジケータを前記ＧＵＩ画面に表示し、前記インジケータが前記接触度に応じてその色、形、大きさ、または表現方法を変化させることを特徴とする。

本発明の一態様によれば、本発明に係る空間手書き入力方法は、３次元空間におけるポインタの移動軌跡の３次元座標を検出する座標検出工程と、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面に対応した仮想平面を前記３次元空間内に設定する仮想平面設定工程と、前記ポインタの前記移動軌跡の前記３次元座標を、前記仮想平面上にＸ軸とＹ軸を取り、ＸＹ平面に直行する方向にＺ軸を取る座標に変換する座標変換工程と、前記ポインタの前記移動軌跡のうち、前記ＸＹ平面上の軌跡を入力軌跡として取得する入力軌跡取得工程と、前記ポインタの前記移動軌跡のうち、前記Ｚ軸方向の位置から前記仮想平面に対する接触度を算出し前記入力軌跡と関連付けて取得する接触度取得工程と、前記接触度が所定の閾値を超える場合に、前記入力軌跡を表示軌跡として前記ＧＵＩ画面に表示する表示工程と、前記ＸＹ平面上の前記ポインタの位置および前記仮想平面までの前記Ｚ軸方向の距離を示すためのインジケータを前記ＧＵＩ画面に表示する工程と、を含み、前記表示工程は、前記接触度に応じて前記表示軌跡の表現を変化させることを特徴とする。

本発明の一態様によれば、本発明に係るコンピュータプログラムは、本発明に係る情報処理方法をコンピュータにより実行させることを特徴とする。

本発明によれば、ポインタの仮想平面に対する奥行き方向（Ｚ軸方向）の位置情報から接触度を算出し、接触度に応じて、線の太さや色の濃さといった表示軌跡の表現を変化させることが可能となるため、仮想平面を用いた手書き入力システムにおける出力表現の幅が拡張され、出力における情報量を増加させることが可能となる。

また、ユーザにポインタと仮想平面の距離を視覚的にフィードバックすることが可能となるため、ユーザはそれを参照しながら入力を行うことにより、仮想平面に対する文字や図形等のより自然な入力が可能となる。これにより、仮想平面に対するより正確な入力が達成され、入力に引き続いて行われ得る文字認識等の精度の向上にも寄与する。

さらに、上述の利点の結果、ユーザが意図したとおりの精緻な手書きによる入力を、幅広い表現によって出力可能となることにより、仮想平面による手書き入力における情報量は、ペンや筆による紙媒体等の実平面への手書き入力の情報量と比べても遜色のないものとなり、書道や絵画といった芸術的な用途においても仮想平面による手書き入力を用いることが可能となり得る。

本発明に係る空間手書き入力システムの構成の一例を模式的に示す図である。 本発明に係る空間手書き入力システムの主要構成の一例を示すブロック図である。 本発明の一実施形態における初期座標軸と変換座標軸の関係を示す図である。 図４（Ａ）は、仮想平面とポインタおよび接触度の関係を示す斜視図である。図４（Ｂ）は、仮想平面とポインタおよび接触度の関係を示す側面図である。図４（Ｃ）は、仮想平面に対するポインタの深さと接触度の関係を表す図である。 本発明の一実施形態における、入力軌跡と接触度および表示軌跡の関係を示す図である。 接触度に応じたインジケータ表示の一例を示す図である。 本発明の一実施形態に係る空間手書き入力システムの処理の流れを示すフローチャートである。

（実施例）
以下、本発明の空間手書き入力システムの実施形態を、図面を参照しながら説明する。なお、以下に示す実施例は本発明の空間手書き入力システムの好適な具体例であり、一般的な情報処理装置、センサ、および表示機器等のハードウェア構成および構造に即した種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。また、以下に示す実施形態における構成要素は、適宜、既存の構成要素との置き換えが可能であり、かつ、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下に示す実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（構成概要）
図１は、本発明に係る空間手書き入力システムの構成の一例を模式的に示す図である。本実施例における空間手書き入力システム１は、センサ１０１、情報処理装置１０２、および表示装置１０３を備える。３次元空間に設定した仮想平面１０４上でユーザがポインタを動かして文字や図形を手書きすると、情報処理装置１０２は、センサ１０１を介して取得されるポインタ１０５の操作軌跡１０６に基づき、後述する手法を用いて表示軌跡１０８を決定し、表示装置１０３のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面１０７に表示する。

センサ１０１は、所定範囲の空間内で、検知対象であるポインタ１０５の３次元座標を検出可能なものであればよく、例えば、赤外線カメラと赤外線射出ＬＥＤを備えるセンサを用いることが可能である。好適には、センサ１０１は、ポインタとして用いられる人間の手指の形状を検知可能であり、指の先端部を特徴点として認識し、その座標を検出することが可能である。センサ１０１は有線または無線で情報処理装置１０２と接続される。

情報処理装置１０２は、後述する情報処理が可能なものであればよく、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、外部メモリ、入力Ｉ／Ｆ、および出力Ｉ／Ｆ等を備えるパーソナルコンピュータ（ＰＣ）や携帯端末等を用いることが可能である。

ＣＰＵは、記憶部であるＲＯＭ等に記憶されているプログラムに従って、システムバスに接続される各デバイスを総括的に制御する。ＲＡＭは、ＣＰＵの主メモリ、ワークエリア等として機能するとともに、入力情報展開領域、環境データ格納領域としても用いられる。ＲＯＭは、各種プログラムおよびデータを格納する。入力Ｉ／Ｆは、センサ１０１からの入力を制御する。出力Ｉ／Ｆは、表示装置１０３への画面表示を制御する。構成によっては、スピーカへの音声出力を制御するようにしてもよい。外部メモリは、保存または読み取り可能な記憶媒体として機能し、オペレーティングシステム（ＯＳ）、Ｗｅｂブラウザ、およびアプリケーションが記憶されている。アプリケーション、および各モジュール（ソフトウェア）のプログラムは外部メモリに記憶され、必要に応じてＲＡＭに読み出されてＣＰＵにより実行される。これにより、アプリケーションまたは各モジュール（ソフトウェア）の機能を実現する。本実施例で説明する処理は、外部メモリに記録されたプログラムをＲＡＭにロードし、ＣＰＵが実行することによって実現される。なお、プログラムは、外部メモリ以外にもＲＡＭやＲＯＭにおいて記憶されてもよい。

なお、本実施形態において、センサ１０１、情報処理装置１０２、および表示装置１０３を別個の構成要素として記述するが、例えばセンサ１０１は情報処理装置１０２に内蔵されていてもよく、あるいは、情報処理装置１０２と表示装置１０３が一体化したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）として構成してもよい。

（ソフトウェア構成）
図２は、本実施形態に係る空間手書き入力システムが行う処理を表す機能ブロック図である。図２に示す各構成部は、図１に示した情報処理装置１０２のＣＰＵがＲＯＭまたは外部メモリに記憶されているプログラムをＲＡＭにロードし、ロードされたプログラムをＣＰＵが実行することで実現される。

座標検出部２０２は、センサ２０１の起動後、センサ１０１から送られてくる測定データに基づき、所定空間におけるポインタの移動軌跡の３次元座標を検出する。好適には、ポインタの少なくとも１点を特徴点として認識し、当該特徴点の座標を検出することが可能である。更に好適には、検知対象であるポインタの細長部分や棒状部分の先端部を特徴点として認識し、その座標を検出可能である。例えば、ポインタが人間の手である場合、手のひらを大きく広げた状態では各指の先端部が特徴点として認識され得るが、拳を握って１本の指のみを伸ばした場合、その指の先端部のみが特徴点として認識され得る。なお、座標検出部２０２は、センサ２０１に備えられていてもよい。

仮想平面設定部２０３は、センサ２０１の検知範囲の空間内に、任意の位置、大きさ、角度で仮想平面を設定し、その座標を仮想平面情報２０４として記憶する。仮想平面の設定は、センサ起動時に自動で行われるようにしてもよいし、センサ起動後、ユーザの特定の操作に応じて設定されるようにしてもよい。

座標変換部２０５は、座標検出部２０２が検出したポインタの移動軌跡を表す３次元座標（初期座標）を、設定された仮想平面に基づく座標（変換座標）に変換する。図３は、本実施形態における、初期座標軸と変換座標軸の関係の例を示す。座標検出部２０２は、予め設定された座標軸Ｘ’Ｙ’Ｚ’上でポインタの移動軌跡の３次元座標を取得する（初期座標）。後述する入力軌跡および接触度の取得といった処理のために、座標変換部２０５は、仮想平面情報２０４を参照して、初期座標軸上で検出された３次元座標（Ｘ’Ｙ’Ｚ’座標）を、仮想平面上にＸＹ軸を取り、仮想平面に直交する方向にＺ軸を取る変換座標軸上の座標（ＸＹＺ座標）に変換する。

入力軌跡取得部２０６は、ポインタの移動軌跡の変換後の座標のＸ軸およびＹ軸の値を参照し、ＸＹ平面上の２次元座標を入力軌跡として取得する。一方、接触度取得部２０７は、ポインタの移動軌跡の変換後の座標のＺ軸の値を参照し、その値を用いて仮想平面に対する接触度を算出し、入力軌跡と関連付けて取得する。本実施形態において、接触度は、仮想平面の手前側から奥側に向かって高くなるように算出される。

表示部２０８は、入力軌跡と接触度に基づき、実際にＧＵＩ２１１に出力される表示軌跡を決定する。具体的には、接触度が予め設定された閾値を超える場合に、閾値を超える接触度と関連付けられた入力軌跡を表示軌跡とし、接触度の高さに応じて、表示軌跡の表現を変化させる。こうして決定された表示軌跡情報２１０が、ＧＵＩ２１１への出力に用いられる。

また、表示部２０８は、入力軌跡と接触度に基づき、現在のポインタのＸＹ平面上における位置と仮想平面に対する距離を取得し、インジケータ表示情報２０９として記憶する。表示部２０８は、このインジケータ表示情報２０９に基づき、ユーザが仮想平面の位置を把握するための視覚的フィードバックとしてのインジケータをＧＵＩ２１１上に表示する。

図４は、仮想平面とポインタおよび接触度の関係を示す図である。図４（Ａ）および図４（Ｂ）はそれぞれ、ポインタが仮想平面と接触している状態を示す斜視図と側面図である。設定された仮想平面４０１にポインタ４０２が接近し、特徴点４０３が仮想平面４０１よりも深さ４０４だけ奥側に位置している。図４において、表示軌跡を決定するための接触度の閾値は仮想平面との交点における値として設定されており、特徴点４０３はこの閾値を超えた接触度を有していることになる。図４（Ｃ）は、仮想平面に対するポインタの深さと接触度の関係を例示する図である。図４（Ｃ）において、Ｚ軸方向の深さｂは、上述の閾値を指しており、この例においては仮想平面との交点を指す。ポインタ（特徴点）が深さｂよりも奥側にあるとき、接触度は閾値よりも高くなり、入力軌跡が表示軌跡と判定されることとなる。また、Ｚ軸方向の深さがｂからｃに近付くほど接触度は高くなり、深さｃのときに上限値となる。深さｃを超えると、それ以降接触度は一定となる。一方、ポインタ（特徴点）が深さｂよりも手前側にあるとき、接触度は閾値を下回り、このときの入力軌跡は表示軌跡として判定されない。Ｚ軸方向の深さがｂからａに近付くほど接触度は低くなり、深さａのときに下限値となる。なお、本実施形態において、接触度の閾値を仮想平面との交点の値に設定したが、別の実施形態において、仮想平面よりも手前または奥に接触度の閾値を設定することも可能である。また、この例において深さａおよびｃを接触度の上限および下限を定めるための任意の値として設定したが、別の実施形態において深さａおよびｃを設定しないことも可能である。さらに、図４（Ｃ）において、Ｚ軸方向の深さに応じて接触度が線形に変化するものとして記載したが、接触度を曲線的に変化させることも可能である。例えば、閾値から一定範囲では接触度の変化を小さくし、一定範囲を超えると接触度が大きく変化するように設定することも可能である。また、接触度の変化の仕方を複数種類用意し、ＧＵＩ画面上の操作等によりユーザが選択可能なように構成することも可能である。

図５は、入力軌跡と接触度、および表示軌跡の関係を示す図である。入力軌跡取得部２０６によって２次元座標からなる入力軌跡が取得されるとき、併せて接触度取得部２０７により入力軌跡の２次元座標と関連付けられた接触度が取得される。表示部２０８は、入力軌跡と接触度に基づき、表示軌跡とその表現を決定する。図５において、入力軌跡の始端部および終端部の接触度は閾値を下回っており、そのため入力軌跡の始端部と終端部は表示軌跡には表れていない。また、入力軌跡の接触度は始端部から中間部にかけて高くなり、中間部から終端部にかけて再び低くなっている。こうした接触度の変化を反映して、表示軌跡はその始端部から中間部にかけて線が太くなり、中間部から終端部にかけて再び線が細くなっている。このように、接触度の変化に応じて表示軌跡の線の太さを変える実施形態においては、恰も紙媒体等の実平面上に筆で文字や絵を書くときのように、軽く触れれば細い線が描かれ、強く押し当てれば太い線が描かれるという「筆圧」の感覚をユーザに体験させることが可能である。なお、接触度に応じた表示軌跡の表現の変化は、線の太さの変化に限定されるものではない。別の実施形態においては、接触度に応じて線の色の濃さを変化させてもよく、あるいは、接触度に応じて線の太さと色の濃さを変化させてもよい。

図６は、接触度に応じたインジケータの表現方法の変化の一例を示す図である。この例では、ポインタが仮想平面にある程度近付き、接触度が任意に定めた下限値に達した場合に、輪郭線のみの円をインジケータとしてＧＵＩ画面に表示し、ＸＹ平面上のポインタの位置をユーザに通知する。ポインタが仮想平面に更に近付き、接触度が下限値を超えたとき、円周内に色をつけた新たな円を輪郭線の円の中心に発生させる。ポインタが仮想平面に近付き、接触度が上述の閾値に近付くにつれて、色つきの円を徐々に大きく表示し、接触度が閾値に達した場合に輪郭線の円と色つきの円が重なるようにする。このように、インジケータの位置によってＸＹ平面上の位置を示し、インジケータの表現の変化によって仮想平面までの距離を示すことにより、ユーザはポインタと目に見えない仮想平面との３次元の位置関係を視覚的に把握することが可能となる。なお、こうしたユーザに対する視覚的フィードバックのためのインジケータの表現方法の変化に代えて、またはこれに加えて、インジケータの色、大きさ、形、透過度などを変化させてもよい。

（フローチャート）
図７は、本実施形態に係る空間手書き入力システムの処理の流れを示すフローチャートである。センサ２０１の起動後、ステップ７００において、センサ２０１の検知範囲内の空間に仮想平面を設定する。仮想平面の設定は、センサ２０１の起動に関連付けて自動で行うようにしてもよいし、ユーザの特定の操作に応じて設定するようにしてもよい。ユーザが検知空間内でポインタを移動させると、ステップ７０２において、ポインタの移動軌跡の３次元座標が取得される。取得された３次元座標は、ステップ７０４において、仮想平面を基準とした座標軸の座標に変換される。次いで、ステップ７０６において、変換後の座標から入力軌跡と接触度が取得される。

次いで、ステップ７０８において、接触度が予め任意に設定された下限値を超えたか否かが判定され、下限値を超える接触度が検出されない場合はステップ７０２から再び繰り返される。下限値を超える接触度が検出されると、ステップ７１０において、ポインタと仮想平面の位置関係をユーザに視覚的にフィードバックするためのインジケータがＧＵＩ画面に表示される。その後、ステップ７１２では、ポインタが更に仮想平面に近付き、接触度が閾値を超えたか否かが判定され、閾値を超える接触度が検出されない場合はステップ７１０のインジケータの表示が継続される。閾値を超える接触度が検出されると、ステップ７１４において、閾値を超えた接触度と関連付けられた入力軌跡を、接触度に応じた表現による表示軌跡としてＧＵＩ画面に表示する。

その後、ステップ７１６において接触度が閾値を下回ったことが検出されるまで、連続的な表示軌跡が表示されることとなり、接触度が閾値を下回ったことが検出されると、ステップ７１８で表示軌跡の表示が終了する。この動作は、ＧＵＩ画面上では表示される線の切れ目として表れることになる。その後、ステップ７２０で、ポインタが仮想平面から離れ、接触度が下限値を下回ったか否かが判定される。接触度が下限値を下回らない限り、ステップ７１０のインジケータ表示が継続され、接触度が下限値を下回ったことが検出されると、ステップ７２２でインジケータの表示が終了する。以上の処理が、本システムの起動中に繰り返し行われることとなる。

以上、本実施形態によれば、ポインタの仮想平面に対する奥行き方向（Ｚ軸方向）の位置情報から仮想平面との接触度を算出して表示軌跡を決定するとともに、接触度に応じて線の太さや色の濃さといった表示軌跡の表現を変化させることが可能となるため、仮想平面を用いた手書き入力システムにおける出力表現の幅が拡張され、出力における情報量を増加させることが可能となる。また、ユーザにポインタと仮想平面の間の距離を視覚的にフィードバックすることが可能となり、ユーザにとって仮想平面までの距離の把握が容易となることにより、より自然な入力が可能となり、入力の正確性も向上にも貢献することが期待される。

（その他の実施形態）
以上、本発明の好適な実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。本発明の目的は、上述の実施例の機能を実現するプログラムコード（コンピュータプログラム）を格納した記憶媒体をシステムあるいは装置に供給し、供給されたシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、上述した実施形態では、情報処理装置がプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。本発明は、説明された特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形または変更が可能である。

１０１ センサ
１０２ 情報処理装置
１０３ 表示装置
１０４ 仮想平面
１０５ ポインタ
１０６ 操作軌跡
１０７ ＧＵＩ画面
１０８ 表示軌跡

Claims (7)

1. ３次元空間におけるポインタの移動軌跡の３次元座標を検出する座標検出部と
   ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面に対応した仮想平面を前記３次元空間内に設定する仮想平面設定部と、
   前記ポインタの前記移動軌跡の前記３次元座標を、前記仮想平面上にＸ軸とＹ軸を取り、ＸＹ平面に直交する方向にＺ軸を取る座標に変換する座標変換部と、
   前記ポインタの前記移動軌跡のうち、前記ＸＹ平面上の軌跡を入力軌跡として取得する入力軌跡取得部と、
   前記ポインタの前記移動軌跡のうち、前記Ｚ軸方向の位置から前記仮想平面に対する接触度を算出し前記入力軌跡と関連付けて取得する接触度取得部と、
   前記接触度が所定の閾値を超える場合に前記入力軌跡を表示軌跡として前記ＧＵＩ画面に表示し、かつ、前記ＸＹ平面上の前記ポインタの位置および前記仮想平面までの前記Ｚ軸方向の距離を示すためのインジケータを前記ＧＵＩ画面に表示する表示部と、を備え、
   前記表示部は、前記接触度に応じて前記表示軌跡の表現を変化させる、
   空間手書き入力システム。
2. 前記閾値は、前記仮想平面との交点における前記接触度の値として設定され、
   前記接触度は、前記仮想平面の手前側から奥側に向かって高くなるように算出される、請求項１に記載の空間手書きシステム。
3. 前記表示部は、前記接触度が高いほど前記表示する軌跡の線の太さを増加させる、請求項２に記載の空間手書き入力システム。
4. 前記表示部は、前記接触度が高いほど前記表示する軌跡の線の色の濃さを増加させる、請求項２に記載の空間手書きシステム。
5. 前記表示部は、前記ＸＹ平面上の前記ポインタの現在位置を表すインジケータを前記ＧＵＩ画面に表示し、
   前記インジケータは、前記接触度に応じてその色、形、大きさ、または表現方法が変化する、
   請求項１〜４のいずれか１項に記載の空間手書きシステム。
6. ３次元空間におけるポインタの移動軌跡の３次元座標を検出する座標検出工程と、
   ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面に対応した仮想平面を前記３次元空間内に設定する仮想平面設定工程と、
   前記ポインタの前記移動軌跡の前記３次元座標を、前記仮想平面上にＸ軸とＹ軸を取り、ＸＹ平面に直行する方向にＺ軸を取る座標に変換する座標変換工程と、
   前記ポインタの前記移動軌跡のうち、前記ＸＹ平面上の軌跡を入力軌跡として取得する入力軌跡取得工程と、
   前記ポインタの前記移動軌跡のうち、前記Ｚ軸方向の位置から前記仮想平面に対する接触度を算出し前記入力軌跡と関連付けて取得する接触度取得工程と、
   前記接触度が所定の閾値を超える場合に、前記入力軌跡を表示軌跡として前記ＧＵＩ画面に表示する表示工程と、
   前記ＸＹ平面上の前記ポインタの位置および前記仮想平面までの前記Ｚ軸方向の距離を示すためのインジケータを前記ＧＵＩ画面に表示する工程と、を含み、
   前記表示工程は、前記接触度に応じて前記表示軌跡の表現を変化させる、
   空間手書き入力方法。
7. 請求項６に記載の方法をコンピュータにより実行させることを特徴とするコンピュータプログラム。

Images