JP4602166B2

JP4602166B2 - 手書き情報入力装置。

Info

Publication number: JP4602166B2
Application number: JP2005167289A
Authority: JP
Inventors: 宏田中; 勝彦秋山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-06-07
Filing date: 2005-06-07
Publication date: 2010-12-22
Anticipated expiration: 2025-06-07
Also published as: CN1877508A; US7489307B2; CN100465867C; JP2006343856A; US20060274944A1

Description

本発明は、ＧＵＩ画面を持つ手書き情報入力装置に関し、特に、スタイラスペンとタブレット、マウスなどのポインティングデバイスを用いて手書きパターンの入力と表示を行い、さらに、アプリケーションプログラムへの操作指示を画面上のメニュー操作によって行う手書き情報入力装置に関する。

従来、ＧＵＩ画面を持つ情報処理装置が広く用いられている。ＧＵＩ画面を持つ情報処理装置では、画面に表示されたオブジェクトやメニューなどを、マウスなどの座標入力装置により、直接指示して操作するインタフェースが主流である。座標入力装置としては、画面の上に重ねて設置されたタブレットにスタイラスペンにより座標を指示するような装置もあり、ＧＵＩ画面上に直接手書き入力を行うインタフェースも存在する。

手書き入力アプリケーションとしては、例えば筆跡入力が可能な描画ツールや電子白板プログラムなどが知られている。これらの手書き描画プログラムでは、画面上に筆記した手書きパターンが保存され、表示されるが、一方で既に入力された描画データを削除したり移動したりといった編集コマンドを実行することも必要である。したがって同じ座標入力装置を用いて、筆跡入力と編集コマンドの双方を実行しなければならない。

そのためには、例えば図８（ａ）に示すように、アプリケーション画面９０の端に設けたメニュー９１を選択することによって、描画モードと編集モード(例えば選択モード、移動モードなど)とを切り替えるという方法が一般的である。また画面の端にメニューがあると操作位置の移動量が大きく不便なので、図８（ｂ）に示すように、画面９０に重ねて表示されるフローティングメニュー９２を用いることもある。このようなフローティングメニューは、筆跡入力などの画面操作位置のすぐ近くにコマンド選択のためのメニューを置くことができるため、操作性の向上に役立っている。

しかし、画面上にフローティングメニューを配置すると、画面の一部を隠してしまうという問題がある。例えば、図９（ａ）に示した例では、「手書き文字の入力」という文字列が画面９０に手書きパターンにより入力されているが、「の」という文字がフローティングメニュー９２の背面に隠されている。そこで、メニューの後ろに隠れた画面表示がユーザにも見えるよう、図９（ｂ）に示すように、フローティングメニュー９２を半透明状態に表示すれば良い。これと同様の技術として、透明なソフトキーボードが、特許文献１に開示されている。このように、画面上に重ねて表示されたメニュー等が必要に応じて半透明に表示されれば、ユーザが画面を見る際の邪魔にならず、なおかつメニュー操作が手元で容易に行える。
特開２００４−５４５８９号公報

しかしながら、フローティングメニューを半透明に表示した場合、手書き文字の入力中に筆跡がメニューの上を通るとメニュー操作が起動してしまうという問題が生ずる。すなわち、半透明メニューの背景画面は表示されてはいるが、そこに手書き入力はできないということになる。そのため、たとえば電子白板に文字を筆記している際に、メニューが表示されている領域に筆跡を入力したいと思えば、一旦メニューを別の場所に移動させてから再度書き始めるという操作が必要となる。またメニューの近くに筆跡を入力している最中に、誤ってメニューを操作してしまうという危険も生ずる。

本発明は、以上のような問題に鑑み、画面上に表示されたメニューがある位置にも手書き入力が可能であり、かつ、必要に応じてメニュー操作も可能な、手書き情報入力装置を提供することを目的とする。

上記の目的を達成するために、本発明にかかる手書き情報入力装置は、画面を有する表示部と、画面に表示すべきデータを処理するデータ処理部と、前記画面において操作者によりポインティングデバイスで指定された位置の座標データを取得する座標入力部と、前記画面にメニュー画像を表示するメニュー表示部と、前記座標入力部で取得された座標データと所定の判定基準に基づき、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定する手書き入力検出部と、前記手書き入力検出部による前記判定の結果に応じて、前記画面に表示される前記メニュー画像の透明度を変更するメニュー表示変更部と、前記座標入力部で取得された座標データに基づいて、前記メニュー画像内のメニュー項目に関連付けられた処理を実行するメニュー操作部と、前記手書き入力検出部により、前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー操作部による処理を無効とし、前記操作者がメニューを指示していると判定された場合は、前記メニュー操作部による処理を有効とするメニュー操作切換部とを備えたことを特徴とする。

この構成によれば、前記手書き入力検出部により、前記操作者が手書きパターンを入力していると判定された場合は、メニュー操作切換部が、前記メニュー操作部による処理を無効とし、前記操作者がメニューを指示していると判定された場合は、メニュー操作切換部が、前記メニュー操作部による処理を有効とする。これにより、操作者によって入力された手書きパターンがメニュー画像の表示領域内に進入しても、メニュー操作部による処理が無効とされているので、メニュー操作が誤起動されることがない。また、操作者がメニュー操作を行おうとする場合は、メニュー操作切換部が、前記メニュー操作部による処理を有効とするので、必要なメニュー操作が起動される。これにより、画面上に表示されたメニューがある位置にも手書き入力が可能であり、かつ、必要に応じてメニュー操作も可能な、手書き情報入力装置を提供することができる。

また、本発明にかかる手書き情報入力装置において、前記手書き入力検出部により前記操作者がメニューを指示していると判定された場合は、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、少なくとも当該メニュー画像内のメニュー項目を識別可能な透明度である所定の操作時透明度に設定し、前記手書き入力検出部により前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を前記操作時透明度よりも高い透明度である所定の筆記時透明度に設定することが好ましい。

これにより、操作者が手書きパターンを入力している場合はメニュー画像をより透明に近い状態に表示することにより、操作者は、手書きパターンを含む背景画像が見える状態で手書きパターンの入力を行うことができる。また、操作者がメニュー操作を行う場合はメニュー画像をより不透明に近い状態に表示することにより、メニュー画像が鮮明に表示され、操作者によって見やすいメニューを提示できる。

また、本発明にかかる手書き情報入力装置において、前記筆記時透明度が完全な透明であることが好ましい。この構成によれば、手書きパターンの入力時は、メニューが全く表示されない状態で手書き入力を行うことができる。

また、本発明にかかる手書き情報入力装置において、前記座標入力部による座標データの取得が中断してから一定時間経過後に、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、前記操作時透明度と筆記時透明度との間の透明度に設定することも好ましい。この構成によれば、次に操作者が入力を開始する際に、メニュー画像が操作時透明度と筆記時透明度との間の透明度で表示されるので、次の入力が手書きパターンであってもメニュー操作であっても、操作者にとって比較的見やすい表示を実現できる。

また、本発明にかかる手書き情報入力装置において、前記座標入力部が、近接点感知可能なタブレットであり、前記ポインティングデバイスが座標を指定する前に前記ポインティングデバイスの位置座標を検知し、前記座標入力部により検知された位置座標がメニュー画像の表示領域内または近傍にある場合、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、前記操作時透明度と筆記時透明度との間の透明度に設定することも好ましい。

上記の構成によれば、ポインティングデバイスの位置座標がメニュー画像の表示領域内または近傍にある場合に、メニュー画像が、操作時透明度と筆記時透明度との間の透明度で表示されるので、操作者によって開始される入力が手書きパターンであってもメニュー操作であっても、操作者にとって比較的見やすい表示を実現できる。

また、本発明にかかる手書き情報入力装置において、前記座標入力部による座標データの取得が開始されてから、前記手書き入力検出部により前記操作者が手書きパターンを入力しているかメニューを指示しているかが判定されるまでの間、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、前記操作時透明度と筆記時透明度との間の透明度に設定することも好ましい。

この構成によれば、手書き入力検出部により前記操作者が手書きパターンを入力しているかメニューを指示しているかが判定されるまでの間、メニュー画像が、操作時透明度と筆記時透明度との間の透明度で表示される。従って、操作者によって入力が開始された直後において、操作者による入力が手書きパターンであってもメニュー操作であっても、操作者にとって比較的見やすい表示を実現できる。

また、本発明にかかる手書き情報入力装置において、前記手書き入力検出部は、ストロークの始点位置がメニュー画像の表示領域内にあるか否か、ストロークの始点位置から現在位置までの距離が所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の長さが所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の筆記時間が所定の閾値以上であるか否か、直前のストロークが手書きパターンであるか否か、ストロークの入力開始が直前のストロークの入力終了から所定の時間以内であるか否か、の少なくとも一つを前記判定基準として、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定することができる。

また、本発明にかかる手書き情報入力装置において、手書き入力検出部が、ストロークの始点位置から現在位置までの距離が所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の長さが所定の閾値以上であるか否か、の少なくとも一つを前記判定基準として、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定すると共に、直前のストロークが手書きパターンであり、かつ、ストロークの入力開始が直前のストロークの入力終了から所定の時間以内である場合、前記閾値の値を変更することも好ましい。

また、上記の目的を達成するために、本発明にかかるプログラムは、画面を有する表示部と、前記画面において操作者によりポインティングデバイスで指定された位置の座標データを取得する座標入力部とを備えた手書き情報入力装置の動作を制御するプログラムであって、前記手書き情報入力装置のプロセッサに、画面に表示すべきデータを処理するデータ処理と、前記画面にメニュー画像を表示するメニュー表示処理と、前記座標入力部で取得された座標データと所定の判定基準に基づき、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定する手書き入力検出処理と、前記手書き入力検出処理による前記判定の結果に応じて、前記画面に表示される前記メニュー画像の透明度を変更するメニュー表示変更処理と、前記座標入力部で取得された座標データに基づいて、前記メニュー画像内のメニュー項目に関連付けられた処理を実行するメニュー操作処理と、前記手書き入力検出処理により、前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー操作処理を無効とし、前記操作者がメニューを指示していると判定された場合は、前記メニュー操作処理を有効とするメニュー操作切換処理とを実行させることを特徴とする。

また、上記の目的を達成するために、本発明にかかるプログラム記録媒体は、画面を有する表示部と、前記画面において操作者によりポインティングデバイスで指定された位置の座標データを取得する座標入力部とを備えた手書き情報入力装置の動作を制御するプログラムを記録した記録媒体であって、前記プログラムは、前記手書き情報入力装置のプロセッサに、画面に表示すべきデータを処理するデータ処理と、前記画面にメニュー画像を表示するメニュー表示処理と、前記座標入力部で取得された座標データと所定の判定基準に基づき、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定する手書き入力検出処理と、前記手書き入力検出処理による前記判定の結果に応じて、前記画面に表示される前記メニュー画像の透明度を変更するメニュー表示変更処理と、前記座標入力部で取得された座標データに基づいて、前記メニュー画像内のメニュー項目に関連付けられた処理を実行するメニュー操作処理と、前記手書き入力検出処理により、前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー操作処理を無効とし、前記操作者がメニューを指示していると判定された場合は、前記メニュー操作処理を有効とするメニュー操作切換処理とを実行させることを特徴とする。

本発明によれば、画面上に表示されたメニューがある位置にも手書き入力が可能であり、かつ、必要に応じてメニュー操作も可能な、手書き情報入力装置を提供することが可能となる。

本発明にかかる手書き情報入力装置の一実施形態について、以下に説明する。

本実施形態にかかる手書き情報入力装置は、ペンを用いて画面に手書き入力が可能な、いわゆるタブレット型パーソナルコンピュータや、ディスプレイタブレットを装備したパーソナルコンピュータまたはＰＤＡ等である。

図１は、本実施形態の手書き情報入力装置１の機能的構成を示すブロック図である。図１に示すように、手書き情報入力装置１は、表示部１１、座標入力部１２、データ処理部１３、メニュー表示部１４、メニュー表示変更部１５、メニュー操作部１６、手書き入力部１７、手書き入力検出部１８、メニュー操作切換部１９を備えている。

表示部１１は、液晶ディスプレイ等の平面型ディスプレイ装置により実現できる。座標入力部１２は、表示部１１の上に重畳される透明のタブレット装置により実現できる。すなわち、手書き情報入力装置１では、表示部１１および座標入力部１２は、表示一体型タブレットとして構成される。なお、図１では、データ処理部１３、メニュー表示部１４、メニュー表示変更部１５、メニュー操作部１６、手書き入力部１７、手書き入力検出部１８、および、メニュー操作切換部１９を、それぞれ独立した機能ブロックとして記載した。しかし、これらのブロックは、手書き情報入力装置のＣＰＵが所定のプログラム（オペレーティングシステムおよびアプリケーションプログラム）に従って動作することによって機能的に実現されるものである。すなわち、これらのブロックに個々に対応する別個のハードウェアが必ずしも存在するわけではない。

ここで、図２を参照し、手書き情報入力装置１において、操作者によりペンを用いた入力が行われた際に、図１に示した各ブロックでどのような処理がなされるかについて説明する。図２に示すように、座標入力部１２（タブレット装置）と表示部１１（ディスプレイ装置）は、仮想的に、手書き判定層１２ａ、メニュー層１２ｂ、アプリケーション入力層１２ｃ、表示層１１ａをそれぞれ提供する。手書き判定層１２ａは、主として手書き入力検出部１８によって実現される。メニュー層１２ｂは、主としてメニュー操作部１６によって実現される。アプリケーション入力層１２ｃは、主として手書き入力部１７によって実現される。表示層１１ａは、主として、データ処理部１３、メニュー表示部１４、およびメニュー表示変更部１５によって実現される。

操作者が座標入力部１２にペンを用いて入力を行うと、まず、最上位層である手書き判定層１２ａが、ペンで入力された座標情報を取得する。取得された座標情報は、手書き判定層１２ａから手書き入力検出部１８へ渡される。手書き入力検出部１８は、この座標情報に基づき、操作者が手書きパターンを入力しているのか否かを判定する。なお、本発明においての「手書きパターン」とは、操作者が文字、記号、または、図形等を入力するためにペンで描く筆跡を意味し、メニュー操作を行うための入力（メニューに対するタップ操作等）は手書きパターンではない。

手書き入力検出部１８により、操作者が手書きパターンを入力していると判定されれば、メニュー操作切換部１９が、メニュー操作部１６に対して入力座標を無視するよう指示する。これにより、座標情報は、メニュー層１２ｂを通り抜けて（すなわちメニュー操作部１６によって何の処理もされずに）、アプリケーション入力層１２ｃに達し、手書き入力部１７により処理される。

一方、手書き入力検出部１８により、操作者の入力が手書きパターンではないと判定された場合は、座標情報はメニュー層１２ｂに渡され、メニュー操作部１６がメニュー操作にその座標情報を用いる。ここで、座標情報が示す位置が、表示部１１においてメニューが表示されている領域（以下、メニュー領域と称する）に含まれない場合は、座標情報はメニュー層１２ｂから下位のアプリケーション入力層１２ｃに渡される。一方、座標情報が示す位置がメニュー領域に含まれる場合は、その座標情報は、メニュー操作に用いられ、アプリケーション入力層１２ｃには渡されない。

以上の処理の様子は、データ処理部１３を通して表示層１１ａにて表示されると共に、メニュー表示部１４およびメニュー表示変更部１５により、必要に応じてメニューの表示態様が変更される。つまり、データ処理部１３は、メニュー以外の様々な画像（手書きパターンの筆跡を含む）を表示部１１の画面に表示するためのデータ処理を行い、メニュー表示部１４は、メニュー画像を表示部１１の画面に表示するために必要なデータ処理を行う。

次に、手書き入力検出部１８が手書きパターンの入力か否かを判定する処理について、二つの具体例を説明する。
（第１の具体例）
第１の具体例では、手書き入力検出部１８は、ペンダウンから現在までの座標系列(ストローク)を取得し、（１）始点位置（ペンダウン位置）から現在の座標位置までの距離、（２）軌跡の長さ、（３）軌跡の筆記時間、の３種類の判定基準によって、操作者が入力したのが手書きパターンか否かを判定する。すなわち、この第１の具体例では、手書き入力検出部１８は、ストローク単位で、各ストロークが手書きパターンか否かを、各ストロークの筆記中に判定することができる。

図３に、第１の具体例による判定処理の流れを示す。操作者による座標点入力が開始されると、手書き入力検出部１８は、座標入力部１２から始点位置（ペンダウン位置）の座標情報を受け取り、始点位置がメニュー領域内か否かを判断する（Ｏｐ１）。ここで、始点位置がメニュー領域内でなければ（Ｏｐ１の結果がｎｏ）、手書き入力検出部１８は、操作者による入力が手書きパターンであると判定する（Ｏｐ７）。一方、始点位置がメニュー領域内であれば（Ｏｐ１の結果がｙｅｓ）、手書き入力検出部１８は、操作者の筆記中に座標入力部１２によって順次サンプリングされている、次の座標情報を受け取る（Ｏｐ２）。

手書き入力検出部１８は、始点位置とＯｐ２で受け取った座標情報が示す位置との直線距離が所定の閾値（Ｔｈ１）以上か否かを判断する（Ｏｐ３）。Ｏｐ３の結果がｙｅｓであれば、手書き入力検出部１８は、操作者による入力が手書きパターンであると判定する（Ｏｐ７）。一方、Ｏｐ３の結果がｎｏであれば、手書き入力検出部１８は、始点位置からＯｐ２で受け取った座標情報が示す位置までの軌跡の長さが所定の閾値（Ｔｈ２）以上か否かを判断する（Ｏｐ４）。Ｏｐ４の結果がｙｅｓであれば、手書き入力検出部１８は、操作者による入力が手書きパターンであると判定する（Ｏｐ７）。このように、始点位置からの直線距離と軌跡の長さの両方をチェックすることにより、例えばサークルが書かれた場合などにも、手書きパターンであるか否かを正しく判断することができる。

一方、Ｏｐ４の結果がｎｏであれば、手書き入力検出部１８は、始点位置からＯｐ２で受け取った座標情報が示す位置までの軌跡の筆記時間が所定の閾値（Ｔｈ３）以上か否かを判断する（Ｏｐ５）。Ｏｐ５の結果がｙｅｓであれば、手書き入力検出部１８は、操作者による入力が手書きパターンであると判定する（Ｏｐ７）。Ｏｐ５の結果がｎｏであれば、手書き入力検出部１８は、Ｏｐ２で受け取った座標情報がストロークの終点であるか否かを判断する（Ｏｐ６）。終点であれば、手書き入力検出部１８は、操作者による入力が手書きパターンではないと判定する（Ｏｐ８）。一方、終点でなければ、手書き入力検出部１８は、Ｏｐ２へ戻り、次の座標情報を受け取り、Ｏｐ３以降の処理を繰り返す。

なお、Ｔｈ１〜Ｔｈ３の３つの閾値は、状況に応じて任意に設定可能である。好適な設定例としては、表示部１１が、縦横比が１０２４画素×７６８画素程度の１２インチディスプレイである場合（入力座標単位も１０２４画素×７６８画素）、Ｔｈ１を５画素、Ｔｈ２を１０画素とし、Ｔｈ３を０．５秒とすることが有効であると考えられる。なお、これはあくまでも一例であって、本発明の実施態様はこれに限定されない。

また、この第１の具体例では、Ｏｐ１において、始点位置がメニュー領域内か否かによって、操作者による入力が手書き入力パターンか否かを判断するものとしたが、これに限らず、始点位置等とメニュー領域との位置関係を判定材料に用いても良い。
（第２の具体例）
第２の具体例は、基本的な処理の流れは第１の具体例と同様であるが、手書き入力検出部１８が、直前のストロークが手書きパターンか否かの判定結果を保持するメモリを有し、直前の座標入力からの経過時間と、直前のストロークが手書きパターンであるか否かの判定結果とに基づいて、Ｏｐ３およびＯｐ４の閾値（Ｔｈ１，Ｔｈ２）を変更する。

この第２の具体例では、手書き入力検出部１８は、操作者による座標入力が開始されると、図３に示したＯｐ１の前に、図４に示すＯｐ１１〜Ｏｐ１６の処理を行う。すなわち、操作者による座標入力処理が開始されると、手書き入力検出部１８は、直前の座標入力からの経過時間が所定の閾値（Ｔｈ４）以上であるか否かを判断する（Ｏｐ１１）。Ｏｐ１１の判断結果がｙｅｓであれば、Ｔｈ１，Ｔｈ２として通常の閾値を用いる（Ｏｐ１５）。すなわち、Ｏｐ１５ではＴｈ１，Ｔｈ２の値を変更せずに、Ｏｐ１（図３参照）へ進む。また、Ｏｐ１１の判断結果がｎｏであれば、手書き入力検出部１８は、前記メモリを参照し、直前のストロークが手書きパターンでなければ（Ｏｐ１２の結果がｎｏ）、上記と同様にＯｐ１５へ進む。一方、直前のストロークが手書きパターンであれば（Ｏｐ１２の結果がｙｅｓ）、手書き入力検出部１８は、直前の座標入力から今回の座標入力までの経過時間が所定の閾値（Ｔｈ５）以内であるか否かを判断する（Ｏｐ１３）。なお、Ｔｈ５はＴｈ４よりも短く、例えばＴｈ４を１秒とし、Ｔｈ５を０．２秒とすることが考えられる。ただし、これらの閾値は一例であって、本発明の実施態様をこの具体例にのみ限定するものではない。

Ｏｐ１３の結果がｙｅｓであれば、直前に手書き入力パターンとして入力されたストロークの筆記終了から短時間（Ｔｈ５）内に今回の座標入力が開始されているので、手書き入力検出部１８は、操作者の入力が手書きパターンであると判定する（Ｏｐ７）。これは、操作者が手書きパターンを入力する場合は、複数のストロークをあまり時間間隔をおかずに連続して入力することが多いという傾向に基づく。

一方、Ｏｐ１３の結果がｎｏであれば、手書き入力検出部１８は、Ｔｈ１，Ｔｈ２の値を変更し（Ｏｐ１４）、その後、図３に示したＯｐ１以降の処理を行う。Ｏｐ１４において、具体的には、手書き入力検出部１８は、Ｏｐ３およびＯｐ４で用いられるＴｈ１とＴｈ２の値を、それぞれ所定値だけ小さくする。例えば、前述のように、Ｔｈ１が５画素、Ｔｈ２が１０画素と設定されていた場合に、これらの閾値をそれぞれ所定値だけ小さくして、例えばＴｈ１を３画素、Ｔｈ２を６画素とすることが考えられる。これにより、手書きパターンを連続して入力している間はメニュー操作部１６が反応しにくい状態とすることができる。なお、Ｔｈ１およびＴｈ２の変更量は、上記のように互いに異なっていても良いし、同じであっても良い。

以上、手書き入力検出部１８による手書きパターンの判定処理の具体例について説明したが、もちろん、これら以外の処理手順によって手書きパターンの判定処理を行っても構わない。

上述のように、手書き入力検出部１８によって、操作者による入力が手書きパターンか否かの判定処理が行われた後、メニュー操作切換部１９は、入力が手書きパターンであると判定された場合、メニュー操作部１６に対して、操作者による入力へ反応しないよう指示を出す。これにより、文字、記号、または図形等の入力中に、手書きパターンのストロークがメニュー領域に進入しても、メニュー操作が誤起動されることがない。また、メニュー操作切換部１９は、入力が手書きパターンでないと判定された場合は、メニュー操作部１６に対して、操作者による入力へ反応するよう指示を出す。これにより、メニュー操作のためのペン操作が手書きパターンとして誤認識されることがない。

メニュー操作部１６は、操作者のペン操作による入力座標の位置が、メニュー領域内かどうかを判定し、メニュー領域内であれば、その座標に相当するメニュー項目をデータ処理部１３に渡す。メニュー領域内か否かの判定は、例えば、入力ストロークの終点がメニュー領域内か否かで判定する方法がある。

手書き入力部１７は、入力された座標情報をデータ処理部１３で実行されているアプリケーションプログラムに渡す。メニュー表示部１４およびメニュー表示変更部１５は、メニューの表示属性を制御して、表示部１１の画面に表示する。メニューそのものに何を表示し、どのようなレイアウトで表示するかという詳細は、実行するアプリケーションプログラムによって異なるため、データ処理部１３にて指示される。本実施形態では、メニュー表示部１４およびメニュー表示変更部１５は、データ処理部１３によって渡されたメニュー画像の色や透明度を設定しなおして、表示部１１の画面に表示する機能を持つ。

メニュー表示部１４の構成例を図５に示す。メニュー表示部１４は、メモリ１４ａとメニュー画像生成部１４ｂとを有している。メモリ１４ａには、メニュー表示変更部１５により透明度が格納される。メニュー画像生成部１４ｂは、データ処理部１３から渡されたメニュー画像を、メモリ１４ａに格納されている透明度に応じた画像に変更してディスプレイ装置に表示する。メニュー画像生成部１４ｂは、メニュー画像の透明度を変更するものであり、画像処理プログラムで実現できる。なお、透明度の具体的な値はメニュー表示変更部１５によって設定され、メニュー画像生成部１４ｂは、透明度に設定されている値を参照するだけである。

ここで、メニュー画像生成部１４ｂの具体的な動作を説明する。メニュー画像生成部１４ｂは、メニュー画像とその背景画像とが与えられた時に、メモリ１４ａの透明度の値に応じて新たな画像を生成する。画像上のある一点（一画素）の色の値(ピクセル値)はＲＧＢ値で表され、ＲＧＢ値のそれぞれが、例えば０〜２５５の値を取り得る。

ここで、メニュー領域のある一点において、背景画像のピクセル値が（Ｒ，Ｇ，Ｂ）＝（Ｒ１，Ｇ１，Ｂ１）であり、メニュー画像のピクセル値が（Ｒ，Ｇ，Ｂ）＝（Ｒ２，Ｇ２，Ｂ２）であるとものする。透明度αは、０≦α≦１である。メニュー画像生成部１４ｂは、以下の式により、表示部１１に表示されるピクセル値（ＲＤ，ＧＤ，ＢＤ）を算出する。

ＲＤ＝Ｒ２×α＋Ｒ１×(１−α)
ＧＤ＝Ｇ２×α＋Ｇ１×(１−α)
ＢＤ＝Ｂ２×α＋Ｂ１×(１−α)
すなわち、α＝０であれば、メニュー画像は透明となって、メニュー領域には背景画像のみが見える状態となる。また、α＝１であれば、メニュー画像が不透明となって、メニュー領域ではメニュー画像のみが見えて背景画像が全く見えない状態となる。

従って、手書き入力検出部１８において、操作者による入力が手書きパターンであると判定された場合、メニュー表示変更部１５がメモリ１４ａへ透明度αとして０を格納すれば、表示部１１においてメニュー画像が非表示状態となる。これにより、操作者が手書きパターンを入力する際は、メニュー画像が表示されず、手書きパターンの筆跡を含む背景画像が見える状態となるので、メニュー画像が手書き入力の邪魔になることがない。さらに、上述のとおり、この場合、メニュー操作切換部１９が、メニュー操作部１６に対して、操作者による入力へ反応しないよう指示を出すので、操作者によって入力されるストロークがメニュー領域内に進入したとしても、メニュー操作が誤起動されることがない。

また、手書き入力検出部１８において、操作者による入力が手書きパターンでないと判定された場合、メニュー表示変更部１５がメモリ１４ａへ透明度αとして１を格納すれば、表示部１１においてメニュー画像が表示される。さらに、この場合、メニュー操作切換部１９が、メニュー操作部１６に対して、操作者による入力へ反応するよう指示を出す。これにより、操作者の入力が手書きパターンでない場合は、メニュー画像が表示された状態となり、操作者がメニュー操作を行うことができる。

なお、メニュー表示変更部１５は、上述のとおり、手書き入力検出部１８の判定結果を受け取り、メモリ１４ａへ透明度を格納する。このため、メニュー表示変更部１５は、図６に示すように、内部にメモリ１５ａを有している。このメモリ１５ａには、手書き入力検出部１８の判定結果が手書きパターンである場合の透明度（筆記時透明度）としてα₁、手書きパターンでない場合の透明度（操作時透明度）としてα₂が、あらかじめ設定されている。すなわち、上述の例を実現するためには、α₁＝０、α₂＝１と設定しておけば良い。

ただし、α₁およびα₂の値は０または１に限定されない。例えば、操作者による入力が手書きパターンであると判定された場合に、表示部１１の画面に、メニュー画像を少なくともその存在位置が分かる程度の透明度で表示することも好ましい。このようにすれば、手書きパターンの入力中にメニュー画像が邪魔にならず、かつ、手書きパターンの入力が終了した後に続けてメニュー操作を行いたい場合に、どこにメニューがあるかを操作者が容易に識別できるからである。これを実現するためには、α₁として例えば０．１程度の小数値を設定しておけば良い。また、操作者による入力が手書きパターンではないと判定された場合の操作時透明度α₂の値も、必ずしも１でなくても良く、少なくともメニュー画像中のメニュー項目が識別可能な程度の透明度（例えば０．９程度）に設定しても構わない。

また、上記の説明では、操作者が何らかの入力を行っている際に、操作者の入力が手書きパターンか否かに応じてメニューの透明度を二通りに異ならせるものとしたが、これに加えて、操作者が入力を終了した後に一定時間が経過すると、メニューの透明度を第三の透明度に変更するようにしても良い。例えば、図７に示すように、メニュー表示変更部１５内のメモリ１５ａに、前述の「筆記時透明度」および「操作時透明度」以外に、操作者が入力を終了してから一定時間が経過した後の「通常透明度」を設定する。通常透明度としては、筆記時透明度と操作時透明度との間の値として、例えば０．５等の小数値を設定すれば良い。

なお、この場合、座標入力が終了してから一定時間が経過したことを検出する必要がある。そこで、図７に示すように、メニュー表示変更部１５内にさらにタイマー１５ｂを設ける。座標入力が終了したタイミングは、手書き入力検出部１８がメニュー表示変更部１５に通知する。メニュー表示変更部１５は、この通知を受けるとタイマー１５ｂによるカウントを開始し、一定時間経過後にメモリ１５ａに保持されている通常透明度α₃の値をメニュー表示部１４のメモリ１４ａにセットする。これにより、操作者による座標入力が終了してから一定時間が経過したときに、筆記時透明度および操作時透明度の中間的な透明度でメニューを表示することができる。

また、座標入力部１２が、近接点感知（リモートセンシング）が可能なタブレット装置によって実現されている場合は、ペンがタブレット装置に接触しない状態でメニュー領域に近づいたことを検知したら、メニュー表示変更部１５が、メニュー画像の透明度を、メニュー項目が読み取れる程度の状態（近接時透明度）に表示することも好ましい。例えば、スタイラスペンの場合には、ペンがタブレットから離れている場合でもペンの座標を検知するようなリモートセンシング機能によりポインタ位置の検出が可能である。そのようなポインタ位置情報は、図１では点線の矢印で示されているとおり、座標入力部１２によって検出されて、メニュー表示変更部１５へ送られる。

前記の「近接時透明度」としては、前記の「筆記時透明度」よりも透明度が低く、「通常透明度」よりも透明度が低いかほぼ同等であり、かつ、「操作時透明度」よりも透明度が高くなるように、αの値を設定することが好ましい。これにより、操作者がペンをタブレット装置に近づけたときに、メニュー項目が読み取れる程度の透明度でメニュー画像が表示されるので、実際にペンで手書きパターンの入力を開始した際にメニューが邪魔になることもない。また、操作者がメニュー操作をしようとしていた場合には、選択すべきメニュー項目を容易に識別することができる。なお、近接点感知が可能なタブレット装置としては、これに限定されないが、例えば電磁誘導方式（電磁授受作用方式）のタブレット装置等がある。

また、ペン入力に限らず、操作者がマウス等のポインティングデバイスによって座標入力を行う場合も、操作者がマウスカーソルをメニュー領域に近づけた際に、座標入力部１２がマウスカーソルのメニュー領域への接近を検知し、上記と同様に、メニュー画像の透明度を、メニュー項目が読み取れる程度の状態（近接時透明度）に表示することも好ましい。

一方、座標入力部１２が、近接点感知が不可能なタブレット装置によって実現されている場合は、ペンが実際にタブレット装置に接触してからしばらく経過しないと、手書きパターンの入力か否かが判定できないことがある（図３参照）。このため、近接点感知が不可能なタブレット装置の場合は、操作者がペンによる入力を開始してから、手書き入力検出部１８による手書きパターンか否かの判定結果が出るまでの間、メニュー画像の透明度を、メニュー項目が読み取れる程度の状態（近接時透明度）に表示することが好ましい。この場合の「近接時透明度」も、前記の「筆記時透明度」よりも透明度が低く、「通常透明度」よりも透明度が低いかほぼ同等であり、かつ、「操作時透明度」よりも透明度が高くなるように、αの値を設定することが好ましい。これにより、操作者がペンでタブレット装置に対して入力を開始すると、手書きパターンか否かの判定結果が出るまでは、メニュー項目が読み取れる程度の透明度でメニュー画像が表示される。これにより、操作者による入力が手書きパターンであった場合にメニューが邪魔になることがない。また、操作者がメニュー操作をしようとしていた場合も、選択すべきメニュー項目を容易に識別することができる。そして、手書き入力検出部１８によって手書きパターンの入力であると判定された場合は、メニュー画像の表示が、より透明度の高い「筆記時透明度」に変更される。一方、手書きパターンの入力でないと判定された場合には、メニュー画像の表示が、より透明度が低い「操作時透明度」に変更される。なお、近接点感知が不可能なタブレット装置としては、例えば、抵抗膜方式、アナログ容量結合方式、または、表面弾性波方式の装置等が知られている。ただし、これらの方式はあくまでも好適な例に過ぎず、本発明に適用できるタブレット装置はこれらの方式の装置に限定されない。

本発明は、画面上に表示されたメニューがある位置にも手書き入力が可能であり、かつ、必要に応じてメニュー操作も可能な手書き情報入力装置として利用可能である。

本発明の一実施形態にかかる手書き情報入力装置の機能的概略構成を示すブロック図である。本発明の一実施形態にかかる手書き情報入力装置における、表示部および座標入力部とその他の機能ブロックとの関係を示すブロック図である。本発明の一実施形態にかかる手書き情報入力装置が備える手書き入力検出部の動作の一例を示すフローチャートである。手書き入力検出部の動作の他の例を示すフローチャートである。本発明の一実施形態にかかる手書き情報入力装置が備えるメニュー表示部の構成の一例を示すブロック図である。本発明の一実施形態にかかる手書き情報入力装置が備えるメニュー表示変更部の構成の一例を示すブロック図である。本発明の一実施形態にかかる手書き情報入力装置が備えるメニュー表示変更部の構成の他の例を示すブロック図である。（ａ）および（ｂ）は、従来の手書き情報入力装置におけるメニューの表示態様の一例を示す図である。（ａ）および（ｂ）は、従来の手書き情報入力装置におけるメニューの表示態様の他の例を示す図である。

符号の説明

１手書き情報入力装置
１１表示部
１２座標入力部
１３データ処理部
１４メニュー表示部
１４ａメモリ
１４ｂメニュー画像生成部
１５メニュー表示変更部
１５ａメモリ
１５ｂタイマー
１６メニュー操作部
１７手書き入力部
１８手書き入力検出部
１９メニュー操作切換部

Claims

画面を有する表示部と、
画面に表示すべきデータを処理するデータ処理部と、
前記画面において操作者によりポインティングデバイスで指定された位置の座標データを取得する座標入力部と、
前記画面にメニュー画像を表示するメニュー表示部と、
前記座標入力部で取得された座標データと所定の判定基準に基づき、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定する手書き入力検出部と、
前記手書き入力検出部による前記判定の結果に応じて、前記画面に表示される前記メニュー画像の透明度を変更するメニュー表示変更部と、
前記座標入力部で取得された座標データに基づいて、前記メニュー画像内のメニュー項目に関連付けられた処理を実行するメニュー操作部と、
前記手書き入力検出部により、前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー操作部による処理を無効とし、前記操作者がメニューを指示していると判定された場合は、前記メニュー操作部による処理を有効とするメニュー操作切換部とを備え、
前記手書き入力検出部が、ストロークの始点位置から現在位置までの距離が所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の長さが所定の閾値以上であるか否か、の少なくとも一つを前記判定基準として、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定すると共に、
直前のストロークが手書きパターンであり、かつ、ストロークの入力開始が直前のストロークの入力終了から所定の時間以内である場合、前記閾値を所定値だけ小さくする、手書き情報入力装置。
前記手書き入力検出部により前記操作者がメニューを指示していると判定された場合は、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、少なくとも当該メニュー画像内のメニュー項目を識別可能な透明度である所定の操作時透明度に設定し、前記手書き入力検出部により前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を前記操作時透明度よりも高い透明度である所定の筆記時透明度に設定する、請求項１に記載の手書き情報入力装置
前記筆記時透明度が完全な透明である、請求項２に記載の手書き情報入力装置。
前記座標入力部による座標データの取得が中断してから一定時間経過後に、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、前記操作時透明度と筆記時透明度との間の透明度に設定する、請求項２に記載の手書き情報入力装置。
前記座標入力部が、近接点感知可能なタブレットであり、前記ポインティングデバイスが座標を指定する前に前記ポインティングデバイスの位置座標を検知し、
前記座標入力部により検知された位置座標がメニュー画像の表示領域内または近傍にある場合、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、前記操作時透明度と筆記時透明度との間の透明度に設定する、請求項２に記載の手書き情報入力装置。
前記座標入力部による座標データの取得が開始されてから、前記手書き入力検出部により前記操作者が手書きパターンを入力しているかメニューを指示しているかが判定されるまでの間、前記メニュー表示変更部が、前記メニュー表示部によって表示するメニュー画像の透明度を、前記操作時透明度と筆記時透明度との間の透明度に設定する、請求項２に記載の手書き情報入力装置。
前記手書き入力検出部が、ストロークの始点位置がメニュー画像の表示領域内にあるか否か、ストロークの始点位置から現在位置までの距離が所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の長さが所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の筆記時間が所定の閾値以上であるか否か、直前のストロークが手書きパターンであるか否か、ストロークの入力開始が直前のストロークの入力終了から所定の時間以内であるか否か、の少なくとも一つを前記判定基準として、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定する、請求項１に記載の手書き情報入力装置。
画面を有する表示部と、前記画面において操作者によりポインティングデバイスで指定された位置の座標データを取得する座標入力部とを備えた手書き情報入力装置の動作を制御するプログラムであって、
前記手書き情報入力装置のプロセッサに、
画面に表示すべきデータを処理するデータ処理と、
前記画面にメニュー画像を表示するメニュー表示処理と、
前記座標入力部で取得された座標データと所定の判定基準に基づき、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定する手書き入力検出処理と、
前記手書き入力検出処理による前記判定の結果に応じて、前記画面に表示される前記メニュー画像の透明度を変更するメニュー表示変更処理と、
前記座標入力部で取得された座標データに基づいて、前記メニュー画像内のメニュー項目に関連付けられた処理を実行するメニュー操作処理と、
前記手書き入力検出処理により、前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー操作処理を無効とし、前記操作者がメニューを指示していると判定された場合は、前記メニュー操作処理を有効とするメニュー操作切換処理とを実行させ、
前記手書き入力検出処理が、ストロークの始点位置から現在位置までの距離が所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の長さが所定の閾値以上であるか否か、の少なくとも一つを前記判定基準として、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定すると共に、
直前のストロークが手書きパターンであり、かつ、ストロークの入力開始が直前のストロークの入力終了から所定の時間以内である場合、前記閾値を所定値だけ小さくするように、前記手書き情報入力装置の動作を制御するプログラム。
画面を有する表示部と、前記画面において操作者によりポインティングデバイスで指定された位置の座標データを取得する座標入力部とを備えた手書き情報入力装置の動作を制御するプログラムを記録した記録媒体であって、
前記プログラムは、前記手書き情報入力装置のプロセッサに、
画面に表示すべきデータを処理するデータ処理と、
前記画面にメニュー画像を表示するメニュー表示処理と、
前記座標入力部で取得された座標データと所定の判定基準に基づき、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定する手書き入力検出処理と、
前記手書き入力検出処理による前記判定の結果に応じて、前記画面に表示される前記メニュー画像の透明度を変更するメニュー表示変更処理と、
前記座標入力部で取得された座標データに基づいて、前記メニュー画像内のメニュー項目に関連付けられた処理を実行するメニュー操作処理と、
前記手書き入力検出処理により、前記操作者が手書きパターンを入力していると判定された場合は、前記メニュー操作処理を無効とし、前記操作者がメニューを指示していると判定された場合は、前記メニュー操作処理を有効とするメニュー操作切換処理とを実行させ、
前記手書き入力検出処理が、ストロークの始点位置から現在位置までの距離が所定の閾値以上であるか否か、ストロークの始点位置から現在位置までの軌跡の長さが所定の閾値以上であるか否か、の少なくとも一つを前記判定基準として、前記操作者が手書きパターンを入力しているかメニューを指示しているかを判定すると共に、
直前のストロークが手書きパターンであり、かつ、ストロークの入力開始が直前のストロークの入力終了から所定の時間以内である場合、前記閾値を所定値だけ小さくするように、前記手書き情報入力装置の動作を制御するプログラムを記録した記録媒体。