JP3895406B2 - データ処理装置およびデータ処理方法 - Google Patents
データ処理装置およびデータ処理方法 Download PDFInfo
- Publication number
- JP3895406B2 JP3895406B2 JP26960296A JP26960296A JP3895406B2 JP 3895406 B2 JP3895406 B2 JP 3895406B2 JP 26960296 A JP26960296 A JP 26960296A JP 26960296 A JP26960296 A JP 26960296A JP 3895406 B2 JP3895406 B2 JP 3895406B2
- Authority
- JP
- Japan
- Prior art keywords
- cursor
- pen
- data processing
- display
- handwriting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
Description
【発明の属する技術分野】
本発明は、ペン等のいわゆるポインティング用デバイスを用いた位置入力の処理技術に係り、特に、ポインティング用デバイスについて、二次元座標の他に高さに関する座標を入力し、この高さに対応したカーソル表示を行う入力処理技術に関する。
【0002】
【従来の技術】
コンピュータへ情報を入力するための入力装置として、いわゆるマウスが標準的に用いられてきた。マウスを用いれば、操作者は、コンピュータ装置のCRT上において、アイコン(仮想的に表示されたマークのこと)の表示位置にカーソルを移動させ、そのアイコンを容易に選択(マウスに備えたボタンをクリック(押す))できる。しかし、文字や複雑な図形をコンピュータに入力する際には、マウスではあまり細かな動きを指示し得ない。このため、従来より、紙へ筆記する場合と同等な感覚で情報を入力できるペン等のポインティング用デバイスを用いた位置入力装置が開発されてきた。
【0003】
かかる位置入力装置は、一般的に筆記者が把持して文字等を描くためのペン、ペンの先端が接触し、圧力が加えられた位置を検出するタブレット装置、および、タブレット装置により検出されたペン先の座標を表示する表示装置等によって構成される。ペンは、単にタブレットに対する加圧手段として用いるものや、ペン先から磁気や光を発生するものがある。ペンを加圧手段として用いる場合、タブレット装置は、ペン先が接触し加圧された位置を横方向(X軸方向)および縦方向(Y軸方向)に沿って設けられたセンサで検出し、XYの座標値に変換する。ペン先から磁気や光を発生するペンを用いる場合には、ペン先から発せられる磁気や光をタブレット装置に設けられたセンサで検出し、座標値に変換する。また、実際にコンピュータ等のCRTにペン先の位置を表示する場合には、タブレット装置によって生成されたペン先の座標値に対応させたCRT上の位置へ矢印等のカーソルを表示していた。
【0004】
手短に言えば、従来の位置入力装置は、ペン先の二次元的な位置を検出する装置であって、この二次元的な位置をディスプレイ面(画像表示面)上の座標に変換し、カーソルを表示する装置であった。また、ディスプレイ面に表示するカーソルも、「矢印」等の平面的な図形として表示され、ペンがタブレット装置からどのような高さに位置していても、カーソルの表示形態とは無関係であった。
【0005】
なお、これら従来の位置入力技術として、例えば特開平5−137846号公報には、電磁誘導式、光学式、超音波式の各検出方式により平面上の座標を取得する技術が記載されている。また、特開平6−028096号公報には、直接平面に接触することなく二次元的な座標列を取得する技術が開示されている。
【0006】
【発明が解決しようとする課題】
しかしながら、従来の位置入力技術では、ディスプレイに表示するカーソルにより、ペンの実際のタブレット面からの高さを認識させることができないため、以下に述べるような問題点が生じていた。
【0007】
まず第一点として、従来の位置入力技術を用いたのでは、筆記者の入力作業が頻繁に中断されるため、作業上の効率が悪いという欠点があった。すなわち、上述のように、従来の位置入力装置では、筆記者がディスプレイを見続けている限り、この筆記者は、自分の手元のペンの空間位置を認識することができない。そのため、一旦ペンをタブレット面から離し別の場所に文字等を書く場合、筆記者はディスプレイから視線を離し、次に記載を始める位置へペン先を接触させるまで、この視線をペンへ移していなければならなかった。この動作のために作業が中断され、使い勝手が悪くなり、作業上の効率が悪くなっていたのである。
【0008】
第二点として、ディスプレイとタブレットとの間で度々視線を動かさなければならないため、筆記者が疲労しやすいという欠点もあった。すなわち、ディスプレイと筆記者の手元とでは、筆記者の視線の方向が大きく異なる。したがって、この視線の方向の変化に対応するため、机の上で紙面に文字を記す通常の姿勢とは異なった姿勢で入力することが筆記者に要求されていたのである。
【0009】
第三点として、従来の位置入力装置は入力作業の簡便化を図ったものであったが、キーボードのように高速にかつ連続的に文字等を入力する機能がなかった。このため、重点的に文字等を入力する場合(文書作成時)にはキーボード装置を用いる必要があった。つまり、作業目的に応じて入力装置を変更する必要があったのである。したがって、異なる入力装置を交互に使用する不便さがあり、また、入力装置の入れ替えのため作業を中断せざるを得なかった。
【0010】
第四点として、現在、コンピュータに座標を乳録する手段として使用されている、マウス、トラックボールでは、カーソルを円滑に目標点へ誘導することが難しいという問題がある。現状では誘導の軌跡はぎこちなく、滑らかな動きで一度に目標点に到達することは困難である。訂正を繰り返すために軌跡は折れ線状になり、目標点に到達するまで時間がかかる。また精度を上げるために注意の集中が必要となり、心理的な疲労が増すことが問題となる。
【0011】
上記問題点に鑑み、本発明の課題は、筆記者が手元を見ることなく、長時間にわたり効率よく入力作業の続けられるデータ処理装置およびデータ処理方法を提供することである。また、日常の環境と同等に行動の働きかけと知覚情報の受容ができて、実世界における指の誘導と同様の速度と精度、及び心理的負荷を実現できるデータ処理装置およびデータ処理方法を提供することである。
【0012】
【課題を解決するための手段】
上記の目的を達成するため、本発明のデータ処理装置は、筆記者の保持するペンの先端位置に対応した画像表示面の位置へカーソルを表示するデータ処理装置であって、所定の周波数の発振波を発する発振部を備えたペンと、前記ペンからの発振波を検出し、検出した発振波を検出信号として出力する複数のセンサを所定の位置に設けたボードと、各前記センサから供給された検出信号と前記発振波との位相差に基づいて、所定の平面における前記ペンの先端位置を特定するための平面位置座標および前記平面に垂直な方向における前記ペンの先端位置を特定するための垂直位置座標を演算し、前記平面位置座標および垂直位置座標を位置情報として出力する位置演算手段と、前記位置演算手段から前記位置情報を入力し、前記水平位置座標に基づいて、前記ペンの先端位置に対応した画像表示面上の位置へ前記カーソルを表示させるとともに、前記垂直位置座標に基づいて、このカーソルの表示形態を変化させたカーソル画像を生成するカーソル画像生成手段と、を有する。
【0013】
なお、ペンの先端位置の特定は、検出信号と発振波との位相差に基づいて各センサからペンまでの位置を検出し、三角測量技法に基づいて座標を算出する等の方法を採用するのが好ましい。また、その演算は、DSP等の高速演算素子によるのが好ましいが、ソフトウェアにより演算処理を行ってもよい。
【0014】
また、位置演算手段は、ボードに附属した回路として設ける他に、位置入力処理装置がコンピュータ装置である場合には、このコンピュータ装置のカードスロット等に直接装着するための基板に搭載するものであってもよい。
【0015】
さらに、隣接してデータ処理装置を使用する場合に、一方の発振波が他方のセンサに検出され誤動作するとも考えられるが、このような場合には、それぞれの位置入力装置の発振波の周波数を異ならせる等の方法で妨害を排除できる。発振波の周波数が異なれば、自己の発振器からの発振波の検出信号を電気的なフィルタ回路等により除去できるからである。
【0016】
カーソルの形状は、例えばペン、毛筆等の筆記用具を模擬したものを用いる。表示形態は、ペンの垂直位置座標、すなわち、高さを直感できるような形態、例えば、影や立体画法による形態であることが好ましい。
【0017】
本発明のデータ処理装置によれば、垂直位置をも指示するカーソルを表示するので、手元を見ることなく、長時間にわたり効率よく入力作業が続けられる。
【0018】
前記ボードは、所定の周波数の音波を発する発振器を備え、前記ペンの発振部は、前記ボードから発せられた音波の周波数に共振し、かつ、この周波数に対応した前記発振波を再び前記ボードへ向けて発する共振手段を備えた。
【0019】
前記ペンは、このペンの先端部分を通る軸上の少なくとも二つの部分に互いに異なる周波数を有する発振波を発する前記発振部を備え、前記位置演算手段は、前記異なる周波数に対応した検出信号と発振波との位相差に基づいて各前記発振部の位置を特定する発振位置特定手段と、前記発振位置特定手段が特定した各々の前記発振部の位置に基づいて当該ペンの向きを特定するとともに、前記発振部の位置と当該ペンの向きとに基づいて当該ペンの先端位置を特定し、前記位置情報として出力する先端位置特定手段と、を備えた。つまり、複数の発振器の位置が特定されると、この複数の発振器の位置関係からペンの軸の向きが判る。また、この軸上に存在するペンの先端位置が各発振器からどのようなオフセットを持っているかが予め判るので、正確なペンの先端位置を計算できるのである。
【0020】
前記ペンは、当該ペンが筆記対象物に当接した際に、この当接による圧力を検出し、検出した圧力に対応する圧力信号を出力する圧力検出手段をさらに備え、前記位置演算手段は、前記圧力信号に基づいた圧力情報を出力する。
【0021】
前記ペンは、筆記者の操作に応じて確認信号を供給するスイッチをさらに備えた。
【0022】
前記カーソル画像生成手段は、前記カーソルの移動に伴って移動する影を表示するものであって、前記垂直位置座標に基づいて、このカーソルと影との相対的な表示位置が変化するカーソル画像を生成する。例えば、実際のペンに平行光線を照射し、その影ができる様子を模擬した画像を表示する。これにより、手元を見ることなく、カーソルとカーソルに付随して表示される影との距離からペンの高さを知ることができる。
【0023】
前記カーソル画像生成手段は、前記カーソルの移動に伴って移動する影を表示するものであって、前記垂直位置座標に基づいて、この影の面積が変化するカーソル画像を生成する。例えば、実際のペンに分散光線(曇空や電灯からの光線)を照射し、その影ができる様子を模擬した画像を表示する。
【0024】
前記カーソル画像生成手段は、前記カーソルの移動に伴って移動する影を表示するものであって、前記垂直位置座標に基づいて、この影の表示濃度が変化するカーソル画像を生成する。例えば、実際のペンに分散光線を照射する際に筆記面からの高さに応じて影の濃さが変わる様子を模擬した画像を表示する。手元を見ることなく、カーソルに付随して表示される影の濃度でペンの高さを知ることができる。
【0025】
前記カーソル画像生成手段は、前記垂直位置座標に基づいて、前記カーソルの大きさが変化するカーソル画像を生成する。例えば、実際のペンに点光源を照射し、大きさが変化する影ができる様子を模擬した画像を表示する。これにより、手元を見ることなく、カーソルに付随して表示される影の大きさでペンの高さを知ることができる。
【0026】
実際のキーボードを模擬したキーボード画像を生成するキーボード画像生成手段と、外部から操作者の確認の位置を示す確認信号が供給された時に、前記水平位置座標に基づいて前記カーソルが示す前記キーボード画像におけるキーを特定し、特定した当該キーに対応する制御コードを生成するキー特定手段と、をさらに備えた。これにより、実際のキーボードを入力手段として用いるので、従来キーボードでしか入力し得なかった指示内容であってもペンから入力できる。したがって、完全にキーボード装置を不要にする。
【0027】
前記カーソル画像生成手段は、前記圧力情報に対応させて前記カーソルの表示形態を変化させる。例えば、圧力の大きさに応じてカーソルの形状、模様、色またはこれらの組み合わせを変化させた画像を表示する。これにより、筆圧に応じてカーソルの形態を変えることができる。
【0028】
前記圧力情報が供給された場合に、この圧力情報が供給されている際の前記水平位置座標の変化を筆記者の筆跡として前記画像表示面へ表示する筆跡表示手段をさらに備えた。これにより、ディスプレイを見ながら筆跡をそのまま記すことができる。
【0029】
前記筆跡表示手段は、前記圧力情報に対応させて前記筆跡の太さを変化させて表示する。例えば、実際の毛筆を紙面に押し付けた際に筆跡の太さが変化する様子を模擬した画像を表示する。これにより、筆圧に応じて筆跡の太さを変えることができるので、実際に毛筆で文字等を描いているような感覚で筆跡を入力できる。
【0030】
前記筆跡表示手段は、前記筆跡を文字コード(ASCIIコード、JISコード等)に変換し、この文字コードに基づいた文字を表示する筆跡識別部を備えた。これにより、ペン入力を文字認識し文字コードに変換して表示するので、キーボード装置等を用いずに高速に文字入力ができる。
【0031】
前記筆跡識別部は、前記筆跡を変換して得られた文字コードが予め定められたマーク( ' 「 ' や ' 」 ' 等)の文字コードに等しいものであると判定した場合に、当該マークに相当する筆跡が指定する範囲に含まれる筆跡を文字コードに変換する。これにより、所定のマークにより文字認識を起動するので、文字コードとして認識させたい領域のみを文字認識させることができる。また、筆跡と文字コードとを混在させて表示することもできる。
【0032】
前記確認信号が供給された場合に、この確認信号が供給された時の垂直位置座標および水平位置座標に基づいて、立体画法による図形を描画する描画手段をさらに備えた。立体画法としては、投影図法、透視図法等物体を立体的に表示できるものであれば何でもよい。なお、確認信号としては、スイッチから供給されるものの他、圧力情報の変化状態(例えば、マウスにおける「ダブルクリック」のように二度強く圧力を加えた場合に確認したものと判断)を検出して確認信号に代えるものであってもよい。垂直位置座標および水平位置座標に基づいて、立体画法による図形を描画するので、従来のように複数の平面図を入力せずに、直接視覚で認識しながら立体図形を描くことができる。したがって、例えば建築設計者やグラフィックアーチスト等立体図形を創作する者にとって、優れた設計・創作援助ツールとなる。
【0033】
前記カーソル画像生成手段は、前記ペンの先端部分の向いている方向を示す向き情報が 供給された場合に、この向き情報に基づいて表示画像の表示形態を変化させる向き特定手段を備えた。請求項20に記載の発明によれば、ペンの向きに応じて表示画像の表示形態を変化させるので、手元を見ることなく、正しい入力が行える他、毛筆等の入力において、筆圧と筆の向きに応じた現実的な筆跡を表示することができる。
【0034】
上記の目的を達成するため、本発明のデータ処理方法は、筆記者の保持するペンの先端位置に対応させてカーソルを画像表示面へ表示するデータ処理方法であって、前記先端位置の所定の平面上への投射位置を特定するための水平位置座標および当該平面に垂直な方向の位置を特定するための垂直位置座標を含む位置情報を検出する位置情報検出工程と、前記水平位置座標に基づいて、前記ペンの先端位置に対応した画像表示面上の位置へ前記カーソルを表示させるカーソル表示工程と、前記垂直位置座標に基づいて、このカーソルの表示形態を変化させる表示形態変化工程と、を備えた。
【0035】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面を参照して説明する。
【0036】
(I)第1形態
本第1形態は、超音波をペンから直接発振し、この超音波を検出することにより三次元座標を特定する位置入力装置およびその位置入力処理装置に関する。
【0037】
<全体の構成>
図1に、本形態の位置入力装置およびその位置入力処理装置の全体図を示す。図1に示すように、本発明の位置入力装置100aは、センサの設けられたボード1a、発振器の設けられたペン2aとを備える。位置入力処理装置3は、汎用のコンピュータ装置が本発明を実現するためのプログラムにしたがって動作することにより実現される。但し、処理速度を早めるためには、位置入力処理のための演算補助回路(コ・プロセッサ等)または演算用ハードウェア(DSPを含む回路等)を搭載するのが好ましい。コード5は、ボード100とコンピュータ装置3とを接続し、モニタ4は、位置入力処理装置3で生成された画像データを表示する。
【0038】
なお、この位置入力装置は、例えば図1に示したような方向(x方向、y方向およびz方向)に座標を設定して、位置情報を出力する。
【0039】
<位置入力装置の構成>
図2(A)に、位置入力装置100aの斜視図を示す。本形態の位置入力装置100aは、筆記者が筆記する際の筆記対象面となるものであって、超音波を検出するセンサS1〜S3がコーナーに設けられたボード1a、筆記者が保持し、超音波の発振器OSC1およびOSC2が先端部および後尾部に設けられたペン2a、およびセンサS1〜S3からの検出信号に基づいて位置情報等をシリアルデータとして出力するインターフェース回路105(図2には図示せず。図4参照)を内蔵したインターフェースボックス101aを備える。
【0040】
ボード1aは、初期設定時において、ペンの位置合わせに用いる調節ダイヤル102〜104を備える。インターフェースボックス101aとペン2aとはコードCで接続される。インターフェースボックス101aはコネクタジャックCJ1を備え、ケーブル5のコネクタプラグCP1が接続される。
【0041】
図2(B)に、位置入力装置100aと位置入力処理装置3との接続方法を示す。位置入力処理装置3がコンピュータ装置である場合、通常汎用コネクタ(RS−232C)を備えるため、この汎用コネクタジャックCJ2にコード5のコネクタプラグCP2を接続する。また、キーボード専用コネクタやマウス専用コネクタを備える場合は、これら専用コネクタへ接続してもよい。但し、インターフェース回路105(図示せず。図4参照)からの送信フォーマットを接続対象となるコネクタの仕様に適合させる必要がある。なお、キーボード専用コネクタには電源が供給されているものもあるため、インターフェース回路用の電源をこのコネクタから受給してもよい。
【0042】
図2(C)は、他の接続方法を示すものである。すなわち、インターフェース回路105をインターフェースボックス101a内に設けずに、位置入力処理装置3のカードスロットに装着するアダプタボード101b上へ設ける。このような構成にすれば、インターフェース回路の動作に必要な電源を位置入力処理装置3から供給することができる。
【0043】
いずれの接続方法をとるにせよ、インターフェースの仕様は、接続する位置入力処理装置(コンピュータ装置)の仕様に適合したものとすればよく、その機種や仕様を限定するものではない。
【0044】
<ペンの詳細な構成>
図3(A)に、ペン2aの構成を説明する斜視図を透視図として示す。グリップ201はペンの本体をなし、コードCを介してインターフェースボックス101aへ接続される。先端部202は、グリップ201とは独立して動く構造となっており、保持板203に取り付けられたバネ204を介して本体へ接続される。このため、先端部202は、筆記者の筆圧に応じて変位することになる。バネ204は、この先端部202の変位に対応した力を圧電抵抗素子205へ伝達する。圧電抵抗素子205は、バネ204から伝達される力に対応した電圧を圧力信号として出力する。つまり、筆記者の筆圧に比例して変化する電圧が出力される。スイッチ206は、筆記者が押下したか否かの確認信号SCを出力する。先端部202の先端には発振器OSC1が、グリップ201の後尾部には発振器OSC2が設けられる。各発振器は所定の周波数(例えば、40kHzの超音波)の超音波を発生する。なお、この周波数としては、3つのセンサに認識させることのできる波長を発するものであれば、赤外線、ミリ波等他の周波数を有するものであってもよい。
【0045】
図3(B)に、ペンの他の変形例を説明する断面図を示す。本変形例のペン2bは、先端部を設ける代わりにペン軸207を備える。ペン軸207はバネ204を介して圧電抵抗素子205に接続される。ペン2bは、ペン軸207のみが出入りする構造となっている。ペン軸207の変位に応じた電圧が出力される点は同様である。なお、ペン軸207と発振器OSC1およびOSC2は、同一軸(例えば、ペンの幾何学的な中心軸)上に位置させる。
【0046】
<インターフェース回路の構成>
図4に、インターフェース回路105のブロック図を示す。アンプ110〜112は、各センサS1〜S3の検出した検出信号D1〜D3を増幅する。発振回路119は、周波数f1の発振信号Sf1を発振器OSC1および各変調分離回路113〜115へ供給する。同様に発振回路120は、周波数f2の発振信号Sf2を発振器OSC2および各変調分離回路113〜115へ供給する。
【0047】
変調分離回路113〜115は、発振信号Sf1とSf2とを変調波とし検出信号をそれぞれ変調する。一般に、発振波を用いて検出信号を変調すると、発振波の2倍の周波数成分と、原信号および検出信号間の位相差成分とが生成される。この変調信号を低域通過フィルタに通せば、両信号の位相差成分のみが取り出せる。位相差成分はすなわち発振器からセンサまでの距離に対応して変化するものである。したがって、各変調分離回路113〜115から発振位置特定回路116へ供給される位相差信号L1は、発振器OSC1の位置を特定するのに必要な情報であり、同様に、発振位置特定回路117へ供給される位相差信号L2は、発振器OSC2の位置を特定するのに必要な情報である。
【0048】
発振位置特定回路116は、位相差信号L1および発振信号Sf1に基づいて発振器OSC1の空間位置P1を特定する。発振位置特定回路117は、位相差信号L2および発振信号Sf2に基づいて発振器OSC2の空間位置P2を特定する。
【0049】
先端位置特定回路118は、二つの発振器の空間位置P1およびP2に基づいて、ペン2aの向きを特定し、方向情報SDを出力するとともに、ペン2aの先端位置を特定し、先端位置を示す位置情報STを出力する。
【0050】
アンプ121はペン2aのスイッチ206からの確認信号SCを増幅し、アンプ122は圧電抵抗素子205からの圧力信号を増幅する。A/D変換器123は、圧力信号をA/D変換し、デジタルの圧力情報SPを出力する。送信回路124は、位置情報ST、方向情報SD、確認信号SCおよび圧力情報SPをシリアルデータ形式で位置入力処理装置3へ転送する。位置入力装置100aは、ペン先端位置等の演算を周期的(数100ms〜数10ms毎、位置入力処理装置のサンプルタイミングに合わせる)に行い、その情報を位置入力処理装置3へ転送する。
【0051】
なお、隣接して位置入力装置100aを設置する場合には、互いの発振波の影響を排除すべく、各位置入力装置の発振信号の発振周波数を異ならせるのが好ましい。
【0052】
<ペン位置特定の原理>
図5は、ペンの位置特定の原理説明図である。発振位置特定回路116に供給される3つのセンサに関する位相差信号L1は、各センサS1〜S3から発振器OSC1までの距離l11、l21およびl31に対応した位相差成分を含む。また、当該特定回路は、基準となる発振信号Sf1を入力するので、発振波の超音波の波長が判る。したがって、位相差信号のレベルを波長に基づいて定めた係数に基づいて、距離そのものが判る。一方、センサ間の距離は定まっているので、各センサの位置と特定した距離とに基づく連立方程式が立てられる。この連立方程式を解けば、発振器OSC1の空間位置(座標)P1を計算できる。同様にして、発振器OSC2についても、発振位置特定回路117が位相差信号L2に基づいて距離l12、l22およびl32を求め、空間位置(座標)P2を計算する。
【0053】
二つの発振器の空間位置が定まると、両空間位置からペンの向き(ベクトル)が定まる。また、発振器OSC1からペン2aまでの距離(オフセット)dは固定値なので、発振器の空間位置とペンの向きとが定まれば、ペンの最先端の位置PTを求めることができる。この計算を先端位置特定回路118が行っている。位置情報PTには、XY座標を示す水平位置座標とZ座標を示す垂直位置座標を含む。
【0054】
<位置入力処理装置の動作の概要>
次に、位置入力処理装置3の動作を説明する。 図6に、位置入力処理装置のメイン処理のフローチャートを示す。位置入力装置100aから転送される位置情報ST等は、位置入力処理装置3に備えられたインターフェース回路にて受信される。本処理を行わせるためのプログラムにしたがって、位置入力処理装置3のCPUは、受信した位置情報等のデータの内容を随時読出す。
【0055】
ステップS1にて、画像データ更新のための同期期間を待つ。同期期間になると(ステップS1;YES)、位置入力装置100aから転送された水平位置座標を入力する(ステップS2)。位置入力処理装置3は、モニタ4のディスプレイ上に表示すべき表示座標を特定する(ステップS3)。この表示座標は、例えば、640ドット×400ドットのディスプレイを用いる場合には、(x,y)=(300、180)というように、画素を特定する座標である。
【0056】
次いで位置入力処理装置3は、垂直位置座標、圧力情報SPを入力する(ステップS4、S5)。そしてカーソル表示処理(Sub1;後述)を行い、ディスプレイD上にカーソルを表示する。このとき、例えばディスプレイDには図18(A)に示すような画像を表示する。ステップS6において、所定の条件である場合(YES)には確認フラグを立てる(ステップS7)。ここで「所定の条件」とは、筆記者により確認信号SCの入力があったこと、圧力情報SPの変化の様子が筆記者の「確認」の意思表示を示していること(例えば、マウスの「ダブルクリック」をするときのように、ペン2aの先端部を押し付けた場合、またはペン2aのスイッチ206を押した場合)等の条件をいう。
【0057】
位置入力処理装置は、筆記者がディスプレイDを見ながら「メニュー」バーを押すと、同図(B)のようなメインメニューバーを表示し、筆記者の選択により文字モード(ステップS8)、キーボードモード(ステップS9)、図形モード(ステップS10)および絵画モード(ステップS11)の諸処理を行う。それぞれのモードにおいて、サブメニューを指定することにより、表1に示すような諸設定が行えるものとする。
【0058】
【表1】
【0059】
<カーソル表示処理>
本処理の前提としてカーソルの指定がなされているものとする。例えば、筆記者は、図18(B)に例示する「カーソル」バーを選択し、カーソルの表示内容についての設定をする。設定内容は、カーソルに影を付けるか否か、影の種別、カーソル形状を圧力に対して変化させるか等の表示形態に関するものである。
【0060】
図7に、カーソル表示処理のサブルーチンSub1のフローチャートを示す。平行光線による影表示が指定された場合(ステップS100;YES)平行光線によるカーソル表示を行う(ステップS101)。本発明では、ペン等の筆記用具をモデルとしたカーソルを表示する。実際のペンに平行光線を照射すると、図12R>2(A)に示すように、ペンのはっきりした影が用紙上に投影される。この様子をディスプレイD上に模写する。すなわち、同図(B)に示すように、入力処理装置3はペン2a自体を示すカーソルCU1とその影SH1とを表示する。カーソルCU1とその影SH1との距離は、ペン2aのボード1aからの高さ(Z座標)に対応する。両者は、ステップS3で特定した表示座標を中心とした対称的な位置に表示され、一方が表示座標から遠ざかると他方も遠ざかり、一方が表示座標に近づくと他方も近づく。ペン2aがボード1a上に当接すると、カーソルCU1と影SH1とが表示座標の位置で接する。以上の表示は、ペンを持って用紙に筆記する際に、筆記者が実際に視覚的に認識する光景をディスプレイD上に再現したものとなる。
【0061】
分散光線による影表示が指定された場合(ステップS102;YES)分散光線によるカーソル表示を行う。図13(A)に示すように、実際のペンに分散光線を照射すると、ぼんやりとした輪郭の曖昧な影が用紙上に投影される。影の大きさ(面積)は、用紙からのペンの高さに応じて変化する。この様子をディスプレイD上に模写し、同図(B)に示すように、ペン2a自体を示すカーソルCU2とその影SH2とを表示する。ペン2aの高さ(Z座標)を変化してもカーソルCU2の表示位置は変化しないが、影SH2の面積がカーソル表示座標を中心として増減する。ペン2aがボード1a上に当接すると、影SH2がカーソルCU2と同化し殆ど認識できなくなる。この表示においても。筆記者が実際に視覚的に認識する光景をディスプレイ上に再現している。
【0062】
なお、影の表示濃度を変更したい場合(ステップS104;YES)垂直位置座標に応じて影の濃度を変化させてもよい(ステップS105)。分散光線による影は、ペンが用紙から離れる程薄く、用紙に近づく程濃くなる。図14(A)に示すように、これを模擬し、垂直位置座標の大小に対応して濃度(色や輝度)や大きさが変化する影SH3を表示する。
【0063】
また、カーソルは、ペンに限らず、その他の形態へ変更してもよい(ステップS106;YES、S107)。例えば、同図(A)のように、カーソルCU3を丸い点として表示してもよい。このとき、位置入力装置100aから圧力情報SPが供給された場合であれば、圧力情報の大小に応じてカーソルCU3の丸い点の形状(面積)を変化させてもよい。さらに、カーソルおよびその影という表示形態ではなく、同図(B)に示すように、二つの矢印が向かい合ったカーソルCU4を表示してもよい。このときは、両カーソルの間の距離を垂直位置座標に対応させて変化させる。
【0064】
<文字モードの処理>
文字入力には、通常のワードプロセッサのように、任意の大きさの用紙上で文書を作成する通常モードと、領収書、入力シート等のように形式の予め定められた帳票において文字を入力する帳票モードとがある。
【0065】
図18(B)に示すメニュバーから「文字」バーが選択されると(図6ステップS8;YES)、位置入力処理装置3は文字モード処理のサブルーチンSub2を処理する。筆記者が「帳票」バーを選択すると(図18(B)、図8ステップS200;帳票)帳票が選択される。筆記者は「帳票」の種類の選択をする(ステップS202)。筆記者が「通常」バーを選択すると(図18(B)、図8ステップS200;通常)通常モードが選択される。筆記者は用紙の選択をする(ステップS201)。
【0066】
筆記者が「手書きモード」を選択すると(ステップS203;YES)、筆記用具の選択を行うことができる(ステップS205)。筆記用具は、大きく分けて通常のペンと毛筆とを選べる(表1参照)。実際の手書き入力処理はサブルーチンSub6において行われる。手書き入力処理を終了したい場合(ステップS206;YES)は最後にファイル処理を行って(ステップS207)、メインルーチンに復帰する。手書き入力でなく、キーボードモード処理Sub3を選択した場合(ステップS203;NO)も同様である。
【0067】
<手書き入力処理>
ここでいう手書き入力とは、すなわち、筆記者の筆跡を直接取得することをいう。手書き入力には、ペンを模擬したペン入力モードと、毛筆を模擬した毛筆入力モードとがある。
【0068】
ペン入力モードは、筆記用具としてペンが選ばれているときに起動され、圧力情報SPに応じた太さで筆跡を記すことが可能である。例えば、筆記者がペン2aを軽く押さえると軽い筆圧が圧力情報SPとして入力される。このとき、位置入力処理装置3はディスプレイに細いペン先のカーソルCU5を表示し、細い筆跡を表示する(図15(A))。また、ペン2aを強く押さえると圧力情報SPの示す筆圧が高くなり、ディスプレイに太いペン先のカーソルCU6を表示することになる(同図(B))。
【0069】
毛筆入力モードは、筆記者がメニュー画面より「フデ」バーを選択することにより起動される(図19(A))。このモードにより、筆記者は毛筆を用いているような筆跡を記すことが可能である。毛筆入力モードの場合もペン入力のときと同様の筆跡の変更が行われる。すなわち、軽い筆圧のときは筆先が接触したような筆の形状のカーソルCU7が表示され(図16(A))、強い筆圧のときは筆先が押し付けられたような筆の形状のカーソルCU8が表示される(同図(B))。このカーソルにより記される筆跡の太さも筆圧に対応した太さとなる。毛筆入力を用いれば、図19(B)のように毛筆のような筆跡を記すことが可能である。すなわち、圧力情報SPと方向情報SDに基づいて、表示するカーソルCU9の向きと筆跡の形状を変化させる。
【0070】
なお、いずれの入力モードであっても、ツールとして「消しゴム」機能を用いることで、記した筆跡を消去することが可能である。「消しゴム」バーを選択することで、カーソル形状を消しゴムCU10に変え、筆跡を消すのである(図19(C))。
【0071】
さて、手書き入力処理は、例えば、帳票モードであれば、選択した帳票上の入力したい欄にカーソルを移動させ、確認信号を入力(スイッチ206を押す)することで起動できる(図18(C))。
【0072】
図9に、手書き入力処理のフローチャートを示す。まず、ステップS600〜S603のループでは、筆記者がボード1aの上に記したペン2aの水平位置座標が、時系列データとして内部メモリへ蓄積される。同時にディスプレイ上へその筆跡のまま表示される(図20(A))。圧力情報SPが全く入力されていない場合は筆記状態でないと判断すればよい。筆跡入力を終了するとき(図9のステップS603;YES)筆記者は「確認(OK)」バーをカーソルで選択する(図20R>0(B))。選択後、時系列データに基づいて筆跡の方向性の判定が行われ、筆跡の特徴部分が抽出される(ステップS604)。
【0073】
帳票モードであれば(ステップS605;帳票)、筆跡の示す特徴が文字コードの示す文字のうちいずれの文字を示すのかを判定する文字認識が行われる(ステップS609)。次いでロジカルチェック処理とAI処理が行われ(ステップS610)、この欄に入力されることのないキャラクタが排除され、認識できた文字の優先順位判定が行われる。認識した文字は、帳票の所定の欄(図20(B))に示され、確認がなされなければ(ステップS611;NO)修正作業が行われる(ステップS612)。これら一連の処理が認識をすべて終了するまで(ステップS613;YES)続けられる。以上の機能は、認識すべき文字が漢字であっても同様に行うことができる(図20(C))。
【0074】
また、通常モード(ステップS605;通常)では、筆跡入力作業の中で、筆記者が特定用途に割り付けたマークを記すと、自動的に文字認識機能が起動される。すなわち、筆記者が、手書きで文字を入力しながら、特定のフォントで文字を記したい部分をマークで囲めば、囲んだ部分のみをフォントで記すことができる。例えば、マークを'「'および'」'に割り付けた場合、ステップS604において、抽出された特徴より文字が'「'であるか'」'であるかを検査する。いずれかの文字であった場合(YES)、さらに以前に'「'が認識されているか否かが検査される(ステップS607)。文字が'「'であり、以前に'「'が抽出されていない場合(NO)は、'「'が抽出された事実のみを記憶する。文字'」'が抽出され、以前に'「'があった場合(ステップS606、607;YES)、すなわち、かぎかっこで囲まれた場合、'「'と'」'とで囲まれた範囲を抽出し(ステップS608)、抽出した範囲の文字認識を行う(ステップS609〜S611)。
【0075】
例えば、通常モードにおいて、筆記者が特定の領域を文字認識させ、文字コードによるフォントで表示したい場合、図21(A)の位置1において'「'を記す。次いで、認識させたい文字を記入後、同図(B)の位置3に示すように'」'で囲む(閉じる)と、両マークk1およびk2で囲まれた範囲に文字認識機能が働く。さらに文字認識した範囲にかな漢字変換を施したい場合は、同図(C)に示すように、「変換」バーを押す。以上の処理により、手書きの筆跡と文字コードによるフォントとを混在させた表示、印刷が行える。
【0076】
なお、文字モードでは随時修正、削除等の訂正が行える。例えば、文字の挿入をしたい場合、図22R>2(A)に示すように、挿入箇所にカーソルで挿入マークを記す。すると、同図(B)のように、挿入すべき文字を記入する欄が表示され、同図(C)のように、「確認」バーを押せば挿入マークを記した位置に、新しい文字が文字認識され文字コードに変換された上で挿入される。
【0077】
また、文字の削除を行う場合、図23(A)に示すように、一部消去か否かを指示した後(位置1)、削除したい文字の存在する欄をカーソルで示す(位置2)。すると、その欄が拡大表示されるので、削除したい文字(位置3と4)をカーソルで指示する。同図(B)のように、確認の表示がされ、「確認」バーを押下すれば、文字が削除される。キーボードモード(後述)において文字を削除する場合には、同図(C)のように、バックスペースキー(BS)、デリートキー(DEL)をカーソルで選択し該当文字の削除を行う。
【0078】
<キーボードモード処理>
本形態では、手書きによる文字入力に代わり、模擬的に表示したキーボードから入力を行うこともできる。キーボードモードは、いずれの処理モードからでも起動できる。例えば、メインメニューにおいても(図18(A)等、図6のステップS9;YES)、文字モードにおいても(図24(A)、図8のステップS203;NO)、「キーボード」バーを選択することによって選択できる。図10に、キーボードモードのフローチャートを示す。
【0079】
キーボードモードが選択されると(Sub3、図24(A))、キーボードを模擬した画像が表示される(図10のステップS300、同図(B))。次いで実際のキーボードを操作するが如く、筆記者はキーボードの画像上のキー上にカーソルを移動し、確認信号を送る(ステップS301;YES、図24(C))。位置入力処理装置3は、確認フラグを認識した時のカーソルの位置(同図(C)位置1〜3)に表示していたキーの種類を特定し(ステップS302)、カーソルの示していたキーに割り付けられた制御コードをセットする(ステップS303)。これにより、文字キーを選択すれば文字が、制御キーを選択すればそのキーに対応する制御コードが生成される。「終了」を示すキーをエスケープキー等に割り付けた場合、この制御コードが認識されれば(ステップS304;YES)キーボードモードを解除する(ステップS305)。
【0080】
なお、通常のキーボードでは、複数のキーを同時に押した場合に別の機能を装置に指示する、いわゆる「同時押し」が設定されていることが多い。この同時押しに対応すべく、本形態では、例えば、図25(A)に示すように、「同時押し」バーを選択する。すると、同図(B)に示す入力欄が表示されるので、同時押しをすべきキーを'+'で繋ぎながら選択する。操作を簡単にするため、いずれかのキーに同時押しを割り付けるのであれば、同図(C)に示すように、選択した同時押しの内容を、任意のキーに割り付けるマクロ登録機能を利用すればよい。
【0081】
<図形モード処理>
本発明に特徴的な立体図形の入力を図11のフローチャートを参照しながら説明する。図形モードは、例えば、図18(B)に示すメインメニューバーより「図形」バーを選択することで起動できる。図形モードが起動されると、例えば、図26(A)に示すような図形選択メニューが表示される。
【0082】
従来通りの二次元的な図形を描くときは(ステップS400;NO)、公知の平面図形の作図方法を用いて平面図形を作画する(ステップS401)。立体図形を描く場合(ステップS400;YES)、立体図形を観察する視点の位置の変更を指示できる(ステップS402;YES)。この視点を変更すると、立体図形を視野変換する際に新しく取得した視点から視野変換が行われる(ステップS403)。
【0083】
例えば、立体図形として円錐を描く場合、図26(B)に示すように、筆記者はペン2aを持ってボード1a上で円錐の中心点P1、低面の円周上の位置P2をポイントし、確認信号を送る(ステップS404)。このとき、ディスプレイD上には設定した視点から見た低面が破線で示される(P1'、P2')。次いで、ペン2aをボード1aから離すと、実際のペン2aの先端位置が変化するのに応じて、ディスプレイD上に表示されるカーソルCU11が移動する。このときそのカーソルの先端の表示位置P3'から、円錐の図形が破線で示され表示される。筆記者は、この図形を見ながら、適当だと思う頂点の位置P3で確認信号を送る(ステップS405)。位置入力処理装置3は、筆記者に入力が適当であるか否かの確認表示をし、不適当であると筆記者が指示した場合は、再び立体図形の入力を行う(ステップS406;NO)。適当であると筆記者が指示した場合は(ステップS406;YES)、図26(C)に実線で示すような立体図形の描画処理が行われる(ステップS407)。描画された立体図形の座標は、内部メモリに格納される。立体図形を観察する視点を変更すると、異なる角度から観察した立体図形が表示できる。また、立体的な建物を描くように、ボード1aからペン2aを離した状態で、直線、長方形等を組み合わせることにより、複雑な立体図形を入力することもできる。
【0084】
また、従来のコンピュータのウインドウ表示において用いられているアイコンやウインドウに対する操作方法は、そのまま本形態に適用できる。例えば、従来、任意のウインドウのコーナーにマウスを持ってきてマウスボタンを押しながらマウスを移動させると(「ドラッグ」)、ウインドウ表示の大きさを任意に拡大・縮小させることが可能である。また、ウインドウのタイトルバーの位置にマウスを持ってきてマウスをドラッグさせると、ウインドウ表示の移動が可能である。これらの操作を立体図形に適用すればよい。すなわち、上記のような手順で描画した立体図形のいずれかの頂点にペン2aの先端を当ててスイッチ206を押し、マウスで言う「ドラッグ」と同じ要領で任意の方向にペン2aを引くと、描画した立体画像を変形させることができる。例えば、上記した円錐の頂点をドラッグさせて、ペン2aを上方に引くことにより円錐の高さを高くすることができる。また、横方向に引くことにより、円錐を変形させることができる。また、立体図形のいずれかの辺をドラッグさせることにより、その辺を自由に変形させることもできる。さらに、立体図形の内部の任意の位置でスイッチを押しドラッグすれば、立体図形全体を移動させることもできる。
【0085】
なお、これらの立体図形の修正や加工処理では、ディスプレイ上に仮想的に表示し、実際には存在しない立体画像とペンとの空間的な位置関係をどのように認識するかが問題となる。この解決のために、立体画像の表面にはペンの影が投影され、実際の立体図形の近傍にペンを移動させたときに得られるのと同様の光景をディスプレイ上で模擬することが考えられる。また、立体図形に模様やメッシュ、そのた色彩等のいわゆるテクスチャを描画し、仮想空間内のペンが立体図形の表面の手前にあるときにペンを表示し、向こう側にあるときにはペンの表示を行わないことも考えられる。この場合、筆記者は、ペンが立体図形を「突き抜けた」か否かで立体図形の空間位置を認識することになる。
【0086】
<その他の機能>
例えば、図18(B)のメインメニューから「絵画」バーを選択すると、絵画モードを起動できる。絵画モードを起動すれば、例えば、図27に示すような画像を表示できる。複数の絵の具の色を選択し、その中間色を生成したり、生成した中間色にさらに別の絵の具を加えたりが行える。
【0087】
<本形態の利点>
本第1形態の利点は、以下に掲げる各点である。
【0088】
(a) カーソルが影や立体画法で描画されるので、実際のボードとペンとの位置関係をディスプレイを見るだけで認識できる。したがって、ボードに視線を移す必要がなくなるため、作業上の効率と筆記者に対する負担が少なくなる。特に、影の形態を自由に選択できるので、筆記者の興味を喚起しうるカーソル表示を選択できる。
【0089】
(b) 実際のペンの向きに対応させてその向きが変化するカーソルをディスプレイに表示するので、筆記者は手元のペンを見ずに正しい方向に文字、線を描くことができる。
【0090】
(c) 筆圧およびペンの向きに基づいて、筆記者の筆圧に応じた太さと形状で文字を書くことができる。
【0091】
(d) 文字認識を行うので、手書きの筆跡を記録する他、手書きの中の一部の領域のみを文字認識させ、フォント文字等に置き換えて表示することができる。
【0092】
(e) 帳票の選択、欄の指示、文字入力がすべてペンのみで行えるので、筆記者は入力用デバイスを入れ換えるために作業を中断するということなく、効率的に帳票入力が続けられる。
【0093】
(f) キーボードを随時ディスプレイに表示し、このキーボードを用いた入力操作をペンのみで行えるので、特殊キー等、従来キーボードでしか指示し得なかった入力内容もペンのみで指示できる。
【0094】
(g) 本形態では、ボード面から離れた空間の位置を指定して図形を描くことができる。このため、平面図、側面図、背面図、俯瞰図等、従来複数の図面を入力してコンピュータに認識させていた立体図形を、立体の各部の位置を指定することにより、実際の模型を手元で作るような感覚で短時間に入力することができる。
【0095】
(II)第2形態
本発明の実施の第2形態は、位置入力装置の他の構成に関する。図17に、本第2形態の位置入力装置100bの斜視図を示す。本形態の位置入力装置は、機能的には上述した第1形態と同一である。
【0096】
本形態のボード1bには、発振器OSC3およびOSC4が備えられている。この発振器は、第1形態においてペン2aに備えた発振器OSC1およびOSC2にそのまま対応するものである。OSC3は、周波数f1の超音波を発する。OSC4は、周波数f2の超音波を発する。一方、本形態のペン2cには、発振器の代わりに音叉装置M1およびM2が備えられている。音叉装置が備えられるペン上の位置は、第1実施例に準ずる。音叉装置M1は、周波数f1の超音波に反応し、この同じ周波数の超音波をボード1bへ向けて放射する。音叉装置M2は、周波数f2の超音波に反応し、周波数f2の超音波をボードへ向けて放射する。これら備えるインターフェースボックス101cを有する。その他の構成は、第1形態と同様である。
【0097】
したがって、各センサS1〜S3から見れば、周波数f1の超音波が音叉装置M1の位置から放射され、周波数f2の超音波が音叉装置M2の位置から放射されていることと等価となり、第1形態と同じ動作が期待できる。
【0098】
本第2形態によれば、ペンには発振器を駆動するための電源が必要なくなる。よって、圧力情報と確認信号を位置入力処理装置3に転送する必要がなければ、ペン2cを結線するコードが不要になる。
【0099】
(III)第3形態
本発明の実施の第3形態は、位置入力装置の他の構成に関する。図28に、本第2形態の位置入力装置100cの構成図を示す。本形態の位置入力装置100cは、ボード1c、インターフェースボックス101dおよびペン2cとを備える。
【0100】
ボード1cは、電界を用いて三次元座標を特定するため、ボード面上に格子状に線状電極を並べる。線状電極は、導線を例えば数ミリメートル間隔で絶縁体で覆ったボード面上またはボードの内部に並べたものである。X軸センサX1〜X10は、ボード1cのX軸方向(横方向)の座標およびZ軸方向(高さ方向)の座標を検出するための線状電極である。Y軸センサY1〜Y8は、ボード1cのY軸方向の(縦方向)の座標およびZ軸方向(高さ方向)の座標を検出するための線状電極である。
【0101】
インターフェースボックス101dは、線状電極からの検出信号DX、DYに基づいてボード平面状の平面位置座標(X−Y座標)およびボードと垂直な方向の垂直位置座標(Z座標)を特定する。また、インターフェースボックス101dは、基準電位(例えば接地電位)から所定の電位を電圧信号SVとしてペン2cへ供給する。好ましくは、電圧信号SVは、一定電位を有する直流電圧を所定の周波数の変調波で変調する。変調方式は、AM変調であってもPAM変調であってもよい。これら変調方法を行えば、電圧信号SVは振幅が一定レベルの発振波となる。
【0102】
ペン2cは、先端部210を有する先端電極211、先端電極211に係止された圧電抵抗素子212および圧電抵抗素子212とペン2cの本体214との間に改装されるバネ213を備える。ペン2cは、コードCを介してインターフェースボックス101dに接続され、インターフェースボックス101dから電圧信号SVが先端電極211へ印加される。
【0103】
次に、本形態の位置入力装置100cの動作を図29および図30を参照して説明する。一般に、ある電荷が与えられると、その電荷からの距離に対応して電位が同じ点を通る等電位面が形成される。例えば、点電荷qが与えられたとき、無限遠の電位V=0とすると、空間の点電荷qから距離rの点の電位Vは、V=q/4πε0r (ε0は誘電率)で与えられ、距離rと電位Vとは反比例の関係にある。つまり、ペン2cの先端部210に所定の電圧が印加されると、図29に示すように、等電位面が先端部210を中心とする同心円状に広がる。線状電極で検出される電位は、点電荷との距離が最も近い点、すなわち点電荷の検出平面への投射点である。よって、ペン2cの先端部210から生じる等電位面において、各線状電極の電位が最も高かったX軸センサとY軸センサを特定すれば、ペン2cの先端部210のボード平面への投射点の座標、平面位置座標を取得することができる。これは、線状電極の設置位置と検出電位の分布の関係においてその極大点を求めることを意味する。インターフェースボックス101dは、各線状電極の検出信号DX、DYを比較することにより電位分布の極大点を特定し平面位置座標を求める。
【0104】
次いでインターフェースボックス101dは、この平面位置座標に基づいて高さ、すなわち垂直位置座標(Z座標)を特定する。ペン2cの先端部210が高さzが比較的高い場合、その電位分布は例えば図30R>0(A)のようになる。一方、高さzが比較的低い場合には、その電位分布は同図(B)のようになる。ここで、極大値を示した電圧VPの半分の電圧VP/2をしきい値として、このしきい値以上の電位を示す領域の幅を比べると、同図(A)(B)のΔW1とΔW2のように異なる。したがって、この幅を高さzの変化に対応させて計算したテーブルを用いれば、インターフェースボックス101dは、高さzを特定することができる。
【0105】
また、先端部210のボード平面への投射点の座標をaとすると、点aでは距離rがすなわち高さzになるので、高さzは上式より、z=r=q/4πε0Vで与えられる。先端部210のボード平面への投射点aの座標は、平面位置座標に他ならないので、電位分布の極大点におけるX座標またはY座標における電位を参照すれば、高さzが求められる。但し、この方法を用いる場合は、先端部210の電位が常に一定であり、電界も安定していることを条件とする。
【0106】
上述したように本第3形態によれば、電界を用いる方法によっても、3次元座標を計算することができる。
【0107】
<その他の変形例>
上記実施の形態では、位置入力装置として、超音波を用いたもの、および電界を利用したものを用いていたが、他の検出方式によるものであってもよい。例えば、電磁誘導式の位置入力装置であっても、光学式の位置入力装置であっても、三次元の座標を検出可能なものであれば、検出方法の別を問わず他の構成でよい。
【0108】
また、ディスプレイに表示すべきカーソルや影の形状も、垂直位置座標を利用して立体的に表示するものであれば、上記各形態によらず他のカーソルの形態を有していてもよい。
【0109】
(IV)第4形態
上記実施形態において、三次元座標を特定する位置入力装置の例として、超音波をペンから直接発信し、この超音波をボードに設けられたセンサで検出するものを挙げた。しかし、三次元座標の位置入力装置として、この装置に限らないのは言うまでもない。他の三次元座標の位置入力装置について説明する。
【0110】
(1)トラックボールと移動量検出手段との組み合わせ
この位置入力装置300の構成例を図31に示す。台座306の上に、二次元座標X,Yの位置入力装置であるトラックボール301がばね305を介して取り付けられている。トラックボール301のボール301aを動かすことにより所定の信号は出力され、二次元座標中の位置を入力することができる。
【0111】
また、トラックボール301は矢印で示される方向に移動自在に設けられていて、押されるとトラックボール301は下がり、押すのを止めるとばね305の弾性力によりもとに戻る。このように、力の加え方によりトラックボール301の高さ位置を任意に設定することができる。トラックボール301には、この上下動きに伴い上下する直線状のギア302が取り付けられている。このギア302にギア303が噛み合っていて、トラックボール301の上下によりギア303が回転する。ギア303には移動量検出手段であるロータリーエンコーダー304が取り付けられ、ギア303の回転に従い、所定の信号を出力する。つまり、ロータリーエンコーダ304により、トラックボール301の高さ方向の位置に対応したZ座標が出力されることになる。なお、トラックボール301の高さ方向の位置が検出できればよいのであるから、ロータリーエンコーダに代えて、光電センサ、ポテンショメーター、インダクタンス式、キャパシタンス式、磁気式等のセンサを用いることができる。また、このセンサは、Z座標の絶対値を出力するセンサ(ロータリーエンコーダであればアブソリュート型)であっても、Z座標の相対変化値を出力するセンサ(ロータリーエンコーダであればインクリメンタル型)であっても、どちらでもよい。前者の場合、センサそのものの構成は多少複雑になるがコンピュータとのインタフェースは簡単になる。後者の場合、センサそのものの構成は簡単になるがインタフェースにカウンタ等の素子が必要になる。この点については後述する。
【0112】
図31の位置入力装置の機能ブロック図を、図32に示す。トラックボール301は、X座標の信号とY座標の信号を出力する。ロータリーエンコーダ304は、Z座標の信号を出力する。なお、図32の最下段の図は、ロータリーエンコーダ304に代えて、ポテンショメーター307を用いたときの機能ブロック図である。ポテンショメータ307は、その位置に応じたアナログ電圧値を出力する。ロータリーエンコーダ304の出力信号はデジタル信号でありこれに合わせる必要がある。そこで、アナログ−デジタル変換器(A/D)309を設けてデジタル信号に変換している。ポテンショメータ307とA/D変換器309との間に設けられた増幅器308は、感度やオフセット値を調整するためのものである。なお、図32のA/D変換器309の出力はアブソリュート出力であるが、ポテンショメータ307の出力電圧の増分についてA/D変換するように構成すれば、インクリメント出力とすることもできる。
【0113】
図33はポテンショメータ307を用いたZ座標検出部の詳細断面図である。この図において、上側にトラックボール301が取り付けられる。この検出部は、台座306に固定されたピストン状の円柱312と、この円柱312の上部に取り付けられた可動部311と、円柱312及び可動部311と嵌合するシリンダ状の円筒310とを備える。円筒310の空間にはばね305が設けられている。円筒310の上下に伴い、突起311aは円筒310のスリット310aを動く。円筒310の外部には、中間端子が直線的に移動可能なスライド型のポテンショメータ307が取り付けられている。
【0114】
円筒310が上から押されると、図34のようにばね305が圧縮され、高さ位置が低くなる。ポテンショメータ307の中間端子と可動部311の突起311aとが連結されているので、図33の場合、ポテンショメータ307の端子Aと中間端子の間の抵抗値が小さいが、図34の場合、端子Bと中間端子の間の抵抗値が小さくなる。このように、円筒310の上下方向の位置、すなわちトラックボール301の位置に応じてポテンショメータ307の中間端子の抵抗値が変化する。
【0115】
(2)ジョイスティックと力検出手段との組み合わせ
この位置入力装置300の構成例を図35に示す。台座324の上に、二次元座標X,Yの位置入力装置であるスティック320が取り付けられている。スティック320は、台座324の取り付け位置を中心に任意の方向に倒せるようになっている。また、スティック320を中心とする直交する2つの座標軸X,Yが定義され、これらの座標軸上にそれぞれ圧力センサ(X軸に関してスティック320の両側に圧力センサ321a,321bが、Y軸に関してスティック320の両側に圧力センサ322a,322bが)設けられている。これら圧力センサ321、322はスティック320を傾けたときの圧力を検出できるように、それぞれスティック320と連結されている。例えば、スティック320を+X軸の方向に倒そうとすれば圧力センサ321aが圧力を受け、+Y軸の方向に倒そうとすれば圧力センサ322aが圧力を受ける。このように、スティック320を動かすことにより所定の信号は出力され、二次元座標中の位置を入力することができる。
【0116】
また、台座324を含むスティック320は、矢印で示される方向に移動可能に設けられていて、押すことにより圧力センサ323に圧力が加えられる。つまり、圧力を適宜加えることにより、これに応じたZ座標が出力されることになる。なお、圧力センサには、例えば、圧電効果を利用した圧電式のもの、つりあいを利用する機械式のもの、ひずみを利用する弾性式のもの、強磁性体の磁気ひずみ効果を利用する磁気ひずみ式のもの、水晶振動子などの共振周波数が力により変化することを利用する振動式のものがある。
【0117】
図35の位置入力装置の機能ブロック図を、図36に示す。圧力センサ321a,321b、322a,322bは、それぞれ、+X軸方向、−X軸方向、+Y軸方向、−Y軸方向の信号を出力する。圧力センサ323はZ軸方向の信号を出力する。圧力センサ321、322は、その圧力に応じたアナログ電圧値を出力するから、これをデジタル信号に変換する必要がある。そこで、アナログ−デジタル変換器(A/D)328、329、330を設けてデジタル信号に変換している。圧力センサ321、322、323とA/D変換器328、329、330との間に設けられた増幅器325、326、327は、感度やオフセット値を調整するためのものである。ところで、+X軸方向に圧力が加えられているときは、−X軸方向のセンサである圧力センサ321bの出力はない。したがって、圧力の加えられる方向に対応して圧力センサの出力を適宜選択する必要がある。このためにセレクタ331、332が設けられる。セレクタ331、332は、圧力センサのアナログ又はデジタル出力を監視することにより、信号が出力されている方を選択する。なお、圧力がゼロのときにA/D変換器の出力がゼロであれば、セレクタに代えて加算器を用いてもよい。この場合、オフセットの調整が必要になるものの、圧力センサの出力を監視する必要はなくなる。
【0118】
なお、図36のA/D変換器328、329、330の出力はアブソリュート出力であるが、この図の点線のようにコンパレータ333を設け、一定以上の圧力が加えられたときにパルス列を出力するように構成すれば、インクリメント出力とすることもできる。
【0119】
また、A/D変換器の出力を、そのときの圧力の大きさに応じたZ座標の増加分(減少分)、すなわち相対値として用いてもよい。
【0120】
また、この組み合わせの他の例を図37に示す。この装置は、Z軸方向に2つの圧力センサ323a,323bを設けたものである。圧力センサ323a,323bは、それぞれ、+Z軸方向、−Z軸方向の信号を出力する。図37の装置の機能ブロック図を 図38R>8に示す。圧力センサ323b用の増幅器327b、A/D変換器330bと、Z軸用のセレクタ334が設けられている。作用は図35、36の場合と同様であるので、その説明を省略する。
【0121】
(3)ジョイスティックと移動量検出手段との組み合わせ
X軸及びY軸に関してジョイスティックを用い、Z軸に関して移動量検出手段を用いた装置の例を図39に示す。図39の装置は、図31の装置と図35の装置とを組み合わせたものである。また、図39の装置の機能ブロック図を図40に示す。作用は前述の場合と同様であるので、その説明を省略する。
【0122】
(4)ジョイスティックと状態検出手段との組み合わせ
この位置入力装置300の構成例を図41に示す。台座324の上に、二次元座標X,Yの位置入力装置であるスティック320が取り付けられている。スティック320は、台座324の取り付け位置を中心に任意の方向に倒せるようになっている。また、スティック320を中心とする直交する2つの座標軸X,Yが定義され、これらの座標軸上にそれぞれスイッチ(X軸に関してスティック320の両側にスイッチ335a,335bが、Y軸に関してスティック320の両側にスイッチ336a,336bが)設けられている。これらスイッチ335、336はスティック320を傾けたときにオン/オフするように、それぞれスティック320と連結されている。例えば、スティック320を+X軸の方向に倒そうとすればスイッチ335aがオン/オフし、+Y軸の方向に倒そうとすればスイッチ336aがオン/オフする。このように、スティック320を動かすことによりスイッチがオン/オフし、この状態信号に基づき所定の信号を発生させることにより、二次元座標中の位置を入力することができる。
【0123】
また、台座324を含むスティック320は、矢印で示される方向に移動可能に設けられていて、押すことによりスイッチ337がオン/オフする。つまり、上下方向に圧力を適宜加えることにより、これに応じたZ座標が出力されることになる。
【0124】
図41の位置入力装置の機能ブロック図を、図42に示す。スイッチ335a,335b、336a,336bは、それぞれ、+X軸方向、−X軸方向、+Y軸方向、−Y軸方向の信号を出力するためのものである。スイッチ337はZ軸方向の信号を出力するためのものである。スイッチ335、336、337は、単にオン/オフ信号を出力するだけであるから、これをデジタル信号に変換する必要がある。そこでパルス発生器338、339、340を設け、オン/オフ信号をパルス列に変換している。パルス発生器338等はマルチバイブレータ回路等により構成され、スティック320が傾けられているオンあるいはオフの期間中において、所定の間隔でパルス信号を発生する。この間隔は予め定められている。パルスの間隔は一定であっても、時間の経過に伴い変化させてもよい。例えば、スイッチが動作した直後はパルス間隔が長く、時間の経過に伴い段々短く(パルスを多く)するようにしてもよい。このようにすれば画面上のカーソルの動きが段々と早くなり、大きな距離を移動させるときに便利である。
【0125】
インクリメント型の位置入力装置の場合、パルス発生器338、339、340の出力をそのまま使用する。アブソリュート型の入力装置の場合、パルス発生器338、339、340の出力パルス列により動作するカウンタ341、342、343を用いてX,Y,Z座標値を生成する。これらカウンタはアップダウンカウンタであり、+X方向に設けられたスイッチ335aの出力によりアップカウントされ、−X方向に設けられたスイッチ335bの出力によりダウンカウントされる。Y方向についても同様である。Z方向については、図37のようにセンサ(スイッチ)を上下に設けるようにすれば、X,Y方向と同様に構成できる。しかし、Z方向のスイッチがひとつであっても、X,Yのカウンタ341、342の出力に基づきアップカウントか、ダウンカウントかを制御することにより、絶対値を出力するように構成できる。例えば、X,Yの特定の方向(例えば−方向)にカーソルが移動するときにはダウンカウントし、そうでないときにはアップカウントする、あるいは、X,Y座標が特定の領域(例えば第1象限)にあるときにアップカウントする、構成が考えられる。この点は、次元空間内の目標点に、高速に、また精度良く誘導することができるように、あるいは、誘導の軌跡は円滑であり、一度の試行で精度良く目標点に到達できるように、また、この作業はほとんど無意識的に行われ、心理的疲労を伴わないように、選択すればよい。
【0126】
以上の位置入力装置300は、第1形態の装置に比べ構成が簡単であるとともに、小型軽量であるという特徴がある。したがって、現在広く使用されているマウスと同様にさほど場所をとらず、コンピュータのキーボードの近くに置けるので使い易い。また、キーボード本体に組み込んだり、右側面、左側面あるいは背面にアダプタを介して取り付けることもできる。もちろん、キーボードに最初から取り付けることもできる。以上のように、第4形態の位置入力装置は、使い易い三次元入力装置である。
【0127】
(5)入力装置とコンピュータとのインタフェース(直列)
次に、上述の位置入力装置とコンピュータとのインタフェースについて説明する。図43に示すように、X,Y,Z座標に関する信号が、三次元座標入力装置350からコンピュータ351に入力される。この三次元信号に基づき、カーソル等の表示位置が制御される。このときの信号のインタフェースには直列伝送方式と並列伝送方式とがあるが、まず、直列伝送方式について説明する。
【0128】
図44は直列(シリアル)伝送のときのタイミングチャートである。P1、P2、・・・は一定周期でくり返し発生させる、マスタのタイミング信号であり、この間隔Tの間にX,Y,Z座標データのすべてが伝送される。P11、P12、・・・はサブのタイミング信号であり、P11からP12の間にX座標データが、P12からP13の間にY座標データが、P13からP14の間にZ座標データが伝送される。各座標のデータは16ビットであり、X座標のデータ列P21、Y座標のデータ列P22、Z座標のデータ列P23はそれぞれ16ある。
【0129】
直列伝送のときは、例えば、図36等のコンパレータ333の出力、図42のパルス発生器338等の出力が利用される。
【0130】
(6)入力装置とコンピュータとのインタフェース(並列)
次に、並列伝送方式について説明する。図45はこの方式に用いられるインタフェースの機能ブロック図である。三次元座標入力装置350からのX,Y,Z座標に関するパルス列信号(例えば、図36等のコンパレータ333の出力、図42のパルス発生器338等の出力)は、それぞれ、パルス整形回路352a,352b,352cに入力される。パルス整形回路352は、入力されるパルスの歪み、反射によるリンギング等を除去することにより、誤動作を防止するためのものである。これらパルス整形回路の出力は、それぞれ、アップダウンカウンタ353a,353b,353cに入力され、ここで座標値が生成される。これらX,Y,Z座標値は、それぞれ、バッファ354a,354b,354cを介してプロセッサ355に入力される。プロセッサ355には、三次元座標入力装置350からのスイッチ信号SW1、SW2も入力される。これらスイッチ信号は、マウスの左ボタン、右ボタンに対応するものである。これらX,Y,Z座標値、スイッチ信号SW1、SW2に基づき、プロセッサ355はカーソルを表示させたり、プログラムを起動・制御する信号を生成する。
【0131】
(V)第5形態
次に、他の位置入力処理装置の動作について、図46及び 図47のフローチャートと、図48から 図51の説明図に基づき説明する。
【0132】
具体的な動作説明の前に、まず、概略について説明する。
【0133】
人は日常生活の中で、指、あるいはペン等を、三次元空間内の目標点に、高速に、また精度良く誘導することができる。誘導の軌跡は円滑であり、一度の試行で精度良く目標点に到達できる。また、この作業はほとんど無意識的に行われるため、心理的疲労を伴わない。
【0134】
これに対して、現在、コンピュータに座標を乳録する手段として使用されている、マウス、トラックボールでは、カーソルを円滑に目標点へ誘導することが難しい。誘導の軌跡はぎこちなく、滑らかな動きで一度に目標点に到達することは困難である。訂正を繰り返すために軌跡は折れ線状になり、目標点に到達するまで時間がかかる。また精度を上げるために注意の集中が必要となり、心理的な疲労が増すことが問題となる。日常の環境と同等に行動の働きかけと知覚情報の受容のできる仮想的環境を計算機内部に作り上げ、その中でカーソルの誘導を行うことで、実世界における指の誘導と同様の速度と精度、及び心理的負荷を実現できれば、コンピュータの作業能率の向上に大きく貢献することができる。この第5形態の装置はそのようなためのものである。
【0135】
従来方式では、カーソルの目標点への円滑な誘導が困難であることには、いくつかの原因が考えられる。
【0136】
原因の一つとして、ペンに比べて、マウス、トラックボールの動きを精密に制御することが困難な点にある。しかし、仮に装置を工夫して精密に操作できるようにしても、コンピュータ画面上のカーソルの動きが二次元的であるために、三次元の実世界で指やペンを誘導する場合と同様の感覚を得ることができず、指の運動をフィードバック制御する上で必要となる感覚情報が不足する。このことは装置自体の操作性の悪さ以上に深刻な問題となる。
【0137】
三次元空間内で指を紙面上の目標点に誘導する場合に、指の位置や動きの三次元情報が利用できるならば、指の運動方向と紙面との交点を計算することによって、指の紙面上の到達位置を、実際の到達以前に予測することができる。人はこの予想到達位置を無意識的に利用して指の運動を制御し、円滑で精度の高い誘導を実現している。また、指は、紙面から高く、目の知覚にあるとき、大きくぼんやり見えるとともに、そのわずかな動きが紙面の大きな動きに投射される。すなわち、指定座標の精度は、指が紙面から高いときに荒くおおざっぱであり、紙面に近づくにつれ精度が増すことになる。像が大きいことは、注視点を目標点におきながら、周辺視によってカーソル位置を把握する上で都合が良い。また、カーソル移動速度が紙面からの高さに依存して変化することは、最初はおおざっぱにではあるが、高速に目標点に近づき、最後に高い解像度で精度良く目標点に誘導する上で都合が良い。
【0138】
この実施形態5では、仮想的な三次元空間内を動くカーソルを想定し、この装置から入力される三次元情報を使用して、カーソルを三次元空間内で目標点へ誘導する。カーソルとその影のディスプレイ像の形状、色、影、移動速度、サイズ等を、想定される紙面からの高さに依存して変化させ、カーソルが仮想的な三次元空間を移動するように知覚できるようにする。使用者は、運動が三次元的に知覚されるとき、運動の進行方向を延長し、仮想紙面との交点を求め、カーソルの紙面到達位置を予測することができる。この予想到達位置は、使用者に頭の中で把握させる代わりに、計算機内部で計算し、画面に直接表示しても良い。使用者は、この予想到達位置をフィードバックして、指の力と動きを調整し、能率的にカーソルを目標位置に誘導することができる。また、想定される紙面からカーソルが高い位置にあるとき、カーソルと影の像を大きく表示するとともに、これらの像がわずかな指の動きと力で高速に移動するようにする。紙面に近づくにつれ、これらの像は小さく、速度も遅くなるようにする。こうすることで、目標点に視点を向けながら、網膜周辺部でカーソル捉えることが容易となる。また、カーソル位置が紙面から高い間におおざっぱであるが高速に目標点に近づき、カーソルが紙面に近づいてから、高い精度で目標点へ誘導することができる。
【0139】
次に図46及び図47を用いて詳細に説明する。これらの図に記載されたフローチャートの処理は、例えばパーソナルコンピュータ(詳しく言えば、マイクロプロセッサ、メモリ、ディスプレイコントローラ、CRTディスプレイからなる)により実行される。この処理のプログラムは、ROMメモリあるいはハードディスクに予め格納されていても、フロッピーディスクにより供給されても、どちらでもよい。
【0140】
ST701:カーソルのx,y,z座標を取得
例えば、第4形態で説明した三次元座標入力装置及びインタフェース回路から、カーソルのx,y,z座標を得る。なお、ここでカーソルとしたのは一例であって、三次元空間中の位置情報に関するものであれば対象は何であってもよい。また、x,y,z直交座標系に限らず、他の座標系(極座標等)であってもよい。
【0141】
ST702:カーソルを仮想スクリーン上へ投影
上記ステップでx,y,z座標を得たが、コンピュータ上に構成される仮想空間は結局二次元的な画面に表現されるから、なんらかの変換処理を行う必要がある。その方法として、仮想三次元空間に視点とスクリーン(投影面)を仮定し、空間中の対象(例えばカーソル)をスクリーンに投影することを考える。
【0142】
この投影処理について図48を用いて説明する。視点360に光源を置いたと仮定したとき、カーソル362a,362bは、スクリーン361上のカーソル363a,363bにそれぞれ投影される。この処理により、まず、スクリーン361上のカーソルの位置が決まる。
【0143】
この投影方法は、中心投影と呼ばれるものである(他に、製図などで用いられる平行投影がある)。中心投影において、点(x,y,z)を視点からの距離hの投影面に中心投影すると、その座標(X,Y,Z)は次式で表される。
【0144】
X=hx/z
Y=hy/z
Z=z−h
ST703:z座標に応じてカーソルの表示を変化
次に、カーソルのz座標に応じてカーソルの表示を変化させる。仮想空間中のカーソル362a,363bの高さ(z座標)はそれぞれz1、z2(z1>z2)である。したがって、カーソル363aは、カーソル363bよりも大きく投影される。このときの拡大率(スクリーンが視点側にあるときは縮小率)はz座標に関係する(h/(h−z1))。
【0145】
このような表現方法によれば、物体が視点あるいは光源360に近づくにつれ、物体の知覚像、及びその影はぼけ、大きさと動きは拡大されて感じられる。逆に紙面に近づくと、物体と影は小さく鮮明になり、速度も遅く知覚される。この見え方は、人間の視覚に自然に適合するものである。
【0146】
なお、投影処理において、カーソルと他の表示対象、あるいはカーソル同士が重なることが考えられる。このような場合、単純に重ねて表示することも考えられるが、視点側に近い対象を、遠い対象の上に重ねるようにすれば、より自然な表現となる。そのためには、例えば、z座標の大きいもの(遠いもの)から順に画像を描画し、塗り重ねるようにすればよい。
【0147】
ST704:カーソルの属性を変化させるか?
以上の処理だけでも人間の視覚に適合する表示が可能であるが、同時にカーソルの属性(ぼやけている状態、位置精度等)を変化させれば、さらに使い易くなる。
【0148】
カーソルの属性を変化させるときは(YES)、ステップST705に進む。そうでないときは(NO)、ステップST706に進む。
【0149】
ST705:z座標に応じてカーソルの属性を変化させる。
【0150】
カーソルが仮想的な三次元空間を移動するように知覚できるようにするためのカーソルの属性として、カーソルとその影のディスプレイ像の形状、色、影、移動速度、サイズ等とし、これらを想定される紙面からの高さに依存して変化させことが考えられる。ここではカーソルの周囲の円の大小を変化させる場合を例にとり説明する。
【0151】
図49で丸くぼんやりした輪は、カーソル、またはその影の知覚像を抽象化して表現したものである。カーソルが仮想三次元空間で紙面から離れている場合は、輪はぼやけて大きく、紙面に近づくにつれて小さくはっきりと表示される。この輪は、スクリーンの高さを直接示すとともに、スクリーン361上の点(例えばカーソルの中心点)を指示したときのカーソルの精度(誤差)を示すとも考えられる。このような表現は、目的とする点にカーソルが収束するような印象を与えるので、非常に自然な感じが得られ、操作性が向上すると考えられる。
【0152】
具体的な円の与え方として次のような方法が考えられる。三次元空間中のカーソル362a,362bを中心に一定の大きさの円364a,364bを考え、この円をカーソルと同様な方法でスクリーン361に投影する。これにより得られる円365a,365bの半径は、スクリーン361からの高さが高い程、大きくなる。あるいは、図49のz1、z2に比例して(一般的に言えば単調増加の関数に基づき)、円の半径を決めるようにしてもよい。この場合、カーソル362a,362bがスクリーン361に到達したときに円の半径はゼロになるので、後述の消去処理が不要になる。
【0153】
なお、カーソル362がスクリーン361に向かって移動し続けた結果、スクリーン361を突き抜けてしまうことも考えられる。この場合、スクリーン361上のカーソル363は逆に小さくなるが、カーソル363あるいは円365の色を変えるなどして、その状況を明確に把握できるようにしてもよい。
【0154】
なお、ST705〜の処理はカーソルを移動させるときのための処理であるので、カーソルの位置が変化しないときはこれらの処理を行う必要はない。
【0155】
ST706:到達予想位置を表示させるか?
以上の処理に加えてカーソルの到達予想位置を表示させれば、さらに使い易くなる。
【0156】
到達予想位置を表示させるときは(YES)、ステップST707に進む。そうでないときは(NO)、ステップST708に進む。
【0157】
ST707:カーソルの移動量に応じて到達予想位置を求める
カーソル及びその周囲円とともに、カーソルがそのまま移動しつづけたときのスクリーン上の到達位置を表示することにより、さらに使い易くなる。この表示により、カーソルをスクリーン上の目標点に誘導するとき、現在の操作が正しいかどうかを直感的に容易に知ることができる。円滑で疲労の少ない誘導が可能になる。
【0158】
図50はカーソルの近傍(円の内部)に到達予想位置が存在する例である。図50において、円365の内部の十字マーク367はカーソル361への予想到達位置を示す。これらの像の大きさと表示位置は、座標入力装置から与えられる三次元座標情報から計算される。時刻t1においてカーソルが362cの位置にあり、時刻t2において362dの位置にあるとする。到達予想位置は、カーソル362cとカーソル362dとを結ぶ直線366とスクリーン361との交点となる。図50の例は、x,y座標を変化させることなく、z座標のみを変化させることにより目標位置に到達できることを示す。
【0159】
図51はカーソルから離れた位置に到達予想位置が存在する例である。この例は、z座標とともに、x,y座標を変化させることにより、滑らかに短時間で目標位置に到達できることを示す。カーソルの移動のさせ方を変えれば、到達予想位置は変化するから、操作者はその十字マーク367が所望の目標点に一致するように操作すればよい。そして、カーソル362がスクリーン361に近づくにつれ表示カーソル363及び円365の大きさが小さくなり、徐々に収束していく。
【0160】
ST708:到達予想位置にマーク
上記ステップで求められたスクリーン361上の到達予想位置に適当なマーク(図50、51においては十字マーク367)を表示する。
【0161】
なお、以上の説明において2点のカーソルから到達予想位置を求めマークしたが、さらに、カーソルの移動速度((カーソルの移動距離)/(t2−t1))に基づき、十字マーク367の大きさを変化させたり、色を変えたりしてもよい。この場合、カーソルの適正な移動速度を把握しやすく、操作者の意に反してカーソルがスクリーン361を行きすきることが少なくなる。
【0162】
なお、以上の処理により表示される円365と十字マーク367は、カーソル362がスクリーン361(仮想紙面)から高い位置にあるときに、座標入力装置へのわずかな力で高速に移動する。紙面に近づくと、同じ力を加えても移動は低速となる。三次元位置入力装置に指を触れず、圧力が加わっていない状況では、輪も十字マークも表示されない。また、輪と十字マークが背景を隠してしまわないように、これらは薄く背景の画像を透かして見せるような像であること(例えば薄い着色表示、反転表示等)が望ましい。
【0163】
ST709:スクリーン上に到達したかどうか判定する
スクリーン上に到達したときは(YES)、ステップST710に進み、そうでないときは(NO)、ステップST701に戻り、処理を最初から繰り返す。
【0164】
ST710:カーソル表示を戻す
カーソル362がスクリーン361上にあれば投影処理を行う必要はないから、カーソル362をそのまま表示させる。
【0165】
ST711:カーソル属性表示を消去する
ST712:予想到達位置表示を消去する
カーソルがスクリーン(紙面)に到達したとき、円を十字マークに収束させる。そしてこれらを消失させる。この処理により、カーソルが目標点に正しく到達したと理解させるとともに、不要な表示を消去するので、これ以降の操作がやりやすくなる。
【0166】
この第5形態の装置及び方法によれば、人が日常生活の中で行っているように、カーソルを三次元空間内の目標点に、高速に、また精度良く誘導することができる。この誘導の軌跡は円滑であり、一度の試行で精度良く目標点に到達できる。また、この作業はほとんど無意識的に行われるため、心理的疲労を伴わないというすぐれた効果を奏する。
【0167】
座標入力装置は、現在のコンピュータに欠くことのできない装置であり、以上に述べた方法により、座標入力効率を高めれば、コンピュータの操作性、作業能率を大幅に向上することができる。
【0168】
【発明の効果】
本発明のデータ処理装置によれば、垂直位置をも指示するカーソルを表示するので、手元を見ることなく、長時間にわたり効率よく入力作業が続けられる。
【図面の簡単な説明】
【図1】本発明の位置入力装置および位置入力処理装置の全体図である。
【図2】第1形態の位置入力装置の説明図である。
【図3】ペンの詳細な構成図である。
【図4】位置入力装置のインターフェース回路のブロック図である。
【図5】本発明の位置検出の原理説明図である。
【図6】メイン処理のフローチャートである。
【図7】カーソル表示処理のフローチャートである。
【図8】文字モード処理のフローチャートである。
【図9】手書き入力処理のフローチャートである。
【図10】キーボード画像処理のフローチャートである。
【図11】図形モード処理のフローチャートである。
【図12】平行光線によるカーソルの説明図である。
【図13】分散光線によるカーソルの説明図である。
【図14】カーソル表示の変形例を示す図である。
【図15】ペンによる筆圧と筆跡の説明図である。
【図16】毛筆による筆圧と筆跡の説明図である。
【図17】第2形態の位置入力装置の斜視図である。
【図18】メインメニューの表示例である。
【図19】毛筆入力モードの表示例である。
【図20】帳票モードの表示例である。
【図21】特殊マークによる文字認識の表示例である。
【図22】文字の挿入を説明する表示例である。
【図23】文字の削除を説明する表示例である。
【図24】キーボード画像の表示例である。
【図25】同時押しを指示するキーボード画像の表示例である。
【図26】図形モードの表示例である。
【図27】絵画モードの表示例である。
【図28】本発明の第3形態の位置入力装置の構成図である。
【図29】第3形態の位置入力装置の動作を説明する図である。
【図30】高さと電位分布との関係を説明する図である。
【図31】第4形態の位置入力装置の斜視図である。
【図32】この装置の機能ブロック図である。
【図33】この装置のz座標値検出部の詳細断面図である(圧力がない状態)。
【図34】この装置のz座標値検出部の詳細断面図である(圧力がある状態)。
【図35】第4形態の他の位置入力装置の斜視図である。
【図36】この装置の機能ブロック図である。
【図37】第4形態の他の位置入力装置の斜視図である。
【図38】この装置の機能ブロック図である。
【図39】第4形態の他の位置入力装置の斜視図である。
【図40】この装置の機能ブロック図である。
【図41】第4形態の他の位置入力装置の斜視図である。
【図42】この装置の機能ブロック図である。
【図43】第4形態の位置入力装置とコンピュータとのインタフェースの動作説明図である。
【図44】第4形態の位置入力装置とコンピュータとのインタフェース(直列)の動作タイミングチャートである。
【図45】第4形態の位置入力装置とコンピュータとのインタフェース(並列)の機能ブロック図である。
【図46】第5形態のカーソルの表示処理のフローチャートである。
【図47】第5形態のカーソルの表示処理のフローチャート(続き)である。
【図48】第5形態のカーソルの表示処理の説明図である。
【図49】第5形態のカーソルの表示処理の説明図である。
【図50】第5形態のカーソルの表示処理の説明図である。
【図51】第5形態のカーソルの表示処理の説明図である。
【符号の説明】
OSC1〜OSC4…発振器、S1〜S3…センサ、1a、1b、1c…ボード、2a、2b、2c、2d…ペン、3…位置入力処理装置、4…モニタ、5…ケーブル、100a、100b、100c…位置入力装置、101a、101b、101c、101d…インターフェースボックス、102〜104…調節ツマミ、110〜112、121、122…アンプ、113〜115…変調分離回路、116、117…発振位置特定回路、118…先端位置特定回路、119、120…発振回路、123…A/D変換器、124…送信回路、201、214…グリップ、202、210…先端部、203…保持板、204、213…バネ、205、212…圧電抵抗素子、206…スイッチ、211…先端電極、
Claims (17)
- 筆記者の保持するペンの先端位置に対応した画像表示面の位置へカーソルを表示するデータ処理装置であって、
所定の周波数の音波を発する発振器と、前記ペンからの発振波を検出し、検出した発振波を検出信号として出力する複数のセンサと、を所定の位置に設けたボードと、
前記ボードから発せられた音波の周波数に共振し、前記周波数に対応した前記発振波を前記ボードへ向けて発する発振部を備えたペンと、
各前記センサから供給された検出信号と前記発振波との位相差に基づいて、所定の平面における前記ペンの先端位置を特定するための平面位置座標および前記平面に垂直な方向における前記ペンの先端位置を特定するための垂直位置座標を演算し、前記平面位置座標および垂直位置座標を位置情報として出力する位置演算手段と、
前記位置演算手段から前記位置情報を入力し、前記水平位置座標に基づいて、前記ペンの先端位置に対応した画像表示面上の位置へ前記カーソルを表示させるとともに、前記垂直位置座標に基づいて、このカーソルの表示形態を変化させたカーソル画像を生成するカーソル画像生成手段と、
を有するデータ処理装置。 - 前記ペンは、このペンの先端部分を通る軸上の少なくとも二つの部分に互いに異なる周波数を有する発振波を発する前記発振部を備え、
前記位置演算手段は、前記異なる周波数に対応した検出信号と発振波との位相差に基づいて各前記発振部の位置を特定する発振位置特定手段と、前記発振位置特定手段が特定した各々の前記発振部の位置に基づいて当該ペンの向きを特定するとともに、前記発振部の位置と当該ペンの向きとに基づいて当該ペンの先端位置を特定し、前記位置情報として出力する先端位置特定手段と、
を備えた請求項1に記載のデータ処理装置。 - 前記ペンは、当該ペンが筆記対象物に当接した際に、この当接による圧力を検出し、検出した圧力に対応する圧力信号を出力する圧力検出手段をさらに備え、
前記位置演算手段は、前記圧力信号に基づいた圧力情報を出力する
請求項1に記載のデータ処理装置。 - 前記ペンは、筆記者の操作に応じて確認信号を供給するスイッチをさらに備えた
請求項1に記載のデータ処理装置。 - 前記カーソル画像生成手段は、前記カーソルの移動に伴って移動する影を表示するものであって、前記垂直位置座標に基づいて、このカーソルと影との相対的な表示位置が変化するカーソル画像を生成する
請求項1に記載のデータ処理装置。 - 前記カーソル画像生成手段は、前記カーソルの移動に伴って移動する影を表示するものであって、前記垂直位置座標に基づいて、この影の面積が変化するカーソル画像を生成する
請求項1に記載のデータ処理装置。 - 前記カーソル画像生成手段は、前記カーソルの移動に伴って移動する影を表示するものであって、前記垂直位置座標に基づいて、この影の表示濃度が変化するカーソル画像を生成する
請求項1に記載のデータ処理装置。 - 前記カーソル画像生成手段は、前記垂直位置座標に基づいて、前記カーソルの大きさが変化するカーソル画像を生成する
請求項1に記載のデータ処理装置。 - 実際のキーボードを模擬したキーボード画像を生成するキーボード画像生成手段と、
外部から操作者の確認の位置を示す確認信号が供給された時に、前記水平位置座標に基づいて前記カーソルが示す前記キーボード画像におけるキーを特定し、特定した当該キーに対応する制御コードを生成するキー特定手段と、
をさらに備えた請求項1に記載のデータ処理装置。 - 前記カーソル画像生成手段は、前記圧力情報に対応させて前記カーソルの表示形態を変化させる
請求項3に記載のデータ処理装置。 - 前記圧力情報が供給された場合に、この圧力情報が供給されている際の前記水平位置座標の変化を筆記者の筆跡として前記画像表示面へ表示する筆跡表示手段をさらに備えた
請求項1に記載のデータ処理装置。 - 前記筆跡表示手段は、前記圧力情報に対応させて前記筆跡の太さを変化させて表示する
請求項11に記載のデータ処理装置。 - 前記筆跡表示手段は、前記筆跡を文字コードに変換し、この文字コードに基づいた文字を表示する筆跡識別部を備えた
請求項11に記載のデータ処理装置。 - 前記筆跡識別部は、前記筆跡を変換して得られた文字コードが予め定められたマークの文字コードに等しいものであると判定した場合に、当該マークに相当する筆跡が指定する範囲に含まれる筆跡を文字コードに変換する
請求項13に記載のデータ処理装置。 - 前記確認信号が供給された場合に、この確認信号が供給された時の垂直位置座標および水平位置座標に基づいて、立体画法による図形を描画する描画手段をさらに備えた
請求項4に記載のデータ処理装置。 - 前記カーソル画像生成手段は、前記ペンの先端部分の向いている方向を示す向き情報が供給された場合に、この向き情報に基づいて表示画像の表示形態を変化させる向き特定手段を備えた
請求項2に記載のデータ処理装置。 - 請求項1に記載のデータ処理装置を用いて、筆記者の保持するペンの先端位置に対応させてカーソルを画像表示面へ表示する、
データ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26960296A JP3895406B2 (ja) | 1996-03-12 | 1996-10-11 | データ処理装置およびデータ処理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8-54337 | 1996-03-12 | ||
JP5433796 | 1996-03-12 | ||
JP26960296A JP3895406B2 (ja) | 1996-03-12 | 1996-10-11 | データ処理装置およびデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09305306A JPH09305306A (ja) | 1997-11-28 |
JP3895406B2 true JP3895406B2 (ja) | 2007-03-22 |
Family
ID=26395089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26960296A Expired - Fee Related JP3895406B2 (ja) | 1996-03-12 | 1996-10-11 | データ処理装置およびデータ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3895406B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10915221B2 (en) | 2018-08-03 | 2021-02-09 | International Business Machines Corporation | Predictive facsimile cursor |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4357030B2 (ja) * | 1999-05-21 | 2009-11-04 | トヨタ自動車株式会社 | 空間図形入力装置 |
AU769120B2 (en) * | 1999-08-19 | 2004-01-15 | Pure Depth Limited | Control of depth movement for visual display with layered screens |
JP2002236546A (ja) * | 2001-02-08 | 2002-08-23 | Canon Inc | 座標入力装置及びその制御方法、コンピュータ可読メモリ |
KR100408518B1 (ko) * | 2001-04-12 | 2003-12-06 | 삼성전자주식회사 | 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법 |
JP2003280785A (ja) * | 2002-03-26 | 2003-10-02 | Sony Corp | 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム |
WO2003088136A2 (en) * | 2002-04-15 | 2003-10-23 | Epos Technologies Limited | Method and system for obtaining positioning data |
GB0228512D0 (en) * | 2002-12-06 | 2003-01-15 | New Transducers Ltd | Contact sensitive device |
JP2004192573A (ja) * | 2002-12-13 | 2004-07-08 | Fujitsu Ltd | 情報処理装置及び情報表示方法 |
JP2004213620A (ja) * | 2002-12-18 | 2004-07-29 | Wacom Co Ltd | 3次元情報検出システム、3次元情報検出装置及び3次元情報検出用入力装置 |
JP3794374B2 (ja) * | 2002-12-24 | 2006-07-05 | 株式会社ナナオ | 位置検出装置及びこれに用いる指示装置 |
US7489308B2 (en) * | 2003-02-14 | 2009-02-10 | Microsoft Corporation | Determining the location of the tip of an electronic stylus |
JP2005190199A (ja) * | 2003-12-25 | 2005-07-14 | Seiko Epson Corp | 手書き文字入力表示装置及び手書き文字入力表示方法ならびにそのプログラム |
CA2566534C (en) | 2004-05-17 | 2014-01-14 | Epos Technologies Limited | Acoustic robust synchronization signaling for acoustic positioning system |
AU2006225986B2 (en) | 2005-03-23 | 2011-09-01 | Qualcomm Incorporated | Method and system for digital pen assembly |
JP2007004614A (ja) | 2005-06-24 | 2007-01-11 | Sharp Corp | 座標入力ペンおよびそれを備えた座標入力装置 |
JP4754913B2 (ja) * | 2005-09-16 | 2011-08-24 | 旭化成エレクトロニクス株式会社 | 位置検出装置、情報入力装置、及びモーションスイッチ |
EP2138010B1 (en) | 2007-03-14 | 2013-11-06 | QUALCOMM Incorporated | Mems microphone |
JP5207167B2 (ja) * | 2007-12-12 | 2013-06-12 | 国立大学法人岐阜大学 | 投影システムの校正装置 |
JP5526557B2 (ja) * | 2009-02-19 | 2014-06-18 | 日本電気株式会社 | 電子ペン及び電子ペンシステム |
JP5322806B2 (ja) * | 2009-06-29 | 2013-10-23 | Kddi株式会社 | ポインティングシステム |
US8488413B2 (en) | 2009-10-16 | 2013-07-16 | Casio Computer Co., Ltd. | Indicated position detecting apparatus and indicated position detecting method |
JP5186715B2 (ja) | 2010-06-14 | 2013-04-24 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム |
JP5656514B2 (ja) * | 2010-08-27 | 2015-01-21 | キヤノン株式会社 | 情報処理装置及び方法 |
US20120218395A1 (en) * | 2011-02-25 | 2012-08-30 | Microsoft Corporation | User interface presentation and interactions |
JP5677873B2 (ja) * | 2011-03-01 | 2015-02-25 | シャープ株式会社 | データ送信方法および情報処理システム |
JP5586529B2 (ja) * | 2011-05-31 | 2014-09-10 | 京セラドキュメントソリューションズ株式会社 | 文字入力装置、画像形成装置 |
CN103403650A (zh) * | 2012-10-31 | 2013-11-20 | 华为终端有限公司 | 绘图控制方法、装置及移动终端 |
JP5933468B2 (ja) * | 2013-03-04 | 2016-06-08 | 三菱電機株式会社 | 情報表示制御装置、情報表示装置および情報表示制御方法 |
JP5889230B2 (ja) * | 2013-03-04 | 2016-03-22 | 三菱電機株式会社 | 情報表示制御装置、情報表示装置および情報表示制御方法 |
JP2014219768A (ja) * | 2013-05-02 | 2014-11-20 | 船井電機株式会社 | 情報処理装置及び情報処理システム |
JP2018124811A (ja) * | 2017-02-01 | 2018-08-09 | 株式会社東海理化電機製作所 | 操作装置 |
JP2018136709A (ja) * | 2017-02-21 | 2018-08-30 | 三菱電機インフォメーションシステムズ株式会社 | データ入力装置、データ入力プログラム及びデータ入力システム |
WO2019044003A1 (ja) * | 2017-09-04 | 2019-03-07 | 株式会社ワコム | 空間位置指示システム |
CN111344663B (zh) * | 2017-11-21 | 2023-10-24 | 株式会社和冠 | 渲染装置及渲染方法 |
WO2020241549A1 (ja) * | 2019-05-29 | 2020-12-03 | シャープ株式会社 | 描画装置、描画プログラムおよび描画方法 |
JP6734445B2 (ja) * | 2019-07-03 | 2020-08-05 | 三菱電機インフォメーションシステムズ株式会社 | データ入力装置、データ入力方法及びデータ入力プログラム |
JP7396337B2 (ja) * | 2021-09-14 | 2023-12-12 | カシオ計算機株式会社 | 電子機器、入力方法およびプログラム |
-
1996
- 1996-10-11 JP JP26960296A patent/JP3895406B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10915221B2 (en) | 2018-08-03 | 2021-02-09 | International Business Machines Corporation | Predictive facsimile cursor |
Also Published As
Publication number | Publication date |
---|---|
JPH09305306A (ja) | 1997-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3895406B2 (ja) | データ処理装置およびデータ処理方法 | |
US6747631B1 (en) | Information perception apparatus, information transmission system, and memory medium in which program for controlling information perception apparatus is stored | |
RU2421776C2 (ru) | Способ управления позицией контрольной точки в командной области и способ управления устройством | |
US20200310561A1 (en) | Input device for use in 2d and 3d environments | |
EP0403782B1 (en) | Three dimensional mouse with cavity | |
US9513716B2 (en) | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector | |
CN110603509A (zh) | 计算机介导的现实环境中直接和间接交互的联合 | |
KR101518727B1 (ko) | 입체 인터랙션 시스템 및 입체 인터랙션 방법 | |
KR20150104808A (ko) | 피드백을 출력하는 전자 장치 및 방법 | |
JPH08335134A (ja) | 情報処理装置 | |
US20190050132A1 (en) | Visual cue system | |
US6466197B1 (en) | Method and apparatus for driving pointing device of computer system | |
US20150015489A1 (en) | System and method for digital recording of handpainted, handdrawn and handwritten information | |
JP2015118605A (ja) | 触感制御装置、制御方法及びプログラム | |
EP1228480B1 (en) | Method for digitizing writing and drawing with erasing and/or pointing capability | |
CN115494971B (zh) | 一种电子触控笔及其输入系统 | |
Zeleznik et al. | Look-that-there: Exploiting gaze in virtual reality interactions | |
US11644912B2 (en) | Interface device and on-panel pad | |
GB2377607A (en) | Analysing and displaying motion of hand held instrument | |
JP6966777B2 (ja) | 入力システム | |
JP2011034455A (ja) | データ入力装置及びデータ入力方法 | |
US20040243538A1 (en) | Interaction with a three-dimensional computer model | |
CN114706487A (zh) | 字符输入方法、装置、电子设备及可读存储介质 | |
JP2001092579A (ja) | 情報表示装置 | |
JP7535163B1 (ja) | 情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061214 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |