JP2004272636A

JP2004272636A - Processing method for detection coordinate value, and coordinate input device

Info

Publication number: JP2004272636A
Application number: JP2003063128A
Authority: JP
Inventors: Katsuyuki Kobayashi; 克行小林; Yuichiro Yoshimura; 雄一郎吉村; Hajime Sato; 肇佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-03-10
Filing date: 2003-03-10
Publication date: 2004-09-30

Abstract

<P>PROBLEM TO BE SOLVED: To provide a coordinate input device having excellent operability, allowing an additional entry of information by intuitive operation even if display information is lost by operator's shadow or the like, in a device wherein input and output are integrated by combining a display device and the coordinate input device. <P>SOLUTION: This coordinate input device outputting a difference between a detection coordinate value and a reference coordinate value has a means setting reference coordinates on the basis of positional information or an operation state of an indicator, and can display information inputted to a desired position on a display screen in an arbitrary coordinate input position without executing special work such as switch operation or the like. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、表示システムと組み合わせて使用することにより、入出力一体の装置を構成することができる座標入力装置に関する。より詳しくは、ディスプレイの画面に指示具によって直接座標を入力することにより、外部接続されたコンピュータを制御したり、文字や図形などを書き込むために用いられる座標入力装置に関する。さらには、ディスプレイの画面から離れた位置において、指示具によって座標を入力する事によって、ディスプレイに表示されている例えばカーソルの位置を移動したり、外部接続されたコンピュータを制御することができる検出座標値の処理方法、及び座標入力装置に関する。
【０００２】
【従来の技術】
従来、ＣＲＴディスプレイ、液晶ディスプレイ（ＬＣＤ）、あるいはプロジェクター等の表示装置の表示面に、座標を入力することができる座標入力装置を重ねて配置し、操作者が行ったポインティング、或いは筆記による筆跡をディスプレイに表示し、あたかも、紙と鉛筆のような関係を実現することができる装置が知られている。座標入力装置としては、抵抗膜方式をはじめ、静電方式、ガラス等の座標入力面に超音波を伝播させる超音波方式等、透明な入力板を有するものや、光学式、あるいは空中に音波を放射することで位置を検出する方式、さらには電磁誘導（電磁授受）方式の様に、表示装置の裏側に座標算出のための機構を配置し、表示装置の前面に透明な保護板を配置して、入出力一体の情報機器を構成している物も有る。
【０００３】
この様な機器は、携帯性を有する小型の電子手帳に始まって、ペン入力コンピュータ等、表示デバイスの大型化に伴って、比較的大きなサイズの情報機器も見られるようになった他、フロントプロジェクタ、リアプロジェクタ、あるいはＰＤＰ等の大型の表示装置と組み合わせて、例えばプレゼンテーション装置、ＴＶ会議システム等に利用され始めている。この大型の液晶ディスプレイやＰＤＰディスプレイは、現在も画質の改善、低コスト化が進められている他、衛星放送等のデジタル化に伴い、テレビの仕様形態も過渡期の状態に入りつつある。
【０００４】
また、これらの大型表示装置は、例えばオフィスにおいて使われていたホワイトボード、あるいは電子黒板にとって変わり、パソコン内にあらかじめ用意した資料用データを大画面ディスプレイに表示させることで、会議用途、打ち合わせ用途に使われ始めている。その場合、表示用ディスプレイに表示された情報は、ホワイトボードの如く、操作者、あるいは出席者により表示情報を更新するために、直接画面をタッチすることで、パソコンを制御して、例えば表示スクリーンの表示内容を切り替えることができるように構成されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、この種の座標入力装置において、抵抗膜方式、静電方式等の座標入力装置は、完全に透明な入力板を構成することが困難であり、表示装置の画像の質を低下させると言う問題が生じる。さらには、ガラス等の伝播体を必要とする超音波方式では、例えば室内で用いる際の蛍光灯の映りこみを防止するために、そのガラスの表面を光学的に処理する必要があり、画像の画質を維持すると言う点で大幅なコストアップが避けられない。また電磁誘導方式は、表示面の裏側にマトリックス上の電極を配置し、入力ペンとの間で電磁的な信号の送受を行うので、表示装置が大型化し装置の厚みが増すと、原理的に座標算出が困難なものとなる上に、会議用途、あるいはプレゼン用途といった大型の座標入力装置を構成する場合には、非常にコストの高い装置となってしまう欠点を有する。
【０００６】
また、大型の表示システムを採用した場合には、大勢の聴衆が鑑賞することが想定され、画像の視野角、あるいはコントラスト等は十分な性能が要求される。従って、これらの大型表示システムと座標入力措置を組み合わせる場合には、十分な低コストで精度良く座標算出が可能となるばかりでなく、表示装置の画質を劣化させないと言うことが重要な要件となる。
【０００７】
さらには、この種の大型の入出力一体のシステムを考慮した場合、大勢の参加者を想定した打ち合わせ、あるいはネットワーク時代を考慮すれば、操作者が直接画面をタッチすることでパソコンを制御し、操作者が必要な情報を適宜表示したりする事ができる構成は、操作者（プレゼン発表者）にとって、操作性という観点で優位である。また大勢の参加者である聞き手は、操作者が直接画面の情報を操作することで、操作者の指示ポイント、操作者の表情やジェスチャー等の情報を、画面に表示されている情報と共に同時に得られるので、より理解を深める事が可能となる。しかしながらこの種の大型の表示装置に操作者が指示等のアクションを行えば、操作者の移動にともない画面の情報がさえぎられ、特にフロントプロジェクタ、ＯＨＰ等の投射タイプの表示装置を採用しているシステムでは、画像が大きく歪むことになるので、見難いと言う観点で大きな障害となり得る。
【０００８】
こうした光路をさえぎる等の不都合を解消する方法として、操作者が指示具を用いて、その場においてマウス的な動作（絶対座標でなく、相対座標で例えばカーソルを移動する動作）を実行する事で、現状のカーソル位置から所望の位置にカーソルを移動させていく方法がある。
【０００９】
マウス的動作とは、パーソナルコンピュータのカーソル位置制御手段として近年常用されている『マウス』の操作性を指し、小さな操作領域において、マウスの上下運動と反復動作により、表示画面全域にカーソルを移動させる事ができる。この時の座標値処理方法について記せば、表示画面上の座標系において、ある時点におけるカーソルの位置が（Ｘ１、Ｙ１）と仮定すれば、例えばボールの回転によりマウスの移動量を検知する方式では、ボールの回転をＸ方向、Ｙ方向の移動量に分解し、回転に応じた距離情報（ΔＸ、ΔＹ）を検出して、その信号に基づき、カーソルの位置を（Ｘ１＋ΔＸ、Ｙ１＋ΔＹ）の位置に移動させる事ができる。
【００１０】
このことを座標入力装置で実現しようとするならば、まず操作者による動作によって、ある時点における指示具の座標値（Ｘ１、Ｙ１）を検出したと仮定し、その後、指示具を移動させて座標値（Ｘ２、Ｙ２）を座標入力装置が検出したとすれば、その移動量は（ΔＸ、ΔＹ）である（ΔＸ＝Ｘ２−Ｘ１、ΔＹ＝Ｙ２−Ｙ１）。この移動量（ΔＸ、ΔＹ）分を、現状の任意のカーソル位置からの移動量としてカーソルを移動させれば、操作者の意図（方向とその移動距離が指示具の移動方向と移動量に等しい）に応じてカーソルを移動させる事ができる。つまり大画面の所定位置に直接指示具を位置せしめなくても、操作者がその場にいて、カーソルを所定位置に移動させる事が可能となるのである。
【００１１】
一方、座標入力装置としては、画面を直接タッチする事で文字入力、描画（あたかも紙と鉛筆の様な関係で、指示具を移動させる事でそのエコーバックとしてその移動個所に筆跡が残る構成）、あるいはアイコンをダブルクリックする等の動作によるコマンド生成は重要な機能で有る。つまり、この種のシステムにおいては、絶対座標を出力する動作モードは必須であり、上述した相対的な動作と両立させる事は重要な課題である。このモードを切り替える方法としては、種々の構成が開示されており、例えば特開平４−２９９７２４号公報に示されるように表示領域を分割して絶対座標を入力できる領域と相対座標を入力できる領域に分割する方法や、特開平５−２９８０１４号公報、或いは特開平１０−３３３８１７号公報に示されるように相対／絶対座標入力切替手段を設ける方法、アプリケーションに応じて自動的に切り替える方法が開示されているが、上記従来例における操作性は、使いこなすのに熟練を要すばかりか、操作上の制約が多く、使い勝手の良い構成とは言えない。
【００１２】
さらには、上記フロントプロジェクタ、ＯＨＰ等の投射タイプの表示装置を採用しているシステムにおいて、操作者による指示具の操作により、例えば表示画面に文字、図形等を追記する場合を考えると、指示具、あるいは指示具を持つ操作者の手、腕等により、情報を入力しようとする部分は影となって、現状映し出されている情報を視覚することはできないのが通例である。つまり、現状映し出されている例えば文字情報にアンダーラインを指示具の操作により追記しようとする場合、その文字情報は、前述の影により認知する事ができず、影になっていない周辺の部分の表示情報から推測して、つまり操作者の感によって目的を達成する事になる。従って、正確な位置に情報（この場合はアンダーライン）を追加する事ができず、特に細かい図形を追記しようとする場合には、全くその目的を達成する事ができないと言う課題を有する。
【００１３】
この、『入力する部分の画像が影となって見えない』と言う課題に対して、例えば特開平１０−１４９２５３号公報に示されるように絶対座標に対するオフセット値を設定する方法が知られている。つまり指示具の位置座標に所望のオフセット値を設定する事で、カーソルの位置を指示具の位置から一定距離離れた方向に表示させ、そのカーソルの動きをみながら、文字、図形を入力するものである。つまり、指示具を操作する領域は陰になって表示情報を得る事はできないが、その領域から離れた位置に表示されているカーソルの動きを視認して、文字、図形等の入力を可能とするものである。
【００１４】
ここで考慮しなければならないのは、表示されている情報に文字等を追記する場合、表示されている情報の位置と関連性を持たせて、図形、文字を入力しようとするので（例えば、表示されている文字の下側にアンダーラインを追記する等）、まず操作者は情報を追記したい画面上の位置をまず決めるのであって、指示具を操作させる場所をまず決めるのではないと言う点である。つまり、上記従来例は任意でオフセット量を設定する手段を有するが、操作者が行う動作は、次のような手順となる。
手順１）指示具の操作位置を決める。
手順２）オフセット量を調整／設定してカーソルを所望の位置に移動させる。
手順３）指示具による動作で所望の情報を追記する。
【００１５】
つまり操作者は、入力動作を実施する前に、操作領域の設定とオフセット量の設定を行わなければならない。従って、オフセットの設定の最中に基準となる指示具の位置が固定できていなければ、誤差が発生するし（所望の位置に情報を追記できない）、逆に指示具の位置を固定しながらのスイッチ操作は非常に困難であり、使い勝手に優れるとはとても言えない。
【００１６】
さらには、この種の大型の表示装置を有するこの種の座標入力装置に有っては、その使用目的が『会議』『プレゼン用途』が主である事を考慮すると、その操作者はその装置に不慣れであると言う事が十分に考えられる。つまり、多くの人が交代で使う会議室に設置されたものとすれば、定期的に打ち合わせをその会議室で行っている参加者以外は、『装置の使い勝手を良く知っている』とは言えず、たまたまその会議室で会議を開催した参加者であっても、直感で指示具を操作できることが重要である。つまり、上記で説明したような従来例にあっては、光路を遮断する事で発生する障害を回避することはできても、実用上、誰でもが間単に使えると言う構成にはなっていなかった。
【００１７】
一方、この種の大型の入出力一体のシステムを考慮した場合、上述したような操作者が直接画面をタッチしたりすることでパソコンを制御するばかりでなく、例えば画面を見ながら発表内容を聞いている会議参加者が、質問、或いは反論のための証拠資料を開示できるように、画面から離れた位置においても、画面を操作したり、必要に応じてネットワークより情報を引き出せるような構成になるのが好ましい形態であると言える。
【００１８】
さらには、『大画面』ディスプレイを用いたプレゼンテーションを考慮すると、発表者（操作者）は映し出された画像全体を認知しようと、大画面であるがゆえに『画面より離れた位置』に『無意識』に立つのが通例である。このことは、ＯＨＰ等のプレゼンで明らかなように、その距離は画像サイズが大きくなればより長くなる。その際、画像を指示する手段としては、聞き手の視線をさえぎらない『指し棒』、『レーザポインタ』が常用され、大画面を用いたプレゼン用途では、その場（画像から離れた位置）で画面操作（表示情報の制御、所望位置の指示等）ができるのが好ましい形態と言える。
【００１９】
本発明は、以上の点に着目して成されたもので、表示装置と座標入力装置を組み合わせた入出力一体の装置において、例えば操作者の影によって表示情報が欠落する場合であっても、直感的な操作で情報を追記する事ができる操作性に優れる検出座標値の処理方法、及び座標入力装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するために、本願発明は次のような構成からなる。
【００２１】
指示具の位置検出座標値の座標値処理方法であって、連続的に座標が検出されているかを判定する判定手段を有し、指示具による座標入力が継続的に行われているかを判定する。この継続的に座標入力が行われている間に、最初に有効となる座標値を基準座標値の候補として選択し、この基準座標値の候補を基準座標として採用するかを、指示具の動作状態に応じて決定する。具体的に指示具の動作状態とは、『指示具のどのスイッチ手段が動作しているか』或いは『指示具の位置』によって決定するものである。基準座標の候補を採用しない場合には、継続的に座標入力が行われている状態の前の段階で継続的に座標入力が行われている間採用された基準座標をそのまま保持し、採用する場合には、基準座標の候補を基準座標として更新、記憶する様に構成する。記憶された基準座標と、継続的に座標が出力されている期間、検出座標値と基準座標との差分値を出力する様に構成したものである。
【００２２】
なお、さらに詳細に説明すれば、本発明は下記の構成によって前記課題を解決できた。
【００２３】
（１）指示具の位置検出座標値の座標値処理方法であって、連続的に座標が検出されているかを判定する判定手段と、指示具の動作状態に応じて、前記連続的に座標が出力されている間に最初に有効となる座標値を基準座標として更新、記憶するかを決定する決定手段と、決定手段が基準座標値を更新すると判断した場合には、前記連続的に検出される連続期間中に最初に有効となった座標値を新たに基準座標値として更新、記憶する記憶手段と、前記連続的に座標が出力されている間、検出座標値と前記記憶手段に記憶されている基準座標との差分値を出力する座標値処理手段を有する事を特徴とする検出座標値の処理方法。
【００２４】
（２）指示具に設けられた第一、及び第二のスイッチ手段を動作させる事によって、前記指示具の位置検出動作を実行する座標入力装置であって、連続的に座標が検出されているかを判定する判定手段と、座標値が連続的に検出されている状態が第一、もしくは第二のスイッチ手段によるものかを判定するスイッチ判定手段と、前記スイッチ判定手段の判定結果に基づき、格納されている基準座標値を更新、記憶するかを決定する決定手段と、決定手段が基準座標値を更新すると判断した場合には、前記連続的に検出される連続期間中に最初に有効となった座標値を新たに基準座標値として更新、記憶する記憶手段と、前記連続期間中に検出された座標値と前記格納されている基準座標値の差分値を出力する出力手段を有する事を特徴とする座標入力装置。
【００２５】
（３）指示具の２次元、もしくは３次元の位置座標検出可能な座標入力装置であって、連続的に座標が検出されているかを判定する判定手段と、座標値が連続的に検出される連続期間中に最初に有効となった座標値に基づき、格納されている基準座標値を更新、記憶するかを決定する決定手段と、決定手段が基準座標値を更新すると判断した場合には、前記連続的に検出される連続期間中に最初に有効となった座標値を基準座標値として更新、記憶する記憶手段と、前記連続期間中に検出された座標値と前記格納されている基準座標値の差分値を出力する出力手段を有する事を特徴とする座標入力装置。
【００２６】
（４）表示装置と組み合わせることによって、入出力一体の装置を構成する事ができる、指示具の３次元（Ｘ軸、Ｙ軸、Ｚ軸）位置座標検出可能な座標入力装置であって、表示装置の表示面をＸＹ平面（Ｚ＝０）、その鉛直方向をＺ軸と定義すれば、前記入出力一体の連続的に座標が検出されているかを判定する判定手段と、座標値が連続的に検出される連続期間中に最初に有効となった座標値のＺ軸情報に基づき、格納されている基準座標値を更新、記憶するかを決定する決定手段と、決定手段が基準座標値を更新すると判断した場合には、前記連続的に検出される連続期間中に最初に有効となった座標値を基準座標値として更新、記憶する記憶手段と、前記連続期間中に検出された座標値と前記格納されている基準座標値の差分値を出力する出力手段を有する事を特徴とする座標入力装置。
【００２７】
（５）前記（４）記載の空間（３次元）位置座標を検出して出力する座標入力装置は、空中を伝播する音波を検出する事によって、指示具の３次元位置座標を検出する事を特徴とする座標入力装置。
【００２８】
（６）前記（２）、（３）、（４）いずれか記載の座標入力装置であって、連続的に座標が検出されているかを判定する判定手段は、座標入力装置が座標値を出力するタイミングを監視することによって判定する事を特徴とする座標入力装置。
【００２９】
【発明の実施の形態】
まず本願発明の座標処理方法を採用した座標入力装置の概略を説明する。
【００３０】
図１は本願発明の座標処理方法を採用した３次元（空間）座標検出可能な座標入力装置の概略構成を示すものである。図中、４は筆記具であるところの座標入力ペンであって、操作者による座標入力動作により空中に音波を発生するように構成されている。発生した音波は複数の検出センサ３（本実施例の場合、４個の検出センサ３＿Ｓａ〜Ｓｄを使用する）により検出され、後述する方法により信号波形検出回路２で処理された後、演算制御回路１によって、指示具４の発信源位置座標（Ｘ，Ｙ，Ｚ）を算出するように構成されている。演算制御回路１は装置全体を制御するとともに、得られる座標データを基に、ディスプレイ駆動回路７を介して、ディスプレイ６に表示されているカーソルを移動したり、あるいは筆記等の手書き情報をディスプレイ６に表示、追記できるように構成されている。
【００３１】
以上のように、座標入力装置と表示装置を組み合わせることで、あたかも『紙と鉛筆』の様な関係を実現することができるマンマシンインターフェースを提供することが可能となる。
【００３２】
図２は本願発明を実施する指示具４の構成について説明する説明図であって、指示具４内に内蔵された音波発生源４３は、ペン電源４６、およびタイマと発振回路、並びに指示具４に具備されている複数のスイッチ動作情報を検知して制御する制御回路等で構成された駆動回路４５によって駆動される。音波発生源４３の駆動信号は、タイマによって発せられる所定の周期で繰り返すパルス信号であって、発振回路により所定のゲインで増幅された後、音波発生源４３に印可される。この電気的な駆動信号は音波発生源４３によって機械的な振動に変換され、空中にそのエネルーギーを放射することになるが、その一方で、前述音波の放射タイミングと同期した信号を、ＬＥＤ等の発光手段４４より出力する。
【００３３】
なお本実施例における指示具４は、筆記具であるところのペン先端部を押圧することで動作するペン先スイッチ（ＳＷ）４１、並びに指示具４の筐体に設けられた複数のペンサイドスイッチ（ＳＷ）４２を具備する。このいずれかのスイッチが動作する事によって、指示具４から所定周期で信号を放射する事になる。従って所定周期毎（例えば１０ｍｓｅｃ毎、その場合、１秒間あたりに音波を１００回放射するので、本座標入力装置の座標出力サンプリングレートは、１００回／秒となる）に駆動回路４５は、指示具４内の音波発生源４３を駆動させる信号を出力し、空中に音波とタイミング信号であるところの光信号を放射することになるが、音波は音源と各検出センサ３＿Ｓａ〜Ｓｄ迄の距離に各々応じて遅延し、到達、検出されることになる。この種の座標入力装置は、指示具４の音波発信源と各検出センサ３間の距離を、音波の既知の音速と、その到達時間の積により各々導出し、各検出センサの位置情報を用いて幾何学的に前述音波発信源の位置情報を得ることを基本としたシステムである。
【００３４】
そこで、この音波の到達時間を検出する方法、並びに種々の制御信号の生成について説明する。図３は到達時間検出方法を説明するためのタイミングチャートであり、図４はそれを実現するための回路ブロック図である。符号１０１は指示具４内の駆動回路４５で発生した駆動信号であり、駆動信号１０１を発生するとともにスタート信号を生成するために赤外ＬＥＤ等の発光手段４４から光信号を放出する。この光信号は受光素子５（図１、図４参照）によって受光され、信号波形検出回路内２内の制御信号検出回路２１１で復調され、制御信号検出回路２１１にて指示具４からの音波の放射タイミング信号を生成し、マイクロコンピュータ３０１に出力して、演算制御回路１内のタイマ３０３をスタートさせる。また制御信号検出回路２１１は、ペンスイッチ情報、あるいは『連続入力』の状態にあるかどうかを判定し、その信号を演算制御回路１に出力する。
【００３５】
先に述べた通り、指示具４は、筆記具であるところのペン先端部を押圧することで動作するペン先スイッチ（ＳＷ）４１、並びに指示具４の筐体に設けられた複数のペンサイドスイッチ（ＳＷ）４２を具備しており、そのいずれかが動作する事で座標入力ペンの位置座標を検出するものであるが、制御信号検出回路２１１は指示具４のどのスイッチが動作をしているかを判定する事が可能な構成となっている。具体的には、指示具４がタイミング信号として放射する光信号にスイッチ情報を示す信号を重畳（その他に例えば座標入力ペンを識別するための識別コード等を重畳させる事も可能）させるのであるが、その情報を伝送する方法は、例えば連続するパルス列からなるリーダ部と、これに続くコード（メーカーＩＤなど）とからなるヘッダ部をまず出力し、その後ペンスイッチ信号等の制御信号などからなる送信データ列を予め定義された順序と形式に従って順次出力する。この方法はよく知られた方法（例えば赤外線を利用したリモコン等）であり、ここでの詳述は省略する。
【００３６】
またその他の方法としては、例えば所定周期毎に座標検出を行うこの種の座標入力装置の所定周期を変更し、その情報を検出する事で識別する事も可能である。座標入力装置が最大１００ポイント／秒、つまり１０ｍｓｅｃ毎に座標検出可能な仕様とすれば、ペン先ＳＷ４１が動作している場合には、例えば１００ポイント／秒で座標算出を行い、ペンサイドＳＷ４２が動作している場合には、８０ポイント／秒で座標算出する様に設定、つまり、各々その周期で指示具４から信号を放射することになるので、その周期を制御信号検出回路２１１で監視することによって、どのスイッチが動作しているかを判別することが可能となる。
【００３７】
さらには、図５のフローチャートを用いて、ペン／アップダウンについて説明すれば、まずステップＳ４０２でペン先スイッチ４１の状態を判定する。ペン先スイッチ４１がＯＮ状態とは、座標入力面であるディスプレイ６上に座標入力ペンが位置し、操作者によってまさに座標入力が行われ、筆跡を入力しようとする状態（ペンダウン状態）であり、画面上に表示された筆跡は、操作者による筆記動作に対して忠実に再現される。また例えばペン先スイッチを所定時間内に２回動作させた場合、座標入力装置の座標サンプリングレートを参照しながら、信号を受信した時間、間隔、あるいは座標を算出しているタイミング等を監視することで、マウスのダブルクリック動作を認識するように構成されている。
【００３８】
一方ステップＳ４０２でペン先スイッチが動作していない（ＯＦＦ状態）場合は、ステップＳ４０３〜Ｓ４０５において、ペンサイドスイッチの状態を判別する。本願発明の実施例においては、指示具４にはペンサイドスイッチ４２＿ａ、４２＿ｂの２個のサイドスイッチ４２が具備されており、少なくともどちらか一方がＯＮ状態にあれば、ペンアップ状態、その両者がＯＮ状態となっていればペンダウン状態として動作するように構成されている。
【００３９】
この様にペン先スイッチ４１がＯＦＦ状態、かつ少なくともどちらかのサイドスイッチ４２が動作状態となる具体的想定使用例は、操作者が座標入力面であるところのディスプレイから離れた位置で、画面を制御しようとしている場合であって、離れた位置で例えばカーソルを所望の位置に移動したり、筆跡を入力しようとする場合である。つまり少なくとも一方のサイドスイッチ４２が動作している場合は、操作者は画面上に示されているカーソルを移動することができ（ペンアップ）、その両者が動作している場合には、カーソルの移動を筆跡として残すことができるような状態（ペンダウン）を実現することができるのである。つまり座標入力装置が座標を算出する際に、ペンの状態（ペンアップ、ペンダウン）を情報として同時に出力することができる様に構成してあるので、その情報を基にパソコン等に格納されている制御ソフト、或いはアプリケーションソフト等によって、所望の動作を実現することができるのである。
【００４０】
また、『少なくとも一方のサイドスイッチ』、或いは『両者のサイドスイッチ』と言うことでその状態を区別した意図は、利き腕を考慮した結果である。つまり、図２に示すように、本願発明の座標入力ペンのサイドスイッチ４２は、指示具４の対称軸に対称に、しかも隣接するように配置してあるので、右利き、左利きの区別無く、同一の動作で同一の効果が得られるように構成したものである。サイドスイッチの他の実施例としては、２段スイッチ、つまりスイッチのキートップを押圧することで１段目のスイッチが動作し、さらに押圧することによって２段目のスイッチが動作するスイッチを用いることによって、同様の効果も得られる。
【００４１】
一方、指示具４のいずれかのスイッチが動作している状態は、常に所定周期での座標算出、つまり指示具４から信号が所定周期で放出されている状態である。従って、このタイミング信号であるところの光信号を所定周期毎に検出できるかどうかによって、最初の座標を検知した状態から、『連続的／継続的に座標が入力されている状態』にあるのか、『連続的に座標入力が行われている状態が中断した状態』にあるのかを判定することができる。つまり、制御信号検出回路２１１のスタート信号の発生タイミングを監視（座標サンプリングレートを１００回／秒とすれば、０．０１秒毎にスタート信号が発生する）する事によって、『連続入力』の状態にあるかどうかを判定する。
【００４２】
その他の方法としては、直接超音波信号（例えば図３における信号１０２）の到達間隔（この場合は、指示具４の移動を伴って指示具４とセンサ３の距離が絶えず変化するので、サンプリングレートに基づく時間（サンプリングレートを１００回／秒とすれば０．０１秒）に距離変化に伴なう音波の伝達時間の差が増減される。従って『約０．０１秒程度』の周期（理論的には０〜０．０２秒の範囲内に必ず信号が受信される）と言う表現になり、実用上０．０１秒以内におけるペンの最大移動量を鑑み、例えば０．０１５秒以内に信号が受信できたときには連続して座標入力が行われていると判定する）を監視することで実現する事も可能である。さらには、『連続入力』を判定する手段としては、所定時間を設定し、その所定時間内に信号（例えば本実施例の場合には、スタート信号であるところの光信号、もしくは、音波の到達信号）が検知されるか、あるいは座標値が検出されたかを判定しても良い。
【００４３】
以上述べたように、制御信号検出回路２１１は、上記方法に基づき『連続入力状態の判定』『スイッチの動作状態の判定』『ペンアップ／ダウンの判定』等を行い、その旨の信号を演算制御回路１に出力する様に構成される。
【００４４】
さて、空中に放射された音波は、前述音波発生源４３と検出センサ３間の距離に応じて遅延し、検出センサ３で検出されることになる。符号１０２は前置き増幅回路２０１で所定レベルまで増幅された検出センサ３で検出された検出信号を示す。この信号を絶対値回路及び、低域通過フィルタ等により構成されるエンベロープ検出回路２０３で処理をし、検出信号のエンベロープ１０３のみが取り出される。
【００４５】
このエンベロープに着目すると、その波形が伝播する音速は群速度Ｖｇであり、このエンベロープの特異な点、例えばエンベロープのピークやエンベロープの変曲点を検出すると、群速度Ｖｇに関わる遅延時間ｔｇが得られる。エンベロープのピーク、あるいは変曲点を検出するエンベロープ特異点検出回路２０６は微分回路、ゼロクロスコンパレータを用いて容易に検出が可能であり、本実施例では２階微分（変曲点検出）することによって信号１０６を形成し、閾値レベル１０４と信号１０３で比較されたゲート信号１０５を参照してエンベロープの変曲点を検出する（信号１０７）。この信号１０７を用いて前述したスタート信号により動作しているタイマ３０３をストップさせれば、群速度Ｖｇに関わる群遅延時間Ｔｇを検出することが可能となる（厳密に言えば、この群遅延時間Ｔｇには、波形処理に関わる回路の遅延分が含まれるが、後述する方法により、その影響は完全に除去される。よって、ここでは説明を簡略化するために、回路遅延時間は無いものとして説明を加える）。従って、音波発生源４３と検出センサ３間の距離Ｌは次式で求めることができる。
【００４６】
Ｌ＝Ｖｇ×Ｔｇ（１）
図６は本実施例の演算制御回路１の概略構成を示すブロック図で、各構成要素及びその動作概略を以下に説明する。図中３０１は演算制御回路１及び本座標入力装置全体を制御するマイクロコンピュータであり、内部カウンタ、操作手順を記憶したＲＯＭ、そして計算等に使用するＲＡＭ、定数等を記憶する不揮発性メモリ等によって構成されている。前述した通り、駆動回路４４により指示具４内の音波発生源４３の駆動タイミングと同期したスタート信号が、指示具４に内蔵された赤外ＬＥＤ等により光信号として放射され、その信号を制御信号検出回路２１１で検波することによって、演算制御回路１内のタイマ３０３（例えばカウンタなどにより構成されている）をスタートさせる。このように構成することで、指示具４内の音波発生源４３を駆動する駆動タイミングと、演算制御回路１内の例えばタイマとの同期が得られるので、音波発生源４３で発生した音波が、音波発生源４３から各検出センサ３各々に到達するのに要する時間を測定することが可能となる。
【００４７】
信号波形検出回路２より出力される各振動センサ３＿Ｓａ〜３＿Ｓｄよりの振動到達タイミング信号（符号１０７の信号）は、検出信号入力ポート３０６を介してラッチ回路３０４に各々入力される。ラッチ回路３０４＿ａ〜３０４＿ｄの各々は、対応するセンサよりのタイミング信号を受信すると、その時のタイマ３０３の計時値をラッチする。この様にして座標検出に必要な全ての検出信号の受信がなされたことを判定回路３０５が判定すると、マイクロコンピュータ３０１にその旨の信号を出力する。マイクロコンピュータ３０１がこの判定回路３０５からの信号を受信すると、ラッチ回路３０４＿ａ〜３０４＿ｂから各々の振動センサまでの振動到達時間をラッチ回路より読み取り、所定の計算を行って、指示具４の座標位置を算出することになる。この得られた座標値（絶対座標値）を後述する方法で処理した結果を、Ｉ／Ｏポート３０７を介してディスプレイ駆動回路７に出力し、ディスプレイ６の対応する位置に、例えばドット等を表示することができる様に構成した。またＩ／Ｏポート３０７を介してインターフェース回路に、座標位置情報を出力することによって、外部機器に座標値を出力することができる様に構成したものである。
【００４８】
さて検出された時間には、音波発生源４３と各検出センサ３まで音波が到達する時間に加えて、回路等による電気的な処理時間も含まれる。従って、ここでは、音波が伝播する時間以外に余分に計測される時間を除去する方法について説明する。前記ラッチ回路によってラッチされた群遅延時間Ｔｇには、群回路遅延時間ｅｔｇを含む。この回路遅延時間は、時間計測毎に同一の値を必ず含む。そこで、ある計測回路によって、音波発生源４３と検出センサ３間を伝播する際に計測された時間をｔ^＊、その計測回路における回路遅延時間をｅ、実際に音波が音波発生源４３と検出センサ３間を伝播したのに要した時間をｔとすれば、
ｔ^＊＝ｔ＋ｅ −−−−−（２）
一方、音波発生源４３と検出センサ３間の距離が既知の距離Ｌ_ｉｎｉにおける時間計測値をｔ_ｉｎｉ ^＊とし、その計測回路における回路遅延時間をｅ、実際に音波が伝播した時間をｔ_ｉｎｉとすれば
ｔ_ｉｎｉ ^＊＝ｔ_ｉｎｉ＋ｅ −−−−−（３）
よって
ｔ^＊−ｔ_ｉｎｉ ^＊＝ｔ−ｔ_ｉｎｉ −−−−−（４）
今、音波の音速をＶとすれば、

よって求めるべき任意の音波発生源４３と検出センサ３間の距離Ｌは
Ｌ＝Ｖ×ｔ＝Ｖ×（ｔ＊−ｔ_ｉｎｉ ^＊）＋Ｌ_ｉｎｉ −−−（６）
上記、既知の距離Ｌ_ｉｎｉ、及びその距離における時間計測値ｔ_ｉｎｉ ^＊を、出荷時等に不揮発性メモリ等に記憶することによって、任意の距離における音波発生源４３と検出センサ３間の距離を精度良く算出することが可能となる。
【００４９】
さて今、図７の様な座標系に検出センサ３＿Ｓａ〜３＿Ｓｄが配置された時、音波発生源４３の位置座標（ｘ、ｙ、ｚ）を求める方法について説明する。上記の方法により正確に求められた振動発生源４３と各検出センサ３までの距離を各々Ｌａ〜Ｌｄ、Ｘ方向の検出センサ間距離をＸｓ−ｓ、Ｙ方向の検出センサ間距離をＹｓ−ｓとすれば、
【００５０】

【００５１】
以上示したように少なくとも３個の振動発生源４３と検出センサ３までの距離が測定できれば、容易に音波発生源４３の位置座標を求めることが可能となる。本願発明の実施例では、検出センサを４個用いており、例えば、距離が最も遠い情報を使わず（この場合、検出センサ３で出力される信号は、距離が遠いために信号レベルが最も小さくなっている）、残り３個の距離情報のみで、座標を算出することで、信頼性の高い座標算出を可能としている。また、この距離が遠いセンサの情報を活用することで、出力された座標値の信頼性が高いものか判定することも可能である。具体的方法としては、例えば、距離情報Ｌａ、Ｌｂ、Ｌｃで算出された座標値と、距離情報Ｌｂ、Ｌｃ、Ｌｄで算出された座標値は同一の値を出力するはずであり（距離情報の組み合わせを変更して演算する）、両者が一致しない場合には、いずれかの距離情報が不正、つまり誤検出したことになるので、その場合には、座標値を出力しない、と言った信頼性を向上させる構成も実施可能となる。
【００５２】
以上説明した様に、音波の到達時間を計測する事で、指示具４の３次元位置座標を検出する事が可能な座標入力装置を構成する事ができるが、本願発明の趣旨は検出した座標値の処理方法に関わるものであり、座標検出方法としては例えば光を用いた方式等、他の方式の２次元、或いは３次元の位置検出可能な座標入力装置で有っても良い。
【００５３】
さて、検出された座標値の処理形態、並びにその作用効果について詳述する。
【００５４】
まず第一の実施例である座標値処理方法のフローについて図８を用いて説明する。ステップＳ５０２にて座標検出が行われるまで待機状態となり、座標値が検出されるとステップＳ５０３にて前述した制御信号検出回路２１１の出力信号に基づき指示具４のペン先ＳＷ４１が動作状態に有るかを判定する。今仮にペン先ＳＷ４１が動作状態にある時（ペンダウン状態であり、指示具４の移動に伴ないその筆跡が表示機により表示される事になる）、ステップＳ５０４にてフラグの値を参照し、フラグの値がＦｌａｇ＝０の場合には、フラグの値をＦｌａｇ＝１に設定し（ステップＳ５０５）、検出した座標値を基準座標値として格納する（ステップＳ５０６）。ステップＳ５０７では検出座標値とこの基準座標値の差分値を算出し、例えば表示機に表示されているカーソルを算出した差分値に応じた量、移動するように、例えば表示機を制御しているホストコンピュータにその旨出力する。ステップＳ５０８では前述した方法で連続入力状態にあるかを判定し、連続的に座標検出が行われている間、設定された基準座標値と検出した座標値の差分値を、連続的に出力する様に構成し、連続的な座標検出が中断すると、処理を終了し（ステップＳ５１３）、座標検出が行われるまで待機状態となる（ステップＳ５０２）。連続的な座標検出が中断し、再度ステップＳ５０２にて座標検出が行われると、同様にステップＳ５０３にてペン先ＳＷ４１の動作状態を確認し、ペン先ＳＷ４１が動作状態にあれば、ステップＳ５０４にてフラグの値を判定する事になるが、今の説明では前回の『一連の連続した座標検出時』にフラグはステップＳ５０５にてＦｌａｇ＝１に設定されており、従って基準座標の設定／更新は行われず、保持されていた基準座標値を用いて、ステップＳ５０７、ステップ５０８のループにより、連続的な座標検出が行われている間、差分値が出力される事になる。
【００５５】
連続入力が中断すると、再びステップＳ５０２にて座標検出の待機状態になるが、座標値が検出され、ステップＳ５０３にてペン先ＳＷ４１が動作していないと判定された場合には、ステップＳ５０９にてフラグを初期状態であるＦｌａｇ＝０に設定し、検出した座標値を基準座標に設定、更新し、ステップＳ５１１、ステップＳ５１２のループにて、座標値が連続的に検出されている間、設定された基準座標値と検出した座標値の差分値が出力される事になる。なお、この時、ペン先ＳＷ４１が動作していないので、先に説明した通りペンサイドＳＷ４２の両者が動作している場合には、ペンダウンとして作用し、指示具４の移動に伴なってその筆跡が表示機に表示され、ペンサイドＳＷ４２の一方のみが動作している場合には、ペンアップとして作用し、指示具４の移動に伴なって、例えば表示機に表示されているカーソルの位置を移動することができる様に構成されている。
【００５６】
さて、この様な座標値処理方法を採用することによる作用効果について図９、図１０を用いて説明を加えると、図９はペン先ＳＷ４１が動作してない状態を説明するものであり、表示機によって表示されているカーソルが▲１▼の位置にあって、操作者の意図によってカーソルを▲３▼の位置に移動しようとしている場合の説明図である。まず操作者は指示具４を位置Ａの位置に移動し、その時点でペンサイドＳＷ４２のいずれかを動作状態にする（ペンアップ状態）。この時、ペン先ＳＷ４１は動作状態に無いので、ステップＳ５０９にてフラグがＦｌａｇ＝０に設定され、指示具４の位置座標がステップＳ５１０にて基準座標として記憶される（この時、カーソル位置は▲１▼のままであり、移動はまだしない）。操作者が、ペンサイドＳＷ４２を動作させた状態で指示具４を位置Ｂに移動させる事によって、その指示具の移動方向と移動距離に応じてカーソルは移動し（ステップＳ５１１、ステップＳ５１２のループにより実現し、例えばカーソルは▲２▼の位置に移動する事になる）、指示具４が位置Ｂに達した時点で、ペンサイドＳＷ４２をＯＦＦさせる。この時点で『連続的』な座標検出は終了し、ステップＳ５０２において座標検出待機状態となる。操作者は、指示具４のスイッチを動作させることなく、指示具４を位置Ｂから位置Ａへ移動させるが、このときは座標検出が行われておらず、カーソルは▲２▼の位置で動かない。再び操作者は位置ＡにおいてペンサイドＳＷ４２のいずれかを操作することによって、連続入力状態が開始され、ステップＳ５１０にて最初に検出された座標値が基準座標として新たに更新、記憶される事になる。同様に操作者が指示具４を位置Ａから位置Ｂまで、ペンサイドＳＷ４２を動作させた状態で移動する事により、カーソルは▲２▼の位置から▲３▼の位置へ移動する事になる。この様に、本願発明の構成を採用することによって、聞き手の視線をさえぎることなく、画面上のカーソルの大移動を、その場で実現する事が可能となる。なお、この説明に有っては、ペンサイドＳＷ４２のいずれかを動作させる、つまりペンアップによるカーソル移動の説明であったが、カーソルを移動させる際に、ペンサイドＳＷ４２の両者を動作させる事でペンダウン状態を実現でき、指示具４の移動に伴なって発生するカーソルの移動の軌跡を筆跡として表示し、例えば表示されている文字の下にアンダーラインを追記する等のマーカー機能を実現する事が可能となる。
【００５７】
図１０は、ペン先ＳＷ４１を動作させた場合の操作性を説明する説明図である。まず操作者は図９で説明した方法によりカーソルを所望の位置▲３▼に移動させる（この時フラグの値は、前述した通りＦｌａｇ＝０に設定される）。その後、操作者は所望の任意の位置Ｃにて指示具４を表示画面上に当接させて、ペン先ＳＷ４１を動作させ、座標検出を行う。ペン先ＳＷ４１が動作する事（ペンダウン状態）により位置検出が成され、かつ現状はＦｌａｇ＝０の状態にあるので、ステップＳ５０５にてフラグをＦｌａｇ＝１の設定し、ステップＳ５０６にて検出した座標値を基準座標として記憶する（この時カーソルは▲３▼の位置から動かない）。操作者は、指示具４を表示画面上に当接させながら位置Ｄまで移動させると、ステップＳ５０７、ステップＳ５０８にて継続的に検出座標値と基準座標値の差分値が出力され、指示具４の移動方向、及び移動距離を忠実に再現して、カーソルは▲３▼の位置から▲４▼の位置へと移動し、その軌跡が表示される。操作者が位置Ｄの位置で指示具４の当接をやめると、連続検出が中断するので座標検出待機状態となり（ステップＳ５０２）、指示具４を位置Ｅに移動しても、カーソルは▲４▼の位置から移動する事は無い。
【００５８】
指示具４を位置Ｅにて当接させペン先ＳＷ４１を動作させると、ステップＳ５０２、ステップＳ５０３を経て、ステップＳ５０４にてフラグの判定を行う。この場合、フラグは前回の連続座標検出動作にてＦｌａｇ＝１に設定されているので、基準座標の更新は行われず、前回の連続座標検出時に記憶された基準座標を用いて、ステップＳ５０７、ステップＳ５０８のループを繰り返す。基準座標は、前回の連続座標入力動作で設定された座標値、つまり指示具４の位置が位置Ｃにある時に検出された座標値であるので、指示具４の位置が位置Ｅにある場合には、その時に検出された座標値と、指示具４の位置が位置Ｃにあるときの座標値（基準座標値）との差分が出力される事になり、カーソルは位置▲４▼から位置▲５▼に移動する事になる。その後、指示具４を当接させて位置Ｆに移動すると、指示具４の移動方向、及び移動距離を忠実に再現して、カーソルは▲５▼の位置から▲６▼の位置へと移動し、その軌跡が表示されることになる。
【００５９】
さて、図１０の説明において、文字等の情報を追記したい位置▲３▼（現状のカーソル位置）は、図９で説明した通り、操作者の意図によって容易に設定される。その後、指示具４の操作によって情報を入力するのであるが、指示具４の操作位置Ｃは任意の位置で良く、従来例に示されるオフセット量を設定しなければならない様な装置と比べて、格段の操作性の向上が得られる。つまり図１０の如く、画面右側の所望位置に『い』と言う文字の追記は、画面左側の任意の位置での操作により実現できることから、聞き手の視線をさえぎる事も無い。また情報を追記すべき位置により近い領域（例えば図１０における画面中央部）で操作することによって、操作者は入力した情報をより視認しやすくなり、操作者の手等で表示機の光路が遮断されるような場合であっても、適宜情報追記位置▲３▼と操作位置Ｃの位置関係を無意識のうちに設定する事が可能なので、良好な操作環境を実現する事が可能となる。
【００６０】
さらには、位置▲３▼と操作位置Ｃが一致、つまり情報を追記、表示させたい位置にカーソルを移動させ、そのカーソル位置で指示具４を当接（ペン先ＳＷ４１が動作）させて操作させると、操作者から見て、従来例に見られる座標入力装置（指示具の絶対位置座標を検出し、その絶対座標値を出力することによって、指示具の指示位置に常にカーソルが存在する）と同等の作業性を得ることができる。この同等の作業性は、一連の指示具４の操作が、ペン先ＳＷのみの動作により行われている間成立するので、用途によっては重要な役割を演じる。つまり、本願発明をリアプロジェクタ、ＰＤＰ等に適用した場合には、操作者による光路の遮断により表示情報が操作者に視覚できないと言う問題は発生しないので、この絶対的な入力ができると言う事は、重要な利点である。しかしながら絶対的な入力のみの機能であれば、それを見ている聞き手（参加者）にとっては、操作者の体等により表示情報が遮断されるので、本願発明の如く、相対的に情報が入力できる操作性も、重要な役割を演じる事になる。従って、フロントプロジェクタ等を用いたシステムのみならず、リアプロジェクタ、ＰＤＰの表示装置を用いたシステムであっても、本願発明によって、操作性に優れた操作環境を提供できるようになった。
【００６１】
また、操作者が行うスイッチ操作は、座標検出動作を実行するためのペン先ＳＷ４１、もしくはペンサイドＳＷ４２のみの操作であり、上記操作性を実現するための特別なスイッチ操作を必要としない。つまり、従来例に見られるような例えばオフセットを設定するためのスイッチ操作、座標入力領域（操作領域）の制限等が一切無く、装置を使いこなすための習熟、熟練が不要で、誰でもが直感で操作できる優れた利点を有する。
【００６２】
以上、座標入力装置が検出した座標値を処理して、その座標値を出力する座標入力装置について説明したが、この座標値処理工程は、前述の如く座標入力装置の内部で実行してもかまわないし、座標入力装置が検出した座標値を受け取ったホストコンピュータにおいて、座標値の処理工程を実行してもよいこと言うまでも無い。
【００６３】
さらには、上記実施例の座標入力装置は、３次元座標検出可能な座標入力装置として説明を加えたが、２次元座標検出可能な座標入力装置であってもよいことは言うまでも無いが、３次元座標検出可能な座標入力装置を用いた場合の第２の実施例について説明する。
【００６４】
先にも述べたが、ペン先ＳＷ４１が動作して指示具４の位置座標を検出している場合には、操作者は操作面であるところの表示機の表示面近傍に位置して、指示具４の先端部を前述表示面に当接させて操作している状態（ペンダウン信号発生状態）であって、操作者の指示具４の移動に伴なってその筆跡が表示機に表示されるような状態にある。つまり指示具４の位置座標を検出して、その結果を筆跡として表示機に表示させる事で、あたかも『紙とペン』の様な使い勝手を実現しようとしている状態にある。
【００６５】
一方、ペンサイドＳＷ４２により、指示具４の位置検出が行われている状態は、表示機より指示具４が離れた位置にあることを意味し、その時の指示具の使い勝手は、例えば表示機から離れた位置でもカーソルを所望の位置へ移動する事によって『所望の位置を指し示す』ことができる、さらには例えばアイコンのクリック／ダブルクリック操作を実現して、『表示内容のリモート制御（ホストコンピュータの制御）』ができる、またアンダーライン等の大雑把な情報を追記する例えば『マーカー機能』が主であって、離れた位置で細かい例えば文字を追記するような用途には用いられない。
【００６６】
つまり操作者が表示面直近に位置するときは、文字等の比較的細かい情報入力作業が中心であって、表示面より離れた位置にあっては、『指し示す』等の大ざっぱな情報入力が主となる。使い勝手としては先に説明した通り、直近では図１０の様な使い勝手であり、離れた位置では図９の様な使い勝手を実現する必要がある。従って、本願発明の第２の実施例は、この画面より『直近』『離れた』と言う点に着目し、指示具４の３次元検出位置座標に基づき、座標値処理の形態を変更する。
【００６７】
具体的には、図６の様に、表示機の表示面をＸＹ平面（Ｚ＝０）、その鉛直方向をＺ軸とすれば、検出座標値のＺ軸の値で、処理形態を決定する方法である。つまり、Ｚ軸の値が十分に０に近い場合は画面近傍に指示具４が位置しているということであり、図１１におけるステップＳ６０３の判定により、ステップＳ６０４〜ステップＳ６０８の工程で座標値を処理する。また検出座標値のＺ軸の値が所定値以上の場合は、表示面より離れた位置に指示具が位置することになるので、ステップＳ６０９〜ステップＳ６１２の工程で座標値を処理する事になる（図８におけるステップＳ５０３の判定手段が異なるだけで、同様の処理を実行するので、図１１の詳細説明は省略する）。
【００６８】
また第３の実施例について説明すれば、検出した２次元座標、もしくは３次元座標に基づき、座標処理工程を決定するものであり、表示機の表示面をＸＹ平面とすれば、検出された座標値のＸ座標値、Ｙ座標値に基づき、指示具４の位置が表示機の表示領域内にあるかどうかを判定することが可能である。従って、図１１のフローチャートのステップＳ６０３の判定条件を、『指示具が表示領域内にあるか？』として判定すれば、表示領域内にあるときは、文字、図形等の情報を入力するものとして、ステップＳ６０４〜ステップＳ６０８の工程で座標値を処理し、表示領域外にある場合には『指し示す』等の操作を行っているものとしてステップＳ６０９〜ステップＳ６１２の工程で座標値を処理する事になる。
【００６９】
この様に、指示具４の位置座標に基づき座標値処理の方法を変更する事で、第一の実施例（ペン先ＳｗとペンサイドＳＷで判定する方法）と同等の作用効果を得る事が可能となる。
【００７０】
【発明の効果】
以上述べたように、操作者、あるいは聞き手の視線をさえぎることなく、情報を入力することができる効果が得られる他に、座標検出動作を実行するためのスイッチ操作のみで、目的を達する事ができるので、その操作方法はきわめて簡単であり、装置を使った事が無い非経験者であっても、文字、図形の入力や、表示機の制御等を直感的な操作で可能とする優れた効果が得られる様になった。
【図面の簡単な説明】
【図１】本願発明の処理工程を採用した座標入力装置の概略構成図
【図２】指示具４のブロック図
【図３】信号処理のタイミングチャート
【図４】信号処理の回路ブロック図
【図５】ペンアップ／ダウン設定のフローチャート
【図６】演算制御回路１のブロック図
【図７】座標系を説明する説明図
【図８】第一実施例の座標値処理工程を説明するフローチャート
【図９】リモート操作を説明する説明図
【図１０】文字入力操作を説明する説明図
【図１１】第二実施例の座標値処理工程を説明するフローチャート
【符号の説明】
１演算制御回路
２信号波形検出回路
３検出センサ
４指示具
６表示ディスプレイ
４１ペン先ＳＷ
４２ペンサイドＳＷ
４３音波発生源
２１１制御信号検出回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a coordinate input device that can constitute an input / output integrated device when used in combination with a display system. More specifically, the present invention relates to a coordinate input device used to control an externally connected computer or to write characters, graphics, and the like by directly inputting coordinates on a display screen with a pointing tool. Furthermore, by inputting coordinates using a pointing tool at a position distant from the screen of the display, the detected coordinates can be used, for example, to move the position of a cursor displayed on the display or control an externally connected computer. The present invention relates to a value processing method and a coordinate input device.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a coordinate input device capable of inputting coordinates is disposed on a display surface of a display device such as a CRT display, a liquid crystal display (LCD), or a projector, so that pointing or handwriting performed by an operator can be performed. 2. Description of the Related Art Devices that can be displayed on a display and realize a relationship like paper and a pencil are known. Examples of the coordinate input device include a resistive film type, an electrostatic type, an ultrasonic type that transmits ultrasonic waves to a coordinate input surface such as glass, an ultrasonic type, a type having a transparent input plate, an optical type, or a type in which sound waves are transmitted in the air. A mechanism for calculating coordinates is placed on the back side of the display device, and a transparent protective plate is placed on the front of the display device, such as a method of detecting the position by radiating, or an electromagnetic induction (electromagnetic transfer) method. Some information devices constitute an integrated input / output information device.
[0003]
Such devices began with small electronic organizers with portability, and with the increase in the size of display devices such as pen-input computers, relatively large-sized information devices have come to be seen, as well as front projectors. In combination with a large display device such as a rear projector or a PDP, it has begun to be used for a presentation device, a TV conference system, and the like. With regard to the large-sized liquid crystal display and PDP display, the image quality is being improved and the cost is being reduced at present. In addition, with the digitization of satellite broadcasting and the like, the specification form of the television is entering a transitional state.
[0004]
In addition, these large-sized display devices are replaced with, for example, whiteboards or electronic blackboards used in offices. It is starting to be used In this case, the information displayed on the display is controlled by directly touching the screen to update the display information by the operator or the attendees, such as a whiteboard. Is configured to be able to switch the display content.
[0005]
[Problems to be solved by the invention]
However, in this type of coordinate input device, it is difficult to configure a completely transparent input plate in a coordinate input device of a resistive film type, an electrostatic type, or the like, and it is said that image quality of a display device is deteriorated. Problems arise. Furthermore, in the ultrasonic method that requires a propagator such as glass, it is necessary to optically treat the surface of the glass, for example, to prevent reflection of a fluorescent lamp when used indoors. Significant cost increases are unavoidable in terms of maintaining image quality. In addition, in the electromagnetic induction method, electrodes on a matrix are arranged on the back side of the display surface, and electromagnetic signals are transmitted and received between the input pen, so in principle, if the display device becomes large and the thickness of the device increases, in principle, It is difficult to calculate coordinates, and when configuring a large-scale coordinate input device such as a conference use or a presentation use, there is a disadvantage that the device becomes very expensive.
[0006]
When a large-sized display system is adopted, it is expected that a large number of audiences will appreciate the image, and sufficient performance is required for the viewing angle or contrast of an image. Therefore, when combining these large display systems with coordinate input measures, it is important not only that the coordinates can be accurately calculated at a sufficiently low cost, but also that the image quality of the display device is not deteriorated. .
[0007]
Furthermore, when considering this type of large-scale integrated input / output system, considering the meeting with a large number of participants, or considering the network age, the operator controls the personal computer by directly touching the screen, The configuration in which the operator can appropriately display necessary information is superior to the operator (presenter) in terms of operability. In addition, a large number of listeners can obtain information such as the operator's instruction point, the operator's facial expression and gestures together with the information displayed on the screen by operating the information on the screen directly by the operator. So that it is possible to deepen understanding. However, if the operator performs an action such as an instruction on such a large-sized display device, the information on the screen is interrupted as the operator moves. In particular, a projection type display device such as a front projector or an OHP is employed. In the system, the image is greatly distorted, which can be a major obstacle in terms of difficulty in viewing.
[0008]
As a method of solving such inconveniences such as interrupting the optical path, the operator performs a mouse-like operation (for example, an operation of moving a cursor using relative coordinates instead of absolute coordinates) on the spot using an indicator. There is a method of moving the cursor from the current cursor position to a desired position.
[0009]
The mouse-like operation refers to the operability of a “mouse” that has recently been commonly used as a cursor position control unit of a personal computer. In a small operation area, the mouse is moved up and down and repetitively to move the cursor over the entire display screen. Can do things. If the coordinate value processing method at this time is described, assuming that the position of the cursor at a certain point in time is (X1, Y1) in the coordinate system on the display screen, for example, in the method of detecting the movement amount of the mouse by rotation of the ball, , The rotation of the ball is decomposed into movement amounts in the X and Y directions, distance information (ΔX, ΔY) corresponding to the rotation is detected, and based on the signal, the cursor position is moved to the position of (X1 + ΔX, Y1 + ΔY). Can be moved.
[0010]
If this is to be realized by a coordinate input device, it is assumed that the coordinate value (X1, Y1) of the pointing device at a certain point in time is detected by the operation of the operator, and then, the pointing device is moved to move the coordinates. Assuming that the coordinate input device detects the value (X2, Y2), the movement amount is (ΔX, ΔY) (ΔX = X2-X1, ΔY = Y2-Y1). If the cursor is moved using the movement amount (ΔX, ΔY) as the movement amount from the current arbitrary cursor position, the intention (the direction and the moving distance of the operator is equal to the moving direction and the moving amount of the pointing tool). ), The cursor can be moved. In other words, the operator can move the cursor to the predetermined position while the operator is present, without directly positioning the pointing tool at the predetermined position on the large screen.
[0011]
On the other hand, as a coordinate input device, characters are input and drawn by directly touching the screen (a configuration in which handwriting remains as a echo back by moving the pointing tool as if it were a pencil and paper). Command generation by an operation such as double-clicking on an icon or an icon is an important function. That is, in this type of system, the operation mode for outputting the absolute coordinates is indispensable, and it is an important subject to make the operation mode compatible with the relative operation described above. Various configurations are disclosed as a method for switching the mode. For example, as shown in Japanese Patent Application Laid-Open No. 4-299724, a display area is divided into an area where absolute coordinates can be input and an area where relative coordinates can be input. A method of dividing, a method of providing relative / absolute coordinate input switching means as disclosed in JP-A-5-298014 or JP-A-10-333817, and a method of automatically switching according to an application are disclosed. However, the operability in the above-described conventional example requires not only skill to master, but also many restrictions on operation, so that it cannot be said that the configuration is easy to use.
[0012]
Further, in a system employing a projection type display device such as the front projector and the OHP described above, in consideration of a case where, for example, a character, a figure, and the like are additionally written on a display screen by an operation of an instruction tool by an operator, Or, the part of the operator who has the pointing tool, for example, the hand, arm, or the like, into which information is to be input becomes a shadow, so that the currently displayed information cannot be visually recognized. In other words, for example, when an underline is to be added to the currently displayed text information by operating the pointing device, the text information cannot be recognized by the above-described shadow, and the surrounding portion of the non-shadow is not recognized. The purpose is achieved by inferring from the display information, that is, by the feeling of the operator. Therefore, information (underline in this case) cannot be added to an accurate position, and there is a problem that the purpose cannot be achieved at all, especially when a fine figure is to be added.
[0013]
In order to solve the problem of "the image of the input portion is not seen as a shadow", for example, a method of setting an offset value with respect to absolute coordinates as disclosed in Japanese Patent Application Laid-Open No. H10-149253 is known. . In other words, by setting a desired offset value to the position coordinates of the pointing tool, the position of the cursor is displayed in a direction away from the position of the pointing tool by a certain distance, and characters and figures are input while watching the movement of the cursor. It is. In other words, the area in which the pointing device is operated cannot be used to obtain display information, but it is possible to input characters, graphics, etc. by visually recognizing the movement of the cursor displayed at a position away from that area. Is what you do.
[0014]
Here, it is necessary to consider that, when characters or the like are added to the displayed information, it is attempted to input figures and characters while associating them with the position of the displayed information (for example, First, the operator determines the position on the screen where the user wants to add information, not the place to operate the pointing device. Is a point. That is, the above-described conventional example has a means for arbitrarily setting the offset amount, but the operation performed by the operator is as follows.
Procedure 1) Determine the operating position of the pointing device.
Step 2) Adjust / set the offset amount and move the cursor to the desired position.
Step 3) Add desired information by operation with the pointing device.
[0015]
That is, the operator must set the operation area and the offset amount before performing the input operation. Therefore, if the position of the reference pointing device cannot be fixed during the setting of the offset, an error occurs (information cannot be added to a desired position), and conversely, while the position of the pointing device is fixed. Switch operation is very difficult, and it is not very convenient.
[0016]
Furthermore, in this type of coordinate input device having a large display device of this type, considering that the purpose of use is mainly "conference" and "presentation use", the operator can use the device. It is quite possible that you are unfamiliar with. In other words, if it is set up in a conference room that is used by many people on a rotating basis, it can be said that except for participants who regularly hold meetings in the conference room, they know the convenience of the device well. It is important that even a participant who happens to hold a meeting in the meeting room can operate the pointing device intuitively. In other words, in the conventional example described above, even if it is possible to avoid the trouble caused by blocking the optical path, practically, it is not configured so that anyone can use it easily. Was.
[0017]
On the other hand, when considering this type of large-sized integrated input / output system, the operator not only controls the personal computer by directly touching the screen as described above, but also listens to the presentation contents while watching the screen, for example. It is designed so that participants can operate the screen even if they are away from the screen and extract information from the network as necessary so that the meeting participants can disclose evidence materials for questions or rebuttals Is a preferred embodiment.
[0018]
Furthermore, considering the presentation using the "large screen" display, the presenter (operator) tries to recognize the entire projected image, and because of the large screen, "unconscious" It is customary to stand in This is apparent from presentations such as OHP, and the distance becomes longer as the image size increases. At this time, "pointing sticks" and "laser pointers" which do not obstruct the listener's line of sight are commonly used as a means for indicating images. In the case of a presentation using a large screen, the screen is displayed on the spot (a position away from the image). It can be said that a preferable mode is one in which an operation (control of display information, indication of a desired position, etc.) can be performed.
[0019]
The present invention has been made by focusing on the above points, and in an input / output integrated device combining a display device and a coordinate input device, for example, even when display information is missing due to the shadow of an operator, It is an object of the present invention to provide a method of processing a detected coordinate value, which is excellent in operability, in which information can be added by intuitive operation, and a coordinate input device.
[0020]
[Means for Solving the Problems]
In order to solve the above problems, the present invention has the following configuration.
[0021]
A coordinate value processing method of a position detection coordinate value of a pointing device, comprising a determination unit that determines whether coordinates are continuously detected, and determining whether coordinate input by the pointing device is continuously performed. . During the continuous coordinate input, the first valid coordinate value is selected as a reference coordinate value candidate, and whether the candidate for the reference coordinate value is adopted as the reference coordinate is determined by the operation of the indicator. Determined according to the state. Specifically, the operating state of the pointing device is determined by "which switch means of the pointing device is operating" or "position of the pointing device". When the candidate of the reference coordinate is not adopted, the reference coordinate adopted while the coordinate input is continuously performed at the stage before the state where the coordinate input is continuously performed is retained and adopted. In such a case, the configuration is such that the reference coordinate candidates are updated and stored as reference coordinates. The difference between the detected coordinate value and the reference coordinate is output during the period in which the stored reference coordinate and the coordinate are continuously output.
[0022]
In addition, if it explains in more detail, this invention could solve the said subject by the following structures.
[0023]
(1) A coordinate value processing method of a position detection coordinate value of a pointing device, wherein a determination unit that determines whether coordinates are continuously detected, and the coordinates are continuously determined according to an operation state of the pointing device. The determination means for determining whether to update and store the first valid coordinate value as the reference coordinate while being output, and when the determination means determines to update the reference coordinate value, the continuous detection is performed. Storage means for updating and storing the first valid coordinate value during the continuous period as a new reference coordinate value, and storing the detected coordinate value and the storage means during the continuous output of coordinates. And a coordinate value processing means for outputting a difference value from the reference coordinates.
[0024]
(2) A coordinate input device for executing a position detecting operation of the indicator by operating first and second switch means provided on the indicator, and whether coordinates are continuously detected. Determining means for determining whether the state in which the coordinate values are continuously detected is determined by the first or second switch means, and storing based on the determination result of the switch determining means. Determining means for determining whether to update or store the reference coordinate value being set, and, if the determining means determines to update the reference coordinate value, the first validity is effective during the continuous period continuously detected. Storage means for updating and storing the new coordinate value as a reference coordinate value, and output means for outputting a difference value between the coordinate value detected during the continuous period and the stored reference coordinate value. To be Standard input device.
[0025]
(3) A coordinate input device capable of detecting the two-dimensional or three-dimensional position coordinates of the pointing device, a determination unit for determining whether the coordinates are continuously detected, and the coordinate values are continuously detected. Based on the first valid coordinate value during the continuous period, the stored reference coordinate value is updated, and the determining means for determining whether to store the reference coordinate value, and when the determining means determines to update the reference coordinate value, Storage means for updating and storing the first valid coordinate value during the continuously detected continuous period as a reference coordinate value; and a coordinate value detected during the continuous period and the stored reference coordinate. A coordinate input device comprising output means for outputting a value difference value.
[0026]
(4) A coordinate input device capable of detecting three-dimensional (X-axis, Y-axis, Z-axis) position coordinates of an indicator, which can constitute an input / output integrated device by being combined with a display device. If the display surface of the apparatus is defined as an XY plane (Z = 0) and its vertical direction is defined as a Z axis, a determination means for determining whether or not the coordinates of the input and output are continuously detected, Determining means for determining whether the stored reference coordinate value is to be updated and stored based on the Z-axis information of the coordinate value first effective during the continuous period detected by the determining means; When it is determined that the coordinate value is to be updated, a storage unit that updates and stores a coordinate value that is first effective during the continuously detected continuous period as a reference coordinate value, and a coordinate value that is detected during the continuous period. And the difference value between the stored reference coordinate values Coordinate input device, characterized in that an output means that.
[0027]
(5) The coordinate input device for detecting and outputting the spatial (three-dimensional) position coordinates described in (4) above detects the three-dimensional position coordinates of the pointing device by detecting a sound wave propagating in the air. Characteristic coordinate input device.
[0028]
(6) The coordinate input device according to any one of (2), (3), and (4), wherein the determination unit that determines whether coordinates are continuously detected includes the coordinate input device outputting a coordinate value. A coordinate input device characterized in that the determination is made by monitoring the timing of the coordinate input.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
First, an outline of a coordinate input device adopting the coordinate processing method of the present invention will be described.
[0030]
FIG. 1 shows a schematic configuration of a coordinate input device capable of detecting three-dimensional (space) coordinates employing the coordinate processing method of the present invention. In the drawing, reference numeral 4 denotes a coordinate input pen, which is a writing implement, which is configured to generate a sound wave in the air by a coordinate input operation by an operator. The generated sound wave is detected by a plurality of detection sensors 3 (in this embodiment, four detection sensors 3_Sa to Sd are used), processed by a signal waveform detection circuit 2 by a method described later, and then processed by an arithmetic control circuit. 1 is configured to calculate the source position coordinates (X, Y, Z) of the pointing device 4. The arithmetic and control circuit 1 controls the entire apparatus, moves the cursor displayed on the display 6 via the display driving circuit 7 based on the obtained coordinate data, or writes handwritten information such as writing on the display 6. It is configured so that it can be displayed and additionally recorded.
[0031]
As described above, by combining the coordinate input device and the display device, it becomes possible to provide a man-machine interface capable of realizing a relationship like "paper and pencil".
[0032]
FIG. 2 is an explanatory view for explaining the configuration of the pointing tool 4 for carrying out the present invention. The sound source 43 built in the pointing tool 4 includes a pen power supply 46, a timer and an oscillation circuit, and the pointing tool 4. , And is driven by a drive circuit 45 including a control circuit for detecting and controlling a plurality of switch operation information provided in the control circuit. The drive signal of the sound source 43 is a pulse signal generated by a timer and repeated at a predetermined cycle, and is applied to the sound source 43 after being amplified by a predetermined gain by an oscillation circuit. The electric drive signal is converted into mechanical vibration by the sound source 43 and emits its energy in the air. On the other hand, a signal synchronized with the emission timing of the sound wave is transmitted to an LED or the like. Output from the light emitting means 44.
[0033]
Note that the pointing device 4 in the present embodiment includes a pen tip switch (SW) 41 that operates by pressing the tip of a pen, which is a writing tool, and a plurality of pen side switches ( SW) 42. By operating any one of these switches, a signal is emitted from the indicating tool 4 at a predetermined cycle. Accordingly, the drive circuit 45 is provided with the pointing device at every predetermined period (for example, every 10 msec, in which case, a sound wave is emitted 100 times per second, and the coordinate output sampling rate of the coordinate input device is 100 times / second). 4 to output a signal for driving the sound source 43 in the air, and emits an optical signal which is a timing signal to the sound wave in the air. The sound wave is located at a distance from the sound source to each of the detection sensors 3_Sa to Sd. It will be delayed and arrived and detected accordingly. This type of coordinate input device derives the distance between the sound source of the pointing device 4 and each detection sensor 3 by the product of the known sound speed of the sound wave and the arrival time thereof, and uses the position information of each detection sensor. This is a system based on geometrically obtaining the position information of the above-mentioned sound wave transmission source.
[0034]
Therefore, a method for detecting the arrival time of the sound wave and generation of various control signals will be described. FIG. 3 is a timing chart for explaining the arrival time detecting method, and FIG. 4 is a circuit block diagram for realizing the method. Reference numeral 101 denotes a drive signal generated by a drive circuit 45 in the pointing device 4. The drive signal 101 emits a light signal from a light emitting unit 44 such as an infrared LED to generate the drive signal 101 and generate a start signal. This optical signal is received by the light receiving element 5 (see FIGS. 1 and 4), demodulated by the control signal detection circuit 211 in the signal waveform detection circuit 2, and transmitted by the control signal detection circuit 211 to the sound wave from the pointing device 4. A radiation timing signal is generated, output to the microcomputer 301, and the timer 303 in the arithmetic and control circuit 1 is started. Further, the control signal detection circuit 211 determines whether or not there is pen switch information or “continuous input”, and outputs the signal to the arithmetic and control circuit 1.
[0035]
As described above, the pointing device 4 includes a pen tip switch (SW) 41 that operates by pressing the tip of a pen, which is a writing tool, and a plurality of pen side switches provided on the housing of the pointing device 4. (SW) 42 for detecting the position coordinates of the coordinate input pen by operating any one of them. The control signal detection circuit 211 determines which switch of the indicator 4 is operating. Can be determined. Specifically, a signal indicating switch information is superimposed on an optical signal emitted by the pointing tool 4 as a timing signal (an identification code or the like for identifying a coordinate input pen can also be superimposed). The information is transmitted by, for example, first outputting a reader section composed of a continuous pulse train and a header section composed of a code (a maker ID or the like) following the reader section, and then transmitting a control signal such as a pen switch signal. Data strings are sequentially output according to a predefined order and format. This method is a well-known method (for example, a remote control using infrared rays), and a detailed description thereof will be omitted.
[0036]
As another method, for example, it is also possible to change the predetermined cycle of this type of coordinate input device that performs the coordinate detection at predetermined cycles and detect the information to detect the information. If the coordinate input device is designed to be capable of detecting coordinates at a maximum of 100 points / second, that is, every 10 msec, when the pen tip SW 41 is operating, the coordinates are calculated at, for example, 100 points / second, and the pen side SW 42 is In the case of operation, the coordinate is calculated at 80 points / second, that is, the signal is emitted from the indicator 4 at each cycle, and the cycle is monitored by the control signal detection circuit 211. This makes it possible to determine which switch is operating.
[0037]
Further, the pen / up / down operation will be described with reference to the flowchart of FIG. 5. First, the state of the pen tip switch 41 is determined in step S402. The ON state of the pen tip switch 41 is a state in which the coordinate input pen is positioned on the display 6 which is a coordinate input surface, the coordinate input is exactly performed by the operator, and handwriting is to be input (pen down state). The handwriting displayed on the screen is faithfully reproduced by a writing operation performed by the operator. For example, when the pen tip switch is operated twice within a predetermined time, it is necessary to monitor the time at which the signal is received, the interval, or the timing at which the coordinates are calculated, while referring to the coordinate sampling rate of the coordinate input device. Thus, it is configured to recognize the double-click operation of the mouse.
[0038]
On the other hand, if the pen tip switch is not operating (OFF state) in step S402, the state of the pen side switch is determined in steps S403 to S405. In the embodiment of the present invention, the pointing device 4 is provided with two side switches 42 of pen side switches 42_a and 42_b. If at least one of them is in the ON state, the pen up state and both of them are in the pen-up state. If it is in the ON state, it is configured to operate as the pen down state.
[0039]
As described above, a specific assumed usage example in which the pen tip switch 41 is in the OFF state and at least one of the side switches 42 is in the operation state is that the operator moves the screen away from the display which is the coordinate input surface. This is a case where the user is trying to control, for example, moving the cursor to a desired position or inputting a handwriting at a remote position. That is, when at least one of the side switches 42 is operating, the operator can move the cursor shown on the screen (pen-up). When both of them are operating, the operator can move the cursor. It is possible to realize a state (pen down) in which movement can be left as handwriting. That is, when the coordinate input device calculates the coordinates, the state of the pen (pen up, pen down) can be simultaneously output as information, and the information is stored in a personal computer or the like based on the information. A desired operation can be realized by control software, application software, or the like.
[0040]
Further, the intention of distinguishing the state by saying “at least one side switch” or “both side switches” is a result of taking into account the dominant arm. That is, as shown in FIG. 2, the side switch 42 of the coordinate input pen according to the present invention is arranged symmetrically with and adjacent to the symmetry axis of the pointing device 4, so that there is no distinction between right-handed and left-handed. The configuration is such that the same effect can be obtained by the same operation. As another embodiment of the side switch, a two-stage switch, that is, a switch in which a first-stage switch is operated by pressing a key top of the switch and a second-stage switch is operated by further pressing the key top, is used. Thus, a similar effect can be obtained.
[0041]
On the other hand, the state in which one of the switches of the pointing device 4 is operating is a state where the coordinates are always calculated in a predetermined period, that is, a signal is emitted from the pointing device 4 in a predetermined period. Therefore, depending on whether or not the optical signal which is the timing signal can be detected at every predetermined period, the state is changed from the state where the first coordinates are detected to the state where the coordinates are continuously / continuously input. It can be determined whether or not the state where the coordinate input is continuously performed is interrupted. That is, by monitoring the generation timing of the start signal of the control signal detection circuit 211 (a start signal is generated every 0.01 second if the coordinate sampling rate is 100 times / second), the state of the “continuous input” is obtained. Is determined.
[0042]
As another method, the arrival interval of the direct ultrasonic signal (for example, the signal 102 in FIG. 3) (in this case, since the distance between the pointing device 4 and the sensor 3 changes constantly with the movement of the pointing device 4, the sampling rate (A 0.01 second when the sampling rate is set to 100 times / second), the difference in the transmission time of the sound wave due to the change in the distance is increased or decreased. In general, the signal is always received within the range of 0 to 0.02 seconds. In consideration of the maximum movement amount of the pen within 0.01 seconds in practical use, for example, the signal is received within 0.015 seconds. (When it is determined that the coordinate input has been performed continuously) can be realized. Further, as means for determining "continuous input", a predetermined time is set, and a signal (for example, in the case of this embodiment, an optical signal serving as a start signal or arrival of a sound wave) is set within the predetermined time. Signal) or a coordinate value may be detected.
[0043]
As described above, the control signal detection circuit 211 performs “determination of the continuous input state”, “determination of the operation state of the switch”, “determination of pen up / down”, and the like based on the above method, and calculates a signal to that effect. It is configured to output to the control circuit 1.
[0044]
Now, the sound wave radiated into the air is delayed according to the distance between the sound wave source 43 and the detection sensor 3, and is detected by the detection sensor 3. Reference numeral 102 indicates a detection signal detected by the detection sensor 3 and amplified by the preamplifier circuit 201 to a predetermined level. This signal is processed by an envelope detection circuit 203 composed of an absolute value circuit and a low-pass filter, and only the envelope 103 of the detection signal is extracted.
[0045]
Focusing on this envelope, the sound velocity at which the waveform propagates is the group velocity Vg. When a unique point of this envelope, for example, a peak of the envelope or an inflection point of the envelope is detected, a delay time tg relating to the group velocity Vg is obtained. Can be The envelope singularity detection circuit 206 for detecting an envelope peak or an inflection point can be easily detected by using a differentiating circuit and a zero-cross comparator. The signal 106 is formed, and the inflection point of the envelope is detected with reference to the gate signal 105 compared with the threshold level 104 and the signal 103 (signal 107). By stopping the timer 303 operating by the above-described start signal using the signal 107, the group delay time Tg related to the group velocity Vg can be detected (strictly speaking, this group delay time). Although Tg includes the delay of the circuit related to the waveform processing, its influence is completely removed by a method described later, and therefore, in order to simplify the description, it is assumed here that there is no circuit delay time. Add a description). Therefore, the distance L between the sound wave source 43 and the detection sensor 3 can be obtained by the following equation.
[0046]
L = Vg × Tg (1)
FIG. 6 is a block diagram showing a schematic configuration of the arithmetic and control circuit 1 according to the present embodiment. Each component and its operation will be described below. In the figure, reference numeral 301 denotes a microcomputer which controls the arithmetic control circuit 1 and the entire coordinate input device, and includes an internal counter, a ROM storing operation procedures, a RAM used for calculations and the like, and a nonvolatile memory storing constants and the like. It is configured. As described above, the start signal synchronized with the drive timing of the sound source 43 in the pointing device 4 by the driving circuit 44 is emitted as a light signal by the infrared LED or the like built in the pointing device 4, and the signal is transmitted to the control signal. The detection by the detection circuit 211 starts a timer 303 (for example, constituted by a counter or the like) in the arithmetic and control circuit 1. With such a configuration, the drive timing for driving the sound wave source 43 in the pointing device 4 and the synchronization with, for example, a timer in the arithmetic and control circuit 1 are obtained, so that the sound wave generated by the sound source 43 is It is possible to measure the time required to reach each of the detection sensors 3 from the sound wave source 43.
[0047]
The vibration arrival timing signals (signals 107) from the vibration sensors 3_Sa to 3_Sd output from the signal waveform detection circuit 2 are input to the latch circuit 304 via the detection signal input port 306. When each of the latch circuits 304_a to 304_d receives the timing signal from the corresponding sensor, it latches the time value of the timer 303 at that time. When the determination circuit 305 determines that all the detection signals necessary for coordinate detection have been received in this way, it outputs a signal to the microcomputer 301 to that effect. When the microcomputer 301 receives the signal from the determination circuit 305, it reads the vibration arrival time from the latch circuits 304_a to 304_b to the respective vibration sensors from the latch circuit, performs a predetermined calculation, and determines the coordinate position of the pointing tool 4. It will be calculated. The result obtained by processing the obtained coordinate values (absolute coordinate values) by a method described later is output to the display drive circuit 7 via the I / O port 307, and, for example, a dot or the like is displayed at a corresponding position on the display 6. It was configured to be able to do. Further, by outputting coordinate position information to the interface circuit via the I / O port 307, the coordinate value can be output to an external device.
[0048]
The detected time includes the time for the sound wave to reach the sound wave source 43 and each of the detection sensors 3 as well as the time for electrical processing by a circuit or the like. Therefore, here, a method of removing extra time measured in addition to the time when the sound wave propagates will be described. The group delay time Tg latched by the latch circuit includes a group circuit delay time etg. The circuit delay time always includes the same value for each time measurement. Therefore, a time measured by a certain measurement circuit when propagating between the sound wave source 43 and the detection sensor 3 is represented by t.^*If the circuit delay time in the measurement circuit is e and the time required for the sound wave to actually propagate between the sound source 43 and the detection sensor 3 is t,
t^*= T + e ------ (2)
On the other hand, the distance between the sound wave source 43 and the detection sensor 3 is a known distance L_iniIs the time measurement at_ini ^*Where e is the circuit delay time of the measurement circuit, and t is the time when the sound wave actually propagates._inigiven that
t_ini ^*= T_ini+ E −−−−− (3)
Therefore
t^*-T_ini ^* = Tt_ini −−−−−− (4)
Now, if the sound speed of the sound wave is V,

Therefore, the distance L between any sound source 43 and the detection sensor 3 to be determined is
L = V × t = V × (t * −t_ini ^*) + L_ini −−− (6)
The known distance L_ini, And the time measurement t at that distance_ini ^*Is stored in a non-volatile memory or the like at the time of shipment or the like, whereby the distance between the sound wave source 43 and the detection sensor 3 at an arbitrary distance can be accurately calculated.
[0049]
Now, a method for obtaining the position coordinates (x, y, z) of the sound source 43 when the detection sensors 3_Sa to 3_Sd are arranged in the coordinate system as shown in FIG. 7 will be described. The distance between the vibration source 43 and each of the detection sensors 3 accurately obtained by the above method is La to Ld, the distance between the detection sensors in the X direction is Xs-s, and the distance between the detection sensors in the Y direction is Ys-s. given that,
[0050]

[0051]
As described above, if the distance between at least three vibration sources 43 and the detection sensor 3 can be measured, the position coordinates of the sound source 43 can be easily obtained. In the embodiment of the present invention, four detection sensors are used, and, for example, information at the longest distance is not used (in this case, the signal output from the detection sensor 3 has the lowest signal level because the distance is long. ), And by calculating coordinates using only the remaining three pieces of distance information, highly reliable coordinates can be calculated. In addition, it is possible to determine whether or not the reliability of the output coordinate value is high by utilizing the information of the sensor having a long distance. As a specific method, for example, the coordinate value calculated based on the distance information La, Lb, Lc and the coordinate value calculated based on the distance information Lb, Lc, Ld should output the same value (the value of the distance information). If the two do not match, either one of the distance information is incorrect, that is, a false detection has been made, and in that case, the coordinate value is not output. Can be implemented.
[0052]
As described above, the coordinate input device capable of detecting the three-dimensional position coordinates of the pointing device 4 can be configured by measuring the arrival time of the sound wave. This is related to a value processing method. As a coordinate detection method, a coordinate input device capable of detecting a two-dimensional or three-dimensional position by another method such as a method using light may be used.
[0053]
Now, a processing form of the detected coordinate values and its operation and effect will be described in detail.
[0054]
First, the flow of the coordinate value processing method according to the first embodiment will be described with reference to FIG. In step S502, a standby state is set until coordinate detection is performed. When a coordinate value is detected, in step S503, whether the pen tip SW41 of the pointing tool 4 is in an operating state based on the output signal of the control signal detection circuit 211 described above. Is determined. If the pen tip SW 41 is now in the operating state (the pen is in the pen down state, and the handwriting is displayed on the display with the movement of the pointing tool 4), the value of the flag is referred to in step S504, If the flag value is Flag = 0, the flag value is set to Flag = 1 (step S505), and the detected coordinate value is stored as a reference coordinate value (step S506). In step S507, a difference value between the detected coordinate value and the reference coordinate value is calculated, and for example, the display device is controlled so as to move a cursor displayed on the display device by an amount corresponding to the calculated difference value. This is output to the host computer. In step S508, it is determined whether the input state is the continuous input state by the method described above, and the difference value between the set reference coordinate value and the detected coordinate value is continuously output while the coordinate detection is continuously performed. When the continuous coordinate detection is interrupted, the process is terminated (step S513), and a standby state is set until the coordinate detection is performed (step S502). When the continuous coordinate detection is interrupted and the coordinate detection is performed again in step S502, the operation state of the pen tip SW 41 is similarly confirmed in step S503, and if the pen tip SW 41 is in the operation state, the flow proceeds to step S504. In this description, the flag is set to Flag = 1 in step S505 at the time of the previous "when a series of consecutive coordinates are detected", and accordingly, the setting / updating of the reference coordinates is performed. Is not performed, and a difference value is output while continuous coordinate detection is being performed by using the held reference coordinate values in a loop of steps S507 and S508.
[0055]
When the continuous input is interrupted, a standby state for coordinate detection is resumed in step S502. However, if the coordinate value is detected and it is determined in step S503 that the pen tip SW 41 is not operating, the process proceeds to step S509. The flag is set to Flag = 0, which is the initial state, and the detected coordinate value is set and updated as the reference coordinate. In the loop of steps S511 and S512, the flag is set while the coordinate value is continuously detected. The difference value between the reference coordinate value and the detected coordinate value is output. At this time, since the pen tip SW 41 is not operating, when both the pen side SWs 42 are operating as described above, the pen tip SW 41 acts as a pen down, and the handwriting is moved with the movement of the pointing tool 4. Is displayed on the display device, and when only one of the pen side SWs 42 is operating, it acts as a pen-up, and moves the pointing tool 4 to change the position of the cursor displayed on the display device, for example. It is configured to be able to move.
[0056]
Now, the effect of adopting such a coordinate value processing method will be described with reference to FIGS. 9 and 10. FIG. 9 illustrates a state where the pen tip SW 41 is not operated. FIG. 10 is an explanatory diagram in a case where the cursor displayed by the device is located at the position of (1) and the operator intends to move the cursor to the position of (3). First, the operator moves the pointing device 4 to the position of the position A, and at that time, makes one of the pen side SWs 42 into an operating state (pen-up state). At this time, since the pen tip SW 41 is not in the operating state, the flag is set to Flag = 0 in step S509, and the position coordinates of the pointing tool 4 are stored as the reference coordinates in step S510 (at this time, the cursor position is (It still remains (1) and does not move yet.) When the operator moves the pointing tool 4 to the position B with the pen-side SW 42 operated, the cursor moves in accordance with the moving direction and the moving distance of the pointing tool (by the loop of step S511 and step S512). That is, for example, the cursor moves to the position (2)), and when the pointing tool 4 reaches the position B, the pen side SW 42 is turned off. At this point, the “continuous” coordinate detection is completed, and a coordinate detection standby state is set in step S502. The operator moves the pointing tool 4 from the position B to the position A without operating the switch of the pointing tool 4, but at this time, no coordinate detection is performed, and the cursor moves at the position of (2). Absent. The operator again operates the pen side SW 42 at the position A to start the continuous input state, and the coordinate value first detected in step S510 is newly updated and stored as the reference coordinate. Become. Similarly, when the operator moves the pointing tool 4 from the position A to the position B while operating the pen-side SW 42, the cursor moves from the position (2) to the position (3). As described above, by adopting the configuration of the present invention, it is possible to realize a large movement of the cursor on the screen on the spot without blocking the eyes of the listener. In this description, one of the pen-side SWs 42 is operated, that is, the cursor is moved by pen-up. However, when the cursor is moved, both the pen-side SWs 42 are operated. A pen-down state can be realized, and a trajectory of the movement of the cursor generated with the movement of the pointing tool 4 is displayed as handwriting, and a marker function such as adding an underline below a displayed character is realized. Becomes possible.
[0057]
FIG. 10 is an explanatory diagram illustrating operability when the pen tip SW 41 is operated. First, the operator moves the cursor to the desired position (3) by the method described with reference to FIG. 9 (at this time, the flag value is set to Flag = 0 as described above). Thereafter, the operator causes the pointing tool 4 to abut on the display screen at a desired arbitrary position C, operates the pen tip SW 41, and performs coordinate detection. Since the position detection is performed by operating the pen tip SW 41 (pen down state) and the flag is currently in the state of Flag = 0, the flag is set to Flag = 1 in step S505 and the coordinates detected in step S506. The values are stored as reference coordinates (at this time, the cursor does not move from the position of (3)). When the operator moves the pointing tool 4 to the position D while making contact with the display screen, the difference value between the detected coordinate value and the reference coordinate value is continuously output in steps S507 and S508, and the pointing tool 4 is output. The cursor is moved from the position (3) to the position (4) by faithfully reproducing the moving direction and the moving distance of, and the locus of the cursor is displayed. When the operator stops the contact of the pointing device 4 at the position of the position D, continuous detection is interrupted, and a coordinate detection standby state is set (step S502). There is no movement from the position of ▼.
[0058]
When the pointing tool 4 is brought into contact with the position E and the pen tip SW 41 is operated, the flag is determined in step S504 through steps S502 and S503. In this case, since the flag is set to Flag = 1 in the previous continuous coordinate detection operation, the reference coordinates are not updated, and the reference coordinates stored at the time of the previous continuous coordinate detection are used to execute step S507 and step S507. The loop of S508 is repeated. Since the reference coordinates are the coordinate values set in the previous continuous coordinate input operation, that is, the coordinate values detected when the position of the pointing device 4 is at the position C, when the position of the pointing device 4 is at the position E, Means that the difference between the coordinate value detected at that time and the coordinate value (reference coordinate value) when the position of the pointing device 4 is at the position C is output, and the cursor is moved from the position <4> to the position <4>. It will move to 5 ▼. After that, when the pointing tool 4 is brought into contact with and moved to the position F, the moving direction and the moving distance of the pointing tool 4 are faithfully reproduced, and the cursor moves from the position (5) to the position (6). Will be displayed.
[0059]
In the description of FIG. 10, the position (3) (current cursor position) where information such as characters is desired to be added can be easily set according to the intention of the operator as described with reference to FIG. After that, information is input by operating the pointing tool 4. The operating position C of the pointing tool 4 may be an arbitrary position, compared with a device in which the offset amount shown in the conventional example must be set. A marked improvement in operability is obtained. That is, as shown in FIG. 10, the character "I" can be added at a desired position on the right side of the screen by an operation at an arbitrary position on the left side of the screen, so that the line of sight of the listener is not interrupted. Further, by operating in an area (for example, the center of the screen in FIG. 10) closer to the position where the information should be added, the operator can more easily view the input information, and the optical path of the display device is blocked by the operator's hand or the like. Even in such a case, the positional relationship between the information additional writing position {circle around (3)} and the operation position C can be set unconsciously, so that a favorable operation environment can be realized.
[0060]
Further, the position (3) coincides with the operation position C, that is, the information is added and the cursor is moved to the position where the information is to be displayed, and the pointing tool 4 is brought into contact with the cursor position (the pen tip SW 41 is operated) and operated. From the operator's point of view, a coordinate input device (an absolute position coordinate of the pointing device is detected and the absolute coordinate value is output so that the cursor is always present at the pointing position of the pointing device) as in the conventional example. Equivalent workability can be obtained. This equivalent workability is achieved while a series of operations of the pointing tool 4 is performed by the operation of only the pen tip SW, and thus plays an important role depending on the application. That is, when the present invention is applied to a rear projector, a PDP, or the like, there is no problem that the display information cannot be seen by the operator due to the interruption of the optical path by the operator. Is an important advantage. However, if the function is only for absolute input, the display information is interrupted by the body of the operator or the like to the listener (participant) who is watching the function, so that the information is relatively input as in the present invention. The operability that can be played also plays an important role. Therefore, according to the present invention, not only a system using a front projector or the like but also a system using a display device of a rear projector or a PDP can provide an operation environment with excellent operability.
[0061]
Further, the switch operation performed by the operator is an operation of only the pen tip SW 41 or the pen side SW 42 for executing the coordinate detection operation, and does not require a special switch operation for realizing the above operability. In other words, there is no switch operation for setting an offset, and no limitation on the coordinate input area (operation area), as in the conventional example, and there is no need for skill and skill in using the device. It has excellent advantages that it can be operated.
[0062]
The coordinate input device that processes the coordinate values detected by the coordinate input device and outputs the coordinate values has been described above. However, the coordinate value processing step may be executed inside the coordinate input device as described above. Needless to say, the host computer receiving the coordinate values detected by the coordinate input device may execute the coordinate value processing step.
[0063]
Furthermore, the coordinate input device of the above embodiment has been described as a coordinate input device capable of detecting three-dimensional coordinates, but it is needless to say that a coordinate input device capable of detecting two-dimensional coordinates may be used. A second embodiment in which a coordinate input device capable of detecting three-dimensional coordinates is used will be described.
[0064]
As described above, when the pen tip SW 41 is operated to detect the position coordinates of the pointing tool 4, the operator is positioned near the display surface of the display device, which is the operation surface, and issues an instruction. This is a state in which the tip of the tool 4 is in contact with the display surface for operation (pen-down signal generation state), and the handwriting is displayed on the display as the operator moves the pointing tool 4. It is in such a state. In other words, the position coordinates of the pointing tool 4 are detected, and the result is displayed on the display device as handwriting, so that the user is in a state of realizing usability like "paper and pen".
[0065]
On the other hand, the state in which the position of the pointing device 4 is detected by the pen side SW 42 means that the pointing device 4 is at a position away from the display device, and the usability of the pointing device at that time is, for example, from the display device. By moving the cursor to a desired position even at a distant position, “pointing to a desired position” can be performed. Further, for example, by clicking / double-clicking an icon, “remote control of display contents (host computer For example, a "marker function" for adding rough information such as an underline or the like is mainly used, and is not used for applications such as adding a fine character at a distant position.
[0066]
That is, when the operator is located in the immediate vicinity of the display surface, the input of relatively fine information such as characters is mainly performed, and when the operator is located far from the display surface, rough input of information such as "point" is mainly performed. It becomes. As described earlier, the usability is as shown in FIG. 10 in the immediate vicinity, and it is necessary to realize the usability as shown in FIG. 9 at a remote position. Therefore, in the second embodiment of the present invention, the form of the coordinate value processing is changed based on the three-dimensional detection position coordinates of the pointing tool 4 by focusing on the point "close" and "away" from this screen.
[0067]
Specifically, as shown in FIG. 6, if the display surface of the display device is an XY plane (Z = 0) and its vertical direction is the Z axis, the processing form is determined by the Z axis value of the detected coordinate value. Is the way. That is, when the value of the Z-axis is sufficiently close to 0, it means that the pointing tool 4 is located near the screen, and the coordinate value is determined in steps S604 to S608 by the determination of step S603 in FIG. To process. When the Z-axis value of the detected coordinate value is equal to or greater than a predetermined value, the pointing tool is located at a position distant from the display surface, and the coordinate values are processed in steps S609 to S612. (Since the same processing is performed except for the determination means in step S503 in FIG. 8, the detailed description of FIG. 11 is omitted.)
[0068]
In the third embodiment, the coordinate processing step is determined based on the detected two-dimensional coordinates or three-dimensional coordinates. If the display surface of the display device is an XY plane, the detected coordinates are determined. It is possible to determine whether or not the position of the pointing tool 4 is within the display area of the display device based on the X coordinate value and the Y coordinate value of the value. Therefore, the determination condition of step S603 in the flowchart of FIG. 11 is changed to “Is the pointing device in the display area? If it is within the display area, the coordinate values are processed in steps S604 to S608 assuming that information such as characters and figures are to be input. "And the like, and the coordinate values are processed in the processes of steps S609 to S612.
[0069]
As described above, by changing the method of the coordinate value processing based on the position coordinates of the pointing tool 4, it is possible to obtain the same operation and effect as in the first embodiment (the method of determining with the pen tip Sw and the pen side SW). It becomes possible.
[0070]
【The invention's effect】
As described above, in addition to the effect of being able to input information without interrupting the line of sight of the operator or listener, it is possible to achieve the purpose only by operating the switch for performing the coordinate detection operation. The method of operation is extremely simple, and even inexperienced people who have never used the device can input characters and graphics, control display devices, etc. with intuitive operation. The effect has come to be obtained.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a coordinate input device employing a processing step of the present invention.
FIG. 2 is a block diagram of the pointing device 4.
FIG. 3 is a timing chart of signal processing.
FIG. 4 is a circuit block diagram of signal processing.
FIG. 5 is a flowchart of pen up / down setting.
FIG. 6 is a block diagram of the arithmetic and control circuit 1.
FIG. 7 is an explanatory diagram illustrating a coordinate system.
FIG. 8 is a flowchart illustrating a coordinate value processing step according to the first embodiment;
FIG. 9 is an explanatory diagram illustrating a remote operation.
FIG. 10 is an explanatory diagram illustrating a character input operation.
FIG. 11 is a flowchart illustrating a coordinate value processing step according to the second embodiment.
[Explanation of symbols]
1 Operation control circuit
2 Signal waveform detection circuit
3 Detection sensor
4 Pointer
6 Display
41 Pen tip SW
42 Pen Side SW
43 Sound source
211 Control signal detection circuit

Claims

A coordinate value processing method of a position detection coordinate value of a pointing tool,
Determining means for determining whether coordinates are continuously detected,
According to the operation state of the pointing device, the first valid coordinate value is output as the reference coordinates while the coordinates are continuously output, and the determination unit determines whether to store the coordinates,
When the determining unit determines to update the reference coordinate value, a storage unit that newly updates and stores the first valid coordinate value during the continuous period continuously detected as the reference coordinate value,
A method of processing a detected coordinate value, comprising a coordinate value processing means for outputting a difference value between the detected coordinate value and a reference coordinate stored in the storage means while the coordinates are continuously output. .

A coordinate input device for performing a position detecting operation of the indicator by operating first and second switch means provided on the indicator, and determines whether coordinates are continuously detected. Determining means;
Switch determination means for determining whether the state in which coordinate values are continuously detected is the first or second switch means,
Based on the determination result of the switch determination unit, the stored reference coordinate value is updated, a determination unit that determines whether to store the reference coordinate value,
When the determining unit determines to update the reference coordinate value, a storage unit that newly updates and stores the first valid coordinate value during the continuous period continuously detected as the reference coordinate value,
A coordinate input device comprising output means for outputting a difference value between a coordinate value detected during the continuous period and the stored reference coordinate value.

A coordinate input device capable of detecting two-dimensional or three-dimensional position coordinates of the pointing tool,
Determining means for determining whether coordinates are continuously detected,
Based on the first valid coordinate value during the continuous period in which the coordinate value is continuously detected, the stored reference coordinate value is updated, and a determination unit that determines whether to store the reference coordinate value,
When the determining unit determines to update the reference coordinate value, a storage unit that updates and stores the first valid coordinate value during the continuous period continuously detected as the reference coordinate value,
A coordinate input device comprising output means for outputting a difference value between a coordinate value detected during the continuous period and the stored reference coordinate value.

A coordinate input device capable of detecting three-dimensional (X-axis, Y-axis, Z-axis) position coordinates of an indicator, which can constitute an input / output integrated device by being combined with a display device,
If the display surface of the display device is defined as an XY plane (Z = 0) and its vertical direction is defined as a Z axis,
Determining means for determining whether the coordinates of the input and output integrated are continuously detected,
Determining means for determining whether to update and store the stored reference coordinate value based on the Z-axis information of the coordinate value first valid during the continuous period in which the coordinate value is continuously detected;
When the determining unit determines to update the reference coordinate value, a storage unit that updates and stores the first valid coordinate value during the continuous period continuously detected as the reference coordinate value,
A coordinate input device comprising output means for outputting a difference value between a coordinate value detected during the continuous period and the stored reference coordinate value.

A coordinate input device for detecting and outputting spatial (three-dimensional) position coordinates according to claim 4, wherein the three-dimensional position coordinates of the pointing device are detected by detecting a sound wave propagating in the air. Coordinate input device.

The coordinate input device according to any one of claims 2, 3, and 4,
A coordinate input device characterized in that the determination means for determining whether or not coordinates are continuously detected is determined by monitoring the timing at which the coordinate input device outputs coordinate values.