上記課題を解決するためになされた第1の発明は、複数の電子ペンと、この電子ペンによるタッチ操作が行われるタッチ面を備えたタッチパネル体と、前記タッチ面上での前記電子ペンのタッチ位置を検出する位置検出装置と、前記タッチ面を表示画面として所要の画像を表示する表示装置と、前記位置検出装置から取得した位置検出情報に応じた画像を前記表示装置に表示させる制御装置と、を備えた電子ペンシステムであって、前記電子ペンは、属性をユーザにより選択させる属性選択手段と、この属性選択手段により選択された属性情報及び自身の識別情報を付加したペン情報を前記制御装置に送信するペン情報送信手段と、前記タッチ面に対するタッチ状態を検出するタッチ状態検出手段と、を備え、前記タッチ状態検出手段がタッチ状態を検出するのに応じて前記ペン情報送信手段から前記制御装置に前記ペン情報を送信した後に、前記電子ペンのペン先部を導通させて前記位置検出装置によるタッチ位置の検出を可能とし、前記制御装置は、前記電子ペンから前記ペン情報を受信した後、一定時間内に前記位置検出装置からタッチ位置を受信した場合には、前記ペン情報に付加された識別情報を有する電子ペンによるタッチ操作と判断し、当該ペン情報に含まれる属性情報に応じた画像を前記表示装置に表示させる構成とする。
これによると、複数の電子ペンの各々をユーザが必要に応じて属性を適宜に切り替えて使用することができる。
また、タッチ操作を行った指示物がいずれの電子ペンであるかを間違いなく判別することができる。
前記課題を解決するためになされた第2の発明は、前記第1の発明において、前記制御装置は、以前に描画された画像に重なり合うように新たな画像が描画される場合に、以前に描画された画像と新たに描画される画像との重複部分を、予め指定された描画規則に基づいて描画する描画制御手段を備え、前記電子ペンは、前記描画規則をユーザに指定させる描画規則指定手段を備え、この描画規則指定手段で指定された描画規則に関する情報を前記制御装置に送信する構成とする。
これによると、ユーザが電子ペンで描画規則を指定することができる。
前記課題を解決するためになされた第3の発明は、前記第1又は第2の発明において、前記描画規則は、以前に描画された画像と新たに描画される画像との重複部分を、新たな画像の描画条件にしたがって描画する上書き処理に関するものである構成とする。
前記課題を解決するためになされた第4の発明は、前記第1〜第3の発明において、前記描画規則は、以前に描画された画像と新たに描画される画像との重複部分を、両者の描画条件を指定の比率により変更した描画条件で描画する重ね合わせ処理に関するものである構成とする。
前記課題を解決するためになされた第5の発明は、複数の電子ペンによるタッチ操作が行われるタッチ面を表示画面とし、前記タッチ面上での前記電子ペンのタッチ位置及び前記電子ペンの属性に応じた画像を前記表示画面に表示させる制御装置と通信を行う電子ペンであって、前記電子ペンの属性をユーザにより選択させる属性選択手段と、この属性選択手段により選択された属性及び自身の識別情報を付加したペン情報を前記制御装置に送信するペン情報送信手段と、前記タッチ面に対するタッチ状態を検出するタッチ状態検出手段と、を備え、前記タッチ状態検出手段がタッチ状態を検出するのに応じて前記ペン情報送信手段から前記制御装置に前記ペン情報を送信した後に、前記電子ペンのペン先部を導通させてタッチ位置の検出を可能とする構成とする。
これによると、複数の電子ペンの各々をユーザが必要に応じて属性を適宜に切り替えて使用することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本発明による電子ペンシステムを示す全体構成図である。この電子ペンシステムは、電子ペン1と、この電子ペン1や指Fによるタッチ操作が行われるタッチ面2を備えたタッチパネル体3と、タッチ面2に対する導電体の接近または接触に応じた静電容量の変化からタッチ位置を検出する位置検出装置4と、タッチ面2を表示画面として所要の画像を表示する表示装置5と、位置検出装置4から取得した位置検出情報及び電子ペン1の属性に応じた画像を表示装置5に表示させる制御装置6と、を備えている。
タッチパネル体3には、互いに並走する複数の送信電極(第1電極)11と、この送信電極11と絶縁され互いに並走する複数の受信電極(第2電極)12とが格子状に配置されている。送信電極11と受信電極12の絶縁状態は、例えばこれらの間にシート状の支持体を設けることで達成される。
位置検出装置4は、送信電極11に対して駆動信号(パルス信号)を印加する送信部13と、送信電極11に印加された駆動信号に応答した受信電極12の充放電電流信号を受信して、送信電極11と受信電極12とが交差(絶縁状態で重畳)する電極交点ごとのレベル信号を出力する受信部14と、この受信部14から出力されるレベル信号に基づいてタッチ位置を検出すると共に送信部13及び受信部14の動作を制御する位置検出制御部15とを備えている。
タッチパネル体3は、大画面の表示装置5と組み合わせることで、プレゼンテーションや講義に用いることができるようにした、いわゆるインタラクティブホワイトボードとして用いられ、特にここでは、表示装置5がプロジェクタであり、タッチ面2がプロジェクタ用のスクリーンとなる。この他、表示装置5を、液晶ディスプレイやプラズマディスプレイで構成し、いずれも透明材料で構成されたタッチパネル体、送信電極及び受信電極の背面側に配置するようにしてもよい。
制御装置6は、電子ペン1との間で通信を行う無線通信部16と、タッチ面2に対する電子ペン1や指Fによるタッチ操作に応じて位置検出装置4から出力される位置検出情報に基づいて文字、線及び図形などの画像を描画する描画制御部17と、描画制御部17の出力に基づいて表示画面データを生成して表示装置5に出力する表示制御部18と、これら各部を総括的に制御する主制御部19と、を備えている。
描画制御部17では、描画モードでタッチ操作に応じて画像を描画し、イレーサーモードではタッチ操作に応じて画像を消去する処理が行われる。また、この描画制御部17には、位置検出装置4から位置検出情報を取得した際に、その位置検出情報が電子ペン1及び指Fのいずれによるものかを判別する指示物判別部(指示物判別手段)を備えており、電子ペン1及び指Fにそれぞれ設定された属性に基づいて描画処理が行われる。
主制御部19では、カーソル操作モードで表示画面に表示された操作ボタンに割り当てられた処理をタッチ操作に応じて実行する。この制御装置6は、パソコン及び周辺機器で構成され、主制御部19を実現するOS及び描画制御部17を実現するアプリケーションプログラムが導入される。
送信電極11及び受信電極12は同一の配置ピッチ(例えば10mm)で配置されており、その送信電極11と受信電極12とが交差する電極交点にはコンデンサが形成され、ユーザが指示物でタッチ操作を行うと、これに応じて電極交点の静電容量が実質的に減少することで、タッチ操作の有無を検出することができる。
特にここでは、相互容量方式が採用され、送信電極11に駆動信号を印加すると、これに応答して受信電極12に充放電電流が流れ、このとき、ユーザのタッチ操作に応じて電極交点の静電容量が変化すると、受信電極12の充放電電流が変化し、この充放電電流の変化量を受信部14で電極交点ごとのレベル信号(ディジタル信号)に変換して位置検出制御部15に出力し、位置検出制御部15では、電極交点ごとのレベル信号に基づいてタッチ位置が算出される。この相互容量方式では、同時に複数のタッチ位置を検出する、いわゆるマルチタッチ(多点検出)が可能である。
送信部13は、位置検出制御部15から出力されるタイミング信号に同期して、送信電極11を1本ずつ選択して駆動信号を印加する。受信部14は、1本の送信電極11に駆動信号を印加する間に、受信電極12を1本ずつ選択して受信電極12の充放電電流を受信する。これにより、全ての電極交点ごとの充放電電流を取り出すことができる。
位置検出制御部15は、受信部14から出力される電極交点ごとのレベル信号から所定の演算処理によってタッチ位置(タッチ領域の中心座標)を求める。このタッチ位置の演算では、X軸方向(送信電極11の延在方向)とY軸方向(受信電極12の延在方向)とでそれぞれ隣接する複数(例えば4×4)の電極交点ごとのレベル信号から所要の補間法(例えば重心法)を用いてタッチ位置を求める。これにより、送信電極11及び受信電極12の配置ピッチ(10mm)より高い分解能(例えば1mm以下)でタッチ位置を検出することができる。
図2は、図1に示した電子ペン1の概略構成図である。この電子ペン1は、ユーザが手で握る把持部21を備えたペン本体22と、タッチ操作時にタッチ面2に押し当てられるペン先部23と、制御装置6との間で通信を行う無線通信回路24と、互いに電気的に遮断された状態で設けられたペン先部23と把持部21との電気的接続を断続する接続スイッチ25と、タッチ面に対するタッチ状態を検出する磁気センサー(タッチ状態検出手段)26と、各部の動作を総括的に制御するペン制御回路27と、を備えている。また、ペン制御回路27や無線通信回路24などには必要に応じて電源回路28を介して電池29の電力が供給される。なお、本実施形態においては、把持部21は導電性樹脂で構成しているが、金属材料や樹脂に導電性材料をコーティングしたものであってもよく、ユーザが電子ペン1を把持したときに、少なくともペン先部23と人体が電気的に導通するよう、導電性材料を適宜選択すればよい。
ペン本体22は導電性の合成樹脂材からなる。ペン先部23はペン先カバー31とペン先軸32とからなる。ペン先カバー31は導電性のフェルト材からなり、ペン先軸32は導電性の合成樹脂材からなる。ペン先部23は、絶縁体33を介してペン本体22に保持されている。ペン先軸32は、軸方向に移動可能に図示しないガイド部材に支持されている。タッチ操作時にペン先部23をタッチ面2に押し当てると、フェルト材からなるペン先カバー31が縮んでペン先軸32が押し込まれる。
磁気センサー26は、ペン先軸32に設けられた磁石34の変位を検出する。タッチ操作時にペン先軸32が押し込まれると、このペン先軸32の移動に伴って磁石34と磁気センサー26との距離が変化することで、タッチ状態を検出することができる。
接続スイッチ25は電子スイッチ(FETなどのトランジスタ)であり、ペン制御回路(スイッチ制御手段)27によりオンオフ制御される。なお、電子スイッチは、オフ時の端子間寄生容量が小さいことが好適である。容量成分が大きいと接続スイッチ25がオフであっても、人体に導通したのと同等の状態となるからである。この観点から、接続スイッチ25は静電容量が殆ど無視できる接点式リレーで構成してもよい。
ここで、接続スイッチ25がオフの場合、ペン先部23は把持部21と電気的に遮断されている。ペン先部23の成分容量は極めて小さいため、ペン先部23をタッチ面2に近接させても(あるいは軽く触れた状態では)、位置検出装置4は電子ペン1の近接・当接を認識することはない。
一方、接続スイッチ25がオンになると、ペン先部23は把持部21と電気的に接続され、人体は把持部21を介してペン先部23と導通する。人体は比較的大きな静電容量を有するため、電子ペン1がタッチ面2に近接・接触すると、送信電極11、受信電極12(図1参照)間の電気力線が変化して、位置検出装置4は電子ペン1のタッチ状態を確実に検出できる。
電子ペン1には、プッシュ式の操作スイッチ41〜43と、ロータリー式の操作スイッチ44が設けられている。プッシュ式の操作スイッチ41〜43は、操作ボタン45〜47を押下操作することで、各操作スイッチ41〜43に割り当てられた動作をペン制御回路27に実行させる。例えば第1の操作スイッチ41には、マウスのボタンと同様の機能が与えられ、第2・第3の操作スイッチ42・43には、表示画面を送り方向及び戻り方向にスクロールさせる機能が与えられる。
ロータリー式の操作スイッチ(属性選択手段)44は、操作つまみ48を回転操作することで、電子ペン1の機能に関する属性が切り替えられる。特にここでは、操作スイッチ44により、描画モードでの黒、赤、緑及び青の描画色、及びイレーサーモードを選択することができる。なお、この他の機能に関する属性を選択可能な構成としてもよい。
ペン制御回路27は、固有のペン識別情報(ID)を記憶する。また、ペン制御回路27は、磁気センサー26の出力に基づいてタッチ状態か否かを判別してステータス情報を生成し、また、操作スイッチ44の操作に応じて属性情報を生成し、ペン制御回路27からの送信指示に応じて無線通信回路24(ペン情報送信手段)から制御装置6に、ペン識別情報、ステータス情報、及び属性情報を含むペン情報が送信される。無線通信回路24は、例えば2.4GHz帯高度化小電力データ通信が採用される。
図3は、図1に示した電子ペン1と制御装置6の処理の手順を示すフロー図である。電子ペン1は、ユーザがタッチ操作を行い、ペン先部23がタッチ面2に押し当てられて、磁気センサー26がタッチ状態を検出するのに応じて(ST102でYes)、無線通信回路24からペン情報を制御装置6に送信した後(ST103)、接続スイッチ25をオンとしてペン入力可能状態となるようにする(ST105)。
制御装置6は、電子ペン1からのペン情報を受信した後に(ST202でYes)、位置検出装置4からの位置検出情報を受信した場合に(ST206でYes)、その位置検出情報を電子ペン1によるタッチ操作と判断してペン入力処理に進む(ST208)。一方、電子ペン1からのペン情報を受信することなく位置検出装置4からの位置検出情報を受信した場合には、指Fによるタッチ操作と判断して指入力処理に進む(ST209)。
電子ペン1では、磁気センサー26によりタッチ状態が検出されてから所定時間(例えば500ms)経過した後に(ST104)、接続スイッチ25をオンとする。これにより、制御装置6において電子ペンからのペン情報を受信するタイミングと、ペン入力可能状態となって位置検出装置4からの位置検出情報を受信するタイミングとが逆になることを確実に避けることができる。
また、電子ペン1では、磁気センサー26により検出される非タッチ状態が所定時間(例えば2sec)継続したところで(ST107でYes)、接続スイッチ25をオフとする。これにより、ユーザがタッチ操作を行うのに応じてペン情報の送信及び接続スイッチ25のオン操作が頻繁に繰り返されることを避けることができる。
また、ここでは、電子ペン1が起動されるとまずペン識別情報を含むペン情報が制御装置6に送信される(ST101)。制御装置6では、電子ペン1からの起動時のペン情報を受信することで(ST201)、使用中の電子ペン1を認識することができる。
なお、例えば第1の操作スイッチ41の押下により、ペン識別情報、ステータス情報、及び属性情報を含むペン情報を任意のタイミングで制御装置6に送信することができるようにしてもよい。制御装置6では、ペン情報を電子ペン1から受信すると、表示装置5によりタッチ面2上に電子ペン1の属性、例えば描画モードでの描画色を表示させる。これにより、電子ペン1に設定された属性をユーザが適宜に認識することができる。
図4は、図3に示したペン入力処理の手順を示すフロー図である。まず、ペン情報の属性がマーカーとなっている場合には(ST301でYes)、座標位置に指定の色で描画する処理が行われる(ST302)。一方、ペン情報の属性がイレーサーとなっている場合に(ST303でYes)、座標位置に描画データがあれば(ST304でYes)、その描画データを消去する処理が行われる(ST305)。
図5は、図1に示した表示装置5によりタッチ面2上に表示される描画パレットを示す図である。指入力では、描画パレットにより入力属性が選択される。ここでは、矢印(カーソル)、黒、赤、青及び緑の各色のマーカー、イレーサー、特殊マーカー、並びに特殊機能の各選択ボックスが表示され、これを指Fでタッチ操作することで選択される。特殊マーカー及び特殊機能を選択すると、具体的な機能を選択するサブメニューが表示される。特殊マーカーは、蛍光マーカー、任意の図形を並べて線を描く機能などである。特殊機能は、表示画面を部分的に拡大するルーペ機能、表示画面の一部を残して暗くするスポットライト機能、表示画面の一部を隠すシェード機能などである。
図6は、図3に示した指入力処理の手順を示すフロー図である。まず、描画パレットで矢印が選択されている場合に(ST401でYes)、座標位置に描画データがあれば(ST402でYes)、その描画データを指Fの動きに応じて移動する処理が行われる(ST403)。また、座標位置に描画データがなければ(ST402でNo)、メニュー選択などのOSのカーソル操作処理に移行する(ST404)。一方、描画パレットでマーカーが選択されている場合には(ST405でYes)、座標位置に指定の色で描画する処理が行われる(ST406)。また、描画パレットでイレーサーが選択されている場合に(ST407でYes)、座標位置に描画データがあれば(ST408でYes)、その描画データを消去する処理が行われる(ST409)。
なお、図6では、描画パレットで矢印、マーカー及びイレーサーの3つの機能を選択する例を示したが、図5に示す例のように、より多くの選択肢があれば、これに応じてフローのステップが増える。
図7は、図1に示した電子ペン1の別の例を示す概略構成図であり、動作状況を段階的に示す。ここでは、タッチ状態を検出するための第1のメカニカルスイッチ71と、ペン先部23と把持部21との電気的接続を断続する接続スイッチとなる第2のメカニカルスイッチ72と、タッチ操作時のペン先部23の変位に連動して第1・第2のメカニカルスイッチ71・72をオンオフ操作するスイッチ操作機構74とが設けられている。
スイッチ操作機構74は、第1のメカニカルスイッチ71をオンオフ操作する第1のスイッチ操作部75と、第2のメカニカルスイッチ72をオンオフ操作する第2のスイッチ操作部76とを備え、この第1・第2のスイッチ操作部75・76が、ペン先軸32に軸方向に配設位置をずらして設けられている。
これにより、第1・第2のメカニカルスイッチ71・72が、ペン先部23をタッチ面2に押し当てるのに応じたペン先部23の後退変位に応じて順にオンとなる。すなわち、図7(A)に示す非タッチ状態から、ペン先部23がタッチ面2に押し当てられて後退すると、図7(B)に示すように、先に第1のメカニカルスイッチ71がオンとなり、ついで図7(C)に示すように、第2のメカニカルスイッチ72がオンとなる。
このように機械的に構成すると、ペン制御回路27のタイマ回路(図示せず)等が省略できる他、これらの動作に伴う電池の消耗を抑えることができる。また、第1・第2のスイッチ操作部75・76の配設間隔を適切に定めることで、制御装置6で電子ペン1からのペン情報を受信するタイミングと、ペン入力可能状態となって位置検出装置4からの位置検出情報を受信するタイミングとが逆になることを確実に避けることができる。
図8は、図1に示した電子ペン1の別の例を示す概略構成図である。ここでは、ペン先部23と把持部21との電気的接続を断続する接続スイッチとなるメカニカルスイッチ81を、ユーザの操作により常時オンとする操作ボタン(操作手段)82が設けられている。操作ボタン82は、メカニカルスイッチ81をオン状態とオフ状態とのいずれかに保持するオルタネイト方式の構造を有しており、メカニカルスイッチ81がユーザの操作により強制的にオン・オフ操作される。これにより、電池の残量のない状態でも、指Fの代用として電子ペン1を利用することができる。その他の構成は図2の例と同様であり、詳細な説明は省略する。なお、図7を用いて説明した構成に対しても、同様に強制的な接続スイッチを設けることが可能である。
図9は、図1に示した電子ペン1の別の例を示す概略構成図である。ここでは、タッチ状態を検出するために、ペン先部23をタッチ面に押し当てるのに応じたペン先部23の変位量を検出する位置センサー(変位量検出手段)91が設けられている。電子ペン1は、位置センサー91により検出されたペン先部23の変位量が付加されたペン情報を制御装置6に送信し、制御装置6は、電子ペン1からのペン情報を受信することで取得したペン先の変位量に応じた所定の処理を行う。位置センサー91には、移動量に応じて抵抗値が変化する可変抵抗型のポテンショメータや光位置センサ(PSD:Position Sensitive Detector)などが用いられる。その他の構成は図2の例と同様であり、詳細な説明は省略する。
このようにすると、ペン先部23の変位量を変化させる筆圧をユーザが調整することで種々の操作指示を行うことができる。例えば筆圧に応じて線描画モードでの線の太さを変更するようにするとよい。また、ペン先部23の変位量を段階的にレベル化して、各レベルに応じて属性の選択、例えば、線種(実線、破線、1点破線)を選択するようにしてもよい。また、各レベルに異なる処理を割り当てる、例えばレベル2で表示オブジェクトの選択、レベル5で操作の決定を行うなどとしてもよい。
なお、ペン先部23は、フェルト材からなるペン先カバー31の弾性や、ペン先軸32とペン本体22との間に介装されたゴム部材(図示せず)の弾性により、ペン先部23をタッチ面2から離すのに応じて初期状態に復元し、これらの弾性力により筆圧に応じてペン先部23を変位させることができる。
図10は、図1に示した電子ペン1の非接触モードの例を示す模式図である。前記のように、静電容量方式を採用すると、電子ペン1をタッチ面2に接触させなくてもタッチ面2に近接させれば電子ペン1の位置を検出することができる。
このため、前記の図8の例のように、ペン先部23と把持部21との電気的接続を断続する接続スイッチとなるメカニカルスイッチ81を強制的にオンオフ操作する操作ボタン82を設け、この操作ボタン82の操作に応じてペン情報を送信する構成において、操作ボタン82をオン操作して電子ペン1をタッチ面2に近接させると、制御装置6では、位置検出装置4から位置検出情報を受信すると共に、電子ペン1から非タッチ状態を示すペン情報を受信する。このとき、ペン情報が非タッチ状態のままでタッチ位置が検出されるため、通常のペン入力モードとは異なる。
そこで、このような非タッチ状態での操作を非接触モードとして特殊な機能を与えて、アプリケーションの操作、例えば特別なメニューの表示や、エアブラシモードでの描画などを行うようにするとよい。なお、この場合、指入力との混同を避けるため、指入力を禁止した状態に設定するとよい。
図11は、図1に示した電子ペン1の別の例を示す概略構成図である。ここでは、ペン先部23と把持部21とが可変抵抗素子111を介して接続され、可変抵抗素子111の抵抗値を変化させる操作スイッチ112が設けられている。その他の構成は図2の例と同様であり、詳細な説明は省略する。なお、可変抵抗素子111の代わりに、可変容量素子を用いることもできる。
このように構成すると、図10に示した非接触モードにおいて、タッチ操作に伴う静電容量変化を増減させて、位置検出装置4から出力されるレベル信号の値を変化させることができ、これにより、操作スイッチ112の操作量を制御装置6に伝えて、操作スイッチ112の操作量で種々の指示を行う、例えば画像処理の量を変更することができる。例えば、エアブラシモードで、高感度、すなわち検出レベルや検出範囲が大きいほど、描画半径を大きくするといった構成が可能である。
図12は、図1に示した電子ペンシステムにおける手書き入力の一例を示す図である。図13は、図12に示した手書き入力時のペン情報の送信状況を示すタイミング図である。手書きで一連の文字を入力する場合、短い間隔をおいてストローク入力S1〜S11が繰り返されるが、各ストローク入力S1〜S11の始点でタッチ状態になる度に電子ペン1がペン情報の無線通信を行うと電池29の消耗が早くなる。
そこで、電子ペン1は、1つのストローク入力が終了してペン先部23がタッチ面2から離れて、磁気センサー26による検出結果がタッチ状態から非タッチ状態となった後に、その非タッチ状態が所定時間(T:例えば2sec)継続する前に、再度タッチ状態となった場合には、ペン情報を送信しない。これにより、電子ペン1の通信回数を削減することができ、電池29の消耗を抑制することができる。
同じ指示物(電子ペン1や指F)で1つの文字列を入力する際には、ストローク入力は短い間隔となるが、異なる指示物で別々に文字列を入力する際には、1つの指示物で入力される文字列の最後のストローク入力と、別の指示物で入力される文字列の最初のストローク入力とは長い間隔となり、基準時間(T:例えば2sec)を適切に定めることで、1つの指示物で文字列を入力する最中にはペン情報が送信されず、1つの指示物で文字列が入力された後に、別の指示物で文字列の入力が開始したところでペン情報が送信されるようにすることができる。
図示する例では、「あい」の文字列と「かき」の文字列とは異なる指示物で別々に入力され、「あい」並びに「かき」の各文字列の入力における最初のストローク入力の始点のタイミング(即ち図13では、S1及びS6の先頭のタイミング)でのみペン情報が送信される。
この場合、制御装置6は、2番目以降のストローク入力では電子ペン1からのペン情報を受信しない。このため、ペン情報の有無で、各ストローク入力が電子ペン1と指Fとのいずれによるかを判別することができない。またペン情報中のペン識別情報で、各ストローク入力がいずれの電子ペン1によるかを判別することができない。
そこで、制御装置6は、ストローク入力の終点を検出した後に、新たなストローク入力の始点を検出すると、その2つのストローク入力が所定の近接条件(例えば±50mmの範囲)を満足する場合に、新たなストローク入力をその近接するストローク入力と同じ指示物によるものと判断する。
ここで、近接条件は、ストローク入力の終点を検出してから新たなストローク入力の始点を検出するまでの経過時間、及びストローク入力の終点と新たなストローク入力の始点との離間距離のいずれか一方あるいは双方について設定される。この近接条件を満足する場合には、1つの指示物で文字列を連続して入力しているものと判断することができ、一方、近接条件を満足しない場合には、指示物を変えて別の文字列を入力している可能性があるものと判断することができる。
これにより、タッチ状態となる度にペン情報を送信せずとも、各ストローク入力の指示物を精度良く判別することができる。
また、所定の近接条件を満足する以前のストローク入力が存在しない場合には、ユーザに指示物を指定させる確認画面を表示装置5によりタッチ面2上に表示させる。又は電子ペン1に属性情報を再送信させるため、ユーザに電子ペン1を所定期間(例えば2sec)以上、タッチ面2から離間させるよう促す表示を行なう。又は電子ペン1に強制的に属性情報を送信するための指示手段(例えばプッシュスイッチ)を設けてもよい。これにより、ストローク入力の指示物を特定してその指示物の属性に基づいた適切な文字を入力することができる。
なお、このように所定の近接条件にしたがって指示物を特定すると共に、指示物を特定することができない場合にユーザに指示物を指定させる確認画面を表示させる等の動作は、前記のように手書きで文字を入力する場合に限定されない。文字以外の入力時に指示物を特定することができない場合にも同様に適用することができる。
図14は、図1に示した電子ペンシステムにおける手書き入力時のペン情報の送信状況を示すタイミング図である。電子ペン1は、1つのストローク入力が終了してペン先部23がタッチ面2から離れて、磁気センサー26による検出結果がタッチ状態から非タッチ状態となるのに応じて、ペン識別情報、及びステータス情報(非タッチ状態)を含むペン情報を制御装置6に送信する。
一方、制御装置6は、ストローク入力の最中は、位置検出装置4から徐々に変化する位置検出情報を受信するが、1つのストローク入力が終了して電子ペン1のペン先部23や指Fがタッチ面から離れると、一連の位置検出情報が消失するストローク入力の終点を検出するが、このストローク入力の終点の検出が、電子ペン1からの非タッチ状態を示すペン情報を受信するのと略同じタイミングとなった場合には、そのストローク入力を電子ペン1によるものと判断する。また、ストローク入力の終点を検出したところでペン情報を受信しなかった場合には、そのストローク入力を指Fによるものと判断する。
電子ペン1と指Fとでストローク入力の始点のタイミングが同時の場合、ストローク入力の始点のタイミングで電子ペン1から制御装置6に送信されるペン情報のみでは各ストローク入力が電子ペン1と指Fとのいずれによるかを判別することができないが、ストローク入力の終点でもペン情報を送信するようにすると、各ストローク入力が電子ペン1と指Fとのいずれによるかを判別することができる。
また、複数の電子ペン1でストローク入力の始点のタイミングが重なると、同様にストローク入力の始点のタイミングで電子ペン1から制御装置6に送信されるペン情報のみでは各ストローク入力がいずれの電子ペン1によるかを判別することができないが、ストローク入力の終点でもペン情報を送信するようにすると、各ストローク入力がいずれの電子ペン1によるかを判別することができる。
また、ストローク入力の始点及び終点のタイミングが共に重なると、ストローク入力の始点及び終点のタイミングで電子ペン1から制御装置6に送信されるペン情報でストローク入力の指示物を特定することができないが、このような事態も皆無ではない。そこで、このような場合に、複数回のストローク入力が連続して行われている場合では、位置的に近接し且つ時間的にも近接するストローク入力の指示物情報から類推判別するようにするとよい。一方、単発的なストローク入力の場合には、ストローク入力が行われた位置の近傍のタッチ面上に、電子ペン1と指Fのいずれであるかをユーザに確認する確認ウィンドウを表示し、ユーザに選択させてストローク入力の指示物を特定するようにするとよい。
図15は、図1に示した複数の電子ペン1と制御装置6との動作を簡略化して示すタイミング図である。ここでは、複数の電子ペン1を同時にタッチ操作した例を示している。
電子ペン1は、ペン先部23をタッチ面2に押し付けてタッチ状態が検出されると、通信要求信号(REQ(1),REQ(2),…REQ(n))を制御装置6に送信する。制御装置6は、電子ペン1からの通信要求信号(REQ)の受信に応じて、応答信号(ACK(1),ACK(2),…ACK(n))を各電子ペン1に送信する。電子ペン1は、制御装置6からの応答信号(ACK)の受信に応じて、ペン情報(DATA)を制御装置6に送信する。
このとき、電子ペン1は、ペン情報(DATA)の送信を開始してから、一定の遅延時間(t1)の後、ペン先部23と把持部21との電気的接続を断続する接続スイッチ25をオンとする。これにより各電子ペン1では、位置検出可能な状態となり、各電子ペン1のタッチ位置(位置1、位置2、位置3)が順次検出される。
なお、ここでは、通信の衝突回避のために、無線LANなどで公知の分散制御型のコンテンション(CSMA→T1→独立待ち時間(乱数)→データ転送→ACK)を利用している。例えば、各電子ペン1からは、無線チャネルが使用されていないことを確認するCSMA(Carrier Sense Multiple Access)を行う。もし、複数の電子ペンからの同時の通信要求による衝突が発生した場合は、図15に示すように、待機単位時間と発生させた乱数で決定される各電子ペン1で異なる独立待ち時間(tw1、tw2、twn)を待機した後に各電子ペン1は再度通信要求を送信して衝突回避し、制御装置6からの応答信号ACKに応じてデータ転送を行い、制御装置6が電子ペン1からの要求に対応して、毎回、データ受信を確認する応答信号ACKを返すという一連の通信動作を行っている。さらに、図示していないが、電子ペン1がデータ転送後に制御装置6からの応答信号ACKを受信できなかった場合は、応答信号ACKを受信するまで、データの再転送を繰り返すことで、確実なデータ転送を行っている。
このようにすれば、複数の電子ペン1の個々の属性情報を、制御装置6に確実に伝送することができるから、例えば四人のユーザがそれぞれ異なる電子ペン1を用いて、それぞれが使用する描画色を任意に(即ち独立して)選択することが可能となる。つまり各電子ペン1の描画色をユーザ毎に黒、赤、青、緑のように異ならせることも、全てのユーザが同一の描画色を選択することも可能となる。もちろん電子ペン1の属性情報は描画色に限るものではなく、例えば実線/破線、線の太さに関する属性情報であってもよい。このように本実施形態の電子ペン1は、同時に複数の電子ペン1が使用される場合であっても、その属性情報を個別独立して設定可能であり、他の電子ペン1による制約を一切受けない。
ところで、前記のように、タッチ操作を行った指示物が電子ペン1と指Fとのいずれであるかを間違いなく判別することができるため、電子ペン1と指Fとに異なる機能を与えることで、様々な操作が可能になる。ここでは、電子ペン1及び指Fのタッチ操作で表示オブジェクトの編集(移動、回転、拡大及び縮小)を行う例について説明する。
図16は、図1に示した制御装置6の描画制御部17の概略構成を示す模式図である。制御装置6の描画制御部17は、前記のようにタッチ操作を行った指示物が電子ペン1と指Fとのいずれであるかを判別する指示物判別部(指示物判別手段)171と、電子ペン1によるタッチ操作に応じて所定のペン入力処理を行なう第1の制御部(第1の制御手段)172と、指Fのタッチ操作に応じて所定の指入力処理を行なう第2の制御部(第2の制御手段)173と、を備え、第1の制御部172のペン入力処理と第2の制御部173の指入力処理とを並行して実行させるようになっている。これにより、電子ペン1と指Fを機能分担させ、電子ペン1及び指Fの各々に予め設定された機能にしたがった処理を同時に並行して実行することができる。
既に説明したように、制御装置6は、パソコン及び周辺機器で構成され、描画制御部17の機能はアプリケーションプログラムを実行することで提供される。従ってここで「並行して実行」とは、OSのいわゆるマルチタスク処理による並列処理を意味する。
第1の制御部172は、電子ペン1によるタッチ操作及び当該電子ペン1に設定された属性に応じた描画処理を行なう。第2の制御部173は、表示オブジェクトに対して指Fのタッチ操作に応じた編集処理を行なう。なお、第1・第2の制御部172・173に、これとは異なる機能を与えることも可能である。
また、制御装置6の描画制御部17は、ユーザの指示に応じて、指Fによるタッチ操作を電子ペン1によるものとみなす指描画モードを有し、この指描画モードでは、標準的な属性で指Fによるタッチ操作に応じた描画処理を第1の制御部172に行わせるようにしている。これにより、電子ペン1の代用として指Fによるタッチ操作で描画を行うことができる。
ここで、指描画モードでは、指Fによるタッチ操作に応じた描画処理を標準的な属性で行うが、この標準的な属性として、例えば描画色に関しては黒とする。なお、指描画モードでは、第2の制御部173は動作を停止した状態となる。
図17・図18は、複数の指示物(電子ペン1や指F)を同時にタッチして表示オブジェクトを編集する共同操作の状況を示す模式図である。制御装置6の描画制御部17は、複数の指示物で表示オブジェクト上をタッチして表示オブジェクトを編集する際に、最初に表示オブジェクト上をタッチした第1の指示物のタッチ位置を操作起点とし、次に表示オブジェクト上をタッチした第2の指示物のタッチ位置を操作作用点として、第1の指示物の移動に伴う操作起点の絶対的な変位量と、第2の指示物の移動に伴う操作起点に対する操作作用点の相対的な変位量に応じて、表示オブジェクトの描画情報を生成して画面表示させる。
ここで、操作起点を設定する第1の指示物は電子ペン1とし、操作作用点を設定する第2の指示物は指Fとする。なお、第2の指示物は別の電子ペン1とすることも可能である。
図17に示す例は、回転モードで、操作起点を設定する電子ペン1の動きに応じて表示オブジェクトが平行移動され、操作作用点を設定する指Fの動きに応じて表示オブジェクトが回転されている。ここで、表示オブジェクトの回転は、操作起点、すなわち電子ペン1によるタッチ位置を中心点として行われる。
図18に示す例は、拡大・縮小モードで、操作起点を設定する電子ペン1の動きに応じて表示オブジェクトが平行移動され、操作作用点を設定する指Fの動きに応じて表示オブジェクトが拡大・縮小されている。ここで、電子ペン1と指Fとの相対的な距離が大きくなれば拡大となり、電子ペン1と指Fとの相対的な距離が小さくなれば縮小となる。
また、前記と同様に操作起点及び操作作用点を設定して、第2の指示物の移動に伴う操作起点に対する操作作用点の相対的な変位量に応じて、表示オブジェクトの描画情報を連続的に生成して画面表示させ、第2の指示物をタッチ面から離すと、表示オブジェクトの描画情報の生成を終了させるものとしてもよい。これにより、第2の指示物の動きに応じて表示オブジェクトの編集状況が逐次画面表示されるため、ユーザは表示オブジェクトの編集状況を見ながら操作を行うことができる。
図19は、図16に示した制御装置6での処理手順を示すフロー図である。ここでは、タッチ操作を行った指示物が電子ペン1及び指Fのいずれであるか、さらに手書きモードか否かに応じて、指操作(ST503)、指手書き動作(ST504)、ペン操作(ST509)、ペン手書き動作(ST510)の4つに分かれる。指手書き動作は、入力検出位置に、指用に予め設定された手書き属性(色・太さ・線種)に基づいて描画する。ペン手書き動作は、入力検出位置に、複数の電子ペン1ごとに予め設定された手書き属性(色・太さ・線種)に基づいて描画する。
指操作(ST503)、及びペン操作(ST509)において、電子ペン1と指Fが同一の表示オブジェクトに触れている場合には、共同操作(ST507、ST513)に進む。一方、電子ペン1と指Fが同一の表示オブジェクトに触れていない場合には、独立操作(ST506、ST512)に進む。
独立操作では、ペン入力及び指入力に応じてメニュー選択された動作モードに従って、表示オブジェクトを操作する。例えば、表示オブジェクトに対する回転、移動、拡大及び縮小の処理、表示オブジェクトの色の変更、表示オブジェクトの選択、メニュー表示など、アプリケーションの制御に関する操作が対象となる。
図20は、図19に示した電子ペン1と指Fの共同操作の処理手順を示すフロー図である。まず、電子ペン1の移動を検出すると(ST601)、表示オブジェクトを平行移動する処理が行われる(ST602)。そして、指Fの移動を検出すると(ST603)、指Fの移動方向及び移動量に応じたベクトル計算を行い(ST604)、電子ペン1のタッチ位置を支点として表示オブジェクトをベクトル値に基づいて回転・拡大・縮小の処理が行われる(ST605)
ところで、前記のように、複数の電子ペン1を異なる属性に設定して使い分けることができるため、複数の電子ペン1で別々に描かれた画像が重なり合う場合に、両画像の重複部分をどのように描画するかが問題となる。
図21・図22は、図1に示した複数の電子ペン1で線を描画する際の状況を示す模式図である。制御装置6の描画制御部(描画制御手段)17は、以前に描画された画像に重なり合うように新たな画像が描画される場合に、両画像の重複部分を予め指定された描画規則に基づいて描画する。電子ペン1は、描画規則をユーザに指定させる操作スイッチ(描画規則指定手段)44を備え、この操作スイッチで指定された描画規則に関する情報を制御装置6に送信する。
なお、描画規則を、表示装置5によりタッチ面2上に表示されるメニューで選択指定するようにしてもよい。
図21に示すように、描画規則は、以前に第1の描画条件で描画された画像と新たに第2の描画条件で描画される画像との重複部分を、新たな画像の描画条件である第2の描画条件にしたがって描画する上書き処理に関するものである。図示する例では、描画条件を描画色としている。
上書き処理を行う旨が指定されている場合には、図21(A)に示すように、以前に描画された画像と新たに描画される画像との重複部分が、新たに描画される画像の色に置き換えられる。すなわち、第1の重複部分では、元の青色が黄色に置き換えられ、第2の重複部分では、元の黄色が青色に置き換えられる。一方、上書き処理を行わない旨が指定されている場合には、図21(B)に示すように、以前に描画された画像と新たに描画される画像との重複部分が、元の色のままで残される。
また、図22に示すように、描画規則は、第1の描画条件で以前に描画された画像と第2の描画条件で新たに描画される画像とが重なり合う部分を、両者の描画条件を指定の比率により変更した別の描画条件で描画する重ね合わせ処理に関するものである。図示する例では、描画条件を描画色としている。指定の比率による変更について、以下、平均化処理を行なう例を説明する。
重ね合わせ処理を行う旨が指定されている場合には、図22(A)に示すように、以前に描画された画像と新たに描画される画像との重複部分が、両者の描画色を平均化した混合色に置き換えられる。一方、重ね合わせ処理を行わない旨が指定されている場合には、図22(B)に示すように、新たに描画される画像の色に置き換えられる。これは図21(A)の上書き処理と同じである。
さらにここでは、後から描かれた画像が強調されるように色の混合比率を設定してもよい。すなわち、以前に描画された画像の第1の描画色と、新たに描画される画像の第2の描画色に対して、重み付け係数による加重平均を行って混合色を算出する。
第1の重複部分では、先に青色の電子ペン1で描かれた青色の線と、後から黄色の電子ペン1で描かれた黄色の線とが重なり合い、後から描かれた黄色が強調されるように、両方の色の混合比率(黄色:青色)を6:4とした黄緑色に置き換えられる。また、第2の重複部分では、先に黄色の電子ペン1で描かれた黄色の線と、後から青色の電子ペン1で描かれた青色の線とが重なり合い、後から描かれた青色が強調されるように、両方の色の混合比率(青色:黄色)を6:4とした青緑色に置き換えられる。
これにより、描画色の異なる別の電子ペン1で2つの線が描かれたことをユーザが容易に認識することができる。さらに、重複部分の色を時間的な先後関係に応じて変更することで、互いに交差する2本の線のいずれが後から描画されたかをユーザが容易に認識することができる。
なお、2色の混合比を、線の太さの割合に比例して設定するようにしてもよい。また、2つの線が交差して混合色に変化した部分にさらに別の線が交差する場合には、その交差部分を、元の混合色と新たな色とを混合した混合色に変更し、このような色変更を、線が交差する度に行うようにしてもよい。さらに、電子ペン1をイレーサーモードとした場合は、通常、後から描かれた領域が消去されるが、種々の消去モードを指定することができるようにする、例えば消去率を選択することで、後から描かれた領域の濃度を薄くすることや、消去模様を選択することで、消去模様によって部分的に消去させることもできる。
また、表示オブジェクトの画像編集を行う際に、複数の電子ペン1で1つの表示オブジェクトを同時にタッチした場合に、特殊な機能を割り当てるようにしてもよい。例えば、制御装置6が、複数の電子ペン1による同時タッチを検知すると、表示オブジェクトの画像処理(ハイライト、強調、色変換など)を行うようにする。また、制御装置6が、複数の電子ペン1による同時タッチを検知すると、それらの電子ペン1の属性(例えば描画色)をランダムに変更するようにする。これにより、表示オブジェクトにユーザが予期しない変化(インタラクション)が起こり、ブレーンストーミングやデザインの検討でアイデアのヒントやトリガになる効果が得られる。