JP4244614B2 - 手書き入力装置、プログラムおよび手書き入力方法システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、手書き文字・図形情報を電子データに変換する手段を有する電子ペン、および情報処理装置における情報入力方法に関し、特に筆記した文字情報に対する削除・追加・置換・強調等の電子データへの反映の方法および装置に関する。
【０００２】
【従来の技術】
計算機への情報入力手段としては、キーボードやマウスによる文字や図形の入力が一般的である。しかし、人間にとってより自然な「書く」という行為により、情報を入力する手段が求められている。こうした要求に対して、電子的なペンを利用して筆記し、ペンの軌跡を取得して、計算機上で文字や図形を再構築することにより情報を入力する手段が実現されている。
【０００３】
人間が筆記した文字や図形を電子化し、計算機に入力するための手段として、例えば、タブレットと呼ばれる感圧式デバイスとその上に圧力を加えるためのスタイラスと呼ばれるペンの形状をした器具を用い、スタイラスにより感圧式デバイス上で筆記を行うことにより、その上でのスタイラスの軌跡を電気信号に変換し、文字や図形として計算機に入力する方法があり、PCやワークステーション、PDA（Personal Digital Assistant）製品向けの文字・図形入力手段として実用化されている。
人間が筆記した文字や図形を計算機に入力するための別の手段として、赤外光の反射光を取得するカメラデバイスを備えた電子的なペンと、そのペンの紙上での位置を一意に特定できるドットパタンを印刷した紙とを用いて、当該カメラデバイスによりドットパタンを撮影し、筆記した際のペンの動きを紙上での位置、すなわち座標の系列として生成し、これから文字や図形として計算機に入力する方法がある（例えば、特許文献１参照）。これらの手段により、筆記面上の位置検出機能を備えた電子ペン、およびタブレット等の感圧式入力デバイスを用いた手書き情報入力、あるいは電子ペンと位置検出用の特殊な模様が印刷された用紙を用いた手書き入力において、電子ペンあるいは感圧式デバイスは、（1）タブレットや紙上における位置や、（2）電子ペンあるいはタブレット表面上にかかる筆圧をある一定時間間隔毎に採取し、これら位置、筆圧情報を時間順に出力、あるいは時間情報とともに出力する。これら（1）（2）の情報からペンの軌跡を再現することにより、人間がタブレットあるいは紙の上に「書いた」文字や図形を、その構造や形状の情報を計算機上に生成することが可能となる。つまり、人間が書いた文字はコード化されて計算機上に保持されるのではなく、図形情報として保持される。
人間が入力した文字情報を計算機上で保持する形態としては、計算機上でのデータベース検索といったその後の処理を考慮すると、ペンの軌跡情報としての文字から、文字コードへと変換して計算機上で保持する方が、計算機上での処理との親和性が増す。この軌跡情報、すなわち図形としての文字から文字コードへの変換には、文字認識処理が用いられる。具体的には、ある時間単位でサンプリングしたペンの軌跡位置情報の系列を入力とし、このペンの軌跡位置情報とあらかじめ文字毎に登録してある位置情報のテンプレートとを比較して、最も整合性の高いテンプレートのラベルを入力位置情報の系列、すなわち文字に対する認識結果とする手法が一般的に知られている。
ここまで述べた手段を用いることにより、人間が筆記した文字情報を、図形として電子化して計算機上に入力する、あるいはコード化してテキストデータとして計算機上に入力する機能を実現することができる。
【０００４】
上記スタイラスとタブレットのような感圧式デバイスを用いた手書き入力手段により、文字や図形を計算機に入力する状況として、例えばPDA上で動作するスケジュール管理ソフトウェアがある。PDAの使用者に新たな予定を割当てる場合や、すでに登録されていた予定に変更が生じた場合に、PDAに対してスタイラスを用いてその筆記面上に、時間、行き先、面会者といった情報を表す文字列を記述する。
また上記電子的ペンと位置検出のためのドットパタンが印刷された紙を用いた手書き入力手段により、文字や図形を計算機に入力する状況として、例えば市役所の窓口での電子申請がある。市役所において住民票交付の申請を行う際、用意された申請書に、申請者が氏名、日付、住所、目的などの文字列を記述する。記入済みの申請用紙を窓口に提出するとともに、筆記情報を電子ペンにより計算機に転送し、市役所の業務システムへの入力とする。
さらに、互いに離れた相手に対して、互いの位置する場所を知らせるために、紙に地図や通信文を記述し、これを電子化して携帯電話等の手段により相手に送付する場合も想定される。
いずれの場合も、筆記行為中のスタイラスや電子ペンの軌跡のすべてが位置情報として記録されるため、筆記者が筆記した文字や図形はすべて筆記した状態で計算機に入力される。すなわち、筆記の途中で文字を間違えた場合には、書き誤った文字が電子化され計算機上に保持されてしまう。
ここで上記場合に対し、タブレット上に文字を記載して、これを電子化する装置において、紙面上の削除したい文字を囲み線によって指定し、タブレット上に特別に用意されたボタンに触れることにより、上記囲み線の内側の文字が削除されるという方法（以降従来方法Aとする）がある（例えば、特許文献２：特開２００１−１４７７７９号公報参照）。
【特許文献１】
国開公開第００／７３９８１パンフレット
【特許文献２】
特開２００１−１４７７７９号公報
【非特許文献１】
森健一監修、社団法人電子情報通信学会編著 「パターン認識」 （1988年11月1日初版、発行所：社団法人電子情報通信学会）
【０００５】
【発明が解決しようとする課題】
しかし前記従来方法Aでは、削除したい文字列を囲み線で指定した後、タブレット上の特定の場所に用意された、削除ボタンに触れることにより文字の削除が行われる。しかし、削除処理の起動といった制御情報を筆記者が別途入力することとなる。一方で現状、筆記者が申請用紙上に記載している状況では、途中で記入内容の変更等を行う場合は、たとえば二重線を削除対象の単語に重ねて書いたり、強調する場合は囲み線で強調対象の文字列を囲んだりすることが一般的である。つまり従来方法Aは、筆記者に対して通常の筆記行為に加えて新たな作業を強いることとなる。これではたとえば窓口申請システムなど筆記者に事前教育しにくいシステムに対して適用しにくい問題があった。
また前記従来方法Aでは、削除のみを提供するものである。一般に申請書やスケジュールに記入をする際、書き誤った文字の削除のみではなく、新たな文字を追加して記入する場合もある。また記載した内容に対して補足するためにコメントや注釈という形で新たに文字を追加する場合もある。このような場合、従来方式Aは既記入の文字に対して囲み線を描画することにより削除などの処理の対象文字を指定するのみであった。これでは、追加記入した文字の抽出などはできないため、文字の追加に対応できない。また誤記入した場合に、その書き損じた文字を削除し、さらに正しい文字を記入するという置換を行う場合がある。さらに、すでに記述した文字に対して、下線を用いて強調をしたい場合がある。上記従来方法Aでは、こうした追加や置換、強調に対応できない問題があった。
さらに前記従来方法Aでは、削除対象のペン軌跡を検出する方法について明示されていないため、たとえば削除対象の文字と削除対象でない文字とが重なっていた場合には、削除領域を囲み線で指定することができない問題があった。従来方式Aは、印刷された文字を削除文字の対象としているため、文字接触などが起こり得る手書きの文字列を取り扱うことができない。
【０００６】
上述の問題を鑑みて、一般の紙とペンを用いた通常の筆記行為と同じ作業感覚で操作できる、タブレットあるいは電子ペンを用いた手書き入力手段を提供することを、本発明の第一の目的とする。これは、タブレットや電子ペンを利用した手書き入力方法において、記載した文字の変更を行う際に、ボタンを押下するといった特別な行動を筆記者に強いることなく、二重線や下線といった従来から紙へ記入する際に用いられてきた筆記行為を自動的に認識することにより、変更作業を開始する手段を提供することである。
【０００７】
また、記入内容に対して削除や追加、置換、強調の記入内容の変更ができ、それら変更作業の履歴を保存する手段を提供することを、本発明の第二の目的とする。筆記者が記入した手書き入力が、画像情報からコード情報に変換された後も、筆記者が記載した環境、すなわちタブレットや位置検出を可能とする模様が印刷された紙の上で、前記訂正、追加、強調を行うと、その結果がコード化された計算機上の情報に対しても反映・管理される。
さらに、記入内容変更の対象となる文字を高精度に検出するための手段を提供することを、本発明の第三の目的とする。
以上を整理すると、本発明の目的は、筆記者がタブレット、あるいは用紙上に記載した文字や図形に対して、その中から自動的に削除や追加、置換、強調などの計算機上での処理を制御するコマンドを自動的に検出し、当該処理を自動的に実行する手段を提供することである。
【０００８】
【課題を解決するための手段】
本願の開示する発明のうち代表的なものは以下の通りである。記入面上の記入位置情報と該情報取得時間情報を出力できるデジタルペンにネットワークを介して接続される手書き入力装置であって、制御手段と表示手段と記憶手段を具備し、記憶手段は複数の制御記号を記憶していて、上記制御手段が、上記デジタルペンから入手した記入位置情報から上記制御信号を抽出して、その種別を判定し、対応づけられて記憶される処理を実行するステップと、上記実行後の記入位置情報を用いて上記表示手段に上記記入面への記入を表示するステップとを制御するものであって、特に上記記入位置情報についての削除及び追記、変更等を含むもの。又、デジタルペンやサーバ等も含めたシステム。
【０００９】
さらに、デジタルペンから入手した情報から上記追記箇所指定記号を抽出し追記箇所と追記情報の開始及び終了の指定情報を検出して、上記開始指定情報の取得時間と上記終了指定情報の取得時間の間に取得された上記記入位置情報を追記情報として抽出し上記追記箇所前後の記入位置情報の間に上記追記情報と挿入して記入面への記載を再現する追記方法である。
【００１０】
【発明の実施の形態】
以下、本願の概要を説明する。
本願の実施には、筆記者が記入した文字に対する削除、追加、置換、強調の変更を電子化データに反映させるためには、筆記の際のスタイラスや電子ペンのタブレットや紙上での動きによって生成されるストロークが、通常の文字であるのか、あるいは記入内容の変更の対象であるのかを区別しなければならない。
【００１１】
さらに、タブレットあるいは電子ペンといった入力デバイスから処理装置へと転送されるペン軌跡の位置データ系列から、筆跡位置情報から一筆での筆記に相当するストロークデータ、およびストロークの集合である部分行データを構築する。前記制御コマンドのうち、削除、追加、置換、強調の開始と終了のコマンドにはさまれた部分行データが、それら変更の対象として区別することが可能となる。部分行データに対して、変更前、変更後の対象との区別を行うためのフラグと変更前と変更後の部分行データとの対応をとるポインタを用意する。このように変更の履歴を残すことにより、ディスプレイなど表示装置に変更後の文字だけを表示したり、変更前と変更後の文字の両方を表示したりすることを切り替えることができる。
【００１２】
筆記者が文字を書きながら、ボタンの押下など特別な処理をすることなく、削除、追加、置換、強調といった変更処理の開始、終端を自動的に検出し処理を起動する制御コマンドを検出するために、通常筆記者が紙の上に筆記する際に、削除や置換を行うために用いる二重線や塗りつぶし、追加を行うために用いる山型もしくは谷型記号や矢印記号、強調するために用いる囲み線や下線といった記号を変更処理の開始およびその対象となる文字を指定するための制御コマンドと対応付ける。また二重斜線や読点などを前記変更対象の文字列の終了を指定するための制御コマンドと対応付ける。あるいは連続して筆記されたストローク間の距離や筆記時間に関する情報から、自動的に上記終了の制御コマンドを生成することも可能である。
【００１３】
これら制御コマンドに対応する記号（これらを制御記号と呼ぶ）を検出するために、ストロークデータの系列からの文字行推定機能と、形状による制御記号の認識機能と、削除・追加・置換・強調の変更種類判別機能と変更対象文字推定機能と、変更部分行データ間対応付け機能を用意する。
ストロークデータ系列からの文字行推定機能とは、特開平11-96288に記されているように、横書きの場合、ストロークデータの縦方向の位置の均一性を保つようなストロークだけをひとつの行としてグループ化する機能である。これにより文字行の上端や下端の位置が推定できる。
【００１４】
形状による制御記号の認識機能および変更種類判別機能とは、連続するストロークの系列が、予め定められた制御記号かどうかをその形状から認識し、それがいずれの処理に対応する記号化を同定する。形状の認識を行う前に、前記文字行推定機能によって推定された文字行の上端や下端から逸脱したストロークに対しては、山型記号や下線である可能性があると判断する。また当該ストロークの位置にはすでに文字行の成分、つまり文字と判断されたストロークが存在すれば、二重線の可能性があると判断する。形状の認識には例えば文献“Handbook of Character Recognition and Document Image Analysis”、H.Bunke、 P.S.P.Wang、 World Scientific社、1997年に記されているような形状の輪郭線の方向を特徴量とする文字認識手法によって実現可能である。
【００１５】
変更対象文字推定機能は、上記制御記号認識機能において検出された制御記号が存在する位置に基づき、そこに存在する文字成分を変更処理の対象とみなす。例えば、置換の場合は二重線によって上書きされたストロークの集合からなる部分行データが構成され、これを置換前の文字列とする。制御記号の直後から後述する終了制御記号まで続くストロークが部分行データを構成し、これを置換後の文字列として扱う。これら置換前と置換後の部分行データの対応付けを変更部分行データ間対応付け機能によって行う。追加に対しても同様の手順で実現可能である。すなわち、制御記号認識機能により検出された山型記号の直後の位置に対して、山型記号に続いて筆記されたストロークが追加対象の部分行データを構成する。この部分行データに対して、山型記号の前後に位置した部分行データの間に新規に追加する部分行データを挿入する。
【００１６】
これによりタブレットあるいは紙上の特定の場所に設置されたボタンを押下することなく、削除・追加・置換・強調の変更処理を電子化データに反映し、その履歴を保存することが可能となる。
このように筆記者がタブレットや紙上に書いた文字や記号の一部を通常の文字や記号という意味の他に、筆記情報の電子化における特殊な制御コマンドとして解釈することにより、電子化処理あるいは電子化した後の計算機上での処理において、コマンドに対応した処理を実行することが可能となる。
またその際の変更対象文字の検出に関し、前記文字認識手法中で生成された文字切出し情報を利用し、二重線や囲み線などの制御記号が記入された場合、前記文字切出し情報とそれら制御記号との重なりの度合いを求め、変更対象文字の判定に利用することによって、高精度な検出を実現する。
【００１７】
本発明における手書き入力方法の実施形態の例として、市役所や通信販売などでの申請書類の電子データ化について述べる。ここでの手書き入力用のデバイスとしては、タブレットとスタイラス、あるいは位置検出用の模様の印刷された紙と筆記の際にこの模様の画像を取得するためのカメラデバイスを装着した電子ペンなどが知られている。ここでは後者の位置検出用の印刷を有する紙と電子ペンを例に説明する。このような入力デバイスの例として、国開公開第01/71473パンフレットが知られている。
本実施形態の装置構成を図13に示す。記入者が使用するものは、電子ペン1301と紙1302である。電子ペンは、通信装置1304を介して文字入力端末1305と通信する。この電子ペンと通信装置間の通信手段としては、Bluetoothや赤外線などの無線通信手段、USBやIEEE1394などの有線通信手段が利用可能である。この文字入力端末はネットワーク1303を介して筆記位置検出装置1306、文字認識装置１３０７と通信する。ネットワークの形態はインターネットやLANなど種々の形態が適用可能である。また文字入力端末や筆記位置検出装置、文字認識装置のいずれかの組合せを１装置で実現しても構わない。以上の構成が本実施形態の装置構成である。筆記位置検出装置1306は記憶手段に上記ペンのＩＤコードと上記記入面のＩＤコードを記憶し、上記ペンからの情報に基づいてペンと記入面を特定し、該記入面の情報を上記計算機に転送する。
【００１８】
次に上記電子ペンによる位置検出原理を述べる。本原理は国開公開第00/73983パンフレットにより明らかにされている。図1を用いて当該電子ペンによる位置検出の原理を説明する。101は電子ペンであり、102は紙上に印刷された位置検出用の模様の画像を取得するカメラデバイスである。紙103の上には小さなドット104が非均質に散りばめられて印刷されている。このドットは仮想的な格子線105における交点からある距離だけ上下左右の何れかにずらされて印刷されており、このドットを同時に複数個、例えば10×10の範囲で参照し、これら100個のドットの上下左右のずれの値の組み合わせが、広大な平面領域の絶対位置情報を与える仕組みとなっている。つまり電子ペンに備え付けられたカメラ102により上記複数のドットパタンを含む範囲の画像を一定の時間間隔で採取することにより、上記ずれの組み合わせの空間上での位置を特定することが可能となる。
【００１９】
実際には上記ずれの組み合わせの空間上での絶対的な位置を求めるよりも、それぞれの紙における相対位置を用いるのが実用的である。そのための変換を行うための筆記位置検出装置が存在する。これは予めある紙の位置が上記ずれの組み合わせの全空間内でのどの部分を占めるかという情報を保持しており、上記空間内の絶対位置を入力とし、ある紙の上の相対的な位置を出力とする。本装置を含めた電子ペンによる紙上位置情報生成のための装置構成の例を図2（a）に、そこでの情報の流れを図2（b）に示す。これについては国開公開第01/48678パンフレットに記述されている。
電子ペン201と文字入力端末203との間は通信装置202を介して無線通信によって接続されている。電子ペンから出力された上記絶対位置のデータは有線あるいは無線のネットワーク204を介して筆記位置検出装置205に入力され、ここで当該紙を基準とした相対的な位置の表現に変換され、文字入力端末に出力される。なお、筆記位置検出装置が文字入力端末上で実装されていても構わない。
上記構成をとる手書き入力装置による、市役所等に於ける申請用紙に記載した情報の電子化について述べる。
【００２０】
現在、市役所などにおいて申請手続きを行う場合は、通常ロビーに設置された各種申請用紙の記入台にて、申請者が当該申請用紙に筆記用具を用いて必要事項を記入していく。記入が済むと申請用紙を窓口に持参し、係員に提出する。係員は申請用紙に記載された情報をもとに所定の業務を行う。このとき、記載内容を電子化する場合は、キーボードをタイプすることにより入力するか、あるいはOCR（光学的文字読取装置）を用いて申請用紙全体の画像を採取し、そこに含まれる文字を認識することにより行っている。
【００２１】
本発明における手書き入力方法を申請書の電子化業務に適用する場合、申請用紙を前述の位置検出のためのドットを印刷した紙で作成し、筆記用具として電子ペンを使用する。すなわち、図3において、電子ペン301と前記ドットを印刷した申請用紙302が記入台に設置され、申請者は電子ペン301を用いて申請用紙302に必要事項を記載する。申請者が電子ペンで記入をしている間に、申請紙上での電子ペンの軌跡が位置情報の系列として電子ペン内に蓄積される。記入が完了した時点で所定の方法で窓口内部にある手書き入力端末303に送信される。手書き入力端末における表示部では、前述したように、電子ペンからのデータに基づき、申請用紙上のドットのずれの組み合わせ空間における絶対位置情報から、申請用紙上の相対位置情報に変換処理が行われ、その結果、申請者が筆記した文字や図形が手書き入力端末における表示画面上に表示される。
手書き入力端末303にて受信した文字や図形の情報、すなわちストロークデータの集合に対して文字認識処理を適用し、コード化した上で手書き入力端末内に記憶することができる。これにより、次なる業務処理、例えばデータベースへの問い合わせや申請受理処理への入力が可能となる。その文字認識処理について説明する（図5）。
【００２２】
最初に、時系列筆跡位置情報を入力し、ストロークデータを作成する（ステップ501）。その後ストロークデータから文字行を推定し、文字行仮説を作成する（ステップ502）。各文字行仮説において文字切出し504を実行することにより、文字行仮説内のストロークデータを、各文字を構成するストロークの部分集合に分割する。その分割されたストロークの集合を文字パターンとよぶ。各文字パターンに対し、文字識別506を実行し、文字識別結果を得る。最後に各文字パターンの文字識別結果から、記載された文字列として意味をなす文字列であるかどうかの照合を行い（ステップ507）、その結果を出力する（ステップ508）。
ストロークデータの記憶方法の例を図15に示す。全ストロークデータは、全行情報1502、行成分情報1503、ストローク情報1504、位置情報1505の4テーブルにより階層的に管理される。全行情報は、図5のステップ502で作成された各行を管理するテーブルであり、各行情報へのリンクが張られている。本記入例では1行であるため、行情報は１つのみである。次に行成分情報1503は、行を構成する要素（行成分）の情報を管理するテーブルであり、ストローク数、ストローク先頭へのリンク、行成分の属性、文字認識結果の文字コード、次の行成分へのリンクを管理する。属性には、Visible（通常成分）、Command（制御記号成分）、Delete（削除対象成分）、Emphatic（強調対象成分）などがある。ストローク先頭で、その行成分を構成するストロークへのリンクが張られている。本記入例では、ストローク情報1504のNo.1〜3のストロークが行情報1503の該当ストロークである。各ストロークにおいて、ストロークを構成する標本点へのリンクを位置データとして管理しており、位置情報1505を参照できるようになっている。またストロークの属性には、Normal（通常）、Command(制御記号)がある。以上が本実施例におけるストロークの記憶方法である。
【００２３】
ここで、本発明により実現可能となる、記入内容の（a）削除、（b）追加、（c）置換、（d）強調、の各変更処理について説明する。最初に本実施例で利用する制御文字を示す（図7）。これら制御記号は、一般の紙とペンを用いた文書推敲などで用いられるものと同じものである。
尚、図７に示す記号は例示であって、その他、ユーザが独自に規定できるようにしても良い。その場合は、制御記号の形状と対応する動作の組の形で、文字認識装置の記憶手段に登録する。又、たとえば電子ペンにボタンを設けておいて、そのＯＮ／ＯＦＦの情報を用いるものであってもかまない。
削除制御記号として、701に示した多重線（１本線も含む）や、塗りつぶし702を利用する。また追加制御記号として、山型（谷型）記号703や矢印記号704を利用する。矢印記号は行をまたいで記入しても良い。強調記号としては、囲み枠705、下線705を利用するものとする。
つぎに、記入内容の（a）削除、（b）追加、（c）置換、（d）強調、の各変更処理の概要について図4を用いて説明する。
【００２４】
まず記入内容の削除については、図4（a）に示したように、たとえば申請用紙に誤記入した文字「町」に対して、申請者が書き間違いに気づくと、申請用紙上で「町」の削除を意味する二重線403で重ね書きする。その後所定の手続きにより電子ペン401から筆記情報を手書き入力端末404に転送すると、手書き入力端末の表示画面上には削除後の文字情報が表示される。このとき削除前の情報も手書き入力端末の内部に保持してあり、必要に応じて削除前の文字列を表示することも可能である。
次に新規文字列の追加について図4（b）を用いて述べる。申請用紙に記載した文字「千代田区神田」に対して、「神田」の後に「南町」という文字列を追加したい場合、申請用紙上で「神田」の末尾の上部にレ点記号405を筆記し、その付近に「南町」406という文字を書く。所定の手続きにて電子ペン内の筆記情報を手書き入力端末に転送すると、手書き入力端末の表示画面上には、追加後の文字画像407が表示される。レ点を含めて申請用紙に記入したそのままを表示することも可能である。
置換については図4（ｃ）に示したように、申請用紙に記載したある文字、例えば「33年」という文字を申請者が書き間違えたと気づくと、申請用紙上で「33年」の部分を二重線408で重ね書きし、そのあとに正しい「44年」409という文字列を筆記する。所定の手続きにより電子ペンから筆記情報を手書き入力端末に転送すると、手書き入力端末の表示画面上には置換後の文字画像410が置換されて表示される。このとき置換前の情報も手書き入力端末の内部に保持してあり、必要に応じて置換前後の文字列を同時に表示することも可能とする。たとえば図14に示すとおり、置換前（図14 (a)）、置換前＋後（図14 (ｂ)）、置換後（図14 (c)）の表示ができる。
【００２５】
記入済み文字列に対する強調について図4（ｄ）を用いて述べる。申請用紙に記載した文字列、例えば「千代田区」を強調したい場合、申請用紙上で「千代田区」を包含するように囲み線411を記入する。所定の手続きにて電子ペン内の筆記情報を手書き入力端末に転送すると、「千代田区」の部分が強調表示、例えばハイライト表示412される。
次に、手書き入力に対する上記のような削除、追加、置換、強調を実現する具体的処理手順について述べる（図6）。最初に、時系列筆跡位置情報を入力し、ストロークデータを作成する（ステップ601）。その後ストロークデータから文字行を推定し、文字行仮説を作成する（ステップ602）。各文字行仮説において文字切出し604を実行することにより、文字行仮説内のストロークデータを、各文字を構成するストロークの集合からなる文字パターンに分割する。
【００２６】
各文字パターンに対し、まず制御記号検出606を行う。本ステップでは文字認識装置の記憶手段に登録された制御記号の形状を使用する。先で述べたように本記憶手段には、各制御記号の形状とそれに対応する動作との組で登録されているため、制御記号が検出された場合には、それに対応する動作が取得できるようになっている。
制御記号検出において、制御記号が検出された場合、まずその制御記号が強調を表すものであれば、強調の対象の文字を抽出（ステップ609）し、文字強調610を実行する。
また、検出された制御記号が削除を表すものであったならば、削除対象の文字を抽出（ステップ612）し、文字削除613を実行する。
その後、検出された制御文字が追加もしくは削除を表す記号であった場合は、ステップ615以下の文字追加の処理を実行する。ここで、追加の制御記号だけでなく削除制御記号も文字追加の起動条件としているのは、文字置換処理に対応するためである。すなわち、文字置換の場合は、二重線など削除制御記号の記入後すぐに追加文字を記入することになるためであり、文字置換処理を、文字削除処理＋文字追加処理とみなすことができるためである。
【００２７】
文字追加処理では、まず追加制御記号位置から追加位置を決定し（ステップ615）、追加文字パターンを抽出（ステップ616）する。このステップ616の詳細については後で説明する。その後、各追加文字を文字識別し（ステップ617）、文字追加618を実行する。ちなみに、文字置換の場合は、削除制御記号の位置が文字追加の位置を与えることとなる。
一方、制御記号検出605において制御記号が検出されなかった場合は、その文字パターンを文字識別619し文字識別結果を得る。最後に各文字パターンの文字識別結果から、記載された文字列として意味をなす文字列であるかどうかの照合を行い（ステップ620）、その結果を出力する（ステップ621）。
前記削除対象文字や強調対象文字の検出処理は、基本的にどちらも同じ手法で実現できる。ここでは二重線で削除文字を指定した場合についての、文字外接矩形の中心点に着目した削除対象文字抽出方法の一例について説明する（図9、図10）。まず901を入力し、文字行抽出、文字切出しを実行し、902に示す文字パターンが得られたとする。この各文字パターンに対し文字識別を実行し文字識別結果を得、「春はあけぼの」という文字列を得ているとする。ここで筆記者が削除制御記号の二重線905を記入したとする。ここで本発明手法では、削除対象文字の抽出処理が実行される。まず各文字パターンに対し、中心点909を求める（ステップ1002）。得られた中心点の集合から最小２乗法などで直線近似し文字列の軸910を計算する（ステップ1003）。この文字列軸910に対し二重線（905）の両端点から垂線（907、 908）をおろすことにより削除文字領域の両端を決定する（ステップ1004）。ここで各文字パターンに対し、その中心点が削除文字領域内に含まれているならば、その文字パターンは削除対象文字として登録する（ステップ1007）。最後に削除対象文字を出力（1008）する。このようにして削除対象文字を抽出する。
【００２８】
なお、本実施例での変更対象文字の検出では、文字パターン外接矩形の中心を用いたが、その代わりに、たとえば文字を構成する黒画素の中心や、文字パターン外接矩形が前記削除文字領域に重なる部分の面積比などを利用してもよい。
追加文字を記入する形態には、図11に示す主に４形態が考えられる。各形態における追加文字パターン抽出処理（図6のステップ616）の流れについて以下説明する。
まず第１の形態（a）では、紙面上に追加文字用の特別なフィールドを設け、それを利用するものである。専用フィールドなので追加文字パターンの抽出は容易であるが、その分筆記者にこの特別な記入方法を強いることになる。
第２の形態（b）では追加文字を囲み線で指定するタイプである。追加文字パターンの抽出は前述の強調対象文字の検出方法と同様の方法が利用できる。
第３の形態（c）は、追加文字の終わりに、二重斜線など終端記号を記すものである。追加文字の開始位置は、山型記号や矢印記号など追加制御記号の位置および記入時間情報から検出する。よって追加文字の開始・終了位置が検出でき、追加文字パターンの抽出が可能となる。
第４の形態（d）は、追加文字の終わりに特に何も記入しないタイプである。この場合、追加文字の終端を与える情報として改行が利用できるため、追加文字パターンの抽出が可能である。この形態の場合、追加制御記号と追加文字以外のものは記入しなくてもよく、通常の紙上での校正にもっとも近いことから、追加文字パターン抽出処理（図6のステップ616）は最低限でも本形態に対応しておくことが望ましい。この第4の形態（d）に対応した、追加文字パターン抽出処理フローの一例を図12に示す。
【００２９】
ここで、強調処理の拡張について考える。具体的には強調制御記号を記入する際、筆記者が希望する強調のタイプを追記する方式について示す。図8に示したように、たとえば括弧書きで希望する強調のタイプを直接記入すれば、それを解釈することにより、より多くのバリエーションを持った強調処理が可能となる。具体的に処理手順としては、図6の制御記号あり文字認識処理フローにおいて、ステップ609の強調対象文字抽出の前に、強調タイプを表す文字パターンの抽出処理とその文字識別処理、そしてその文字識別結果から強調タイプを照合する、強調タイプ照合処理を実行すればよい。または、強調制御記号を使い分けることによって強調のタイプを指定しても良い。
以上の記入内容の変更処理を実行した場合のストロークデータの記憶方法について説明する。たとえば削除時について、削除処理前の図16と削除処理後の図17を用いて説明する。削除処理前（図16）において、行成分は１個で属性はVisible（通常成分）となっている。先に説明した記入内容の変更処理（図6）を実行した後は、削除の制御記号である二重線を認識したため、データ構造が図17のように変化する。すなわち図16の行成分情報1603が、文字を構成する行成分1703、削除制御記号の行成分1704に二分される。前者は削除対象のため属性がDeleteとなり、後者は制御記号であるためCommandとなる。さらに置換時においては（図18）、置換に伴う属性Correctを有す新しい行成分1806が追加される構造となる。このような記憶方法により、変更処理前と後でのストロークデータを包括的に取り扱うことが可能であり、図14に示すような多様な表示形態が可能となる。
【００３０】
また本実施例の装置構成において、筆記者と手書き入力端末（図3の303など）とが離れて配置される可能性がある。この場合、筆記者は自分の記入内容変更結果を確認することができない問題がある。そのために、たとえば申請記入台上に手書き入力端末の表示部と同じの表示するディスプレイを設置したり、ペンに変更中を意味するランプを設け二重線など制御記号を認識すると点灯し、その制御記号によって実行された処理が正常終了すると、消灯やペン自身がバイブレーションして筆記者に通知したりする手段を設けることが、好ましい。この場合、文字認識装置から電子ペンへ信号を伝える必要があるため、図13における電子ペン1301と通信装置1304との間の通信が双方向でなければならない。
【００３１】
またセキュリティの観点から、タブレットや電子ペンを用いた手書き入力手段を市役所等での申請書提出システムに応用した場合、申請者が受益者本人であること、あるいは申請者が本人であることを確認した上で、申請書の提出を受理する必要がある。すなわち、本人の記載でないなど、申請書を受理すべきではないと判断される場合は、申請者が筆記した文字情報を電子化したデータを、市役所内部の業務システムへ入力するのをやめなければならない。この実現のための一手法としては、筆記者の署名などの個人特徴を特定できる性質をもつ文字列に対して、その文字列を電子化し本人認証することにより、筆記者が記入した文字列、あるいは筆記者が記入した文字列によって表現される要求の有効性を判断する手法がある。これにより、たとえば紙上の特定の位置に記載した筆記者本人の氏名に対して、予め登録されている署名との照合を行い、本人と同定されれば、筆記情報の電子化を行う、あるいは計算機上でのデータベースへの問合せ処理を実行するといった処理を行い、本人と同定されなければ、筆記情報の電子化を中止する、あるいは計算機上でのデータベースへの問合せを許可しないといったように処理を区別することが可能となる。氏名の文字列が本人による署名か否かの照合手法としては、特開平7-302340による手法などが利用できる。
【００３２】
【発明の効果】
以上述べてきたように、本発明によれば、タブレットや電子ペンによる記入手段において、一般の紙とペンを用いた通常の筆記行為と同じ作業感覚で、記入文字の削除や追加、置換、強調などの記入内容変更に関する計算機上での処理を自動的に実行することが可能となる。
【図面の簡単な説明】
【図１】電子ペンによる位置検出の原理の説明。
【図２】電子ペンによる紙上の位置検出のための装置の例。
【図３】電子ペンによる申請用紙記載内容電子化の概要。
【図４】手書き入力方法における削除・追加・変更・強調処理の概要。
【図５】文字認識処理フロー。
【図６】制御記号あり文字認識処理フロー。
【図７】制御記号の例。
【図８】強調制御記号の拡張例。
【図９】削除対象文字抽出処理の一例。
【図１０】削除対象文字抽出処理フローの一例。
【図１１】追加文字の記入形態の例。
【図１２】追加文字パターン抽出処理フローの一例。
【図１３】本実施例における装置構成。
【図１４】置換処理時における画面表示例。
【図１５】ストロークデータ構造の例。
【図１６】削除処理前のストロークデータ構造の例。
【図１７】削除処理後のストロークデータ構造の例。
【図１８】置換処理後のストロークデータ構造の例。
【符号の説明】
１０１，２０１、３０１、４０１，１３０１ 電子ペン
１０２ カメラデバイス
３０２、４０２、１３０２、１４０１ 紙
３０３ 手書き入力端末。

Claims (5)

1. 記入面上の記入位置情報と該情報取得時間情報を出力できるデジタルペンに接続される手書き入力装置であって、
   上記手書き入力装置は制御手段と表示手段と記憶手段を有し、
   上記記憶手段は、上記記入面上に記入された文字列の情報および複数の制御記号を記憶し、
   上記制御手段は、
   上記デジタルペンから入手した記入位置情報から上記制御信号を抽出するステップと、
   上記制御信号の種別を判定し、対応づけられて記憶される処理を実行するステップと、
   上記実行後の記入位置情報を用いて上記表示手段に上記記入面への記入を表示するステップとを制御し、
   上記記憶される処理は、上記記入面上に記入された文字列に対する置換及び追記を含み、
   前記実行される処理において、置換または追記により新たに追加記入される対象を記入時間情報を用いて特定するステップを有し、
   該記入時間情報を用いて特定するステップでは、上記制御信号と、追記箇所と、追記情報の開始及び終了の指定情報と、時刻情報とを抽出し、当該追記情報の開始の指定情報の取得時間と、当該追記情報の終了の指定情報の取得時間との間で取得される上記記入位置情報を、置換または追記により新たに追加記入される対象として特定することを特徴とする手書き入力装置。
2. 記入面上の記入位置情報と該情報取得時間情報を出力できるデジタルペンに接続される手書き入力装置であって、
   上記手書き入力装置は制御手段と表示手段と記憶手段を有し、
   上記記憶手段は、上記記入面上に手書きで記入された文字列の情報および複数の制御記号を記憶し、
   上記制御手段は、
   上記デジタルペンから入手した記入位置情報から上記制御信号を抽出するステップと、
   上記制御信号の種別を判定し、対応づけられて記憶される処理を実行するステップと、
   上記実行後の記入位置情報を用いて上記表示手段に上記記入面への記入情報を表示するステップとを制御し、
   上記記憶される処理は、上記記入面上に記入された文字列に対する削除及び置換を含み、
   前記実行される処理において、上記記入された文字列のうち削除または置換のために削除される対象文字を、該文字列の文字の文字パターン外接矩形または黒画素と上記制御記号との位置関係とを用いて特定し、上記制御記号が種別判定により置換と判定された場合には、更に、置換により新たに追加記入される対象を記入時間情報を用いて特定し、当該記入時間情報による特定では、上記制御信号と、追記箇所と、追記情報の開始及び終了の指定情報と、時刻情報とを抽出し、当該追記情報の開始の指定情報の取得時間と、当該追記情報の終了の指定情報の取得時間との間で取得される上記記入位置情報を、置換により新たに追加記入される対象として特定することを特徴とする手書き入力装置。
3. 上記制御手段はさらに、
   上記デジタルペンから入手した記入位置情報から記入面への記載の軌跡情報を取得ステップと、
   該軌跡情報から文字行を抽出するステップと、
   上記文字行から文字パターンの切り出しを行うステップとを制御することを特徴とする請求項１に記載の手書き入力装置。
4. 上記削除を指定する上記制御記号から削除対象領域を推定し、当該領域と上記文字パターンとの重なり具合から上記削除処理の対象が決定されることを特徴とする請求項２または３記載の手書き入力装置。
5. 上記制御部はさらに、
   上記文字パターンの文字識別を行うステップも制御することを特徴とする請求項３又は４に記載の手書き入力装置。

Images