JP2007317022A - 手書文字処理装置及び手書文字処理方法 - Google Patents

Abstract

【課題】手書文字が含まれる文書ファイル等の検索に有効な手書文字処理装置及び手書文字処理方法を提供する。
【解決手段】検索部３６は、検索対象として文字又は文字列が座標入力部２１に入力された場合に、当該文字又は文字列に基づいて、文書ファイル記憶部３４に記憶されているテキストコード及び／又は手書軌跡記憶部３５に記憶されている手書軌跡座標データの検索を実行する。そして、所望の文書ファイルを見つけ出す。この検索に当たり、検索部３６は、認識結果選別部３３によって認識可能文字と判断されたものについてはテキストコードに基づいてテキスト文字を検索し、認識不能文字と判断されたものについてはその軌跡に基づいて認識不能文字を検索する。
【選択図】図３

Description

本発明は、手書きで書かれた軌跡が記録される文書ファイル等の処理に好適な手書文字処理装置及び手書文字処理方法に関するものである。

従来、手書入力文字を検索する装置が特許文献１及び２等に開示されている。

特許文献１に記載された装置には、ストロークデータを入力する手段と、前記入力された複数のストロークから検索の対象となるキーストロークを判別して設定する検索ストローク設定手段と、が設けられている。更に、入力ストロークによりキーストロークを検索して該検索キーストロークにより記憶手段に記憶された複数のグループ情報から検索されたキーストロークを含むグループ情報を特定する検索手段等が設けられている。

特許文献２に記載された装置には、文書中の記号等を辞書登録されている文字パターン情報との類似度により文字認識する際に、本来ならばリジェクトされる類似度の低い記号等に対して得られる複数の文字コードを認識結果として記憶する手段が設けられている。

特開平９−９１４２４号公報 特開平８−６９４５５号公報

しかしながら、特許文献１に記載された検索装置では、検索キーとなるキーストロークを、入力されている軌跡ストロークのデータの中から検索ストローク設定手段により設定することにより決めている。このため、文書ファイル内のあるストロークをキーストロークとして設定する場合は、その都度、この設定操作を行わなければならない。また、このような設定を行っていないストロークは検索対象とならないため、事前に検索キーとして有効なストロークを設定する必要があり、ユーザにとっては使い勝手がよいとは言い難い。

また、特許文献２に記載された検索装置では、辞書データとの類似度が低いパターンに対する認識を行っているので、この結果が毎回同じものとなることは期待できない。また、辞書パターンと記号等の形状との類似性によっては、異なる記号等の間でも、結果の複数の文字コードが同一となる組み合わせも考えられる。従って、実用的な検索結果を期待できない。

更に、従来の検索装置では、手書軌跡に固有な情報（例えば、大きさ、入力時の筆圧等が）を考慮した検索を行うことができない。

そこで、本発明は、手書文字が含まれる文書ファイル等の検索に有効な手書文字処理装置及び手書文字処理方法を提供することを目的とする。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る第１の手書文字処理装置は、手書文字を入力する手書文字入力手段と、複数の文字について、その形状を記憶した辞書と、前記手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字と当該対応文字との類似度を判断する手書文字認識手段と、前記類似度が予め定められている基準値よりも低い場合、当該手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手段と、前記文字コードを、前記認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶する記憶手段と、を有することを特徴とする。

本発明に係る第２の手書文字処理装置は、文字列毎に、当該文字列を構成する文字の文字コードを、認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶した記憶手段と、検索用の手書文字を入力する検索用手書文字入力手段と、複数の文字について、その形状を記憶した辞書と、前記検索用手書文字入力手段に入力された検索用の手書文字と前記辞書に記憶された文字の形状とを比較し、当該検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該検索用の手書文字と当該対応文字との類似度を判断する手書文字認識手段と、前記類似度が予め定められている基準値よりも低い場合、当該検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手段と、前記選別手段により付与された文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索手段と、を有し、前記検索手段は、前記選別手段により付与された前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とする。

本発明に係る第３の手書文字処理装置は、手書文字を入力する手書文字入力手段と、検索用の手書文字を入力する検索用手書文字入力手段と、複数の文字について、その形状を記憶した辞書と、前記手書文字入力手段又は検索用手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字又は検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字又は検索用の手書文字と当該対応文字との類似度を判断する手書文字認識手段と、前記類似度が予め定められている基準値よりも低い場合、当該手書文字又は検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字又は検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手段と、前記手書文字入力手段に手書文字が入力された場合、前記文字コードを、前記認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶する記憶手段と、前記検索用手書文字入力手段に検索用の手書文字が入力された場合、前記選別手段により付与された文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索手段と、を有し、前記検索手段は、前記選別手段により付与された前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とする。

本発明によれば、テキストコード及び手書軌跡データを用いた検索を行うことが可能となる。このため、検索用に入力された手書文字（手書文字列）に最も類似している文書ファイル等を記憶手段の中から容易に探し出すことが可能となり、手書文字が含まれる文書ファイル等の検索に極めて有好である。また、記憶手段に記憶されている手書軌跡データの当該手書文字を含む文書内での占有面積率の評価を行い、この評価結果にも基づいて検索を行う場合には、類似度が等しい軌跡を含む２以上のデータが検出されたときにも、適切な優先度を設定することができる。例えば、大きく書かれた手書軌跡データが含まれるものを優先させれば、より重要度が高いと考えられるデータを優先的に検出することができる。

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。

（第１の実施形態）
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る手書文字処理装置を示す図である。

本実施形態に係る手書文字処理装置１は、例えば携帯情報機器であり、単独で使用することも可能であるが、図１に示すように、例えばローカルエリアネットワーク３を介してパーソナルコンピュータ５に接続して使用することも可能である。

手書文字処理装置１には、図２に示すように、座標入力部２１及び画像出力部２２として機能する液晶表示部２が設けられている。更に、手書文字処理装置１には、ＣＰＵ６、ＲＡＭ７、ＲＯＭ８、ハードディスク（ＨＤ）９、ＬＡＮカード１０及び無線通信カード１２が設けられている。更に、図示しないが、記録メディアを差し込むスロット、他の情報機器等との接続に用いられるＵＳＢ等のインタフェイス等も設けられている。この手書文字処理装置１は、座標入力部２１に入力された手書文字の軌跡を、後述の処理によって表示したり、ＨＤ９内の文書ファイルの検索を行ったりする。

座標入力部２１は透明抵抗膜デジタイザ等を備えており、ペン書かれた軌跡のＸＹ座標データを読み込むことができる。また、座標入力部２１は、システムバス１１経由でＣＰＵ６に接続されている。画像出力部２２は、液晶表示素子、液晶制御回路及び表示メモリを備えており、システムバス１１経由でＣＰＵ６に接続されている。そして、画像出力部２２は、ＣＰＵ６からの指示に基づいて、手書軌跡の表示や文字フォントの表示を実行する。また、座標入力部２１上に手書入力されると、その軌跡がそのまま画像出力部２２に表示される。このように、液晶表示部２は、そこに入力された手書の軌跡、認識結果の文字フォント等を表示する表示一体型座標入力部として機能する。

ＣＰＵ６は、システムバス１１を介して、ＲＡＭ７、ＲＯＭ８、液晶表示部２等に接続されており、ＲＯＭ８に記憶されているプログラムに基づいて後述の処理を行う。

ＲＡＭ７は、手書きされた文字の保存等に用いられ、また、ＣＰＵ６がＲＯＭ８から読み出したプログラムを実行する際にワーク領域として用いられる。

ＲＯＭ８は、手書文字の処理手順や、他のアプリケーション処理手順等を記憶している。また、液晶表示部の制御プログラムも記憶されている。

ＨＤ９は、例えば一般的な携帯機器にも用いられている小型ハードディスクであり、システムバス１１経由でＣＰＵ６に接続されている。ＨＤ９には、入力された文書ファイル等が記憶される。

ＬＡＮカード１０は、一般的なローカルエリアネットワークのインタフェイスカードであり、これを介して他のパーソナルコンピュータとの通信が行われる。

システムバス１１は、ＣＰＵ６とＲＡＭ７、ＲＯＭ８等との間でのデータ等のやり取りに用いられる。

無線通信カード１２は、内部に無線ＬＡＮのコントローラやアンテナを内蔵している。無線通信カード１２内のコントローラに規定のコマンドを受け渡すことによって、無線ローカルエリアネットワークへ接続し、通信機能をもった他のパーソナルコンピュータと通信し、デジタル画像の送受信、制御コマンドの送受信を実行できる。つまり、手書文字処理装置１の画面に表示されている情報の共有や、検索結果表示等を外部のパーソナルコンピュータとやり取りする。送受信のプロトコルとしては、一般に用いられているものを用いることができる。

次に、第１の実施形態における機能構成について説明する。図３は、本発明の第１の実施形態に係る手書文字処理装置を示す機能構成図である。図３中の各部は、ＲＯＭ８に記憶されたプログラム及びＣＰＵ６等により構成されている。

手書文字認識部３１は、座標入力部２１に書かれた手書文字に対し、一般的なオンラインの手書文字認識アルゴリズムに基づいてその軌跡の特徴点を抽出し、手書文字辞書３２とのマッチング処理を行い、最も類似している辞書パターンを候補辞書パターンとする。手書文字辞書３２は、例えばＲＯＭ８に記憶されている。手書文字辞書３２は、標準的な手書文字軌跡データから一般的なアルゴリズムにより特徴点を抽出し、それを予め辞書としてデータ化したものである。

認識結果選別部３３は、処理対象文字と手書文字認識部３１により候補辞書パターンとの類似度が低い場合に、当該処理対象文字を認識不能文字として判断する。

文書ファイル記憶部３４は、手書で書かれた文字列の認識結果の文字コードをテキストデータとして記憶する。但し、文書ファイル記憶部３４は、認識不能文字に対しては、認識不能であること、及びその認識不能文字が先頭から何番目のものであるかを示すコードを文字コードとして記憶する。また、文書ファイル記憶部３４には、手書軌跡記憶部３５が含まれている。手書軌跡記憶部３５は、文書ファイル作成時に、認識結果選別部３３により認識不能文字と判断された文字に対して、その文字を構成する手書軌跡の座標データを記憶する。つまり、認識結果選別部３３により認識可能文字と判断されたものに対しては、文書ファイル記憶部３４がそのテキストコードを記憶する。また、認識不能文字と判断されたものに対しては、文書ファイル記憶部３４が、当該文字が先頭から何番目の認識不能文字であるかを示すコードを記憶すると共に、手書軌跡記憶部３５がその手書軌跡の座標データを記憶する。文書ファイル記憶部３４及び手書軌跡記憶部３５は、例えばＨＤ９上の特定の記憶領域に対応する。

検索部３６は、検索対象として文字又は文字列が座標入力部２１に入力された場合に、当該文字又は文字列に基づいて、文書ファイル記憶部３４に記憶されているテキストコード及び／又は手書軌跡記憶部３５に記憶されている手書軌跡座標データの検索を実行する。そして、所望の文書ファイルを見つけ出す。なお、この検索に当たり、検索部３６は、認識結果選別部３３によって認識可能文字と判断されたものについてはテキストコードに基づいてテキスト文字を検索し、認識不能文字と判断されたものについてはその軌跡に基づいて認識不能文字を検索する。

画像出力部２２は、手書軌跡の表示や文字フォントの表示等を行う。なお、認識結果選別部３３によって認識不能文字と判断された文字については、そのまま軌跡表示を継続する。

次に、上述のように構成された手書文字処理装置の動作について、文書ファイル作成処理と文書ファイル検索処理とに分けて説明する。

先ず、文書ファイルの構成について説明する。図４は、本発明の第１の実施形態において取り扱う文書ファイルの構造を示す図である。文書ファイルの先頭にはファイルヘッダ部があり、ファイル名及びその他の情報が書かれている。次に、テキストが文字コードとして存在する。その次に、第１文字目の文字コード、第２文字目の文字コード、・・・第１０文字目の文字コード、・・・テキストの終端コードが存在する。認識不能文字が存在する場合には、テキストの終端コードの次に、認識不能文字の軌跡ＸＹ位置座標データが存在する。例えば、認識不能文字軌跡データ１、認識不能文字軌跡データ２、・・・認識不能文字軌跡データの終端コード等が存在する。なお、上述のように、認識可能文字については、文字コードがテキストコードで表され、認識不能文字については、文字コードが何番目の認識不能文字であるかを示すようにする。ここでは、通常の文字コード（テキストコード）と区別することができるように、例えば、そのファイル内で先頭に位置する認識不能文字の文字コードを「ＦＦ０１」とし、２番目に位置する認識不能文字の文字コードを「ＦＦ０２」とする。

ここで、文書ファイルを作成する処理（手書文字認識入力処理）について説明する。文書ファイルは、例えば議事録メモ等である。図５は、第１の実施形態における文書ファイルの作成処理時の動作を示す図であり、図６は、第１の実施形態における文書ファイルの作成処理を示すフローチャートである。なお、文書ファイルの作成処理に先立って、ペンアップ時間に基づく方法や文字入力枠を用いる方法等により、連続的に書かれた手書文字列の軌跡データを１文字毎に切り分ける処理が完了していることとする。

先ず、ステップＳ６０１において、手書文字認識入力処理において使用するワーク領域等を初期化し、手書文字認識入力処理を開始する。

次に、ステップＳ６０２において、手書文字認識部３１が、１文字分の手書軌跡のＸＹ座標データを読み出し、バッファ領域に記憶する。そして、入力された軌跡データの正規化及び特徴点の抽出等を一般的なアルゴリズムで行い、その結果もバッファに記憶する。

次いで、ステップＳ６０３において、手書文字認識部３１が、バッファに記憶した１文字分の座標データと手書文字辞書３２とのマッチング処理を行う。このマッチング処理では、手書文字辞書３２に含まれている特徴点座標データと、バッファに記憶した手書入力文字の特徴点座標データとの距離計算を行う。そして、同一のＸＹ位置座標点が多数存在すれば類似度が高いと評価し、ＸＹ位置座標点が大きく相違している場合には類似度が低いと評価する。なお、完全に一致している場合には類似度を１００とする。このようなマッチング処理を手書文字辞書３２に含まれている複数の辞書パターンとの間で行い、その中で最も類似度が高いものを候補辞書パターンとする。

その後、ステップＳ６０４において、認識結果選別部３３が、手書入力された文字と候補辞書パターンとの類似度が５０より低いか否かを判定する。そして、類似度が５０未満である場合は、手書入力文字と候補辞書パターンとが類似していないとして、ステップＳ６０７に進み、類似度が５０以上である場合は、手書入力文字と候補辞書パターンとが類似しているとして、ステップＳ６０５に進む。

ステップＳ６０５では、認識結果選別部３３が、類似度が５０以上の候補辞書パターンに相当するテキストのテキストコードを、文書ファイル記憶部３４に文字コードとして記憶させる。文書ファイル記憶部３４は、その内部の文字コード記憶領域（図４参照）に、当該テキストコードを、その文字の位置が座標入力部２１上のどこであるかを識別できるようにしながら（例えば、何文字目であるかを識別できるようにしながら）記憶する。

次に、ステップＳ６０６において、画像出力部２２が、座標入力部２１に手書された手書軌跡を消去し、テキストコードが示す文字を所定のフォントで表示する。即ち、ステップＳ６０４において類似度が５０以上であると判断された候補辞書パターンについては、その文字コードを信頼し、そのままテキストとして取り扱う。

一方、ステップＳ６０７では、認識結果選別部３３が、文字コードとして認識不能コードを作成する。例えば、その文書ファイル内で最初に認識不能と判断された文字に対しては文字コードとして「ＦＦ０１」を付与し、第２番目に認識不能と判断された文字に対しては文字コードとして「ＦＦ０２」を付与する。

次に、ステップＳ６０８において、認識結果選別部３３が、認識不能コードを、文書ファイル記憶部３４に文字コードとして記憶させる。文書ファイル記憶部３４は、その内部の文字コード記憶領域（図４参照）に、当該認識不能コードを、その文字の位置が座標入力部２１上のどこであるかを識別できるようにしながら（例えば、何文字目であるかを識別できるようにしながら）記憶する。

次いで、ステップＳ６０９において、認識結果選別部３３が、認識不能文字の軌跡データを、手書軌跡記憶部３５に記憶させる。手書軌跡記憶部３５は、その内部の軌跡データ記憶領域（図４参照）に、当該軌跡データを、その認識不能文字の位置が座標入力部２１上のどこであるかを識別できるようにしながら（例えば、何番目の認識不能文字であるかを識別できるようにしながら）記憶する。なお、座標入力部２１上に手書入力されると、その軌跡がそのまま画像出力部２２に表示され、類似度が５０以上の場合は、前述のように表示が切り替えられるが、類似度が５０未満の場合は、軌跡の表示が継続される。

ステップＳ６０６又はＳ６０９の後には、ステップＳ６１０において、未処理の手書文字データがあるか否かの判断を行う。そして、未処理の手書データがあれば、ステップＳ６０２に進み、全ての入力手書データの処理が終っていれば、ステップＳ６１１に進む。

そして、ステップＳ６１１において、手書文字認識入力処理において使用したワーク領域を解放し、手書文字認識入力処理を終了する。

一例として、「アイデア会議」及び「出席者：齋藤一郎」という２行の文字列が座標入力部２１に手書され、そのうちの「齋」の字のみが、辞書パターンとの類似度が５０未満の場合の動作について説明する。

この場合、第１行目の「アイデア会議」については、文書ファイル内の文字コード記憶領域に、各文字のテキストコードが記憶される。一方、第２行目の「出席者：齋藤一郎」については、文書ファイル内の文字コード記憶領域に、「出席者：」の各テキストコードが順に記憶された後、１番目の認識不能コード（ＦＦ０１）が記憶され、更に、「藤一郎」の各テキストコードが順に記憶される。また、「齋」の手書の軌跡のＸＹ位置座標データが１番目の認識不能文字の軌跡データとして、軌跡データ記憶領域に記憶される。

また、液晶表示部２には、一旦「アイデア会議」の手書軌跡が表示された後、これが消去され、図７に示すように、所定のフォントで「アイデア会議」の文字列が同じ場所に表示される。更に、一旦「出席者：齋藤一郎」の手書軌跡が表示された後、このうちの「出席者：」及び「藤一郎」が消去され、図７に示すように、所定のフォントで「出席者：」及び「藤一郎」の文字列が同じ場所に表示される。一方、「齋」の字については、図７に示すように、手書軌跡がそのまま残る。

このように、文書ファイルの作成処理では、正しく認識することができた文字についてはテキストして記憶し、認識不能であった文字については認識不能コードを割り当て、その手書軌跡のＸＹ位置座標データを記憶する。また、画像出力部２２（画面）上では、正しく認識することができた文字のみ所定のフォントに書き換える。

次に、文書ファイルを検索する処理（手書文字検索処理）について説明する。図８は、第１の実施形態における文書ファイルの検索処理時の動作を示す図である。但し、ここでは、手書された検索文字列の認識処理（検索手書文字入力処理）と、認識処理が済んだ検索文字列を用いた検索処理とに分けて説明する。

先ず、手書された検索文字列の認識処理（検索手書文字入力処理）について説明する。図９は、第１の実施形態における検索文字列の認識処理を示すフローチャートである。なお、検索文字列の認識処理に先立って、ペンアップ時間に基づく方法や文字入力枠を用いる方法等により、連続的に書かれた手書の検索文字列の軌跡データを１文字毎に切り分ける処理が完了していることとする。

先ず、ステップＳ９０１において、検索手書文字入力処理において使用するワーク領域等を初期化し、検索手書文字入力処理を開始する。

次に、ステップＳ９０２において、手書文字認識部３１が、１文字分の手書軌跡のＸＹ座標データを読み出し、バッファ領域に記憶する。そして、入力された軌跡データの正規化及び特徴点の抽出等を一般的なアルゴリズムで行い、その結果もバッファに記憶する。

次いで、ステップＳ９０３において、手書文字認識部３１が、バッファに記憶した１文字分の座標データと手書文字辞書３２とのマッチング処理を行う。このマッチング処理では、手書文字辞書３２に含まれている特徴点座標データと、バッファに記憶した手書入力文字の特徴点座標データとの距離計算を行う。そして、同一のＸＹ位置座標点が多数存在すれば類似度が高いと評価し、ＸＹ位置座標点が大きく相違している場合には類似度が低いと評価する。なお、完全に一致している場合には類似度を１００とする。このようなマッチング処理を手書文字辞書３２に含まれている複数の辞書パターンとの間で行い、その中で最も類似度が高いものを候補辞書パターンとする。

その後、ステップＳ９０４において、認識結果選別部３３が、手書入力された文字と候補辞書パターンとの類似度が５０より低いか否かを判定する。そして、類似度が５０未満である場合は、手書入力文字と候補辞書パターンとが類似していないとして、ステップＳ９０６に進み、類似度が５０以上である場合は、手書入力文字と候補辞書パターンとが類似しているとして、ステップＳ９０５に進む。

ステップＳ９０５では、認識結果選別部３３が、類似度が５０以上の候補辞書パターンに相当するテキストのテキストコードを文字コードとして検索テキストバッファ（ＲＡＭ７）に記憶させる。

一方、ステップＳ９０６では、認識結果選別部３３が、文字コードとして認識不能コードを作成する。例えば、その文書ファイル内で最初に認識不能と判断された文字に対しては文字コードとして「ＦＦ０１」を付与し、第２番目に認識不能と判断された文字に対しては文字コードとして「ＦＦ０２」を付与する。そして、この認識不能コードを文字コードとして検索テキストバッファ（ＲＡＭ７）に記憶させる。

次に、ステップＳ９０７において、認識結果選別部３３が、認識不能文字の軌跡データを検索軌跡バッファ（ＲＡＭ７）に記憶させる。

ステップＳ９０５又はＳ９０７の後には、ステップＳ９０８において、未処理の手書文字データがあるか否かの判断を行う。そして、未処理の手書データがあれば、ステップＳ９０２に進み、全ての入力手書データの処理が終っていれば、ステップＳ９０９に進む。

そして、ステップＳ９０９において、検索手書文字入力処理において使用したワーク領域を解放し、検索手書文字入力処理を終了する。

例えば、図１０に示すように、検索文字列入力ウィンドウ１００１内に「齋藤一郎」という文字列１００２が手書入力され、そのうちの「齋」の字のみが、辞書パターンとの類似度が５０未満の場合の動作について説明する。

この場合、検索テキストバッファには、１番目の認識不能コード（ＦＦ０１）が記憶された後、「藤一郎」の各テキストコードが順に記憶される。また、「齋」の手書の軌跡のＸＹ位置座標データが１番目の認識不能文字の軌跡データとして、検索軌跡バッファに記憶される。つまり、図１１に示すデータが検索テキストバッファ及び検索軌跡バッファに記憶される。

次に、認識処理が済んだ検索文字列を用いた検索処理について説明する。図１２は、第１の実施形態における認識処理が済んだ検索文字列を用いた検索処理を示すフローチャートである。

先ず、ステップＳ１２０１において、検索処理において使用するワーク領域等を初期化し、検索処理を開始する。

次に、ステップＳ１２０２において、検索部３６は、検索テキストバッファに記憶されている文字列と、同一の文字列を含む文書ファイルを文書ファイル記憶部３４に記憶されている全ての文書ファイルの中から検索する。

次いで、ステップＳ１２０３において、文字コードが一致する文書ファイルが存在する場合、検索部３６は、検索テキストバッファに記憶されている文字コード及び当該文書ファイルの名前を検索候補バッファ（ＲＡＭ７）に記憶させる。なお、ここでは、テキストコードが一致し、認識不能コードを含む場合はその位置が一致する文書ファイルを探し出して記憶させる。例えば、図１１に示す認識結果が得られている場合には、検索テキストバッファに、認識不能コード「ＦＦ０１」並びに「藤」、「一」及び「郎」のテキストコードが記憶されている。従って、認識不能コード（例えば「ＦＦ０２」）並びに「藤」、「一」及び「郎」のテキストコードを含む文書ファイルのファイル名を検索候補バッファに記憶させる。

その後、ステップＳ１２０４において、検索部３６は、検索テキストバッファに記憶されている文字コード内に認識不能コードが含まれているか否かを判断する。そして、この文字コード内に認識不能コードが含まれていない場合には、ステップＳ１２０５に進み、認識不能コードが含まれている場合には、ステップＳ１２０６に進む。

ステップＳ１２０５では、検索結果を表示する。即ち、ステップＳ１２０３において検索候補バッファに記憶された文書ファイルの名前等を画像出力部２２が表示する。認識不能コードが含まれていない場合の処理（ステップＳ１２０１〜Ｓ１２０５）は従来の処理と同様である。

一方、認識不能コードが含まれている場合、ステップＳ１２０６では、検索部３６が検索軌跡バッファ内の軌跡データを読み込む。例えば、図１１に示す認識結果が得られている場合には、認識不能コードに対応する「齋」の字の軌跡データを読み込む。なお、１文字列内に２個以上の認識不能文字が含まれている場合には、各認識不能文字について軌跡データを読み込む。

次に、ステップＳ１２０７において、検索部３６は、読み込んだ軌跡データの特徴点を抽出する。特徴点抽出のアルゴリズムは、例えば、一般的なオンライン認識処理で行われているアルゴリズムである。例えば、軌跡の始点、終点、中間点、１／４点及び３／４点を特徴点とする。

次いで、ステップＳ１２０８において、検索部３６が、検索候補バッファに記憶されている文書ファイルの１つについて、当該文書ファイルに含まれている認識不能文字の軌跡データを候補軌跡データとして読み込む。即ち、検索候補バッファに記憶されている認識不能コードを用いて、その文字列が含まれる文書ファイル内の認識不能文字に対応する手書軌跡データを読み込む。例えば、文字コードに、２個の認識不能コード「ＦＦ０１」及び「ＦＦ０２」が含まれている場合には、「ＦＦ０１」については、文書ファイル内の１番目の軌跡データを読み込み、「ＦＦ０２」については、２番目の軌跡データを読み込む（図４参照）。

その後、ステップＳ１２０９において、検索部３６がステップＳ１２０８において読み込んだ候補軌跡データの特徴点を抽出する。特徴点の抽出は、例えばステップＳ１２０７と同様にして行う。

そして、ステップＳ１２１０において、検索部３６は、ステップＳ１２０７において抽出した特徴点と、ステップＳ１２０９において抽出した候補軌跡データの特徴点との類似度の評価を行う。例えば、同一のＸＹ位置座標点が多数存在すれば類似度が高いと評価し、ＸＹ位置座標点が大きく相違している場合には類似度が低いと評価する。つまり、特徴点同士の距離が短いほど類似度を高く評価し、距離が長いほど類似度を低く評価する。

例えば、検索文字列に含まれている認識不能文字が複数のストロークで構成されている場合には、先ず、候補軌跡データとの間で、１ストロークずつ特徴点同士の距離を計算し、最も類似しているストローク同士の類似度をそのストロークの類似度として決定する。そして、この処理を各ストロークについて行い、加算した結果をその文字の類似度とする。検索用文字列の入力者と検索対称の文書ファイルの作成者が同一であれば、これらの筆跡は極めて類似するため、同じ文字又は図形等が入力されて入れば、類似度が高く評価される。

次に、ステップＳ１２１１において、検索部３６が、検索候補バッファに記憶されている認識不能文字を含む全ての検索候補について、軌跡データのマッチング処理が終了したか否かを判断する。終了していれば、ステップＳ１２１２に進み、終了していなければ、ステップＳ１２０８に進む。

ステップＳ１２１２では、検索部３６が軌跡の類似度が高い順に検索候補をソートし、この結果を画像出力部２２が表示する。

例えば、文書ファイル記憶部３４に少なくとも、「議事録１」及び「議事録２」というフィル名の２個の文書ファイルが記憶されているとする。また、「議事録１」には「齋藤一郎」という文字が含まれ、このうち「齋」の字のみが認識不能文字として記憶され、「議事録２」には「齊藤一郎」という文字が含まれ、このうち「齊」の字のみが認識不能文字として記憶されているとする。そして、図１０に示す検索文字列が入力されたとする。この場合には、検索文字列を構成する「齋」の字の軌跡データと、２個の文書ファイル内に含まれる「齋」及び「齊」の字の軌跡データとが比較され、これらの類似度がステップＳ１２１２において比較される。そして、「議事録１」に含まれる「齋」の字の類似度が、「議事録２」に含まれる「齊」の字の類似度よりも高いため、図１３に示すように、第１候補として「議事録１」が表示され、第２候補として「議事録２」が表示される。

このような第１の実施形態によれば、手書認識辞書３２に登録されていない文字、サイン、図等の手書軌跡を含む文書ファイルの検索を容易に行うことができる。

また、特徴点の抽出を単純化して、複数ユーザで同一の手書サインを使うようにしてもよい。更に、筆圧等も認識可能な座標入力機器を用いれば、記憶する手書筆跡データに筆圧情報も付加できるので、検索対象を特定ユーザの筆跡パターンのみに絞り込んでノイズの少ない検索結果を得ることも可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、第１の実施形態における検索に加えて、認識不能な手書軌跡に対して、文書ファイル間で相対的な大きさの評価を行い、この評価結果をも考慮して検索結果の表示順序を決定する。第２の実施形態では、認識不能な手書文字の検索を行うこととしているが、手書入力には、ユーザが望む自由な大きさで文字等を書き、この大きさに情報を持たせることができるという利点がある。本実施形態は、この利点を活用する。即ち、第２の実施形態では、文書内に書かれた認識不能な手書文字（手書のマーク等）の大きさも用いて検索を行う。図１４は、本発明の第２の実施形態に係る手書文字処理装置を示す機能構成図である。

第２の実施形態には、大きさ評価部３７が設けられている。この大きさ評価部３７は、その文書の全画面の大きさに対する手書軌跡の相対的な大きさを評価する。他の構成は第１の実施形態と同様である。

次に、第２の実施形態の動作について説明する。第２の実施形態においても、文書ファイル作成処理及び文書ファイル検索処理が行われる。このうち、文書ファイル作成処理は、第１の実施形態と同様である。文書ファイル検索処理は、第１の実施形態と同様に、手書された検索文字列の認識処理と認識処理が済んだ検索文字列を用いた検索処理とに分けられ、認識処理は第１の実施形態と同様であるが、検索処理の内容が第１の実施形態と相違している。第２の実施形態における検索処理では、第１の実施形態におけるステップＳ１２１１の後に、手書マーク等の相対的な大きさの評価を行う。以下、相対的な大きさの評価処理について説明する。図１５は、第２の実施形態における相対的な大きさの評価処理を示すフローチャートである。

先ず、ステップＳ１５０１において、大きさ評価部３７は、相対的大きさ処理において使用するワーク領域等を初期化し、相対的大きさ処理を開始する。

次に、ステップＳ１５０２において、大きさ評価部３７が、図１２に示す検索処理において検索候補バッファに記憶された各文書ファイルに含まれる軌跡データの相対的な大きさを求める。例えば、「議事録３」というファイル名の文書ファイル及び「議事録４」というファイル名の文書ファイルが検索候補バッファに記憶されていれば、これらに含まれている軌跡データの相対的な大きさを求める。ここで、「相対的な大きさ」とは、手書文字等を記載可能な矩形領域の面積を基準とした、手書マーク等が書かれた領域の面積の割合（占有面積率）である。例えば、「議事録３」の内容が図１６−１に示すものであった場合、「相対的な大きさ」は、矩形領域（手書文字等を記載可能な領域）１６０１の面積を基準とした、手書の「重要」マーク１６０２の外接矩形の面積の割合である。これを式で表すと、「（手書の「重要」マーク１６０２の外接矩形の面積）／（矩形領域１６０１の面積）×１００（％）」となる。同様に、「議事録４」の内容が図１６−２に示すものであった場合、相対的な大きさは、「（手書の「重要」マーク１６０４の外接矩形の面積）／（矩形領域１６０３の面積）×１００（％）」となる。

次いで、ステップＳ１５０３において、大きさ評価部３７が、軌跡データの類似度に相対的大きさ（％）を加算する。そして、「軌跡データの類似度＋相対的大きさ」を軌跡の新たな評価値とする。

例えば、あるパターンＡの類似度（ステップＳ１２１０）が８０であり、かつ相対的大きさが３０％であるならば、新たな評価値を１００とする。また、あるパターンＢの類似度（ステップＳ１２１０）が８０であり、かつ相対的大きさが１０％であるならば、新たな評価値を９０とする。

その後、ステップＳ１５０４において、大きさ評価部３７が、検索候補バッファに記憶されている全ての検索候補について新たな評価値を求めたか否かを判断する。そして、全ての文書ファイルについての処理が終了していれば、ステップＳ１５０５に進み、まだ未処理の文書ファイルがあれば、ステップＳ１５０２に進む。

ステップＳ１５０５では、検索部３６が、ステップＳ１５０３において求めた新たな評価値に基づいて検索候補をソートする。例えば、新たな評価値が高い順にソートする。この場合、手書マークの類似度が同一であれば、相対的大きさが大きい文書ファイルが上位とされる。

そして、ステップＳ１５０６において、画像出力部２２が、ステップＳ１５０５のソート結果に基づいて、検索結果を表示する。

例えば、図１６−１及び図１６−２に示す内容の文書ファイルが文書ファイル記憶部３４に記憶されている場合には、図１７に示すように、大きな「重要」マークを含む「議事録３」の文書ファイルが上位に表示される。即ち、「重要」マークの大きさが大きい文書ファイルが重用度も大きいという判断に基づいて優先的に表示される。

このような第２の実施形態によれば、手書軌跡の画面内の相対的な大きさを評価するので、文書内に書かれたマークが大きいものほど、検索結果の表示順位を優先させることができる。

なお、筆圧等も認識可能な座標入力機器を用いれば、記憶する手書筆跡データに筆圧情報も付加できるので、筆圧情報を検索に利用することも可能である。即ち、筆圧情報も評価値として加算するようにすれば、同じ類似度で同じ大きさで書かれた２種類のパターンがある場合には、強い筆圧で書かれているパターンの重要度がより高いという基準を用いて、これを優先的に検索するようにすればよい。

また、検索選別情報として、積極的に使う構成も考えられる。その場合であれば、検索用に書かれた手書軌跡の形状、大きさ、筆圧のいずれもが類似している検索結果を表示する構成である。これにより、検索対象を特定ユーザの筆跡パターンのみに絞り込んでノイズの少ない検索結果を得ることも可能である。

その場合、検索用に書かれた手書軌跡が小さくて、筆圧が弱いばあいは、形状が類似する手書軌跡が含まれる候補の中で、同じように小さくて筆圧が弱い手書軌跡が含まれる文書が検索結果として優先されて表示される手書軌跡検索装置を実現できる。

なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

本発明の第１の実施形態に係る手書文字処理装置を示す図である。 本発明の第１の実施形態に係る手書文字処理装置を示すブロック図である。 本発明の第１の実施形態に係る手書文字処理装置を示す機能構成図である。 本発明の第１の実施形態において取り扱う文書ファイルの構造を示す図である。 本発明の第１の実施形態における文書ファイルの作成処理時の動作を示す図である。 本発明の第１の実施形態における文書ファイルの作成処理を示すフローチャートである。 手書文字認識入力処理が終了した時の液晶表示部２の表示画面の例を示す図である。 本発明の第１の実施形態における文書ファイルの検索処理時の動作を示す図である。 本発明の第１の実施形態における検索文字列の認識処理を示すフローチャートである。 検索文字列の入力例を示す図である。 検索テキストバッファ及び検索軌跡バッファに記憶されるデータの例を示す図である。 本発明の第１の実施形態における認識処理が済んだ検索文字列を用いた検索処理を示すフローチャートである。 本発明の第１の実施形態による検索結果の例を示す図である。 本発明の第２の実施形態に係る手書文字処理装置を示す機能構成図である。 本発明の第２の実施形態における相対的な大きさの評価処理を示すフローチャートである。 文書ファイル「議事録３」の内容を示す図である。 文書ファイル「議事録４」の内容を示す図である。 本発明の第２の実施形態による検索結果の例を示す図である。

符号の説明

１：手書文字処理装置
２：液晶表示部
３：ローカルエリアネットワーク
５：パーソナルコンピュータ
６：ＣＰＵ
７：ＲＡＭ
８：ＲＯＭ
９：ＨＤ
１０：ＬＡＮカード
１１：システムバス
１２：無線通信カード
２１：座標入力部
２２：画像出力部
３１：手書文字認識部
３２：手書文字辞書
３３：識別結果認識部
３４：文書ファイル記憶部
３５：手書軌跡記憶部
３６：検索部
３７：大きさ評価部

Claims (12)

1. 手書文字を入力する手書文字入力手段と、
   複数の文字について、その形状を記憶した辞書と、
   前記手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字と当該対応文字との類似度を判断する手書文字認識手段と、
   前記類似度が予め定められている基準値よりも低い場合、当該手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手段と、
   前記文字コードを、前記認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶する記憶手段と、
   を有することを特徴とする手書文字処理装置。
2. 文字列毎に、当該文字列を構成する文字の文字コードを、認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶した記憶手段と、
   検索用の手書文字を入力する検索用手書文字入力手段と、
   複数の文字について、その形状を記憶した辞書と、
   前記検索用手書文字入力手段に入力された検索用の手書文字と前記辞書に記憶された文字の形状とを比較し、当該検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該検索用の手書文字と当該対応文字との類似度を判断する手書文字認識手段と、
   前記類似度が予め定められている基準値よりも低い場合、当該検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手段と、
   前記選別手段により付与された文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索手段と、
   を有し、
   前記検索手段は、前記選別手段により付与された前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とする手書文字処理装置。
3. 手書文字を入力する手書文字入力手段と、
   検索用の手書文字を入力する検索用手書文字入力手段と、
   複数の文字について、その形状を記憶した辞書と、
   前記手書文字入力手段又は検索用手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字又は検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字又は検索用の手書文字と当該対応文字との類似度を判断する手書文字認識手段と、
   前記類似度が予め定められている基準値よりも低い場合、当該手書文字又は検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字又は検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手段と、
   前記手書文字入力手段に手書文字が入力された場合、前記文字コードを、前記認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶する記憶手段と、
   前記検索用手書文字入力手段に検索用の手書文字が入力された場合、前記選別手段により付与された文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索手段と、
   を有し、
   前記検索手段は、前記選別手段により付与された前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とする手書文字処理装置。
4. 前記検索手段は、前記選別手段により付与された前記認識不能コードを用いて検索を行う場合、前記記憶手段に記憶されている手書軌跡データの当該手書文字を含む文書内での占有面積率の評価を行い、前記類似度の検出結果に加えて、この評価結果に基づいて検索を行うことを特徴とする請求項２又は３に記載の手書文字処理装置。
5. 手書文字を入力する手書文字入力手段と、
   複数の文字について、その形状を記憶した辞書と、
   を有する手書文字処理装置を用いた手書文字処理方法であって、
   前記手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字と当該対応文字との類似度を判断する手書文字認識ステップと、
   前記類似度が予め定められている基準値よりも低い場合、当該手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字に当該対応文字のテキストコードを文字コードとして付与する選別ステップと、
   前記文字コードを、前記認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶手段に記憶させる記憶ステップと、
   を有することを特徴とする手書文字処理方法。
6. 文字列毎に、当該文字列を構成する文字の文字コードを、認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶した記憶手段と、
   検索用の手書文字を入力する検索用手書文字入力手段と、
   複数の文字について、その形状を記憶した辞書と、
   を有する手書文字処理装置を用いた手書文字処理方法であって、
   前記検索用手書文字入力手段に入力された検索用の手書文字と前記辞書に記憶された文字の形状とを比較し、当該検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該検索用の手書文字と当該対応文字との類似度を判断する手書文字認識ステップと、
   前記類似度が予め定められている基準値よりも低い場合、当該検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別ステップと、
   前記選別ステップにおいて付与した文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索ステップと、
   を有し、
   前記検索ステップにおいて、前記選別ステップにおいて付与した前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とする手書文字処理方法。
7. 手書文字を入力する手書文字入力手段と、
   検索用の手書文字を入力する検索用手書文字入力手段と、
   複数の文字について、その形状を記憶した辞書と、
   を有する手書文字処理装置を用いた手書文字処理方法であって、
   前記手書文字入力手段又は検索用手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字又は検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字又は検索用の手書文字と当該対応文字との類似度を判断する手書文字認識ステップと、
   前記類似度が予め定められている基準値よりも低い場合、当該手書文字又は検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字又は検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別ステップと、
   前記手書文字入力手段に手書文字が入力された場合、前記文字コードを、前記認識不能コードが存在するときには当該手書文字の手書軌跡データを含めて、記憶手段に記憶させる記憶ステップと、
   前記検索用手書文字入力手段に検索用の手書文字が入力された場合、前記選別ステップにおいて付与した文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索ステップと、
   を有し、
   前記検索ステップにおいて、前記選別ステップにおいて付与した前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とする手書文字処理方法。
8. 前記検索ステップにおいて、前記選別ステップにおいて付与した前記認識不能コードを用いて検索を行う場合、前記記憶手段に記憶されている手書軌跡データの当該手書文字を含む文書内での占有面積率の評価を行い、前記類似度の検出結果に加えて、この評価結果に基づいて検索を行うことを特徴とする請求項６又は７に記載の手書文字処理方法。
9. 手書文字を入力する手書文字入力手段と、
   複数の文字について、その形状を記憶した辞書と、
   を有する手書文字処理装置用のプログラムであって、
   コンピュータに、
   前記手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字と当該対応文字との類似度を判断する手書文字認識手順と、
   前記類似度が予め定められている基準値よりも低い場合、当該手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手順と、
   前記文字コードを、前記認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶手段に記憶させる記憶手順と、
   を実行させることを特徴とするプログラム。
10. 文字列毎に、当該文字列を構成する文字の文字コードを、認識不能コードが存在する場合には当該手書文字の手書軌跡データを含めて、記憶した記憶手段と、
    検索用の手書文字を入力する検索用手書文字入力手段と、
    複数の文字について、その形状を記憶した辞書と、
    を有する手書文字処理装置用のプログラムであって、
    前記検索用手書文字入力手段に入力された検索用の手書文字と前記辞書に記憶された文字の形状とを比較し、当該検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該検索用の手書文字と当該対応文字との類似度を判断する手書文字認識手順と、
    前記類似度が予め定められている基準値よりも低い場合、当該検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手順と、
    前記選別手順において付与した文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索手順と、
    を有し、
    前記検索手順において、前記選別手順において付与した前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とするプログラム。
11. 手書文字を入力する手書文字入力手段と、
    検索用の手書文字を入力する検索用手書文字入力手段と、
    複数の文字について、その形状を記憶した辞書と、
    を有する手書文字処理装置を用いた手書文字処理方法であって、
    前記手書文字入力手段又は検索用手書文字入力手段に入力された手書文字と前記辞書に記憶された文字の形状とを比較し、当該手書文字又は検索用の手書文字が辞書内のどの文字に対応するかを認識すると共に、当該手書文字又は検索用の手書文字と当該対応文字との類似度を判断する手書文字認識手順と、
    前記類似度が予め定められている基準値よりも低い場合、当該手書文字又は検索用の手書文字に対して認識不能コードを文字コードとして付与し、前記類似度が前記基準値以上である場合、当該手書文字又は検索用の手書文字に当該対応文字のテキストコードを文字コードとして付与する選別手順と、
    前記手書文字入力手段に手書文字が入力された場合、前記文字コードを、前記認識不能コードが存在するときには当該手書文字の手書軌跡データを含めて、記憶手段に記憶させる記憶手順と、
    前記検索用手書文字入力手段に検索用の手書文字が入力された場合、前記選別手順において付与した文字コードを用いて前記記憶手段に記憶されているデータの検索を行う検索手順と、
    を有し、
    前記検索手順において、前記選別手順において付与した前記認識不能コードを用いて検索を行う場合、当該検索用の手書文字の手書軌跡データと前記記憶手段に記憶されている手書軌跡データとの類似度を検出し、この検出結果に基づく検索を行うことを特徴とするプログラム。
12. 前記検索手順において、前記選別手順において付与した前記認識不能コードを用いて検索を行う場合、前記記憶手段に記憶されている手書軌跡データの当該手書文字を含む文書内での占有面積率の評価を行い、前記類似度の検出結果に加えて、この評価結果に基づいて検索を行うことを特徴とする請求項１０又は１１に記載のプログラム。

Images