JP4576358B2 - 文字画像処理装置及び文字画像処理方法 - Google Patents

Description

本発明は、携帯端末で文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う文字画像処理装置及び文字画像処理方法に関し、特に、携帯端末で撮影した文字画像データのコントラストが悪い場合に、かかる文字画像データから効率的かつ簡易に適正な文字画像データを取得することが可能な文字画像処理装置及び文字画像処理方法に関する。

従来、携帯電話端末に搭載されたカメラ等で手書き文字を撮影し、撮影した画像データから手書き文字を認識することにより、利用者による文字入力を簡略する技術が知られている。例えば、特許文献１には、携帯電話端末に内蔵されたデジタルカメラで撮影した文字又はコードの画像データを信号処理して、ＵＲＬ、メールアドレス又は電話番号等の文字情報を取得するよう構成した携帯電話端末が開示されている。

この特許文献１のように、屋内環境下で携帯電話端末に搭載されたカメラ等で手書き文字を撮像しようとすると、屋内に設けられた電灯が撮影用の照明となるので、この電灯と撮影者やカメラの位置関係によっては、撮影者やカメラの影が画像に写り込んでしまいコントラストが劣化してしまう。

例えば、図１１に示した文字画像データ１１ａのように、背景濃度が比較的均一である場合には、輝度補正を行って比較的容易に文字画像データ１１ｂを得ることができるが、文字画像データ１１ｃ及び文字画像データ１１ｅのように、撮影者やカメラの影の影響を受けた部分と影の影響を受けない部分が共存する場合には、一律に輝度補正を行ったとしても、文字画像データ１１ｄのような文字のかすれが生じたり、文字画像データ１１ｆのような影部分が強調された文字画像となってしまう。

このため、カメラで撮影した手書き文字画像のコントラストが悪い場合に、コントラストの悪い入力画像から線状パターンを適切に検出して二値化処理を行う従来技術が知られている。例えば、特許文献２には、つぶれ気味の線状パターンを含み背景ノイズを含まない２値画像と、線状パターンの形状を保存するが背景ノイズを含む２値画像とを生成し、これらの２値画像を画素毎にＡＮＤ合成して、線状パターンの形状を保存しつつ背景ノイズを含まない２値画像を生成する画像処理装置が開示されている。

このため、この特許文献２を用いると、手書き文字の画像データのコントラストが悪い場合であっても、かかる画像データから線状パターンを正確に取得して文字認識し、この文字をＵＲＬやメールアドレスとして利用することができる。

特開２００３−１９８６７４号公報 特開２００２−２７１６１１号公報

しかしながら、携帯電話端末のようなリソースの乏しい機器で上記特許文献２に係る処理を行うとなると、その処理の複雑性に起因して膨大な処理時間を要してしまい、かえって携帯電話端末の本来の性能を劣化させる原因になるという問題がある。

このため、携帯電話端末で撮影した文字画像データのコントラストが悪い場合に、いかに効率的かつ簡易に適正な文字画像データを取得するかが重要な課題となっている。なお、かかる課題は、携帯電話端末で手書き文字を撮影した場合のみならず、比較的処理性能が低いデジタルカメラ等の各種携帯端末で文字を撮影した場合にも同様に生ずる課題である。

この発明は、上記課題（問題点）に鑑みてなされたものであり、携帯端末で撮影した文字画像データのコントラストが悪い場合に、かかる文字画像データから効率的かつ簡易に適正な文字画像データを取得することが可能な文字画像処理装置及び文字画像処理方法を提供することを目的とする。

上述した課題を解決するため、本発明は、携帯端末で文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う携帯端末用の文字画像処理装置であって、前記文字画像データの各画素の画素値に基づいて、前記文字画像データの各画素のエッジ強度を示すエッジ画像データを取得することにより、前記文字画像データに含まれる文字のエッジを抽出するエッジ抽出手段と、前記エッジ画像データに対して、前記エッジ抽出手段で抽出された各エッジのエッジ位置を所定数画素分文字内部方向に向けて移動させることで、前記各エッジのエッジ位置を文字内部方向に向けて補正するエッジ位置補正手段と、前記エッジ位置補正手段で位置補正された前記エッジ画像データの各エッジ以外の背景の影響を除去する背景除去手段とを備えたことを特徴とする。

また、本発明は、上記発明において、前記エッジ抽出手段は、文字画像データに対して微分オペレータを適用して該文字画像データの各画素のエッジ強度並びにエッジ方向を算定することで前記エッジを抽出し、前記エッジ位置補正手段は、前記エッジ抽出手段で抽出された各エッジ位置における前記エッジ画像データの画素のエッジ方向に基づいて該エッジのエッジ位置を文字内部方向に補正することを特徴とする。

また、本発明は、上記発明において、前記背景除去手段は、前記エッジ位置補正手段で位置補正された前記エッジ画像データの各画素のエッジ強度に関するヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されたヒストグラムに基づいて、前記文字画像データの背景画素に対応する前記エッジ画像データの画素のエッジ強度とそれ以外の前記エッジ画像データの画素のエッジ強度とを区別する第１の閾値を算定する閾値算定手段と、前記エッジ画像データを形成する各画素のエッジ強度が前記第１の閾値以上である場合には該画素のエッジ強度を前記背景画素に付与する所定の画素値に変換する変換手段とを備えたことを特徴とする。

また、本発明は、上記発明において、前記閾値算定手段は、前記ヒストグラム生成手段により生成されたヒストグラムに基づいて前記文字画像データの文字画素に対応する前記エッジ画像データの画素のエッジ強度とそれ以外の前記エッジ画像データの画素のエッジ強度とを区別する第２の閾値を算定し、前記変換手段は、前記エッジ画像データを形成する各画素のエッジ強度が前記第２の閾値以下である場合には該画素のエッジ強度を前記文字画素に付与する所定の画素値に変換することを特徴とする。また、本発明は、上記発明において、前記背景除去手段は、前記変換手段により画素値が変換された各画素のうち文字画素であるにも係わらず背景画素の画素値が付与された画素の画素値を前記文字画素の画素値に変換して文字の中抜け防止処理を行う中抜け防止処理手段をさらに備えたことを特徴とする。

また、本発明は、携帯端末で文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う携帯端末用の文字画像処理方法であって、前記文字画像データの各画素の画素値に基づいて、前記文字画像データの各画素のエッジ強度を示すエッジ画像データを取得することにより、前記文字画像データに含まれる文字のエッジを抽出するエッジ抽出工程と、前記エッジ画像データに対して、前記エッジ抽出工程で抽出された各エッジのエッジ位置を所定数画素分文字内部方向に向けて移動させることで、前記各エッジのエッジ位置を文字内部方向に向けて補正するエッジ位置補正工程と、前記エッジ位置補正工程で位置補正された前記エッジ画像データの各エッジ以外の背景の影響を除去する背景除去工程とを含んだことを特徴とする。

本発明によれば、文字画像データに含まれる文字のエッジを抽出し、抽出した各エッジのエッジ位置を文字内部方向に向けて位置補正し、該位置補正された各エッジ以外の背景の影響を除去するよう構成したので、携帯端末で撮影した文字画像データのコントラストが悪い場合に、かかる文字画像データから効率的かつ簡易に適正な文字画像データを取得することが可能となる。

以下に添付図面を参照して、本発明に係る文字画像処理装置及び文字画像処理方法の好適な実施例を詳細に説明する。なお、ここでは本発明を携帯電話端末で手書き文字を撮影した場合を示すこととする。

まず、本実施例１に係る携帯電話端末１０の構成について説明する。図１は、本実施例１に係る携帯電話端末１０の構成を示す機能ブロック図である。図１に示す携帯電話端末１０は、携帯電話又はＰＨＳ（Personal Handyphone System）等の撮像機能を有する携帯型電話機であり、操作部１１と、表示部１２と、撮像部１３と、無線通信部１４と、記憶部１５と、制御部１６とを有する。

操作部１１は、数字や文字の入力操作、通話接続操作並びに撮像操作を行う際に利用するテンキー等からなる操作部であり、表示部１２は、液晶パネル又はＬＥＤ等からなる表示部である。

撮像部１３は、ＣＣＤ等の撮像素子を用いて白黒濃淡画像又はカラー画像を撮像することができるデジタルカメラ等の撮像部であり、無線通信部１４は、図示しない基地局を介して他の携帯電話端末や固定電話と無線通信を確立する通信ユニットである。なお、以下では２５６階調の白黒濃淡画像を撮像する場合を示すこととする。

記憶部１５は、フラッシュメモリ等の不揮発性メモリ又はハードディスク装置等からなる記憶デバイスであり、撮像部１３で撮像された画像や各種設定データを記憶する。なお、この記憶部１５の所定の記憶領域には、後述するようにこの携帯電話端末１０を動作させるための各種プログラムについても記憶する。

制御部１６は、音声通話接続処理、Ｅメール送受信処理及びインターネット接続処理等の各種制御を行う制御部であり、通信処理部１６ａ、撮像処理部１６ｂ及び文字画像処理部１６ｃを有する。なお、ここでは説明の便宜上その詳細な説明を省略するが、この制御部１６には、音声通話用の電話帳、Ｅメール送受信を行う際に利用するメーラ、インターネット上のサイトを閲覧する際に利用するブラウザ等についても搭載している。

通信処理部１６ａは、音声通話接続処理、Ｅメール送受信処理、インターネット接続処理等の各種通信関連処理を行う際に必要となる無線通信処理を司る処理部である。この通信処理部１６ａは、無線通信確立要求を受け付けたならば、図示しない基地局に通信接続要求を行って通信回線を確立したり、基地局を介したパケット送信を行うことになる。

撮像処理部１６ｂは、撮像部１３を用いた被写体の撮像制御を行う制御部であり、撮像部１３で被写体を撮像した場合には、撮像された画像データをメモリ上に展開して一時的に保持するとともに、この画像データをファイルとして記憶部１５に格納することができる。なお、本実施例１では、この撮像処理部１６ｂにより、用紙に描かれた手書き文字を撮像した文字画像データ（２５６階調の白黒濃淡画像）を取得して記憶部１５に記憶した場合を示している。

文字画像処理部１６ｃは、撮像部１３を用いて手書き文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う本発明に係る処理部であり、具体的には、文字画像データに微分オペレータを適用して微分画像データを取得し、この微分画像データを形成する各エッジのエッジ位置を文字内部方向に向けて補正して位置補正エッジ画像データを取得し、この位置補正エッジ画像データの各エッジ以外の背景の影響を除去した疑似文字画像データを生成する処理を行う。

具体的には、この文字画像処理部１６ｃは、文字画像データに対して微分オペレータを適用して該文字画像データに含まれる各エッジの画素値並びにエッジ方向を抽出するとともに、抽出した各エッジのエッジ方向に基づいて該エッジのエッジ位置を文字内部方向に補正して位置補正エッジ画像データを取得することになる。

また、この文字画像処理部１６ｃが背景を除去する際には、位置補正エッジ画像データの濃度ヒストグラムを生成し、生成した濃度ヒストグラムに基づいて背景を形成する画素（以下「背景画素」と言う）の画素値とそれ以外の画素の画素値を区別する閾値Ｔ１と、文字を形成する画素（以下「文字画素」と言う）の画素値とそれ以外の画素の画素値を区別する閾値Ｔ２を求め、位置補正エッジ画像データを形成する各画素の画素値が閾値Ｔ１以上である場合には該画素の画素値を背景画素に付与する所定の画素値（例えば白画素を示す画素値「２５５」）に変換し、位置補正エッジ画像データを形成する各画素の画素値が閾値Ｔ２以下である場合には該画素の画素値を文字画素に付与する所定の画素値（例えば黒画素を示す画素値「０」）に変換する。

次に、本実施例１に係る携帯電話端末１０のハードウエア構成について説明する。図２は、図１に示した携帯電話端末１０のハードウエア構成を示す図である。同図に示すように、この携帯電話端末１０は、操作ユニット２１、液晶パネル２２、カメラ２３、無線通信ユニット２４、不揮発性メモリ２５及びＣＰＵ２６がバスを介して接続された構成となる。ここで、この操作ユニット２１は図１の操作部１１に対応し、液晶パネル２２は図１の表示部１２に対応し、カメラ２３は図１の撮像部１３に対応し、無線通信ユニット２４は図１の無線通信部１４に対応し、不揮発性メモリ２５は図１の記憶部１５に対応し、ＣＰＵ２６は図１の制御部１６に対応する。

そして、この不揮発性メモリ２５の所定の領域には、通信処理プログラム２５ａ、撮像処理プログラム２５ｂ及び文字画像処理プログラム２５ｃ等のプログラムが格納されており、ＣＰＵ２６がこれらのプログラムを不揮発性メモリ２５からロードして実行すると、通信処理プロセス２６ａ、撮像処理プロセス２６ｂ及び文字画像処理プロセス２６ｃが動作する。この通信処理プロセス２６ａが図１の通信処理部１６ａに対応し、撮像処理プロセス２６ｂが図１の撮像処理部１６ｂに対応し、文字画像処理プロセス２６ｃが図１の文字画像処理部１６ｃに対応する。

なお、ここでは図１に示した機能ブロックとの関係を明確化するために説明の便宜上マルチプロセスとして動作させる場合を示したが、実際にはこれらのプログラムをサブルーチンとして内在する一つのプログラムを不揮発性メモリ２５に格納しておき、ＣＰＵ２６がこのプログラムを実行して同様の動作を行わせることになる。

次に、図１に示した文字画像処理部１６ｃの処理手順について説明する。図３は、図１に示した文字画像処理部１６ｃの処理手順を示すフローチャートである。なお、ここでは撮像部１３を用いて手書き文字を撮像した文字画像データがあらかじめ記憶部１５内に格納されているものとする。

図３に示すように、この文字画像処理部１６ｃは、記憶部１５に記憶した図４に示した文字画像データ３１を読み出し（ステップＳ１０１）、この文字画像データ３１に微分オペレータを適用して文字画像データ内の文字部分のエッジを検出する（ステップＳ１０２）。

例えば、図５に示したソーベル（sobel）の微分オペレータを用いた場合には、図４に示したエッジ画像データ３２を得ることができる。ここで、ｘ方向の微分をｆｘ、ｙ方向の微分をｆｙで表すと、その際のエッジ強度（グラジエントの強度）は、ＳＱＲＴ（ｆｘ²＋ｆｙ²）の算定式により得られ、エッジ方向（グラジエントの方向）は、ｔａｎ^-1（ｆｘ／ｆｙ）の算定式により得られる。なお、上記「ＳＲＱＲＴ」は２乗平方根を示している。ただし、エッジ強度とエッジ方向を算定することができればいかなる微分オペレータを用いることもできる。

このようにして、エッジ画像データ３２を得たならば、エッジ位置補正処理を行い（ステップＳ１０３）、図４に示す位置補正エッジ画像データ３３を取得する。かかるエッジ位置の補正を行う理由は、一次微分の微分オペレータエッジ部分に適用すると２画素のエッジが検出されてしまい、見かけ上文字を形成する線分の文字幅が太くなってしまうからである。本実施例１では、この位置補正エッジ画像データ３３の濃度を補正したエッジ画像データ３４を擬似的な文字画像データとして取り扱う関係上、エッジ画像データ３２のエッジ位置を本来のエッジ位置に戻す必要があるのである。この意味で、以下ではエッジ画像データ３４を疑似文字画像データ３４と言う。

具体的には、図６に示すように、文字幅が４画素の縦線からなる文字画像データ５１に微分オペレータを適用してエッジ画像データ５２を取得すると、エッジ画像データ５２内の各エッジのエッジ位置をエッジ方向を利用して文字内部方向に一画素分シフトする補正を行い、位置補正エッジ画像データ５３を取得する。この位置補正エッジ画像データ５３は、同図に示す文字画像データ５１と同様のデータとなるため、この位置補正エッジ画像データ５３の画素値を変換した疑似文字画像データを文字画像データ５１の代替えとして利用することができる。

このようにして、位置補正エッジ画像データ３３を得たならば、この位置補正エッジ画像データ３３に対して画素値補正処理を行って（ステップＳ１０４）、図４に示した疑似文字画像データ３４を取得する。この疑似文字画像データ３４は、厳密に言うとエッジ部分にのみ画素値を持つエッジ画像データであるが、本実施例１では、このエッジ画像データを擬似的に文字画像データとしての扱いとしている。その理由は、本来文字画像データを微分すると文字の中心部が中抜けしたエッジのみで形成されるエッジ画像データとなるが、このエッジを文字内部方向に位置補正すると、文字幅を本来の文字幅に戻せるだけではなく文字幅が５画素以内の場合には文字の中抜けを解消できるため、エッジ画像データとしてではなく文字画像データとして取り扱えるためである。

図８は、画素値補正処理手順を示すフローチャートであり、同図に示すように、画素値補正処理を行う際には、図７に示すように位置補正エッジ画像データ３３の濃度ヒストグラムを生成し（ステップＳ２０１）、生成した濃度ヒストグラムを用いて閾値Ｔ１と閾値Ｔ２を決定する（ステップＳ２０２）。

そして、位置補正エッジ画像データ３３の各画素の画素値が閾値Ｔ１以上である場合には（ステップＳ２０３肯定）、この画素が背景画素であるとみなしてその画素値を「２５５」とし（ステップＳ２０４）、位置補正エッジ画像データ３３の各画素の画素値が閾値Ｔ２以下である場合には（ステップＳ２０５肯定）、この画素が文字画素であるとみなしてその画素値を「０」とする（ステップＳ２０６）。

かかる一連の処理を位置補正エッジ画像データ３３の全ての画素について繰り返し（ステップＳ２０７肯定）、全ての画素について処理を行ったならば（ステップＳ２０７否定）処理を終了する。これにより、文字画素の画素値は「０」すなわち黒画素となり、背景画素の画素値は「２５５」すなわり白画素となるため、背景の影響が除去されることになる。

なお、ここでは位置補正エッジ画像データ３３の各画素の画素値Ａが閾値Ｔ２〜Ｔ１の間である場合には何らの処理も行わないこととしたが、Ａ×（２５３／（Ｔ１−Ｔ２））の算定式を用いて画素値１〜２５４の値に変換することもできる。

上述してきたように、本実施例１では、文字画像処理部１６ｃが、記憶部１５から文字画像データ３１を読み出し、この文字画像データにエッジ抽出処理を行ってエッジ画像データ３２を取得し、このエッジ画像データ３２のエッジのエッジ位置を文字内部方向に補正して位置補正エッジ画像データ３３を作成し、この位置補正エッジ画像データ３３に画素値補正処理を行って背景の影響を除去した疑似文字画像データ３４を取得するよう構成したので、携帯電話端末１０で撮影した文字画像データ３１のコントラストが悪い場合に、かかる文字画像データ３１から効率的かつ簡易に適正な疑似文字画像データ３４を取得することが可能となる。

ところで、上記実施例１では、疑似文字画像データ３４を文字画像データ３１の代替えとして用いることとしたが、この疑似文字画像データ３４の本質がエッジ画像データであるために、文字幅が太くなると中抜けが生じてしまう。具体的には、図６に示したような文字幅が４画素である場合には位置補正により中抜けが生じないが、文字幅が５画素以上である場合には位置補正したとしても中抜けが生じてしまう。そこで、本実施例２では、かかる中抜けを防止する場合について説明する。

図９は、本実施例２に係る携帯電話端末６０の構成を示す機能ブロック図である。ここでは、図１に示した携帯電話端末１０の構成部位と同様の機能を有する部分には同一符号を付すこととしてその詳細な説明を省略する。図９に示す携帯電話端末６０は、文字画像処理部６１の内部に中抜け防止処理部６２が設けられている点で携帯電話端末１０と異なる。

この中抜け防止処理部６２は、疑似文字画像データ３４内に含まれる文字の文字幅を求め、この文字幅が５画素未満である場合には中抜けが生じないため中抜け防止処理を行わず、文字幅が５画素以上である場合に中抜け処理を行うものである。

ここで、本実施例２では、撮像部１３により撮像された文字画像データ３１内に含まれる各文字の文字幅は均一であると仮定して、疑似文字画像データ３４内の全ての文字の文字幅を利用するのではなく、疑似文字画像データ３４内の特定の小領域に所在する文字の文字幅のみを利用する。このようにした理由は、通常は携帯電話端末１０の表示部１２に文字画像として表示する程度の文字数であれば同じ筆記具を用いて筆記されているものと想定され、また全ての文字を対象とすると却って処理負荷が大きくなるためである。

具体的には、図４に示した疑似文字エッジ画像データ３４を用いると効率的に文字幅を判定することができる。例えば、文字幅が「５画素」であると判定された場合には、微分オペレータの適用及びエッジ位置補正により４画素のエッジが存在し、エッジ間すなわち文字画素間には「１画素」の背景画素が存在するはずである。このため、各エッジ間に１画素の背景画素が存在するケースが多い場合には文字幅が「５画素」であると判定する。同様に、各エッジ間に「２画素」の背景画素が存在するケースが多い場合には文字幅が「６画素」であると判定し、エッジ間に背景画素が存在しないケースが多い場合には文字幅が「４画素以下」であると判定する。

また、中抜け防止処理としては、求めた文字幅と同じ大きさのマスクパターンを使用するとともに、このマスクパターン上の対角に位置する画素が文字画素である場合にはその間の背景画素を文字画素の画素値に置き換える処理を行うことになる。なお、かかる中抜け防止処理を行うと、本来文字画素ではない背景画素についても文字画素とされる可能性があるが、文字画像データは利用者が文字を認識されできれば良いので問題がない。

特に、利用者が中抜けの生じる程度の太いペン先の筆記具を利用した場合には、用紙上に比較的大きな文字が描かれるのが通常であるので、背景画素の一部を文字画素としても文字判読上の影響は少ない。むしろ、携帯電話端末１０の処理性能を考慮すると、かかる軽易な処理とすることが望ましいのである。

図１０は、図９に示した中抜け防止処理部６２による中抜け防止処理手順を示すフローチャートである。同図に示すように、この中抜け防止処理部６２は、文字画像データ内に含まれる各文字の文字幅を判定する文字幅判定処理を行う（ステップＳ３０１）。

その後、判定した文字幅が５画素以上であるか否かを調べ（ステップＳ３０２）、この文字幅が４画素以下である場合には（ステップＳ３０２否定）、中抜け防止処理を行うことなく処理を終了する。

これに対して、判定した文字幅が５画素以上である場合には（ステップＳ３０２肯定）、疑似文字画像データ３４の文字画素と文字画素の間に（文字幅−４）個連接する背景画素が存在するか否かを調べ（ステップＳ３０３）、かかる背景画素が存在する場合には（ステップＳ３０３肯定）、この背景画素の画素値を文字画素の画素値に置換する（ステップＳ３０４）。なお、かかる背景画素が存在しない場合には（ステップＳ３０３否定）、ステップＳ３０５に移行する。

上記一連の処理を疑似文字画像データ３４の各画素について繰り返し（ステップＳ３０５）、全画素について背景画素の存在の確認を終えたならば（ステップＳ３０５肯定）、かかる中抜け防止処理を終了する。

上述してきたように、本実施例２では、疑似文字画像データ３４の一部の領域に含まれるエッジを用いて文字幅を判定し、判定した文字幅が４画素以下である場合に、中抜け防止処理を行うよう構成したので、迅速かつ効率的に疑似文字画像データ３４を中抜けのない適正な文字画像データとして取り扱うことができる。

なお、本実施例１及び２では、本発明を携帯電話端末１０に適用した場合を示したが、本発明はこれに限定されるものではなく、デジタルカメラ等の他の携帯端末に対しても適用することができる。また、本実施例１及び２では、手書き文字を撮像する場合について説明したが、本発明はこれに限定されるものではなく、書籍等に印刷された文字を撮像する場合にも同様に適用することができる。

さらに、本実施例１及び２では、携帯電話端末１０で撮像した文字画像データを一旦記憶部１５に格納した後に文字画像処理部１６ｃ及び６１による文字画像処理を行う場合を示したが、本発明はこれに限定されるものではなく、携帯電話端末１０で撮像した文字画像データを記憶部１５に格納することなく、メモリに展開した状態で文字画像処理部１６ｃ及び６１による文字画像処理を行うこともできる。

また、本実施例１及び２では、２種類の閾値Ｔ１及びＴ２を用いることとしたが、本発明はこれに限定されるものではなく、一種類の閾値Ｔのみを採用し、この閾値Ｔ以上の画素を背景画素とし、閾値Ｔ未満の画素を文字画素とすることもできる。

（付記１）携帯端末で文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う携帯端末用の文字画像処理装置であって、
前記文字画像データに含まれる文字のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段で抽出された各エッジのエッジ位置を文字内部方向に向けて補正するエッジ位置補正手段と、
前記エッジ位置補正手段で位置補正された各エッジ以外の背景の影響を除去する背景除去手段と
を備えたことを特徴とする文字画像処理装置。

（付記２）前記エッジ抽出手段は、文字画像データに対して微分オペレータを適用して該文字画像データに含まれる各エッジの画素値並びにエッジ方向を抽出し、前記エッジ位置補正手段は、前記エッジ抽出手段で抽出された各エッジのエッジ方向に基づいて該エッジのエッジ位置を文字内部方向に補正することを特徴とする付記１に記載の文字画像処理装置。

（付記３）前記背景除去手段は、前記エッジ位置補正手段で位置補正されたエッジ画像データの濃度ヒストグラムを生成する濃度ヒストグラム生成手段と、前記濃度ヒストグラム生成手段により生成された濃度ヒストグラムに基づいて背景画素の画素値とそれ以外の画素の画素値を区別する第１の閾値を算定する閾値算定手段と、前記エッジ画像データを形成する各画素の画素値が前記第１の閾値以上である場合には該画素の画素値を前記背景画素に付与する所定の画素値に変換する画素値変換手段とを備えたことを特徴とする付記１又は２に記載の文字画像処理装置。

（付記４）前記閾値算定手段は、前記濃度ヒストグラム生成手段により生成された濃度ヒストグラムに基づいて文字画素の画素値とそれ以外の画素の画素値を区別する第２の閾値を算定し、前記画素値変換手段は、前記エッジ画像データを形成する各画素の画素値が前記第２の閾値以下である場合には該画素の画素値を前記文字画素に付与する所定の画素値に変換することを特徴とする付記３に記載の文字画像処理装置。

（付記５）前記背景除去手段は、前記画素値変換手段により画素値が変換された各画素のうち文字画素であるにも係わらず背景画素の画素値が付与された画素の画素値を前記文字画素の画素値に変換して文字の中抜け防止処理を行う中抜け防止処理手段をさらに備えたことを特徴とする付記３又は４に記載の文字画像処理装置。

（付記６）前記中抜け防止処理手段は、前記文字画像データに含まれる文字の文字幅を算定する文字幅算定手段と、前記文字幅算定手段により算定された文字幅と前記エッジ位置補正手段で位置補正された各エッジの間隔とに基づいて文字画素であるにも係わらず背景画素の画素値が付与された画素を特定する特定手段と、前記特定手段により特定された画素の画素値を前記文字画素の画素値に変換する第２の画素値変換手段とを備えたことを特徴とする付記５に記載の文字画像処理装置。

（付記７）携帯端末で文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う文字画像処理方法であって、
前記文字画像データに含まれる文字のエッジを抽出するエッジ抽出工程と、
前記エッジ抽出工程で抽出された各エッジのエッジ位置を文字内部方向に向けて補正するエッジ位置補正工程と、
前記エッジ位置補正工程で位置補正された各エッジ以外の背景の影響を除去する背景除去工程と
を含んだことを特徴とする文字画像処理方法。

（付記８）文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う携帯端末用の文字画像処理プログラムであって、
前記文字画像データに含まれる文字のエッジを抽出するエッジ抽出手順と、
前記エッジ抽出手順で抽出された各エッジのエッジ位置を文字内部方向に向けて補正するエッジ位置補正手順と、
前記エッジ位置補正手順で位置補正された各エッジ以外の背景の影響を除去する背景除去手順と
をコンピュータに実行させることを特徴とする文字画像処理プログラム。

本発明にかかる文字画像処理装置及び文字画像処理方法は、携帯端末で撮影した手書き文字の画像データのコントラストが悪い場合に、かかる画像データから効率的かつ簡易に判読可能な手書き文字を内在する画像データを取得する場合に有用である。

本実施例１に係る携帯電話端末の構成を示す機能ブロック図である。 図１に示した携帯電話端末のハードウエア構成を示す図である。 図１に示した文字画像処理部の処理手順を示すフローチャートである。 図１に示した文字画像処理部による文字画像処理の適用例を示す図である。 エッジ抽出処理で用いる微分オペレータの一例を示す図である。 エッジ位置補正処理の概念を説明するための説明図である。 画素値補正処理で用いる閾値処理の説明図である。 画素値補正処理手順を示すフローチャートである。 本実施例２に係る携帯電話端末の構成を示す機能ブロック図である。 図９に示した中抜け防止処理部による中抜け防止処理手順を示すフローチャートである。 従来技術の問題を説明するための説明図である。

符号の説明

１０ 携帯電話端末
１１ 操作部
１２ 表示部
１３ 撮像部
１４ 無線通信部
１５ 記憶部
１６ 制御部
１６ａ 通信処理部
１６ｂ 撮像処理部
１６ｃ 文字画像処理部
２１ 操作ユニット
２２ 液晶パネル
２３ カメラ
２４ 無線通信ユニット
２５ 不揮発性メモリ
２５ａ 通信処理プログラム
２５ｂ 撮像処理プログラム
２５ｃ 文字画像処理プログラム
２６ ＣＰＵ
２６ａ 通信処理プロセス
２６ｂ 撮像処理プロセス
２６ｃ 文字画像処理プロセス
３１ 文字画像データ
３２ エッジ画像データ
３３ 位置補正エッジ画像データ
３４ 疑似文字画像データ
４１，４１ ソーベルの一次微分オペレータ
５１ 文字画像データ
５２ エッジ画像データ
５３ 位置補正エッジ画像データ
６０ 携帯電話端末
６１ 文字画像処理部
６２ 中抜け防止処理部

Claims (6)

1. 携帯端末で文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う携帯端末用の文字画像処理装置であって、
   前記文字画像データの各画素の画素値に基づいて、前記文字画像データの各画素のエッジ強度を示すエッジ画像データを取得することにより、前記文字画像データに含まれる文字のエッジを抽出するエッジ抽出手段と、
   前記エッジ画像データに対して、前記エッジ抽出手段で抽出された各エッジのエッジ位置を所定数画素分文字内部方向に向けて移動させることで、前記各エッジのエッジ位置を文字内部方向に向けて補正するエッジ位置補正手段と、
   前記エッジ位置補正手段で位置補正された前記エッジ画像データの各エッジ以外の背景の影響を除去する背景除去手段と
   を備えたことを特徴とする文字画像処理装置。
2. 前記エッジ抽出手段は、文字画像データに対して微分オペレータを適用して該文字画像データの各画素のエッジ強度並びにエッジ方向を算定することで前記エッジを抽出し、前記エッジ位置補正手段は、前記エッジ抽出手段で抽出された各エッジ位置における前記エッジ画像データの画素のエッジ方向に基づいて該エッジのエッジ位置を文字内部方向に補正することを特徴とする請求項１に記載の文字画像処理装置。
3. 前記背景除去手段は、前記エッジ位置補正手段で位置補正された前記エッジ画像データの各画素のエッジ強度に関するヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されたヒストグラムに基づいて、前記文字画像データの背景画素に対応する前記エッジ画像データの画素のエッジ強度とそれ以外の前記エッジ画像データの画素のエッジ強度とを区別する第１の閾値を算定する閾値算定手段と、前記エッジ画像データを形成する各画素のエッジ強度が前記第１の閾値以上である場合には該画素のエッジ強度を前記背景画素に付与する所定の画素値に変換する変換手段とを備えたことを特徴とする請求項１又は２に記載の文字画像処理装置。
4. 前記閾値算定手段は、前記ヒストグラム生成手段により生成されたヒストグラムに基づいて前記文字画像データの文字画素に対応する前記エッジ画像データの画素のエッジ強度とそれ以外の前記エッジ画像データの画素のエッジ強度とを区別する第２の閾値を算定し、前記変換手段は、前記エッジ画像データを形成する各画素のエッジ強度が前記第２の閾値以下である場合には該画素のエッジ強度を前記文字画素に付与する所定の画素値に変換することを特徴とする請求項３に記載の文字画像処理装置。
5. 前記背景除去手段は、前記変換手段により画素値が変換された各画素のうち文字画素であるにも係わらず背景画素の画素値が付与された画素の画素値を前記文字画素の画素値に変換して文字の中抜け防止処理を行う中抜け防止処理手段をさらに備えたことを特徴とする請求項３又は４に記載の文字画像処理装置。
6. 携帯端末で文字を撮像した文字画像データから背景の影響を除去して文字の鮮鋭化処理を行う携帯端末用の文字画像処理方法であって、
   前記文字画像データの各画素の画素値に基づいて、前記文字画像データの各画素のエッジ強度を示すエッジ画像データを取得することにより、前記文字画像データに含まれる文字のエッジを抽出するエッジ抽出工程と、
   前記エッジ画像データに対して、前記エッジ抽出工程で抽出された各エッジのエッジ位置を所定数画素分文字内部方向に向けて移動させることで、前記各エッジのエッジ位置を文字内部方向に向けて補正するエッジ位置補正工程と、
   前記エッジ位置補正工程で位置補正された前記エッジ画像データの各エッジ以外の背景の影響を除去する背景除去工程と
   を含んだことを特徴とする文字画像処理方法。

Images