JP4423076B2 - 認識対象切出し装置および方法 - Google Patents

Description

本発明は、文字認識のための認識対象切出し装置に関する。

文字認識すべき文字を含む画像から文字認識対象を切り出す方法として、文字認識対象を含む矩形領域を指定する方法があるが、文字認識精度を高めるために、より厳密な文字領域の切り出し、ノイズ除去が必要である。

文字領域に切り出しに関しては、画像内の連続した濃度の領域を囲む矩形領域設定し、所定の大きさ以下の矩形領域には文字が含まれないと判断し、除去する方法があった。

ノイズ除去に関しては、一般に、文字情報に関する画素濃度の上限、下限を設定し、この範囲外の画素を除去する方法がある。

また近年、情報処理装置の性能向上にともない、カラー画像が処理対象となるこが多くなってきており、色に着目したノイズ除去方法も提案されている。

例えば、特許文献１では、帳票等において予め色のついた文字枠を設け、色指定して文字領域と文字を切り出す方法が提案され、特許文献２では、指定したドロップアウトカラー以外の色のイメージを用いて文字を抽出する方法が提案されている。

特開平６−２０３２０４号公報 特開平５−２８３１４号公報

しかし、看板や雑誌を撮影した写真画像における文字認識を行う場合、文字の背景に絵やイラスト、模様等が配置されていることが多く文字情報の抽出が容易でない。特に文字と背景のコントラスト差や色調差が少ない場合には、文字情報のみを正確に抽出することは困難である。

また、領域の大きさで文字領域を判定する方法では、ノイズ領域の大きさに充分な規則性が存在せず、文字領域抽出性能として不完全であるため、画像の質によっては別個の文字が連結され、あるいいは１個の文字が分離され、文字領域の大きさが変化して、文字をノイズとして除去する可能性がある。

さらに、特許文献１や２の文字領域切り出し方法は、帳票以外の画像において良好な結果が得にくい。

本発明はこのような従来の問題点を解消すべく創案されたもので、認識対象領域のノイズを効果的に除去することを目的とする。

本発明によれば、認識対象領域のノイズを効果的に除去し得る。

上記課題を解決するための本発明は、処理対象画像から文字を含む認識対象領域を抽出する画像処理装置であって、処理対象画像を表示する表示手段と、
前記表示手段で表示された処理対象画像において、認識対象領域の輪郭をユーザに指定させる認識対象領域指定手段と、前記認識対象領域指定手段で指定された輪郭における各画素の色と、前記認識対象領域内の画素の色とを比較する比較手段と、前記比較手段によって比較した結果、前記認識対象領域の輪郭における画素の色との差が所定値以内である前記認識対象領域内の画素の色を所定の変換色に変換する色変換手段とを備える。

これによって、認識対象領域のノイズを効果的に除去し得る。

次に本発明に係る認識対象切出し装置および認識対象切出し方法の実施例１を図面に基いて説明する。

次に本発明に係る認識対象切出し装置の実施例を図面に基づいて説明する。

図１は、本発明に係る認識対象切出し装置の実施例１が適用された携帯型情報処理装置の外観を示す図、図２は、図１の携帯型情報処理装置における座標入力機能を有する表示器の使用状態を示す斜視図、。図３は、図１の携帯型情報処理装置のハードウェア構成を示すブロック図、図４は、図１の携帯型情報処理装置の処理を示す機能ブロック図、図５は、図１の携帯型情報処理装置で実施する認識対象切出し方法の実施例１を示すフローチャート、図６は、図５の認識対象切出し方法における透明化処理を示すフローチャート、図７は、図５の認識対象切出し方法における透明化処理の効果を示す図である。

［携帯型情報処理装置］
図１において、本発明に係る認識対象切出し装置である携帯型情報処理装置は、処理対象の画像や、種々のデータ、ＧＵＩ（グラフィカル・ユーザ・インターフェース）等を表示する液晶表示器１０２を有し、表示器１０２は、表面に座標指定のためのデジタイザ２０２（図２）が形成されている。

携帯型情報処理装置には、電源をＯＮ／ＯＦＦするための電源ＳＷ１０１、およびカーソルキー１０２、メニューキー １０４ 、終了キー１０５、決定キー１０６が設けられ、表示機１０２上のＧＵＩと協調して、携帯型情報処理装置に対する指示入力の選択等が可能である。

図２において、表示器２０１は、例えば横６４０ドット、縦４８０ドットの対角３．５インチフルカラー液晶表示器である。

デジタイザ２０２は、例えば周知の抵抗幕方式の座標入力手段であり、表示器２０１の表示面と平行に重ねて配置する。デジタイザ２０２に対する入力は、ペン２０３ をデジタイザ２０２の表面に圧力を加えることによって行い、この圧力を検出することによってペンの押し位置である座標値が入力される。

図３において、携帯型情報処理装置はバス４に接続されたＭＰＵ１を有し、ＭＰＵ１は、種々の演算、論理判断を実行し、バス４に接続された各構成要素を制御する。

ＭＰＵ１はプログラムメモリ２に格納されたプログラムを順次実行することによって、後述するフローチャート（図５、図６）に従った処理を実行する。

ＭＰＵ１の処理実行に際して使用し、あるいは生成されたデータはデータメモリ３に格納され、データメモリ３内部は、複数の画像データを格納するためのメモリー領域である画像メモリー３０１と、処理対象画像における認識対象領域の画像データを格納する認識対象画像メモリー３０２と、画像処理を実行する上で必要となる各種変数、乗数等を格納する領域である処理用レジスター３０３とに分割される。

ＭＰＵ１には、バス４あるいは別個のラインを通じて、表示機２０１およびデジタイザ２０２が接続されている。

［認識処理］
図４に示す携帯型情報処理装置による認識処理においては、画像メモリー３０１から読み出された処理対象画像を表示器２０１に表示し、ユーザはデジタイザ２０２を用いて、処理対象画像中の認識対象領域である文字領域を指定する（ステップＳ４０１）。

認識対象領域は認識対象画像メモリー３０２に書き込まれ、ステップＳ４０２によって、認識対象領域を、その輪郭画素情報に基づき塗り潰す。次にステップＳ４０３によって、認識対象領域について文字認識が実行され、認識結果４０４が得られる。

［認識対象切出し方法］
図５において、ステップＳ４０３の文字認識処理のための認識対象切出し方法ステップ（Ｓ４０１、Ｓ４０２）は以下のステップにより実行される。

ステップＳ５０１：処理対象画像を表示器２０１に表示し、ステップＳ５０２2でＰｅｎＤｏｗｎ（ペン２０３でデジタイザ２０２を押圧する。）が実行されるまで待機する。

ステップＳ５０２：ＰｅｎＤｏｗｎが検出されたか否か判断し、ＰｅｎＤｏｗｎが検出されたときはステップＳ５０３に進む。ＰｅｎＤｏｗｎでは、例えば認識対象領域を矩形領域とし、矩形領域の対角点を指定すする。

ステップＳ５０３：ステップＳ５０２で入力された対角点の座標のＸ座標ＸｍａｘおよびＸｍｉｎ、Ｙ座標Ｙｍａｘ、Ｙｍｉｎを取得する。

ステップＳ５０４：ＰｅｎＤｏｗｎが解除されたか否か判断し、ＰｅｎＤｏｗｎが解除されたときはステップＳ５０５に進む。ＰｅｎＤｏｗｎが解除されていないときはステップＳ５０３に戻る。

ステップＳ５０５：認識対象領域をＢＵＦＦ１（認識対象画像メモリー３０２）に格納する。

ステップＳ５０６：認識対象領域の幅、高さをカウントし、処理用レジスタ３０３における変数ｘ、ｙに幅、高さをそれぞれ格納する。

ステップＳ５０７：透明化処理（図６）を起動し、認識対象領域について透明化処理を実行し、認識処理へ進む。
図6において、ステップＳ５０７の透明化処理は以下のステップによって実行され、認識対象領域内の各画素を透明化する。

ステップＳ６０１：ステップＳ５０７で透明化処理が起動されると、Ｙ＝０、Ｘ＝０に設定することによって、Ｘ、Ｙを初期化する。これによって、最初の処理対象画素を、認識対象領域内の座標（０，０）の画素（認識対象領域の左上端）に初期化する。

ステップＳ６０２：処理対象画素が透明か否か判断し、透明でないときには、ステップＳ６０３に進む。処理対象画素が透明であったときはステップＳ６０４にジャンプする。

ステップＳ６０３：処理対象画素の色と略同じ色の画素を領域内から検索して透明に塗り潰し、ステップＳ６０４に進む。

なお、塗り潰し色（変換色という。）は、文字色との識別が容易な任意の色を採用でき、本実施例では変換色として透明色を使用する。

つまり、ペンで認識対象領域の輪郭を指定したときに、ペンで指示した領域の輪郭画素の色と略等しい色の画素を塗り潰すことになる。なお、塗り潰しの条件として、ペンで指示した画素の色と略等しい色の画素が連続して繋がっていることを条件に加えてもよい。

色が略同一か否かの判断は、例えば、色のＲＧＢ成分についてハミング距離、ＲＧＢ成分に重みを付けたハミング距離等によって評価、判断する。

ステップＳ６０４：Ｘ＝Ｘ＋１として、Ｘ座標を１進め、ステップＳ６０５に進む。

ステップＳ６０５：ＸがＸＭＡＸ（認識対象領域の右端）に到達したか否か判断する。Ｘ＝ＸＭＡＸのときはステップＳ６０６に進み、Ｘ＜ＸＭＡＸのときはステップＳ６０２に戻る。

ステップＳ６０６：ＹがＹＭＡＸ（認識対象領域の下端）であるか否かを判断する。Ｙ＝ＹＭＡＸのときはステップＳ６０８に進み、Ｙ＜ＹＭＡＸのときはステップＳ６０７に戻る。

ステップＳ６０７：ＹにＹＭＡＸを代入し、ステップＳ６０２に戻る。

ステップＳ６０８：Ｙ＝０、Ｘ＝０に設定することによって、Ｘ、Ｙを初期化する。これによって、処理対象画素を、認識対象領域内の座標（０，０）の画素（認識対象領域の左上端）にする。

ステップＳ６０９：処理対象画素が透明か否か判断し、透明でないときには、ステップＳ６１０に進む。処理対象画素が透明であったときはステップＳ６１１にジャンプする。

ステップＳ６１０：処理対象画素の色と略同じ色の画素を領域内から検索して、透明に塗り潰し、ステップＳ６１１に進む。なお、塗り潰しの条件として、ペンで指示した画素の色と略等しい色の画素が連続して繋がっていることを条件に加えてもよい。

ステップＳ６１１：Ｙ＝Ｙ＋１として、Ｙ座標を１進め、ステップＳ６１２に進む。

ステップＳ６１２：ＹがＹＭＡＸ（認識対象領域の下端）に到達したか否か判断する。Ｙ＝ＹＭＡＸのときはステップＳ６１３に進み、Ｙ＜ＹＭＡＸのときはステップＳ６０９に戻る。

ステップＳ６１３：ＸがＸＭＡＸ（認識対象領域の右端）であるか否かを判断する。Ｘ＜ＸＭＡＸのときはステップＳ６１４に進み、Ｘ＝ＸＭＡＸのときは処理を抜ける。

ステップＳ６１４：ＸにＸＭＡＸを代入し、ステップＳ６０９に戻る。

以上の透明化ルーチンによって、ペンで指定された認識対象領域の輪郭画素の色と略同一色の画素は透明色に変換される。

図7において、画像メモリー３０１から読み出された処理対象画像７０１には背景画像中に「ｈｔｔｐ：／／ｗｗｗ．ａｂｃｄｅ．ｃｏ．ｊｐ」の文字７００が含まれており、ユーザは、ステップＳ７０１において、文字７００を含む認識対象領域７０２（処理対象画像７０１中では、破線７１０で示す。）を指定する。

認識対象領域７０２は一旦認識対象画像メモリー３０２に格納されてから読み出される。認識対象領域７０２には、背景画像の画素よりなるノイズＮが含まれ、ステップＳ７０３の透明化処理（図６）により、背景画像の画素を透明にする。

透明化処理により、認識対象領域７０２はノイズ除去画像７０４となり、鮮明な文字７００のみの画像となる。

図８は、ステップＳ６０３及びＳ６１０の塗りつぶし処理の詳細を示すフローチャートである。

塗りつぶし処理の方法は以下の各ステップにより実行される。なお、当該塗りつぶしの処理対象となっている輪郭画素の色は、ステップＳ６０２或いはＳ６０９で取得されているものとする。

ステップＳ８０１：まず認識対象領域における塗り潰しの比較対象となる処理対象画素をＸ＝０、Ｙ＝０に初期化し、ステップＳ８０２に進む。

ステップＳ８０２：処理対象画素が既に変換色（透明色）なっているか否か判断する。変換色のときはステップＳ８０５にジャンプし、変換色でないときはステップＳ８０３に進む。

ステップＳ８０３：処理対象画素の色が、当該輪郭画素の色と近いか否か判断する。処理対象画素の色が、当該輪郭画素の色と、所定の距離以下ならば、ステップＳ８０４に進み、そうでなければステップＳ８０４に進む。

ステップＳ８０４：処理対象画素を変換色で塗り潰し、ステップＳ８０５に進む。

ステップＳ８０５：処理対象画素のＸ座標を「１」進め、ステップＳ８０６に進む。

ステップＳ８０６：処理対象画素のＸ座標がＸＭＡＸを越えたか否か判断する。ＸＭＡＸを越えたときはステップＳ８０７に進み、そうでなければステップＳ８０２に戻る。

ステップＳ８０７：処理対象画素において、Ｘ座標を０に初期化し、Ｙ座標を「１」進めて、ステップＳ８０８に進む。

ステップＳ８０８：処理対象画素のＹ座標がＹＭＡＸを越えたか否か判断する。ＹＭＡＸを越えたときはそのまま処理を終了し、そうでなければステップＳ８０２に戻る。

以上のとおり、本発明を施すことにより認識対象の文字を完全に含む認識対象領域を設定し、認識対象領域の輪郭上の画素を背景（ノイズ）とみなし、輪郭上の画素と略同一色の画素を認識対象領域内で変換色に塗り潰すので、認識対象領域内のノイズを除去し得る。

なお、認識対象領域の輪郭上に存在しない画素はノイズ判断の対象外となるので、本発明の処理と併用して、複数のノイズ除去アルゴリズムを適用することにより、きわめて効果的な認識対象（文字）切出しが可能である。

本発明に係る認識対象切出し装置の実施例１が適用された携帯型情報処理装置の外観を示す図である。（実施例１） 図１の携帯型情報処理装置における座標入力機能を有する表示器の使用状態を示す斜視図である。（実施例１）。 図１の携帯型情報処理装置のハードウェア構成を示すブロック図である。（実施例１） 図１の携帯型情報処理装置の処理を示す機能ブロック図である。（実施例１） 図１の携帯型情報処理装置で実施する認識対象切出し方法の実施例１を示すフローチャートである。（実施例１） 図５の認識対象切出し方法における透明化処理を示すフローチャートである。（実施例１） 図５の認識対象切出し方法における透明化処理の効果を示す図である。（実施例１） 塗りつぶし処理の詳細を示すフローチャートである。（実施例１）

符号の説明

１：ＭＰＵ
２：プログラムメモリ
３：データメモリ
４：バス
５：表示器
６： 指示入力部

Claims (8)

1. 処理対象画像から文字を含む認識対象領域を抽出する画像処理装置であって、
   処理対象画像を表示する表示手段と、
   前記表示手段で表示された処理対象画像において、認識対象領域の輪郭をユーザに指定させる認識対象領域指定手段と、
   前記認識対象領域指定手段で指定された輪郭における各画素の色と、前記認識対象領域内の画素の色とを比較する比較手段と、
   前記比較手段によって比較した結果、前記認識対象領域の輪郭における画素の色との差が所定値以内である前記認識対象領域内の画素の色を所定の変換色に変換する色変換手段と、
   を備えた画像処理装置。
2. 前記変換色は透明色であることを特徴とする請求項１記載の画像処理装置。
3. 前記色変換手段によって変換された認識対象領域に対して、文字認識処理を実行する文字認識手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 処理対象画像から文字を含む認識対象領域を抽出する画像処理方法であって、
   処理対象画像を表示する表示ステップと、
   前記表示ステップで表示された処理対象画像において、認識対象領域の輪郭をユーザに指定させる認識対象領域指定ステップと、
   前記認識対象領域指定ステップで指定された輪郭における各画素の色と、前記認識対象領域内の画素の色とを比較する比較ステップと、
   前記比較ステップによって比較した結果、前記認識対象領域の輪郭における画素の色との差が所定値以内である前記認識対象領域内の画素の色を所定の変換色に変換する色変換ステップと、
   を備えた画像処理方法。
5. 前記変換色は透明色であることを特徴とする請求項４記載の画像処理方法。
6. 前記色変換ステップによって変換された認識対象領域に対して、文字認識処理を実行する文字認識ステップを更に有することを特徴とする請求項４または５に記載の画像処理方法。
7. 請求項４に記載の画像処理方法をコンピュータにより実行させることを特徴とするプログラム。
8. 請求項７に記載のプログラムが格納されたコンピュータ読み取り可能な記憶媒体。

Images