JP2011248702A - 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記憶媒体 - Google Patents

Abstract

【課題】カラー画像より色分けされた領域を、効率的に高精度に抽出する画像処理装置を提供する。
【解決手段】画像から領域を抽出する画像処理装置において、画像をマトリックス状に分割し、分割した範囲の画素の集合から１つの画素を生成して縮小画像を生成する縮小画像生成手段と、前記縮小画像の色情報を所定の値にクラスタリングするクラスタリング手段と、同じ値を有するクラスタを領域として抽出する色領域抽出手段と、抽出した領域の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段により抽出された輪郭から、色分けされた原画像の領域の輪郭を特定する輪郭特定手段とを備える。
【選択図】図１

Description

本発明は、カラー画像において色分けされた領域を抽出する方法、およびその方法を実施するための画像処理装置等に関する。

スキャナやカメラ等で紙の文書を取り込んだ画像を入力データとして、文字認識を行う装置が種々考案されている。例えば、新聞、雑誌、論文などの紙文書から必要な情報を保存する場合、紙ではかさばるため、スキャナなどで画像データに変換して保存しておくことが一般に行われているが、後に保存した画像データから特定の文書を検索するためには、紙面に含まれる文字情報を認識して記憶、保管しておくことが必要になる。あるいは、画像データとして取り込んだ紙面に含まれる文字情報を認識し、特定の文字列を抽出して保存することにより、キー入力の煩わしさを少なくして携帯情報端末などに特定の情報を登録する、という用途にも文字認識の技術が用いられている。

ところで、紙文書の中でも雑誌などのカラー紙面では、背景の色によって１つのまとまりのある領域を表したり、部分的に背景を文書全体の地の色とは別の色にすることによって、文書の一部を強調することがある。

このようなカラー紙面を対象とした文字認識装置では、文字認識を行う前処理として色背景が同じ領域ごとにカラー紙面を分割し、その領域ごとに認識処理を行うことが望ましい。なぜなら一般に文字認識装置は、入力多値画像を前景色と背景色に分離して２値画像を生成し、前景色で描かれた部分を文字として文字認識を行うことが多いが、カラー画像に対して前述のように色背景が異なる領域を分離する処理を行わずに２値画像を生成した場合、２値画像上では別の色背景となっているという情報が失われ、本来分離すべき情報であるにも関わらず１つのまとまりとして文字認識されてしまい、精度良く必要な情報を抽出することができないという問題が発生するためである。

あるいは、文書の一部を強調する目的で異なる色領域になっている場合では、しばしば色背景と文字色の濃淡が逆転しており、この領域を他の領域と同じ処理で２値化した場合、文字色と背景色が逆転した２値画像になってしまい、文字認識ができないなどの問題が発生するためである。

色が異なる領域を分離し、類似した色で構成される領域を抽出するための技術としては、色空間クラスタリング法、領域拡張法などが一般的である。

色空間クラスタリング法は、入力された画像の画素を、ＲＧＢ、ＹＵＶなどの色空間においてＫ−ｍｅａｎｓ法やＩＳＯＤＡＴＡ（Ｉｔｅｒａｔｉｖｅ Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｄａｔａ Ａｎａｌｙｓｉｓ Ｔｅｃｈｎｉｑｕｅ Ａ）法などの手法でクラスタリングを行い、同色とみなせる画素の集合を１つの領域とする方法である。

領域拡張法は、入力された画像について、画素の色情報を近傍の画素と比較し、色情報の差が閾値よりも小さければ同じ領域とするという処理を、どの領域にも属さない画素がなくなるまで繰り返すことにより、色が異なる領域を分離する方法である。

しかしながら、上述の従来の技術には以下のような問題点がある。カラー印刷物はＣＭＹＫと呼ばれる４色の網点を紙面に配置することにより、色を表現することが一般的である。網点は非常に細かいため、人間の目には個々の点を識別することはできず、１つの色として見えるため、網点の配置方法によってさまざまな色を表現することができる。しかし、近年はデジタルカメラや携帯情報端末に搭載されているカメラなどの高画素化が進んでおり、このような高解像度のデバイスでカラー印刷物からカラー画像を取得した場合、人の目には同じ色に見える領域であっても、取得された画素の分布によってはばらつきが生じることがある。そのため取得した画像に対して色空間クラスタリング法を行った場合、画素のばらつきによって人の目には同色である領域の画素が同色とみなされず、精度よくクラスタリングをすることが難しいという問題が発生する。また領域拡張法においても、人の目には同色である領域でも隣接する画素の色の違いが大きくなってしまい、うまく色領域を分離することができないという問題が発生する。さらに、どちらの手法においても画像全体のすべての画素を対象として処理を行うため、高画素数の画像は処理時間が大きくなるという問題もある。

このような問題に対応するために、特許文献１では、カラー原画像から縮小画像を作成し、縮小画像で同じ色とみなせる領域を求め、同じ色とみなされた領域において、その領域の色の種類、色の種類の数、代表色を求め、それに対応する原画像の中において、縮小画像で抽出した色に近い画素を探索し、領域を抽出することを特徴とするカラー画像処理装置及びパターン抽出装置を提案している。

この装置によれば、縮小画像で抽出した色だけに注目してその領域に対応する原画像の領域を抽出するため、原画像全体の全ての画素を対象として処理を行う従来の方法より、処理時間が短縮できる。

特開平 １１−２８８４６５号公報

しかしながら、特許文献１では、縮小画像で同じ色とみなされる領域を求め、その領域において、その領域の色の種類、色の種類の数、代表色を求めているが、色の種類、色の種類の数を求めるために、縮小画像上で求めた同色領域を探索してその中の色の種類を全て調査している。また代表色を求めるために、色の種類ごとに頻度分布を求め、最頻値を代表値とする方法が記載されているが、これらの値を求めるためには、同色領域内の全ての画素を調査してヒストグラムなどを作成する必要があるため処理時間がかかる。

また、同文献では縮小画像で求めた領域から、それに対応する原画像の外接矩形を求め、その内部で代表色に近い画素を探索することによって、処理時間を短くしている。確かに、縮小画像で求めた領域が四角形に近い場合は原画像の外接矩形も似たような形状になるため、原画像の探索領域内に同色領域に属さない画素が少なくなり、探索領域を絞ることができる。しかし、縮小画像で求めた領域が四角形に近くない複雑な形状の場合は、対応する原画像の外接矩形では同色領域に属さない画素が多くなるため、同色領域の探索範囲をそれほど大きく絞ることはできず、原画像の外接矩形内のすべての画素について、その領域の代表色や求めた色の種類全てと比較して、同じ領域に属するかを探索しなければならないことから、画素数による処理時間の増大という問題を解決できない場合も多い。また、文字情報は、通常、四角形に近い領域に記録されていることが多いため、複雑な形状の領域を抽出しても、文字認識のための抽出という点では不要となる場合も多い。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、色のばらつきを小さくした縮小画像を用いて効率的にかつ精度よく、色分けされた領域を抽出することができる画像処理装置を提供することにある。

また、本発明の更なる目的は、抽出した領域から文字領域になりえないような領域を除くことで処理時間をさらに短縮できる画像処理装置を提供することにある。

前記の課題を解決するために、本発明に係る画像処理装置は、画像から領域を抽出する画像処理装置において、画像をマトリックス状に分割し、分割した範囲の画素の集合から１つの画素を生成して縮小画像を生成する縮小画像生成手段と、前記縮小画像の色情報を所定の値にクラスタリングするクラスタリング手段と、同じ値を有するクラスタを領域として抽出する色領域抽出手段と、抽出した領域の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段により抽出された輪郭から、色分けされた原画像の領域の輪郭を特定する輪郭特定手段とを備えることを特徴としている。

また、本発明に係る画像処理装置は、前記縮小画像生成手段は、分割した範囲の画素集合の平均値を縮小画像の画素とすることを特徴としている。

また、本発明に係る画像処理装置は、同じクラスタに属する画素の連結を膨張または収縮するクラスタ膨張収縮手段を備えることを特徴としている。

また、本発明に係る画像処理装置は、前記色領域抽出手段が、同じクラスタに属する画素を連結した領域の画素数が所定の値より小さい領域を抽出しないことを特徴としている。

また、本発明に係る画像処理装置は、前記色領域抽出手段が、同じクラスタに属する画素を連結した領域の形状を評価し、評価値に合致しない領域を抽出しないことを特徴としている。

また、本発明に係る画像処理方法は、画像から領域を抽出する画像処理方法において、画像をマトリックス状に分割し、分割した範囲の画素の集合から１つの画素を生成して縮小画像を生成する縮小画像生成ステップと、前記縮小画像の色情報を所定の値にクラスタリングするクラスタリングステップと、同じ値を有するクラスタを領域として抽出する色領域抽出ステップと、抽出した領域の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出された輪郭から、色分けされた原画像の領域の輪郭を特定する輪郭特定ステップと
を備えることを特徴としている。

また、本発明に係る画像処理プログラムは、画像から領域を抽出する画像処理プログラムにおいて、画像をマトリックス状に分割し、分割した範囲の画素の集合から１つの画素を生成して縮小画像を生成する縮小画像生成ステップと、前記縮小画像の色情報を所定の値にクラスタリングするクラスタリングステップと、同じ値を有するクラスタを領域として抽出する色領域抽出ステップと、抽出した領域の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出された輪郭から、色分けされた原画像の領域の輪郭を特定する輪郭特定ステップとをコンピュータに実行させることを特徴としている。

また、本発明に係る記憶媒体は、上記前記画像処理プログラムを記憶したことを特徴としている。

本発明の画像処理装置によれば、色のばらつきを小さくした縮小画像を用いて効率的にかつ精度よく、色分けされた領域を抽出することができ、さらに、抽出した領域から文字領域になりえないような領域を除くことで処理時間を短縮することができる。

実施の形態に係る画像処理装置の構成を示すブロック図である。 実施の形態に係る処理の流れを示すフローチャートである。 実施の形態に係るクラスタマップである。 画素のノイズのあるクラスタマップの一例である。 実施の形態に係るクラスタマップである。 実施の形態に係るクラスタマップである。 実施の形態に係るクラスタマップである。 実施の形態に係る色領域マップである。 実施の形態に係る輪郭抽出処理についての説明図である。 実施の形態に係る輪郭抽出処理についての説明図である。 色領域の輪郭線が複雑に入り組んだ例である。 実施の形態に係る原画像における色領域を示す図である。 実施の形態に係る縮小画像において抽出した色領域を原画像に対応づけた図である。 実施の形態に係る色領域の輪郭線の方向を表した図である。 実施の形態に係る輪郭線の抽出範囲が設定された範囲を示した図である。 実施の形態に係るエッジ方向テーブルの一例を示した図である。 輪郭抽出処理におけるＰｒｅｗｉｔｔの方法を示す図である。

以下、本発明における画像処理装置の実施の形態に関して、カラー紙面から色分けされた文字領域を抽出する例について、図面を用いて以下に説明する。なお、本発明の図面において、同一の参照符号は、同一部分または相当部分を表わすものとする。

図１は、本発明を実施するための画像処理装置の構成を示すブロック図である。本発明の画像処理装置は、カラー画像を入力する画像入力部１０１、入力したカラー画像を記憶する画像メモリ１０２、画像メモリ１０２に記憶されたカラー画像よりグレースケール画像データを生成するグレースケール画像生成部１０３、生成されたグレースケール画像を記憶するグレースケール画像メモリ１０４、画像メモリ１０２に記憶されたカラー画像より縮小画像データを生成する縮小画像生成部１０５、生成された縮小画像を記憶する縮小画像メモリ１０６、縮小画像の色情報をクラスタリングするクラスタリング部１０７、同じクラスタに属する画素の連結の膨張または収縮を行うクラスタ膨張収縮部１０８、同じクラスタに属する画素の連結を領域として抽出する色領域抽出部１０９、色情報のクラスタリング分類や抽出した色領域を記憶する色領域メモリ１１０、色領域メモリ１１０に記憶された色領域に対して、所定の条件に合致した色領域を消去する色領域消去部１１２、抽出した色領域の輪郭を追跡し、輪郭画素を抽出する輪郭抽出部１１１、輪郭画素が対応するカラー画像の範囲を設定する輪郭特定範囲設定部１１３、輪郭画素のエッジ方向を記憶するエッジ方向テーブル１１４、設定したカラー画像の輪郭特定範囲よりカラー画像の色領域の輪郭を特定する輪郭特定部より構成されている。

図２は本発明の全体の処理の流れを示したフローチャートである。まず、画像処理装置を起動し、画像入力部１０１において、カラー紙面をＣＣＤカメラやスキャナなどの電子データに変換して入力し、カラー画像（以下では原画像と呼ぶ）として画像メモリ１０２に記憶する（ステップＳ２０１）。なお、本実施の形態では、Ｒ，Ｇ，Ｂによりカラー画素を表現している場合について説明するが、ＹＵＶやＨＳＶなど他の表色系を用いてもよい。

次にグレースケール画像生成部１０３において、画像メモリ１０２に記憶された原画像よりグレースケール画像を生成し、グレースケール画像メモリ１０４に記憶する（ステップＳ２０２）。グレースケール画像を生成する処理としては、Ｒ，Ｇ，Ｂの加重平均によって輝度値を計算して画像値とするなどの方法がある。

続いて縮小画像生成部１０５において画像メモリ１０２に記憶された原画像より縮小画像を生成し、縮小画像メモリ１０６に記憶する（ステップＳ２０３）。縮小画像を生成する処理は、例えば以下のような方法がある。

画像メモリ１０２に記憶された原画像のＮ×Ｎ画素を１画素とする縮小画像を生成するためには、原画像をＮ×Ｎ画素ごとのマトリクス状に区切り、区切られた各範囲内にある画素の値について、Ｒ，Ｇ，Ｂごとに平均値を算出し、その平均値のＲ，Ｇ，Ｂにより、１つの画素を割り当てる。ここでＮが小さすぎる場合は、縮小画像の総画素数が多くなるため、以降の処理において時間がかかり、またカラー印刷物の網点が荒い場合は、縮小画像の画素のばらつきが大きくなるため、後述するクラスタリングにおいて精度も悪くなる。また、Ｎが大きすぎる場合は小さい色領域を抽出することが難しくなる。一般的にはＮは４〜１６程度で、入力対象画像に応じた値を選択することが望ましい。このように縮小画像を用いることにより、効率よく色分けされた領域を抽出することができる。また、原画像の画素の平均値を縮小画像とすることにより、原画像における色のばらつきを小さくした縮小画像を用いて精度よく色分けされた領域を抽出することができる。

次にクラスタリング部１０７は縮小画像メモリ１０６に記憶された縮小画像の色情報を抽出し、クラスタリング処理を行う。クラスタリングとは、データ集合において、何らかの特徴空間上で分布の群れ（クラスタ）を見つけることである。本発明においては、色空間のクラスタリングによりクラスタリング処理を行い、縮小画像上の画素をクラスタに分類し、その分布状況を示すクラスタマップを作成し、色領域メモリ１１０に記憶する（ステップＳ２０４）。色空間のクラスタリングの具体的な方法については、Ｋ−ｍｅａｎｓ法やＩＳＯＤＡＴＡ法などの既存の手法を用いればよい。

図３はクラスタマップの一例を表しており、番号０から３までの４色のクラスタに分類されている。本発明では画像全体と違う色領域を抽出することが目的であるため、これ以降の処理は背景色以外のクラスタに対して行う。一般的な紙面の画像を取り込んだ場合、背景色は白である場合が多いが、カラー印刷物の種類によってさまざまな色が考えられるため、分類したクラスタの中でもっとも属している画素数が多いものを選べばよい。図３の例においては、０番が背景色を表すクラスタであると判断する。

次にクラスタ膨張収縮部１０８はクラスタマップに対して個々のクラスタごとに膨張処理や収縮処理を行う（ステップＳ２０５）。膨張処理とは、ある図形成分の境界画素に接する背景成分中の画素の値を図形成分の画素の値に変換して一画素分膨らませる処理である。逆に収縮処理とは、ある図形成分の境界にある画素の値を全て背景成分の画素に変換して一画素分縮める処理である。これらの処理は、画素の欠けや、不要な画素などのノイズ除去を目的に行われる。本実施の形態では、対象とするクラスタに属する画素の集合を膨らませることを膨張処理、縮めることを収縮処理とする。

図４は、画素のノイズのあるクラスタマップの一例である。この例では、ノイズによって０番のクラスタに２箇所の不要な孤立画素１０があり、２番のクラスタは本来長方形であるはずの形状に一部、画素の欠け１１が生じている。後述する次のステップＳ２０６の色領域抽出処理では、クラスタマップの個々のクラスタごとにラベリング処理（連結している画素に同じラベルを付加する処理）を行い、連結領域を抽出して色領域とするため、このままでは領域の一部が欠けたり、不要な小領域が抽出されること起こりうる。そこで、クラスタマップに対して個々のクラスタごとに膨張処理や収縮処理を行い、ノイズ除去を行う。

図５は、図４のクラスタマップに対して膨張処理を行った後のクラスタマップである。図４のクラスタマップに対してクラスタごとに８近傍（上下左右斜め方向の周辺）の膨張処理を行っている。

図６は、図５のクラスタマップに対して収縮処理を行った後のクラスタマップである。図４のクラスタマップに対して膨張処理を行った後、この状態で、さらに、８近傍の収縮処理を行うと、図６のようなクラスタマップが作成され、図４において画素の欠け１１として存在していた２番のクラスタの欠けた部分が埋まり、本来の長方形の領域を抽出することができる。

図７は、図６のクラスタマップに対して収縮処理した後に膨張処理を行った後のクラスタマップである。このような処理により、図４において孤立画素１０として存在していた１番のクラスタの２箇所の不要な領域が除去される。

このように膨張収縮処理を行うことにより、クラスタリングの段階でクラスタ分布に欠けや余分な画素が存在した場合でも、精度よく色分けされた領域を抽出することができる。

次に色領域抽出部１０９は、色領域メモリ１１０に記憶されたクラスタマップの個々のクラスタごとにラベリング処理を行い、連結領域を抽出し、色領域マップを作成して色領域メモリ１１０に記憶する（ステップＳ２０６）。その際に、色分けされた文字領域になりえないような小さな領域を除くため、抽出した連結領域についてその連結領域を構成する画素数をカウントし、画素数があらかじめ定められた閾値より多い領域にのみ色領域メモリ１１０に記憶する。この閾値は、縮小画像に応じて、文字領域になりえないと判定する値を適宜設定すればよい。このように、抽出した色領域から色分けされた文字領域になりえないような小さな領域を抽出しないことにより、処理時間を短縮することができる。

図８は、図３のクラスタ分類に対して背景色以外のクラスタについてラベリング処理を行い、色領域マップを作成した結果である。この例においてはＲ２とＲ３のクラスタが連結しているが、クラスタが異なる領域が連結していても別のラベルとしてラベリングを行う。そしてこれらのラベルに一意の番号Ｒ１からＲ４を振って、色領域マップを作成し、色領域メモリ１１０に記憶する。

次のステップＳ２０７からＳ２１０までの処理は、ステップＳ２０６で抽出した色領域ごとに行う。

まず、輪郭抽出部１１１は、色領域メモリ１１０に記憶された色領域マップを用いて、縮小画像で色領域の輪郭となる画素を抽出するために輪郭抽出処理を行う（ステップＳ２０７）。輪郭抽出処理とは、領域の境界線をたどるようにして輪郭線を抽出する処理である。

図９は、本実施の形態で使用する４連結の輪郭抽出処理についての説明図である。まず図９（ａ）に示すように画像の左上より破線の矢印のようにラスタスキャンを行い、輪郭抽出を行う領域で最初に見つかった画素（●印がついた画素）を開始点とする。ラスタスキャンにより、開始点の位置においては上と左に画素がないことが確認済であるため、下、右の順番で抽出方向に画素があるかどうかを調べる。どちらの方向にも画素がない場合は、孤立点として終了する。この図においては下に画素があるため、図９（ｂ）のように下の点へ進みこの点を新しい抽出点とする。これ以降は、抽出点の進行方向に対して右手側の画素から反時計回りの優先順位で画素があるかどうかを調べる。この優先順位を図に表すと、図中の１〜４となる。図９（ｂ）においては進行方向が下であるため、図に示したように左、下、右、上の順で画素があるかどうかを調べ、画素があった時点でその方向に進む。この場合は左に画素がなく、下に画素があるため、下方向に進む。

同様にして輪郭抽出処理を進め、図９（ｃ）においては進行方向が右であるため、図に示したように下、右、上、左の順番で画素があるかどうかを調べる。この場合では、下に画素があるため、下への画素を新しい抽出点とする。以上の処理を繰り返し行い、図９（ｄ）のように抽出点が開始点に戻ったときに終了とする。

図１０は、図８で抽出した色領域Ｒ１に対して以上の輪郭抽出処理を行った図である。この輪郭抽出処理によって抽出した輪郭線を、色領域メモリ１１０の色領域マップに記憶する。輪郭抽出処理においては輪郭を抽出する際に進んだ方向、すなわち図１０における矢印の方向に輪郭線を持つということがわかるため、輪郭線の方向を合わせて記憶しておく。

またこのとき、抽出した輪郭線の長さをカウントする。輪郭線の長さのカウント方法は、開始画素から再び開始画素に戻るまでにたどった画素の数を輪郭線の長さとする。例えば、図９においては、開始画素から下方向に３、右方向に３、下方向に１、右方向に９、上方向へ３、左方向へ３、上方向へ１、左方向へ９進むことにより開始画素に戻る。よって輪郭線の長さは、これらを合計して３２となる。

次に色領域消去部１１２において、抽出した色領域から色分けされた文字領域になりえないような複雑な形状の領域を除く（ステップＳ２０８）。具体的には、輪郭線の長さと色領域を構成する画素数を用いて、“（輪郭線の長さ）^２／構成画素数”という計算式を用いて評価値を計算する。この値は、色領域の輪郭線が入り組んで、形状が複雑になるほど大きくなる。

図１１は、色領域の輪郭線が複雑に入り組んだ例である。図１１に示した色領域においては、構成画素数は５４で先ほど説明した図９と同じである。しかし輪郭追跡処理を行うと矢印のように、輪郭線の長さは６２と図９の輪郭線の長さ３２よりも長くなる。この２つの図に示された色領域についてそれぞれ評価値を計算すると、図９は１９．０、図１１は７１．２となり、図１１のほうがかなり大きくなることがわかる。そして、この評価値があらかじめ定められた閾値以上である場合は、評価した色領域を色領域メモリ１１０に記憶された色領域マップから削除する。この閾値は、縮小画像に応じて、色領域の形状が複雑と判定する値を適宜設定すればよい。このように、抽出した色領域から色分けされた文字領域になりえないような複雑な形状の領域を除くことにより、処理時間を短縮することができる。

次に、輪郭特定範囲設定部１１３は色領域マップを参照し、原画像上での輪郭線の抽出範囲の設定を行う（ステップＳ２０９）。ここで縮小画像は原画像の画素のＮ×Ｎの範囲を１画素として作成しているため、縮小画像の座標が｛ｍ，ｎ｝であれば、それに対応する原画像は｛ｍ＊Ｎ，ｎ＊Ｎ｝を左上、｛（ｍ＋１）＊Ｎ−１，（ｎ＋１）＊Ｎ−１｝を右下とするＮ×Ｎの範囲になる。ここで、縮小画像は原画像のＮ×Ｎの範囲の色情報の平均値を画素値としているため、必ずしも縮小画像上の輪郭線の画素に相当する原画像の範囲に、原画像の色領域の輪郭線が含まれているわけではない。これについて、図１２を用いて説明する。

図１２は原画像における色領域を示している。破線で区切ったブロックは縮小画像の１つ１つの画素に相当する範囲を示している。

図１３は縮小画像において抽出した色領域を原画像に対応づけた図を表しており、“×”がついたブロックは抽出された色領域の輪郭線が存在することを表している。このように色領域の輪郭線が存在するブロックは、縮小画像を生成したときに原画像における色領域部分を多く含む場合は、平均値によって算出した縮小画像の画素の色情報が、完全に色領域を含む縮小画像の画素の色情報と近くなるため同じクラスタに分類され、同じ色領域として抽出される。それに対して原画像における色領域部分をあまり含まない場合は、画素の色情報が完全に色領域を含む画素の色情報と近くならないため、同じクラスタに分類されない。しかしその場合は、抽出された色領域の輪郭線に隣接する外側のブロックに、原画像の輪郭線が存在することになる。そこで、抽出した輪郭線の方向によって輪郭線の抽出範囲を拡張する。

図１４の矢印は、図１３で示した色領域の輪郭線の方向を表している。このように輪郭線の外側のブロックは、輪郭線の方向に対して右手側のブロックになる。例えば、｛３，３｝のブロックでは輪郭線の方向は左であるため、図に示したように上方向のブロックに輪郭線の抽出範囲を拡張する。また｛２，３｝のブロックにおいては色領域の角に当たるため、左と上の２つの方向の輪郭線が存在する。この場合は、図に示したように上と左を含む正方形のブロックに輪郭線の抽出範囲を拡張する。以上の処理を輪郭線が存在するすべてのブロックについて行う。

図１５は、輪郭線の抽出範囲が設定された範囲を示している。さらに、それに対応するエッジ方向テーブル１１４を作成する。

図１６は、エッジ方向テーブル１１４の一例を示したものである。横が縮小画像のＸ座標、縦が縮小画像のＹ座標、表の矢印は抽出するエッジの方向である。ここでエッジの方向とは、抽出した色領域から背景領域へ向かう方向、すなわち輪郭線の方向に対して右手側の方向となる。また複数の方向の輪郭線を持つブロックについては、複数のエッジ方向が値としてセットされる。

次に輪郭特定部１１５はステップＳ２０９で設定した原画像の範囲内において輪郭特定処理を行う（ステップＳ２１０）。輪郭特定処理は、微分オペレータやテンプレートマッチングなどさまざまな方法を用いて輪郭となるエッジを検出する処理であり、一般的に知られている画像処理技術である。本実施例においては、代表的なテンプレートマッチングであるＰｒｅｗｉｔｔの方法を用いて説明する。

図１７は輪郭抽出処理におけるＰｒｅｗｉｔｔの方法におけるエッジ方向とマスクパターを示している。Ｐｒｅｗｉｔｔの方法は、図１７に示したように、輪郭を表す標準パターンとして８つのエッジ方向に対応する８種類のマスクパターンを用意する。入力画素とその近傍の画素に、入力画素をマスクパターンの中央にあてマスクパターンの値を乗じて和をとり、その計算値がマスクパターンに対応するエッジの方向の強さとなる。入力画像は、グレースケール画像メモリ１０４に記憶されているグレースケール画像を使用する。

輪郭特定部１１５はエッジ方向テーブル１１４を参照し、テーブルに値が設定されている原画像の範囲内において、対応するマスクパターンによりエッジの強さを計算する。例えば図１６のエッジ方向テーブル１１４の｛１，２｝においては、左方向と上方向のエッジがあることがわかる。それに対応する原画像の範囲は｛Ｎ，２Ｎ｝を左上、｛２Ｎ−１，３Ｎ−１｝を右下とする範囲になり、その範囲のグレースケール画像の画素に対して、左方向と上方向のエッジを計算する図１７のテンプレート（ｂ）、（ｈ）及びその周囲のテンプレート（ａ）、（ｃ）、（ｇ）を用いて、最もエッジが検出される方向とエッジの強さを計算する。同様に｛３，２｝においては上方向のエッジがあることがわかるため、対応する原画像の範囲は｛３Ｎ，２Ｎ｝を左上、｛４Ｎ−１，３Ｎ−１｝を右下とする範囲になり、その範囲のグレースケール画像の画素に対して、上方向のエッジを計算するテンプレート（ｂ）及びその周囲のテンプレート（ａ）、（ｃ）を用いて、最もエッジが検出される方向とエッジの強さを計算する。

このような処理をエッジ方向テーブル１１４に値が設定されているすべての範囲について行い、原画像における色領域の輪郭特定を行う。一般的な輪郭特定処理では各画素において検出されるエッジの方向はわからないため、全方向に対応するテンプレートを各画素に対して適用しなければならないが、本実施の形態においては、エッジ方向テーブル１１４に輪郭線の方向が記憶されているため、輪郭線の方向に対応するテンプレートのみを用いればよく、エッジ検出処理時間を大幅に短縮することができる。

次に、まだ輪郭特定処理がされていない色領域があるかどうかを調べる（ステップＳ２１１）。ある場合はステップＳ２０７へ戻り、まだ輪郭特定処理がされていない色領域について、ステップＳ２０７からＳ２１０までの処理を繰り返し行う。

本実施の形態によれば、原画像より色のばらつきを小さくした縮小画像を生成し、これを用いて効率的にかつ精度よく、色分けされた領域を抽出することができ、さらに、抽出した領域から文字領域になりえないような領域を除くことで処理時間を短縮することができる。

なお、本発明は上記に記載した実施の形態に限らず、請求項で示した範囲で数々の変更が可能であり、処理対象もカラー紙面に限らず、物体までの距離を色分けした距離画像からの色領域抽出など、さまざまなカラー画像に応用が可能である。

１０１ 画像入力部
１０２ 画像メモリ
１０３ グレースケール画像生成部
１０４ グレースケール画像メモリ
１０５ 縮小画像生成部
１０６ 縮小画像メモリ
１０７ クラスタリング部
１０８ 色領域抽出部
１０９ クラスタ膨張収縮部
１１０ 色領域メモリ
１１１ 輪郭抽出部
１１２ 色領域消去部
１１３ 輪郭特定範囲設定部
１１４ エッジ方向テーブル
１１５ 輪郭特定部

Claims (8)

1. 画像から領域を抽出する画像処理装置において、画像をマトリックス状に分割し、分割した範囲の画素の集合から１つの画素を生成して縮小画像を生成する縮小画像生成手段と、前記縮小画像の色情報を所定の値にクラスタリングするクラスタリング手段と、同じ値を有するクラスタを領域として抽出する色領域抽出手段と、抽出した領域の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段により抽出された輪郭から、色分けされた原画像の領域の輪郭を特定する輪郭特定手段とを備えることを特徴とする画像処理装置。
2. 前記縮小画像生成手段は、分割した範囲の画素集合の平均値を縮小画像の画素とすることを特徴とする、請求項１に記載の画像処理装置。
3. 前記画像処理装置は、同じクラスタに属する画素の連結を膨張または収縮するクラスタ膨張収縮手段をさらに備えることを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記画像処理装置は、前記色領域抽出手段が、同じクラスタに属する画素を連結した領域の画素数が所定の値より小さい領域を抽出しないことを特徴とする、請求項１から３のいずれかに記載の画像処理装置。
5. 前記画像処理装置は、前記色領域抽出手段が、同じクラスタに属する画素を連結した領域の形状を評価し、評価値に合致しない領域を抽出しないことを特徴とする、請求項１から４のいずれかに記載の画像処理装置。
6. 画像から領域を抽出する画像処理方法において、画像をマトリックス状に分割し、分割した範囲の画素の集合から１つの画素を生成して縮小画像を生成する縮小画像生成ステップと、前記縮小画像の色情報を所定の値にクラスタリングするクラスタリングステップと、同じ値を有するクラスタを領域として抽出する色領域抽出ステップと、抽出した領域の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出された輪郭から、色分けされた原画像の領域の輪郭を特定する輪郭特定ステップとを備えることを特徴とする画像処理方法。
7. 画像から領域を抽出する画像処理プログラムにおいて、画像をマトリックス状に分割し、分割した範囲の画素の集合から１つの画素を生成して縮小画像を生成する縮小画像生成ステップと、前記縮小画像の色情報を所定の値にクラスタリングするクラスタリングステップと、同じ値を有するクラスタを領域として抽出する色領域抽出ステップと、抽出した領域の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出された輪郭から、色分けされた原画像の領域の輪郭を特定する輪郭特定ステップとをコンピュータに実行させるための画像処理プログラム。
8. 請求項７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。