JP6272219B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像画像から得られた領域候補の中から正しい領域を特定する技術に関する。

カメラ付き携帯電話の普及により、ポスターやホワイトボード、名刺、配布資料など、様々な紙面をカメラによってスキャン（撮像）し、電子文書化する技術が開発されている。しかしながら、撮像された紙面の画像にはカメラと紙面の位置関係に応じて台形状の歪みが生じる。このような歪みを補正し、カメラを従来スキャナの代替として利用する為には、撮像画像における紙面の境界を示す紙面領域を正確に取得する必要がある。

特許文献１では、画像から原稿の境界を検出するために、領域候補全体の内側と外側の画素値を用いて、領域候補の内側と外側の分離度を求め、分離度の高い領域候補を選択する方法が開示されている。

特開２０１３−１０５２７６号公報

しかし、特許文献１の方法では、領域候補全体の内側と外側の画素値を用いて分離度を求めている。環境光などの影響によって領域候補の内側と外側の領域において画素値のバラツキが大きい（分散値が高い）場合や、背景の画素値がそもそも均一ではない場合に領域候補の内側と外側の画素値の分離度が低くなってしまう場合がる。

その場合に、領域の境界を正しく示す紙面領域候補であっても、特許文献１の方法で領域候補全体の内側と外側の画素値の分離度を算出すると、低い分離度となってしまい、領域候補を正しく選択できない問題がある。

本発明はこのような問題点に鑑みなされたもので、背景が均一ではない環境において撮像された領域の画像に対しても、領域の境界を正しく示す紙面領域候補から注目領域を精度良く特定することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、複数の線分で構成される領域を領域候補として入力する入力手段と、前記領域候補を構成する各線分における、所定大きさ以下の複数の領域において、前記線分を境界とする両側の画像特徴量の関係を示す第一情報と、前記領域候補の各角における所定大きさ以下の領域において前記領域候補の内側と外側の画像特徴量の関係を示す第二情報と、を出力する出力手段と、前記複数の領域のそれぞれに対応する前記第一情報と前記第二情報とを用いて、前記領域候補を注目領域として特定する特定手段と、を有する。

本発明によれば、背景が均一ではない環境において撮像された領域の画像に対しても、領域の境界を正しく示す紙面領域を精度良く特定することができる。

画像処理装置の構成を示す図である。 紙面検出処理の概要を示す図である。 紙面検出処理を示すフローチャートである。 エッジ検出処理を行う際の機能構成を示す図である。 エッジ検出処理を示すフローチャートである。 第１のノイズ判定処理を説明する図である。 第２のノイズ判定処理を説明する図である。 線分出力処理を示すフローチャートである。 線分フィッティング処理を示すフローチャートである。 線分フィッティングにおける分離度の概念を示す図である。 線分フィッティング処理の具体例を示す図である。 線分候補選択処理の具体例を示す図である。 エッジ画素の追加処理の概要を示す図である。 線分出力処理を行う際の機能構成を示す図である。 紙面領域特定処理を示すフローチャートである。 紙面領域特定処理を行う際の機能構成図である。 紙面領域候補の辺近傍領域の分割例を示す図である。 分割領域のスコア算出処理を示すフローチャートである。 分割領域の評価値の例を示す図である。 紙面領域候補の分割領域例を示す図である。 分割領域の評価値の例を示す図である。 紙面領域候補の選択処理の具体例を示す図である。 第２の実施形態の紙面領域候補の例を示す図である。 第３の実施形態における分割領域のスコア算出処理を示すフローチャートである。 第３の実施形態の紙面領域候補の例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。以下では本発明を適用する際の一例を説明するが、本実施の形態で説明される特徴の全てが本発明に必須のものとは限らない。

＜第１の実施形態＞
●装置構成
図１は、本実施形態における画像処理装置の構成を示す図である。本実施形態の画像処理装置は、撮像された画像データの入力を行う画像入力部１０１と、ＣＰＵ１０２、ＲＡＭ１０３、記憶部１０４、を有する。ＣＰＵ１０２は画像データに本実施形態の線分出力処理を施す画像処理プログラムを実行する。ＲＡＭ１０３は該プログラムを実行する際のワークメモリやデータの一時保存などに利用される。該プログラムやデータは、記憶部１０４に格納される。

なお、図１に示す画像処理装置の構成は一例であり、ここで示した以外の構成要素を含んでいても良い。また、外部の汎用コンピュータなどを用いて画像処理を実行しても良いし、電子回路上で画像処理を実行しても良い。さらに、画像入力部１０１に入力する画像データは撮像画像に限らず、人工的に作成された画像でも良い。

●紙面検出処理概要
図２は、本実施形態の画像処理装置による紙面検出処理の概要を示す図である。図２（ａ）は画像入力部１０１によって取得する撮像画像データの例であり、複数枚の紙面が配置されている。この撮像画像データに対して本実施形態による紙面検出処理を施すと、図２（ｂ）に示すように各紙面の領域を表す四角形が得られる。以下、このような紙面と背景との境界を表す直線が成す四角形の領域を、紙面領域と称する。また本実施形態では、撮像画像の各画素は輝度値により表現されるものとして説明を行うが、これにより本発明が輝度値による画像データに限定されるものではない。

図３は、本実施形態における紙面検出処理を示すフローチャートである。上述したように本処理は、ＣＰＵ１０２がプログラムを実行することによって実現される。

まず、ステップＳ３０１において、画像入力部１０１で取得された撮像画像データに対してエッジ検出を行う。この処理によって、撮像画像データにおいて輝度勾配の強度が大きい画素がエッジ画素として得られる。エッジ検出処理では、ノイズ相当のエッジを除去する。ここでノイズ相当のエッジとは、文書の辺を構成するエッジではないと推定されるエッジである。

次に、ステップＳ３０２において、ステップＳ３０１で得たエッジ画素の集合からエッジ画素の点列によって構成される直線を生成する。直線生成は、ハフ変換やラドン変換など公知の方法によって行う。続いて、ステップＳ３０３において、ステップＳ３０２で生成された直線とエッジ画素の集合に基づき、線分群を取得する。本実施形態では取得された複数の線分から信頼度の高い線分を紙面領域の境界を示す線分として出力する。なお、本実施形態では、直線は端点を持たず、線分は２つの端点を持つとして区別する。

続いて、ステップＳ３０４において、各線分の位置関係をもとに線分を４本ずつ選択し、紙面領域の候補となる四角形を生成する。そして、最後にステップＳ３０５で、ステップＳ３０４で生成した四角形から、紙面領域を示す四角形を特定する。

以下、図３に示すフローチャートにおける各処理について、詳細に説明する。

●エッジ検出処理
ステップＳ３０１におけるエッジ検出処理について、図４〜７を用いて詳細に説明する。図４は、本実施形態の画像処理装置においてエッジ検出処理を行う際の機能構成を示す図であり、図５は本実施形態のエッジ検出処理を示すフローチャートである。

まず、ステップＳ５０１で撮像画像入力部４０１が、処理対象画像を入力する。次に、ステップＳ５０２でエッジ画像作成部４０２が、入力画像からエッジ画素を抽出したエッジ画像を作成する。このエッジ画像の作成には、エッジ検出のキャニー法（Ｊｏｈｎ Ｆ．Ｃａｎｎｙ）等、周知の手法を用いるとする。そして、ステップＳ５０３で連結画素ブロック作成部４０３が、画素と画素が連なっている連結画素ブロックを作成する。ここで連結画素ブロックとは、エッジ画素が８近傍で連結している画素集合のことである。

そして、ステップＳ５０４で外接矩形作成部４０４が、ステップＳ５０３で作成された連結画素ブロックのそれぞれに外接する矩形を作成する。この時点で、例えば図２（ａ）に示す入力画像であれば、紙面と背景の境界による紙面端エッジと、背景のテクスチャや文書中の文字によるノイズとすべきエッジとの両方が存在している。撮像画像から紙面領域を検出する際には、このノイズとすべきエッジを除去して紙面端エッジのみを抽出することが望ましい。

そこで、本実施形態ではステップＳ５０５以降において、外接矩形の特性を示す各種パラメータから、外接矩形が対応する連結画素ブロックがノイズ相当か否かを判定する。ノイズ相当と判定されれば、この連結画素が除去される。これは、一般に紙面の境界領域に相当する紙面端エッジは直線であり、ノイズによるエッジよりも長い、もしくはノイズによるエッジは一直線に伸びるものではない、という性質を利用したものである。

以下、本実施形態におけるステップＳ５０５〜ステップＳ５０９のノイズ除去処理について、詳細に説明する。

まず、ステップＳ５０５で外接矩形パラメータ比較部４０５が、外接矩形の長辺の長さを所定の閾値（第１の閾値）と比較する。第１ノイズ判定部４０６がこの比較結果から、外接矩形が紙面端エッジを構成する領域（以下、境界領域）の候補であるか否かを判断する。これは、紙面端エッジの外接矩形であれば一方向に長く伸びている可能性が高いという性質を利用している。具体的には、外接矩形の長辺が第１の閾値より短いものは境界領域ではなく、抽出対象外のノイズであると判断してステップＳ５０９に進み、第１ノイズ除去部４０７がこの連結画素ブロックの除去を行う。一方、外接矩形の長辺の長さが第１の閾値以上であれば、境界領域の候補であるとしてこの連結画素ブロックを残したまま、第２のノイズ判定処理であるステップＳ５０６に進む。

ここで図６に、ステップＳ５０５によるノイズ判定処理の具体例を示す。この例では、連結画素ブロック６０１に対する外接矩形６０２の長辺６０３の長さについては、その長さが第１の閾値よりも短いため、この外接矩形６０２を持つ連結画素ブロック６０１はノイズであると判断され、除去される。一方、連結画素ブロック６０４に対する外接矩形６０５の長辺６０６は第１の閾値よりも長いため、この外接矩形６０５を持つ連結画素ブロック６０４は境界領域の候補として残される。

次に、ステップＳ５０６で外接矩形パラメータ比較部４０５が、外接矩形の縦横比（長辺の長さ／短辺の長さ）で所定の閾値（第２の閾値）と比較し、第１ノイズ判定部４０６がこの比較結果から、外接矩形が境界領域候補であるか否かを判断する。ここで、上記ステップＳ５０５の外接矩形の長辺の長さによるノイズでは、背景の大きな模様がある場合等、サイズの大きいノイズでは外接矩形の長辺の長さも長くなり、ノイズと判別されないことがある。これに対しステップＳ５０６のノイズ判定では、紙面の境界領域ならば一方向に長く伸びている可能性が高く、外接矩形が長方形に近くなることに対し、ノイズの場合の外接矩形は正方形に近くなるという性質を利用する。

具体的には、外接矩形の縦横比（長辺の長さ／短辺の長さ）は第２の閾値を超えていれば、境界領域の候補であると判断してステップＳ５０７に進み、この連結画素ブロックを残す。一方、外接矩形の縦横比が第２の閾値以下であればノイズの可能性があるとし、ステップＳ５０８のノイズ判定に進む。

ここで図７に、ステップＳ５０６によるノイズ判定処理の具体例を示す。この例では、連結画素ブロック７０１に対する外接矩形７０２の縦横比（長辺の長さ／短辺の長さ）は第２の閾値よりも大きくなるため、境界領域の候補であると判断してこの連結画素ブロックを残す。一方、連結画素ブロック７０３に対する外接矩形７０４の縦横比は第２の閾値以下となり、ノイズの可能性ありと判定される。ただし、この判定方法では斜め方向に伸びた境界領域の連結画素ブロック７０５についても、その外接矩形７０６の縦横比は第２の閾値以下となってしまう。このような斜め方向に伸びた連結画素ブロック７０５については紙面端エッジである可能性も高いため、ここではまだノイズと判断せず、ステップＳ５０８の第３のノイズ判定に進む。

ステップＳ５０８で外接矩形パラメータ比較部４０５が、外接矩形内の連結画素ブロックの密度を所定の閾値（第３の閾値）と比較し、第１ノイズ判定部４０６がこの比較結果から、外接矩形が境界領域候補であるか否かの判断を行う。上述したように、斜めに伸びている画素ブロックが紙面端エッジであるかノイズであるかは外接矩形の縦横比では判定できないため、外接矩形内の連結画素ブロックの密度による判定を行う。

これは以下の性質を利用している。すなわち、外接矩形が紙面端エッジに対応する境界領域であれば、該矩形内では対角線上に連結画素ブロックがあるだけであるから、該矩形内での画素密度は低くなる。一方、ノイズであれば矩形内のいたるところ、少なくとも境界領域の場合よりも広く画素が分布するので、画素密度が高くなる。外接矩形内の連結画素ブロックの密度が第３の閾値以上であればノイズと判定してステップＳ５０９に進み、この連結画素ブロックの除去を行う。一方、密度が第３の閾値未満であれば境界領域候補と判定してステップＳ５０７に進み、この画素ブロックを残す。

ステップＳ５０８によるノイズ判定処理の具体例を、図７に示す。この例では、連結画素ブロック７０１についてはステップＳ５０６で既に境界領域候補として判定されているため、ステップＳ５０８での処理対象外である。連結画素ブロック７０３については、その外接矩形７０４内に連結画素ブロックが広く分布していることから画素密度が高く、ノイズであると判断されて該画素ブロックが除去される。一方、連結画素ブロック７０５については、その外接矩形７０６内での画素ブロックの広がりが対角線上のみであることから画素密度が低く、境界領域候補として判断されてこの画素ブロックが残される。

以上、図５のフローチャートに示した一連の処理により、処理対象画像からノイズであると判定されたエッジが除去され、境界領域の候補である紙面端エッジが残された画像として出力される。このエッジ検出処理を経た画像であれば、後段の直線・線分出力処理によって境界領域を正しく検出することができる。

●線分出力処理
ステップＳ３０３における線分出力処理について、図８〜１４を用いて詳細に説明する。

図１４は、本実施形態の画像処理装置において線分出力処理を行う際の機能構成を示す図である。撮像画像入力部１４０１は、撮像画像入力部４０１と同様に、処理対象画像を入力する。エッジ画像作成部１４０２は、ステップＳ５０２〜ステップＳ５０９の処理を行う。直線生成部１４０３は、ステップＳ３０２の直線を生成する。線分出力部１４０４は、本実施形態の線分出力処理を行う。また、線分出力部１４０４を複数のより詳細な機能構成部分に分けることができる。さらに、本実施形態は上述した構成に限定されず、例えば、エッジ画像作成部１４０２は、図４のエッジ画像作成部４０２と同様にステップＳ５０２のエッジ画像の作成処理だけを行ってもよい。

次に、本実施形態の詳細な機能構成部分について説明する。図８は、線分出力処理を示すフローチャートである。

まず、ステップＳ８０１において、ステップＳ３０２で得た直線群に基づき、ステップＳ５０２で得たエッジ画素群からエッジ画素を選択し、ステップＳ３０１で得たエッジ画素群にこのエッジ画素を追加する。ステップＳ３０１で得られるエッジ画素群（エッジ画像）は、精度良く直線を生成する為にノイズ除去が行われている。しかしながら本実施形態における線分出力処理では、直線近傍にあるエッジ画素をもとに線分を生成するため、直線近傍のエッジ画素はノイズとして除去されないのが望ましい。そこでステップＳ８０１では、エッジ画素追加部１４０５が、ステップＳ５０２で得たエッジ画像に対して各直線から所定距離内（Ｎ１）にあるエッジ画素を、ステップＳ３０１で得たエッジ画像に追加する。得られたエッジ画素群、を以降の処理で用いる。なお、所定距離Ｎ１としては、例えば２ｍｍに相当する画素数を用いる。

エッジ画素追加処理の概略について、図１３を用いて説明する。図１３（ａ）は、ステップＳ５０２の処理によって作成されたエッジ画像の一例を示す。図１３（ｂ）は、ステップＳ５０７の処理によって残されたエッジ画素１３０１および、ステップＳ５０９の処理によってノイズとして除去されたエッジ画素１３０２を示す。このエッジ画素１３０１だけを含むエッジ画像がステップ３０１で得られるエッジ画像である。

図１３（ｃ）は、ステップＳ３０２の処理によって生成された直線１３０５を示す。直線１３０５に対して、エッジ画素が存在する部分に線分が存在し、エッジ画素が存在しない部分に線分が存在しないと推定する。直線１３０５の近傍（直線１３０５の周囲）において、エッジ画素とエッジ画素の間隔が所定値ｎ以上の場合は、そのエッジ画素を境界に直線１３０５を線分に分割する。直線１３０５を分割すると、図１３（ｄ）に示すように、短い線分１３０６が得られる。ここで、エッジ画素追加部１４０５が、直線１３０５から所定距離内にあって、ノイズとして除去されたエッジ画素１３０４をエッジ画素１３０１のエッジ画像に追加してから、直線１３０５を線分に分割すると、正しい線分１３０７が得られる。直線を線分に分割する処理は、後述するステップＳ８０２において線分抽出部１４０６が行う本実施形態の線分出力処理の一部である。

図８を用いて、線分出力処理を説明する。正しい線分を抽出するために、ステップＳ８０１では、ステップＳ３０２で得られたエッジ画素群に対して、ステップ３０３で生成された直線の近傍にあって、エッジ画像からノイズとして除去された画素群を加えたエッジ画素群を生成する。次に、ステップＳ８０２において、線分抽出部１４０６が、ステップＳ３０２で直線生成部１４０３によって生成された各直線を複数の線分に分割する。具体的には、まずステップＳ８０１で得られたエッジ画素群から、直線から所定距離内（Ｎ２）内にエッジ画素を抽出する。そして、抽出されたエッジ画素間の距離が所定値ｎより小さいのであれば、それらは同一線分の要素であると判定する。エッジ画素間の距離が所定値ｎより大きいのであれば、それらは異なる線分の要素であると判定する。

ここで、距離が所定値ｎより大きい２点のエッジ画素をそれぞれエッジ画素ｐｉ、エッジ画素ｐｊとする。エッジ画素ｐｊとエッジ画素ｐｊは、それぞれ異なる線分の端点であると判定し、エッジ画素ｐｉ、ｐｊを直線に正射影してえる座標を端点とする線分を生成する。所定距離Ｎ２は、例えばステップＳ８０１で定めた所定距離Ｎ１と同値とする。また所定値ｎとしては、例えば図２（ａ）に示す複数紙面のように、処理対象画像における紙面間の最小間隔以上の値を設定する必要があり、例えば５ｃｍに相当する画素数を設定する。

次に、ステップＳ８０３で、ステップＳ８０２で得た各線分について線分近傍（線分の周囲）のエッジ画素に対するフィッティングを行う。フィッティング処理は、分割処理で得られた各線分に対して、その近傍のエッジ画素を用いて、さらに線分を生成して、線分を出力する処理である。このフィッティング処理の詳細は、図９〜１１を用いて後述する。

ステップＳ８０２及びステップＳ８０３の処理を全直線及び全線分について行った後に、ステップＳ８０４で線分候補選択部１４１２が選択処理の対象となる２本の線分から複数の線分候補を生成し、この複数の線分候補から１本の線分を選択する。２本の線分の線分間距離、線分間角度がいずれも閾値以下である場合に、線分候補選択部１４１２がこの２本の線分を選択処理の対象として判定する。この判定は、ステップＳ８０３の線分フィッティング処理で得られた線分の全てに対して行う。ここで、例えば画像中の紙面枚数が１枚であることが既知の場合には、同一直線上にある２本の線分に対して、積極的に選択処理する必要がある。この場合、線分間距離の閾値を大きくすると、閾値以内の距離で並列した２線分も選択処理の対象となり、意図しない結果が得られてしまう。そこで、選択条件として、両線分の中点同士を結んだ線分と、２線分それぞれが成す角度に対して閾値を与えることで、延長線上にある線分のみを選択処理の対象とすることができる。この選択処理の具体例については、図１２を用いて後述する。

選択処理によって選択された線分は、ステップＳ８０５で再度フィッティング処理を行う。これを全線分について行い、線分出力処理を終了する。

●線分フィッティング処理
ここで、ステップＳ８０３およびステップＳ８０５における線分フィッティング処理について、図９のフローチャートを用いて詳細に説明する。

まず、ステップＳ９０１で、信頼度算出部１４０８が、処理対象の線分（線分１）の信頼度を、［線分長］×［分離度］／［平均二乗誤差］によって定める計算式を用いて算出する。ここで、［線分長］は、処理対象の線分の長さである。［分離度］は、線分の両面の輝度がどの程度分離しているかを表す指標である。［平均二乗誤差］は、エッジ画素が線分近傍（線分の周囲の所定範囲）に密集している度合い（密集度合い）を表す指標である。ここで、［分離度］は以下の式（１）によって算出される。

ここで、Ｎ_１は領域１の画素数、Ｎ_２は領域２の画素数
ｍ_１は領域１の平均輝度値、ｍ_２は領域２の平均輝度値
ｍは領域１−領域２の平均輝度値
ｓ_ｉは画素ｉの輝度値
式（１）において領域１は、線分を一辺とする幅ｗの一方の領域とし、領域２は、この線分を一辺とする領域１と重ならない幅ｗのもう一方の領域とする。また、入力画像データが多値データ（例えば、ＲＧＢの３値データ）である場合にも信頼度を算出できる。例えば、多値空間（ＲＧＢ空間）において、領域１の平均値と領域２の平均値を通る直線に全画素値を射影して得る値を輝度値に置き換えて、式１により分離度などを算出して、信頼度を算出してもよい。

［平均二乗誤差］は、線分と線分から距離Ｄ以内にあるエッジ画素の距離を二乗した平均について、さらに平方根を取った値である。本実施形態では、ｗ及びＤを、ステップＳ８０１のエッジ画素群抽出の際に用いた所定距離Ｎ１と同じ値とする。

即ち、領域の境界を示す線分としての信頼度は、線分近傍のエッジ画素の分布と、線分を境界とする二つの領域の画像特徴量の関係に基づいて算出する。また、信頼度は、線分近傍のエッジ画素の分布のみ、又は線分を境界とする二つの領域の画像特徴量の関係のみに基づいて算出してもよい。線分近傍のエッジ画素の分布は、例えば、エッジ画素が線分の周囲の所定範囲に密集している度合いである平均二乗誤差を用いて表すことができる。また、線分を境界とする二つの領域の画像特徴量の関係は、例えば、線分の両側の輝度がどの程度分離しているかの指標である分離度を用いて表すことができる。

ここで図１０に分離度の概念図を示す。図６（ａ）において、線分１００１を境界とする領域１００２ａ、１００２ｂの輝度ヒストグラムが、１００３ａ、１００３ｂである。同様に、図６（ｂ）の各領域から得たヒストグラムを１００４ａ、１００４ｂに示した。この例の場合、図１０（ｂ）よりも図１０（ａ）の方は分離度が高い値となる。

線分の信頼度は、線分が長く、線分を境界とする両面で輝度の変化が大きく、エッジ画素が線分近傍に密集している場合に大きくなる指標である。該信頼度は式（１）に限らず、その変形又は別の式を用いても良い。例えば、［線分長］を［距離Ｄ以内のエッジ画素数］に置き換えられる。また［分離度］を［領域１と領域２の最大輝度差（あるいは平均輝度差）］に置き換えられる。また［平均二乗誤差］を［エッジ画素と線分の距離総和］に置き換えられる。また［平均二乗誤差］を［距離Ｄ以内のエッジ画素群の輝度勾配方向の分散］に置き換えられる。また、線分の信頼度に［距離Ｄ以内のエッジ画素群の輝度勾配強度の総和］を係数として掛ける、などの変形が可能であり、さらに上述の変形方法に限らない。

また、信頼度算出部１４０８を、さらに、線分長算出部、分離度算出部と平均二乗誤差算出部に分けることができる。線分長、分離度と平均二乗誤差のそれぞれに重み付けを行ってもよい。例えば、比較対象となる２本の線分について、線分長、平均二乗誤差の何れも差が小さい場合は、分離度算出部が算出する分離度を信頼度として用いてもよい。

図９に戻り、ステップＳ９０２でエッジ画素取得部１４０９が線分１から所定距離（Ｄ）内のエッジ画素群Ｅ１を取得する。次に、ステップＳ９０３で、線分取得部１４１０がエッジ画素群Ｅ１から新たに線分２を求める。まず、エッジ画素群Ｅ１に対して、主成分分析などの処理を適用して、直線を生成する。主成分分析は、点群の分散が最も大きくなる方向を求める方法である。次に、このエッジ画素群Ｅ１から生成された直線と、エッジ画素群Ｅ１を包含する外接矩形の交点を端点とする線分を線分２として取得する。

次に、ステップＳ９０４で、ステップＳ９０１で求めた線分１の信頼度と同様に線分２の信頼度を求める。そして、ステップＳ９０５で、線分選択部１４１１が線分１の信頼度と線分２の信頼度を比較し、大きい方を線分Ａとして選択する。ここで線分Ａとして線分１が選択された場合にはステップＳ９０６に進み、所定距離ＤをＤ以下の値に更新する。例えば、Ｄ＝Ｄ／２とする。線分Ａとして線分２が選択された場合には、所定距離Ｄを小さい値に更新せず、そのままステップＳ９０７に進む。

ステップＳ９０７では、線分Ａから所定距離Ｄ以下のエッジ画素群Ｅ２を取得する。線分Ａが線分１である場合、エッジ画素群Ｅ２はエッジ画素群Ｅ１に完全に包含される点群となる。一方、線分Ａが線分２である場合、エッジ画素群Ｅ２はエッジ画素群Ｅ１に重複する点群となる。ステップＳ９０７で得たエッジ画素群Ｅ２がエッジ画素群Ｅ１と等しい場合、処理が収束したとみなし、線分フィッティング処理を終了する。一方、エッジ画素群Ｅ２とエッジ画素群Ｅ１が異なる場合にはステップＳ９０８に進み、エッジ画素群Ｅ２を新たなエッジ画素群Ｅ１とし、線分Ａを新たな線分１としてステップステップＳ９０３に戻り、処理を続行する。

以上、図９のフローチャートに示した線分フィッティングの処理は一例に過ぎず、線分フィッティング処理はこの例に限定されない。例えば、ステップＳ９０２及びステップＳ９０７において、線分１の角度に類似した方向に輝度勾配を持つエッジ画素のみを対象として取得することで、ステップＳ９０３の精度が向上できる。

また、ステップＳ９０５で選択した線分Ａをそのままフィッティング処理の結果として出力してもよいし、所定のループ回数で強制的に計算を打ち切り、その時点での線分Ａを出力してもよい。また、予め所定距離Ｄの値Ｄｉを複数用意し、ステップＳ９０２及びステップＳ９０３の時点でそれぞれの所定距離Ｄｉについてエッジ画素群Ｅｉ及び線分ｉを求め、信頼度が最大となる線分ｉを選択してもよい。あるいはステップＳ９０３で、主成分分析以外の手法を用いてもよい。例えば、外接矩形に接する２点や、距離が最大となる２点を端点としてもよい。また、周知の最小二乗法、ハフ変換、ＲＡＮＳＡＣ等の方法を用いてもよい。さらに、これらを全て同時に使用して複数の線分を求め、いずれかを選択、あるいは信頼度が閾値以上となる線分を全て出力してもよい。

ここで図１１に、線分フィッティング処理の具体例を示す。図１１（ａ）では、３枚の紙面を撮像した画像から得られたエッジ１１０１ａ〜１１０１ｃと、線状ノイズであるが、除去できなかった画素１１０２とから、ステップＳ３０２の直線生成処理で直線１１０３が得られたとする。ここで、エッジ１１０１ｃは、紙面Ｃの上辺に対応する一つのエッジであるが、エッジ１１０１ａとエッジ１１０１ｂは、環境光などの影響により、それぞれ紙面Ａと紙面Ｂの上辺に対応する途切れた二本のエッジである。

直線１１０３を、ステップＳ８０２の処理によって、直線１１０３近傍（線分の周囲の所定範囲）のエッジ画素をもとに分割すると、図１１（ｂ）に示す線分１１０４ａ〜１１０４ｃが得られる。直線１１０３は複数の紙面のエッジ画素およびノイズ相当のエッジ画素から得られたので、線分１１０４ａ〜１１０４ｃは単に直線１１０３を分割した結果であり、いずれも各紙面の上辺から位置、傾き共にズレがある。これらの線分１１０４ａ〜１１０４ｃに対して、線分フィッティング処理を行う。

図１１（ｃ）は、線分１１０４ａ〜１１０４ｃ（線分１）それぞれに対して、ステップＳ９０２及びステップＳ９０３の処理を施した結果である。エッジ１１０１ｂとエッジ１１０１ｃとのそれぞれから、紙面Ｂと紙面Ｃの上辺に適した線分１１０５ｂと線分１１０５ｃとが線分２として得られた。一方で、線分１１０５ａは、線状ノイズ画素１１０２の影響を受けて紙面Ａの上辺からズレがある線分（線分２）となっている。ここでステップＳ９０５の処理を行い、線分１１０４ａと線分１１０５ａ、線分１１０４ｂと線分１１０５ｂ、線分１１０４ｃと線分１１０５ｃのそれぞれの信頼度を算出して比較する。

その結果、線分１１０４ａ、線分１１０５ｂおよび線分１１０５ｃがそれぞれ信頼度の大きい線分として選択される。線分１１０５ｂおよび線分１１０５ｃは紙面領域の境界を示しているので、処理が収束し、線分フィッティング処理を終了する。一方、線分２として選択された線分１１０４ａは直線１１０３を分割して得た線分であるため、ステップＳ９０６に進んで所定距離Ｄをより小さな値に更新し、再度エッジ画素群を求める。

図１１（ｄ）に示すように、線分１１０４ａの周囲の更新前の所定範囲は、線分１１０４ａを中心線として、線分１１０４ａから所定距離Ｄ内の範囲である。図１１（ｅ）は、線分１１０４ａの周囲の更新後の所定範囲を示した図である。所定距離Ｄに対応する所定範囲１１０６と、更新後の所定距離Ｄ／２に対応するより小さくした所定範囲１１０７を示した。所定距離をＤ／２とすることで、線状ノイズ画素１１０２が除かれて、エッジ１１０１ａのみを含むエッジ画素群が得られる。このエッジ画素群をステップＳ９０７におけるエッジ画素群Ｅ２として取得して、ステップＳ９０８及びステップＳ９０３に進み、主成分分析などの処理を行う。そして、図１１（ｆ）に示すように、途切れた二本のエッジ１１０１ａを連結して、正しい紙面領域の境界を示す線分１１０８ａが得られる。

図１１（ｅ）では、線分１１０４ａの周囲の所定範囲（線分の法線方向の所定範囲）を小さくする方法として、線分１１０４ａを境界に、その両側に線分１１０４ａからの所定距離Ｄを所定距離Ｄ／２に変更する一例を示した。ただし、この方法では、線状ノイズ画素１１０２が除去できない場合は、線分１１０８ａが正しく得られず、また信頼度の低い線分が得られてしまう可能性がある。

そこで、上述した方法によって得られた線分の信頼度が線分１１０４ａより低い場合、大きさを小さくした所定範囲の位置を、線分１１０４ａの法線方向に移動し、移動した所定範囲にあるエッジ画素群を再度取得して、線分を生成する。生成された線分と線分１１０４ａとの信頼度を比較することによって、線状ノイズの除去を行う。なお、大きさを小さくした所定範囲の移動は複数回行って、線分１１０４ａより信頼度の高い線分が見つかるまで処理を繰り返す。

なお、本実施形態の線分フィッティング処理は、１枚の紙面しかない場合にも適用できる。例えば、図１１（ｇ）〜（ｉ）及び図１１（ｄ）〜（ｆ）のように、紙面Ｂと紙面Ｃはなく、紙面Ａしかない場合にも、上述した方法は同様に適用できる。

●線分候補の選択
ここで図１２を用いて、ステップＳ８０４における線分候補の選択処理を説明する。

図１２（ａ）には、選択処理を行う前の２本の線分である線分１２０１と線分１２０２と、線分１２０１の端点１２０１ａ、１２０１ｂと、線分１２０２の端点１２０２ａ、１２０２ｂを示す。

線分候補の選択処理では、図１２（ｂ）〜（ｅ）に示すように、まず端点１２０１ａまたは１２０２ａと、端点１２０１ｂまたは１２０２ｂを端点とする線分候補１２０３〜１２０６を求める。ここでは、線分候補１２０３と線分候補１２０４は、もとの線分１２０２と線分１２０１と同じである。線分候補１２０５と線分候補１２０６は、新たに生成された線分である。次にこれらの候補線分について、ステップＳ９０１と同様の信頼度を求め、最も信頼度が高くなる線分候補を選択した結果として出力する。

ここで出力される線分が線分候補１２０５または線分候補１２０６の場合、これらは新たに生成されたので、ステップＳ８０５で線分フィッティングが再度行われる。また、線分候補は図１２（ｂ）〜（ｅ）に示す線分に限らず、例えば端点１２０１ａと端点１２０２ａの中点と、端点１２０１ｂと端点１２０２ｂの中点を新たに定め、それらを端点とする線分候補を求めてもよい。

紙面の僅かな歪みや環境光により生じる紙面の影などにより、同一の紙面領域の境界（同一の辺）から、複数の線分が出力される場合がある。これに対して線分候補の選択処理を行うことで、近接した２本の線分から新たに１本の線分が選択され、正しい紙面領域の境界を示す線分を出力することが可能となる。

●四角形生成処理
ステップＳ３０４における四角形生成処理では、ステップＳ３０３によって得られた線分群から、四角形の集合を生成する。

まず、全ての線分の角度を求め、角度が０度以上４５度未満の線分を水平方向の線分（以下、水平線分）に分類し、４５度以上９０度未満の線分を垂直方向の線分（以下、垂直線分）に分類する。次に、水平線分群から任意の線分を第１の水平線分として選択し、それと距離が一定以上離れた第２の水平線分を選択する。続いて、垂直線分群から、第１の水平線分と略直交（例えば９０度±３度）する垂直線分を第１の垂直線分として選択し、それと距離が一定以上離れた第２の垂直線分を選択する。最後に、第１、第２の水平線分と第１、第２の垂直線分をそれぞれ延長して得る４つの交点を頂点とする四角形を出力し、これを全ての線分の組み合わせについて探索することで四角形を生成する。

なお、本実施形態では四角形を検出対象として説明したが、これに限定するものではない。例えばＮ角形（Ｎは奇数）が検出対象となる場合、線分を９０／Ｎ度刻みにＮ分類し、分類された各群から任意の線分を１本ずつ取得し組み合わせることでＮ角形を生成することが可能である。Ｍ角形（Ｍは偶数）の場合、線分を９０／Ｍ度刻みにＭ分類し、分類された各群から任意の線分を２本ずつ取得し組み合わせることでＭ角形を生成することが可能である。

●紙面領域特定処理
以下、ステップＳ３０５における紙面領域特定処理について、図１５〜２２を用いて詳細に説明する。ここで説明上、四角形の紙面領域候補を例として説明するが、領域候補の形状が四角形に限らず、角と辺から構成される多角形であればよい。また、領域候補は紙面に限らず、プラスチックなどの材料で製作されたシート状のものでもよい。

図１６は、本実施形態の画像処理装置において紙面領域特定処理を行う際の機能構成を示す図である。撮像画像入力部１６０１は、撮像画像入力部４０１と同様に、処理対象画像を入力する。紙面領域候補入力部１６０２は、紙面領域の候補を入力する機能ブロックである。本実施形態の紙面領域候補入力部１６０２は、エッジ画像作成部１６０３、直線生成部１６０４、線分出力部１６０５と四角形生成部１６０６によって構成される。

エッジ画像作成部１６０３は、エッジ画像作成部１４０２と同様に、ステップＳ５０２〜ステップＳ５０９の処理を行う。直線生成部１６０４は、直線生成部１４０３と同様に、ステップＳ３０２の直線を生成する。線分出力部１６０５は、線分出力部１４０４と同様に、線分出力処理を行う。四角形生成部１６０６は、出力された線分を用いて、ステップＳ３０４の処理を行い、紙面領域の紙面領域候補となる四角形を生成する。

情報出力部１６０７は、四角形生成部１６０６で生成された紙面領域候補に関する情報を出力する。領域特定部１６０８は、紙面領域特定処理を行う。

次に、図１５を用いて紙面領域特定処理のフローを説明する。まずステップＳ１５０１で、ステップＳ３０４で四角形として生成された紙面領域候補Ｏ１からＯｎを順次、処理対象の紙面領域候補Ｏとして、ステップＳ１５０２〜ステップＳ１５０７までの処理を繰り返す。それぞれの紙面領域候補Ｏに対する処理は独立しているため、最終的に得られる結果は処理の順序により変動しない。したがって、それぞれの紙面領域候補Ｏの処理を並列に行ってもよい。

ステップＳ１５０２では、紙面領域候補Ｏの辺近傍をｍ個に分割して分割領域Ｂ１、Ｂ２、…、Ｂｍを作成する。ここでは、紙面領域候補Ｏの辺近傍領域の分割について、図１７を用いて説明する。

図１７は、四角形生成部１６０６によって生成された紙面領域候補Ｏの辺近傍領域の分割について説明する図である。図１７（ａ）に示すように紙面領域候補は、４つの線分１７０１、１７０２、１７０３、１７０４から構成される四角形である。

図１７（ｂ）は、図１７（ａ）に示す４つの線分１７０１、１７０２、１７０３、１７０４を分割した分割点の例を示す。本実施形態では、四角形１６０１の長辺にあたる線分１７０１、１７０３を５等分し、短辺にあたる線分１７０２、１７０４を３等分するように、分割点１７０５〜１７１６を設定している。さらに、各辺の両端、即ち四角形１６０１の角の部分にあたる分割点１７１７、１７１８、１７１９、１７２０を併せて、全１６個の分割点を作成した例を示す。なお、図１７に示す分割点は一例に過ぎず、各辺で異なる個数への分割を行ってもよいし、全辺同数に分割してもよい。また、辺を等分に分割する方法の他、各辺の端から一定間隔で分割点を決定してもよい。

そして図１７（ｃ）に示すように、各分割点を中心とした正方形の分割領域１７２１〜１７３６を作成する。各分割領域は、その中心を紙面領域候補である四角形の辺上に持ち、四角形の辺で内部と外部とが区切られることで、四角形の辺の内側と外側の両方の領域が構成される。なお、この分割領域は一例に過ぎず、例えば分割領域の形状については正方形ではなく長方形でもよいし、円形やその他の形であってもよい。また、各分割領域のサイズも一定でなくても良く、所定大きさ以下であればよい。また、後述する分割領域の評価値に応じて、最も評価値の高い所定大きさを求めて、その所定大きさ以下に各分割領域のサイズを変更してもよい。

そしてステップＳ１５０３では、ステップＳ１５０２で作成した分割領域について、紙面領域候補の確からしさ（確度）を得るための評価値を算出する。分割領域ごとの評価値算出方法については、図１８を用いて後述する。

そしてステップＳ１５０４では、ステップＳ１５０３で算出した分割領域ごとの評価値に基づき、紙面領域候補全体の確からしさ（確度）のスコアを算出し、ステップＳ１５０５へ進む。紙面領域候補のスコアは、辺に位置する分割領域の評価値の４辺の辺ごとの平均を求め、それらの平均と、角に位置する分割領域の評価値の平均を加算して求める。

図１７に示す分割領域の例では、分割領域１７２１〜１７３２が辺に位置し、分割領域１７３３〜１７３６が角に位置する。そして辺ごとの評価値の平均とはすなわち、分割領域１７２１〜１７２４の平均と、分割領域１７２５と分割領域１７２６の平均と、分割領域１７２７〜１７３０の平均と、分割領域１７３１と分割領域１７３２の平均である。

紙面領域候補が正しく紙面領域であれば、紙面領域候補の内部、すなわち紙面と、その外部のそれぞれの色差により、分離度は高い値を示す。ステップＳ１５０４で説明した角部と辺部それぞれの平均値を加算する方法は、本実施形態の説明のための一例であり、分割領域の分離度が高いほど紙面領域候補の確度が高くなることが本質であるので、スコアを算出する具体的な方法を変更してもよい。スコアを算出する方法の変更例として、途中の計算結果に重みを付けて算出することができる。例えば、ステップＳ１５０４でスコアを算出する際に、角部にある分割領域の分離度に重みを付けてもよい、その平均値に重みを付けてもよい。また、辺部にあるそれぞれの分割領域の分離度に重みを付けてもよい、その平均値に重みを付けてもよい。重みを付ける方法として、所定係数を分離度又は分離度の平均値に掛けることができる。

なお、本実施形態の分離度は式（１）によって算出されることができるが、式（１）に限定されない。分割領域１７２１〜１７３２の分離度は、辺に対応する線分を境界とする両側の画像特徴量の関係を示す情報として、情報出力部１６０７により出力される。また、分割領域１７３３〜１７３６の分離度は、領域候補の内側と外側の画像特徴量の関係を示す情報として、情報出力部１６０７により出力される。

そしてステップＳ１５０５で、対象紙面領域候補Ｏのスコアが閾値以上か判定し、閾値以上であればステップＳ１５０６へ進み、対象紙面領域候補Ｏを紙面領域として選択してステップＳ１５８へ進む。一方、閾値未満であればステップＳ１５０７へ進み、対象紙面領域候補Ｏは紙面領域でないとして、紙面領域候補群から削除してステップＳ１５８へ進む。なお、本実施形態ではこの閾値を１．８０とするが、この閾値は一例であり、その他の固定値であってもよいし、実際の処理対象の種類に応じて調整可能な値でもよい。

ステップＳ１５０５〜ステップＳ１５０７では、閾値を用いて紙面であるか否かの判定を行ったが、入力画像内に一つの紙面領域しか存在しないことが明らかである場合は、スコアが最も高い四角形領域候補のみを残してもよい。

そしてステップＳ１５０８で、紙面領域候補の全てに対する処理が終了していれば、図１５に示す紙面領域特定処理を終了するが、未処理紙面領域候補が残っていれば、ステップＳ１５０１へ戻って、次の紙面領域候補の処理を開始する。

●分割領域評価値の算出処理
以下、上記ステップＳ１５０３における分割領域の評価値の算出処理について、図１８のフローチャートを用いて説明する。

まずステップＳ１８０１で、ステップＳ１５０２で作成した分割領域Ｂ１〜Ｂｍを順次、処理対象の分割領域Ｂとして、ステップＳ１８０２〜ステップＳ１８０３の処理を繰り返す。それぞれの分割領域Ｂに対する処理は独立しているため、最終的に得られる結果は処理の順序により変動しない。したがって、それぞれの分割領域Ｂの処理を並列に行ってもよい。

ステップＳ１８０２では、分割領域Ｂの内部領域と外部領域の画素値（例えば輝度値）の分離度を算出する。分離度の算出には上記式（１）を用いればよい。ここで分離度は、線分を境界とする線分の両側の画素値（例えば輝度値）がどれだけ分離しているかを表す指標である。紙面領域候補Ｏが正しく紙面領域であれば、紙面領域と背面領域（例えば原稿と原稿台）の画素値の差（例えば輝度値の差）により、分離度が高く算出される。そして、ステップＳ１８０３で、ステップＳ１８０２で求めた分離度を分割領域Ｂの評価値として設定し、ステップＳ１８０４へ進む。

従来では、紙面領域候補Ｏの辺近傍領域の全体で分離度を求めるが、一般に広い領域では環境光などの影響により、輝度のヒストグラムの分布が広くなる。したがって、広い領域内の２領域間における分離度としては、２領域の画素値（輝度値）の差が小さので、２領域のヒストグラムが重なりあってしまい、分離度も小さい値が算出されてしまう。そこで、本実施形態では、背景と紙面の画素値（輝度値）の差が小さい場合にも正しい紙面領域候補を特定できるように、広い領域を小さい領域に分割して分離度を算出することにより、正しい紙面領域候補はより高い分離度を得ることができる。

また、分離度をより大きく得るために、分割領域のサイズを変更してもよい。例えば、紙面内の余白が狭い箇所では、分割領域のサイズによっては文字などの余計な画素が入るため、分離度が小さい値をとってしまうことがある。その場合は、分割領域のサイズを変更して、分離度の高い方を評価値として採用すればよい。

ステップＳ１８０４では、全ての分割領域について処理が終了していれば、図１８に示す評価値の算出処理を終了するが、未処理の分割領域が残っていればステップＳ１８０１へ戻って、次の分割領域の処理を開始する。

●評価値の算出例
以下、図１９に、図１７に示す紙面領域候補に対して、図１５のステップＳ１５０３により算出した評価値の例示す。ステップＳ１８０２、Ｓ１８０３において分割領域１７２１〜１７３２の分離度算出した結果を、表１９０１の評価値の列に記載されている。また、各辺の評価値の平均を計算した結果が、各辺平均として各辺の平均評価値の列に、角部１７３３〜１７３６の評価値の平均を計算した結果が、角部の平均評価値の列に記載されている。

図１９に示す平均評価値をもとに、ステップＳ１５０４でこの紙面領域候補の確度のスコアを計算すると１．８２となる。このスコアは情報出力部１６０７から出力される。そして、ステップＳ１５０５でスコアが閾値以上であると判定され、ステップＳ１５０６へ進む。ステップＳ１５０６で、スコアの判定結果に基づいて、領域特定部１６０８によって、図１７に示す紙面領域候補は紙面領域又は注目領域として特定される。

以下、同じ入力画像に対する、図１７に示す紙面領域候補とは異なる紙面領域候補を例にした、評価値算出例を示す。図２０（ａ）に示す紙面領域候補は、紙面上の黒帯部分の上端２００１と、紙面の三辺にある線分２００２、線分２００３と線分２００４から構成されており、紙面として選択するのが好ましくない。図２０（ｂ）は、上記図１５のステップＳ１５０２で図２０（ａ）に示す４つの線分２００１〜２００４を分割した例を示す。同図において、辺部の分割領域２００４〜２０１３、角部の分割領域２０１４〜２０１７に分割された。

図２０（ｃ）は、角部の分割領域２０１４の外部領域を拡大した図である。分割領域２０１４の外部領域は、背景２０１８と紙面２０１９から構成される。この外部領域についての輝度ヒストグラムを求めると、背景２０１８と紙面２０１９を構成する画素群によって発生した二つのピークの幅が広くなるため、外部領域の分散値が高くなり、外部領域と内部領域の分離度が低い値を示す。つまり角部分割領域２０１４の評価値が小さくなる。分割領域２０１５についても同様である。

図２１は、図２０の紙面領域候補の分割領域に対して、図１５のステップ１５０２、ステップＳ１５０３により算出した評価値の例示す。表２１０１において、分割領域２０１４と２０１５の評価値が低い値を示している。図２１に示す処理結果をもとに、ステップＳ１５０４でこの紙面領域候補の確度のスコアを計算すると１．７２となる。この値は、ステップＳ１５０５において閾値を満たさないと判定され、ステップＳ１５０７でこの紙面領域候補は正解ではない領域として削除される。

図２２（ａ）と図２２（ｂ）を用いて、紙面領域候補の特定処理の具体例について説明する。図２２（ａ）に示すような、環境光の影響で撮像画像の全体にグラデーションが発生した場合に、前景領域と背景領域全体の分離度を求める方法では、紙面領域候補の内側と外側双方の分散値が環境光により高い値となり、内側と外側の分離度が低い値を示す。本実施形態の構成や方法では、各辺を小領域に分割することで、各小領域における紙面領域候補の内外の分離度が高い値を示す。

図２２（ｂ）は、上部に色つき（黒やその他の色）の帯領域２２０１が存在する紙面領域を撮影した場合である。この場合であっても、正しい紙面領域候補の色つきの帯領域２２０１部分にある各分割領域の内部と外部の色差が存在するため、各分割領域の内外分離度は高い値を示す。そのため、領域候補は高いスコアが算出される。

また、図２２（ｂ）に示すように、色つき（黒やその他の色）のブロック２２１０を含む紙面領域を撮影する場合がある。撮像画像にあるブロック２２１０から生成された紙面領域候補でも、その内側と外側の分離度が高い値を示す。この場合は、さらに、各紙面領域候補の面積を算出して比較し、その面積が相対的に小さい紙面領域候補は正解ではない領域として削除される。算出された各紙面領域候補の面積を比較する方法として、例えば、最も大きい紙面領域候補に対する面積比を求めて、その面積比が閾値以下の紙面領域候補は削除する対象として判定することができる。

本実施形態によれば、紙面領域候補を構成する各線分の周辺領域を分割した各分割領域において、紙面領域候補の外部及び内部の画素値（例えば輝度値）のヒストグラムの分離度に基づき、紙面の確からしさ（確度）をスコアとして算出する。よって、実際の紙面領域ではない誤った紙面領域候補を選択せず、正しい紙面領域候補を紙面領域又は注目領域として特定できる効果がある。

＜第２の実施形態＞
第１の実施形態では、紙面領域候補のスコアを算出し、閾値以上か否かを判定することによって紙面領域候補の選択を行ったが、本実施形態では、複数の紙面領域候補のスコアの相対値より紙面領域候補を選択する。たとえば、入力画像中にＮ個の紙面領域しか含まれないことが予め分かっていれば、閾値を用いずに全紙面領域候補のスコアの上位Ｎ個の紙面領域候補を紙面領域又は注目領域として特定する。本実施形態のその他の処理は、第１の実施形態と同じであるので、説明を省略する。

また、２枚の紙面が重なっているために、隠れている紙面については選択したくない場合については、領域の重なる二つの紙面領域候補については、スコアの高い方のみを選択してもよい。

図２３は、２枚の紙面領域が重なった例を示す。紙面領域候補２３０１は、紙面領域候補２３０２により一部分が隠れている。分割領域２３０３は、紙面領域候補２３０１に対し前述第１の実施形態で説明した処理によって設定された分割領域の例である。この分割領域２３０３においては、紙面領域候補２３０１の内部領域、外部領域ともに、紙面領域候補２２０２内の紙面であるため、分離度が低い値となる。また、紙面領域候補２３０１全体に関しても、その内部領域、外部領域ともに紙面領域２３０２に隠れているため、画素値が均一ではなくなり分散値がそれぞれ高くなり、紙面領域候補全体の分離度が低い値となる。その結果、紙面領域候補２３０１のスコアが紙面領域候補２３０２に比べて低い値となる。この場合、領域特定部１６０８によって、スコアの最も高い紙面領域候補２３０２のみが紙面領域又は注目領域として特定される。

ユーザの特定したい紙面領域又は注目領域の数が予め分かっている場合は、本実施形態によれば、複数の紙面候補領域のスコア順位に基づいて、所定個数の紙面候補領域を特定する。また、図２３のような重なりによって一部が隠れている紙面領域候補を特定しないことができる。

＜第３の実施形態＞
第１の実施形態では、各分割領域の紙面候補領域の内側と外側の分離度を元に紙面領域としての確からしさ（確度）のスコアを算出した。本実施形態では、撮像した紙面の背景領域（原稿台など）の画素値が一様である場合、分散値をスコアの指標として用いる。本実施形態のその他の処理は、第１の実施形態と同じであるので、説明を省略する。

図２４は、本実施形態におけるステップＳ１５０３の分割領域の評価値を算出する処理を示すフローチャートである。

ステップＳ２４０１では、分割領域Ｂ１からＢｍをそれぞれ処理対象の分割領域ＢとしてＳ２４０２へ進み、Ｓ２４０６までの処理を繰り返す。

分割領域Ｂの位置によって、その後の処理が決まるので、ステップＳ２４０２では、まず分割領域Ｂが角に位置しているかを判定する。分割領域Ｂが辺に位置していると判定したら、ステップＳ２４０３とステップＳ２４０４の処理を行い、分割領域Ｂが角に位置していると判定したら、ステップＳ２４０５とステップＳ２４０６の処理を行う。

ステップＳ２４０３とステップＳ２４０４との処理はステップＳ１８０２とステップＳ１８０３との処理と同様であるため、ここで説明を省略する。ステップＳ２４０５では、情報出力部１６０７は、以下の式（２）を用いて角部にある分割領域における紙面候補領域の外部領域の分散値σを算出して出力する。

ここで、Ｎは画素数
ｍは領域の平均輝度値
ｓ_ｉは画素ｉの輝度値
式（２）では分散値σの算出に輝度値を用いているが、輝度値に限定しない。入力画像が多値（例えばＲＧＢ値）の場合には、多値空間（ＲＧＢ空間）内で全画素値に対して主成分分析を行い、第一主成分得られる主軸に対して全画素値を射影して得る値を輝度値の替わりに式（２）に適用することで分散値σを算出することもできる。

ステップＳ２４０６では、ステップＳ２４０５で求めた外部領域の分散値を角部の分割領域Ｂの評価値とし、ステップＳ２４０７へ進む。

ステップＳ２４０７では、全分割領域Ｂに対して処理が完了していれば終了し、未処理領域が残っていればステップＳ２４０１へ戻る。

本実施形態では、情報出力部１６０７は、ステップＳ１５０４のスコア算出処理では、以下の式（３）を用いてスコアを算出して出力する。

ここで、
η_ｍはＳ１５０３で求めた分割領域の各辺の内外分離度の平均
σ_ｍはＳ１５０３で求めた分割領域の各角の外部分散の平均
式（３）は、本実施形態のスコア算出処理の一例であり、各辺の分割領域の分離度が高いほど紙面領域候補の確度が高くなり、角部の外部の分散値が低いほど紙面領域候補の確度が高くなることが本質であり、式（３）のスコア算出に別の重みをつけてもよい。また、分離度又は分散値だけでスコアを算出するなど、その他の方法でスコアを求めてもよい。

そして、ステップＳ１５０５で情報出力部１６０７から出力されたスコアの判定が行われ、その判定結果に基づいて、ステップＳ１５０６で領域特定部１６０８は図２５に示す紙面領域候補２５０１を紙面領域又は注目領域として特定する。

図２５（ａ）は、入力される撮像画像と撮像画像から得られた紙面領域候補の例を示す。紙面領域候補２５０１は、角部が丸みを帯びた紙面の領域候補である。ステップＳ３０４の四角形生成処理では、四辺の候補となる線分を伸長し四角形を生成するため、角部が丸い紙面であっても、この様な四角形が紙面候補として形成される。

分割領域２５０２は、ステップＳ１５０２で生成された、紙面領域候補２６０１の角部に位置する分割領域である。

図２５（ｂ）は、分割領域２５０２を拡大して表した図である。分割領域２５０２には紙面領域候補の内部領域２５０３、外部領域２５０４が存在している。この様に角に丸みを帯びた紙面の場合、角部の分割領域の内部領域２５０３に実際の紙面が一部しか入らない場合や、まったく入らない場合がある。その場合、内外領域の画素分散値に差がでないため、分離度が低い値がでてしまい、第１の実施形態で説明した方法では、正しい紙面領域であっても紙面領域候補のスコアが低い値をなってしまう。分散値を用いる方法では、背景の画素値が一様であれば、分散値が低い値となり、紙面領域候補のスコアを高く算出することが可能である。

以上、本実施形態によれば、背景領域の画素値が均一であることを利用し、紙面領域候補の角部の外部領域の分散値を用いることで、角に丸みを帯びた紙面に対しても紙面領域の検出を精度よく行うことが可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像入力部
１０２ ＣＰＵ
１０３ ＲＡＭ
１０４ 記憶部

Claims (17)

1. 複数の線分で構成される領域を領域候補として入力する入力手段と、
   前記領域候補を構成する各線分における、所定大きさ以下の複数の領域において、前記線分を境界とする両側の画像特徴量の関係を示す第一情報と、前記領域候補の各角における所定大きさ以下の領域において前記領域候補の内側と外側の画像特徴量の関係を示す第二情報と、を出力する出力手段と、
   前記複数の領域のそれぞれに対応する前記第一情報と前記第二情報とを用いて、前記領域候補を注目領域として特定する特定手段と、
   を有することを特徴とする画像処理装置。
2. 前記第一情報は、前記各線分における前記複数の領域のそれぞれの領域内の前記線分を境界とする両側の画素値の第一分離度であることを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記第一分離度の平均値に基づいて、前記領域候補を注目領域として特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第二情報は、前記各角における前記領域内の前記領域候補の内側と外側の画素値の第二分離度であることを特徴とする請求項１に記載の画像処理装置。
5. 前記特定手段は、前記第一情報と前記第二分離度の平均値とに基づいて、前記領域候補を注目領域として特定することを特徴とする請求項４に記載の画像処理装置。
6. 前記第一情報は、前記各線分における前記複数の領域のそれぞれの領域内の前記線分を境界とする両側の画素値の第一分離度であり、前記第二情報は、前記各角における前記領域内の前記領域候補の内側と外側の画素値の第二分離度であって、
   前記特定手段は、前記第一分離度の平均値と前記第二分離度の平均値とに基づいて、前記領域候補を注目領域として特定することを特徴とする請求項１に記載の画像処理装置。
7. 前記特定手段は、前記第二分離度の平均値より重みを付けた前記第一分離度の平均値と、前記第二分離度の平均値とに基づいて、前記領域候補を注目領域として特定することを特徴とする請求項６に記載の画像処理装置。
8. 前記特定手段は、前記第一分離度の平均値と、前記第一分離度の平均値より重みを付けた前記第二分離度の平均値とに基づいて、前記領域候補を注目領域として特定することを特徴とする請求項６に記載の画像処理装置。
9. 前記特定手段は、前記第一分離度及び前記第二分離度から得られた評価値が閾値以上である前記領域候補を注目領域として特定することを特徴とする請求項６乃至８の何れか１項に記載の画像処理装置。
10. 前記入力手段で入力された領域候補が複数ある場合、前記特定手段は、前記第一分離度及び前記第二分離度から得られた評価値に基づいて、所定個数の前記領域候補を注目領域として特定することを特徴とする請求項６乃至８の何れか１項に記載の画像処理装置。
11. 複数の線分で構成される領域を領域候補として入力する入力手段と、
    前記領域候補を構成する各線分における、所定大きさ以下の複数の領域において、前記線分を境界とする両側の画像特徴量の関係を示す第一情報と、前記領域候補の各角における所定大きさ以下の領域において前記領域候補の外側の画像特徴量を示す第三情報と、を出力する出力手段と、
    前記複数の領域のそれぞれに対応する前記第一情報及び前記第三情報を用いて、前記領域候補を注目領域として特定する特定手段と、
    を有することを特徴とする画像処理装置。
12. 前記第三情報は、前記各角における前記領域内の前記領域候補の外側の画素値の分散値であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記入力手段は、
    文書を撮像して得られた撮像画像から抽出したエッジ画素に基づいて、エッジ画像を作成する作成手段と、
    前記エッジ画素から直線を生成する直線生成手段と、
    前記直線生成手段から生成された前記直線に基づいて、前記文書の境界を示す線分を出力する線分出力手段と、
    前記線分出力手段で生成された前記線分から前記領域候補を生成する生成手段と、
    をさらに有することを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 複数の線分で構成される領域を領域候補として入力する入力工程と、
    前記領域候補を構成する各線分における、所定大きさ以下の複数の領域において、前記線分を境界とする両側の画像特徴量の関係を示す第一情報と、前記領域候補の各角における所定大きさ以下の領域において前記領域候補の内側と外側の画像特徴量の関係を示す第二情報と、を出力する出力工程と、
    前記複数の領域のそれぞれに対応する前記第一情報と前記第二情報とを用いて、前記領域候補を注目領域として特定する特定工程と、
    を有することを特徴とする画像処理方法。
15. 複数の線分で構成される領域を領域候補として入力する入力ステップと、
    前記領域候補を構成する各線分における、所定大きさ以下の複数の領域において、前記線分を境界とする両側の画像特徴量の関係を示す第一情報と、前記領域候補の各角における所定大きさ以下の領域において前記領域候補の内側と外側の画像特徴量の関係を示す第二情報と、を出力する出力ステップと、
    前記複数の領域のそれぞれに対応する前記第一情報と前記第二情報とを用いて、前記領域候補を注目領域として特定する特定ステップと、
    をコンピュータに実行させることを特徴とするプログラム。
16. 複数の線分で構成される領域を領域候補として入力する入力工程と、
    前記領域候補を構成する各線分における、所定大きさ以下の複数の領域において、前記線分を境界とする両側の画像特徴量の関係を示す第一情報と、前記領域候補の各角における所定大きさ以下の領域において前記領域候補の外側の画像特徴量を示す第三情報と、を出力する出力工程と、
    前記複数の領域のそれぞれに対応する前記第一情報及び前記第三情報を用いて、前記領域候補を注目領域として特定する特定工程と、
    を有することを特徴とする画像処理方法。
17. 複数の線分で構成される領域を領域候補として入力する入力ステップと、
    前記領域候補を構成する各線分における、所定大きさ以下の複数の領域において、前記線分を境界とする両側の画像特徴量の関係を示す第一情報と、前記領域候補の各角における所定大きさ以下の領域において前記領域候補の外側の画像特徴量を示す第三情報と、を出力する出力ステップと、
    前記複数の領域のそれぞれに対応する前記第一情報及び前記第三情報を用いて、前記領域候補を注目領域として特定する特定ステップと、
    をコンピュータに実行させることを特徴とするプログラム。

Images