JP5006250B2 - 画像補正装置、画像補正方法、画像補正プログラム及び記録媒体 - Google Patents

Description

本発明は、画像補正装置、画像補正方法、画像補正プログラム及び記録媒体に関し、特に十分な特徴量が得られない場合においても、高精度に歪み補正を行う画像補正装置、画像補正方法、画像補正プログラム及び記録媒体に関する。

製本原稿を複写したり、スキャナで読み取ったりする場合に、製本原稿をスキャナ等のコンタクトガラス上に載置すると、原稿１０の綴じ部１１がコンタクトガラスから浮き上がってしまう。このように原稿１０の綴じ部１１がコンタクトガラスから浮き上がってしまい、焦点面から離れると、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像の綴じ部は読みにくく、例えばＯＣＲ（Optical Character Reader）による文字認識処理を行う場合は認識率が著しく低下する。このような画像劣化は、特に厚手の製本原稿でその割合が高く、また、製本原稿の綴じ部を焦点面から離れないように加圧作業をすると製本を破損してしまうこともある。

そこで、上記のような製本原稿の綴じ部画像の歪みを補正する技術が提案されている。例えば、読取り画像により製本原稿の見開き頁の綴じ部領域を分離する綴じ部領域分離手段が、製本原稿の見開き頁の画像の中で綴じ部領域を分離する位置を検出する分離位置検出手段と、この分離位置検出手段により綴じ部領域を分離する位置を検出する範囲を限定する検出範囲限定手段とを有するため、測距センサのような特別な検知手段を設けることなく、読取り画像からの綴じ部形状認識により製本原稿の綴じ部を正確に検知し、綴じ部の誤検知を防止する画像処理装置が提案されている（特許文献１参照）。

特許文献１では、製本原稿の頁部と綴じ部との境目について説明されている。具体的には、「スキャナが読み取った読取り画像には原稿部と背景部があり、その境界がある。この境界の分布が直線となる頁部と、境界の分布が曲線になる綴じ部がある。頁部と綴じ部との境目は切り替え点と呼ぶ」旨が記載されている（特許文献１、段落００５４）。読取り画像における切り替え点について図９に示す。

また、ページ外形が途中で切れているような読取りスキャン画像であっても、その歪みを少ない計算量で有効に補正する画像歪み補正装置が提案されている（特許文献２参照）。具体的には、原稿としてブック原稿を読み取る場合、読取りスキャン画像を二値化して文字行を抽出し、これらの文字行の形状の変化に基づいてブック原稿の３次元形状（コンタクトガラスからの浮き上がり量）を推定し、このコンタクトガラスからの浮き上がり量に基づいてスキャン画像の歪みを補正する。これにより、ブック原稿のページ外形が途中で切れているような読取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる。特許文献２記載の発明は、読取り画像の文字行あるいは罫線の直線成分と曲線部分との距離から歪み量（２次元の歪み量）を求め、３次元形状復元を行っている。基準文字行の直線部分と基準文字行の曲線部分との距離ＡＢについて図１０に示す。

また、スキャン画像から切り出した文字等から算出された歪み量を用いて補正を行う装置が提案されている（特許文献３、特許文献４、特許文献５参照）。

特許文献３記載の発明によれば、読取りスキャン画像から文字の外接矩形が抽出され、この文字外接矩形の形状の変化に基づいてスキャン画像の歪みが補正される。具体的には、読取り手段により読み取られたスキャン画像から文字を切り出して各文字の外接矩形を抽出する文字外接矩形抽出手段と、この文字外接矩形抽出手段により抽出された文字外接矩形の形状の変化を利用して原稿画像の歪み量を推定する歪み量推定手段と、この歪み量推定手段により推定された歪み量に基づき、前記スキャン画像に対して拡大処理を施す画像補正手段とを備える。

特許文献４記載の発明は、スキャン画像から文字を切り出して、各文字の外接矩形を抽出し、この抽出された文字外接矩形に基づいて文字行を抽出し、この抽出された文字行の形状から原稿画像のコンタクトガラスからの浮き上がり量を推定し、この推定した浮き上がり量に基づき前記スキャン画像に対して補正処理を施すことを特徴とする画像歪み補正装置である。

特許文献５記載の発明は、スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択し、選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択し、前記基準線と前記参照線とに基づいた仮想的なページ外形を算出し、算出した仮想的なページ外形に基づいて前記スキャン画像に対する歪み補正を行うことを特徴とする画像歪み補正装置。

また、スキャン画像の輝度を補正する画像輝度装置において、スキャン画像を複数のブロックに分割し、分割された前記各ブロックに含まれる画素の中で最も輝度値の高い画素をそれぞれ選択し、その画素の輝度値を当該各ブロックの地肌値とみなして検出する地肌値検出手段を備え、この地肌値検出手段により前記ブロック毎に検出された前記地肌値に基づき、前記スキャン画像に対して輝度補正処理を施すことを特徴とする画像輝度装置が提案されている（特許文献６参照）。

また、コンタクトガラス上にブック原稿をセットする場合、ブック原稿の画像を下向きにしてセットする必要があり、操作者からは原稿の裏面しか見ることができないようになっている。そのため、スキャン画像にはブック原稿のページ綴じ部の浮き上がり方（コンタクトガラスからの距離）がページの上下で異なるためにカタカナの「ハの字」のような歪み形状（「ハの字」歪み）になるスキャン画像が発生する場合がある。そこで、スキャン画像に含まれる線形状部分を用い、スキャン画像の「ハの字」歪み角度を検出し、検出した「ハの字」歪み角度に基づいてスキャン画像の「ハの字」歪みを補正した後にスキャン画像の副走査方向の形状歪みを補正することを特徴とする画像補正装置が提案されている（特許文献７参照）。

また、「ハの字」歪み角度を利用した画像補正装置としては、画像読取手段による画像読み取りの主走査方向に対してページ綴じ部を略平行にした状態で読み取ったブック原稿のスキャン画像から前記ブック原稿のページ外形を抽出し、抽出された前記ページ外形に基づいて前記スキャン画像の左右各ページの「ハの字」歪み角度を検出し、前記スキャン画像を、前記抽出されたページ外形に基づいて主走査方向に伸長し、かつ、前記ページ外形に基づく浮きの高さのみを利用して副走査方向に伸長し、この主走査方向及び副走査方向に伸長された前記スキャン画像の左右各ページに対し、前記検出された「ハの字」歪み角度に応じた「ハの字」歪み補正を行うことを特徴とする画像補正装置が提案されている（特許文献８参照）。
特許第３５３２３８５号公報 特開２００２−３５８５１４号公報 特開２００２−１８５７７９号公報 特開２００２−３５８５１４号公報 特開２００３−６９８０７号公報 特開２００３−６９８２４号公報 特開２００３−２５９１０９号公報 特開２００３−３０４３９０号公報

しかしながら、上記各装置は、スキャン画像から切り出した文字、ページ外形等に基づいて歪み量等の特徴量を検出し、検出された特徴量に基づいて画像補正を行っているため、スキャン画像データから十分な特徴量が得られない場合は歪み補正を行うことが出来ないという点が問題であった。すなわち、スキャン画像から十分な特徴量が得られない場合も考え得るため、このような場合に、スキャン画像から特徴量が抽出される場合を前提にした装置においては正しく歪み補正が行うことが出来ない。

本発明はこのような状況に鑑みてなされたものであり、十分な特徴量が得られない場合においても、高精度に歪み補正を行うことを目的とする。

本発明に係る画像補正装置は、複数ページで構成される画像データを受け取る画像受信手段と、前記画像受信手段により受信された画像データの各ページから、歪み補正に用いる特徴量を抽出する特徴抽出手段と、前記特徴抽出手段によって画像データの歪み補正を行うに十分な特徴量を抽出出来たか否か判断する第１の判断手段と、前記画像受信手段により受信された複数ページで構成される画像データのうち、前記第１の判断手段において十分な特徴量を抽出出来たと判断された全てのページから抽出した前記特徴量を保持する特徴量管理手段と、前記第１の判断手段において十分な特徴量を抽出出来たと判断されなかった場合に、十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴抽出手段によって抽出された前記特徴量に基づいて、前記特徴量管理手段により保持された前記全てのページから抽出された特徴量のうち、当該画像データの歪み補正に採用する前記特徴量を判断する第２の判断手段と、前記第２の判断手段により、前記特徴量管理手段に保持された各ページの前記特徴量のうち、少なくともいずれかのページの前記特徴量を当該画像データの歪み補正に採用すると判断された場合に、当該特徴量に基づいて、当該画像データの歪みを補正する歪み補正手段と、を備えることを特徴とする。

本発明に係る画像補正方法は、画像受信手段が、複数ページで構成される画像データを受信する工程と、特徴抽出手段が、前記画像データを受信する工程により受信された画像データの各ページから、歪み補正に用いる特徴量を抽出する工程と、第１の判断手段が、前記特徴量を抽出する工程によって画像データの歪み補正を行うに十分な特徴量を抽出出来たか否か判断する工程と、特徴量管理手段が、前記画像データを受信する工程により受信された複数ページで構成される画像データのうち、前記判断する工程において十分な特徴量を抽出出来たと判断された全てのページから抽出した前記特徴量を保持する工程と、第２の判断手段が、前記判断する工程において十分な特徴量を抽出出来たと判断されなかった場合に、十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴量を抽出する工程によって抽出された前記特徴量に基づいて、前記特徴量を保持する工程により保持された前記全てのページから抽出された特徴量のうち、当該画像データの歪み補正に採用する前記特徴量を判断する工程と、歪み補正手段が、前記特徴量を判断する工程により、前記特徴量を保持する工程より保持された各ページの前記特徴量のうち、少なくともいずれかのページの前記特徴量を当該画像データの歪み補正に採用すると判断された場合に、当該特徴量に基づいて、当該画像データの歪みを補正する工程と、を備えることを特徴とする。

本発明に係る画像補正プログラムは、画像受信手段が、複数ページで構成される画像データを受信する処理と、特徴抽出手段が、前記画像データを受信する処理により受信された画像データの各ページから、歪み補正に用いる特徴量を抽出する処理と、第１の判断手段が、前記特徴量を抽出する処理によって画像データの歪み補正を行うに十分な特徴量を抽出出来たか否か判断する処理と、特徴量管理手段が、前記画像データを受信する処理により受信された複数ページで構成される画像データのうち、前記判断する処理において十分な特徴量を抽出出来たと判断された全てのページから抽出した前記特徴量を保持する処理と、第２の判断手段が、前記判断する処理において十分な特徴量を抽出出来たと判断されなかった場合に、十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴量を抽出する処理によって抽出された前記特徴量に基づいて、前記特徴量を保持する処理により保持された前記全てのページから抽出された特徴量のうち、当該画像データの歪み補正に採用する前記特徴量を判断する処理と、歪み補正手段が、前記特徴量を判断する処理により、前記特徴量を保持する処理より保持された各ページの前記特徴量のうち、少なくともいずれかのページの前記特徴量を当該画像データの歪み補正に採用すると判断された場合に、当該特徴量に基づいて、当該画像データの歪みを補正する処理と、をコンピュータに実行させることを特徴とする。

本発明に係る記録媒体は、上記本発明に係る画像補正プログラムの処理を記録するコンピュータ読取り可能な記録媒体である。

本発明によれば、十分な特徴量が得られない場合においても、高精度に歪み補正を行うことが出来る。

以下に、本発明の実施形態について図面を用いて詳細に説明する。なお、以下に述べる実施形態は、本発明の好適な実施形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

図１は、本実施形態に係る画像を読み取るスキャナ２０を示す図である。このスキャナ２０は、画像読み取り手段としてのフラットベットタイプのスキャナであり、イメージスキャナの一般的形態である。このデジタル複写機はスキャナ２０の下側に画像形成部そていのプリンタが配置されている。

このスキャナ２０で製本原稿１０の画像を読み取る際は、原稿圧板２１を開放し、製本原稿１０の読取り頁を開いて下向きに反転して原稿台２３上にセットする。このとき、原稿１０の画像読み取りが左奥のコーナー基準２６であるため、製本原稿１０は見開き頁の端部が奥の原稿スケール２４と左の原稿スケール２５に合うようにセットする。原稿スケール２４、２５は、原稿台２３より高く段差がある構造となっており、原稿の突き当てセットが行いやすいようになっている。

図２は、原稿台２３（コンタクトガラス、スキャナ表面とも称す）上に製本原稿１０を開いてセットした場合を示す図である。スキャナ表面から綴じ部１１が離れ、製本原稿１０の中央部（綴じ部１１）が浮いた状態となる。このような場合に読み取ると、中央部が浮いているため、歪み画像となる。歪み画像の一例を図３に示す。

図４は、本実施形態に係る画像補正装置の機能ブロック図である。本実施形態に係る画像補正装置は、画像入力部４０、綴じ部位置・境界位置検出部４１、歪み補正特徴抽出部４２、判断部４３、歪み特徴量管理部４４、利用特徴量算出部４５、歪み補正部４６とから構成される。

画像入力部４０は、補正の対象となる画像の入力手段である。画像入力部４０で取得する画像は、上述したようなスキャナ等の読取り装置を用いて読み取った画像や、他の装置から取得した画像でも良い。

綴じ部位置・境界位置検出部４１は、補正対象の画像の綴じ部位置・境界位置を検出する手段である。境界位置とは、平坦部（非歪み領域）と歪み部（歪み領域）の境界位置である。

綴じ部位置・境界位置検出部４１における、綴じ部位置の検出方法に関しては、補正対象の画像のページ外形、文字や図の非存在領域、最小輝度および直線検出を適宜組み合わせて、綴じ部を検出しても良いし、補正対象の画像を二値化して、綴じ部と平行の方向に濃度のヒストグラムを求め、ピークを綴じ部位置としても良い。

綴じ部位置・境界位置検出部４１における、画像の平坦部（非歪み領域）と歪み部（歪み領域）の境界位置は、例えば、図９の切り替え点、または、図１０の直線部分と曲線部分から求めることもできる。図１０で言えば、直線部分と曲線部分のＹ座標が一致しているかどうかを、Ｘの値が小さいほうから大きいほうへ順番に調べていき、Ｙ座標が異なる箇所が見つかれば、その時点のＸ座標が境界位置になる。

上述のように、歪みの形状に関係なく、綴じ部位置や境界位置を検出するため、歪み補正に必要な特徴量が検出できない場合であっても、綴じ部位置や境界位置を求めることが出来る。

歪み補正特徴抽出部４２は、歪み補正に必要な特徴量を求める手段である。歪み補正に必要な特徴量とは、地肌を補正する際の基準値（非歪み領域である平坦部分の基準値を求め、その基準値をもとに地肌補正処理を施す）や、ページ外形もしくは罫線もしくは文字行から算出された歪み量（形状認識）である。基本的な処理については、上述した歪み形状の認識（特開２００２−１８５７７９、特開２００２−３５８５１４、特開２００３−６９８０７）、地肌補正（特開２００３−６９８２４）により行う。

また、歪み形状の認識精度を高めるためには、歪み形状の認識、地肌補正だけでなく、スキュー補正（傾き角度が特徴量）、ハの字（左右のページの傾きの向きが逆）補正を対象としても良い。ハの字の場合も左右ページそれぞれの傾き角度が特徴量になる。

判断部４３は、歪み補正特徴抽出部４２において歪み補正に必要な特徴量が求まったか否かを判断する。

歪み特徴量管理部４４は、求められた特徴量を保持する。図５は、歪み特徴量管理部４４での保持されているデータの一例を示す図である。図５ａは、綴じ部位置と境界位置の距離が同じ値のものと歪み補正に必要な特徴量との関係で保持する一例である。図５ｂは、ページ番号と、綴じ部位置と境界位置の距離、歪み補正に必要な特徴量の関係で保持する一例である。

利用特徴量算出部４５は、歪み補正に必要な特徴量が求まらなかった場合に、歪み特徴量管理部４４に既に保持されている特徴量から、利用する特徴量の範囲を算出し、そこから得られる（平均値、メディアン）特徴量を算出する。

歪み補正部４６は、上記保持された特徴量、若しくは利用特徴量算出部４５によって求められた特徴量に基づいて歪み補正を行う。

上述した画像補正装置の各機能ブロックでの処理を図６のフローチャートに示す。図６のステップＳ１〜Ｓ８により、補正後の画像データを作成出来る。

次に、例えば５０ページの製本原稿をスキャンし、スキャンした画像の歪みを補正する場合を例として画像補正装置の処理を説明する。

〔１枚１枚処理するケース（スキャンと歪み補正を１枚毎に行うケース）〕
１ページ目から９ページ目までは、各ページで特徴量を求めることができ、歪み補正も施されたとする。それと同時に、特徴量も保持されたとする。そして、これから１０ページ目を処理しようとしているが、１０ページ目は文字、罫線がほとんどないために、歪みの形状に関する特徴量を抽出することができないケースについて説明する。

従来は、この時点でリジェクトされ処理を中断することになるが、本実施形態では、前の９ページまでに保持された特徴量から、必要な特徴量を読み込み、それを利用して処理を施す。

特徴量の保持の仕方については、１ページから９ページまでの各ページの特徴量が保持されていても構わないし、直前の９ページ目の特徴量が保持されていても構わない。また、見開きページによっては、左ページからは特徴量が抽出できても、右ページからは特徴量が抽出できない場合も考えられ、ページ単位ではなく、左右ページ単位、あるいは、各特徴量単位に特徴量を更新、保持することも可能である。

〔先に全ページスキャンするケース（歪み補正はスキャン後バッチ処理するケース）〕
この場合は、前のページの特徴量だけでなく、後のページの特徴量も利用し、より確からしい特徴量を利用することが可能となる。例えば、確からしさの情報があれば、より確からしい特徴量を、または、前後それぞれの平均値、中央値を利用することも可能である。

例えば、上述したケース（スキャンと歪み補正を１枚毎に行うケース）と同様に、１ページ目から９ページ目までは、各ページで特徴量を求めることができ、歪み補正も施されたとする。それと同時に、特徴量も保持されたとする。そして、これから１０ページ目を処理しようとしているが、１０ページ目は文字、罫線がほとんどないために、歪みの形状に関する特徴量を抽出することができない場合について説明する。

この場合、１０ページ目は保留状態とし、１１ページ目以降の処理を行う。１１ページ目では特徴量を抽出することが出来れば、前後の特徴量を利用し、遡って１０ページ目の補正を行うことができる。特徴量の保持の仕方については、１ページから９ページまでの各ページの特徴量が保持されていても構わないし、直前の９ページ目の特徴量が保持されていても構わない。全ページ処理した上で、抽出された特徴量が保持されていることも可能で、後で特徴量が抽出されなかったページを順番に補正することも可能となる。

また、先と同様に、見開きページによっては、左ページからは特徴量が抽出できたが、右ページからは特徴量が抽出できない場合もあるので、ページ単位ではなく、左右ページ単位、あるいは、各特徴量単位に特徴量を更新、保持することも可能である。

上記いずれのケースも、各特徴が抽出されなかった場合は、その特徴量に対してその旨を意味するフラグをＯＮにして、どの特徴量が抽出されなかったかを管理することも可能である。判断としては、例えば、単純に、文字行や罫線が存在しないために特徴量が抽出出来ない場合は、その特徴量が抽出出来なかったとして、フラグをＯＮにして、その特徴量に対応する特徴量を前後のページに探しに行くことになる。抽出されたとしても、文字行や罫線の長さ、位置によっては信頼性が低いという理由で採用されない場合もある。

信頼性が低いとは、例えば、罫線の長さが短いため採用できないことや、綴じ部に近い（歪んでいる）範囲に位置しなければその特徴量は採用されないことが考え得る。スキューの角度のように、特徴量の信頼度が低い場合も採用されない。その場合も同様にフラグをＯＮにして、その特徴量に対応する特徴量を前後のページに探しに行くことになる。

以上、特徴量が抽出されなかった場合を例に挙げて説明したが、本実施形態の応用として、特徴量は抽出されたが確からしさが低い場合に、その他の前後のページの確からしい特徴量を参照し、補正処理をすることも可能となる。

上述したように、本発明に係る実施形態では、１ページのみの画像の歪み補正ではなく、連続ページの画像の歪み補正を行うことが出来る。補正対象の画像が連続するページの画像であるため、たとえ１ページの画像から特徴量が求められなくても、その前後のページについては、歪みの形状、地肌の基準値などの特徴量にはほとんど変化がないため、前後のページの特徴量を利用することが出来る。なぜならば、コンタクトガラス上に製本原稿を置き、上から製本原稿を押さえる場合、その加圧する力はある程度一定であるためである。自動で製本原稿のページを捲る機器もあるが、その場合は自動かつ機械的に製本原稿を押さえるため、より加圧する力が一定になる。以上から、補正処理対象となっているページの前後十数ページ程度については、特徴量はほとんど変わらないと言え、それを歪み補正の精度向上に役立てることを特徴とする。

また、堅い紙質によっては少ないページ数であっても歪み形状が大きく変化する場合も考えられる。堅い紙質でない場合においても、連続するページのうちどのページの特徴量でも利用出来ると言うわけではない。どの範囲までの特徴量を利用すべきかを判断する必要がある。補正処理対象となっているページの前後に利用可能な特徴量が無い場合には、無理にページを遡って特徴量を利用して補正するより、リジェクトすることが適切な場合もある。

ここで、利用特徴量算出部４５は、歪み補正に必要な特徴量が求まらなかった場合に、歪み特徴量管理部４４に既に保持されている特徴量から、利用する特徴量の範囲を算出し、そこから得られる（平均値、メディアン）特徴量を算出するが、利用する特徴量の範囲について図７を参照して説明する。利用する特徴量の範囲は、補正対象の画像（例えば、スキャン画像）から抽出された綴じ部位置と境界位置（スキャン画像の平坦部（非歪み領域）と歪み部（歪み領域）の境界位置）から判断する。

綴じ部位置が必要な理由は、コンタクトガラス上に置く製本原稿の位置に依存しないようにするためである。常に平坦部と歪み部の境界位置は、綴じ部位置を基準として、その綴じ部位置からの相対値で扱う。

平坦部と歪み部の境界位置に着目した理由は、製本原稿の歪み量と相関があるからである。歪み量が多ければ多いほど境界位置が綴じ部位置から離れる方向（外側）に移動し、歪み量が少なければ少ないほど綴じ部側に移動する。つまり、綴じ部位置と境界位置の距離の変化が、歪み量の変化を表していることになり、その変化があらかじめ設定されている許容の範囲に納まっているかどうかを調べ、その結果、納まっている範囲で特徴量を利用すれば良い。納まっていない特徴量を利用するということは、現在処理対象となっているページの歪み形状と利用しようとしている歪み形状の差が大きいにも関わらず利用することになるので、補正したとしても結果は期待できない。

従って、特徴量が無い場合に、現在処理対象となっているページの前後数ページの特徴量の平均を計算する場合でも、現在処理対象となっているページの前後に特徴量を探索していく場合でも、どこまで探索可能なのかを決めることが重要となる。

綴じ部位置と境界位置の距離の変化については、あるi番目のページの綴じ部位置をCi、境界位置をPiとすると、その距離Di=ABS(Ci-Pi)を調べる。ABSは絶対値である。さらに、i-1番目、i-2番目・・・の距離Di-1、Di-2と調べていき、それらの差があらかじめ設定されている許容値Thを越えていないかどうかを調べればよい。

ABS(Di - Di-1) < Th を満足し、次にABS(Di - Di-2) < Th を満足すれば、まだ許容範囲として捉えi-3番目を調べる（ABS(Di - Di-3) < Th）。満足しなければ、i番目とi-2番目では、歪みの形状がかなり変化したということで、i-2番目の特徴量を採用しないと判断し、i-1番目までの範囲で特徴量を採用すればよい。

以上のことを、左右のページそれぞれについて求める。左のページの特徴量を探す場合には、左のページの変化を調べ、右のページの特徴量を探す場合には、右のページの変化を調べる。もちろん、例えば、左のページの特徴量を探す場合に、左のページの変化を調べ、まったく利用できる特徴量が見つからなければ、右のページの変化を調べ、利用できる特徴量が見つかれば、右ページの特徴量を左ページに適用することは可能である。

なお、歪み特徴量管理部４４は、補正対象の画像から抽出されたページ外形もしくは罫線もしくは文字行から求められたスキャン画像の歪み量（歪みの形状）、スキャン画像の平坦部（非歪み領域）の基準値、前記スキャン画像の平坦部（非歪み領域）の基準値、平坦部（非歪み領域）と歪み部（歪み領域）の境界位置、スキャン画像の綴じ部位置など、歪み補正に必要な特徴量を保持する。保持される先は、メモリ上でもディスク（ファイル）上でも構わない。

また、歪み特徴量管理部４４は、読み取られた１枚、または、複数枚の画像に関する特徴量を保持することが可能である。現在処理対象となっているページよりも前のページ１枚分の特徴量、あるいは、現在処理対象となっているページよりも前の全ページの特徴量、現在処理対象となっているページよりも前のページ、後ろのページそれぞれ１枚分の特徴量、すべてのページの特徴量などを保持することが可能である。また、特徴量単位であれば、ページという概念ではなく、例えば、１枚分１セットの特徴量をスキャン画像の歪み形状、スキャン画像の平坦部（非歪み領域）の基準値、スキャン画像の綴じ部位置の３つの特徴量で構成するのであれば、３つの特徴量がそれぞれ異なったページから抽出されたものでも可能となる。それぞれ確からしい特徴量を保持すればよい。

なお、本実施形態は、画像入力部をスキャナに限定する必要はない。したがって、ネットワークを介して受け取った画像データに適応することも可能である。

また、本実施形態に係る画像補正装置での処理は、画像処理装置内で行うことも可能である。図８は、本実施形態に係る画像処理装置の機能ブロック図である。スキャナ等の画像機器８１、中央演算処理装置８２、プログラム格納ＲＯＭ又はＲＡＭ８３、ディスプレイ８４、メモリ８５、ワークエリアＲＡＭ８６、ＣＤ−ＲＯＭ・ＦＤドライブ等８７から構成される。本実施形態に係る画像処理装置では、図６のフローチャートで示した画像補正装置での処理を、例えば中央演算処理装置８２で行うことが出来る。

また、図６のフローチャートに示す処理を、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。

以上、本発明を好適な実施形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明の実施形態に係る補正対象の画像を読み取るスキャナ２０を示す図である。 本発明の実施形態に係る補正対象の画像を読み取るスキャナ２０の原稿台２３上に製本原稿１０を開いてセットした場合を示す図である。 本発明の実施形態に係る補正対象の歪み画像の一例を示す図である。 本発明の実施形態に係る画像補正装置の機能ブロック図である。 本発明の実施形態に係る歪み特徴量管理部４４での保持されているデータの一例を示す図である。 本発明の実施形態に係る画像補正の処理を示すフローチャートである。 本発明の実施形態に係る特徴量の範囲について説明するための図である。 本発明の実施形態に係る画像処理装置の機能ブロック図である。 従来の読取り画像における綴じ部との境目である切り替え点について説明するための図である。 従来の読取り画像における文字行あるいは罫線の直線成分と曲線部分との距離から歪み量を求めることを説明するための図である。

符号の説明

１０ 製本原稿
１１ 綴じ部
１２ 頁部
２０ スキャナ
２１ 原稿圧板
２３ 原稿台
２４、２５ 原稿スケール
２６ コーナー基準
４０ 画像入力部
４１ 綴じ部位置・境界位置検出部
４２ 歪み補正特徴抽出部
４３ 判断部
４４ 歪み特徴量管理部
４５ 利用特徴量算出部
４６ 歪み補正部
８１ スキャナ等の画像機器
８２ 中央演算処理装置
８３ プログラム格納ＲＯＭ又はＲＡＭ
８４ ディスプレイ
８５ メモリ
８６ ワークエリアＲＡＭ
８７ ＣＤ−ＲＯＭ・ＦＤドライブ

Claims (8)

1. 複数ページで構成される画像データを受け取る画像受信手段と、
   前記画像受信手段により受信された画像データの各ページから、歪み補正に用いる特徴量を抽出する特徴抽出手段と、
   前記特徴抽出手段によって画像データの歪み補正を行うに十分な特徴量を抽出出来たか否か判断する第１の判断手段と、
   前記画像受信手段により受信された複数ページで構成される画像データのうち、前記第１の判断手段において十分な特徴量を抽出出来たと判断された全てのページから抽出した前記特徴量を保持する特徴量管理手段と、
   前記第１の判断手段において十分な特徴量を抽出出来たと判断されなかった場合に、十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴抽出手段によって抽出された前記特徴量に基づいて、前記特徴量管理手段により保持された前記全てのページから抽出された特徴量のうち、当該画像データの歪み補正に採用する前記特徴量を判断する第２の判断手段と、
   前記第２の判断手段により、前記特徴量管理手段に保持された各ページの前記特徴量のうち、少なくともいずれかのページの前記特徴量を当該画像データの歪み補正に採用すると判断された場合に、当該特徴量に基づいて、当該画像データの歪みを補正する歪み補正手段と、
   を備えることを特徴とする画像補正装置。
2. 前記特徴抽出手段によって抽出された綴じ部位置及び境界位置の特徴量から、利用する特徴量の範囲を算出する利用特徴量算出手段を備え、
   前記第２の判断手段は、
   十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴抽出手段によって抽出された綴じ部位置及び境界位置の特徴量から算出された前記利用する特徴量の範囲に基づいて、当該利用する特徴量の範囲と、前記特徴量管理手段により保持された前記特徴量の範囲との差が所定の値を超えないページの前記特徴量を歪み補正に採用すると判断することを特徴とする請求項１記載の画像補正装置。
3. 前記特徴量管理手段は、前記画像受信手段により受信された画像データから求めた特徴量と、前記画像データの綴じ部位置と、平坦部と歪み部との境界位置とを保持することを特徴とする請求項２記載の画像補正装置。
4. 画像受信手段が、複数ページで構成される画像データを受信する工程と、
   特徴抽出手段が、前記画像データを受信する工程により受信された画像データの各ページから、歪み補正に用いる特徴量を抽出する工程と、
   第１の判断手段が、前記特徴量を抽出する工程によって画像データの歪み補正を行うに十分な特徴量を抽出出来たか否か判断する工程と、
   特徴量管理手段が、前記画像データを受信する工程により受信された複数ページで構成される画像データのうち、前記判断する工程において十分な特徴量を抽出出来たと判断された全てのページから抽出した前記特徴量を保持する工程と、
   第２の判断手段が、前記判断する工程において十分な特徴量を抽出出来たと判断されなかった場合に、十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴量を抽出する工程によって抽出された前記特徴量に基づいて、前記特徴量を保持する工程により保持された前記全てのページから抽出された特徴量のうち、当該画像データの歪み補正に採用する前記特徴量を判断する工程と、
   歪み補正手段が、前記特徴量を判断する工程により、前記特徴量を保持する工程より保持された各ページの前記特徴量のうち、少なくともいずれかのページの前記特徴量を当該画像データの歪み補正に採用すると判断された場合に、当該特徴量に基づいて、当該画像データの歪みを補正する工程と、
   を備えることを特徴とする画像補正方法。
5. 利用特徴量算出手段が、前記特徴量を抽出する工程によって抽出された綴じ部位置及び境界位置の特徴量から、利用する特徴量の範囲を算出する工程を備え、
   前記第２の判断手段は、
   十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴量を抽出する工程によって抽出された綴じ部位置及び境界位置の特徴量から算出された前記利用する特徴量の範囲に基づいて、当該利用する特徴量の範囲と、前記特徴量を保持する工程により保持された前記特徴量の範囲との差が所定の値を超えないページの前記特徴量を歪み補正に採用すると判断する工程を備えることを特徴とする請求項４記載の画像補正方法。
6. 前記特徴量を保持する工程は、前記前記画像データを受信する工程により受信された画像データから求めた特徴量と、前記画像データの綴じ部位置と、平坦部と歪み部との境界位置とを保持することを特徴とする請求項５記載の画像補正方法。
7. 画像受信手段が、複数ページで構成される画像データを受信する処理と、
   特徴抽出手段が、前記画像データを受信する処理により受信された画像データの各ページから、歪み補正に用いる特徴量を抽出する処理と、
   第１の判断手段が、前記特徴量を抽出する処理によって画像データの歪み補正を行うに十分な特徴量を抽出出来たか否か判断する処理と、
   特徴量管理手段が、前記画像データを受信する処理により受信された複数ページで構成される画像データのうち、前記判断する処理において十分な特徴量を抽出出来たと判断された全てのページから抽出した前記特徴量を保持する処理と、
   第２の判断手段が、前記判断する処理において十分な特徴量を抽出出来たと判断されなかった場合に、十分な特徴量を抽出出来たと判断されなかった前記画像データから前記特徴量を抽出する処理によって抽出された前記特徴量に基づいて、前記特徴量を保持する処理により保持された前記全てのページから抽出された特徴量のうち、当該画像データの歪み補正に採用する前記特徴量を判断する処理と、
   歪み補正手段が、前記特徴量を判断する処理により、前記特徴量を保持する処理より保持された各ページの前記特徴量のうち、少なくともいずれかのページの前記特徴量を当該画像データの歪み補正に採用すると判断された場合に、当該特徴量に基づいて、当該画像データの歪みを補正する処理と、
   をコンピュータに実行させることを特徴とする画像補正プログラム。
8. 請求項７に記載の画像補正プログラムの処理を記録したコンピュータ読み取り可能な記録媒体。

Images