JP4180260B2 - 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム - Google Patents
画像歪み補正装置、画像読取装置、画像形成装置及びプログラム Download PDFInfo
- Publication number
- JP4180260B2 JP4180260B2 JP2001256970A JP2001256970A JP4180260B2 JP 4180260 B2 JP4180260 B2 JP 4180260B2 JP 2001256970 A JP2001256970 A JP 2001256970A JP 2001256970 A JP2001256970 A JP 2001256970A JP 4180260 B2 JP4180260 B2 JP 4180260B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- image
- page
- reference line
- scanned image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 193
- 238000004364 calculation method Methods 0.000 claims description 40
- 239000011521 glass Substances 0.000 claims description 20
- 230000000149 penetrating effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 68
- 238000000034 method Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 28
- 238000000605 extraction Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像歪み補正装置、画像読取装置、画像形成装置及びプログラムに関する。
【０００２】
【従来の技術】
フラッドベットスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿としてブック原稿を用いた場合には、図４８に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法としては、
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24(2), 125-135(1997)
に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【０００５】
また、特開平5-161002号公報には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【０００６】
さらに、特開平11-41455号公報には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法が提案されている。
【０００７】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【０００８】
また、特開平5-161002号公報に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【０００９】
さらに、特開平11-41455号公報に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
【００１０】
そこで、近年においては、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置が提案されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述したようなページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置によれば、ページ外形ではなく、文字行情報および罫線情報を用いて画像の歪みを補正するようにしているが、まだ、完全とはいえず、解決されねばならない課題が存在する。
【００１２】
例えば、従来においては、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合には、画像の歪みの補正をスキャナ（画像読取手段）の固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用して行っているので、特定のスキャナの出力画像しか補正できないという問題がある。
【００１３】
本発明の目的は、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、スキャナ（画像読取手段）の固有パラメータに依存することなくスキャン画像に対する歪み補正を行うことができる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することである。
【００１４】
本発明の目的は、スキャン画像の歪み補正の補正精度を向上させることができる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することである。
【００１５】
【課題を解決するための手段】
本発明の画像歪み補正装置は、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の歪みを補正する画像歪み補正装置において、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択する基準線選択手段と、この基準線選択手段により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択する参照線選択手段と、前記基準線として罫線または文字行が選択された場合、前記基準線側の辺に前記基準線及び前記参照線とに基づいて仮想ページ外形を算出し、前記基準線として前記ページ外形が選択された場合、前記仮想ページ外形の算出を行わず当該ページ外形を仮想ページ外形とみなす仮想ページ外形算出手段と、前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正手段と、を備える。
【００１６】
したがって、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形が算出され、算出された前記仮想ページ外形に基づいてスキャン画像に対する歪み補正が行われる。これにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことが可能になるので、スキャナの固有パラメータに依存することのない汎用的な装置の提供が可能になる。
【００１８】
また基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることが可能になる。
【００１９】
また本発明の画像歪み補正装置において、前記仮想ページ外形算出手段は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出する。
【００２０】
したがって、簡易な計算により仮想ページ外形の算出が可能になる。
【００２１】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点である。
【００２２】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００２３】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分に位置する。
【００２４】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００２５】
また本発明の画像歪み補正装置において、前記基準線選択手段と前記参照線選択手段と前記仮想ページ外形算出手段と前記歪み補正手段とは、前記スキャン画像の左右ページ毎に独立して実行される。
【００２６】
したがって、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００２７】
また本発明の画像歪み補正装置において、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設ける。
【００２８】
したがって、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００２９】
また本発明の画像歪み補正装置において、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしである。
【００３０】
したがって、ページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順が確実に得られ、スキャン画像の歪み補正の補正精度を確実に向上させることが可能になる。
【００３１】
また本発明の画像歪み補正装置において、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とする。
【００３２】
したがって、仮想ページ外形の算出精度を向上させることが可能になる。
【００３３】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなす。
【００３４】
したがって、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００３５】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなす。
【００３６】
したがって、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００３７】
また本発明の画像読取装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、を備える。
【００３８】
したがって、本発明と同様の作用を奏する画像読取装置が得られる。
【００３９】
また本発明の画像形成装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備える。
【００４０】
したがって、本発明と同様の作用を奏する画像形成装置が得られる。
【００４１】
本発明のプログラムは、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の画像歪み補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択させる基準線選択機能と、この基準線選択機能により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択させる参照線選択機能と、前記基準線として罫線または文字行が選択された場合、前記基準線側の辺に前記基準線及び前記参照線とに基づいて仮想ページ外形を算出し、前記基準線として前記ページ外形が選択された場合、前記仮想ページ外形の算出を行わず当該ページ外形を仮想ページ外形とみなす仮想ページ外形算出機能と、前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正機能と、を実行させる。
【００４２】
したがって、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形が算出され、算出された前記仮想ページ外形に基づいてスキャン画像に対する歪み補正が行われる。これにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことが可能になるので、スキャナの固有パラメータに依存することのない汎用的なプログラムの提供が可能になる。
【００４４】
また基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることが可能になる。
【００４５】
また本発明のプログラムにおいて、前記仮想ページ外形算出機能は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出する。
【００４６】
したがって、簡易な計算により仮想ページ外形の算出が可能になる。
【００４７】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点である。
【００４８】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００４９】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分に位置する。
【００５０】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００５１】
また本発明のプログラムにおいて、前記基準線選択機能と前記参照線選択機能と前記仮想ページ外形算出機能と前記歪み補正機能とは、前記スキャン画像の左右ページ毎に独立して実行される。
【００５２】
したがって、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００５３】
また本発明のプログラムにおいて、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設ける。
【００５４】
したがって、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００５５】
また本発明のプログラムにおいて、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしである。
【００５６】
したがって、ページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順が確実に得られ、スキャン画像の歪み補正の補正精度を確実に向上させることが可能になる。
【００５７】
また本発明のプログラムにおいて、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とする。
【００５８】
したがって、仮想ページ外形の算出精度を向上させることが可能になる。
【００５９】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなす。
【００６０】
したがって、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００６１】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなす。
【００６２】
したがって、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００６３】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図４７に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【００６４】
ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００６５】
原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００６６】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００６７】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００６８】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、本実施の形態の特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正部２９から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００６９】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００７０】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００７１】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピーディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００７２】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正装置である画像歪み補正部２９におけるスキャン画像の歪み補正処理についてのみ説明する。
【００７３】
図６は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合について説明する。
【００７４】
まず、ステップＳ１において、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する。ここで、図８は入力した画像の一例を示したものである。そして、図９に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１の近傍において歪みが生じている。
【００７５】
次いで、ブック原稿４０のスキャン画像（例えば、モノクロ多値画像）の最適２値化処理を実行し（ステップＳ２）、副走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）数のヒストグラムを求める（ステップＳ３）。図１０は、図８に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図１０中の横軸は、主走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の位置を示し、図１０中の縦軸は、その位置毎の黒画素数を示すものである。なお、綴じ部境界線としては、スキャン画像中の画素の中でその濃度値が元も濃い画素が位置する副走査方向の位置が選択される。
【００７６】
なお、スキャン画像がカラー多値画像の場合における２値化処理は、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００７７】
続くステップＳ４においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図１１は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【００７８】
［スキャン画像からのページ外形の抽出］
まず、ステップＳ４１におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図１２は上端にページ外形が存在するスキャン画像の一例を示す説明図、図１３は図１２に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図１３に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１２の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図１２に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図１３に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【００７９】
より具体的には、図１３に示すように、綴じ部境界線からスキャン画像の左端（図１２の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（１）により算出し、
【００８０】
【数１】
算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【００８１】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【００８２】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【００８３】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【００８４】
［スキャン画像からの罫線の抽出］
続くステップＳ４２においては、スキャン画像からの罫線の抽出処理を実行する。ステップＳ４２におけるスキャン画像からの罫線の抽出処理について説明する。
【００８５】
［罫線候補の検出］
ここで、図１４は長い罫線が存在するスキャン画像の一例を示す説明図、図１５は図１４に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図１５に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１４の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。図１４に示すようにスキャン画像に罫線が存在する場合には、図１５に示すヒストグラムに幅の狭いピークが現れることになる。本実施の形態では、このような特性を利用して、スキャン画像に罫線が存在するか否かの判断を行う。
【００８６】
より具体的には、まず、図１５に示すヒストグラムに現れた幅の狭いピークの高さＨを求めるとともに、求められた各ピークの中央位置（高さが半分の位置）における幅Ｗを求める。そして、ピークの高さＨが予め定められた閾値thＨよりも高く、かつ、ピークの中央位置の幅Ｗが予め定められた閾値thＷより小さなピークが存在する場合、そのピークを罫線の候補とする。
【００８７】
続いて、罫線の候補とされたピークについて、罫線の連続性を利用して、更に罫線か否かの判断をする。図１６に示すように、候補罫線上の適当な位置（例えば、ページの中心線の位置）を開始点とし、この開始点から候補罫線を左右方向へ探索し、切断点（罫線がかすれて途切れている部分）の数を累積する。切断点の数が予め定められた閾値より少なければ、この候補を罫線と判断する。このように罫線連続性に基づいて罫線か否かの判断をすることにより、罫線として誤って検出された小さな文字で構成された横書き文字行や点線等を排除することが可能になる。
【００８８】
［罫線の座標検出］
以上のようにして罫線を判別した後、各罫線の座標を検出する。罫線座標の検出は、図１７に示すように、罫線の主走査方向（図１７のｙ軸方向）の座標値を罫線部の黒画素ランの中点座標とした場合、図１７に示す罫線の左端のｘ１における主走査方向座標値はｙ１となる。
【００８９】
［最適罫線の選択］
次に、候補罫線の中から歪み補正に最適な罫線を選択する。図１８に示すように複数の罫線が検出される場合、どの罫線を用いて歪み補正するかを選択する必要がある。最適な罫線の選択基準の一例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図１８の網掛け領域）に罫線の一部がかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い罫線を選択するようにする。図１８においては、左右ページから各１本ずつの罫線を選択する場合を示している。ここでは、罫線▲１▼と罫線▲２▼とが選択されている。
【００９０】
また、最適な罫線の選択基準の別の例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図１９の網掛け領域）に罫線の一部がかかっていることを条件とし、各ページの上部では上端のページ外形に、各ページの下部では下端のページ外形に、それぞれ最も近い罫線を選択するようにする。図１９においては、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示している。ここでは、左上のブロックでは罫線▲１▼、右下のブロックでは罫線▲２▼、左下のブロックでは罫線▲３▼が選択されている。なお、図１９中の右上のブロックには上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）を満足する罫線が存在しないので、選択された罫線はない。
【００９１】
なお、上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「罫線の湾曲が最も大きい」を用いても良い。ここで、「罫線の湾曲」は罫線の左右両端点の主走査方向の座標値の差で表すものとする。
【００９２】
［最適罫線の座標値の決定］
最適な罫線が選択された場合には、罫線の（主走査方向の）座標値を決定する。罫線の（主走査方向の）座標値は、選択された罫線を左右ページのそれぞれ両端に達するまで近似して延長することにより決定される。図２０において、罫線が存在しているＢＣ部については、前述した罫線座標検出処理により既に座標値は決まっていることから、それ以外の延長部分について罫線の（主走査方向の）座標値を決定することになる。より詳細には、図２０に示すＡＢ部は直線近似で（主走査方向の）座標値を推定し、ＣＤ部は多項式近似曲線で（主走査方向の）座標値を推定する。
【００９３】
［不適切な罫線の排除］
最後に不適切な罫線を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような罫線を排除するものである。不適切な近似曲線形状の例としては、図２１に示すように、曲線が書籍の外側へ向かうような曲線▲１▼や、中心線を超えて大きく内側へ食い込むような曲線▲２▼である。
【００９４】
なお、推定曲線の形状が不適切であるとして罫線を排除した場合には、再び最適な罫線を選択し、上記の処理を繰り返すことになる。
【００９５】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。
【００９６】
［スキャン画像からの文字行の抽出］
続くステップＳ４３においては、スキャン画像からの文字行の抽出処理を実行する。ステップＳ４３におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【００９７】
［文字行の判別］
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図２２は図８に示した画像の副走査方向の黒白反転数ヒストグラムである。図２２中の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図２２中の縦軸は、その位置毎の黒画素数を示すものである。また、図２３は図８に示した画像の主走査方向の黒白反転数ヒストグラムである。図２３中の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図２３中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図８に示したようなスキャン画像の場合、図２２に示すような副走査方向のヒストグラムは激しく変化するが、図２３に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【００９８】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（２）により、
【００９９】
【数２】
主走査方向ｙの位置でのヒストグラム値Pnt（ｙ）の平均値meanＨが算出される。ここで、heightは画像の高さである。
そして、下記に示す式（３）により、
【０１００】
【数３】
副走査方向のヒストグラムの主走査方向に関する分散σＨが得られる。
同様に、下記に示す式（４）により、
【０１０１】
【数４】
副走査方向ｘの位置でのヒストグラム値Pnt（ｘ）の平均値meanＶが算出される。ここで、widthは画像の幅である。
そして、下記に示す式（５）により、
【０１０２】
【数５】
主走査方向のヒストグラムの副走査方向に関する分散σｖが得られる。
【０１０３】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σＨが、主走査方向のヒストグラムの副走査方向に関する分散σｖより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σｖが、副走査方向のヒストグラムの主走査方向に関する分散σＨより大きい。つまり、分散σＨと分散σｖとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【０１０４】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【０１０５】
［横書き文字行の座標検出］
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図２４に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
【０１０６】
［最適横書き文字行の選択］
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図２５に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図２５の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
【０１０７】
なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
【０１０８】
［最適横書き文字行の座標値の決定］
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図２５に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。
【０１０９】
［不適切な横書き文字行の排除］
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１１０】
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
【０１１１】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１１２】
［縦書き文字行の各文字の座標検出］
続いて、各縦書き文字行の座標を検出する。縦書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなす。
【０１１３】
［横書き文字行の抽出］
次に、各縦書き文字行から横書き文字行を抽出する。横書き文字行の抽出は、各縦書き文字行の一番上の文字を連結した外形、または、各縦書き文字行の一番下の文字を連結した外形を横書き文字行とみなすものである。より詳細には、左右ページから各１本ずつの文字行を選択する場合は、各縦書き文字行の一番上もしくは一番下の各一文字を連結した外形を一つの行とみなして抽出する。また、左右ページをさらに上下部分に分け、その４ブロックにおいて1本ずつの文字行を選択する場合は、左上部、右上部においては各縦書き文字行の一番上の各一文字を連結した外形を一つの行とみなし、左下部、右下部においては各縦書き文字行の一番下の各一文字を連結した外形を一つの行とみなして抽出する。
【０１１４】
その際、図２６に示すように抽出された外形の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図２６の網掛け領域）に抽出された外形の一部Ｃがかかっていることを条件とし、外形を抽出する。なお、上記２条件（抽出された外形の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に抽出された外形の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。したがって、上記条件を満足しない場合は、歪み補正用の縦書き文字行の外形は無いということになる。
【０１１５】
［抽出された外形の座標値の決定］
縦書き文字行に応じて外形が抽出された場合には、なお、縦書き文字行の外形の（主走査方向の）座標値を決定する。縦書き文字行の外形の座標値は、図２７に示すように、各縦書き文字行の一番上の各一文字を連結した外形である場合には、連結する各文字の外接矩形の上辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の（主走査方向の）座標値を決定することになる。また、図２７に示すように、各縦書き文字行の一番下の各一文字を連結した外形である場合には、連結する各文字の外接矩形の下辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の（主走査方向の）座標値を決定することになる。より詳細には、図２６に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。
【０１１６】
［不適切な縦書き文字行の外形の排除］
最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１１７】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【０１１８】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１１９】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字列として扱うものとする。
【０１２０】
以上、ステップＳ４１〜Ｓ４３の処理により、ページ外形／罫線／文字行の抽出処理（ステップＳ４）が終了する。
【０１２１】
続くステップＳ５（図６参照）においては、画像歪み補正処理を実行する。画像歪み補正処理は、図２８に示すように、概略的には、歪み補正（伸張）に際しての基準となる線（基準線）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５１：基準線選択処理）、基準線に対応するものであって補正率（伸張率）の算出用の参照線としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５２：参照線選択処理）、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理（ステップＳ５３：仮想ページ外形算出処理）、仮想的なページ外形に基づいてスキャン画像に伸張処理を施して主走査方向の歪みを補正する処理（ステップＳ５４：主走査方向歪み補正処理）、補正画像の文字外接矩形に基づいてスキャン画像に伸張処理を施して副走査方向の歪みを補正する処理（ステップＳ５５：副走査方向歪み補正処理）により構成されている。
【０１２２】
ここで、基準線選択処理（ステップＳ５１：基準線選択手段）及び参照線選択処理（ステップＳ５２：参照線選択手段）においては、基準線または参照線として、スキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形＞罫線＞文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。ただし、本実施の形態においては、ページ外形は一般に左右ページにまたがるが、罫線や文字行は両ページにあるとは限らないので、スキャン画像の上辺または下辺からの基準線選択の優先順位は、下記に示すようになる。
【０１２３】
１位 「ページ外形」（ページ外形は、常に左右両ページに存在する）
２位 左右両ページともに「罫線」
３位 一方のページが「罫線」、他方のページが「文字行」
４位 左右両ページともに「文字行」
５位 一方のページのみに「罫線」、他方のページには「手がかりなし」
６位 一方のページのみに「文字行」、他方のページには「手がかりなし」
ここで、「手がかりなし」とは、ページ外形、罫線、文字行のいずれも抽出できなかった場合を言う。
【０１２４】
次に、仮想ページ外形算出処理（ステップＳ５３：仮想ページ外形算出手段）及び主走査方向歪み補正処理（ステップＳ５４：歪み補正手段）の例について、上記優先順位に基づいて順に説明する。
【０１２５】
１．スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合ここでは、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合について説明する。図２９に示すように、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合は、いずれを基準線、参照線にしても構わない。なお、本実施の形態においては、基準線として選択した「ページ外形」、「罫線」、「文字行」は、下辺に位置させるものとする。この場合においては、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理（ステップＳ５３）においては特に処理を実行しなくても良い。
【０１２６】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。ここで、ｘ０は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点ｘ０における基準線と参照線間の距離ｈ０（図３０参照）に基づいて歪み補正率を算出する。歪み補正率は、主走査方向に画像を伸張して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置において等しくさせるためのものである。すなわち、位置xにおける基準線と参照線間の距離をｈ（図３０参照）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。即ち、歪み補正率とは、主走査方向に画像を伸張して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置ｘにおいて等しくなるように、各xに関して算出した値である。
【０１２７】
次に、実際に補正をする際は、まず、図３０に示すように仮想ページ外形（ここでは基準線）が直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３０の上辺の「ページ外形」ＥがＲＥとなるように画像が補正される。
【０１２８】
２．スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺ではページ外形が途中で切れているが「罫線」と「文字行」とが存在する場合について説明する。図３１に示すように、スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、「ページ外形」を基準線として下辺に位置させ、「文字行」と「罫線」とを参照線とする（図３１に示す例では、左ページが「文字行」、右ページが「罫線」である）。この場合においても、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理（ステップＳ５３）においては特に処理を実行しなくても良い。
【０１２９】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。ここで、ｘ０は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点ｘ０における基準線と参照線間の距離ｈ０（図３２参照）に基づいて歪み補正率を算出する。位置xにおける基準線と参照線間の距離をｈ（図３２参照）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。
【０１３０】
次に、実際に補正をする際は、まず、図３２に示すように仮想ページ外形（ここでは基準線）が直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３２の右ページでは、上辺の「罫線」ＬＵがＲＬＵとなるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【０１３１】
３．スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、図３３に示すように、左右両ページに「罫線」が存在する側を下辺に位置させ、その２本の「罫線」を基準線とし、他方の辺に位置する「文字行」と「罫線」とを参照線とする（図３３に示す例では、左ページが「文字行」、右ページが「罫線」である）。ところで、このように、基準線が「ページ外形」ではない場合は、基準線をそのまま仮想ページ外形と見なしてはならない。なぜなら、両者を一致させた場合、後の主走査方向歪み補正処理において仮想ページ外形（基準線）を最下辺に画素シフトする際、基準線より下方の画像情報が全て欠落してしまうからである。
【０１３２】
そこで、基準線が「ページ外形」でない場合は、図３３において点線で示すような仮想ページ外形ＶＥを求める仮想ページ外形算出処理（ステップＳ５３）を実行する。ここで、ｘ０は下辺の「罫線」ＬＤの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから上辺の「罫線」ＬＵまでの距離ｂ０とに基づいて仮想ページ外形ＶＥを算出するものである。すなわち、「罫線」ＬＤ上の位置ｘから上辺の「罫線」ＬＵまでの距離ｂが解かれば、
ａ／ｂ＝ａ０／ｂ０
であることから、「罫線」ＬＤ上の位置ｘから仮想ページ外形ＶＥまでの距離ａが算出することができる。したがって、「罫線」ＬＤ上の位置から仮想ページ外形ＶＥまでの距離を副走査方向の全ての位置ｘにおいて算出することにより、仮想ページ外形ＶＥを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。
【０１３３】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。主走査方向歪み補正処理としては、まず、前述した境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから上辺の「罫線」ＬＵまでの距離ｂ０とを加算した距離ｈ０（ｈ０＝ａ０＋ｂ０）に基づいて歪み補正率を算出する。位置xにおける上辺の「罫線」ＬＵからスキャン画像の最下辺までの距離をｈ（ｈ＝ａ＋ｂ）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。
【０１３４】
次に、実際に補正をする際は、まず、図３４に示すように仮想ページ外形ＶＥが直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３４の右ページでは、上辺の「罫線」ＬＵがＲＬＵ（厳密には、ｘの位置は「罫線」ＬＵの直線部と曲線部との境界には一致しないが、ここでは「罫線」ＬＤの境界をそのまま用いる）となるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【０１３５】
このように、仮想ページ外形ＶＥを利用することで、シフトによる画像の欠落を最小限に抑えることができる。
【０１３６】
４．スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合ここでは、スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合（他方のページは「手がかりなし」）は、図３５に示すように、「罫線」と「文字行」とが存在する側を下辺に位置させ、それらの「罫線」と「文字行」とを基準線とし、他方の辺に位置する「罫線」とスキャン画像を副走査方向に貫く中心線Ｃとを参照線とする（図３５に示す例では、左ページが「罫線」、右ページが「手がかりなし」である）。なお、中心線Ｃは、スキャン画像の主走査方向の中心を副走査方向に横切る線であり、ブック原稿４０の中心線ではない。
【０１３７】
このように基準線が「ページ外形」でない場合は、前述したように、図３５において点線で示すような仮想ページ外形ＶＥを求める仮想ページ外形算出処理（ステップＳ５３）を実行する。ここで、ｘ０は下辺の「罫線」ＬＤの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから中心線Ｃまでの距離ｂ０とに基づいて仮想ページ外形ＶＥを算出するものである。すなわち、「罫線」ＬＤ上の位置ｘから中心線Ｃまでの距離ｂが解かれば、
ａ／ｂ＝ａ０／ｂ０
であることから、「罫線」ＬＤ上の位置ｘから仮想ページ外形ＶＥまでの距離ａが算出することができる。したがって、「罫線」ＬＤ上の位置から仮想ページ外形ＶＥまでの距離を副走査方向の全ての位置ｘにおいて算出することにより、仮想ページ外形ＶＥを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。なお、右ページのように上辺に「罫線」が存在する場合については、中心線Ｃに代えて、前述したように上辺の「罫線」を用いる。
【０１３８】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。主走査方向歪み補正処理としては、まず、前述した境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから中心線Ｃまでの距離ｂ０とを加算した距離ｈ０（ｈ０＝ａ０＋ｂ０）に基づいて歪み補正率を算出する。位置xにおける中心線Ｃからスキャン画像の最下辺までの距離をｈ（ｈ＝ａ＋ｂ）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。
【０１３９】
次に、実際に補正をする際は、まず、図３６に示すように仮想ページ外形ＶＥが直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張して補正する。左ページ上辺の「罫線」についても同様に行う。なお、右ページについては、補正によってシフトにより一旦歪んだ中心線Ｃが元の直線ＲＣに戻るが、Ｃがスキャナ部１の光軸と一致する場合以外は、画像全体の補正は不完全となる。
【０１４０】
５．スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合
ここでは、スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合について説明する。スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し（他方のページは「手がかりなし」）、他方の辺の他方のページのみに「文字行」が存在する場合（一方のページは「手がかりなし」）は、図３７に示すように、「罫線」が存在する側を下辺に位置させ、その「罫線」を基準線とし、「罫線」が存在しない方のページ（「文字行」が存在する方のページ）については、文字行Ｌを中心線Ｃを挟んで線対称の位置に移動させた曲線ＳＬを基準線とする。参照線については、「罫線」が存在するページは中心線Ｃを、「文字行」が存在するページはその「文字行」を、それぞれ参照線とする。
【０１４１】
なお、歪み補正率の算出や画素シフト、補正（伸張）処理についてはこれまでの例と同様であるため、それらの説明は省略する。
【０１４２】
最後に、副走査方向歪み補正処理（ステップＳ５５）について説明する。ここで、図３８は副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図３８に示すように、ステップＳ１０１においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形Ａ（図３９参照）を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Ａを抽出するのは、この文字の外接矩形Ａの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図３９に示すように、文字外接矩形Ａの横辺の長さｗ、縦辺の長さｈ、および、文字の中心Ｂを定義する。ここで、文字の中心Ｂは、外接矩形Ａの対角線の交点である。
【０１４３】
続いて、図４０に示すように、スキャン画像をブック原稿４０のページ綴じ部４１に平行な方向の複数の短冊状の領域Ｃに分割した後（ステップＳ１０２）、各短冊領域Ｃについて、そこに含まれる文字外接矩形Ａに関する特徴量を求める（ステップＳ１０３）。ここで、ある短冊領域Ｃに含まれる文字外接矩形Ａとは、その中心が当該短冊領域Ｃに含まれるような外接矩形Ａのことである。例えば、図４０の短冊領域Ｃ１に含まれる外接矩形Ａは、図中の網掛けを施した矩形である。
【０１４４】
さて、上記の文字外接矩形Ａに関する特徴量は、
（文字の横辺の長さ）／（文字の縦辺の長さ）＝ｗ／ｈ
を基に求められる。すなわち、各短冊領域Ｃについて、そこに含まれる全ての文字外接矩形Ａのｗ／ｈの値の平均値をその短冊領域Ｃの特徴量とするのである。
【０１４５】
しかしながら、単に、ｗ／ｈの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、ｗ／ｈの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、ｗが極端に大きい文字外接矩形Ａが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にｗが大きいものを予め排除しておく必要がある。そこで、続くステップＳ１０４においては、予め閾値を定めておいて、ｈの値がその閾値より小さな文字外接矩形Ａを予め排除するとともに、ｗ／ｈの比率に関する閾値を予め定めておき、ｗ／ｈの値が其の閾値よりも大きい文字外接矩形Ａも予め排除する。例えば、図４１中に示した網掛けを施した文字外接矩形Ａが予め排除されることになる。
【０１４６】
続くステップＳ１０５においては、前述したように極端な文字外接矩形Ａを排除した後に、各短冊領域Ｃ内の文字外接矩形Ａのｗ／ｈの平均値を求める。図４２に各短冊領域Ｃ内の外接矩形Ａのｗ／ｈの平均値の一例を示す。なお、図４２中の短冊領域Ｃ２は、ブック原稿４０のページ綴じ部４１を含む短冊領域である。
【０１４７】
続いて、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在するか否かを判断する（ステップＳ１０６）。これは、図４１に示すように、一般にはブック原稿４０のページ綴じ部４１付近には文字外接矩形Ａが存在しない場合が多いからである。ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在する場合は（ステップＳ１０６のＹ）、その文字外接矩形Ａを利用して特徴量は算出されているのでそのままステップＳ１０８に進む。
【０１４８】
一方、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在しない場合は（ステップＳ１０６のＮ）、ステップＳ１０７に進み、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量を求める。なお、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の識別は、例えば、スキャン画像（例えば、モノクロ多値画像）の地肌濃度変化を各短冊領域Ｃごとに求め、短冊領域Ｃ内の最も濃度の薄い濃度値を求めることにより実現される。図４３は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２であるとみなされる。
【０１４９】
なお、スキャン画像がカラー多値画像の場合におけるブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の識別は、例えばＲＧＢ成分の何れか一つの成分（例えばＧ成分）に着目し、そのＧ成分の地肌濃度を使用して識別するようにすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分を使用してブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２を識別するようにしても良い。
【０１５０】
ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Ａが存在し、かつ、ページ綴じ部４１を含む短冊領域Ｃ２の最近傍である短冊領域Ｃの特徴量に対して予め定めた定数値を乗じることにより算出された値が、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２における特徴量とみなされるものである。つまり、図４２に示した例では、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の左右何れの短冊領域Ｃ３，Ｃ４にも文字外接矩形Ａが存在するので、どちらか適当な方の特徴量を選択し（ここでは右側の○印の方）、それに予め定めた定数値（ここでは０．５）を乗じて、これをブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量としている。
【０１５１】
続くステップＳ１０８においては、各短冊領域Ｃの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Ｃの位置の変化方向（即ち副走査方向）に関する移動平均を求める処理を施すなどして、短冊領域Ｃの位置の変化に対する（副走査方向の）特徴量の変化がなだらかになるようにする。ただし、ここでもブック原稿４０のページ綴じ部４１付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、ブック原稿４０のページ綴じ部４１付近の特徴量の変化の鋭さが失われてしまうからである。
【０１５２】
ここで、長さが全て５であるウィンドウを用いて図４２に示した各短冊領域Ｃの特徴量に対してフィルタリング処理を施した結果を図４４に示す。図４４に示すように、長さが全て５であるウィンドウを用いてフィルタリング処理を施した場合には、ブック原稿４０のページ綴じ部４１付近の特徴量（ｗ／ｈ）の変化がなだらかになり過ぎてしまう。このような場合には、ブック原稿４０のページ綴じ部４１付近での適切な画像補正が不可能になってしまう。
【０１５３】
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウがブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の両側の短冊領域Ｃ３，Ｃ４に跨がらないように、ページ綴じ部４１付近でウィンドウ長を調整する。ここで、図４５はページ綴じ部４１付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図４５に示すように、ページ綴じ部４１付近でウィンドウ長を調整した場合には、ページ綴じ部４１付近の特徴量（ｗ／ｈ）の変化を適切に表現できるので、良好な画像補正が実現できる。
【０１５４】
続くステップＳ１０９においては、各短冊領域Ｃの推定歪み量を算出する。各短冊領域Ｃの推定歪み量の算出手法は、以下に示す通りである。
【０１５５】
まず、短冊領域の歪み量を算出するための基準となる短冊領域（基準短冊領域）を定める。ここでは、歪みが最も小さいと考えられる短冊領域Ｃ、例えば、特徴量（ｗ／ｈ）が最大である短冊領域Ｃを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図４５においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Ｃが基準短冊領域であり、左側の基準特徴量を“Ｌｗ０／Ｌｈ０”、右側の基準特徴量を“Ｒｗ０／Ｒｈ０”、でそれぞれ示している。
【０１５６】
次に、基準短冊領域の特徴量ｗ０／ｈ０をスキャン画像全体の基準特徴量とし、
（各短冊領域の特徴量）／（基準特徴量）＝（ｗ／ｈ）／（ｗ０／ｈ０）
の値を、各短冊領域の推定歪み量として算出する。
【０１５７】
なお、ブック原稿４０のページ綴じ部４１から外れたページ外側付近の短冊領域Ｃを基準短冊領域とすると、ブック原稿４０のページ綴じ部４１付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予めブック原稿４０のページ綴じ部４１付近に限定しておくのが有効である。これを実現するためには、地肌濃度が予め定めた濃度よりも濃い短冊領域Ｃのみから基準短冊領域を求めるようにすれば良い。
【０１５８】
最後に、スキャン画像に対して、短冊領域Ｃの短辺方向（副走査方向）の拡大処理を行い、ブック原稿４０のページ綴じ部４１付近の歪みを補正する（ステップＳ１１０）。その場合の拡大率（副走査方向の歪み補正率（伸張率））は、ステップＳ１０９において算出した推定歪み量の逆数、すなわち、
（基準特徴量）／（各短冊領域の特徴量）＝（ｗ０／ｈ０）／（ｗ／ｈ）
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図４６は、図４５に示した特徴量に基づいて算出した補正拡大率を示したものである。
【０１５９】
なお、ここでも、ブック原稿４０のページ綴じ部４１付近から離れた短冊領域Ｃはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、地肌濃度が予め定めた濃度よりも薄い短冊領域Ｃについては、推定歪み量を“１”とする。
【０１６０】
また、短冊領域Ｃ内において共通の補正拡大率を適用した場合、隣接する短冊領域Ｃの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Ｃの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図４６に示す短冊領域Ｃの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。
【０１６１】
なお、画像の拡大処理は、例えばコピーの変倍機能として良く使われる３次関数のコンボリューション法等を用いて実行される。
【０１６２】
以上、ステップＳ１０１〜Ｓ１１０の処理により副走査方向歪み補正処理（ステップＳ５５）が終了し、図６に示すスキャン画像の歪み補正処理が終了する。ここで、図４７は歪みを補正した画像を示す平面図である。以上の処理によれば、図８に示したようなブック原稿４０のページ綴じ部４１の近傍において生じていたスキャン画像の歪みが、図４７に示すように補正されることになる。
【０１６３】
ここに、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形が算出され、算出された仮想ページ外形に基づいてスキャン画像に対する歪み補正が行われる。これにより、ブック原稿４０のページ綴じ部４１と画像読み取りの主走査方向とが平行な場合であっても、スキャナ部１の固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことが可能になるので、スキャナ部１の固有パラメータに依存することのない汎用的な装置の提供が可能になる。
【０１６４】
なお、本実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをパーソナルコンピュータのＨＤＤにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。
【０１６５】
【発明の効果】
本発明の画像歪み補正装置によれば、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の歪みを補正する画像歪み補正装置において、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択する基準線選択手段と、この基準線選択手段により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択する参照線選択手段と、前記基準線側の辺に、前記基準線と前記参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出する仮想ページ外形算出手段と、この仮想ページ外形算出手段により算出された前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正手段と、を備え、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出し、算出された仮想ページ外形に基づいてスキャン画像に対する歪み補正を行うことにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことができるので、スキャナの固有パラメータに依存することのない汎用的な装置を提供することができる。
【０１６６】
また本発明の画像歪み補正装置において、前記基準線選択手段により前記基準線として前記ページ外形を選択した場合は、当該ページ外形をそのまま前記仮想ページ外形とみなすことにより、基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることができる。
【０１６７】
また本発明の画像歪み補正装置において、前記仮想ページ外形算出手段は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出することにより、簡易な計算により仮想ページ外形を算出することができる。
【０１６８】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点であることにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１６９】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分に位置することにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１７０】
また本発明の画像歪み補正装置において、前記基準線選択手段と前記参照線選択手段と前記仮想ページ外形算出手段と前記歪み補正手段とは、前記スキャン画像の左右ページ毎に独立して実行されることにより、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１７１】
また本発明の画像歪み補正装置において、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設けることにより、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることで、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１７２】
また本発明の画像歪み補正装置において、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしであることにより、ページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順を確実に得ることができるので、スキャン画像の歪み補正の補正精度を確実に向上させることができる。
【０１７３】
また本発明の画像歪み補正装置において、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とすることにより、仮想ページ外形の算出精度を向上させることができる。
【０１７４】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなすことにより、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【０１７５】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなすことにより、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【０１７６】
また本発明の画像読取装置によれば、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、を備えることにより、上記作用効果と同様の作用効果を奏する画像読取装置を得ることができる。
【０１７７】
また本発明の画像形成装置によれば、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備えることにより、上記作用効果と同様の作用効果を奏する画像形成装置を得ることができる。
【０１７８】
本発明のプログラムによれば、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の画像歪み補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択させる基準線選択機能と、この基準線選択機能により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択させる参照線選択機能と、前記基準線側の辺に、前記基準線と前記参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出する仮想ページ外形算出機能と、この仮想ページ外形算出機能により算出された前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正機能と、を実行させ、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出し、算出された仮想ページ外形に基づいてスキャン画像に対する歪み補正を行うことにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことができるので、スキャナの固有パラメータに依存することのない汎用的な装置を提供することができる。
【０１７９】
また本発明のプログラムにおいて、前記基準線選択機能により前記基準線として前記ページ外形を選択した場合は、当該ページ外形をそのまま前記仮想ページ外形とみなすことにより、基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることができる。
【０１８０】
また本発明のプログラムにおいて、前記仮想ページ外形算出機能は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出することにより、簡易な計算により仮想ページ外形を算出することができる。
【０１８１】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点であることにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１８２】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分に位置することにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１８３】
また本発明のプログラムにおいて、前記基準線選択機能と前記参照線選択機能と前記仮想ページ外形算出機能と前記歪み補正機能とは、前記スキャン画像の左右ページ毎に独立して実行されることにより、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１８４】
また本発明のプログラムにおいて、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設けることにより、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることで、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１８５】
また本発明のプログラムにおいて、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしであることにより、ページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順を確実に得ることができるので、スキャン画像の歪み補正の補正精度を確実に向上させることができる。
【０１８６】
また本発明のプログラムにおいて、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とすることにより、仮想ページ外形の算出精度を向上させることができる。
【０１８７】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなすことにより、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【０１８８】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなすことにより、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図８】入力した画像の一例を示す平面図である。
【図９】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１０】図８に示した画像の黒画素ヒストグラムである。
【図１１】ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【図１２】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図１３】図１２に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図１４】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図１５】図１４に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図１６】罫線の連続性の判別を示す説明図である。
【図１７】罫線の座標検出を示す説明図である。
【図１８】左右ページから各１本ずつの罫線を選択する場合を示す説明図である。
【図１９】左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示す説明図である。
【図２０】罫線の座標抽出を示す説明図である。
【図２１】排除される不適切な罫線の例を示す説明図である。
【図２２】図８に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図２３】図８に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図２４】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図２５】最適な横書き文字行の選択を示す説明図である。
【図２６】最適な縦書き文字行の外形の選択を示す説明図である。
【図２７】抽出された文字外接矩形を示す説明図である。
【図２８】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図２９】スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合を示す説明図である。
【図３０】図２９を画素シフトした状態を示す説明図である。
【図３１】スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図３２】図３１を画素シフトした状態を示す説明図である。
【図３３】スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図３４】図３３を画素シフトした状態を示す説明図である。
【図３５】スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合を示す説明図である。
【図３６】図３５を画素シフトした状態を示す説明図である。
【図３７】スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合を示す説明図である。
【図３８】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図３９】抽出された文字外接矩形を示す説明図である。
【図４０】二値化画像をブック原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図４１】予め排除される文字外接矩形を示す説明図である。
【図４２】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。
【図４３】各短冊領域内の地肌濃度変化の一例を示すグラフである。
【図４４】図４２に示した各短冊領域の特徴量に対して長さが全て５であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。
【図４５】図４２に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。
【図４６】図４５に示した特徴量に基づいて算出した補正拡大率を示すグラフである。
【図４７】歪みを補正した画像を示す平面図である。
【図４８】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【符号の説明】
１ 画像読取装置
２ コンタクトガラス
１６ 画像形成装置
２９ 画像歪み補正装置
４０ ブック原稿
４１ ページ綴じ部
【発明の属する技術分野】
本発明は、画像歪み補正装置、画像読取装置、画像形成装置及びプログラムに関する。
【０００２】
【従来の技術】
フラッドベットスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿としてブック原稿を用いた場合には、図４８に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法としては、
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24(2), 125-135(1997)
に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【０００５】
また、特開平5-161002号公報には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【０００６】
さらに、特開平11-41455号公報には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法が提案されている。
【０００７】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【０００８】
また、特開平5-161002号公報に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【０００９】
さらに、特開平11-41455号公報に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
【００１０】
そこで、近年においては、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置が提案されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述したようなページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置によれば、ページ外形ではなく、文字行情報および罫線情報を用いて画像の歪みを補正するようにしているが、まだ、完全とはいえず、解決されねばならない課題が存在する。
【００１２】
例えば、従来においては、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合には、画像の歪みの補正をスキャナ（画像読取手段）の固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用して行っているので、特定のスキャナの出力画像しか補正できないという問題がある。
【００１３】
本発明の目的は、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、スキャナ（画像読取手段）の固有パラメータに依存することなくスキャン画像に対する歪み補正を行うことができる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することである。
【００１４】
本発明の目的は、スキャン画像の歪み補正の補正精度を向上させることができる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することである。
【００１５】
【課題を解決するための手段】
本発明の画像歪み補正装置は、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の歪みを補正する画像歪み補正装置において、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択する基準線選択手段と、この基準線選択手段により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択する参照線選択手段と、前記基準線として罫線または文字行が選択された場合、前記基準線側の辺に前記基準線及び前記参照線とに基づいて仮想ページ外形を算出し、前記基準線として前記ページ外形が選択された場合、前記仮想ページ外形の算出を行わず当該ページ外形を仮想ページ外形とみなす仮想ページ外形算出手段と、前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正手段と、を備える。
【００１６】
したがって、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形が算出され、算出された前記仮想ページ外形に基づいてスキャン画像に対する歪み補正が行われる。これにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことが可能になるので、スキャナの固有パラメータに依存することのない汎用的な装置の提供が可能になる。
【００１８】
また基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることが可能になる。
【００１９】
また本発明の画像歪み補正装置において、前記仮想ページ外形算出手段は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出する。
【００２０】
したがって、簡易な計算により仮想ページ外形の算出が可能になる。
【００２１】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点である。
【００２２】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００２３】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分に位置する。
【００２４】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００２５】
また本発明の画像歪み補正装置において、前記基準線選択手段と前記参照線選択手段と前記仮想ページ外形算出手段と前記歪み補正手段とは、前記スキャン画像の左右ページ毎に独立して実行される。
【００２６】
したがって、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００２７】
また本発明の画像歪み補正装置において、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設ける。
【００２８】
したがって、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００２９】
また本発明の画像歪み補正装置において、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしである。
【００３０】
したがって、ページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順が確実に得られ、スキャン画像の歪み補正の補正精度を確実に向上させることが可能になる。
【００３１】
また本発明の画像歪み補正装置において、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とする。
【００３２】
したがって、仮想ページ外形の算出精度を向上させることが可能になる。
【００３３】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなす。
【００３４】
したがって、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００３５】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなす。
【００３６】
したがって、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００３７】
また本発明の画像読取装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、を備える。
【００３８】
したがって、本発明と同様の作用を奏する画像読取装置が得られる。
【００３９】
また本発明の画像形成装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備える。
【００４０】
したがって、本発明と同様の作用を奏する画像形成装置が得られる。
【００４１】
本発明のプログラムは、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の画像歪み補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択させる基準線選択機能と、この基準線選択機能により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択させる参照線選択機能と、前記基準線として罫線または文字行が選択された場合、前記基準線側の辺に前記基準線及び前記参照線とに基づいて仮想ページ外形を算出し、前記基準線として前記ページ外形が選択された場合、前記仮想ページ外形の算出を行わず当該ページ外形を仮想ページ外形とみなす仮想ページ外形算出機能と、前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正機能と、を実行させる。
【００４２】
したがって、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形が算出され、算出された前記仮想ページ外形に基づいてスキャン画像に対する歪み補正が行われる。これにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことが可能になるので、スキャナの固有パラメータに依存することのない汎用的なプログラムの提供が可能になる。
【００４４】
また基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることが可能になる。
【００４５】
また本発明のプログラムにおいて、前記仮想ページ外形算出機能は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出する。
【００４６】
したがって、簡易な計算により仮想ページ外形の算出が可能になる。
【００４７】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点である。
【００４８】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００４９】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分に位置する。
【００５０】
したがって、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることが可能になる。
【００５１】
また本発明のプログラムにおいて、前記基準線選択機能と前記参照線選択機能と前記仮想ページ外形算出機能と前記歪み補正機能とは、前記スキャン画像の左右ページ毎に独立して実行される。
【００５２】
したがって、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００５３】
また本発明のプログラムにおいて、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設ける。
【００５４】
したがって、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることにより、スキャン画像の歪み補正の補正精度を向上させることが可能になる。
【００５５】
また本発明のプログラムにおいて、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしである。
【００５６】
したがって、ページ外形、罫線、文字行の選択の優先順位を、
ページ外形＞罫線＞文字行
とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順が確実に得られ、スキャン画像の歪み補正の補正精度を確実に向上させることが可能になる。
【００５７】
また本発明のプログラムにおいて、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とする。
【００５８】
したがって、仮想ページ外形の算出精度を向上させることが可能になる。
【００５９】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなす。
【００６０】
したがって、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００６１】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなす。
【００６２】
したがって、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することが可能になる。
【００６３】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図４７に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【００６４】
ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００６５】
原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００６６】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００６７】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００６８】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、本実施の形態の特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正部２９から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００６９】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００７０】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００７１】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピーディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００７２】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正装置である画像歪み補正部２９におけるスキャン画像の歪み補正処理についてのみ説明する。
【００７３】
図６は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合について説明する。
【００７４】
まず、ステップＳ１において、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する。ここで、図８は入力した画像の一例を示したものである。そして、図９に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１の近傍において歪みが生じている。
【００７５】
次いで、ブック原稿４０のスキャン画像（例えば、モノクロ多値画像）の最適２値化処理を実行し（ステップＳ２）、副走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）数のヒストグラムを求める（ステップＳ３）。図１０は、図８に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図１０中の横軸は、主走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の位置を示し、図１０中の縦軸は、その位置毎の黒画素数を示すものである。なお、綴じ部境界線としては、スキャン画像中の画素の中でその濃度値が元も濃い画素が位置する副走査方向の位置が選択される。
【００７６】
なお、スキャン画像がカラー多値画像の場合における２値化処理は、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００７７】
続くステップＳ４においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図１１は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【００７８】
［スキャン画像からのページ外形の抽出］
まず、ステップＳ４１におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図１２は上端にページ外形が存在するスキャン画像の一例を示す説明図、図１３は図１２に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図１３に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１２の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図１２に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図１３に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【００７９】
より具体的には、図１３に示すように、綴じ部境界線からスキャン画像の左端（図１２の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（１）により算出し、
【００８０】
【数１】
【００８１】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【００８２】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【００８３】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【００８４】
［スキャン画像からの罫線の抽出］
続くステップＳ４２においては、スキャン画像からの罫線の抽出処理を実行する。ステップＳ４２におけるスキャン画像からの罫線の抽出処理について説明する。
【００８５】
［罫線候補の検出］
ここで、図１４は長い罫線が存在するスキャン画像の一例を示す説明図、図１５は図１４に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図１５に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１４の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。図１４に示すようにスキャン画像に罫線が存在する場合には、図１５に示すヒストグラムに幅の狭いピークが現れることになる。本実施の形態では、このような特性を利用して、スキャン画像に罫線が存在するか否かの判断を行う。
【００８６】
より具体的には、まず、図１５に示すヒストグラムに現れた幅の狭いピークの高さＨを求めるとともに、求められた各ピークの中央位置（高さが半分の位置）における幅Ｗを求める。そして、ピークの高さＨが予め定められた閾値thＨよりも高く、かつ、ピークの中央位置の幅Ｗが予め定められた閾値thＷより小さなピークが存在する場合、そのピークを罫線の候補とする。
【００８７】
続いて、罫線の候補とされたピークについて、罫線の連続性を利用して、更に罫線か否かの判断をする。図１６に示すように、候補罫線上の適当な位置（例えば、ページの中心線の位置）を開始点とし、この開始点から候補罫線を左右方向へ探索し、切断点（罫線がかすれて途切れている部分）の数を累積する。切断点の数が予め定められた閾値より少なければ、この候補を罫線と判断する。このように罫線連続性に基づいて罫線か否かの判断をすることにより、罫線として誤って検出された小さな文字で構成された横書き文字行や点線等を排除することが可能になる。
【００８８】
［罫線の座標検出］
以上のようにして罫線を判別した後、各罫線の座標を検出する。罫線座標の検出は、図１７に示すように、罫線の主走査方向（図１７のｙ軸方向）の座標値を罫線部の黒画素ランの中点座標とした場合、図１７に示す罫線の左端のｘ１における主走査方向座標値はｙ１となる。
【００８９】
［最適罫線の選択］
次に、候補罫線の中から歪み補正に最適な罫線を選択する。図１８に示すように複数の罫線が検出される場合、どの罫線を用いて歪み補正するかを選択する必要がある。最適な罫線の選択基準の一例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図１８の網掛け領域）に罫線の一部がかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い罫線を選択するようにする。図１８においては、左右ページから各１本ずつの罫線を選択する場合を示している。ここでは、罫線▲１▼と罫線▲２▼とが選択されている。
【００９０】
また、最適な罫線の選択基準の別の例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図１９の網掛け領域）に罫線の一部がかかっていることを条件とし、各ページの上部では上端のページ外形に、各ページの下部では下端のページ外形に、それぞれ最も近い罫線を選択するようにする。図１９においては、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示している。ここでは、左上のブロックでは罫線▲１▼、右下のブロックでは罫線▲２▼、左下のブロックでは罫線▲３▼が選択されている。なお、図１９中の右上のブロックには上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）を満足する罫線が存在しないので、選択された罫線はない。
【００９１】
なお、上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「罫線の湾曲が最も大きい」を用いても良い。ここで、「罫線の湾曲」は罫線の左右両端点の主走査方向の座標値の差で表すものとする。
【００９２】
［最適罫線の座標値の決定］
最適な罫線が選択された場合には、罫線の（主走査方向の）座標値を決定する。罫線の（主走査方向の）座標値は、選択された罫線を左右ページのそれぞれ両端に達するまで近似して延長することにより決定される。図２０において、罫線が存在しているＢＣ部については、前述した罫線座標検出処理により既に座標値は決まっていることから、それ以外の延長部分について罫線の（主走査方向の）座標値を決定することになる。より詳細には、図２０に示すＡＢ部は直線近似で（主走査方向の）座標値を推定し、ＣＤ部は多項式近似曲線で（主走査方向の）座標値を推定する。
【００９３】
［不適切な罫線の排除］
最後に不適切な罫線を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような罫線を排除するものである。不適切な近似曲線形状の例としては、図２１に示すように、曲線が書籍の外側へ向かうような曲線▲１▼や、中心線を超えて大きく内側へ食い込むような曲線▲２▼である。
【００９４】
なお、推定曲線の形状が不適切であるとして罫線を排除した場合には、再び最適な罫線を選択し、上記の処理を繰り返すことになる。
【００９５】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。
【００９６】
［スキャン画像からの文字行の抽出］
続くステップＳ４３においては、スキャン画像からの文字行の抽出処理を実行する。ステップＳ４３におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【００９７】
［文字行の判別］
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図２２は図８に示した画像の副走査方向の黒白反転数ヒストグラムである。図２２中の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図２２中の縦軸は、その位置毎の黒画素数を示すものである。また、図２３は図８に示した画像の主走査方向の黒白反転数ヒストグラムである。図２３中の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図２３中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図８に示したようなスキャン画像の場合、図２２に示すような副走査方向のヒストグラムは激しく変化するが、図２３に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【００９８】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（２）により、
【００９９】
【数２】
そして、下記に示す式（３）により、
【０１００】
【数３】
同様に、下記に示す式（４）により、
【０１０１】
【数４】
そして、下記に示す式（５）により、
【０１０２】
【数５】
【０１０３】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σＨが、主走査方向のヒストグラムの副走査方向に関する分散σｖより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σｖが、副走査方向のヒストグラムの主走査方向に関する分散σＨより大きい。つまり、分散σＨと分散σｖとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【０１０４】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【０１０５】
［横書き文字行の座標検出］
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図２４に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
【０１０６】
［最適横書き文字行の選択］
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図２５に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図２５の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
【０１０７】
なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
【０１０８】
［最適横書き文字行の座標値の決定］
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図２５に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。
【０１０９】
［不適切な横書き文字行の排除］
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１１０】
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
【０１１１】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１１２】
［縦書き文字行の各文字の座標検出］
続いて、各縦書き文字行の座標を検出する。縦書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなす。
【０１１３】
［横書き文字行の抽出］
次に、各縦書き文字行から横書き文字行を抽出する。横書き文字行の抽出は、各縦書き文字行の一番上の文字を連結した外形、または、各縦書き文字行の一番下の文字を連結した外形を横書き文字行とみなすものである。より詳細には、左右ページから各１本ずつの文字行を選択する場合は、各縦書き文字行の一番上もしくは一番下の各一文字を連結した外形を一つの行とみなして抽出する。また、左右ページをさらに上下部分に分け、その４ブロックにおいて1本ずつの文字行を選択する場合は、左上部、右上部においては各縦書き文字行の一番上の各一文字を連結した外形を一つの行とみなし、左下部、右下部においては各縦書き文字行の一番下の各一文字を連結した外形を一つの行とみなして抽出する。
【０１１４】
その際、図２６に示すように抽出された外形の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図２６の網掛け領域）に抽出された外形の一部Ｃがかかっていることを条件とし、外形を抽出する。なお、上記２条件（抽出された外形の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に抽出された外形の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。したがって、上記条件を満足しない場合は、歪み補正用の縦書き文字行の外形は無いということになる。
【０１１５】
［抽出された外形の座標値の決定］
縦書き文字行に応じて外形が抽出された場合には、なお、縦書き文字行の外形の（主走査方向の）座標値を決定する。縦書き文字行の外形の座標値は、図２７に示すように、各縦書き文字行の一番上の各一文字を連結した外形である場合には、連結する各文字の外接矩形の上辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の（主走査方向の）座標値を決定することになる。また、図２７に示すように、各縦書き文字行の一番下の各一文字を連結した外形である場合には、連結する各文字の外接矩形の下辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の（主走査方向の）座標値を決定することになる。より詳細には、図２６に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。
【０１１６】
［不適切な縦書き文字行の外形の排除］
最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１１７】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【０１１８】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１１９】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字列として扱うものとする。
【０１２０】
以上、ステップＳ４１〜Ｓ４３の処理により、ページ外形／罫線／文字行の抽出処理（ステップＳ４）が終了する。
【０１２１】
続くステップＳ５（図６参照）においては、画像歪み補正処理を実行する。画像歪み補正処理は、図２８に示すように、概略的には、歪み補正（伸張）に際しての基準となる線（基準線）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５１：基準線選択処理）、基準線に対応するものであって補正率（伸張率）の算出用の参照線としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５２：参照線選択処理）、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理（ステップＳ５３：仮想ページ外形算出処理）、仮想的なページ外形に基づいてスキャン画像に伸張処理を施して主走査方向の歪みを補正する処理（ステップＳ５４：主走査方向歪み補正処理）、補正画像の文字外接矩形に基づいてスキャン画像に伸張処理を施して副走査方向の歪みを補正する処理（ステップＳ５５：副走査方向歪み補正処理）により構成されている。
【０１２２】
ここで、基準線選択処理（ステップＳ５１：基準線選択手段）及び参照線選択処理（ステップＳ５２：参照線選択手段）においては、基準線または参照線として、スキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形＞罫線＞文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。ただし、本実施の形態においては、ページ外形は一般に左右ページにまたがるが、罫線や文字行は両ページにあるとは限らないので、スキャン画像の上辺または下辺からの基準線選択の優先順位は、下記に示すようになる。
【０１２３】
１位 「ページ外形」（ページ外形は、常に左右両ページに存在する）
２位 左右両ページともに「罫線」
３位 一方のページが「罫線」、他方のページが「文字行」
４位 左右両ページともに「文字行」
５位 一方のページのみに「罫線」、他方のページには「手がかりなし」
６位 一方のページのみに「文字行」、他方のページには「手がかりなし」
ここで、「手がかりなし」とは、ページ外形、罫線、文字行のいずれも抽出できなかった場合を言う。
【０１２４】
次に、仮想ページ外形算出処理（ステップＳ５３：仮想ページ外形算出手段）及び主走査方向歪み補正処理（ステップＳ５４：歪み補正手段）の例について、上記優先順位に基づいて順に説明する。
【０１２５】
１．スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合ここでは、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合について説明する。図２９に示すように、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合は、いずれを基準線、参照線にしても構わない。なお、本実施の形態においては、基準線として選択した「ページ外形」、「罫線」、「文字行」は、下辺に位置させるものとする。この場合においては、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理（ステップＳ５３）においては特に処理を実行しなくても良い。
【０１２６】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。ここで、ｘ０は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点ｘ０における基準線と参照線間の距離ｈ０（図３０参照）に基づいて歪み補正率を算出する。歪み補正率は、主走査方向に画像を伸張して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置において等しくさせるためのものである。すなわち、位置xにおける基準線と参照線間の距離をｈ（図３０参照）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。即ち、歪み補正率とは、主走査方向に画像を伸張して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置ｘにおいて等しくなるように、各xに関して算出した値である。
【０１２７】
次に、実際に補正をする際は、まず、図３０に示すように仮想ページ外形（ここでは基準線）が直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３０の上辺の「ページ外形」ＥがＲＥとなるように画像が補正される。
【０１２８】
２．スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺ではページ外形が途中で切れているが「罫線」と「文字行」とが存在する場合について説明する。図３１に示すように、スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、「ページ外形」を基準線として下辺に位置させ、「文字行」と「罫線」とを参照線とする（図３１に示す例では、左ページが「文字行」、右ページが「罫線」である）。この場合においても、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理（ステップＳ５３）においては特に処理を実行しなくても良い。
【０１２９】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。ここで、ｘ０は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点ｘ０における基準線と参照線間の距離ｈ０（図３２参照）に基づいて歪み補正率を算出する。位置xにおける基準線と参照線間の距離をｈ（図３２参照）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。
【０１３０】
次に、実際に補正をする際は、まず、図３２に示すように仮想ページ外形（ここでは基準線）が直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３２の右ページでは、上辺の「罫線」ＬＵがＲＬＵとなるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【０１３１】
３．スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、図３３に示すように、左右両ページに「罫線」が存在する側を下辺に位置させ、その２本の「罫線」を基準線とし、他方の辺に位置する「文字行」と「罫線」とを参照線とする（図３３に示す例では、左ページが「文字行」、右ページが「罫線」である）。ところで、このように、基準線が「ページ外形」ではない場合は、基準線をそのまま仮想ページ外形と見なしてはならない。なぜなら、両者を一致させた場合、後の主走査方向歪み補正処理において仮想ページ外形（基準線）を最下辺に画素シフトする際、基準線より下方の画像情報が全て欠落してしまうからである。
【０１３２】
そこで、基準線が「ページ外形」でない場合は、図３３において点線で示すような仮想ページ外形ＶＥを求める仮想ページ外形算出処理（ステップＳ５３）を実行する。ここで、ｘ０は下辺の「罫線」ＬＤの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから上辺の「罫線」ＬＵまでの距離ｂ０とに基づいて仮想ページ外形ＶＥを算出するものである。すなわち、「罫線」ＬＤ上の位置ｘから上辺の「罫線」ＬＵまでの距離ｂが解かれば、
ａ／ｂ＝ａ０／ｂ０
であることから、「罫線」ＬＤ上の位置ｘから仮想ページ外形ＶＥまでの距離ａが算出することができる。したがって、「罫線」ＬＤ上の位置から仮想ページ外形ＶＥまでの距離を副走査方向の全ての位置ｘにおいて算出することにより、仮想ページ外形ＶＥを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。
【０１３３】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。主走査方向歪み補正処理としては、まず、前述した境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから上辺の「罫線」ＬＵまでの距離ｂ０とを加算した距離ｈ０（ｈ０＝ａ０＋ｂ０）に基づいて歪み補正率を算出する。位置xにおける上辺の「罫線」ＬＵからスキャン画像の最下辺までの距離をｈ（ｈ＝ａ＋ｂ）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。
【０１３４】
次に、実際に補正をする際は、まず、図３４に示すように仮想ページ外形ＶＥが直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３４の右ページでは、上辺の「罫線」ＬＵがＲＬＵ（厳密には、ｘの位置は「罫線」ＬＵの直線部と曲線部との境界には一致しないが、ここでは「罫線」ＬＤの境界をそのまま用いる）となるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。
【０１３５】
このように、仮想ページ外形ＶＥを利用することで、シフトによる画像の欠落を最小限に抑えることができる。
【０１３６】
４．スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合ここでは、スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合（他方のページは「手がかりなし」）は、図３５に示すように、「罫線」と「文字行」とが存在する側を下辺に位置させ、それらの「罫線」と「文字行」とを基準線とし、他方の辺に位置する「罫線」とスキャン画像を副走査方向に貫く中心線Ｃとを参照線とする（図３５に示す例では、左ページが「罫線」、右ページが「手がかりなし」である）。なお、中心線Ｃは、スキャン画像の主走査方向の中心を副走査方向に横切る線であり、ブック原稿４０の中心線ではない。
【０１３７】
このように基準線が「ページ外形」でない場合は、前述したように、図３５において点線で示すような仮想ページ外形ＶＥを求める仮想ページ外形算出処理（ステップＳ５３）を実行する。ここで、ｘ０は下辺の「罫線」ＬＤの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから中心線Ｃまでの距離ｂ０とに基づいて仮想ページ外形ＶＥを算出するものである。すなわち、「罫線」ＬＤ上の位置ｘから中心線Ｃまでの距離ｂが解かれば、
ａ／ｂ＝ａ０／ｂ０
であることから、「罫線」ＬＤ上の位置ｘから仮想ページ外形ＶＥまでの距離ａが算出することができる。したがって、「罫線」ＬＤ上の位置から仮想ページ外形ＶＥまでの距離を副走査方向の全ての位置ｘにおいて算出することにより、仮想ページ外形ＶＥを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。なお、右ページのように上辺に「罫線」が存在する場合については、中心線Ｃに代えて、前述したように上辺の「罫線」を用いる。
【０１３８】
次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。主走査方向歪み補正処理としては、まず、前述した境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから中心線Ｃまでの距離ｂ０とを加算した距離ｈ０（ｈ０＝ａ０＋ｂ０）に基づいて歪み補正率を算出する。位置xにおける中心線Ｃからスキャン画像の最下辺までの距離をｈ（ｈ＝ａ＋ｂ）とした場合には、位置xにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。
【０１３９】
次に、実際に補正をする際は、まず、図３６に示すように仮想ページ外形ＶＥが直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張して補正する。左ページ上辺の「罫線」についても同様に行う。なお、右ページについては、補正によってシフトにより一旦歪んだ中心線Ｃが元の直線ＲＣに戻るが、Ｃがスキャナ部１の光軸と一致する場合以外は、画像全体の補正は不完全となる。
【０１４０】
５．スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合
ここでは、スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合について説明する。スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し（他方のページは「手がかりなし」）、他方の辺の他方のページのみに「文字行」が存在する場合（一方のページは「手がかりなし」）は、図３７に示すように、「罫線」が存在する側を下辺に位置させ、その「罫線」を基準線とし、「罫線」が存在しない方のページ（「文字行」が存在する方のページ）については、文字行Ｌを中心線Ｃを挟んで線対称の位置に移動させた曲線ＳＬを基準線とする。参照線については、「罫線」が存在するページは中心線Ｃを、「文字行」が存在するページはその「文字行」を、それぞれ参照線とする。
【０１４１】
なお、歪み補正率の算出や画素シフト、補正（伸張）処理についてはこれまでの例と同様であるため、それらの説明は省略する。
【０１４２】
最後に、副走査方向歪み補正処理（ステップＳ５５）について説明する。ここで、図３８は副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図３８に示すように、ステップＳ１０１においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形Ａ（図３９参照）を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Ａを抽出するのは、この文字の外接矩形Ａの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図３９に示すように、文字外接矩形Ａの横辺の長さｗ、縦辺の長さｈ、および、文字の中心Ｂを定義する。ここで、文字の中心Ｂは、外接矩形Ａの対角線の交点である。
【０１４３】
続いて、図４０に示すように、スキャン画像をブック原稿４０のページ綴じ部４１に平行な方向の複数の短冊状の領域Ｃに分割した後（ステップＳ１０２）、各短冊領域Ｃについて、そこに含まれる文字外接矩形Ａに関する特徴量を求める（ステップＳ１０３）。ここで、ある短冊領域Ｃに含まれる文字外接矩形Ａとは、その中心が当該短冊領域Ｃに含まれるような外接矩形Ａのことである。例えば、図４０の短冊領域Ｃ１に含まれる外接矩形Ａは、図中の網掛けを施した矩形である。
【０１４４】
さて、上記の文字外接矩形Ａに関する特徴量は、
（文字の横辺の長さ）／（文字の縦辺の長さ）＝ｗ／ｈ
を基に求められる。すなわち、各短冊領域Ｃについて、そこに含まれる全ての文字外接矩形Ａのｗ／ｈの値の平均値をその短冊領域Ｃの特徴量とするのである。
【０１４５】
しかしながら、単に、ｗ／ｈの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、ｗ／ｈの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、ｗが極端に大きい文字外接矩形Ａが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にｗが大きいものを予め排除しておく必要がある。そこで、続くステップＳ１０４においては、予め閾値を定めておいて、ｈの値がその閾値より小さな文字外接矩形Ａを予め排除するとともに、ｗ／ｈの比率に関する閾値を予め定めておき、ｗ／ｈの値が其の閾値よりも大きい文字外接矩形Ａも予め排除する。例えば、図４１中に示した網掛けを施した文字外接矩形Ａが予め排除されることになる。
【０１４６】
続くステップＳ１０５においては、前述したように極端な文字外接矩形Ａを排除した後に、各短冊領域Ｃ内の文字外接矩形Ａのｗ／ｈの平均値を求める。図４２に各短冊領域Ｃ内の外接矩形Ａのｗ／ｈの平均値の一例を示す。なお、図４２中の短冊領域Ｃ２は、ブック原稿４０のページ綴じ部４１を含む短冊領域である。
【０１４７】
続いて、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在するか否かを判断する（ステップＳ１０６）。これは、図４１に示すように、一般にはブック原稿４０のページ綴じ部４１付近には文字外接矩形Ａが存在しない場合が多いからである。ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在する場合は（ステップＳ１０６のＹ）、その文字外接矩形Ａを利用して特徴量は算出されているのでそのままステップＳ１０８に進む。
【０１４８】
一方、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在しない場合は（ステップＳ１０６のＮ）、ステップＳ１０７に進み、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量を求める。なお、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の識別は、例えば、スキャン画像（例えば、モノクロ多値画像）の地肌濃度変化を各短冊領域Ｃごとに求め、短冊領域Ｃ内の最も濃度の薄い濃度値を求めることにより実現される。図４３は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２であるとみなされる。
【０１４９】
なお、スキャン画像がカラー多値画像の場合におけるブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の識別は、例えばＲＧＢ成分の何れか一つの成分（例えばＧ成分）に着目し、そのＧ成分の地肌濃度を使用して識別するようにすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分を使用してブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２を識別するようにしても良い。
【０１５０】
ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Ａが存在し、かつ、ページ綴じ部４１を含む短冊領域Ｃ２の最近傍である短冊領域Ｃの特徴量に対して予め定めた定数値を乗じることにより算出された値が、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２における特徴量とみなされるものである。つまり、図４２に示した例では、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の左右何れの短冊領域Ｃ３，Ｃ４にも文字外接矩形Ａが存在するので、どちらか適当な方の特徴量を選択し（ここでは右側の○印の方）、それに予め定めた定数値（ここでは０．５）を乗じて、これをブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量としている。
【０１５１】
続くステップＳ１０８においては、各短冊領域Ｃの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Ｃの位置の変化方向（即ち副走査方向）に関する移動平均を求める処理を施すなどして、短冊領域Ｃの位置の変化に対する（副走査方向の）特徴量の変化がなだらかになるようにする。ただし、ここでもブック原稿４０のページ綴じ部４１付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、ブック原稿４０のページ綴じ部４１付近の特徴量の変化の鋭さが失われてしまうからである。
【０１５２】
ここで、長さが全て５であるウィンドウを用いて図４２に示した各短冊領域Ｃの特徴量に対してフィルタリング処理を施した結果を図４４に示す。図４４に示すように、長さが全て５であるウィンドウを用いてフィルタリング処理を施した場合には、ブック原稿４０のページ綴じ部４１付近の特徴量（ｗ／ｈ）の変化がなだらかになり過ぎてしまう。このような場合には、ブック原稿４０のページ綴じ部４１付近での適切な画像補正が不可能になってしまう。
【０１５３】
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウがブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の両側の短冊領域Ｃ３，Ｃ４に跨がらないように、ページ綴じ部４１付近でウィンドウ長を調整する。ここで、図４５はページ綴じ部４１付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図４５に示すように、ページ綴じ部４１付近でウィンドウ長を調整した場合には、ページ綴じ部４１付近の特徴量（ｗ／ｈ）の変化を適切に表現できるので、良好な画像補正が実現できる。
【０１５４】
続くステップＳ１０９においては、各短冊領域Ｃの推定歪み量を算出する。各短冊領域Ｃの推定歪み量の算出手法は、以下に示す通りである。
【０１５５】
まず、短冊領域の歪み量を算出するための基準となる短冊領域（基準短冊領域）を定める。ここでは、歪みが最も小さいと考えられる短冊領域Ｃ、例えば、特徴量（ｗ／ｈ）が最大である短冊領域Ｃを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図４５においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Ｃが基準短冊領域であり、左側の基準特徴量を“Ｌｗ０／Ｌｈ０”、右側の基準特徴量を“Ｒｗ０／Ｒｈ０”、でそれぞれ示している。
【０１５６】
次に、基準短冊領域の特徴量ｗ０／ｈ０をスキャン画像全体の基準特徴量とし、
（各短冊領域の特徴量）／（基準特徴量）＝（ｗ／ｈ）／（ｗ０／ｈ０）
の値を、各短冊領域の推定歪み量として算出する。
【０１５７】
なお、ブック原稿４０のページ綴じ部４１から外れたページ外側付近の短冊領域Ｃを基準短冊領域とすると、ブック原稿４０のページ綴じ部４１付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予めブック原稿４０のページ綴じ部４１付近に限定しておくのが有効である。これを実現するためには、地肌濃度が予め定めた濃度よりも濃い短冊領域Ｃのみから基準短冊領域を求めるようにすれば良い。
【０１５８】
最後に、スキャン画像に対して、短冊領域Ｃの短辺方向（副走査方向）の拡大処理を行い、ブック原稿４０のページ綴じ部４１付近の歪みを補正する（ステップＳ１１０）。その場合の拡大率（副走査方向の歪み補正率（伸張率））は、ステップＳ１０９において算出した推定歪み量の逆数、すなわち、
（基準特徴量）／（各短冊領域の特徴量）＝（ｗ０／ｈ０）／（ｗ／ｈ）
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図４６は、図４５に示した特徴量に基づいて算出した補正拡大率を示したものである。
【０１５９】
なお、ここでも、ブック原稿４０のページ綴じ部４１付近から離れた短冊領域Ｃはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、地肌濃度が予め定めた濃度よりも薄い短冊領域Ｃについては、推定歪み量を“１”とする。
【０１６０】
また、短冊領域Ｃ内において共通の補正拡大率を適用した場合、隣接する短冊領域Ｃの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Ｃの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図４６に示す短冊領域Ｃの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。
【０１６１】
なお、画像の拡大処理は、例えばコピーの変倍機能として良く使われる３次関数のコンボリューション法等を用いて実行される。
【０１６２】
以上、ステップＳ１０１〜Ｓ１１０の処理により副走査方向歪み補正処理（ステップＳ５５）が終了し、図６に示すスキャン画像の歪み補正処理が終了する。ここで、図４７は歪みを補正した画像を示す平面図である。以上の処理によれば、図８に示したようなブック原稿４０のページ綴じ部４１の近傍において生じていたスキャン画像の歪みが、図４７に示すように補正されることになる。
【０１６３】
ここに、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形が算出され、算出された仮想ページ外形に基づいてスキャン画像に対する歪み補正が行われる。これにより、ブック原稿４０のページ綴じ部４１と画像読み取りの主走査方向とが平行な場合であっても、スキャナ部１の固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことが可能になるので、スキャナ部１の固有パラメータに依存することのない汎用的な装置の提供が可能になる。
【０１６４】
なお、本実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをパーソナルコンピュータのＨＤＤにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。
【０１６５】
【発明の効果】
本発明の画像歪み補正装置によれば、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の歪みを補正する画像歪み補正装置において、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択する基準線選択手段と、この基準線選択手段により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択する参照線選択手段と、前記基準線側の辺に、前記基準線と前記参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出する仮想ページ外形算出手段と、この仮想ページ外形算出手段により算出された前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正手段と、を備え、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出し、算出された仮想ページ外形に基づいてスキャン画像に対する歪み補正を行うことにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことができるので、スキャナの固有パラメータに依存することのない汎用的な装置を提供することができる。
【０１６６】
また本発明の画像歪み補正装置において、前記基準線選択手段により前記基準線として前記ページ外形を選択した場合は、当該ページ外形をそのまま前記仮想ページ外形とみなすことにより、基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることができる。
【０１６７】
また本発明の画像歪み補正装置において、前記仮想ページ外形算出手段は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出することにより、簡易な計算により仮想ページ外形を算出することができる。
【０１６８】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点であることにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１６９】
また本発明の画像歪み補正装置において、前記基準線上の所定位置は、前記基準線の直線部分に位置することにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１７０】
また本発明の画像歪み補正装置において、前記基準線選択手段と前記参照線選択手段と前記仮想ページ外形算出手段と前記歪み補正手段とは、前記スキャン画像の左右ページ毎に独立して実行されることにより、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１７１】
また本発明の画像歪み補正装置において、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設けることにより、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることで、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１７２】
また本発明の画像歪み補正装置において、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしであることにより、ページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順を確実に得ることができるので、スキャン画像の歪み補正の補正精度を確実に向上させることができる。
【０１７３】
また本発明の画像歪み補正装置において、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とすることにより、仮想ページ外形の算出精度を向上させることができる。
【０１７４】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなすことにより、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【０１７５】
また本発明の画像歪み補正装置において、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなすことにより、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【０１７６】
また本発明の画像読取装置によれば、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、を備えることにより、上記作用効果と同様の作用効果を奏する画像読取装置を得ることができる。
【０１７７】
また本発明の画像形成装置によれば、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う上記の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備えることにより、上記作用効果と同様の作用効果を奏する画像形成装置を得ることができる。
【０１７８】
本発明のプログラムによれば、画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の画像歪み補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択させる基準線選択機能と、この基準線選択機能により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択させる参照線選択機能と、前記基準線側の辺に、前記基準線と前記参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出する仮想ページ外形算出機能と、この仮想ページ外形算出機能により算出された前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正機能と、を実行させ、ページ外形、罫線または文字行である基準線と参照線とに基づいた仮想的なページ外形である仮想ページ外形を算出し、算出された仮想ページ外形に基づいてスキャン画像に対する歪み補正を行うことにより、ブック原稿のページ綴じ部と画像読み取りの主走査方向とが平行な場合であっても、画像読取手段であるスキャナの固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用することなくスキャン画像に対する歪み補正を行うことができるので、スキャナの固有パラメータに依存することのない汎用的な装置を提供することができる。
【０１７９】
また本発明のプログラムにおいて、前記基準線選択機能により前記基準線として前記ページ外形を選択した場合は、当該ページ外形をそのまま前記仮想ページ外形とみなすことにより、基準線としてページ外形が選択された場合には、ページ外形が既に存在していることから仮想ページ外形を算出する必要がないので、処理の高速化を図ることができる。
【０１８０】
また本発明のプログラムにおいて、前記仮想ページ外形算出機能は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、が等しくなるように前記仮想ページ外形を算出することにより、簡易な計算により仮想ページ外形を算出することができる。
【０１８１】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分と曲線部分との境界点であることにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１８２】
また本発明のプログラムにおいて、前記基準線上の所定位置は、前記基準線の直線部分に位置することにより、スキャン画像に対する歪み補正の際の画像の欠落を最小限に抑えることができる。
【０１８３】
また本発明のプログラムにおいて、前記基準線選択機能と前記参照線選択機能と前記仮想ページ外形算出機能と前記歪み補正機能とは、前記スキャン画像の左右ページ毎に独立して実行されることにより、一般にページ外形はスキャン画像の左右ページに跨って存在するが、罫線や文字行ついてはスキャン画像の左右両ページに必ずしも存在するとは限らないことから、左右ページ毎に独立して処理されることにより、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１８４】
また本発明のプログラムにおいて、前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設けることにより、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得られることから、例えばページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とし、スキャン画像の主走査方向における上辺または下辺の左右ページで組み合わせることで、スキャン画像の歪み補正の補正精度を向上させることができる。
【０１８５】
また本発明のプログラムにおいて、前記優先順位は、１位 スキャン画像の左右両ページともにページ外形２位 スキャン画像の左右両ページともに罫線３位 スキャン画像の一方のページが罫線、他方のページが文字行４位 スキャン画像の左右両ページともに文字行５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしであることにより、ページ外形、罫線、文字行の選択の優先順位を、ページ外形＞罫線＞文字行とした場合のスキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせの優先順を確実に得ることができるので、スキャン画像の歪み補正の補正精度を確実に向上させることができる。
【０１８６】
また本発明のプログラムにおいて、前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とすることにより、仮想ページ外形の算出精度を向上させることができる。
【０１８７】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなすことにより、スキャン画像のいずれか一方のページの参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【０１８８】
また本発明のプログラムにおいて、前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなすことにより、スキャン画像のいずれか一方のページの基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合であっても、仮想ページ外形を算出することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図８】入力した画像の一例を示す平面図である。
【図９】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１０】図８に示した画像の黒画素ヒストグラムである。
【図１１】ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【図１２】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図１３】図１２に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図１４】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図１５】図１４に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図１６】罫線の連続性の判別を示す説明図である。
【図１７】罫線の座標検出を示す説明図である。
【図１８】左右ページから各１本ずつの罫線を選択する場合を示す説明図である。
【図１９】左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示す説明図である。
【図２０】罫線の座標抽出を示す説明図である。
【図２１】排除される不適切な罫線の例を示す説明図である。
【図２２】図８に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図２３】図８に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図２４】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図２５】最適な横書き文字行の選択を示す説明図である。
【図２６】最適な縦書き文字行の外形の選択を示す説明図である。
【図２７】抽出された文字外接矩形を示す説明図である。
【図２８】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図２９】スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合を示す説明図である。
【図３０】図２９を画素シフトした状態を示す説明図である。
【図３１】スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図３２】図３１を画素シフトした状態を示す説明図である。
【図３３】スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。
【図３４】図３３を画素シフトした状態を示す説明図である。
【図３５】スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合を示す説明図である。
【図３６】図３５を画素シフトした状態を示す説明図である。
【図３７】スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合を示す説明図である。
【図３８】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図３９】抽出された文字外接矩形を示す説明図である。
【図４０】二値化画像をブック原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図４１】予め排除される文字外接矩形を示す説明図である。
【図４２】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。
【図４３】各短冊領域内の地肌濃度変化の一例を示すグラフである。
【図４４】図４２に示した各短冊領域の特徴量に対して長さが全て５であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。
【図４５】図４２に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。
【図４６】図４５に示した特徴量に基づいて算出した補正拡大率を示すグラフである。
【図４７】歪みを補正した画像を示す平面図である。
【図４８】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【符号の説明】
１ 画像読取装置
２ コンタクトガラス
１６ 画像形成装置
２９ 画像歪み補正装置
４０ ブック原稿
４１ ページ綴じ部
Claims (14)
- 画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の歪みを補正する画像歪み補正装置において、
前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択する基準線選択手段と、
この基準線選択手段により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択する参照線選択手段と、
前記基準線として罫線または文字行が選択された場合、前記基準線側の辺に前記基準線及び前記参照線とに基づいて仮想ページ外形を算出し、前記基準線として前記ページ外形が選択された場合、前記仮想ページ外形の算出を行わず当該ページ外形を仮想ページ外形とみなす仮想ページ外形算出手段と、
前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正手段と、を備え、
前記基準線選択手段と前記参照線選択手段と前記仮想ページ外形算出手段と前記歪み補正手段とは、前記スキャン画像の左右ページ毎に独立して実行され、
前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設け、
前記優先順位は、
１位 スキャン画像の左右両ページともにページ外形
２位 スキャン画像の左右両ページともに罫線
３位 スキャン画像の一方のページが罫線、他方のページが文字行
４位 スキャン画像の左右両ページともに文字行
５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし
６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしであることを特徴とする画像歪み補正装置。 - 前記仮想ページ外形算出手段は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、
（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、
が等しくなるように前記仮想ページ外形を算出することを特徴とする請求項１記載の画像歪み補正装置。 - 前記基準線上の所定位置は、前記基準線の直線部分に位置することを特徴とする請求項２記載の画像歪み補正装置。
- 前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とすることを特徴とする請求項１ないし３のいずれか一記載の画像歪み補正装置。
- 前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、
前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなすことを特徴とする請求項１ないし４のいずれか一記載の画像歪み補正装置。 - 前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、
同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなすことを特徴とする請求項１ないし５のいずれか一記載の画像歪み補正装置。 - 原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし６のいずれか一記載の画像歪み補正装置と、を備えることを特徴とする画像読取装置。 - 原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし６のいずれか一記載の画像歪み補正装置と、
この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備えることを特徴とする画像形成装置。 - 画像読み取りの主走査方向に対してページ綴じ部を平行にしてコンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の画像歪み補正をコンピュータに実行させるプログラムであって、
前記コンピュータに、前記スキャン画像の主走査方向における上辺または下辺の近傍に位置するページ外形、罫線または文字行を基準線として選択させる基準線選択機能と、
この基準線選択機能により選択された前記基準線側の辺とは反対側の辺の近傍に位置するページ外形、罫線または文字行を参照線として選択させる参照線選択機能と、
前記基準線として罫線または文字行が選択された場合、前記基準線側の辺に前記基準線及び前記参照線とに基づいて仮想ページ外形を算出し、前記基準線として前記ページ外形が選択された場合、前記仮想ページ外形の算出を行わず当該ページ外形を仮想ページ外形とみなす仮想ページ外形算出機能と、
前記仮想ページ外形に基づいて前記スキャン画像に対する歪み補正を行う歪み補正機能と、を実行させ、
前記基準線選択機能と前記参照線選択機能と前記仮想ページ外形算出機能と前記歪み補正機能とは、前記スキャン画像の左右ページ毎に独立して実行され、
前記基準線および前記参照線としてそれぞれ選択されるページ外形、罫線または文字行について、前記スキャン画像の主走査方向における上辺または下辺の左右ページでの組み合わせに対する優先順位を設け、
前記優先順位は、
１位 スキャン画像の左右両ページともにページ外形
２位 スキャン画像の左右両ページともに罫線
３位 スキャン画像の一方のページが罫線、他方のページが文字行
４位 スキャン画像の左右両ページともに文字行
５位 スキャン画像の一方のページのみに罫線、他方のページには手がかりなし
６位 スキャン画像の一方のページのみに文字行、他方のページには手がかりなしであることを特徴とするプログラム。 - 前記仮想ページ外形算出機能は、副走査方向の任意の位置ｘにて、（前記基準線上の所定位置における前記仮想ページ外形と前記基準線との間隔）／（前記基準線上の所定位置における前記基準線と前記参照線との間隔）と、
（前記副走査方向の任意の位置ｘにおける前記仮想ページ外形と前記基準線との間隔）／（前記副走査方向の任意の位置ｘにおける前記基準線と前記参照線との間隔）と、
が等しくなるように前記仮想ページ外形を算出することを特徴とする請求項９記載のプログラム。 - 前記基準線上の所定位置は、前記基準線の直線部分に位置することを特徴とする請求項１０記載のプログラム。
- 前記スキャン画像の主走査方向における上辺と下辺とでの前記優先順位を比較し、前記優先順位の高い辺側を前記基準線とすることを特徴とする請求項９ないし１１のいずれか一記載のプログラム。
- 前記スキャン画像のいずれか一方のページの前記参照線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、
前記スキャン画像を副走査方向に貫く画像中心線を前記参照線とみなすことを特徴とする請求項９ないし１２のいずれか一記載のプログラム。 - 前記スキャン画像のいずれか一方のページの前記基準線側の辺の近傍にページ外形、罫線および文字行のいずれも存在しない場合には、
同一ページに存在する前記参照線を前記スキャン画像を副走査方向に貫く画像中心線を挟んで線対称の位置に移動させた線を前記基準線とみなすことを特徴とする請求項９ないし１３のいずれか一記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001256970A JP4180260B2 (ja) | 2001-08-27 | 2001-08-27 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001256970A JP4180260B2 (ja) | 2001-08-27 | 2001-08-27 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008177333A Division JP4585015B2 (ja) | 2008-07-07 | 2008-07-07 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003069807A JP2003069807A (ja) | 2003-03-07 |
| JP4180260B2 true JP4180260B2 (ja) | 2008-11-12 |
Family
ID=19084715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001256970A Expired - Fee Related JP4180260B2 (ja) | 2001-08-27 | 2001-08-27 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4180260B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4366428B2 (ja) * | 2003-03-19 | 2009-11-18 | 株式会社リコー | 画像処理装置、画像処理プログラム及び記録媒体 |
| WO2005041123A1 (ja) * | 2003-10-24 | 2005-05-06 | Fujitsu Limited | 画像歪み補正プログラム，画像歪み補正装置並びに画像歪み補正方法 |
| US7602995B2 (en) * | 2004-02-10 | 2009-10-13 | Ricoh Company, Ltd. | Correcting image distortion caused by scanning |
| JP4847378B2 (ja) * | 2007-03-19 | 2011-12-28 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及びコンピュータ読取可能な記録媒体 |
-
2001
- 2001-08-27 JP JP2001256970A patent/JP4180260B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003069807A (ja) | 2003-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7430065B2 (en) | Method and system for correcting distortions in image data scanned from bound originals | |
| US7016081B2 (en) | Image distortion correction apparatus, distortion correction method therefor, recording media, image scanner and image construction apparatus | |
| JP4271085B2 (ja) | 画像補正装置、画像読取装置、プログラム及び記憶媒体 | |
| JP4162633B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP3983721B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4180260B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4585015B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4507124B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4111697B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP3979639B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP3926294B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 | |
| JP4194076B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP4480291B2 (ja) | 画像歪み補正装置、記憶媒体、プログラム、画像歪み補正方法、画像読取装置および画像形成装置 | |
| JP4093970B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
| JP4061256B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4136860B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4789221B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP3917421B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP4198613B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
| JP3877142B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP4145256B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
| JP2003143407A (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP3865199B2 (ja) | 画像読取装置、画像歪み補正方法、記憶媒体および画像形成装置 | |
| JP2003143410A (ja) | ボケ画像補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP2003204428A (ja) | 画像補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041004 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060823 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080827 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |