JP3684036B2

JP3684036B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP3684036B2
Application number: JP17862997A
Authority: JP
Inventors: 真琴高岡; 彰信西方
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-07-03
Filing date: 1997-07-03
Publication date: 2005-08-17
Anticipated expiration: 2017-07-03
Also published as: JPH1127545A; US6295385B1

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばファクシミリ（ＦＡＸ）機能、ファイリング機能等を有するデジタル複合複写機やスキャナ機器等の画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
近年、複写機もデジタル化が進み、かなりの複写機がコピー機能に限らず複合動作が可能となってきた。特に、コピー、プリンタ、ＦＡＸ、更にファイリング、といった複合動作を行なうようになってきており、例えばファイリングされたデータを読み出してプリントしたり、ＦＡＸで送られてきた画像をファイリングしたりする複合動作が可能である。
【０００３】
このように高度化してきたデジタル複写機は、利用者が気軽にコピー感覚で、オートフィーダに原稿を載せてＦＡＸしたり、ファイリングしたりできるため、よく使用されるようになってきた。
【０００４】
また、デジタル複写機の動作速度も年々向上し、１分間に２０枚〜８０枚位の入出力速度を出せるようになってきている。そのため、利用者は、沢山の原稿をコピー、ファイリング、或いはＦＡＸを行ないたい場合、動作速度の遅い従来の専用機を使わず、この種のディジタル複写機を使用することが多くなってきた。つまり、利用者は、大量の原稿を処理するため、機械の前に張り着いて、原稿がすべて読み込まれるまで待っていたり、時間を開けて再び原稿を取りに行くのがとても煩わしく感じられ、高速のデジタル複写機を使用するのである。
【０００５】
しかしながら、従来このように大量の原稿を処理するため、複写機のところに持っていく際に、原稿の向きが揃っていない場合、前もって原稿の向きを揃えるように人間が整理してから、動作に望んでいた。
【０００６】
上述のデジタル複写機で複数枚の原稿をコピーしたり、ＦＡＸしたりする際に、原稿の向きを整理する作業は煩わしい作業である。特に、Ａ４サイズの原稿の場合、縦方向の原稿の場合は簡単だが、横向き（Ａ４Ｒ）の原稿が混在している場合、左右どちらに向かせるか悩むところである。通常、複写機は、フィーダに載せるのにＡ４原稿の場合、縦方向に載せるが、場合によってはＡ４Ｒの方向に紙を載せたりする場合もある。また、Ａ４Ｒ（横向き）の原稿の場合、正方向の原稿の向きをフィーダの口に合わせたり、逆方向の向きを合わせたりする場合がある。さらに原稿の片側にバインダのための穴が開けてあると、オートフィーダに原稿を乗せる際に、ひっくり返して乗せる場合がある。
【０００７】
図１は、Ａ４サイズの通常の文書原稿をオートフィーダー１０１にセットする際の方向１０２〜１０９を示す図である。図示するように、実に多種類のセット方法がある。
【０００８】
このように原稿のセットの仕方もまちまちであるため、利用者によって原稿の向きの整理の仕方もまちまちであった。
【０００９】
このため、原稿が整理されていなければ、そのままあっちこっち向いたコピー用紙が排出されていた。このような場合、コピー枚数が少なければ良いが、大量で、しかもオートステイプル機器を用いると、そのまま固定されてしまう。また、最近よく利用されるようになってきた縮小レイアウト機能も原稿を載せたままの状態で複数枚の原稿が１枚にレイアウトされてコピーされてしまう。
【００１０】
そこで、利用者が原稿の向きを整理することなく、さらには、人による原稿の向きセットの相違による違いを解決するために、原稿向き判別技術が開発されてきた。この原稿向き検知技術をデジタル複写機に搭載することにより、利用者は原稿を整理するといった煩わしさから解放されることになる。
【００１１】
代表的な方向判別技術は、文字認識の技術を利用する方法、レイアウト認識の技術を利用する方法等がある。これらの技術は、原稿中に書かれた内容の一部を瞬時に判断し、その結果を出力する高速処理を行なっている。例えば、文字認識技術の応用で方向を判別する方法は、原稿中の文字領域を抽出し、その文字領域の文字を認識して正しい方向を判別する方法である。
【００１２】
【発明が解決しようとする課題】
しかしながら、原稿向き判別技術は文書原稿中の、文書の特徴を認識し、その原稿の向きを認識する技術であるが、その性能は完璧ではない。時には、判断を誤ることもある。特に、近年はカラー文書が多く作成されるような時代となり、原稿向き判別もカラー原稿に対しても正しく判別しなければならなくなった。
【００１３】
従来は、白黒原稿を対象としていたため、画像を入力する時は白黒２値画像を用いて方向判別を行なってきた。
【００１４】
これに対し、デジタル複合複写機の場合、スキャナとしての機能も重要なため、例え白黒コピー機であったとしても、カラーＣＣＤを搭載し、入力はカラーで行なうことが可能なものも多い。
【００１５】
しかしながら、方向判別機能は、白黒原稿処理のため、せっかく色情報があるのに、その情報を捨ててしまっていた訳である。このため、以下のような原稿に対して、方向判別処理がうまく作動しないという課題があった。
【００１６】
（１）最近よく用いられる２色刷り、３色刷りの原稿を画像入力すると、色により、肝心の文字部が掠れたりして、正しく方向判別ができなかった。
【００１７】
（２）最も重要な方向性を表す色文字部が、方向判別処理の対象部からはずれる場合があった。
【００１８】
（３）背景がある色で塗りつぶされ、その中に、他の色を用いた文字部があるような原稿で、うまく方向判別処理が作動しなかった。
【００１９】
本発明は、上記課題を解決するためになされたもので、カラー画像に対して、精度の高い方向判別処理を行なう画像処理装置及び画像処理方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、文書原稿をカラー画像データとして読み取って入力する画像入力手段と、前記入力されたカラー画像データを構成する各色成分の出現頻度を解析する色成分解析手段と、前記色成分解析手段による解析結果に基づいて前記入力されたカラー画像データを構成する各色成分毎に文字認識を行ない、当該文字認識の結果に基づいて前記文書原稿の方向を判別する方向判別手段と、前記方向判別手段での判別結果に応じて前記カラー画像データに応じたデータに対して所定の編集を行なう画像編集手段と、前記画像編集手段で編集された画像データを出力する出力手段とを有することを特徴とする。
【００２１】
また、上記目的を達成するために、本発明の画像処理方法は、文書原稿をカラー画像データとして読み取って入力する画像入力工程と、前記入力されたカラー画像データを構成する各色成分の出現頻度を解析する色成分解析工程と、前記色成分解析工程での解析結果に基づいて前記入力されたカラー画像データを構成する各色成分毎に文字認識を行ない、当該文字認識の結果に基づいて前記文書原稿の方向を判別する方向判別工程と、前記方向判別工程での判別結果に応じて前記カラー画像データに応じたデータに対して所定の編集を行なう画像編集工程と、前記画像編集工程で編集された画像データを出力する出力工程とを有することを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【００２３】
尚、本実施形態では、本発明の適用例としてデジタル複合複写機を例に説明するが、これに限るものではなく、他の種々の装置に適用できることは言うまでもない。
【００２４】
図２は、本実施形態におけるデジタル複合複写機の外観を示す図である。同図において、２０１はイメージスキャナ部であり、原稿を読み取り、デジタル信号処理を行なうところである。尚、このスキャナ部２０１には、オートフィーダーと呼ばれる自動紙送り装置も含まれている。また、スキャナ部２０１のセンサとして色情報を読み込むことが可能なカラーセンサが装備されている。
【００２５】
一方、２０２はプリンタ部であり、イメージスキャナ部２０１で読み取られた原稿画像に対応した画像を用紙にプリントする部分である。また、２０３は電話線であり、外部装置とのファクシミリ送受信等に用いられる。
【００２６】
図３は、本実施形態における画像処理系の構成を示すブロック図である。同図において、３０１はシェーディング補正部であり、不図示のＲＧＢカラーＣＣＤで読み取られた電気信号における画素間のばらつきを補正する。３０２はカラー白黒変換部であり、ＲＧＢ色画像データを白黒グレースケール画像へ変換する。この変換方法として、厳密にはＲＧＢ輝度データより明度データへ変換する方法があるが、Ｇ（グリーン）データを用いてもさほど問題はない。３０３はエッジ強調回路であり、文字や表等のエッジを強調する処理を行なう。例えば、５×５のウインドウで２次微分を行ない、画像のエッジを強調する。
【００２７】
３０４は変倍回路であり、縮小コピー時はデータの間引き処理を行ない、拡大コピー時はデータの補間を行なう。また、両面や縮小レイアウトをする時は後述するページメモリに蓄えられ、操作パネルからの指示に従ったコピーになるようにメモリから読み出すアドレスを切り替えながら、画像データが読み出される。３０５はγ変換回路であり、輝度データである画像データをプリンタに出力するための濃度データに変換する。尚、このデータ変換は、テーブルサーチ等により行なわれる。３０６はＰＷＭ回路であり、濃度データに変換された画像データをレーザの発光強度の信号に変換し、画像データの濃度に従ったパルス幅を不図示のレーザユニットに対して出力する。
【００２８】
３１２はＣＰＵ部であり、本処理系をコントロールする心臓部である。また、ＣＰＵ部３１２には本装置のプログラムや制御データを格納するＲＯＭ、ＣＰＵが処理を実行時に使用するワークエリアや各種テーブル等が定義されたＲＡＭ、及び周辺回路等が含まれる。３１１は利用者の指示を受け付けるオペレーションパネル部であり、あらゆる指示がここで行なわれる。ここで受け取った指示又は命令はＣＰＵ部３１２に送られる。３０７は本実施形態における色成分解析部であり、ＲＧＢカラーデータの各画素成分がどの程度存在するか解析する。
【００２９】
３０８は方向判別処理部であり、色成分解析部３０７から入力された解析結果３１３を考慮し、シェーディング補正部３０１でシェーディング補正された画像データを解析し、その文書の方向を判別する。具体的には、色成分解析部３０７で解析された結果３１３を用いて、その色を優先的に用いるか背景色を検知してその色成分の情報は用いないなどの判断を行なう。
【００３０】
３０９はページメモリであり、入力された画像データをページ毎に蓄積する。尚、本処理系では、画像データがリアルタイムで入力されており、方向判別処理部３０８では文書画像１ページ分の画像データを入力しながら、即座に方向判別結果をＣＰＵ部３１２に通知し、その結果によりＣＰＵ部３１２がページメモリ３０９の読み出し順序を制御する。また、コピー動作時は、画像データがページメモリ３０９より読み出され、γ変換回路３０５へ送られる。３１０はスキャナユニットであり、スキャナ動作時に読み取った画像データを外部へ送出する。
【００３１】
以上の構成において、オペレーションパネル部３１１から方向判別処理と縮小レイアウト送信が選択されると、ＣＰＵ部３１２は方向判別処理部３０８に判別処理実行をセットする。ここで、画像データの流れは、ＲＧＢのＣＣＤより電気信号を受け、シェーディング補正部３０１で補正される。そして、ＲＧＢカラーデータは、出力先が白黒プリンタの場合、カラー白黒変換部３０２で白黒データに変換される。これは、白黒プリンタでプリントする場合、カラーデータを必要としないためである。ちなみに、カラースキャナ入力が指示されていた場合は、この系は素通りする。そして、エッジ強調部３０３で、エッジ強調（選択指示された場合のみ）され、変倍処理部３０４に受け渡される。
【００３２】
また、上述の処理と同時に、シェーディング処理された画像データは色成分解析部３０７にも送られ、色成分解析部３０７が画像データを入力しながら色成分解析を行なう。この色成分解析部３０７は、ＲＧＢ多値画像データをある特定のスライスレベルで２値化し、その２値データを各色毎に加算していく。つまり、Ｒ，Ｇ，Ｂ，Ｃ，Ｍ，Ｙ別々に加算していき、全画像領域についてカウントすると、その結果を方向判別処理部３０８に送る。この色成分解析部３０７の詳細は更に後述する。
【００３３】
次に、方向判別処理部３０８は、逐次画像データを入力し、文字領域の抽出を行ないながら文字領域画像データを蓄積していく。その後、文字領域抽出が終了すると、色成分解析部３０７の解析結果３１３に基づいて優先順位の高い色画像の文字領域から方向判別処理を行なう。そして、その判別結果をＣＰＵ部３１２に送出する。
【００３４】
一方、変倍回路３０４で間引かれた画像データは、ページメモリ３０９に一時格納される。尚、ページメモリ３０９の容量によるが、画像データは多数枚ここに一時的に格納される。次に、方向判別処理結果に基づいて、正規な方向でない画像を回転処理（読み出し方を工夫することで対処できる）し、１ページ分蓄積する。そして、画像データは、複写機動作では、γ変換回路３０５でプリンタの特性に変換され、ＰＷＭ部３０６を介してレーザプリントが行なわれる。
【００３５】
図４は、本実施形態におけるオペレーションパネル部３１１の構成を示す外観図である。同図において、４０１は拡張機能キーであり、コピーを行なう際に、縮小レイアウトを行なうかどうか、自動原稿方向検知のオン／オフ、カラー原稿の選択等のモード選択機能を有する。そして、利用者は、コピーを行なう際に、拡張機能キー４０１により縮小レイアウトを行なうかどうかを選択する。
【００３６】
ここで、コピー時の縮小レイアウトについて説明する。図５は、複数枚の原稿を縮小レイアウトした状態を示す図である。図５に示す（ａ），（ｃ），（ｅ），（ｇ）は片面縮小レイアウトを、また（ｂ），（ｄ），（ｆ），（ｈ）は両面縮小レイアウトを示すものである。この両面機能は、紙が節約になり、配布資料などはかさばらなくて済むため、よく用いられるようになった機能である。
【００３７】
しかしながら、このような縮小レイアウトは文書の中身がどんなものであれ、機械的に縮小レイアウトされてしまう。図６は、４ｉｎ１の両面縮小レイアウトの例を示す図である。図示するように、文書には、日本語の場合縦書き、横書きがあり、紙面は縦置き、横置きの配置がある。つまり、上向き横書き文書６０１〜６０４の場合は６０５，６０６のように、上向き縦書き文書６０７〜６１０の場合は６１１，６１２のように、左向き縦書き文書６１３〜６１６の場合は６１７，６１８のように、そして、左向き横書き文書６１９〜６２２の場合は６２３，６２４のようにそれぞれ縮小レイアウトされる。
【００３８】
図６からも明らかなように、実際縮小レイアウトされたコピーは利用者が見て最適なレイアウトと言えるものではなっかた。
【００３９】
図７は、本実施形態における縮小レイアウトの結果を示す図である。図示するように、原稿の向きによってその配置が最適にレイアウトされている。つまり、上向き横書き文書７０１〜７０４の場合は７０５，７０６のように、上向き縦書き文書７０７〜７１０の場合は７１１，７１２のように、左向き縦書き文書７１３〜７１６の場合は７１７，７１８のように、そして、左向き横書き文書７１９〜７２２の場合は７２３，７２４のようにそれぞれ縮小レイアウトされる。
【００４０】
このような縮小レイアウトの最適原稿配置を実現するために、原稿方向検知を行ない、その原稿の向きから最適な縮小レイアウトが可能となる。
【００４１】
次に、上述の縮小レイアウトを行なう動作について説明する。図８は、本実施形態における縮小レイアウト処理を示すフローチャートである。
【００４２】
まず、ステップＳ８０１において、図４に外観を示すオペレーションパネル部３１１の動作モード（コピー／ファクス／ファイル）選択キー４０２からコピー動作が選択され、ステップＳ８０２で拡張機能キー４０１により縮小レイアウトが選択される。具体的には、拡張機能キー４０１が押下されると、表示モードが図５に示したそれぞれの縮小レイアウト画面表示に変更され、その表示画面から所望のレイアウト方法が選択される。
【００４３】
次に、ステップＳ８０３において、初期設定機能により方向判別機能の設定を行なう。その際、色成分解析を行なうかどうかも選択される。そして、ステップＳ８０４で方向判別機能を選択するキーが選択される。尚、この“原稿方向検知ＯＮ＆色成分解析ＯＮ＆コピー”にて色成分解析方向判別モードが選択される。その後、ステップＳ８０５において、コピースタートキーが押され、ステップＳ８０５でコピー動作をスタートする。次に、ステップＳ８０６において、原稿を給紙し、原稿台の上に原稿が配置される。そして、複写機の読み取り機構が移動して画像読み取りを開始する。
【００４４】
次に、ステップＳ８０９において、読み取られた画像データは上述の画像処理が施され、ページメモリ３０９に一時保存される一方、ステップＳ８０７では、色成分解析部３０７によって画像のカラー画素解析が行なわれる。また同時に、ステップＳ８０８では、色別の文字領域抽出が行なわれる。そして、ステップＳ８１０において、１ページ分の解析結果が方向判別処理部３０８に送られ、方向判別処理が行なわれる。
【００４５】
そして、ステップＳ８１１において、方向判別処理結果をページ毎に一時記憶し、続くステップＳ８１２で縮小レイアウトを指示された枚数、例えば４ｉｎ１は４枚のように給紙したかどうか確認する。ここで、画像データが揃ったならばステップＳ８１３に進み、正方向縮小レイアウト順に画像を読み出し、プリントを行なう。そして、ステップＳ８１４で排紙し、ステップＳ８１５では全て終了かどうか判断し、終了するまで上述の動作を繰り返す。
【００４６】
このように、本実施形態では、デジタル複写機やスキャナ機器で方向判別手段のために画像を入力する際に、従来、画像データとして白黒画像を入力していたものを、ＲＧＢ各色成分画像で入力し、ＲＧＢ別に入力された画像データより、以下の処理を行なう。
（１）あるしきい値で各色別に２値化する。各色毎に画素データを加算する。
【００４７】
例えば、ＲＥＤ，ＢＬＵＥ，ＧＲＥＥＮ，ＣＹＡＮ，ＭＡＧＥＮＴＡ，ＹＥＬＬＯＷの色別に色画素数を求める。その画素数、色数の多い順、色ごとの頻度数を方向判別処理部へ渡す。
（２）方向判別処理の前処理である文字領域抽出手段は、各色画像別に文字領域抽出を行なう。
（３）方向判別処理部は、前記色成分解析結果、色別の文字領域情報に基づいて方向判別処理を行なう。その際、色成分解析結果は、サンプリングする文字領域の優先順位を決定する情報になる。色成分情報は、最も多く使われている色画像を優先順位を上げたり、逆に下地で用いられている色画像は、とびぬけて画素数が多いため、その色は省いたりする判断が可能である。
【００４８】
従って、本実施形態によれば、色情報を用いて原稿方向判別を行なうことで、カラー原稿に対する精度の高い方向判別処理を実現するようになる。
【００４９】
次に、上述の各処理部について詳細に説明する。従来、文書の方向判別の手法にはいくつかの手法があるが、本実施形態では文書の方向を決定する大きな要素として文字の方向が最も重要であろうと考え、文字の方向を判別し、文書の方向を判別する方法について説明する。
【００５０】
通常、活字文書は、ワープロ作成文書の他に、図、表、絵などが混在している場合が多い。その場合、文字部のみを領域判別し、文字認識手法の一部を用いて方向を判別する。
【００５１】
［色成分解析処理］
図９は、色成分解析部３０７の処理を説明するための図である。色成分解析部３０７では、ＲＧＢカラーセンサより入力された多値画像データを所定のしきい値で２値化する。例えば、ＲＥＤセンサの画像データの値が「１３０」であれば、しきい値５０で２値化すると、“１”となる。そして、ＲＥＤセンサで“１”となった画像の値をライン毎とページ全体で加算する。つまり、よりＲＥＤの色が多く出現するとより加算結果が多くなる。この処理をＧＲＥＥＮ，ＢＬＵＥのセンサでも行なう。
【００５２】
図９に示す（Ｂ）は、各色毎のヒストグラムの例を示す図である。図中に示す記号「▲」はしきい値である。図から分かるように、しきい値より大きな画素値が多いと色成分が大きいと判断する。また、ＣＹＡＮの色成分を抽出する方法として、ＧＲＥＥＮセンサの画像データとＢＬＵＥセンサの画像データとの平均をとり、ＣＹＡＮの画像データとする。同様に、ＭＡＧＥＮＴＡ，ＹＥＬＬＯＷの画像データも作成する。図９に示す（Ｃ）はＲＢＧからＣＭＹを求める式を示す図である。
【００５３】
この処理により、ＲＥＤ，ＧＲＥＥＮ，ＢＬＵＥ，ＣＹＡＮ，ＭＡＧＥＮＴＡ，ＹＥＬＬＯＷの各色成分のライン毎とページ全体の加算結果が得られる。図９に示す（Ｄ）は、各色毎の画素数の一例を示す図である。この例では、１ページの中で、ＧＲＥＥＮが一番多く、続いてＹＥＬＬＯＷとなる。この数値が重要な判断材料となる。つまり、以下のような判断が可能である。
【００５４】
（１）最も多い文字部を利用して文書の方向を判別する。この場合、色の多い順に優先順位をつける。
【００５５】
（２）背景色は抜かす。この場合、極端に色画素数が多く、２番目以降と差が激しいものを背景色と見なす。
【００５６】
そして、この処理結果が次の続く方向判別処理部３０８で、色成分解析結果として用いられる。
【００５７】
尚、色成分処理部３０７は、各色毎に並行して処理を行なうことで、画像処理系のパイプライン処理には追随できる。また、所定のしきい値は、各色毎に設定可能である。このパラメータを可変することにより、２値化のしきい値が変更できる。これにより、センサのばらつきの補正や意識的にある色成分を強調させた結果も得ることが可能である。
【００５８】
［文字方向判別前処理］
以下は、色別に同時に行なう処理である。
＜２値化処理＞
本処理系は、次に続く方向判別の前処理である。ここでは、画像データは多値データを用いる。この２値化処理は、画像から文字部を抽出する目的で行なう。そのため、単純２値化の方法で良い。簡単な方法は、中間の値である“１２８”をスライスレベルとする方法である。
【００５９】
しかしながら、原稿に下地があったり、比較的薄い濃度の原稿の場合、２値化後の画像がその後の処理に適さない場合がある。このような場合、ダイナミックスライスレベルを用いた２値化処理方法がある。
【００６０】
この処理は、注目画素の前の列の輝度、或いは濃度データの平均と注目画素の輝度、或いは濃度の値よりスライスレベルを決定し、単純２値化する。
【００６１】
また、多値画像データを受け取るのではなく、２値化データを受け取る方法もあるが、後に続く本処理に都合の良いデータが得られればよい。
＜文字領域抽出処理＞
方向判別処理は、画像データより、文字領域の検出を行なう。これは、本実施形態のアルゴリズムでは、文字を方向判別の手段に用いるためである。
【００６２】
まず、画像データより黒画素を検出して行き、ある一定の条件を満たす領域を検出すると、その部分は文字領域と判別し、その領域情報を保存する。
【００６３】
ある一定の条件とは、以下の条件である。
【００６４】
（１）黒画素の連続したエッジがある。
【００６５】
（２）ある一定の黒画素幅である。
【００６６】
（３）近辺に同様な黒画素ブロックが存在する。
【００６７】
以上の条件を満たした領域を文字領域と判断する。もちろん、これだけの条件では正確な判別ができないが、詳細はここでは割愛する。
【００６８】
図１０は、原画像と文字領域判別結果を示す図である。図１０に示す（ａ）は原画像であり、画像中には文字の部分、絵の部分、グラフの部分などが書かれている。図１０に示す（ｂ）は、原画像の中から抽出した文字領域を示している。つまり、図中の１００１〜１００５が原画像から判別された文字領域である。
【００６９】
文字領域の中で、１００２は比較的大きな文字のブロックであり、１００３は文字数の多い一番広い領域に渡る文字領域である。そして、１００５は縦書きの文字領域である。
＜文字認識処理＞
次に、抽出された文字領域に対して文字認識処理を行なう。この文字認識処理の方法としては、特徴ペクトル抽出、比較方式等がある。例えば、図１１に示す（ａ）のように、「売」という文字を含む文字領域が判別された場合、第一段階として、この文字領域について文字切り出し処理を行なう。これは、一つの文字の矩形を切り出す処理で、連続する黒画素の状態を検出することで求められる。次に、第二段階として、図１１に示す（ｂ）のように、一文字をｍ×ｎ（例えば６４×６４）の画素ブロックに切り出す。そして、図１１に示す（ｃ）のように、その中から２×２画素のウィンドウを用いて黒画素の分布方向（方向ベクトル情報）を抽出する。
【００７０】
尚、図１１に示す（ｃ）は、方向ベクトル情報の一部を例示したものであり、上述の２×２画素のウィンドウをずらしてゆき、方向ベクトル情報を数十個得ることで文字の特徴とする。この特徴ベクトルと予め記憶されている文字認識辞書の内容とを比較して、特徴ベクトルが一番近い文字から順番に文字を抽出する。この場合、特徴ベクトルが特徴に近い順番に第１候補、第２候補、第３候補、…となる。この特徴ベクトルに対する特徴の近さが、専門用語では、その文字に対する距離の近さ、即ち文字認識の類似度（マッチ度）という数値となる。
【００７１】
［方向判別処理］
このようにして文字認識の類似度が求められるが、その類似度に基づいた文字方向判別処理について説明する。図１２は、文字方向判別処理を説明するための図であり、この例では「ビールの売り上げ」という文例を用いている。
【００７２】
図１２に示す（ａ）は正方向の文字列であり、図１２に示す（ｂ）は２７０°回転した文字列である。ここで、文字「売」に注目すると、文字方向を判別する場合、図１２に示す（ｃ）のように、１つの文字「売」について０°，９０°，１８０°，２７０°の４方向から文字認識を行なってみる。ここで、各回転角度は各文字の特徴ベクトルの読み出し方を変更すればよく、特に原稿を回転させる必要はない。
【００７３】
各回転角度における文字認識結果は、図１２に示す（ｃ）のように、互いに異なっている。尚、図１２に示す（ｃ）には、説明用の仮の文字認識結果と類似度が示されているが、現実にこの通りになるとは限らない。
【００７４】
図１２に示す（ｃ）において、正方向（０°）から文字認識を行った場合は、「売」と正しく認識され、類似度も０．９０と高い値となる。また、９０°回転した方向から文字認識を行った場合は、「版」と誤認識され、類似度も０．４０と低下する。このように誤認識が発生し、類似度も低下するのは、回転した方向から見た場合の特徴ベクトルに基づいて文字認識を行ったからである。同様に、１８０°，２７０°回転した方向から文字認識を行った場合も、誤認識が発生し、類似度も低下する。このように、文字認識の方向別の類似度は、複雑な文字であればある程、その差が顕著に現れてくる。
【００７５】
図１２に示す（ｃ）の結果は、正方向の場合に類似度が１番高いため、文書は正方向に向いている可能性が高いと判断される。しかし、文字方向判別の精度を向上させるため、同一ブロック内の複数の文字について、同様に４方向から文字認識を行なってみる。また、１つのブロックだけで文字方向を判別した場合、特殊な文字列について文字方向を誤って判別する恐れがあるので、複数のブロックについて同様の文字認識を行なってみる。
【００７６】
そして、各ブロックについて、当該ブロック内の各認識対象文字の４方向別の類似度の平均値を求め、更に各ブロックでの４方向別の類似度の平均値に対する平均値を求め、これらの平均値が最も高い方向を文字（文書）の方向として判定する。
【００７７】
このように、１文字だけの類似度で文字方向を判定するのではなく、同一ブロック内の複数文字、更には他のブロック内の複数文字の類似度で文字方向を判定することにより、文字（文書）方向を高精度に判別することが可能となる。但し、１文字だけの自身度で文字方向の判別を行なったり、或いは同一ブロック内の複数文字の類似度で文字方向を判別しても、方向判別は行なうことができる。
【００７８】
このような方法で、原稿方向判別を行なうが、文書中の文字はどのような状態になっているかまちまちである。例えば、ある文字は飾り文字であったり、ある文字は誤って図形を文字と判別していたりすることがある。このため、より多くの領域で方向判別処理を行なった方がより精度の高い結果が得られることは言うまでもない。
【００７９】
以上原稿方向認識の一例を説明してきたが、認識方法は他の方式があることは言うまでもない。ここでは方向認識部としてそれらすべてを網羅する。
【００８０】
尚、方向判別処理部は、一部専用ハードを搭載したＣＰＵで構成されている。このため、指示により処理系を変更することは容易である。
【００８１】
また、図９の説明にて、１ページ分の色成分解析を行なうように説明したが、原稿中のある特定のブロックだけで、例えば数ライン分の色成分解析結果を出力して、その数ライン毎に優先順位を変化させる方法をとることもできる。
【００８２】
尚、本発明は複数の機器（例えば、ホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００８３】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００８４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８５】
プログラムコードを供給するための記憶媒体としては、例えばフロッピーディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００８６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、例えば、出現頻度の最も高い色成分について、文字認識の結果を優先させて文書画像の方向を判別すること、或いは文書画像の背景色を方向判別の対象から除くことにより、カラー画像に対して精度の高い方向判別を行なうことができる。
【００９２】
【図面の簡単な説明】
【図１】Ａ４サイズの通常の文書原稿をオートフィーダー１０１にセットする際の方向１０２〜１０９を示す図である。
【図２】本実施形態におけるデジタル複合複写機の外観を示す図である。
【図３】本実施形態における画像処理系の構成を示すブロック図である。
【図４】本実施形態におけるオペレーションパネル部３１１の構成を示す外観図である。
【図５】複数枚の原稿を縮小レイアウトした状態を示す図である。
【図６】４ｉｎ１の両面縮小レイアウトの例を示す図である。
【図７】本実施形態における縮小レイアウトの結果を示す図である。
【図８】本実施形態における縮小レイアウト処理を示すフローチャートである。
【図９】色成分解析部３０７の処理を説明するための図である。
【図１０】原画像と文字領域判別結果を示す図である。
【図１１】文字認識処理を説明するための図である。
【図１２】文字方向判別処理を説明するための図である。

Claims

文書原稿をカラー画像データとして読み取って入力する画像入力手段と、
前記入力されたカラー画像データを構成する各色成分の出現頻度を解析する色成分解析手段と、
前記色成分解析手段による解析結果に基づいて前記入力されたカラー画像データを構成する各色成分毎に文字認識を行ない、当該文字認識の結果に基づいて前記文書原稿の方向を判別する方向判別手段と、
前記方向判別手段での判別結果に応じて前記カラー画像データに応じたデータに対して所定の編集を行なう画像編集手段と、
前記画像編集手段で編集された画像データを出力する出力手段とを有することを特徴とする画像処理装置。
前記方向判別手段は、前記出現頻度が高いと解析された色成分の文字認識結果に基づいて前記文書原稿の方向を判別することを特徴とする請求項１記載の画像処理装置。
前記方向判別手段は、前記出現頻度に基づいて前記文書原稿の背景色と解析された色成分を前記判別の対象から除くことを特徴とする請求項１記載の画像処理装置。
前記画像編集手段は、複数の文書原稿の縮小レイアウト処理であることを特徴とする請求項１記載の画像処理装置。
文書原稿をカラー画像データとして読み取って入力する画像入力工程と、
前記入力されたカラー画像データを構成する各色成分の出現頻度を解析する色成分解析工程と、
前記色成分解析工程での解析結果に基づいて前記入力されたカラー画像データを構成する各色成分毎に文字認識を行ない、当該文字認識の結果に基づいて前記文書原稿の方向を判別する方向判別工程と、
前記方向判別工程での判別結果に応じて前記カラー画像データに応じたデータに対して所定の編集を行なう画像編集工程と、
前記画像編集工程で編集された画像データを出力する出力工程とを有することを特徴とする画像処理方法。
前記方向判別工程は、前記出現頻度が高いと解析された色成分の文字認識結果に基づいて前記文書原稿の方向を判別することを特徴とする請求項５記載の画像処理方法。
前記方向判別工程は、前記出現頻度に基づいて前記文書原稿の背景色と解析された色成分を前記判別の対象から除くことを特徴とする請求項５記載の画像処理方法。
前記画像編集工程では、複数の文書原稿が縮小レイアウト処理されることを特徴とする請求項５記載の画像処理方法。
コンピュータを請求項１記載の画像処理装置の各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。