JP4261988B2 - 画像処理装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本願発明は、スキャナ等の入力装置で読み取られた画像と類似する画像データを、データベースから検索して出力する画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、バインダー等で蓄積された紙文書や配付資料等をスキャナで読み取り、オリジナルの電子データを検索するような画像処理装置が提案されている。特許文献１はデータベース内の電子文書をラスター画像に展開してスキャン画像と比較して検索結果を絞り込み、類似度の最も高い文書と予め定められた基準値と比較して、基準値を超えていたら該文書を表示部に出力し、その後印刷や送信を行うものである。
【０００３】
【特許文献１】
特開２００１−２５６２５６
【０００４】
【発明が解決しようとする課題】
特許文献１では、オリジナル文書を検索して印刷したい場合に、類似度が十分大きくても一度検索結果を表示部に表示し、印刷や送信を選択する構成のため、余計な手間がかかっていた。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１に記載の画像処理装置は、入力される文書画像に類似する画像を登録データから検索する画像処理装置において、文書画像を入力する入力手段と、前記入力手段によって入力された文書画像と登録データの類似度を算出する類似度算出手段と、前記類似度算出手段による算出の結果、前記文書画像との類似度が最も高い登録データの類似度と次に類似度が高い登録データの類似度との差が所定の値より大きいと判定された登録データのアドレスを自動的に通知する通知手段と、前記通知手段によってアドレスが通知された登録データを印刷するよう制御する印刷制御手段と、
を有することを特徴とする。
【０００６】
また、上記課題を解決するために、本発明の請求項４に記載の画像処理方法は、入力される文書画像に類似する画像を登録データから検索する画像処理方法において、文書画像を入力手段によって入力する入力ステップと、前記入力手段によって入力された文書画像と登録データの類似度を類似度算出手段が算出する類似度算出ステップと、前記類似度算出ステップによる算出の結果、前記文書画像との類似度が最も高い登録データの類似度と次に類似度が高い登録データの類似度との差が所定の値より大きいと判定された登録データのアドレスを自動的に通知手段が通知する通知ステップと、前記通知ステップでアドレスが通知された登録データを印刷するよう印刷制御手段が制御する印刷制御ステップと、を有することを特徴とする。
【００１０】
【発明の実施の形態】
本願発明の実施の形態について説明する。図１は本願発明にかかる画像処理装置の構成例を示すブロック図である。本実施例では、オフィス１０とオフィス２０とがインターネット１０４で接続された環境をあげる。オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段）１０２文書管理サーバ１０６、そのデータベース１０５、およびプロキシサーバ１０３が接続されている。ＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８はプロキシサーバ１３を介してインターネット１０４に接続される。ＭＦＰ１００は本発明において紙文書の画像読み取り部と読み取った画像信号に対する画像処理の一部を担当し、画像信号はＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力する。マネージメントＰＣは通常のＰＣであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段を有するが、その一部をＭＦＰ１００に一体化して構成されている。
【００１１】
図２はＭＦＰ１００の構成図である。図２においてオートドキュメントフィーダー（以降ＡＤＦと記す）を含む画像読み取り部１１０は束状の或いは１枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号をイメージ情報として得る。通常の複写機能はこの画像信号をデータ処理部１１５で記録信号へ画像処理し、複数毎複写の場合は記録部１１１に一旦一ページ分の記録データを記憶保持した後、記録部１１２に順次出力して紙上に画像を形成する。
【００１２】
一方クライアントＰＣ１０２から出力されるプリントデータはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理部１１５で記録可能なラスターデータに変換した後、前記記録部で紙上に記録画像として形成される。
【００１３】
ＭＦＰ１００への操作者の指示はＭＦＰに装備されたキー操作部とマネージメントＰＣに入力されるキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の図示しない制御部で制御される。
【００１４】
一方、操作入力の状態表示及び処理中の画像データの表示は表示部１１６で行われる。なお記憶部１１１はマネージメントＰＣからも制御され、これらＭＦＰとマネージメントＰＣとのデータの授受及び制御はネットワークＩＦ１１７および直結したＬＡＮ１０９を用いて行われる。
【００１５】
〔処理概要〕
次に本発明による画像処理の概要を、図５を用いて説明する。
【００１６】
原稿を入力する原稿入力処理（２００１）ではＭＦＰ１００の画像読み取り部１１０を動作させ１枚の原稿をラスター状に走査し画像信号を得る。次にあらかじめ処理設定で設定された処理を判定する判定処理（２００２）で図６のようなユーザインタフェースで設定された設定を判定する。原稿出力が設定されていた場合、２００１で入力した画像をそのまま、画像の印刷／編集／蓄積／伝達／記録に出力する（２００４）。また、原本を検索する原本出力が設定された場合、原本処理（２００３）を行い、画像の印刷／編集／蓄積／伝達／記録に出力する（２００４）。
【００１７】
〔原本処理概要〕
次に本発明による画像処理の原本処理概要を、図３を用いて説明する。
【００１８】
原稿入力処理で入力した画像信号をデータ処理部１１５で前処理を施し記憶部１１１に１ページ分の画像データとして保存する。マネージメントＰＣ１０１のＣＰＵは該格納された画像信号から先ず、文字／線画部分とハーフトーンの画像部分とに領域を分離し、文字部は更に段落で塊として纏まっているブロック毎に、或いは、線で構成された表、図形に分離し各々セグメント化する。一方ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等、所謂ブロック毎に独立したオブジェクトに分割する（ステップ１２１）。
【００１９】
このとき原稿画像中に付加情報として記録された２次元バーコード、或いはＵＲＬに該当するオブジェクトを検出しＵＲＬはＯＣＲで文字認識し、或いは２次元バーコードなら該マークを解読して（ステップ１２２）該原稿のオリジナル電子ファイルが格納されている記憶部内のポインター情報を検出する（ステップ１２３）。なお、ポインター情報を付加する手段は他に文字と文字の間隔に情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等直接可視化されない所謂電子透かしによる方法も有り、それに対応できる構成としてもよい。
【００２０】
ステップ１２４でポインター情報が検出された場合、ステップ１２５に分岐し、ポインターで示されたアドレスから元の電子ファイルを検索する。電子ファイルとはスキャンして登録された文書や、アプリケーションで作成された文書等であり、図１におけるクライアントＰＣ内のハードディスク内、或いはオフィス１０或いは２０のＬＡＮに接続された文書管理サーバ１０５内のデータベース１０５内、或いはＭＦＰ１００自体が有する記憶部１１１のいずれかに格納されている。ステップ１２５で電子ファイルが見つからなかった場合、見つかったがＰＤＦあるいはＴＩＦＦに代表される所謂イメージファイルであった場合、或いはステップ１２４でポインター情報自体が存在しなかった場合はステップ１２６に分岐する。
【００２１】
ステップ１２６ではデータベース上のオリジナル電子ファイルを検索するため、まず入力画像をベクトルデータへ変換する。先ず、ステップ１２２でＯＣＲされた文字ブロックに対しては、更に文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。一方線で構成される表、図形ブロックに対してはアウトライン化し、表など図形形状が認識できるものは、その形状を認識する。画像ブロックに対してはイメージデータとして個別の画像ファイルとして処理する。これらのベクトル化処理はオブジェクト毎に行う。データベース上のファイルベクトルデータへ変換されたイメージは、ステップ１２７でデータベース上の各ファイルと類似度を調べ、オリジナルを検索する。本実施例では、ステップ１２６により変換されたベクトルデータを用いて忠実にオリジナルファイルを検索する。オブジェクト毎に類似度を求め、オブジェクト毎の類似度をそのオブジェクトのファイル内占有率に応じてファイル全体の類似度へ反映させる。ファイル内で占めている割合の大きいオブジェクトの類似度が、ファイル全体の類似度へより大きく反映されるため、いかなるフォーマットのファイルにも適応的に対応することが可能である。
【００２２】
ステップ１２８で類似度と閾値を比較した結果、候補が１ファイルの場合はそのファイルの類似度を、候補が複数の場合は類似度の１番高いファイルの類似度を予め定められた閾値と比較し、閾値より高い場合は、自動的にステップ１３４に分岐し、格納アドレスを通知する。なお、この分岐判定は閾値との比較をするのではなく、１番高い類似度と２番目に高い類似度の差が予め定められたある設定値以上であれば、１３４に分岐する分岐条件としてもよいし、分岐を設定しないで無条件に類似度の１番高いファイルを選択してステップ１３４に進むよう構成することもできる。このようにスキャンしてから印刷などの出力を受けるまでの間にユーザの選択操作を挟まないことで、操作性を大幅に向上させることが可能となる。
【００２３】
ステップ１２８で類似度が閾値を超えているファイルがない場合、図７に示すようにサムネイル等を類似度順に表示（ステップ１２９）し、操作者の選択が必要なら操作者の入力操作よって複数のファイルの中からファイルの特定を行う。ステップ１３０ではステップ１２９で表示したファイル中にユーザ所望の電子ファイルがあり、それが選択された場合にステップ１３４に分岐して該ファイルの格納アドレスを通知し、選択されなかった場合は、ステップ１３１に分岐する。
【００２４】
ステップ１３１では入力されたデータを登録するために、ベクトル化処理を行う。ベクトル化処理はオブジェクト毎に行い、更に各オブジェクトのレイアウト情報を保存して例えば、ｒｔｆに変換（ステップ１３１）して電子ファイルとして記憶部１１１に格納（ステップ１３２）する。
【００２５】
今ベクトル化した原稿画像は以降同様の処理を行う際に直接電子ファイルとして検索出来るように、先ずステップ１３３において検索の為のインデックス情報を生成して検索用インデックスファイルに追加する。ステップ１３４では記憶部に格納した際の格納アドレスを操作者に通知する。
【００２６】
以上本発明によって得られた電子ファイル自体を用いて、例えば文書の印刷、伝送、加工、蓄積、記録をステップ１３５で行う事が可能になる。なお、上記実施例では操作者に格納アドレスを通知する構成としているが、通知せずに文書の印刷、伝送、加工、蓄積、記録をする構成としても構わない。
【００２７】
以下、各処理ブロックに対して詳細に説明する。
【００２８】
先ずステップ１２１で示すブロックセレクション処理について説明する。
【００２９】
〔ブロックセレクション処理〕
ブロックセレクション処理とは、図４に示すように、文書画像をオブジェクト毎の塊として認識し、該ブロック各々を文字／図画／写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理である。
【００３０】
ブロックセレクション処理の実施例を以下に説明する。
【００３１】
先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００３２】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。
【００３３】
ブロックセレクション処理で得られた各ブロックに対するブロック情報を図４に示す。
【００３４】
これらのブロック毎の情報は以降に説明するベクトル化、或いは検索の為の情報として用いる。
【００３５】
〔文字認識〕
文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【００３６】
ブロックセレクション（ステップ１２１）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。なお、この時文字のサイズが検出出来る。
【００３７】
〔ファイル検索〕
次に、図３のステップ１２７で示すファイル検索処理の詳細について図１１乃至図１３を使用して説明を行う。
【００３８】
本実施例では、前述したブロックセレクション処理により分割しベクトル化された各ブロック情報を利用し検索を行う。具合的に検索は、各ブロックの属性とファイル中のブロック座標情報との比較、すなわちレイアウトによる比較と、ファイル内の各ブロックの属性により異なる比較方法が適用されるブロック毎の内部情報比較とを複合した複合検索を用いる。
【００３９】
図１１は、図３のステップ１２６でベクトル化されたスキャン画像データ（入力ファイル）の例であり、ブロックＢ’１〜Ｂ’９に分割されかつそれぞれがベクトル化処理されている。
【００４０】
図１２は、入力ファイルを既にベクトル化されデータベース上に保存されてある画像データ（データベースファイル）と順次比較し、類似度を算出するフローチャートである。まず、データベースよりデータベースファイルへアクセスする（ステップ５０１）。入力ファイルの各ブロックとデータベースファイルの各ブロックを比較し、入力ファイルのブロック毎にデータベースファイルのブロックとの類似度を求める（ステップ５０２）。
【００４１】
ここで、ブロック毎に類似度を算出する際、図１３に示すフローチャートに従い、まず入力ファイルの該ブロックとレイアウト上一致すると推定されるデータベースファイルの対象ブロックを選出する。この処理においては、入力ファイルの複数のブロックに対し、データベースファイルの対象ブロックが重複されて選出されてもよい。次に該ブロックと対象ブロックとのレイアウト情報の類似度を求める。ブロックの位置、サイズ、属性を比較し（ステップ５１２、５１３、５１４）、その誤差からレイアウトの類似度を求める。次にブロック内部の比較を行うが、ブロック内部を比較する際は同じ属性として比較するため、属性が異なる場合は片方のブロックを一致する属性へ再ベクトル化するなど前処理を行う。前処理により同じ属性として扱われる入力ファイルのブロックとデータベースファイルの対象ブロックは、ブロックの内部比較を行う（ステップ５１５）。
【００４２】
ブロック内部比較では、ブロックの属性に最適な比較手法をとるため、属性によりその比較手法は異なる。例えば、前述したブロックセレクション処理により、ブロックはテキスト、写真、表、線画などの属性に分割される。テキストブロックを比較する場合は、ベクトル化処理により文字コード、フォントが判別されているため、各文字の一致度からその文章の類似度を算出し、ブロック内部の類似度が算出される。写真画像ブロックでは、画像より抽出される特徴ベクトルを特徴空間上の誤差より類似度が算出される。ここでいう特徴ベクトルとは、色ヒストグラムや色モーメントのような色に関する特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、フーリエ記述子等の形状特徴量など複数挙げられ、このような複数の特徴量のうち最適な組み合わせを用いる。また、線画ブロックでは、線画ブロックはベクトル化処理によりアウトライン線、もしくは罫線、曲線の集合として表現されるため、各線の始点、終点の位置、曲率などの誤差を算出することにより線画の類似度が算出される。また、表ブロックでは、表の格子数、各枠子のサイズ、各格子内のテキスト類似度などを算出することにより、表ブロック全体の類似度が算出できる。
【００４３】
以上より、ブロック位置、サイズ、属性、ブロック内部の類似度を算出し、各類似度を合計することで入力ファイルの該ブロックに対しその類似度を算出することが可能であり、該ブロック類似度を記録する。入力ファイルのブロック全てについて、一連の処理を繰り返す。求められたブロック類似度は、全て統合することで、入力ファイルの類似度を求める（ステップ５０３）。統合処理について説明する。図１１の入力ファイルのブロックＢ１’〜Ｂ９’に対し、ブロック毎の類似度がｎ１〜ｎ９と算出されたとする。このときファイル全体の総合類似度Ｎは、以下の式で表現される。
Ｎ＝ｗ１＊ｎ１＋ｗ２＊ｎ２＋ｗ３＊ｎ３＋…．＋ｗ９＊ｎ９＋γ ・・・（１）
【００４４】
ここで、ｗ１〜ｗ９は、各ブロックの類似度を評価する重み係数である。γは補正項であり、例えば、データベースファイルの入力ファイルに対する対象ブロックとして選出されなかったブロックの評価値などとする。重み係数ｗ１〜ｗ９は、ブロックのファイル内占有率により求める。例えばブロック１〜９のサイズをＳ１〜Ｓ９とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋…．＋Ｓ９） ・・・（２）
として算出できる。このような占有率を用いた重み付け処理により、ファイル内で大きな領域を占めるブロックの類似度がよりファイル全体の類似度に反映されるようになる。
【００４５】
〔ファイル検索におけるテキスト検索の類似度算出〕
文書は登録される段階で、登録文書に含まれる単語を取得する。次に、文書内に出現する単語から基本ベクトル辞書を用いて算出される。図９は基本ベクトル辞書の構成を示したものである。基本ベクトル辞書は単語毎にベクトル表現時のそれぞれの次元（Ｄｉｍ．）に応対した特徴量が格納されている。次元はその単語本来の意味によって分類された基準や、その単語の使用分野に応じて分類された基準等が採用される。単語１のＤｉｍ．１の特徴量は０であり、Ｄｉｍ．２の特徴量は２３であることがわかる。このように辞書から一つの単語におけるそれぞれの次元（Ｄｉｍ．）の特徴量を得ることが可能となる。特徴量はその単語が使用されることにより、その文書がその分類基準（＝次元）をどれぐらい特徴付ける可能性があるかを示す値と解釈することが可能である。文書を構成するすべての単語から得られた分類基準別（次元別）の特徴量から、文書全体の特徴量を分類基準を次元とするベクトルで表現する。得られたベクトルをノルム＝１で正規化した値を文書ベクトルとして格納する。文書ベクトルを図１０のようなインデックスに格納する。文書ＩＤ＝６９４７の文書ベクトルのＤｉｍ．１の特徴量は０．１８３であり、Ｄｉｍ．２の特徴量は０．２１４であることがわかる。
【００４６】
〔アプリデータへの変換処理〕
ところで、一頁分のイメージデータをブロックセレクション処理（ステップ１２１）し、ベクトル化処理（ステップ１２６）した結果は図１４に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる。
【００４７】
図１４はＤＡＯＦのデータ構造を示す図である。
【００４８】
図１４において、７９１はＨｅａｄｅｒであり、処理対象の文書画像データに関する情報が保持される。レイアウト記述データ部７９２では、文書画像データ中のＴＥＸＴ（文字）、ＴＩＴＬＥ（タイトル）、ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥＡＲＴ（線画）、ＥＰＩＣＴＵＲＥ（自然画）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部７９３では、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等のＴＥＸＴブロックを文字認識して得られる文字認識結果を保持する。表記述データ部７９４では、ＴＡＢＬＥブロックの構造の詳細を格納する。画像記述データ部７９５は、ＰＩＣＴＵＲＥやＬＩＮＥＡＲＴ等のブロックのイメージデータを文書画像データから切り出して保持する。
【００４９】
このようなＤＡＯＦは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用する事は出来ない。そこで次に、このＤＡＯＦからアプリデータに変換する処理（ステップ１３１）について詳説する。
【００５０】
図１５は、アプリデータ変換の概略フローである。
８０００は、ＤＡＯＦデータの入力を行う。
８００２は、アプリデータの元となる文書構造ツリー生成を行う。
８００４は、文書構造ツリーを元に、ＤＡＯＦ内の実データを流し込み、実際のアプリデータを生成する。
【００５１】
図１６は、８００２文書構造ツリー生成部の詳細フロー、図１７は、文書構造ツリーの説明図である。全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。
【００５２】
以後ブロックとは、ミクロブロック、及びマクロブロック全体を指す。
【００５３】
８１００は、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。
【００５４】
ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどで定義することができる。
【００５５】
また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。
【００５６】
図１７（ａ）は実際のページ構成、（ｂ）はその文書構造ツリーである。８１００の結果、Ｔ３、Ｔ４、Ｔ５が一つのグループＶ１、Ｔ６、Ｔ７が一つのグループＶ２が同じ階層のグループとしてまず生成される。
【００５７】
８１０２は、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはＤＡＯＦ中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。
【００５８】
８１０４は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。
【００５９】
ここで、縦方向のグループ長がページ高さとなっている場合は、文書構造ツリー生成は終了する。
【００６０】
図１７の場合は、セパレータもなく、グループ高さはページ高さではないので、８１０６に進む。
【００６１】
８１０６は、ブロック単位で横方向の関連性を元に再グループ化する。ここもスタート直後の第一回目はミクロブロック単位で判定を行うことになる。
【００６２】
関連性、及びその判定情報の定義は、縦方向の場合と同じである。
【００６３】
図１７の場合は、Ｔ１，Ｔ２でＨ１、Ｖ１，Ｖ２でＨ２、がＶ１，Ｖ２の１つ上の同じ階層のグループとして生成される。
【００６４】
８１０８は、横方向セパレータの有無をチェックする。
【００６５】
図１７では、Ｓ１があるので、これをツリーに登録し、Ｈ１、Ｓ１、Ｈ２という階層が生成される。
【００６６】
８１１０は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。
【００６７】
ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。
【００６８】
そうでない場合は、８１０２に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
【００６９】
図１７の場合は、分割幅がページ幅になっているので、ここで終了し、最後にページ全体を表す最上位階層のＶ０が文書構造ツリーに付加される。
【００７０】
文書構造ツリーが完成した後、その情報を元に８００６においてアプリデータの生成を行う。
【００７１】
図１７の場合は、具体的には、以下のようになる。
【００７２】
すなわち、Ｈ１は横方向に２つのブロックＴ１とＴ２があるので、２カラムとし、Ｔ１の内部情報（ＤＡＯＦを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、Ｔ２の内部情報出力、その後Ｓ１を出力となる。
【００７３】
Ｈ２は横方向に２つのブロックＶ１とＶ２があるので、２カラムとして出力、Ｖ１はＴ３、Ｔ４、Ｔ５の順にその内部情報を出力、その後カラムを変え、Ｖ２のＴ６、Ｔ７の内部情報を出力する。
【００７４】
以上によりアプリデータへの変換処理が行える。
【００７５】
〔ファイル検索における別実施例１〕
上記の実施例では、ファイル検索において、入力ファイルとデータベースファイルを比較する際、全ての入力ファイルの全てのブロックについて、レイアウト情報とブロックの内部情報の比較を行った。しかし、ブロック内部情報の比較を行わずともレイアウトの情報を比較した段階である程度ファイルを選別することが可能である。すなわち、入力ファイルとレイアウトが全く異なるデータベースファイルはブロック内部情報の比較処理を省くことが可能である。図１９にレイアウト情報によるファイル選別を実施した際のフローチャートである。まず、入力ファイルの全てのブロックに対し、位置、サイズ、属性の比較を行い、その類似度を求め、ファイル全体のレイアウト類似度を求める（ステップ５２２）。レイアウト類似度が閾値より低い場合は、ブロック内部情報比較は行わない（ステップ５２３）。閾値より高い場合、つまりレイアウトが似ている場合のみ、ブロック内部情報の比較（ステップ５２４）を行い、先に求めたレイアウト類似度とブロック内部の類似度より、ファイル全体の総合類似度が求まる（ステップ５２５）。ブロック毎の類似度からの総合類似度の求める手法は、図１２のステップ５０３と同様の処理であり、説明を省略する。該類似度が閾値以上のファイルに関しては候補として保存する。ブロック内部情報の類似度を求める処理は特に写真ブロックの一致を調べるときなど、一般的に重い処理となる。よって、レイアウトである程度ファイルを絞り込むことで、検索処理量の軽減、処理の高速化が行え、効率よく所望のファイルを検索できる。
【００７６】
〔ファイル検索における別実施例２〕
上記の実施例は全て、ファイル検索時、ユーザが何も指定せずに検索を施した場合の検索処理実施例である。しかし、ユーザに文書内の特徴となる部分（ブロックセレクションより求められるブロック）を指定させる、もしくは無駄なブロックを省く、または文書内の特徴を指定させることで、ファイル検索をより最適化することが可能になる。
【００７７】
図８は検索時、ユーザによる検索オプション指定のユーザインタフェース画面（１００１）の例である。入力ファイルはブロックセレクション処理により、複数のブロックに分割されており、入力画面にはファイル上のテキスト、写真、表、線画など各ブロックがサムネイルとなり表示される（１０１１〜１０１７）。ユーザは表示されたブロック中から、特徴となるブロックを選択する。このとき選択するブロックは複数であってもよい。例として、ブロック１０１４を選択したとする。ブロック１０１４が選択された状態で、ボタン「優先」（１００３）を押したとき、よりブロック１０１４を重視した検索処理を行うようにする。重視した検索とは、例えば、ブロック毎の類似度からファイル全体の類似度を求める演算式（１）の指定されたブロック１０１４の重み係数を大きくし、選択外のブロックの重み係数を小さくするようにするということで実現できる。複数回「優先」ボタン（１００４）を押せば、選択されたブロックの重み係数を大きくし、よりブロックを重視した検索が行える。また、除外ボタン（１００４）を押せば、選択されたブロック１０１４を省いた状態で検索処理を施す。ブロックが誤って認識された場合などには、無駄な検索処理を省略し、かつ誤った検索処理を防止できる。また、詳細設定（１００５）によりブロックの属性の変更を実現可能とし、ブロックセレクション（ステップ１２１）での誤って属性を認識した場合でもユーザが修正することで、正確な検索できる。また、詳細設定１００５では、ユーザにより、ブロックの検索優先する重みを細かく調節可能とする。このように、検索する際、ユーザが特徴となるブロックを指定、設定させることで、検索の最適化が行える。
【００７８】
一方、ファイルによっては、レイアウトが特殊な場合も考えられる。このようなファイルに関しては、図８のレイアウト優先ボタン（１００５）を選択することにより、レイアウトを重視したファイル検索を可能とする。この場合、レイアウトの類似度の結果をより重視するように、重み付けすることで実現する。また、テキスト優先ボタン（１００６）では、テキストブロックのみの検索を実行し、処理の軽減を図れる。
【００７９】
このように、ユーザに画像の特徴を選択させることで、ファイルの特徴を重視した検索が行える。また、ユーザという人為的手段を信頼する、すなわちユーザ指定により重みを変更する際に、それに伴い変更された重みが閾値以下になる選択外ブロックを検索処理しないなどの制限を加えれば、ユーザの簡単な操作で、無駄なブロックの検索処理を大幅に削減できることも可能である。
【００８０】
（他の実施例）
上記実施例では、図６に示すように原本出力、原稿出力から処理を選択して実行していたが、本発明はこれに限られるものではない。図２０に示すように、原本出力、原本登録、原稿出力（原本登録しない）、原稿出力（原本登録する）から処理を選択してもよい。原本登録が選択された場合は画像入力後、図３で示すステップ１３１から処理が始まり、画像の印刷は行わない。原稿出力（原本登録しない）が選択された場合は画像入力後、ステップ１３５にとび、画像の印刷が行われる。原稿出力（原本登録する）が選択された場合は画像入力後、ステップ１３１から処理が始まり、登録するとともに画像印刷が行われる。
【００８１】
また、上記実施例では、ステップ１２８で比較する閾値や設定値は予め定められたものとしていたが、これを設定する手段を備えても構わない。その場合例えば、図１８に示すようなインタフェースで設定するよう構成すればよい。
【００８２】
【発明の効果】
以上詳述したように本発明によれば、画像処理装置において、入力画像と登録データの類似度が大きい登録データを、ユーザの選択操作を介さずに印刷することにより、ユーザの操作性を大幅に向上させることが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るシステムの構成を示すブロック図である。
【図２】本発明の実施形態に係るＭＦＰの構成を示すブロック図である。
【図３】本発明の実施形態に係る原本処理手順を示すフローチャートである。
【図４】本発明の実施形態に係るブロックセレクション処理の実施例である。
【図５】概略処理手順を示すフローチャートである。
【図６】ユーザインタフェース画面の例を示す図である。
【図７】一覧選択ユーザインタフェース画面の例を示す図である。
【図８】ユーザインタフェース画面の例を示す図である。
【図９】テキスト検索の基本ベクトル辞書の例である。
【図１０】テキストの文書ベクトルインデックスの例である。
【図１１】ブロック例を示す図である。
【図１２】ファイル検索処理の処理手順を示すフローチャートである。
【図１３】ファイル検索処理のブロック比較処理手順を示すフローチャートである。
【図１４】ＤＡＯＦ例を示す図である。
【図１５】アプリデータ変換処理手順を示すフローチャートである。
【図１６】文書構造ツリー生成処理手順を示すフローチャートである。
【図１７】文書構造ツリー説明図である。
【図１８】閾値設定ユーザインタフェース画面の例を示す図である。
【図１９】レイアウト情報によるファイル選別処理手順を示すフローチャートである。
【図２０】ユーザインタフェース画面の例を示す図である。

Claims (5)

1. 入力される文書画像に類似する画像を登録データから検索する画像処理装置において、
   文書画像を入力する入力手段と、
   前記入力手段によって入力された文書画像と登録データの類似度を算出する類似度算出手段と、
   前記類似度算出手段による算出の結果、前記文書画像との類似度が最も高い登録データの類似度と次に類似度が高い登録データの類似度との差が所定の値より大きいと判定された登録データのアドレスを自動的に通知する通知手段と、
   前記通知手段によってアドレスが通知された登録データを印刷するよう制御する印刷制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記文書画像との類似度が最も高い登録データの類似度と次に類似度が高い登録データの類似度との差が前記所定の値よりも大きくない場合に、複数の登録データを類似度に基づいて一覧表示する一覧表示手段を更に有することを特徴とする請求項１記載の画像処理装置。
3. 前記所定の値を設定する値設定手段を更に有することを特徴とする請求項１に記載の画像処理装置。
4. 入力される文書画像に類似する画像を登録データから検索する画像処理方法において、
   文書画像を入力手段によって入力する入力ステップと、
   前記入力手段によって入力された文書画像と登録データの類似度を類似度算出手段が算出する類似度算出ステップと、
   前記類似度算出ステップによる算出の結果、前記文書画像との類似度が最も高い登録データの類似度と次に類似度が高い登録データの類似度との差が所定の値より大きいと判定された登録データのアドレスを自動的に通知手段が通知する通知ステップと、
   前記通知ステップでアドレスが通知された登録データを印刷するよう印刷制御手段が制御する印刷制御ステップと、
   を有することを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法に記載の各ステップをコンピュータに実行させるためのプログラムコードからなるコンピュータプログラム。

Images