JP5500480B2 - 帳票認識装置及び帳票認識方法 - Google Patents

Description

本発明は、帳票に存在する文字を認識する帳票認識装置に関し、特に、帳票内に存在する押印の文字も認識する帳票認識装置に関する。

帳票認識技術は、ユーザが帳票を電子化するために用いられる。この場合には、ユーザは、例えば、一般企業、自治体、金融機関、保険機関、医療機関、及び教育機関等であり、帳票は、例えば、会計伝票、発注書、商品券、納付済通知書、給与報告書、注文書、保険契約書、総合振込書、源泉徴収書、健康診断書、診療報酬明細書、解答用紙、及び入学願書等である。

帳票認識装置は、帳票から項目（例えば、ＩＤ欄、金融機関名欄、金額欄、商品名欄、個数欄、住所欄、及び名前欄等）を探索し、探索した項目に記載された文字を読み取ることによって、項目を電子化する。

帳票認識装置によって実行される帳票認識処理について図１５を用いて説明する。図１５は、従来の帳票認識処理の説明図である。

まず、帳票認識装置は、スキャナ等によって取得された帳票画像データから、各項目の文字列を抽出する。図１５では、「支払金額」の文字列「7,890,123」が抽出された場合を例に説明する。

次に、帳票認識装置は、抽出された文字列から各文字を切り出す。図１５では、抽出された文字列が「7」「,」「8」「9」「0」「,」「1」「2」「3」と一文字ごとに切り出される。そして、帳票認識装置は、切り出された各文字を認識することによって、帳票の項目に記載された文字を認識する。図１５では、帳票認識装置は、「支払金額」の項目に「7,890,123」が記載されていたことを認識する。

なお、文字列から各文字を切り出す技術、及び、切り出された各文字を認識する技術は、非特許文献１及び非特許文献２に記載されている。

帳票画像データから各項目を特定し、特定した項目に記載された文字列を抽出する帳票認識装置が知られている（例えば、特許文献１参照）。

特許文献１に記載された帳票認識装置について説明する。

まず、帳票認識装置は、帳票画像データ中の枠を探索する。具体的には、帳票認識装置は、縦罫線及び横罫線を検出し、検出された縦罫線及び横罫線に囲まれた領域を枠として取り出す。次に、帳票認識装置は、取り出した枠内の黒画素を囲む最小矩形を切り出すことによって文字列を抽出する。帳票認識装置は、取り出した枠内の上の枠又は左の枠の文字を認識することによって、抽出された文字列の項目名を認識する。次に、帳票認識装置は、抽出された文字列から各文字を切り出し、切り出された各文字を認識することによって、項目に記載された文字を認識する。

帳票中に押印が存在するか否かを判定し、押印が存在する場合には、押印の位置及び輪郭を特定する技術が知られている（例えば、特許文献２参照）。また、帳票中の押印の文字を認識するための技術も知られている（例えば、特許文献３参照）。

帳票中の押印を検出し、押印中の文字を認識する技術は、払込書等において領収印の日付及び機関名等を読み取るために用いられる。例えば、日付と納付期限とを照合することによって、延滞の有無によって帳票を分類する等の目的に用いられる。

特開２００７−３２８８２０号公報 特開２００９−２５８５６号公報 特開平６−１１１０６６号公報 Mohammed Cheriet、Nawwaf Kharma、Cheng lin Liu、Ching Suen、"Character Recognition Systems: A Guide for Students and Practitioners"、Wiley-Interscience、2007年 石井健一郎、上田修功、前田英作、村瀬洋、「わかりやすいパターン認識」、オーム社出版局、１９９８年８月

従来の帳票認識装置では、押印の特性が要因となり、押印中の文字列の探索が困難となっていた。押印の特性とは、例えば、帳票内の押印が押印されるべき位置からずれて押印され、帳票の予め印刷されている部分（プレ印刷部分）と重複してしまうこと、押印が傾いてなされること、インクの濃淡によって押印及び押印中の文字にかすれ及びつぶれが発生して、押印及び押印中の文字が劣化してしまうこと、並びに押印のインク及びプレ印刷部分のノイズが押印に混入してしまうこと等である。

また、押印中の文字がかすれたり、つぶれたりすることによって、帳票認識装置が押印中の文字を認識する精度が悪くなってしまう。

また、帳票認識装置が押印中の日付を認識する場合には、年月日を区別して、正確に認識する必要がある。ところが、帳票認識装置が年月日の区切り文字であるピリオドを認識することは、インクのかすれ及びノイズ等によって困難となる場合がある。例えば、かすれによって押印中の日付欄のピリオドが消失した場合、「０２１２７」となり、帳票認識装置は、「０２．１．２７」か「０２．１２．７」かを区別できない。また、かすれにより、数字の一部が欠けることによって、帳票認識装置は、文字を誤って認識してしまう場合もある。例えば、「７」の上部の横線がかすれによって消失している場合には、帳票認識装置は「１」と誤読してしまう場合がある。以上のように、帳票認識装置が誤って文字を認識することを防止するために、信頼度の低い文字の認識を棄却（不読）する必要がある。

また、従来の帳票認識技術（例えば、特許文献１）では、帳票内に存在する文字列を切り出すために縦横罫線を用いて矩形枠を探索する。しかし、押印の場合には、押印中の文字が存在する文字領域が矩形枠でない場合、押印が傾いている場合、押印とプレ印刷とが重なっている場合等があり、従来の帳票認識技術を押印の文字認識には適用できない。

また、従来の押印認識技術（例えば、特許文献２及び特許文献３）は、背景色との分離ができないため、押印とプレ印刷とが重なっている場合には、押印に存在する文字と背景とが重なり、文字の認識が困難となる。また、従来の押印認識技術では、押印の傾きを補正するために、ある方向に射影したヒストグラムを用いるため、押印がかすれている場合には、傾き補正の精度が悪くなってしまったり、種々の方向のヒストグラムを計算するために処理時間がかかるという問題がある。

また、領収印等の日付認識では、年を示す文字よりも、月及び日を示す文字をより正確に認識することが求められる。これは、応用上、数年前の帳票を混在して認識するケースよりも、同じ年の帳票を認識するケースの方が多いためである。

以上のように、本発明は、帳票内に存在する押印の文字を正確に認識する帳票認識装置を提供することを目的とする。

本発明の代表的な一例を示せば、帳票を光学的に走査することによって得られた帳票画像を取得するイメージ入力部と、前記イメージ入力部によって取得された帳票画像から押印画像を検出する押印画像検出部と、前記押印画像の輪郭の色を示す押印色とその他の色とを分離する背景色分離部と、前記背景色分離部によって前記押印色が前記その他の色と分離された前記押印画像の傾きを補正する傾き補正部と、前記傾き補正部によって傾きが補正された前記押印画像から文字列を探索し、前記探索された文字列を切り出す文字列探索部と、前記文字列探索部によって切り出された文字列から、前記文字列を構成する各文字を切り出す文字切出部と、前記文字切出部によって切り出された各文字を認識し、前記文字列を構成するすべての文字を認識した結果を示す文字認識結果を算出し、前記認識された各文字の信頼度を算出する文字認識部と、前記文字認識部によって算出された文字認識結果から、予め指定された文字列形式に適合する文字認識結果を選択し、前記選択された文字認識結果に対する信頼度を前記文字認識部によって算出された各文字の信頼度に基づいて算出する知識処理部と、前記知識処理部によって選択された文字認識結果と当該文字認識結果の信頼度とに基づいて、前記知識処理部によって選択された文字認識結果を棄却するか否かを判定する棄却判定部と、前記棄却判定部によって前記文字認識部による文字認識結果が棄却された場合に、押印画像の文字を再度認識させるか否かを判定するリトライ判定部と、を備えることを特徴とする。

本発明によれば、帳票内に存在する押印の文字を正確に認識できる。

本発明の第１の実施形態の帳票認識装置の構成図である。 本発明の第１の実施形態の帳票認識装置による帳票認識処理を実行する各モジュールを説明するための図である。 本発明の第１の実施形態の帳票画像データの説明図である。 本発明の第１の実施形態の二値画像データの説明図である。 本発明の第１の実施形態の輪郭画像データの説明図である。 本発明の第１の実施形態の輪郭追跡処理の説明図である。 本発明の第１の実施形態の輪郭追跡処理で交点を算出するために選択された黒画素点の説明図である。 本発明の第１の実施形態の丸印の輪郭の中心と半径とを算出する説明図である。 本発明の第１の実施形態の押印の日付区切り線の説明図である。 本発明の第１の実施形態の文字列探索部によって抽出された文字列の説明図である。 本発明の第１の実施形態の押印が傾き補正された状態の説明図である。 本発明の第２の実施形態の帳票認識装置による帳票認識処理を実行する各モジュールを説明するための図である。 本発明の第２の実施形態の押印認識用辞書の説明図である。 本発明の第２の実施形態の押印テンプレート生成部の押印テンプレート生成処理を実行するための各モジュールの説明図である。 従来の帳票認識処理の説明図である。

以下、本発明の実施形態を図１〜図１４を用いて説明する。

（第１の実施形態）
本発明の第１の実施形態を図１〜図１１を用いて説明する。

本発明の帳票（又は押印）認識装置は、入力された帳票画像から押印を検出し、検出された押印に存在する文字を認識し、文字認識結果によって帳票を分類する。押印が存在する帳票には、例えば、領収印が押印された公共料金等の払込帳票等がある。帳票認識装置が領収印を認識した場合には、例えば、領収印中の日付を認識し、料金払込の延滞の有無等によって帳票を分類する。

図１は、本発明の第１の実施形態の帳票認識装置の構成図である。

帳票認識装置１０１は、入力装置１０２、表示装置１０３、イメージ取得装置１０４、通信装置１０５、演算装置１０６、及び外部記憶装置１０７を備える。

入力装置１０２は、演算装置１０６が実行するプログラムを制御するためのコマンド、及び、帳票認識装置１０１に接続される外部機器を制御するためのコマンド等を入力するための装置である。入力装置１０２は、例えば、キーボード又はマウス等である。

表示装置１０３は、処理内容等を適宜表示するディスプレイ等である。

イメージ取得装置１０４は、スキャナ等のイメージ取得用の装置であり、帳票を光学的に走査することによって帳票画像を取得する。なお、取得した帳票画像等は、外部記憶装置１０７に記憶される。

通信装置１０５は、帳票認識装置１０１に接続される外部機器（例えば、ＰＣやサーバ等）とデータを通信する。通信装置１０５は、外部機器からユーザによって入力された実行コマンド、並びに画像及びテキスト等のデータを受信する。また、通信装置１０５は、帳票認識装置１０１での処理内容及び帳票認識装置１０１による帳票認識結果等を外部機器に送信する。

演算装置１０６は、ＣＰＵであり、帳票を認識する帳票認識処理等を実行する演算装置である。

外部記憶装置１０７は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びメモリ等の外部記憶装置である。外部記憶装置１０７には、帳票画像、押印画像、及び押印認識用辞書等の各種データが記憶される。また、外部記憶装置１０７には、演算装置１０６によって実行される処理の途中で生成されるデータ等が一時的に記憶される。

帳票認識装置１０１は、演算装置１０６及び外部記憶装置１０７を少なくとも備えていればよく、入力装置１０２、表示装置１０３、イメージ取得装置１０４、及び通信装置１０５を備えなくてもよい。

帳票認識装置１０１が入力装置１０２を備えない場合には、外部機器から通信装置１０５を介して指示されると処理が開始されるようにするか、予め指令された時刻になると自動的に処理が開始されるようにする。

帳票認識装置１０１が表示装置１０３を備えない場合には、帳票認識装置１０１による処理結果は通信装置１０５を介して外部機器に送信されるようにするか、外部記憶装置１０７に記憶されるようにする。

ある処理を実行するモジュールが他の処理を実行するモジュールへ処理結果を入力する場合には、あるモジュールが外部記憶装置１０７を介して処理結果を介して他のモジュールへ入力するようにしてもよい。具体的には、処理部１が処理結果を処理部２に出力し、処理部２に処理部１の処理結果が入力される場合、処理部１が処理結果を外部記憶装置１０７に出力し、外部記憶装置１０７が処理結果を記憶し、処理部２は外部記憶装置１０７に記憶された処理部１の処理結果を入力として取得する。

また、処理を実行するモジュールは、入力装置１０２を介してユーザによって適宜制御される。

図２は、本発明の第１の実施形態の帳票認識装置１０１による帳票認識処理を実行する各モジュールを説明するための図である。

帳票認識処理は、帳票に押印された押印領域の文字を認識する処理である。

帳票認識装置は、例えば、図３に示す帳票に押印の有無を検知し、押印が存在する場合には、押印中に書かれた文字（銀行名、日付等）を認識し、文字の認識結果によって帳票を分類したり、後に参照するために、認識結果とともに帳票イメージを記憶装置に保存しておくことである。例えば、領収印の日付を認識し、認識した日付と納付期限とを照合することで、延滞の有無を判断し、帳票を分類する目的に用いられる。

帳票認識装置１０１は、帳票認識処理を実行するためのモジュールとして、イメージ入力部２１１、押印検出部２１２、背景色分離部２１３、傾き補正部２１４、文字列探索部２１６、文字切出部２１７、文字認識部２１８、知識処理部２１９、棄却判定部２２０、リトライ判定部２２１、認識結果記録部２２２、及び帳票分類部２２３を備え、知識処理部２１９が参照するデータベースとして知識処理用辞書２０２、及び認識結果記録部２２２が認識結果を記録するための認識結果ＤＢ２０３を備える。

各モジュール及びデータベースについて説明する。

イメージ入力部２１１は、イメージ取得装置１０４によって帳票を光学的に走査することによって、帳票画像データを取得し、取得した帳票画像データを押印検出部２１２に出力する。ここでは、イメージ入力部２１１は図３に示す帳票画像データを取得したものとする。

図３は、本発明の第１の実施形態の帳票画像データの説明図である。

図３に示すように、本実施形態の帳票認識装置１０１に取り込まれる帳票は税金の領収書であり、右下部に押印がなされている。

図２に戻り、押印検出部２１２の説明をする。

押印検出部２１２は、イメージ入力部２１１から入力された帳票画像データ内に押印が存在するか否かを判定し、押印が存在する場合には、帳票画像データから押印領域を検出する。

具体的には、押印検出部２１２は、押印が存在する場合には、画像二値化処理、輪郭抽出処理、輪郭追跡処理、及び中心座標・半径推定処理を実行して、押印の形状、及び押印のサイズ（押印が丸印である場合は、押印領域の中心座標及び半径、押印が四角印である場合は、押印領域の縦横の長さ等）等を推定し、押印の外輪郭部分を検出して、背景色分離部２１３に処理を移す。

一方、押印検出部２１２は、押印が存在しない場合には、帳票の認識結果を認識結果ＤＢ２０３に記録し、帳票を分類し、次に読み取るべき帳票がある場合には、イメージ入力部２１１に処理を移す。

次に、
押印が存在すると判定された場合の押印検出部２１２の処理について説明する。

まず、画像二値化処理について説明する。

押印検出部２１２は、画像二値化処理では、イメージ入力部２１１から入力された帳票画像データを構成する画素のうち、所定の輝度値以上の画素を黒画素に変換し、所定の輝度値よりも小さい画素を白画素に変換することによって、帳票画像データを白画素と黒画素とから構成される二値画像データに変換する。

図３に示す帳票画像データに対して画像二値化処理が実行されることによって、図３に示す帳票画像データは、図４に示す二値画像データに変換される。

図４は、本発明の第１の実施形態の二値画像データの説明図である。

図４では、図３に示す帳票画像データを構成する画素のうち、所定の輝度値以上の画素が黒画素に変換され、所定の輝度値よりも小さい画素が白画素に変換されている。

図２に戻り、押印検出部２１２の輪郭抽出処理について説明する。

押印検出部２１２は、輪郭抽出処理では、画像二値化処理によって変換された二値画像データの黒画素から構成される黒領域の輪郭を抽出して、輪郭画像データを生成する。押印検出部２１２は、例えば、白画素から構成される白領域と黒画素から構成される黒領域との境界部分の画素を黒画素に変換し、その他の画素を白画素に変換することによって、黒画素から構成される輪郭画像データを生成する。換言すると、押印検出部２１２は、二値画像データの黒画素のうち、白画素に隣接する黒画素を黒画素のままとし、白画素に隣接しない黒画素を白画素に変換することによって、輪郭画像データを生成する。

図４に示す二値画像データに対して輪郭抽出処理が実行されることによって、図４に示す二値画像データから図５に示す輪郭画像データが生成される。

図５は、本発明の第１の実施形態の輪郭画像データの説明図である。

図５では、図４に示す二値画像データのうち、白領域と黒領域との境界部分の画素が黒画素に変換され、その他の画素が白の画素に変換されている。

なお、輪郭抽出処理では、輪郭の滑らかさに基づいて、直線及び円周以外を形成する輪郭以外を除去してもよい。

図２に戻り、押印検出部２１２の輪郭追跡処理について説明する。

押印検出部２１２は、輪郭追跡処理では、輪郭を追跡して、輪郭が円周である場合には当該円の中心座標を推定する処理である。

輪郭追跡処理の詳細について図６を用いて説明する。

図６は、本発明の第１の実施形態の輪郭追跡処理の説明図である。

まず、押印検出部２１２は、輪郭抽出処理で変換された輪郭画像データの黒画素点から一つの黒画素点Ｘ１を選択し、選択された黒画素点Ｘ１に他の黒画素点によって接続されているもう一つの黒画素点Ｘ３を選択する。そして、押印検出部２１２は、黒画素点Ｘ１及びＸ３を接続する黒画素点から一つの黒画素点Ｘ２を選択する。

次に、押印検出部２１２は、黒画素点Ｘ１と黒画素点Ｘ２とを接続する直線の垂直二等分線と、黒画素点Ｘ２と黒画素点Ｘ３とを接続する直線の垂直二等分線との交点Ｃを算出する。

ここで、交点Ｃが帳票内に存在しない場合には、黒画素点Ｘ１と黒画素点Ｘ３とを接続する線は直線であると判定する。一方、交点Ｃが帳票内に存在する場合、算出された交点Ｃの座標は、丸印の中心点の推定座標となる。

このようにして、輪郭追跡処理では、黒画素点Ｘ１、Ｘ２、及びＸ３からなるグループが輪郭画像データを構成する黒画素点からＮ（Ｎは自然数）個選択され、選択されたＮ個のグループのＮ個の交点Ｃ１、Ｃ２、…、ＣＮが算出される。これらの交点Ｃ１、Ｃ２、…、ＣＮの座標は、円の中心の推定座標となる。

図５に示す輪郭画像データに対して輪郭追跡処理が実行され、輪郭画像データからＮ個のグループを構成する黒画素点が選択された状態を図７に示す。

図７は、本発明の第１の実施形態の輪郭追跡処理で交点を算出するために選択された黒画素点の説明図である。

図７では、輪郭追跡処理で選択された黒画素点は、十字によって示される。

図２に戻り、押印検出部２１２の中心座標・半径推定処理について説明する。

押印検出部２１２は、中心座標・半径推定処理では、輪郭追跡処理で算出された交点Ｃ１、Ｃ２、…、ＣＮを用いて、丸印の中心座標と丸印の半径を推定する。

具体的には、押印検出部２１２は、輪郭追跡処理で算出された交点Ｃ１、Ｃ２、…、ＣＮのうち、互いに近接する位置に存在する交点の集合を選択し、選択された交点の集合の平均座標を円の中心座標とする。

また、押印検出部２１２は、算出された中心座標から、選択された交点の集合を構成する交点の算出に用いた黒画素点の座標までの距離の平均値を円の半径とする。

そして、押印検出部２１２は、中心座標・半径推定処理で算出された半径が所定の値よりも大きければ、当該半径から丸印を押印として検出する。

図８を用いて丸印の半径の算出方法について説明する。

図８は、本発明の第１の実施形態の丸印の輪郭の中心と半径とを算出する説明図である。

中心座標・半径処理で算出された中心座標を点Ｃとして示す。この点Ｃを算出するために用いた交点を算出に用いた黒画素点の座標をＸ１〜Ｘ２５として示す。

押印検出部２１２は、点ＣからＸ１〜Ｘ２５までの各距離を算出し、算出された距離の平均を丸印の半径として算出する。

以上によって、押印検出部２１２は、押印を検出することでき、押印の中心座標、及び押印のサイズ（半径）を算出できる。なお、押印の中心座標及び押印のサイズから、押印の輪郭及び帳票内での押印の位置を特定できる。

図２に戻り、背景色分離部２１３について説明する。

背景色分離部２１３は、押印色とその他の色（背景色）を分離することによって、押印領域を抽出する。

具体的には、背景色分離部２１３は、押印検出部２１２によって算出された押印の中心座標及び押印の半径に基づいて、イメージ入力部２１１から入力された帳票画像データ内での押印の輪郭位置を特定する。そして、背景色分離部２１３は、特定された押印の輪郭位置付近の色のうち、ピーク色から色空間において所定範囲内に存在する色を押印色として選択する。ピーク色は、押印画像に対して、色空間（例えば、ＲＧＢ、ＨＣＬ等）のヒストグラムを算出し、当該ヒストグラムのピークを示す色をピーク色とする。

押印の輪郭位置付近は、押印の輪郭位置から所定の距離以内に存在する画素を示す。当該所定の距離をｒ１とし、押印の外接矩形の縦の長さをＬ１とし、横の長さをＬ２とし、押印の外接矩形の縦の長さ及び横の長さのうち長い方の長さをＬ（Ｌ＝ｍａｘ｛Ｌ１、Ｌ２｝）とし、ｋを予め定められた１より小さい正の実数とすると、当該所定の距離はｒ１＝ｋＬとして表現される。

例えば、押印が円である場合には、押印の輪郭位置から所定の距離以内に存在する画素の座標は、丸印の中心位置をｃとし、丸印の半径をｒとすると、ｒ−ｒ１＜｜｜ｚ−ｃ｜｜＜ｒ＋ｒ１をとなる点zを座標に位置する画素となる。これによって、押印のサイズ（スケール）が違っていても、押印の輪郭位置から所定の距離以内に存在する画素を抽出できる。

次に、押印色について説明する。

押印の輪郭位置から所定の距離以内に存在する画素が有する色情報のピーク色をｐとして、ピーク色ｐに対する色空間における距離が予め設定された所定範囲内になるような色ｘを押印色として抽出する。ここで、押印色ｘとピーク色ｐとの色空間における距離Ｄ（ｘ、ｐ）とし、予め設定された所定範囲を示す値をｒ２とすると、Ｄ（ｘ、ｐ）≦ｒ２を満たすようなすべての色ｘが押印色として抽出される。色ａと色ｂとの色空間における距離Ｄ（ａ、ｂ）としては、例えば、ＲＧＢ色空間上のユークリッド距離、及びＨＣＬ空間上のＨＣＬ色距離等を用いてもよい。

押印色ｘとして抽出されていない画素の色を背景色とすることによって、押印色の画素を押印部とし、背景色の画素を背景部とし、押印色と背景色とが分離される。これによって、帳票に存在する押印が帳票のプレ印刷と重複していても、押印部を正確に検出できるようになる。

次に、傾き補正部２１４について説明する。

傾き補正部２１４は、背景色分離部２１３によって押印色が背景色と分離された押印画像の押印の傾きを補正する。

以下に、傾き補正部２１４による押印の傾き補正処理について説明する。

傾き補正部２１４は、押印中に存在する線分（図９に示す日付区切り線）を利用して押印の傾きを検出する。具体的には、傾き補正部２１４は、押印検出部２１２によって検出された押印の輪郭よりも内側（例えば、中心がｃ、半径がｒの円の場合には、｜｜ｚ−ｃ｜｜＜ｒとなるすべての画素ｚ）に存在する線分を検出し、傾き補正部２１４に設定されたｘ軸を基準として検出した線分の傾きを算出する。そして、傾き補正部２１４は算出された線分がｘ軸に一致するように、押印部全体を回転させることによって、押印の傾きを補正する。また、帳票内に存在する線分からｘ軸に対する傾き最も小さい線分を検出して、検出した線分を押印の傾き基準となる線分として利用してもよい。

また、押印中に複数の線分（日付区切り線）が存在する場合には、傾き補正部２１４は、まず、任意の一つの線分を選択し、選択された線分に基づいて押印部の傾きを補正する。そして、後述する棄却判定部２２０によって文字認識が棄却された場合には、リトライ判定部２２１が、傾き補正部２１４が未だ選択されていない他の線分を選択し、選択された線分に基づいて押印の傾きを補正するようにしてもよい。

なお、傾き補正部２１４は、押印検出部２１２の輪郭追跡処理で用いた輪郭追跡方法を用いてもよい。

図９は、本発明の第１の実施形態の押印の日付区切り線の説明図である。

図９に示すように、日付を示す文字列「20.5.31」の上側には第１日付区切り線９０１が存在し、下側には第２日付区切り線９０２が存在している。

以上のように、押印中に存在する線分から押印の傾きを検出して、当該傾きをある基準線に一致させるように補正するので、帳票に傾いた押印がされていても、当該傾きを補正して押印部を抽出することができる。このため、押印中の文字認識を正確に行うことができる。さらに、押印中の線分を用いて傾きを検出するため、罫線をある方向に射影したヒストグラムを用いて傾き補正する特許文献２及び３に記載された発明よりも、処理時間を短縮できる。

図２に戻り、文字列探索部２１６について説明する。

文字列探索部２１６は、傾き補正部２１４によって傾きが補正された押印から、第１日付区切り線９０１、第２日付区切り線９０２、及び押印の輪郭に基づいて、文字が存在する領域である文字領域を特定し、特定された文字領域から文字列を探索し、探索された文字列を抽出する。ここでは、図１０に示す文字列が抽出されたものとする。

図１０は、本発明の第１の実施形態の文字列探索部２１６によって抽出された文字列の説明図である。

文字列探索部２１６によって、「２０．５．３１」からなる文字列が抽出される。ここで、「２」の文字は斜線とともに抽出されている。これは、図３に示す帳票画像データで押印とプレ印刷とが重なっていることに起因している。

図２に戻り、文字切出部２１７について説明する。文字列探索部２１６によって抽出された文字列から各文字を切り出す。

具体的には、文字切出部２１７は、例えば、黒画素と黒画素とを連結する成分を算出し、算出された成分を文字として切り出す。

なお、押印に存在する文字は、押印時のインクの滲みが原因で、別々の文字が連結してしまう場合もある。このため、文字切出部２１７は、黒画素と黒画素とを連結する成分の輪郭の滑らかさを用いて連結成分を分離することによって、インクの滲み等が原因で連結してしまった複数の文字を異なる文字として切り出してもよい。

文字認識部２１８は、文字切出部２１７によって切り出された個々の文字を認識し、文字列探索部２１６によって抽出された文字列を構成するすべての文字を認識した結果である複数の文字認識結果を算出する。

なお、単一文字の認識方法には様々な公知の方法が存在し、これらの認識方法から文字認識部２１８で用いる認識方法を選択して、選択した認識方法を用いることができる。

さらに、文字認識部２１８は、認識した個々の文字に対する信頼度を算出する。

知識処理部２１９は、文字認識部２１８によって算出された複数の文字認識結果のうち、帳票認識装置１０１に予め設定された辞書に登録された形式に合致する文字認識結果を選択する。なお、帳票認識装置１０１に予め設定された辞書とは、図２に示す知識処理用辞書２０２に記録されている辞書である。

棄却判定部２２０は、知識処理部２１９によって選択された各文字認識結果に対して信頼度を算出し、算出された信頼度に基づいて知識処理部２１９によって選択された文字認識結果を棄却するか否かを判定する。

各文字認識結果に対して信頼度を算出する処理について説明する。

例えば、知識処理部２１９によって選択された文字認識結果のＬ個の文字を含む文字列を構成する個々の文字の認識結果の信頼度がＸ１、Ｘ２、…、ＸＬである場合に、棄却判定部２２０は、当該文字認識結果の信頼度（Ｘ）をＸ＝（Ｘ１＋…＋ＸＬ）／Ｌによって算出する。

そして、棄却判定部２２０は、当該文字認識結果の信頼度が予め設定された閾値よりも小さい場合には、当該文字認識結果の信頼度が低いと判断し、当該一の文字認識結果を棄却する。

また、棄却判定部２２０は、各文字の認識結果の信頼度に対して重み付けをして、文字認識結果の信頼度を算出してもよい。

具体的には、棄却判定部２２０は、Ｌ個の個々の文字の認識結果の重みをａ１、ａ２、…、ａＬ（ａ１＋…＋ａＬ＝１）とし、一の文字認識結果の信頼度（Ｘ）をＸ＝（ａ１・Ｘ１＋…＋ａＬ・ＸＬ）／Ｌとしてもよい。

例えば、棄却判定部２２０は、知識処理部２１９によって選択された文字認識結果が年月日を示す文字列を示す場合には、「日」に対応する文字、「月」に対応する文字、及び「年」に対応する文字の順に重みが小さくなるようにしてもよい。つまり、「年」に対応する文字の信頼度の重み付けを最も低くし、次いで「月」に対応する文字の信頼度の重み付けを低くし、「日」に対応する文字の信頼度の重み付けを最も高くする。これによって、ユーザにとって重要となる文字の認識に高い信頼度を要求するように設計できる。

以上によって、棄却判定部２２０は、信頼度が閾値よりも小さい文字認識結果を棄却するため、例えば、かすれによって押印中の日付欄のピリオドが消失した場合、及び、かすれにより数字の一部が欠けた場合の文字認識結果の信頼度は通常の文字認識結果よりも低くなるため、このような場合の文字認識結果を棄却することができる。これによって、帳票認識装置１０１の文字の誤認識を防止することができる。

リトライ判定部２２１は、再度文字列探索部２１６まで処理を移行させ、文字認識を再度実行（リトライ）するか、処理を終了するかを判定する。リトライ判定部２２１は、例えば、知識処理部２１９によって選択されたすべての文字認識結果が棄却判定部２２０によって棄却された場合に、リトライすると判定する。

リトライ判定部２２１によってリトライすると判定された場合には、リトライ判定部２２１が、押印の傾きを再度補正する場合がある。

具体的には、押印に複数の線分（日付区切り線）が存在する場合、及び押印が反転している場合等である。押印に複数の線分が存在する場合のリトライ判定部２２１の処理については、傾き補正部２１４で説明したので、説明を省略する。

押印が反転している場合のリトライ判定部２２１の処理について説明する。

傾き補正部２１４によって押印の傾きが補正されても、補正後の押印が図１１に示すように傾き補正後の押印が反転している場合がある。図１１は、本発明の第１の実施形態の押印が傾き補正された状態の説明図である。リトライ判定部２２１は、当該傾き補正後の押印を１８０度回転させてから、文字列探索部２１６へ処理を移行する。

押印が反転しているか否かの判定については、リトライ判定部２２１は、例えば、知識処理部２１９によって選択された文字認識結果の信頼度の平均値が予め設定された閾値よりも小さい場合に、押印が反転していると判定する。

認識結果記録部２２２は、知識処理部２１９によって選択された文字認識結果が棄却された場合であっても、棄却されなかった場合であっても、当該文字認識結果を含む帳票の認識結果を認識結果データベース（ＤＢ）２０３へ記録する。

認識結果ＤＢ２０３に記録される帳票の認識結果には、帳票画像データ、押印画像データ、傾き補正後の押印画像データ、及び押印情報等を含む情報が含まれてもよい。押印情報は、押印形状（押印輪郭）、押印サイズ、押印中の文字列位置及び文字列情報、文字列中の文字位置、文字の大きさ、並びに押印色等を含む。

なお、認識結果ＤＢ２０３に登録された情報は、押印中の文字列情報（銀行名、及び日付等）をキーにした検索に用いられてもよい。

帳票分類部２２３は、押印中の文字認識の結果に基づいて、帳票を分類する。例えば、帳票分類部２２３は、銀行名ごとに分類してもよいし、また、押印が領収印である場合には、支払い期限当日以前に押印された帳票と支払い期限翌日以降に押印された帳票とで分類してもよい。

以上のように、本実施形態の帳票認識装置１０１は、背景色分離部２１３を備えるので、押印色と背景色とを分離し、押印色近傍の色を有する画素を押印部の輪郭として抽出するため、押印がプレ印刷等と重なっていても、押印部の輪郭を正確に抽出できる。

また、本実施形態の帳票認識装置１０１は、傾き補正部２１４を備えるので、押印が傾いている場合には、当該押印の傾き補正してから押印中の文字を認識するため、押印が傾いている場合であっても、押印中の文字を正確に認識できる。

また、本実施形態の傾き補正部２１４は、押印の傾き補正に押印中の線分（日付区切り線）を用いるため、罫線をある方向に射影したヒストグラムを用いて傾き補正する特許文献２及び３に記載された発明よりも、処理時間を短縮できる。さらに、本実施形態は、日付区切り線は輪郭追跡処理によって抽出されるので、日付区切り線がプレ印刷と重なっている場合であっても、日付区切り線がかすれている場合であっても、日付区切り線を正確に抽出できる。

また、本実施形態の帳票認識装置１０１は、棄却判定部２２０を備えるので、文字認識がなされた文字列の信頼度が所定の閾値よりも小さい場合には、当該文字列を棄却するので、帳票認識装置１０１の文字の誤認識を防止できる。

さらに、棄却判定部２２０は、文字認識がなされた文字列の信頼度を各文字に重み付けをして算出する場合に、「年」に対応する文字の信頼度の重み付けを最も低くし、次いで「月」に対応する文字の信頼度の重み付けを低くし、「日」に対応する文字の信頼度の重み付けを最も高くする。これによって、帳票認識装置１０１の認識対象となる帳票に、押印の年が異なる帳票が混在するケースはまれであるため、「月」及び「日」の文字認識の信頼度を、「年」の文字認識の信頼度よりも高くすることによって、帳票認識装置１０１が「月」及び「日」の文字を誤って認識してしまうことを防止できる。

（第２の実施形態）
次に、本発明の第２の実施形態を図１２〜図１４を用いて説明する。

本発明の第２の実施形態の帳票認識装置１０１は、図１３に示す押印認識用辞書３０１を参照して帳票に存在する押印の種別を特定し、押印認識用辞書３０１に登録された押印の種別に対応する情報を参照して、帳票に存在する押印の文字を認識する。

これによって、押印中の文字列、文字列の意味（日付、及び銀行名等）、文字列の位置、文字の位置、及び文字大きさは、押印種ごとに決まっているため、押印の種別を特定することによって、文字の位置が決まり、文字列探索部３１６及び文字切出部３１７がこれらの情報を用いることによって、文字を誤って切り出すること、及び文字を誤って認識することを低減できる。

本発明の第２実施形態の帳票認識装置１０１によって実行される処理は、帳票に存在する押印を認識する認識フェーズ（帳票認識処理）と、押印を認識するために参照する押印認識用辞書３０１を生成する学習フェーズ（押印認識用辞書生成処理）とによって構成される。

認識フェーズでは、帳票認識装置１０１は、帳票に存在する押印を次々と認識し、押印に基づいて帳票を分類する。帳票認識装置１０１は、認識フェーズで、押印認識用辞書３０１を参照する場合もある。学習フェーズでは、帳票認識装置１０１は、認識結果ＤＢ２０３に記録された認識結果、又はユーザによって入力された定義に基づいて、押印認識用辞書３０１を生成する。

認識フェーズを実行するためのモジュール及びデータベースを図１２に示し、学習フェーズを実行するためのモジュール及びデータベースを図１４に示す。

本実施形態では、認識フェーズの処理を実行する装置（認識装置）と学習フェーズの処理を実行する装置（押印認識用辞書生成装置）とは帳票認識装置１０１によって実行されるものとするが、別々の装置によって実行されてもよい。認識フェーズの処理と学習フェーズの処理とが別々の装置によって実行される場合、認識フェーズの処理を実行する認識装置は図１２に示すモジュールを備え、押印認識用辞書生成装置によって生成された押印認識用辞書を用いて、入力帳票に存在する押印を認識する。学習フェーズの処理を実行する押印認識用辞書生成装置は図１４に示すモジュールを備え、認識結果ＤＢ２０３に記録されている認識結果、及びユーザによって入力された定義に基づいて、押印認識用辞書３０１を生成する。各モジュールの処理は、演算装置１０６によって実行される。

図１２は、本発明の第２の実施形態の帳票認識装置１０１による帳票認識処理を実行する各モジュールを説明するための図である。図１２に示すモジュールのうち本発明の第１の実施形態と同じモジュールは同じ番号を付与し、説明を省略する。

本実施形態の帳票認識装置１０１は、イメージ入力部２１１、押印検出部２１２、背景色分離部２１３、傾き補正部２１４、辞書利用判定部３１５、文字列探索部３１６、文字切出部３１７、文字認識部３１８、知識処理部３１９、棄却判定部３２０、リトライ判定部３２１、認識結果記録部２２２、帳票分類部２２３、押印種特定部３３１、及び押印劣化判定部３３２を備え、知識処理部２１９が参照するデータベースとして知識処理用辞書２０２、認識結果記録部２２２が認識結果を記録するための認識結果ＤＢ２０３、及び押印種特定部３３１が参照するデータベースとして押印認識用辞書３０１を備える。

各モジュール及び各データベースについて説明する。なお、図１２に示すモジュール及びデータベースのうち本発明の第１の実施形態と同じモジュール及びデータベースは同じ番号を付与し、説明を省略する。

辞書利用判定部３１５は、押印認識用辞書３０１を用いて文字を認識するか否かを判定する。辞書利用判定部３１５によって押印認識用辞書３０１を用いて文字を認識すると判定された場合には、押印種特定部３３１に処理を移行する。辞書利用判定部３１５によって押印認識用辞書３０１を用いて文字を認識すると判定された場合には、文字列探索部３１６に処理を移行する。なお、押印認識用辞書３０１は、図１３で詳細を説明する。

辞書利用判定部３１５の判定処理は、例えば、帳票認識装置１０１が導入されてから帳票認識処理が所定回数実行されるまで、押印認識用辞書を用いないで文字を認識すると判定し、帳票認識処理が所定回数実行されると押印認識用辞書を用いて文字を認識すると判定してもよい。これによって、押印認識用辞書３０１に登録された押印情報が所定数になると、押印認識用辞書３０１を用いて文字を認識するので、押印に存在する文字列の文字を正確に認識できる。

また、辞書利用判定部３１５の判定処理は、一回目の文字認識は押印認識用辞書３０１を用いないで文字を認識すると判定し、文字認識が二回目以降となった場合、つまりリトライ判定部３２１によって再度文字を認識すると判定された場合には、押印認識用辞書３０１を用いて文字を認識すると判定するようにしてもよい。

辞書利用判定部３１５によって押印認識用辞書３０１を用いないで文字を認識すると判定された場合の文字列探索部３１６の処理は、第１の実施形態の文字列探索部２１６の処理と同じであるので、説明を省略する。

辞書利用判定部３１５によって押印認識用辞書３０１を用いて文字を認識すると判定された場合には、文字列探索部３１６は、押印認識用辞書３０１に登録された押印情報のうち押印種特定部３３１によって特定された押印種別の押印文字列位置１３０５（図１３参照）に登録された座標を参照して、帳票に存在する文字列を抽出する。

辞書利用判定部３１５によって押印認識用辞書３０１を用いないで文字を認識すると判定された場合の文字切出部３１７の処理は、第１の実施形態の文字切出部２１７の処理と同じであるので、説明を省略する。

辞書利用判定部３１５によって押印認識用辞書３０１を用いて文字を認識すると判定された場合には、文字切出部３１７は、押印認識用辞書３０１に登録された押印情報のうち押印種特定部３３１によって特定された押印種別の個々の文字位置１３０７（図１３参照）に登録された座標を参照して、文字を切り出す。

辞書利用判定部３１５によって押印認識用辞書３０１を用いないで文字を認識すると判定された場合の文字認識部３１８の処理は、第１の実施形態の文字認識部２１８の処理と同じであるので、説明を省略する。

辞書利用判定部３１５によって押印認識用辞書３０１を用いて文字を認識すると判定された場合には、文字認識部３１８は、押印劣化判定部３３２によって算出された押印の劣化度（かすれ度及びつぶれ度）に応じて、文字認識処理方法を切り替える。

文字認識部３１８は、例えば、押印のかすれ度が大きい場合には、かすれ文字を学習した文字認識方法を用いて文字を認識し、押印のつぶれ度が大きい場合には、つぶれ文字を学習した文字認識方法を用いて文字を認識することによって、押印による文字の劣化に適した文字認識方法を用いることができ、文字認識の精度を向上できる。

辞書利用判定部３１５によって押印認識用辞書３０１を用いないで文字を認識すると判定された場合の知識処理部３１９の処理は、第１の実施形態の知識処理部２１９の処理と同じであるので、説明を省略する。

辞書利用判定部３１５によって押印認識用辞書３０１を用いて文字を認識すると判定された場合には、知識処理部３１９は、文字認識結果の形式と、押印認識用辞書３０１に登録された押印情報のうち押印種特定部３３１によって特定された押印種別の押印文字列形式１３０６に登録されている形式とが一致する文字認識結果を選択する。

リトライ判定部３２１は、本発明の第１の実施形態のリトライ判定部２２１によって実行される処理の他に、辞書利用判定部３１５によって押印認識用辞書３０１を用いないで文字を認識すると判定された場合の文字認識がリトライと判定されると、押印認識用辞書３０１を用いて再度文字を認識するようにしてもよい。

押印種特定部３３１は、押印認識用辞書３０１に登録された押印情報を用いて、押印の種類を特定する。

まず、押印認識用辞書３０１を図１３を用いて説明する。

図１３は、本発明の第２の実施形態の押印認識用辞書３０１の説明図である。

押印認識用辞書３０１は、押印ＩＤ１３０１、押印テンプレート画像１３０２、押印形状１３０３、押印サイズ１３０４、押印文字列位置１３０５、押印文字列形式１３０６、個々の文字位置１３０７、及び押印色１３０８を含む。

押印ＩＤ１３０１には、押印の種別の一意な識別子が登録される。押印テンプレート画像１３０２には、押印の種別ごとのテンプレート画像が登録される。押印テンプレート画像１３０２に登録されるテンプレート画像は、二値画像又は多値画像（グレー画像）である。

押印形状１３０３には、押印の種別ごとに押印の形状が円であるか、長方形であるか、楕円であるか等が登録される。押印サイズ１３０４には、押印の形状が円である場合には半径が登録され、押印の形状が長方形である場合には縦の長さ及び横の長さが登録され、押印が楕円である場合には短径及び長径が登録される。

押印文字列位置１３０５には、押印に存在する文字列の種類ごとに文字列が押印中に存在する座標が登録される。文字列の種類には、例えば、年月日を示す文字列の種類と銀行の支店名を示す文字列の種類とがある。押印文字列位置１３０５には、例えば、押印の外接矩形の左下の角の座標を基準にした文字列が存在する座標が登録される。

押印文字列形式１３０６には、同じ種類の押印に存在する文字列の種類ごとの文字列の形式が登録される。例えば、年月日を示す文字列の種類の押印文字列形式１３０６には、ＹＹＭＭＤＤが登録される。ＹＹＭＭＤＤは、６桁の数字から構成される文字列であることを示し、ＹＹは年を表し００〜９９の数字からなり、ＭＭは月を表し０１〜１２の数字からなり、ＤＤは日を表し０１〜３１の数字からなる。また、支店名を示す文字列の種類の押印文字列形式１３０６には、ＸＸ支店が登録される。

個々の文字位置１３０７には、同じ種類の押印に存在する文字列を構成する各文字の位置を示す座標が登録される。年月日を示す文字列の種類の個々の文字位置１３０７には、年を示す個々の文字の位置の座標、月を示す個々の文字の位置の座標、及び日を示す個々の文字の位置の座標が登録される。なお、個々の文字位置１３０７には、押印文字列位置１３０５と同じく、例えば、押印の外接矩形の左下の角の座標を基準にした文字列が存在する座標が登録される。

押印色１３０８には、同じ種類の押印の押印色が登録される。押印色は背景色分離部２１３によって抽出される。

図１２に戻り、押印種特定部３３１を説明する。

押印種特定部３３１は、傾き補正部２１４によって生成された傾き補正後の押印画像と押印認識用辞書３０１の押印テンプレート画像１３０２とを比較することによって、押印画像の種別を特定する。

押印画像の種別特定処理について説明する。

まず、押印種特定部３３１は、押印認識用辞書３０１に登録された押印種別のうち、押印形状１３０３に登録された形状と押印検出部２１２によって検出された押印画像の形状と一致するエントリを選択する。そして、押印種特定部３１３は、選択されたエントリの押印サイズ１３０４に登録されたサイズと押印検出部２１２によって検出された押印画像のサイズとの差が所定の閾値以下であるエントリの押印テンプレート画像１３０２に登録されたテンプレート画像を選択する。押印種特定部３３１は、選択されたテンプレート画像と押印画像とを比較する。

次に、押印種特定部３３１は、押印画像の中心とテンプレート画像の中心とを合わせてどちらの画像の輪郭が大きいかを判定する。押印種特定部３３１は、輪郭が大きいと判定された方の画像に余白等を追加し、両方の画像の輪郭が一致するようにする。

そして、押印種特定部３３１は、押印画像ｐとテンプレート画像ｑとを、関数Ｋ（ｐ，ｑ）を用いて比較する。以下、押印画像及びテンプレート画像は、二値画像又はグレー画像であるものとし、黒画素が１、白画素が０となるように正規化されているものとする。また、画像位置ｘに位置する押印画像ｐの画素値をｐ（ｘ）とし、テンプレート画像の画素ｑの画素値をｑ（ｘ）とする。

以下に、押印画像ｐとテンプレート画像ｑとを比較するために用いられる関数の例を説明する。

押印画像ｐとテンプレート画像ｑとの比較に用いられる関数には、ｆ（ａ、ｂ）を｜ａ−ｂ｜の値に応じて広義単調増加する関数である数式１に示すＫ（ｐ，ｑ）がある。数式１では、全画素にわたって和が算出される。

本実施形態の押印種特定部３３１は、広義単調増加する関数として、例えば、数式２〜数式５に示す関数を用いることができる。

まず、数式２及び数式３について説明する。

数式１に示す関数では、押印画像ｐの画素値ｐ（ｘ）とテンプレート画像ｑとの画素値ｑ（ｘ）との差の絶対値の和がすべての画素位置に対して算出される。

数式３に示す関数では、押印画像ｐの画素値ｐ（ｘ）とテンプレート画像ｑとの画素値ｑ（ｘ）との差の絶対値を二乗した値の和がすべての画素位置に対して算出される。

数式２及び数式３に示す関数では、押印画像ｐの画素値ｐ（ｘ）とテンプレート画像ｑの画素値ｑ（ｘ）との違いが大きいほど、Ｋ（ｐ，ｑ）の値が大きくなる。このため、押印種特定部３３１は、押印画像ｐとテンプレート画像ｑとの比較に数式２又は数式３に示す関数を用いた場合には、Ｋ（ｐ，ｑ）の値が最小となるテンプレート画像ｑを押印種別を示す画像として特定する。

次に、数式４及び数式５について説明する。

数式４に示す関数では、押印画像ｐの画素値ｐ（ｘ）がテンプレート画像ｑの画素値ｑ（ｘ）よりも大きくなる画素に対してのみ演算する。また、数式５に示す関数では、テンプレート画像ｑの画素値ｑ（ｘ）が０よりも大きく、かつ押印画像ｐの画素値ｐ（ｘ）が０よりも大きい画素に対してのみ演算する。

数式４及び数式５に示す関数は、Ｋ（ｐ，ｑ）とＫ（ｑ，ｐ）とが異なる非対称関数である。なお、数式２及び数式３に示す関数は、Ｋ（ｐ，ｑ）とＫ（ｑ，ｐ）とが同じになる対称関数である。

数式４及び数式５に示す関数では、テンプレート画像ｑと比較して押印画像ｐがつぶれているほど、換言すると、押印画像ｐと比較してテンプレート画像ｑがかすれているほど、Ｋ（ｐ，ｑ）の値が大きくなる。つまり、押印画像ｐで黒に近い画素がテンプレート画像ｑよりも多いほど、Ｋ（ｐ，ｑ）の値が大きくなる。数式４において、押印画像ｐと比較してテンプレート画像ｑがかすれているほどＫ（ｐ，ｑ）の値が大きくなるのは、ｐ＞ｑとなるような画素に対してのみ演算しているからである。

また、数式５において、押印画像ｐと比較してテンプレート画像ｑがかすれているほどＫ（ｐ，ｑ）の値が大きくなるのは、ｌｏｇ（ｑ（ｘ）／ｐ（ｘ））が、ｐ（ｘ）＞ｑ（ｘ）のときに値が正となり、数式５の和の中のｌｏｇ（（ｑ（ｘ）＋ε）／ｐ（ｘ））は、ｑ（ｘ）＝０となるときにも演算できるように、正の実数ε＞０でｌｏｇ（ｑ（ｘ）／ｐ（ｘ））を、補正したものだからである。

テンプレート画像ｑが示す押印の種別が押印画像ｐの押印の種別と同じである場合には、テンプレート画像ｑを基準とした押印画像ｐのつぶれ度がＫ（ｐ，ｑ）によって算出でき、テンプレート画像ｑを基準とした押印画像ｐのかすれ度がＫ（ｑ，ｐ）によって算出できる。

なお、Ｋ（ｐ，ｑ）がテンプレート画像ｑを基準とした押印画像ｐのかすれ度を示し、Ｋ（ｑ，ｐ）がテンプレート画像ｑを基準とした押印画像ｐのつぶれ度を示すようにすることもできる。具体的には、数式４では、押印画像ｐの画素値ｐ（ｘ）がテンプレート画像ｑの画素値ｑ（ｘ）よりも大きくなる画素に対してのみ演算しているが、テンプレート画像ｑの画素値ｑ（ｘ）が押印画像ｐの画素値ｐ（ｘ）よりも大きくなる画素に対してのみ演算するようにすればよい。また、数式５では、押印画像ｐの画素値ｐ（ｘ）がｐ（ｘ）＞０となる画素に対してのみ演算しているが、数式５において、ｐとｑを入れ替え、ｑ（ｘ）＞０となるような画素に対してのみ、演算するようにすればよい。

ここで、押印種特定部３３１は、数式４又は数式５に示す関数を用いて押印画像ｐの押印種別を特定する場合には、α及びβを定数として、αＫ（ｐ，ｑ）＋βＫ（ｑ，ｐ）の値が最小となるテンプレート画像ｑを押印種別を示す画像として特定する。

次に、押印劣化判定部３３２について説明する。

押印劣化判定部３３２は、押印画像ｐと、当該押印画像ｐに対応する押印種別のテンプレート画像ｑとを比較することによって、押印画像ｐの劣化度を判定し、押印画像ｐの劣化度に対応する文字認識方法を選択して、文字列探索部３１６へ処理を移行する。なお、押印劣化判定部３３２は、押印画像ｐの劣化度が所定値以上である場合には、当該押印画像の文字を認識しないように、文字列探索部３１６へ処理を移行させないようにしてもよい。

押印劣化判定部３３２は、押印画像ｐの劣化度の判定には、数式１〜５を用いてもよい。例えば、数式２及び数式３に示す関数を用いてもよい。この場合、押印劣化判定部３３２は、数式２及び数式３に示す関数のＫ（ｐ，ｑ）の値が大きいほど、押印画像ｐの劣化が大きいものと判定する。

また、押印劣化判定部３３２は、数式４及び数式５に示す関数（Ｋ（ｐ，ｑ）及びＫ（ｑ，ｐ））を用いて、押印画像ｐのつぶれ度及びかすれ度を劣化度として判定してもよい。数式４及び数式５に示す関数を用いた場合には、押印劣化判定部３３２は、Ｋ（ｐ，ｑ）の値が大きければ押印画像ｐのつぶれによる劣化度が大きいと判定し、つぶれが大きい場合の文字認識方法を選択する。一方、Ｋ（ｑ，ｐ）の値が大きければ押印画像ｐのかすれによる劣化度が大きいと判定し、かすれが大きい場合の文字認識方法を選択する。

以上によって、本実施形態では、押印認識用辞書３０１に登録された文字の位置情報のうち、認識する押印と同じ種類の文字の位置情報を用いて、認識する押印に存在する文字を認識する。押印の種類ごとに、当該押印に存在する文字の位置等は決まっているので、帳票認識装置１０１は正確に文字認識を行うことができる。例えば、日付の年、月、日の位置は印鑑のベルト位置によって決まっているため、日付区切り点であるピリオドが消失している場合であっても、帳票認識装置１０１は正確に年月日を認識できる。

また、本実施形態では、押印画像と当該押印画像と同じ種類の押印テンプレート画像とを比較することによって、押印画像の劣化度を判定する。このため、押印画像の劣化度が所定値よりも大きい場合には、押印中の文字認識をさせないようにすることによって、押印画像がかすれ又はつぶれによる劣化がひどく、文字の全部又は一部が欠落している場合の誤認識を低減できる。また、本実施形態では、押印画像の劣化度に応じて文字認識の処理方法を変更する。これによって、押印画像の劣化度合に適した文字認識処理を選択することができるため、文字認識の精度を向上させることができる。

次に、学習フェーズについて説明する。

図１４は、本発明の第２の実施形態の押印テンプレート生成処理を実行する各モジュールを説明するための図である。

押印テンプレート生成処理は、帳票認識処理を実行する帳票認識装置１０１と異なる装置によって実行されてもよいが、ここでは帳票認識装置１０１によって実行されるものとする。

帳票認識装置１０１は、押印テンプレート生成処理を実行するためのモジュール及びデータベースとして、押印テンプレート生成部４０１、ユーザ押印登録部４０２、押印認識用辞書２０１、及び認識結果ＤＢ２０３を備える。

押印テンプレート生成処理では、帳票認識処理における押印種特定部３３１による押印画像の押印の種別の特定処理、文字列探索部３１６による押印中の文字列の位置の特定処理、文字切出部３１７による押印中の文字の各文字の位置の特定処理、及び押印劣化判定部３３２による劣化度の判定処理等で用いられる押印認識用辞書３０１が生成される。

帳票認識装置１０１は、ユーザによって直接入力された各種情報を押印認識用辞書３０１に登録するユーザ押印登録部４０２、及び帳票認識処理で認識結果ＤＢ２０３に記憶された認識結果を押印認識用辞書３０１に登録する押印テンプレート生成部４０１を備える。

押印テンプレート生成部４０１は、認識結果ＤＢ２０３に記憶された情報等に基づいて帳票を押印の種類ごとに分類する。そして、押印テンプレート生成部４０１は、分類された押印の種類ごとに押印テンプレート画像を生成し、生成された押印テンプレート画像を押印情報（押印の形状、サイズ、及び押印色等）とともに押印認識用辞書３０１に登録する。この押印テンプレート生成部４０１の処理は、押印分類処理、押印テンプレート生成処理、及び押印情報登録処理に分けられる。

まず、押印テンプレート生成部４０１の押印分類処理について説明する。

押印分類処理では、押印テンプレート生成部４０１は、認識結果ＤＢ２０３に記憶された押印画像を、形状、文字認識結果、文字位置、及びサイズ等に基づいて、一つ又は複数の種類に分類する。なお、押印テンプレート生成部４０１は、文字の認識に失敗している押印画像は分類の対象としなくてもよい。

また、押印分類処理では、押印のうち日付等の文字列は、印鑑に備わるベルトを回転させること等によって変更されるため、押印のうち変更されない文字列（「出納済」、及び「領収」等の文字列）を対象として押印画像を分類する。ただし、変更可能な文字列であっても、変更可能な文字列を構成する文字の位置、及び当該文字の大きさについては不変であるので、押印テンプレート生成部４０１は、文字の位置、及び当該文字の大きさは取得する。

ここで、押印テンプレート生成部４０１の押印分類処理を具体的に説明する。

まず、押印テンプレート生成部４０１は、認識結果ＤＢ２０３に記憶された押印画像から一つの押印画像を分類対象押印画像として選択し、選択された押印画像と同じ形状の押印画像のうち不変の文字列が選択された押印画像と一致する押印画像を種類押印画像として選択する。

次に、押印テンプレート生成部４０１は、種類押印画像のうち、分類対象押印画像のサイズと種類押印画像のサイズとがユーザによって指定された閾値ｈ１よりも小さく、かつ、分類対象押印画像の文字位置と種類押印画像の文字位置とがユーザによって指定された閾値ｈ２よりも小さい押印画像を同一種押印画像として選択する。ただし、両者の文字位置のうち、日付を示す文字列を構成する各文字の文字位置の縦方向のずれは、文字位置の違いとして考慮しない。これは、日付を示す文字列を構成する各文字は、印鑑のベルトの回転によって変更されるものが多く、縦方向のずれは同じ印鑑であっても生じるからである。

次に、押印テンプレート生成部４０１の押印テンプレート生成処理について説明する。

押印テンプレート生成処理では、押印テンプレート生成部４０１は、押印分類処理で選択された分類対象押印画像と同一種押印画像との間で、中心位置及び輪郭位置のずれがユーザによって指定された閾値ｈ３よりも小さくなるように、両者の画像サイズを適合させる。具体的には、押印テンプレート生成部４０１は、両者の押印画像の中心位置を合わせて、輪郭が小さい方の押印画像に余白を追加することによって、両者の画像サイズを適合させる。

さらに、押印テンプレート生成部４０１は、両者の押印画像から日付などの可変文字列を取り除く。認識結果ＤＢ２０３には両者の押印画像中の文字位置が登録されているので、押印テンプレート生成部４０１は、認識結果ＤＢ２０３を参照して、両者の押印画像中の可変文字列の文字位置を特定し、特定した文字位置の画素を白画素に変換する。

次に、押印テンプレート生成部４０１は、両者の押印画像を二値化画像に変換する。具体的には、押印テンプレート生成部４０１は、両者の押印画像を構成する画素のうち輝度値がユーザによって指定された閾値ｈ４以上の画素を黒画素に変換し、輝度値がユーザによって指定された閾値ｈ４より小さい画素を白画素に変換する。

次に、押印テンプレート生成部４０１は、二値化画像に変換された両者の押印画像から一つの２５５階調のグレー画像を生成し、生成したグレー画像を押印テンプレート画像とする。

押印テンプレート生成部４０１のグレー画像を生成する処理について説明する。

ここで、同一種押印画像としてＮ−１個の押印画像が選択されていて、分類対象押印画は１個であるため、両者の押印画像の個数はＮ個であるものとする。また、二値化画像に変換された両者の押印画像のうち任意の一の押印画像ｉの画像位置ｘにおける画素値（黒は１、白は０等とする）をｐｉ（ｘ）とする。

グレー画像の画像位置ｘの画素値ｐ（ｘ）は、ｐ（ｘ）＝（ｐ１（ｘ）＋…＋ｐＮ（ｘ））／２５５によって算出される。

グレー画像の押印テンプレート画像が作成されることによって、押印時のインクの濃さの違いによる押印の輪郭及び文字の太さの違いに対する頑健性を向上させることができる。

次に、押印テンプレート生成部４０１の押印情報登録処理について説明する。

押印情報登録処理では、押印テンプレート生成部４０１は、押印認識用辞書３０１に、押印テンプレート生成処理で生成された押印テンプレート画像を登録するためのエントリを新たに生成する。

そして、押印テンプレート生成部４０１は、生成されたエントリの押印テンプレート画像１３０２に、押印テンプレート生成処理で生成された押印テンプレート画像を登録する。

そして、押印テンプレート生成部４０１は、当該エントリの押印ＩＤ１３０１に一意な識別子を登録し、押印形状１３０３に押印テンプレート画像の形状を登録する。また、押印テンプレート生成部４０１は、当該エントリの押印サイズ１３０４に、押印テンプレート生成処理で生成された押印画像のサイズが登録される。

押印テンプレート生成部４０１は、当該エントリの押印文字列位置１３０５に、押印テンプレート画像中に存在する文字列の位置を示す座標を登録し、当該エントリの押印文字列形式１３０６に、押印テンプレート画像中に存在する文字列の形式を登録する。

また、押印テンプレート生成部４０１は、当該エントリの個々の文字位置１３０７に、押印テンプレート画像中に存在する文字列を構成する文字の位置を登録し、当該エントリの押印色１３０８に、押印色を登録する。

以上のように、押印テンプレート生成部４０１は、図１３に示す押印認識用辞書３０１を生成する。

１０１ 帳票認識装置
１０２ 入力装置
１０３ 表示装置
１０４ イメージ取得装置
１０５ 通信装置
１０６ 演算装置
１０７ 外部記憶装置
２０１ 押印認識用辞書
２０２ 知識処理用辞書
２０３ 認識結果ＤＢ
２１１ イメージ入力部
２１２ 押印検出部
２１３ 背景色分離部
２１４ 傾き補正部
２１６ 文字列探索部
２１７ 文字切出部
２１８ 文字認識部
２１９ 知識処理部
２２０ 棄却判定部
２２１ リトライ判定部
２２２ 認識結果記録部
２２３ 帳票分類部
３０１ 押印認識用辞書

Claims (15)

1. 帳票を光学的に走査することによって得られた帳票画像を取得するイメージ入力部と、
   前記イメージ入力部によって取得された帳票画像から押印画像を検出する押印画像検出部と、
   前記押印画像の輪郭の色を示す押印色とその他の色とを分離する背景色分離部と、
   前記背景色分離部によって前記押印色が前記その他の色と分離された前記押印画像の傾きを補正する傾き補正部と、
   前記傾き補正部によって傾きが補正された前記押印画像から文字列を探索し、前記探索された文字列を切り出す文字列探索部と、
   前記文字列探索部によって切り出された文字列から、前記文字列を構成する各文字を切り出す文字切出部と、
   前記文字切出部によって切り出された各文字を認識し、前記文字列を構成するすべての文字を認識した結果を示す文字認識結果を算出し、前記認識された各文字の信頼度を算出する文字認識部と、
   前記文字認識部によって算出された文字認識結果から、予め指定された文字列形式に適合する文字認識結果を選択し、前記選択された文字認識結果に対する信頼度を前記文字認識部によって算出された各文字の信頼度に基づいて算出する知識処理部と、
   前記知識処理部によって選択された文字認識結果と当該文字認識結果の信頼度とに基づいて、前記知識処理部によって選択された文字認識結果を棄却するか否かを判定する棄却判定部と、
   前記棄却判定部によって前記文字認識部による文字認識結果が棄却された場合に、押印画像の文字を再度認識させるか否かを判定するリトライ判定部と、を備えることを特徴とする帳票認識装置。
2. 前記文字認識部によって算出される文字認識結果及び前記イメージ入力部によって取得された帳票画像の認識結果を記録する認識結果記録部と、
   前記イメージ入力部によって入力された帳票画像を、前記認識結果データベースに記録された情報に基づいて、所定の条件を満たす帳票画像ごとに分類する帳票分類部と、を備えることを特徴とする請求項１に記載の帳票認識装置。
3. 前記背景色分離部は、
   前記押印画像検出部によって検出された前記押印画像の外接矩形の縦の長さと横の長さとを算出し、前記算出された縦の長さ及び横の長さのうち長い方の長さをＬとし、ｋを予め設定された１より小さい正の実数とした場合に、前記押印画像の輪郭位置から距離ｋＬ以内に存在する画素を輪郭付近の画素として抽出し、
   前記抽出された輪郭付近の画素のピーク色から色空間において予め設定された所定範囲の色を押印色として抽出し、
   前記抽出された押印色の画素を押印部とし、その他の色の画素を背景部とすることを特徴とする請求項１に記載の帳票認識装置。
4. 前記傾き補正部は、前記背景色分離部によって前記押印色が前記その他の色と分離された前記押印画像の輪郭よりも内側に存在する線分を検出し、前記検出された線分に基づいて前記押印画像の傾きを算出し、前記算出された押印画像の傾きを補正することを特徴とする請求項１に記載の帳票認識装置。
5. 前記棄却判定部は、
   前記知識処理部によって選択された文字認識結果に含まれる各文字の信頼度の和を当該文字認識結果に含まれる文字の数で除算することによって、当該文字認識結果の信頼度を算出し、
   前記算出された文字認識結果の信頼度が所定の値よりも小さい場合には、前記知識処理部によって選択された文字認識結果を棄却することを特徴とする請求項１に記載の帳票認識装置。
6. 前記棄却判定部は、前記知識処理部によって選択された文字認識結果が年月日を示す文字列である場合には、年を示す文字の信頼度、月を示す文字の信頼度、及び日を示す文字の信頼度に重み付けをして、前記文字認識結果の信頼度を算出し、
   前記年を示す文字の信頼度の重み付けが最も低くされ、次いで前記月を示す文字の信頼度の重み付けが低くされ、前記日を示す文字の信頼度の重み付けが最も高くされることを特徴とする請求項５に記載の帳票認識装置。
7. 同じ種類の押印画像のテンプレート画像である押印テンプレート画像と当該押印テンプレート画像に存在する文字の位置情報とを記憶する押印認識用辞書と、
   前記押印認識用辞書を用いて、前記傾き補正部によって傾きが補正された前記押印画像の種類を特定する押印種特定部と、
   前記押印認識用辞書を用いて、前記押印種特定部によって種類が特定された前記押印画像に存在する文字の位置情報を取得する文字位置特定部と、
   前記傾き補正部によって傾きが補正された前記押印画像と、当該押印画像と同じ種類の押印テンプレート画像とを比較することによって、前記押印画像の劣化度を判定する劣化判定部と、をさらに備えることを特徴とする請求項１に記載の帳票認識装置。
8. 前記押印認識用辞書には、前記同じ種類の押印画像の押印形状、押印サイズ、前記文字列の形式、前記文字列を構成する各文字の大きさ、及び前記押印色の少なくとも一つが記録され、また、前記押印テンプレート画像に存在する文字の位置情報として、前記押印テンプレート画像に存在する文字列の位置情報、及び前記文字列を構成する各文字の位置情報の少なくとも一つが記憶されることを特徴とする請求項７に記載の帳票認識装置。
9. 前記押印種特定部は、位置Ｘの前記押印画像の画素値をｐ（ｘ）とし、位置Ｘの前記押印テンプレート画像の画素値をｑ（ｘ）とした場合に、｜ｐ（ｘ）−ｑ（ｘ）｜の値に応じて広義単調増加する関数Ｋ（ｐ，ｑ）の値が最小となる押印テンプレート画像の種類を、前記押印画像の種類として特定することを特徴とする請求項７に記載の帳票認識装置。
10. 前記押印認識用辞書は、前記押印テンプレート画像に存在する文字列の位置情報、前記文字列を構成する各文字の位置情報、及び前記文字列の形式を記録し、
    前記文字列探索部は、前記押印種特定部によって前記押印画像の種類が特定されている場合に、前記押印認識用辞書に記憶された前記文字列の位置情報に基づいて、前記傾き補正部によって傾きが補正された前記押印画像から文字列を探索し、
    前記文字切出部は、前記押印種特定部によって前記押印画像の種類が特定されている場合に、前記押印認識用辞書に記憶された前記各文字の位置情報に基づいて、前記文字列探索部によって切り出された文字列を構成する文字を切り出し、
    前記文字認識部は、前記押印種特定部によって前記押印画像の種類が特定されている場合に、前記劣化判定部によって判定された前記押印画像の劣化度に応じて文字認識方法を切り換え、
    前記知識処理部は、前記押印種特定部によって前記押印画像の種類が特定されている場合には、前記文字認識部によって算出された文字認識結果のうち、前記押印認識用辞書に記憶された前記文字列の形式に適合する文字認識結果を選択することを特徴とする請求項７に記載の帳票認識装置。
11. 前記劣化判定部は、位置Ｘの前記押印画像の画素値をｐ（ｘ）とし、位置Ｘの前記押印テンプレート画像の画素値をｑ（ｘ）とした場合に、｜ｐ（ｘ）−ｑ（ｘ）｜の値に応じて広義単調増加する関数Ｋ（ｐ，ｑ）の値を前記劣化度とすることを特徴とする請求項７に記載の帳票認識装置。
12. 前記関数Ｋ（ｐ，ｑ）は、前記関数Ｋ（ｐ，ｑ）の値と、ｐとｑを入れ替えた関数Ｋ（ｑ，ｐ）との値とが異なる非対称関数であり、
    前記劣化判定部は、前記関数Ｋ（ｐ，ｑ）及び前記関数Ｋ（ｑ，ｐ）によって前記押印画像の前記押印テンプレート画像に対するつぶれ度及びかすれ度を算出することを特徴とする請求項１１に記載の帳票認識装置。
13. 押印を含む帳票を帳票認識装置に認識させる帳票認識方法において、
    帳票を光学的に走査することによって得られた帳票画像を取得するイメージ入力ステップと、
    前記イメージ入力ステップによって取得された帳票画像から押印画像を検出する押印画像検出ステップと、
    前記押印画像の輪郭の色を示す押印色とその他の色とを分離する背景色分離ステップと、
    前記背景色分離ステップによって前記押印色が前記その他の色と分離された前記押印画像の傾きを補正する傾き補正ステップと、
    前記傾き補正ステップによって傾きが補正された前記押印画像から文字列を探索し、前記探索された文字列を切り出す文字列探索ステップと、
    前記文字列探索ステップによって切り出された文字列から、前記文字列を構成する各文字を切り出す文字切出ステップと、
    前記文字切出ステップによって切り出された各文字を認識し、前記文字列を構成するすべての文字を認識した結果を示す文字認識結果を算出し、前記認識された各文字の信頼度を算出する文字認識ステップと、
    前記文字認識ステップによって算出された文字認識結果のうち、予め指定された文字列形式に適合する文字認識結果を選択し、前記選択された各文字認識結果に対する信頼度を前記文字認識ステップによって算出された各文字の信頼度に基づいて算出する知識処理ステップと、
    前記知識処理ステップによって選択された文字認識結果と当該文字認識結果の信頼度とに基づいて、前記知識処理ステップによって選択された文字認識結果を棄却するか否かを判定する棄却判定ステップと、
    前記棄却判定ステップによって前記文字認識ステップによる文字認識結果が棄却された場合に、押印画像の文字を再度認識させるか否かを判定するリトライ判定ステップと、を備えることを特徴とする帳票認識方法。
14. 前記帳票認識方法は、
    前記文字認識ステップによって算出される文字認識結果及び前記イメージ入力ステップによって取得された帳票画像の認識結果を記録する認識結果記録ステップと、
    前記イメージ入力ステップによって入力された帳票画像を、前記認識結果データベースに記録された情報に基づいて、所定の条件を満たす帳票画像ごとに分類する帳票分類ステップと、を有することを特徴とする請求項１３に記載の帳票認識方法。
15. 前記帳票認識装置は、同じ種類の押印画像を押印テンプレート画像と当該押印テンプレート画像に存在する文字の位置情報とを記憶する押印認識用辞書を備え、
    前記帳票認識方法は、
    前記押印認識用辞書を用いて、前記押印画像検出ステップによって検出された前記押印画像の種類を特定する押印種特定ステップと、
    前記押印認識用辞書を用いて、前記押印種特定ステップによって種類が特定された前記押印画像に存在する文字の位置情報を取得する文字位置特定ステップと、
    前記押印画像検出ステップによって検出された前記押印画像と当該押印画像と同じ種類の押印テンプレート画像とを比較することによって、前記押印画像の劣化度を判定する劣化判定ステップと、を有することを特徴とする請求項１３に記載の帳票認識方法。