JP7111143B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7111143B2 JP7111143B2 JP2020177513A JP2020177513A JP7111143B2 JP 7111143 B2 JP7111143 B2 JP 7111143B2 JP 2020177513 A JP2020177513 A JP 2020177513A JP 2020177513 A JP2020177513 A JP 2020177513A JP 7111143 B2 JP7111143 B2 JP 7111143B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- image
- feature amount
- document
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
帳票のフォーマットに関連して、特許文献１には、帳票に最適な帳票フォーマットを効率的に選出するための方法が記載されている。この方法では、帳票フォーマットをグループ分けし、グループ毎に代表帳票フォーマットを１つ定めておく。そしてこの方法では、読み取った帳票画像と代表帳票フォーマットとの特徴合致率に基づいて何れか１つのグループを選出する。さらにこの方法では、選出したグループ内の各帳票フォーマットのうち、読み取った帳票画像との特徴合致率が最も高い帳票フォーマットを選択する。
また、文字認識結果の修正に関連して、特許文献２には、複数種類の帳票が混在している場合の文字認識で読取不能文字（リジェクト文字）が生じた場合に、読取不能文字の訂正処理を行う帳票の種類を指定し、指定された種類の帳票における読取不能文字の訂正処理を行うことで、同じ種類の帳票の訂正処理を連続的に行うことが記載されている。
また、文字認識結果の修正に関連して、特許文献３には、イメージ入力（文字認識）された帳票の修正・確認を行う際、入力された内容を所定の書式に従って表示して修正を受け付けること、および、利用者から修正項目が指示されると、受け付けた修正項目に対応する特定のイメージ部分を強調表示することが記載されている。
文字認識結果の確認および訂正の際、確認訂正の作業者が、どの項目がどこに示されているかを把握できることが重要である。特に、作業者が普段見慣れていないフォーマットの文書の読み取り結果を確認および訂正する場合、確認したい項目がどこに記載されているかの把握に手間取る可能性がある。
そこで、作業者が、どの項目がどこに示されているかを把握できるよう補助できることが好ましい。その際、文字認識対象の文書のフォーマットが予めわかっていない場合でも、補助を行えることが好ましい。
そこで、作業者が、どの項目がどこに示されているかを把握できるよう補助できることが好ましい。その際、文字認識対象の文書のフォーマットが予めわかっていない場合でも、補助を行えることが好ましい。
本発明は、上述の課題を解決することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。
本発明の第１の態様によれば、画像処理装置は、文字列を含む複数の画像を用いた学習の結果に基づいて、認識対象の画像における特定項目の前記文字列を認識する文字列認識部と、前記認識対象の画像と、前記文字列認識部による文字列認識結果とにおいて同じ前記特定項目を示す対応関係が把握可能な態様で、前記認識対象の画像と前記文字列認識結果とを出力する出力部と、を備え、前記文字列認識部は、前記認識対象の画像における前記特定項目の前記文字列の候補を特定し、前記出力部は、前記特定された文字列の候補の範囲を把握可能な態様で出力する。
本発明の第２の態様によれば、画像処理方法は、文字列を含む複数の画像を用いた学習の結果に基づいて、認識対象の画像における特定項目の前記文字列を認識する工程と、前記認識対象の画像と、文字列認識結果とにおいて同じ前記特定項目を示す対応関係が把握可能な態様で、前記認識対象の画像と前記文字列認識結果とを出力する工程と、を含み、前記文字列を認識する工程では、前記認識対象の画像における前記特定項目の前記文字列の候補を特定し、前記出力する工程では、前記特定された文字列の候補の範囲を把握可能な態様で出力する。
本発明の第３の態様によれば、プログラムは、コンピュータに、文字列を含む複数の画像を用いた学習の結果に基づいて、認識対象の画像における特定項目の前記文字列を認識する工程と、前記認識対象の画像と、文字列認識結果とにおいて同じ前記特定項目を示す対応関係が把握可能な態様で、前記認識対象の画像と前記文字列認識結果とを出力する工程と、を実行させ、前記文字列を認識する工程では、前記認識対象の画像における前記特定項目の前記文字列の候補を特定させ、前記出力する工程では、前記特定された文字列の候補の範囲を把握可能な態様で出力させるためのプログラムである。
この発明によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。
図１に示す構成で、画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３およびデータベース４により構成される。
画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。なお、画像処理装置１が対象とする文書は、特定の種類のものに限定されない。ＯＣＲ処理可能ないろいろな文書を、画像処理装置１の処理対象とすることができる。
図１に示す構成で、画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３およびデータベース４により構成される。
画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。なお、画像処理装置１が対象とする文書は、特定の種類のものに限定されない。ＯＣＲ処理可能ないろいろな文書を、画像処理装置１の処理対象とすることができる。
データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。
作業者を、画像処理装置１のユーザ、または単にユーザとも称する。
作業者を、画像処理装置１のユーザ、または単にユーザとも称する。
そしてデータベース４には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。
図２は画像処理装置のハードウェア構成例を示す図である。
図２に示す構成で、画像処理装置１は、画像処理装置本体１０と、表示装置１７と、入力デバイス１８とを備える。
画像処理装置本体１０は、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
表示装置１７は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を備える。
入力デバイス１８は、例えばキーボードおよびマウス、あるいは、表示装置１７の表示画面に設けられてタッチパネルを構成するタッチセンサ、あるいはこれらの組み合わせなど、ユーザ操作を受ける装置である。
図２に示す構成で、画像処理装置１は、画像処理装置本体１０と、表示装置１７と、入力デバイス１８とを備える。
画像処理装置本体１０は、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
表示装置１７は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を備える。
入力デバイス１８は、例えばキーボードおよびマウス、あるいは、表示装置１７の表示画面に設けられてタッチパネルを構成するタッチセンサ、あるいはこれらの組み合わせなど、ユーザ操作を受ける装置である。
＜第一実施形態＞
図３は、第一実施形態に係る画像処理装置１の機能構成を示す概略ブロック図である。
通信部１１０は、図２の通信モジュールを用いて構成され、他の装置と通信を行う。特に、通信部１１０は、画像読取装置２、記録装置３、データベース４と通信を行う。
表示部１２０は、図２の表示装置１７を用いて構成され、各種画像を表示する。特に、表示部１２０は出力部の例に該当し、第一の文書画像と、第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
図３は、第一実施形態に係る画像処理装置１の機能構成を示す概略ブロック図である。
通信部１１０は、図２の通信モジュールを用いて構成され、他の装置と通信を行う。特に、通信部１１０は、画像読取装置２、記録装置３、データベース４と通信を行う。
表示部１２０は、図２の表示装置１７を用いて構成され、各種画像を表示する。特に、表示部１２０は出力部の例に該当し、第一の文書画像と、第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
例えば、表示部１２０は、第一の文書画像として文書帳票の画像（ＯＣＲ結果ではなく生の画像）を表示し、第二の文書画像として、画像処理装置１の処理結果である記録文字列を所定の書式で表示するＧＵＩ画面画像を表示する。そして、表示部１２０は、第二の文書画像に示す文字列が、第一の文書画像におけるどの文字列の読み取り結果かを、両者の文字列間に線を引くことで示す。
あるいは、記録文字列の正解の文字列が得られている場合、表示部１２０が、第一の文書画像として文書帳票のＯＣＲ結果を、その文書帳票の書式で表示し、第二の文書画像として正解の文字列を所定の書式で表示するＧＵＩ画面画像を表示するようにしてもよい。そして、表示部１２０が、第二の文書画像に示す文字列が、第一の文書画像におけるどの文字列の正解を示すかを、両者の文字列間に線を引くことで示すようにしてもよい。
但し、出力部が画像および関係情報を出力する方法は、これら画像および関係情報を表示する方法に限定されない。例えば、通信部１１０が出力部として機能し、画像および関係情報を他の装置に送信して表示させるようにしてもよい。
但し、出力部が画像および関係情報を出力する方法は、これら画像および関係情報を表示する方法に限定されない。例えば、通信部１１０が出力部として機能し、画像および関係情報を他の装置に送信して表示させるようにしてもよい。
操作入力部１３０は、図２の入力デバイスを用いて構成され、ユーザ操作を受け付ける。特に、操作入力部１３０は、表示部１２０が表示する文字列に対する修正操作を受け付ける。
記憶部１８０は、図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６を用いて構成され、各種データを記憶する。
制御部１９０は、図２のＣＰＵ１１が、記憶部１８０（図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６）からプログラムを読み出して実行することで構成される。制御部１９０は、画像処理装置１の各部を制御して各種処理を実行する。
取得部１９１は、文書帳票の画像データを取得する。
記憶部１８０は、図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６を用いて構成され、各種データを記憶する。
制御部１９０は、図２のＣＰＵ１１が、記憶部１８０（図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６）からプログラムを読み出して実行することで構成される。制御部１９０は、画像処理装置１の各部を制御して各種処理を実行する。
取得部１９１は、文書帳票の画像データを取得する。
特徴量抽出部１９２は、文書帳票の画像データの認識処理結果から文字列の特徴量を抽出する。例えば特徴量抽出部１９２は、複数の文書帳票の画像データの認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す第一特徴量を文書帳票の画像データ毎に抽出する。具体的には、特徴量抽出部１９２は、文字認識処理された文書画像に含まれる記録文字列を特定し、特定した記録文字列の文書画像中における第一特徴量を抽出する。ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。特徴量の抽出を特徴量の生成とも称する。
記録部１９３は、新たな文書帳票の画像データにおける文字列の特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。特に、記録部１９３は、文字列検出部の例に該当し、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量（第一特徴量）のうち、表示されている第一の文書画像（文書帳票の画像）についての特徴量に基づいて、第一の文書画像における特定項目の文字列を検出する。
また、記録部１９３は、第一の文書画像における特定項目と同じ項目の文字列を第二の文書画像から検出する。記録部１９３が、第二の文書画像の書式について既知の場合は、書式の情報を用いて第二の文書画像における記録文字列を検出する。一方、記録部１９３が第二の文書画像の書式について既知でない場合、特徴量抽出部１９２が第二の文書画像についても第一特徴量を抽出し、記録部１９３が、得られた第一特徴量を用いて記録文字列を特定するようにしてもよい。
また、特徴量抽出部１９２と記録部１９３との組み合わせは、対応関係学習部の例に該当し、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習する。
例えば、記録部１９３が第二の文書画像の書式について既知の場合、特徴量抽出部１９２が機械学習にて第一の文書画像（文書帳票の画像）における文字列の特徴量を抽出し、記録部１９３が、得られた文字列の特徴量に基づいて第一の文書画像における記録文字列を特定する。これにより、記録部１９３は、第一の文書画像、第二の文書画像のいずれについても記録文字列について既知であり、これら２つの文書画像間での記録文字列の対応関係を取得している。
例えば、記録部１９３が第二の文書画像の書式について既知の場合、特徴量抽出部１９２が機械学習にて第一の文書画像（文書帳票の画像）における文字列の特徴量を抽出し、記録部１９３が、得られた文字列の特徴量に基づいて第一の文書画像における記録文字列を特定する。これにより、記録部１９３は、第一の文書画像、第二の文書画像のいずれについても記録文字列について既知であり、これら２つの文書画像間での記録文字列の対応関係を取得している。
あるいは、記録部１９３が第二の文書画像の書式について未知の場合、特徴量抽出部１９２が、第一の文書画像に加えて第二の文書画像についても文字列の特徴量を抽出するようにしてもよい。この場合、記録部１９３は、第一の文書画像、第二の文書画像それぞれについて、得られた文字列の特徴量に基づいて記録文字列を特定する。これにより、記録部１９３は、第一の文書画像、第二の文書画像のいずれについても記録文字列について既知であり、これら２つの文書画像間での記録文字列の対応関係を取得している。
対応関係学習部（特徴量抽出部１９２と記録部１９３との組み合わせ）が、第二の文書画像の文字列が確定されたとき以後の画像を用いて、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習するようにしてもよい。第二の文書画像の文字列が確定された場合、確定された文字列は正確であると考えられる。対応関係学習部が、この正確な文字列を利用して機械学習を行うことで、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を比較的高精度に学習できると期待される。
このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。
図４は文書帳票の一例を示す図である。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数示される。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の文字列（記録文字列）を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース４に記録する。図４の例においては、日付５１、発注先５２、商品名５３、数量５４、金額５５が記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数示される。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の文字列（記録文字列）を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース４に記録する。図４の例においては、日付５１、発注先５２、商品名５３、数量５４、金額５５が記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。
図５はデータベースが記憶する記録テーブルの概要を示す図である。
図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。
図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。
図６は第一実施形態に係る画像処理装置の処理フローを示す第一の図である。図６は、画像処理装置１が第一特徴量を抽出する処理手順の例を示す。
次に画像処理装置１の処理フローについて順を追って説明する。
まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式（Format）の文書帳票複数枚分記録されている。例えば図４で示す文書帳票５の書式の記録文字列情報（記録文字列を示す情報）が複数枚分記録されているとする。
これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
次に画像処理装置１の処理フローについて順を追って説明する。
まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式（Format）の文書帳票複数枚分記録されている。例えば図４で示す文書帳票５の書式の記録文字列情報（記録文字列を示す情報）が複数枚分記録されているとする。
これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
画像処理装置１の取得部１９１は、通信部１１０を制御してデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ６０１）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列と、当該文字列の範囲を示す画像データ内の座標とを検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。
ここでいう文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
また、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。
なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する（ステップＳ６０４）。
具体的には、特徴量抽出部１９２は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、１つの記録文字列に１つの特徴量を抽出する。
特徴量抽出部１９２が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部１９２が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値（Mode）を求めるようにしてもよい。また、特徴量抽出部１９２が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値（Average）または中央値（Median）を求めるようにしてもよい。また、特徴量抽出部１９２が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部１９２が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部１９２が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
特徴量抽出部１９２が、文書帳票の１つの書式かつ１つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して１つのベクトルの特徴量を抽出するようにしてもよい。
具体的には、特徴量抽出部１９２は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、１つの記録文字列に１つの特徴量を抽出する。
特徴量抽出部１９２が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部１９２が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値（Mode）を求めるようにしてもよい。また、特徴量抽出部１９２が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値（Average）または中央値（Median）を求めるようにしてもよい。また、特徴量抽出部１９２が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部１９２が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部１９２が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
特徴量抽出部１９２が、文書帳票の１つの書式かつ１つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して１つのベクトルの特徴量を抽出するようにしてもよい。
特徴量抽出部１９２が抽出した、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を第一特徴量と称する。特徴量抽出部１９２は、同じ書式の複数枚の文書帳票を用いて、その書式における記録文字列それぞれの第一特徴量を抽出する。第一特徴量は記録文字列を抽出するための特徴量である。第一特徴量に、文字の属性を示す情報、文字列の範囲を示す座標の何れか、またはこれらの組み合わせが含まれていてもよい。
特徴量抽出部１９２は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース４に記録する（ステップＳ６０５）。
特徴量抽出部１９２は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース４に記録する（ステップＳ６０５）。
例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の書式識別子に紐づけてデータベース４に記録する。
ステップＳ６０５の後、画像処理装置１は、図６の処理を終了する。
ステップＳ６０５の後、画像処理装置１は、図６の処理を終了する。
以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図７を参照して、その処理について説明する。
図７は第一実施形態に係る画像処理装置の処理フローを示す第二の図である。図７は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ７０１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ７０２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部１９２はデータベース４から記録文字列毎の第一特徴量を読み出す（ステップＳ７０４）。特徴量抽出部１９２は記録部１９３へ第三特徴量と第一特徴量とを出力する。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ７０１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ７０２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部１９２はデータベース４から記録文字列毎の第一特徴量を読み出す（ステップＳ７０４）。特徴量抽出部１９２は記録部１９３へ第三特徴量と第一特徴量とを出力する。
記録部１９３は画像データ中の文字列毎の第三特徴量と、記録文字列毎の第一特徴量とを取得し、第一特徴量と第三特徴量とを対応付ける（ステップＳ７０５）。具体的には、記録部１９３は、第一特徴量の各々について、その特徴量と一致する第三特徴量、または、最も近い第三特徴量を１つ対応付ける。この対応付けにより、文書帳票の画像データをＯＣＲ処理して得られた文字列の中から記録文字列が選択される。
次に、特徴量抽出部１９２は、表示部１２０を制御して、画像処理装置１による処理結果である記録文字列の表示と、文書帳票の画像とを並べて表示させる（ステップＳ７０６）。
次に、特徴量抽出部１９２は、表示部１２０を制御して、画像処理装置１による処理結果である記録文字列の表示と、文書帳票の画像とを並べて表示させる（ステップＳ７０６）。
図８は、表示部１２０が、記録文字列の表示と、文書帳票の画像とを並べて表示した表示画面の例を示す図である。図８の例で、表示部１２０は、文書帳票の画像Ｗ１と、記録文字列の表示ウィンドウＷ２とを表示している。文書帳票の画像Ｗ１における文字列Ｃ１ａおよびＣ１ｂのＯＣＲ結果の文字列が、それぞれ、記録文字列の表示ウィンドウＷ２に記録文字列である文字列Ｃ２ａおよびＣ２ｂとして表示されている。「ＯＫ」ボタンのアイコンＢ１は、操作者が記録文字列の表示ウィンドウＷ２に示される記録文字列を確認・修正した後、記録文字列を確定させるために押下するボタンアイコンである。ボタンアイコンの押下操作は、例えばボタンアイコンに対するタッチ操作、またはマウスクリック等で行う。
次に、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係を取得済か判定する（ステップＳ７０７）。例えば、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習の回数が所定回数以上である場合に、対応関係を取得済と判定する。上記のように、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習は、記録文字列の表示における記録文字列の特定のための学習であってもよいし、文書帳票の画像における記録文字列の特定のための学習であってもよい。あるいは、これらの学習の組み合わせであってもよい。
記録文字列の表示と文書帳票の画像との対応関係を取得済と判定した場合（ステップＳ７０７：ＹＥＳ）、記録部１９３は、表示部１２０を制御して、記録文字列の表示と文書帳票の画像との対応関係を表示させる（ステップＳ７０８）。
図９は、表示部１２０が、記録文字列の表示と文書帳票の画像との対応関係を表示した表示画面の例を示す図である。
図９では、図８の表示画面にて、記録文字列の表示と文書帳票の画像との対応関係を表示した例を示している。文字列Ｃ１ａ、Ｃ１ｂ、Ｃ２ａ、Ｃ２ｂがそれぞれ矩形Ｆ１ａ、Ｆ１ｂ、Ｆ２ａ、Ｆ２ｂで囲って示されている。そして、文字列Ｃ１ａとＣ２ａとが対応することが、線Ｌａにて示されている。文字列Ｃ１ｂとＣ２ｂとが対応することが、線Ｌｂにて示されている。
このように、表示部１２０が、記録文字列の表示と文書帳票の画像との対応関係を表示することで、作業者が、文書帳票の書式または記録文字列の表示ウィンドウの書式のいずれかまたは両方に不慣れな場合でも、文字列の対応関係を容易かつ確実に把握できる。
図９は、表示部１２０が、記録文字列の表示と文書帳票の画像との対応関係を表示した表示画面の例を示す図である。
図９では、図８の表示画面にて、記録文字列の表示と文書帳票の画像との対応関係を表示した例を示している。文字列Ｃ１ａ、Ｃ１ｂ、Ｃ２ａ、Ｃ２ｂがそれぞれ矩形Ｆ１ａ、Ｆ１ｂ、Ｆ２ａ、Ｆ２ｂで囲って示されている。そして、文字列Ｃ１ａとＣ２ａとが対応することが、線Ｌａにて示されている。文字列Ｃ１ｂとＣ２ｂとが対応することが、線Ｌｂにて示されている。
このように、表示部１２０が、記録文字列の表示と文書帳票の画像との対応関係を表示することで、作業者が、文書帳票の書式または記録文字列の表示ウィンドウの書式のいずれかまたは両方に不慣れな場合でも、文字列の対応関係を容易かつ確実に把握できる。
作業者が記録文字列を確認し修正した後、確定操作を行うと、画像処理装置１は、修正後の記録文字列を取得する（ステップＳ７０９）。ステップＳ７０７で、記録部１９３が、記録文字列の表示と文書帳票の画像との対応関係を取得済でないと判定した場合（ステップＳ７０７：ＮＯ）も、処理がステップＳ７０９へ進む。
そして、対応関係学習部としての特徴量抽出部１９２および記録部１９３は、処理結果の表示（図８、９の例では、記録文字列の表示ウィンドウＷ２）における記録文字列の座標を学習する（ステップＳ７１０）。例えば、特徴量抽出部１９２が、文書帳票の場合と同様に、処理結果の表示についても第一特徴量を抽出し、記録部１９３が、第一特徴量を用いて、記録文字列の位置を特定し、記憶する。
記録部１９３が、処理結果の表示の書式を既知の場合は、ステップＳ７１０の処理は不要である。
そして、対応関係学習部としての特徴量抽出部１９２および記録部１９３は、処理結果の表示（図８、９の例では、記録文字列の表示ウィンドウＷ２）における記録文字列の座標を学習する（ステップＳ７１０）。例えば、特徴量抽出部１９２が、文書帳票の場合と同様に、処理結果の表示についても第一特徴量を抽出し、記録部１９３が、第一特徴量を用いて、記録文字列の位置を特定し、記憶する。
記録部１９３が、処理結果の表示の書式を既知の場合は、ステップＳ７１０の処理は不要である。
記録部１９３は、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ７１１）。
例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。作業者による記録文字列の修正があった場合、記録部１９３は、修正後の記録文字列を文書帳票の記録テーブルに記録する。
ステップＳ７１１の後、画像処理装置１は、図７の処理を終了する。
例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。作業者による記録文字列の修正があった場合、記録部１９３は、修正後の記録文字列を文書帳票の記録テーブルに記録する。
ステップＳ７１１の後、画像処理装置１は、図７の処理を終了する。
画像処理装置１が、図７の処理で文書帳票における第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ７１０で、処理結果の表示における第一特徴量の機械学習に加えて、あるいは代えて、文書帳票における第一特徴量を学習するようにしてもよい。その場合、画像処理装置１が、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ７１０で追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。
画像処理装置１が、図７の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図７の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
画像処理装置１が、図７の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図７の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
図７に示す処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。また、作業者は表示部１２０の表示を参照して、画像処理装置１の処理結果である記録文字列を確認および修正できる。その際、表示部１２０が、処理結果の表示における文字列と文書帳票の画像における文字列との対応関係を示すことで、作業者は、対応関係を容易に把握することができる。
＜第二実施形態＞
第二実施形態では、画像処理装置１が、文書帳票の複数の書式に対応する場合について説明する。
図１０は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
図１０に示すように第二実施形態に係る画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１９４、グループ特定部１９５の機能を有する。
第二実施形態では、画像処理装置１が、文書帳票の複数の書式に対応する場合について説明する。
図１０は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
図１０に示すように第二実施形態に係る画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１９４、グループ特定部１９５の機能を有する。
図１１は第二実施形態に係る画像処理装置の処理フローを示す第一の図である。
次に第二実施形態に係る画像処理装置１の処理フローについて順を追って説明する。
データベース４には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
次に第二実施形態に係る画像処理装置１の処理フローについて順を追って説明する。
データベース４には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
画像処理装置１の取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだかを判定する（ステップＳ９０１）。ＮＯの場合、取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ９０２）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標とを検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。
第一実施形態で説明したように、文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
第一実施形態の場合と同様、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。
なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。第一実施形態で説明したように、ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ記録文字列毎の特徴量を抽出する（ステップＳ９０５）。具体的には、特徴量抽出部１９２は、ステップＳ９０４で記録文字列に対応付けた文字列の文字列属性を特徴量化する。第二実施形態では複数種類の書式を対象とするため、文書帳票を書式毎にグループ分けしていないステップＳ９０５の時点では、図７のステップＳ６０４の場合と異なり直接第一特徴量を抽出することはできない。そこで、特徴量抽出部１９２は、グループ毎の第一特徴量を抽出する準備として、文書帳票毎かつ記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。
特徴量抽出部１９２は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０６）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
特徴量抽出部１９２は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０６）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す個別第一特徴量を、文書帳票毎かつ記録文字列毎に、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する。
特徴量抽出部１９２はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列の文字列属性とを抽出する（ステップＳ９０７）。上述したように、非記録文字列は、作業者によって記録されない文字列、すなわち、記録文字列以外の文字列である。文字列属性には、その文字列に含まれる文字の属性を示す情報、その文字列の範囲の座標を示す情報の何れか一方あるは両方が含まれていてもよい。
特徴量抽出部１９２は、文書帳票毎かつ非記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ非記録文字列毎の特徴量を抽出する（ステップＳ９０８）。
具体的には、特徴量抽出部１９２は、ステップＳ９０４で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性（文字列属性）を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップＳ９０８の時点では、同じ書式の文書帳票に共通の特徴量を生成することはできない。そこで、特徴量抽出部１９２は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
特徴量抽出部１９２が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部１９２が、１つの文書帳票につき１つの個別第二特徴量を生成するようにしてもよい。
具体的には、特徴量抽出部１９２は、ステップＳ９０４で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性（文字列属性）を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップＳ９０８の時点では、同じ書式の文書帳票に共通の特徴量を生成することはできない。そこで、特徴量抽出部１９２は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
特徴量抽出部１９２が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部１９２が、１つの文書帳票につき１つの個別第二特徴量を生成するようにしてもよい。
特徴量抽出部１９２は、得られた個別第二特徴量を、文書帳票の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０９）。非記録文字列の識別子として、例えばその非記録文字列の位置を示す座標値を用いることができる。
例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する。
例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する。
データベース４には、文書帳票の複数の書式それぞれについて、その書式の文書帳票の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１９１は全ての文書帳票についての画像データと記録文字列の情報を読み込むまでステップＳ９０１～ステップＳ９０９の処理を繰り返す。
ステップＳ９０１で、取得部１９１がデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだと判定した場合（ステップＳ９０１：ＹＥＳ）、グループ分類部１９４が文書帳票をグループ分けする（ステップＳ９２１）。グループ分類部１９４は、文書帳票の画像データに含まれる個別第二特徴量に基づいて、文書帳票をグループ分けする。例えばグループ分類部１９４は、各文書帳票を、個別第二特徴量が示す非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１９４はこのグループ分けの処理において文書帳票のグループ識別子を決定する。グループ分類部１９４は全ての文書帳票についてグループ分けが終了したかを判定する（ステップＳ９２２）。
グループ分類部１９４は全ての文書帳票のグループ分けが完了していない場合にはステップＳ９２１の処理を繰り返す。具体的には、ステップＳ９２２で、グループ分けを終了していない文書帳票があるとグループ分類部１９４が判定した場合（ステップＳ９２２：ＮＯ）、処理がステップＳ９２１へ戻る。
グループ分類部１９４は、全ての文書帳票のグループ分けが完了した場合（ステップＳ９２２：ＹＥＳ）、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース４のグループテーブル（記録テーブル）に記録する（ステップＳ９２３）。
グループ分類部１９４は、全ての文書帳票のグループ分けが完了した場合（ステップＳ９２２：ＹＥＳ）、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース４のグループテーブル（記録テーブル）に記録する（ステップＳ９２３）。
そして特徴量抽出部１９２は、あるグループに属する１つまたは複数の文書帳票の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取り、グループに属する文書帳票の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量、各グループ第二特徴量を抽出する（ステップＳ９２４）。各グループ第一特徴量はグループに属する文書帳票の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各個別第一特徴量の平均、各個別第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのような手法を用いて、各グループ第一特徴量、各グループ第二特徴量を抽出してもよい。
例えば、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票から記録文字列毎に文字列属性を抽出して（直接的に）グループ第一特徴量を生成するようにしてもよい。この場合、特徴量抽出部１９２が、ステップＳ９０５およびステップＳ９０６での個別第一特徴量の抽出および記録をパスする（特に何も処理を行わない）。
一方、個別第二特徴量については、ステップＳ９２１でのグループ分けで使用できるように、特徴量抽出部１９２がステップＳ９０８で抽出しておく。但し、ステップ９２１で、グループ分類部１９４が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から（直接的に）グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部１９２は、ステップＳ９０７～ステップＳ９０９では特に何も処理を行わない。
特徴量抽出部１９２は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９２５）。
ステップＳ９２５の後、画像処理装置１は、図１１の処理を終了する。
一方、個別第二特徴量については、ステップＳ９２１でのグループ分けで使用できるように、特徴量抽出部１９２がステップＳ９０８で抽出しておく。但し、ステップ９２１で、グループ分類部１９４が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から（直接的に）グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部１９２は、ステップＳ９０７～ステップＳ９０９では特に何も処理を行わない。
特徴量抽出部１９２は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９２５）。
ステップＳ９２５の後、画像処理装置１は、図１１の処理を終了する。
以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報（グループ第一特徴量およびグループ第二特徴量）を文書帳票のグループ毎に抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図１２を参照して、その処理について説明する。
図１２は第二実施形態に係る画像処理装置の処理フローを示す第二の図である。図１２は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ１００１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ１００２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ１００１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ１００２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。
次にグループ特定部１９５が、データベース４が記憶しているグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１９５はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１９５は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部１９５はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。その後、グループ特定部１９５はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ特定部１９５は記録部１９３へ第三特徴量と１つまたは複数のグループ第一特徴量とを出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。
記録部１９３は画像データ中の文字列毎の第三特徴量と、記録文字列毎のグループ第一特徴量とを取得し、グループ第一特徴量と第三特徴量とを対応付ける（ステップＳ１００６）。具体的には、記録部１９３は、グループ第一特徴量の各々について、その特徴量と一致する第三特徴量、または、最も近い第三特徴量を１つ対応付ける。この対応付けにより、文書帳票の画像データをＯＣＲ処理して得られた文字列の中から記録文字列が選択される。
次に、特徴量抽出部１９２は、表示部１２０を制御して、画像処理装置１による処理結果である記録文字列の表示と、文書帳票の画像とを並べて表示させる（ステップＳ１００７）。ステップＳ１００７は、図７のステップＳ７０６と同様である。
次に、特徴量抽出部１９２は、表示部１２０を制御して、画像処理装置１による処理結果である記録文字列の表示と、文書帳票の画像とを並べて表示させる（ステップＳ１００７）。ステップＳ１００７は、図７のステップＳ７０６と同様である。
次に、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係を取得済か判定する（ステップＳ１００８）。例えば、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習の回数が所定回数以上である場合に、対応関係を取得済と判定する。上記のように、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習は、記録文字列の表示における記録文字列の特定のための学習であってもよいし、文書帳票の画像における記録文字列の特定のための学習であってもよい。あるいは、これらの学習の組み合わせであってもよい。
記録文字列の表示と文書帳票の画像との対応関係を取得済と判定した場合（ステップＳ１００８：ＹＥＳ）、記録部１９３は、表示部１２０を制御して、記録文字列の表示と文書帳票の画像との対応関係を表示させる（ステップＳ１００９）。ステップＳ１００９は、図７のステップＳ７０８と同様である。
作業者が記録文字列を確認し修正した後、確定操作を行うと、画像処理装置１は、修正後の記録文字列を取得する（ステップＳ１０１０）。ステップＳ１００８で、記録部１９３が、記録文字列の表示と文書帳票の画像との対応関係を取得済でないと判定した場合（ステップＳ１００８：ＮＯ）も、処理がステップＳ１０１０へ進む。
作業者が記録文字列を確認し修正した後、確定操作を行うと、画像処理装置１は、修正後の記録文字列を取得する（ステップＳ１０１０）。ステップＳ１００８で、記録部１９３が、記録文字列の表示と文書帳票の画像との対応関係を取得済でないと判定した場合（ステップＳ１００８：ＮＯ）も、処理がステップＳ１０１０へ進む。
そして、対応関係学習部としての特徴量抽出部１９２および記録部１９３は、処理結果の表示（図８、９の例では、記録文字列の表示ウィンドウＷ２）における記録文字列の座標を学習する（ステップＳ１０１１）。例えば、特徴量抽出部１９２が、文書帳票の場合と同様に、処理結果の表示についても第一特徴量を抽出し、記録部１９３が、第一特徴量を用いて、記録文字列の位置を特定し、記憶する。
記録部１９３が、処理結果の表示の書式を既知の場合は、ステップＳ１０１１の処理は不要である。
記録部１９３が、処理結果の表示の書式を既知の場合は、ステップＳ１０１１の処理は不要である。
記録部１９３は、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ１０１２）。
例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。作業者による記録文字列の修正があった場合、記録部１９３は、修正後の記録文字列を文書帳票の記録テーブルに記録する。
ステップＳ１０１２の後、画像処理装置１は、図１２の処理を終了する。
例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。作業者による記録文字列の修正があった場合、記録部１９３は、修正後の記録文字列を文書帳票の記録テーブルに記録する。
ステップＳ１０１２の後、画像処理装置１は、図１２の処理を終了する。
画像処理装置１が、図１２の処理で文書帳票における第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ１０１１で、処理結果の表示における第一特徴量の機械学習に加えて、あるいは代えて、文書帳票における第一特徴量を学習するようにしてもよい。その場合、画像処理装置１が、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ１０１１で追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。
画像処理装置１が、図１２の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図１２の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
画像処理装置１が、図１２の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図１２の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
図１２に示す処理によれば、画像処理装置１は予め作業者が記録しておいた複数の書式それぞれの文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。また、作業者は表示部１２０の表示を参照して、画像処理装置１の処理結果である記録文字列を確認および修正できる。その際、表示部１２０が、処理結果の表示における文字列と文書帳票の画像における文字列との対応関係を示すことで、作業者は、対応関係を容易に把握することができる。
＜第三実施形態＞
なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。
なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。
＜第四実施形態＞
また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けすることにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１９４が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部１９２は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けすることにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１９４が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部１９２は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
＜第五実施形態＞
第二実施形態においてはステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずなので、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列を記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部１９２は、取得部１９１の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。特徴量抽出部１９２は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
第二実施形態においてはステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずなので、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列を記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部１９２は、取得部１９１の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。特徴量抽出部１９２は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
以上のように、記録部１９３は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての特徴量に基づいて、第一の文書画像における特定項目の文字列を検出する。表示部１２０は、第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
画像処理装置１によれば、文書画像における文字列の位置を学習により取得することができる。従って、画像処理装置１によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
画像処理装置１によれば、文書画像における文字列の位置を学習により取得することができる。従って、画像処理装置１によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
また、記録部１９３は、第一の文書画像における特定項目と同じ項目の文字列を第二の文書画像から検出する。
これにより、画像処理装置１は、第一の文書画像における特定項目の文字列と、第二の文書画像における特定項目の文字列との対応関係をユーザに提示することができる。ユーザは、対応関係の提示を参照することで、文字列の正誤を比較的容易に確認することができる。
これにより、画像処理装置１は、第一の文書画像における特定項目の文字列と、第二の文書画像における特定項目の文字列との対応関係をユーザに提示することができる。ユーザは、対応関係の提示を参照することで、文字列の正誤を比較的容易に確認することができる。
また、特徴量抽出部１９２および記録部１９３は、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習する。
これにより、画像処理装置１ではユーザの特別な処置を必要とせずに、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を自動的に学習できる。ユーザは、通常の処理を行えばよく、ユーザの負担が増えない。
これにより、画像処理装置１ではユーザの特別な処置を必要とせずに、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を自動的に学習できる。ユーザは、通常の処理を行えばよく、ユーザの負担が増えない。
また、特徴量抽出部１９２および記録部１９３は、第二の文書画像の文字列が確定されたとき以後の画像を用いて、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習する。
第二の文書画像の文字列が確定された場合、確定された文字列は正確であると考えられる。対応関係学習部が、この正確な文字列を利用して機械学習を行うことで、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を比較的高精度に学習できると期待される。
第二の文書画像の文字列が確定された場合、確定された文字列は正確であると考えられる。対応関係学習部が、この正確な文字列を利用して機械学習を行うことで、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を比較的高精度に学習できると期待される。
次に、図１２を参照して、本発明の実施形態の構成について説明する。
図１２は、実施形態に係る画像処理装置の構成の例を示す図である。図１２に示す画像処理装置６００は、文字列検出部６０１と、出力部６０２と、を備える。
かかる構成にて、文字列検出部６０１は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての特徴量に基づいて、第一の文書画像における特定項目の文字列を検出する。
出力部６０２は、第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
画像処理装置６００によれば、文書画像における文字列の位置を学習により取得することができる。従って、画像処理装置６００によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
図１２は、実施形態に係る画像処理装置の構成の例を示す図である。図１２に示す画像処理装置６００は、文字列検出部６０１と、出力部６０２と、を備える。
かかる構成にて、文字列検出部６０１は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての特徴量に基づいて、第一の文書画像における特定項目の文字列を検出する。
出力部６０２は、第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
画像処理装置６００によれば、文書画像における文字列の位置を学習により取得することができる。従って、画像処理装置６００によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１ 画像処理装置
２ 画像読取装置
３ 記録装置
４ データベース
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１９０ 制御部
１９１ 取得部
１９２ 特徴量抽出部
１９３ 記録部
２ 画像読取装置
３ 記録装置
４ データベース
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１９０ 制御部
１９１ 取得部
１９２ 特徴量抽出部
１９３ 記録部
Claims (8)
- 文字列を含む複数の画像を用いた学習の結果に基づいて、認識対象の画像における特定項目の前記文字列を認識する文字列認識部と、
前記認識対象の画像と、前記文字列認識部による文字列認識結果とにおいて同じ前記特定項目を示す対応関係が把握可能な態様で、前記認識対象の画像と前記文字列認識結果とを出力する出力部と、
を備え、
前記文字列認識部は、前記認識対象の画像における前記特定項目の前記文字列の候補を特定し、
前記出力部は、前記特定された文字列の候補の範囲を把握可能な態様で出力する
画像処理装置。 - 前記出力部により出力された前記文字列認識結果に含まれる文字列の修正操作を受け付ける操作受付部
をさらに備え、
前記文字列認識部は、前記操作受付部により受け付けられた修正操作により修正された文字列を、認識した文字列として記録する
請求項１に記載の画像処理装置。 - 前記文字列認識部は、前記学習の結果に基づいて記録され、前記文字列を含む複数の画像が示す文書の種別毎および前記特定項目毎の文字列の特徴を示す特徴量のうち、前記認識対象の画像における文字列の特徴量に基づいて、前記特定項目の文字列を認識する
請求項１または２に記載の画像処理装置。 - 前記特徴量は、前記文字列に含まれる文字の属性および前記認識対象の画像における前記文字列の位置を示す情報に基づいて生成される
請求項３に記載の画像処理装置。 - 前記文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、およびフォントの少なくともいずれか１つを示す
請求項４に記載の画像処理装置。 - 前記文字列認識部は、前記認識対象の画像における前記特定項目の前記文字列の候補を複数検出し、
前記出力部は、前記検出された文字列の候補それぞれの範囲を把握可能な態様で出力する
請求項１から５のいずれか一項に記載の画像処理装置。 - 文字列を含む複数の画像を用いた学習の結果に基づいて、認識対象の画像における特定項目の前記文字列を認識する工程と、
前記認識対象の画像と、文字列認識結果とにおいて同じ前記特定項目を示す対応関係が把握可能な態様で、前記認識対象の画像と前記文字列認識結果とを出力する工程と、
を含み、
前記文字列を認識する工程では、前記認識対象の画像における前記特定項目の前記文字列の候補を特定し、
前記出力する工程では、前記特定された文字列の候補の範囲を把握可能な態様で出力する
画像処理方法。 - コンピュータに、
文字列を含む複数の画像を用いた学習の結果に基づいて、認識対象の画像における特定項目の前記文字列を認識する工程と、
前記認識対象の画像と、文字列認識結果とにおいて同じ前記特定項目を示す対応関係が把握可能な態様で、前記認識対象の画像と前記文字列認識結果とを出力する工程と、
を実行させ、
前記文字列を認識する工程では、前記認識対象の画像における前記特定項目の前記文字列の候補を特定させ、
前記出力する工程では、前記特定された文字列の候補の範囲を把握可能な態様で出力させる
ためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020177513A JP7111143B2 (ja) | 2020-10-22 | 2020-10-22 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020177513A JP7111143B2 (ja) | 2020-10-22 | 2020-10-22 | 画像処理装置、画像処理方法およびプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018071143A Division JP6784273B2 (ja) | 2018-04-02 | 2018-04-02 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021012741A JP2021012741A (ja) | 2021-02-04 |
| JP7111143B2 true JP7111143B2 (ja) | 2022-08-02 |
Family
ID=74226157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020177513A Active JP7111143B2 (ja) | 2020-10-22 | 2020-10-22 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7111143B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7241822B2 (ja) * | 2021-08-20 | 2023-03-17 | 株式会社マネーフォワード | 証憑構造分析システム、証憑構造分析方法及び証憑構造分析プログラム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000113100A (ja) | 1995-07-31 | 2000-04-21 | Fujitsu Ltd | 媒体処理方法及び媒体処理装置 |
| JP2015005100A (ja) | 2013-06-20 | 2015-01-08 | 株式会社日立システムズ | 情報処理装置、テンプレート生成方法、およびプログラム |
| JP2016001399A (ja) | 2014-06-11 | 2016-01-07 | 日本電信電話株式会社 | 関連性判定装置、モデル学習装置、方法、及びプログラム |
| JP2016048444A (ja) | 2014-08-27 | 2016-04-07 | 沖電気工業株式会社 | 帳票識別プログラム、帳票識別装置、帳票識別システム、および帳票識別方法 |
| JP2017016549A (ja) | 2015-07-06 | 2017-01-19 | 株式会社日立システムズ | 文字認識装置、文字認識方法、及びプログラム |
| JP2017054408A (ja) | 2015-09-11 | 2017-03-16 | オムロン株式会社 | 車種判別装置、車種判別方法、および車種判別プログラム |
| JP2017151627A (ja) | 2016-02-23 | 2017-08-31 | 沖電気工業株式会社 | 帳票データ化システム、帳票データ化装置、帳票データ化方法および帳票データ化装置の制御プログラム |
| JP2018005462A (ja) | 2016-06-30 | 2018-01-11 | 株式会社日立ソリューションズ | 認識装置及び認識方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05258099A (ja) * | 1992-03-16 | 1993-10-08 | Fujitsu Ltd | 文字認識処理装置 |
| JP3422924B2 (ja) * | 1998-03-27 | 2003-07-07 | 富士通株式会社 | 文字認識装置、文字認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2020
- 2020-10-22 JP JP2020177513A patent/JP7111143B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000113100A (ja) | 1995-07-31 | 2000-04-21 | Fujitsu Ltd | 媒体処理方法及び媒体処理装置 |
| JP2015005100A (ja) | 2013-06-20 | 2015-01-08 | 株式会社日立システムズ | 情報処理装置、テンプレート生成方法、およびプログラム |
| JP2016001399A (ja) | 2014-06-11 | 2016-01-07 | 日本電信電話株式会社 | 関連性判定装置、モデル学習装置、方法、及びプログラム |
| JP2016048444A (ja) | 2014-08-27 | 2016-04-07 | 沖電気工業株式会社 | 帳票識別プログラム、帳票識別装置、帳票識別システム、および帳票識別方法 |
| JP2017016549A (ja) | 2015-07-06 | 2017-01-19 | 株式会社日立システムズ | 文字認識装置、文字認識方法、及びプログラム |
| JP2017054408A (ja) | 2015-09-11 | 2017-03-16 | オムロン株式会社 | 車種判別装置、車種判別方法、および車種判別プログラム |
| JP2017151627A (ja) | 2016-02-23 | 2017-08-31 | 沖電気工業株式会社 | 帳票データ化システム、帳票データ化装置、帳票データ化方法および帳票データ化装置の制御プログラム |
| JP2018005462A (ja) | 2016-06-30 | 2018-01-11 | 株式会社日立ソリューションズ | 認識装置及び認識方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021012741A (ja) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6874729B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US8270721B2 (en) | Method and system for acquiring data from machine-readable documents | |
| US6525716B1 (en) | Handwritten data input device having coordinate detection tablet | |
| JP6859977B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
| WO2019194052A1 (ja) | 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 | |
| WO2019194026A1 (ja) | 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 | |
| CN110210470A (zh) | 商品信息图像识别系统 | |
| JP2014137605A (ja) | レシート定義データ作成装置およびそのプログラム | |
| JP2022125220A (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP7111143B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US11315351B2 (en) | Information processing device, information processing method, and information processing program | |
| JP6784274B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPH1173472A (ja) | フォーマット情報登録方法及びｏｃｒシステム | |
| JP4356908B2 (ja) | 財務諸表自動入力装置 | |
| JP7160432B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP3732254B2 (ja) | フォーマット情報生成方法及びフォーマット情報生成装置 | |
| JP2000003403A (ja) | 帳票入力支援方法 | |
| JPH0689330A (ja) | 画像ファイリングシステム | |
| JPH01100683A (ja) | 伝票とその伝票の読取り方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201022 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220704 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7111143 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |