JP2002024761A

JP2002024761A - 画像処理装置及び画像処理方法並びに記憶媒体

Info

Publication number: JP2002024761A
Application number: JP2000204312A
Authority: JP
Inventors: Hiroaki Ikeda; 裕章池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-07-05
Filing date: 2000-07-05
Publication date: 2002-01-25
Anticipated expiration: 2020-07-05
Also published as: JP4136282B2

Abstract

(57)【要約】【課題】テンプレートが存在しなくても、帳票上の
特定の情報を読み取ることを可能にする効果がある。【解決手段】スキャナ１０８から帳簿をイメージデ
ータとして読みとる（Ｓ２０１）。読みとったイメージ
データから文字領域を抽出する（Ｓ２０２）。また、文
字領域の位置情報をＲＡＭ１０３に記憶する。読みとっ
たイメージデータからセルを抽出する（Ｓ２０３）。抽
出された文字領域に対して文字認識を行う（Ｓ２０
４）。キーワードとなる文字（タグ）が入力され、入力
されたキーワードを前記文字コードと比較することで検
索を行う（Ｓ２０５）。検索されたキーワードの近傍に
位置するセルを推測し、選択する（Ｓ２０６）。選択さ
れたセルの中の文字コードを、このセルの位置情報と文
字コードの位置情報とを比較することで特定する（Ｓ２
０７）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、イメージデータに
含まれる文字列を読み取り、認識する画像処理装置及び
画像処理方法並びに記憶媒体に関するものである。

【０００２】

【従来の技術】従来、帳票などに書かれた特定の情報を
読み取る場合、あらかじめ文字が書かれている領域の位
置や大きさなどの情報を持つテンプレートを用意し、イ
メージスキャナなど光電変換装置で読み取られた画像デ
ータにテンプレートを当てはめ、領域内を文字認識する
ように構成されている。

【０００３】例えば、帳票に書かれている住所を読み取
る場合、まず、その帳票に対応するテンプレート情報を
取り出し、テンプレートに格納された住所領域の位置・
大きさ情報を用いて帳票画像の認識領域を文字認識する
ことで得られる。

【０００４】また、当てはめるテンプレートを選択する
ため、あらかじめ定められた位置にある帳票ＩＤを最初
に読み込み、その結果を用いてテンプレートを特定する
ように構成されている。帳票ＩＤとは、帳票の種類を特
定する、個別に定められた番号である。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来例では、テンプレートが既に存在する帳票しか読み込
ませることができず、新規の帳票が入力された場合、手
動で領域を指定するか、新たにテンプレートを作成する
か、あるいは文字認識を使用しないで手動により情報を
入力しなければならない欠点があった。

【０００６】本発明は上記の問題点を解消するためにな
されたもので、本発明の目的は、テンプレートが存在し
なくても、帳票上の特定の情報を読み取ることを可能に
することである。

【０００７】

【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の画像処理装置は以下の構成を備
える。すなわち、イメージデータに含まれる文字列を読
み取り、認識する画像処理装置であって、前記イメージ
データに含まれる文字列の領域を記憶、管理する記憶管
理手段と、前記イメージデータに含まれる文字列のう
ち、検索対象の文字列をキーワードとして指定する指定
手段と、当該キーワードに基づいて前記記憶管理手段か
ら検索することで、当該キーワードに応じた文字列を特
定する検索特定手段と、特定された文字列に応じた文字
列を、前記記憶管理手段より選択する選択手段とを備
え、当該選択手段により選択された文字列を、前記特定
された文字列の値として定義する。

【０００８】

【発明の実施の形態】以下添付図面に従って、本発明を
好適な実施形態に従って詳細に説明する。

【０００９】［第１の実施形態］図１は本実施形態を実
施するための画像処理装置の構成を示すブロック図であ
る。

【００１０】１０１はＣＰＵで、ＲＯＭ１０２又は外部
記憶装置１０４に記憶されている各種の制御プログラム
コードに従って本装置全体の制御を行う。

【００１１】１０２はＲＯＭで、画像処理装置の起動時
に必要なプログラムコードやデータ等が記憶されてい
る。また、起動後に必要なプログラムコードや設定デー
タ、後述する文字認識やキーボード１０６やポインティ
ングデバイス１０７からのコマンド入力の際に用いる文
字データなども記憶している。

【００１２】１０３はＲＡＭで、外部記憶装置１０４又
はＲＯＭ１０２から読み込んだ各種のプログラムコード
を一時的に記憶すると共に、ＣＰＵ１０１がこのプログ
ラムコードを実行する際のワークエリアとして用いられ
る。

【００１３】１０４は磁気ディスク等の外部記憶装置で
あり、帳簿のテキストファイルやイメージファイルなど
のファイルが記憶される。

【００１４】１０５はディスプレイで、外部記憶装置１
０４，もしくはイメージスキャナ１０８から読みとった
（帳簿の）イメージデータやテキストデータを表示した
り、画像処理装置からのシステムメッセージなどを表示
したりする。

【００１５】１０６はキーボードでポインティングデバ
イス１０７と共に、画像処理装置に対して各種のコマン
ドを入力することができる。

【００１６】１０７はマウス等を含むポインティングデ
バイスである。

【００１７】１０８はイメージスキャナで、帳票はここ
から読み取られ、ＲＡＭ１０３、あるいは外部記憶装置
１０４に記憶される。

【００１８】１０９はネットワークインターフェイス
（以下、ネットワークＩ／Ｆ）で、ネットワークを介し
て他の外部記憶装置にファイルの読み書きをすることも
可能である。なお、画像処理装置を汎用コンピュータな
どで実施する場合は、後述する画像処理方法をプログラ
ムコードによりこのネットワークＩ／Ｆ１０９を介して
受信することができる。

【００１９】１１１は上述の各部を繋ぐバスである。

【００２０】図５は本実施形態における画像処理装置の
処理対象となる帳票５０１の一例を示す図である。同図
において帳票５０１は、記載する内容（帳簿情報）とそ
のタグが記載されている。帳簿情報としては住所５０
６、氏名５０８、氏名５０８のフリガナ５０７、電話番
号５０９があり、タグとしては住所のタグ５０２、氏名
のタグ５０４、氏名５０８のフリガナのタグ５０３、電
話番号のタグ５０５などがある。そして罫線などでそれ
らのフィールドが分割されている。

【００２１】図１に示した本実施形態における画像処理
装置が実行する処理の概略を、図２に示した同処理のフ
ローチャートを用いて説明する。

【００２２】ステップＳ２０１においては、スキャナ１
０８から帳簿をイメージデータとして読みとり、ＲＡＭ
１０３に記憶する。また帳簿のイメージデータが予め外
部記憶装置１０４にファイル形式で記憶されている場合
には外部記憶装置１０４から同ファイルを読みとり、イ
メージデータとしてＲＡＭ１０４に展開、記憶する。

【００２３】ステップＳ２０２においては、読みとった
帳簿のイメージデータから文字領域を抽出する。なお、
この際に文字領域に関する情報として文字領域の位置情
報（Ｘ、Ｙ座標値）をＲＡＭ１０３に記憶する。位置情
報の取り方については後述する。

【００２４】ステップＳ２０３においては、読みとった
帳簿のイメージデータからセルを抽出する。ここでのセ
ルとは罫線で囲まれた矩形領域のこととする。文字領域
の抽出は、例えば、読みとった帳簿のイメージデータを
Ｍ×Ｎ毎に分割し、分割した小領域をＯＲで間引きし、
間引いた帳簿のイメージデータが連結する部分をまとめ
小矩形を作り、さらに、各小矩形の縦横比が大きく短辺
同士が接近している矩形を結合することで文字行を取り
出すことで実現できる。あるいは、特開平７−２３４９
１８号公報にあるような方法で文字領域を精度よく抽出
することが可能である。また、セルの抽出も特開平１０
−８３４３１号公報に記載の方法により実現できる。な
お、ステップＳ２０２とステップＳ２０３における処理
の順序は逆であっても問題はない。又、抽出されたセル
の位置情報をＲＡＭ１０３に記憶する。

【００２５】ステップＳ２０４においては、上述の処理
において抽出された文字領域に対して文字認識を行う。
なお文字認識の方法についてはＤＰマッチングやニュー
ラルネットワークなど公知の方法を用い、この方法につ
いての詳細な説明に関しては本実施形態の範疇ではない
ので省略する。また、文字認識の結果、認識した文字を
文字コードに置き換える際の処理についても上述の公知
の方法に含まれるため、説明を省く。なお、各文字領域
内の文字コードデータとしてのテキストデータ（テキス
トファイル）が予め外部記憶装置１０４などに記憶され
ている場合には、本ステップにおける上述の処理は必要
なく、このテキストファイルの内部をＲＡＭ１０３に読
み込む（ロード処理）。

【００２６】なお、各文字領域に対応した文字コードに
は、ＲＡＭ１０３に記憶された文字領域のデータとリン
クを張る。つまり、各文字コードがどの文字領域に記載
されていた文字を表現しているのか特定する。具体的に
は文字コードに、この認識を行った文字領域の位置情報
を添付する。

【００２７】上述の文字コードの特定後、ステップＳ２
０５においては、”住所”や”電話番号”などのキーワ
ードとなる文字（タグ）がキーボード１０６もしくはポ
インティングデバイス１０７から入力され、入力された
キーワードを前記文字コードと比較することで検索を行
う。ここで、”住所”、”おところ”や”電話番
号”、”Ｔｅｌ”など、同様の意味を表すものは同一視
し、それら複数の文字コードで検索するように構成して
おく。

【００２８】ステップＳ２０６においては、検索された
キーワードの近傍に位置する検索されたキーワードに対
応する情報が書かれているセルを推測し、選択する。セ
ルは一般に左上を原点とし、横をＸ、縦をＹとして場所
を特定するが、上述の通り、ＲＡＭ１０３に記憶された
セルの位置情報を用いることで、各セルの位置関係がわ
かるので、横書きの場合、選択するセルは、住所などの
キーワードが記載されたセルと同一の行で、次の列とな
る。縦書きなら、同一列の次行が選択するセルとなる。
つまり、文字情報の組方向により選択されるセルの方向
が異なる。その結果、例えばキーワードとしての住所の
タグ５０２が記載されたセルに対し、住所５０３が記載
されたセルが選択される。

【００２９】ステップＳ２０７においては、選択された
セルの中の文字コードを、このセルの位置情報と文字コ
ードの位置情報とを比較することで特定する。つまり、
選択されたセル内の文字コードを位置情報により特定す
る。

【００３０】以上説明したように、本実施形態における
画像処理装置及び画像処理方法により罫線で囲まれた形
式の帳票から、特定の情報をテンプレートを用いること
なく読み取ることができる。また、複数の表現がある同
一の意味を持つ情報に対しても、正しく読み取りができ
る効果がある。

【００３１】なお、ネットワークＩ／Ｆ１０９を介し、
通信手段を用いて遠隔地にある記憶装置等にある帳簿の
イメージデータのファイルや各種のプログラムコードを
使用してもよい。また、文字認識に関して、認識精度を
向上させるための処理を含めて構成しても問題ない。

【００３２】また、図２に示したフローチャートに従っ
たプログラムコードは外部記憶装置１０４またはＲＯＭ
１０２に記憶されている。

【００３３】［第２の実施形態］本実施形態における画
像処理装置の構成は図１に示した構成と同じであるが、
処理対象の帳簿が図６に示したような形式である場合に
ついて示すと共に説明する。

【００３４】図６に示した帳簿６０１では、罫線がない
形式でキーワード（タグ）と夫々のキーワードに対する
値（帳簿情報）が記載されている。

【００３５】図６のような形状の帳票６０１に対する本
実施形態における画像処理装置の処理の概略を、図３に
示した同処理のフローチャートを用いて説明する。

【００３６】ステップＳ３０１においては、ステップＳ
２０１における処理と同様、帳簿６０１をイメージデー
タとして読みとり、ＲＡＭ１０３に記憶する。

【００３７】ステップＳ３０２においては、ＲＡＭ１０
３に記憶されたイメージデータから文字領域を抽出す
る。例として帳票６０１から文字領域を抽出すると、図
７に示した同帳簿６０１おいて、７０１から７０６のよ
うに各文字領域（各キーワード部分と夫々のキーワード
に対する値の部分）が同図のように抽出される。同様に
各文字領域の位置情報も検出され、ＲＡＭ１０３に記憶
される。

【００３８】ステップＳ３０３においては、ステップＳ
２０４と同様に文字認識（もしくはロード処理）を行
う。

【００３９】上述の文字コードの特定後、ステップＳ３
０４においては、ステップＳ２０５と同様に、キーワー
ドが入力され、入力されたキーワードを検索する。

【００４０】ステップＳ３０５においては、検索された
キーワードの文字領域の近傍の対応する情報が書かれて
いる文字領域を前述の位置情報を用いて推測し、選択す
る。帳簿６０１のような縦書きの場合、左下側にある文
字領域を探し、横書きの場合、右下に向かって探すよう
に構成しておけばよい。その結果、例えばキーワードと
しての住所のタグの文字領域７０１に対し、住所の文字
領域７０２が選択される。

【００４１】ステップＳ３０６においては、選択された
文字領域の文字コードを、キーワードの値とする。

【００４２】以上説明したように、本実施形態における
画像処理装置及び画像処理方法により、罫線のない形式
の帳票においても、テンプレートを用いることなく特定
の情報を読み取ることができる効果がある。

【００４３】［第３の実施形態］本実施形態における画
像処理装置の構成は図１に示した構成と同じであるが、
処理対象の帳簿の構成が図８に示したような形式である
場合について示すと共に説明する。

【００４４】図８に示した帳簿８０１では、キーワード
（タグ）と夫々のキーワードに対する値（帳簿情報）と
がセットで同じセル内に記載されている。

【００４５】図８のような形状の帳票８０１に対する本
実施形態における画像処理装置の処理の概要を、図４に
示した同処理のフローチャートを用いて説明する。

【００４６】ステップＳ４０１からステップＳ４０５ま
ではステップＳ２０１からステップＳ２０５と同じ内容
の処理である。

【００４７】ステップＳ４０６においては、検索された
キーワードの文字領域がセル内に存在しないと判断され
た場合、文字領域のみでの処理となりこれ以降の処理は
第２の実施形態と同じになるので、ステップＳ３０５，
Ｓ３０６の処理を実行することになる。

【００４８】一方、検索されたキーワードの文字領域が
セル内に存在する場合、処理はステップＳ４０７に移行
し、検索されたキーワードと同一のセル内に、検索され
たキーワードの文字領域とは別の文字領域（他方の文字
領域）が存在するかを判断し、存在する場合にはステッ
プＳ４０８に処理を移行し、このセル内の他方の文字領
域の文字コードの特定の結果を、キーワードの値とす
る。例えば図９で住所を検索した場合、文字領域９０１
がキーワードとして取られ、同一セル８０２にある文字
領域９０２の文字コードが求めるキーワードの値であ
る。

【００４９】また、ステップＳ４０７で、同一セルに他
方の文字領域が存在しない場合、１つのセルに１つの文
字領域が存在しているのでこれ以降の処理は第１の実施
形態と同じになるので、ステップＳ２０６，Ｓ２０７の
処理を実行することになる。

【００５０】以上説明したように、本実施形態における
画像処理装置及び画像処理方法により、罫線で囲まれた
中にキーワードとキーワードの値が記載されている形式
の帳票であっても、テンプレートを用いることなく特定
の情報を読み取ることができる効果がある。また、様々
な形態の帳票に対しても、キーワードに対応する文字情
報を読み取ることが出来る効果がある。

【００５１】［他の実施形態］なお、上述の実施形態
は、複数の機器（例えばホストコンピュータ、インタフ
ェイス機器、リーダ、プリンタなど）から構成されるシ
ステムに適用しても、一つの機器からなる装置（例え
ば、複写機、ファクシミリ装置など）に適用してもよ
い。

【００５２】また、上述の実施形態の目的は、前述した
実施形態の機能を実現するソフトウェアのプログラムコ
ードを記録した記憶媒体（または記録媒体）を、システ
ムあるいは装置に供給し、そのシステムあるいは装置の
コンピュータ（またはCPUやMPU）が記憶媒体に格納され
たプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は上述の実施形態を構成する
ことになる。また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているオペレーテ
ィングシステム(OS)などが実際の処理の一部または全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。

【００５３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００５４】上述の実施形態を上記記憶媒体に適用する
場合、その記憶媒体には、先に説明した（図２、及び／
又は図３、及び／又は図４に示す）フローチャートに対
応するプログラムコードが格納されることになる。又、
上述の記憶媒体は図１０に示す様な構成の情報を格納す
る記憶媒体であってもよく、図２，３，４に示したフロ
ーチャートに従ったプログラムコードを格納すると共
に、更に前記記憶媒体内で各プログラムコードが格納さ
れているディレクトリに関する情報を格納する。

【００５５】

【発明の効果】以上説明したように、本発明によれば、
テンプレートが存在しなくても、帳票上の特定の情報を
読み取ることを可能にする効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における画像処理装置
の構成を示す図である。

【図２】図１に示した画像処理装置が実行する処理のフ
ローチャートである。

【図３】本発明の第２の実施形態における帳簿に対する
画像処理装置の処理のフローチャートである。

【図４】本発明の第３の実施形態における帳簿に対する
画像処理装置の処理のフローチャートである。

【図５】本発明の第１の実施形態における画像処理装置
の処理対象となる帳簿の一例を示す図である。

【図６】本発明の第１の実施形態における画像処理装置
の処理対象となる帳簿の一例を示す図である。

【図７】図６に示した帳簿において、各文字領域の抽出
を説明する図である。

【図８】本発明の第３の実施形態における画像処理装置
の処理対象となる帳簿の一例を示す図である。

【図９】図８に示した帳簿において、セルの抽出と文字
領域の抽出を説明する図である。

【図１０】第１乃至３の実施形態における画像処理装置
が実行するプログラムコードを格納した記憶媒体の構成
を示す図である。

Claims

【特許請求の範囲】

【請求項１】イメージデータに含まれる文字列を読み
取り、認識する画像処理装置であって、前記イメージデータに含まれる文字列の領域を記憶、管
理する記憶管理手段と、前記イメージデータに含まれる文字列のうち、検索対象
の文字列をキーワードとして指定する指定手段と、当該キーワードに基づいて前記記憶管理手段から検索す
ることで、当該キーワードに応じた文字列を特定する検
索特定手段と、特定された文字列に応じた文字列を、前記記憶管理手段
より選択する選択手段とを備え、当該選択手段により選択された文字列を、前記特定され
た文字列の値として定義することを特徴とする画像処理
装置。
【請求項２】前記選択手段は、前記特定された文字列
の領域近傍の領域に含まれる文字列を選択することを特
徴とする請求項１に記載の画像処理装置。
【請求項３】更に、前記イメージデータに含まれる文
字列がセルに含まれ、前記イメージデータの一部が当該
セルを用いて構成されている場合、前記選択手段は、特定された文字列を含むセル近傍のセ
ルを特定し、特定されたセル内の文字列を選択すること
を特徴とする請求項１に記載の画像処理装置。
【請求項４】更に、特定された文字列を含むセル内
に、他の文字列が存在する場合、前記選択手段は、当該
他の文字列を選択することを特徴とする請求項３に記載
の画像処理装置。
【請求項５】前記イメージデータは帳簿のイメージデ
ータであることを特徴とする請求項１乃至４のいずれか
１項に記載の画像処理装置。
【請求項６】前記特定検索手段は、同様の意味を表す
文字列は同一視して検索することを特徴とする請求項１
乃至５のいずれか１項に記載の画像処理装置。
【請求項７】前記選択手段は、注目文字列の方向に基
づいて選択することを特徴とする請求項１乃至６のいず
れか１項に記載の画像処理装置。
【請求項８】前記選択手段は、文字の領域の座標値を
抽出すると共に、当該座標値に基づいて選択することを
特徴とする請求項１に記載の画像処理装置。
【請求項９】イメージデータに含まれる文字列を読み
取り、認識する画像処理方法であって、前記イメージデータに含まれる文字列の領域を所定の記
憶管理手段に記憶、管理する記憶管理工程と、前記イメージデータに含まれる文字列のうち、検索対象
の文字列をキーワードとして指定する指定工程と、当該キーワードに基づいて前記所定の記憶管理手段から
検索することで、当該キーワードに応じた文字列を特定
する検索特定工程と、特定された文字列に応じた文字列を、前記所定の記憶管
理手段より選択する選択工程とを備え、当該選択工程で選択された文字列を、前記特定された文
字列の値として定義することを特徴とする画像処理方
法。
【請求項１０】前記選択工程は、前記特定された文字
列の領域近傍の領域に含まれる文字列を選択することを
特徴とする請求項９に記載の画像処理方法。
【請求項１１】更に、前記イメージデータに含まれる
文字列がセルに含まれ、前記イメージデータの一部が当
該セルを用いて構成されている場合、前記選択工程では、特定された文字列を含むセル近傍の
セルを特定し、特定されたセル内の文字列を選択するこ
とを特徴とする請求項９に記載の画像処理方法。
【請求項１２】更に、特定された文字列を含むセル内
に、他の文字列が存在する場合、前記選択工程では、当
該他の文字列を選択することを特徴とする請求項１１に
記載の画像処理方法。
【請求項１３】イメージデータに含まれる文字列を読
み取り、認識する画像処理装置として機能するプログラ
ムコードを格納する記憶媒体であって、前記イメージデータに含まれる文字列の領域を所定の記
憶管理手段に記憶、管理する記憶管理工程のプログラム
コードと、前記イメージデータに含まれる文字列のうち、検索対象
の文字列をキーワードとして指定する指定工程のプログ
ラムコードと、当該キーワードに基づいて前記所定の記憶管理手段から
検索することで、当該キーワードに応じた文字列を特定
する検索特定工程のプログラムコードと、特定された文字列に応じた文字列を、前記所定の記憶管
理手段より選択する選択工程のプログラムコードとを備
え、当該選択工程で選択された文字列を、前記特定された文
字列の値として定義することを特徴とする記憶媒体。
【請求項１４】前記選択工程のプログラムコードは、
前記特定された文字列の領域近傍の領域に含まれる文字
列を選択することを特徴とする請求項１３に記載の記憶
媒体。
【請求項１５】更に、前記イメージデータに含まれる
文字列がセルに含まれ、前記イメージデータの一部が当
該セルを用いて構成されている場合、前記選択工程のプログラムコードは、特定された文字列
を含むセル近傍のセルを特定し、特定されたセル内の文
字列を選択することを特徴とする請求項１３に記載の記
憶媒体。
【請求項１６】更に、特定された文字列を含むセル内
に、他の文字列が存在する場合、前記選択工程のプログ
ラムコードは、当該他の文字列を選択することを特徴と
する請求項１５に記載の記憶媒体。