JP6003375B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP6003375B2 JP6003375B2 JP2012175918A JP2012175918A JP6003375B2 JP 6003375 B2 JP6003375 B2 JP 6003375B2 JP 2012175918 A JP2012175918 A JP 2012175918A JP 2012175918 A JP2012175918 A JP 2012175918A JP 6003375 B2 JP6003375 B2 JP 6003375B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- character
- candidate area
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
本発明は、画像処理装置及び画像処理プログラムに関する。
特許文献１には、文字枠なしでべたに書かれた手書き文字列から、１文字領域の候補に確率を付与して出力する文字切り出し手段と、該文字切り出し手段から出力された１文字領域の候補に対して認識を行い、文字コードの候補に確率を付与して出力する１文字認識手段と、該１文字認識手段の出力結果から用語候補に確率を付与して出力する用語照合手段と、前記文字切り出し手段が出力した１文字領域候補の確率と前記１文字認識手段の出力結果を根拠として得られる１文字領域候補の確率とを統合して総合的な１文字領域候補の出力を得る第１の確率統合手段と、前記１文字認識手段が出力した文字コード候補の確率と前記用語照合手段の出力結果を根拠として得られる文字コード候補の確率とを統合して総合的な文字コード候補の確率を得る第２の確率統合手段と、前記第１の確率統合手段と前記第２の確率統合手段との出力に基づき、最終結果となる文字列コード列を出力する出力判定手段とを具備し、前記第１の確率統合手段及び前記第２の確率統合手段の出力をそれぞれ前記文字切り出し手段及び前記１文字認識手段にフィードバックし、確率の統合を定常状態に達するまで繰り返し行うことを特徴とする文字列入力方式が開示されている。
特許文献２には、マルチサイズ、不定ピッチの日本語文書の認識率を上げることを目的とし、文字パターン辞書に、文字のブロック数が登録されており、文字切り出し部で切り出した文字パターンを、認識部で文字パターン辞書と照合し、認識結果文字のブロック数と文字パターンのブロック数とをブロック数参照部で比較し、ブロック数が不一致のときは、再文字切り出し部で文字パターンを分割して再認識部で認識し、認識結果を出力し、これにより分離文字の切り出し精度、認識率を改善できることが開示されている。
本発明は、画像から１行の文字列を抽出する場合にあって、複数行の文字列を抽出してしまうことを防止するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像から文字列の候補となる領域である文字列候補領域を切り出す切出手段と、前記文字列候補領域が１行の文字列であるか否かを判定する判定手段と、判定結果が１行の文字列ではない場合は、前記文字列候補領域の行方向とは垂直方向に分割する分割手段を具備し、前記切出手段は、前記分割手段によって分割された領域の画像を対象の画像とし、前記分割手段は、文字列方向の投影分布を算出し、投影分布の最低値が予め定められた閾値を超えた場合に、分割を行うことを特徴とする画像処理装置である。
請求項１の発明は、画像から文字列の候補となる領域である文字列候補領域を切り出す切出手段と、前記文字列候補領域が１行の文字列であるか否かを判定する判定手段と、判定結果が１行の文字列ではない場合は、前記文字列候補領域の行方向とは垂直方向に分割する分割手段を具備し、前記切出手段は、前記分割手段によって分割された領域の画像を対象の画像とし、前記分割手段は、文字列方向の投影分布を算出し、投影分布の最低値が予め定められた閾値を超えた場合に、分割を行うことを特徴とする画像処理装置である。
請求項２の発明は、前記文字列候補領域から文字の候補となる領域である文字候補領域を切り出す第２の切出手段を具備し、前記判定手段は、前記文字候補領域の特徴量に基づいて、前記文字列候補領域が１行の文字列であるか否かを判定することを特徴とする請求項１に記載の画像処理装置である。
請求項３の発明は、前記判定手段は、前記文字候補領域の特徴量として、該文字候補領域の大きさ、位置又は前記文字列候補領域と該文字候補領域の大きさの比率のいずれか１つ以上を用いることを特徴とする請求項２に記載の画像処理装置である。
請求項４の発明は、前記文字候補領域を対象として文字認識する文字認識手段を具備し、前記判定手段は、前記文字認識手段による認識結果に基づいて、前記文字列候補領域が１行の文字列であるか否かを判定することを特徴とする請求項２又は３に記載の画像処理装置である。
請求項５の発明は、前記分割手段は、前記文字候補領域に基づいて、分割した前記文字列候補領域の画像を再生することを特徴とする請求項２、又は請求項２に従属する請求項３若しくは請求項４のいずれか一項に記載の画像処理装置である。
請求項６の発明は、コンピュータを、画像から文字列の候補となる領域である文字列候補領域を切り出す切出手段と、前記文字列候補領域が１行の文字列であるか否かを判定する判定手段と、判定結果が１行の文字列ではない場合は、前記文字列候補領域の行方向とは垂直方向に分割する分割手段として機能させ、前記切出手段は、前記分割手段によって分割された領域の画像を対象の画像とし、前記分割手段は、文字列方向の投影分布を算出し、投影分布の最低値が予め定められた閾値を超えた場合に、分割を行うことを特徴とする画像処理プログラムである。
請求項１の画像処理装置によれば、画像から１行の文字列を抽出する場合にあって、複数行の文字列を抽出してしまうことを防止することができる。また、文字列候補領域内の行方向の投影分布に基づいて、分割位置を決定することができる。
請求項２の画像処理装置によれば、文字候補領域の特徴量に基づいて、文字列候補領域が１行の文字列であるか否かを判定することができる。
請求項３の画像処理装置によれば、文字候補領域の特徴量として、該文字候補領域の大きさ、位置又は前記文字列候補領域と該文字候補領域の大きさの比率のいずれか１つ以上を用いることができる。
請求項４の画像処理装置によれば、文字認識結果に基づいて、文字列候補領域が１行の文字列であるか否かを判定することができる。
請求項５の画像処理装置によれば、文字候補領域に基づいて、分割した文字列候補領域の画像を再生することができる。
請求項６の画像処理プログラムによれば、画像から１行の文字列を抽出する場合にあって、複数行の文字列を抽出してしまうことを防止することができる。また、文字列候補領域内の行方向の投影分布に基づいて、分割位置を決定することができる。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、すべての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、すべての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
本実施の形態である画像処理装置は、画像から１行の文字列を抽出し、その１行の文字列の画像を文字認識するものであって、図１の例に示すように、文字列切出しモジュール１１０、文字切出しモジュール１２０、文字認識モジュール１３０、文字列判定モジュール１４０、文字列分割モジュール１５０を有している。特に、文書画像にスキュー（傾き）が存在する場合や、手書き文書などで行間又は列間の間隔が一定ではない場合や、例えば手書きの自由記入枠に斜め書きで記載された場合など、文字行（文字列）自体にスキューが存在する場合を対象とするものである。
文字列切出しモジュール１１０は、文字切出しモジュール１２０、文字列分割モジュール１５０と接続されている。文字列切出しモジュール１１０は、画像（文字画像データ１０８）から文字列の候補となる領域である文字列候補領域（文字列画像データ１１２）を切り出す。また、文字列切出しモジュール１１０は、文字列分割モジュール１５０によって分割された領域の画像（分割画像データ１５２）を対象の画像として、文字列候補領域（文字列画像データ１１２）を切り出す。なお、ここで文字列とは、文字の並びであって、横書きにおける文字列であってもよいし、縦書きにおける文字列であってもよい。
文字切出しモジュール１２０は、文字列切出しモジュール１１０、文字認識モジュール１３０、文字列判定モジュール１４０と接続されている。文字切出しモジュール１２０は、文字列切出しモジュール１１０によって切り出された文字列候補領域（文字列画像データ１１２）から文字の候補となる領域である文字候補領域を切り出して、文字候補領域を文字認識モジュール１３０に渡し、文字列候補領域（文字列画像データ１２２（文字列画像データ１１２と同等のもの））を文字列判定モジュール１４０に渡す。
文字認識モジュール１３０は、文字切出しモジュール１２０、文字列判定モジュール１４０と接続されている。文字認識モジュール１３０は、文字切出しモジュール１２０によって切り出された文字候補領域を対象として文字認識（画像中の文字を認識して文字コードデータに変換する処理）し、認識結果１３２を文字列判定モジュール１４０に渡す。
文字切出しモジュール１２０は、文字列切出しモジュール１１０、文字認識モジュール１３０、文字列判定モジュール１４０と接続されている。文字切出しモジュール１２０は、文字列切出しモジュール１１０によって切り出された文字列候補領域（文字列画像データ１１２）から文字の候補となる領域である文字候補領域を切り出して、文字候補領域を文字認識モジュール１３０に渡し、文字列候補領域（文字列画像データ１２２（文字列画像データ１１２と同等のもの））を文字列判定モジュール１４０に渡す。
文字認識モジュール１３０は、文字切出しモジュール１２０、文字列判定モジュール１４０と接続されている。文字認識モジュール１３０は、文字切出しモジュール１２０によって切り出された文字候補領域を対象として文字認識（画像中の文字を認識して文字コードデータに変換する処理）し、認識結果１３２を文字列判定モジュール１４０に渡す。
文字列判定モジュール１４０は、文字切出しモジュール１２０、文字認識モジュール１３０、文字列分割モジュール１５０と接続されている。文字列判定モジュール１４０は、文字列切出しモジュール１１０によって切り出された文字列候補領域が１行の文字列であるか否かを判定する。なお、ここで行とは、横書きにおける行（文字列）であってもよいし、縦書きにおける行（文字列）であってもよい。そして、文字列判定モジュール１４０は、１行の文字列ではない（文字列候補領域には複数行の文字列が含まれている）と判定した場合は、文字列画像データ１４２（文字列画像データ１１２又は文字列画像データ１２２と同等のもの）を文字列分割モジュール１５０に渡し、１行の文字列である（文字列候補領域には１行だけの文字列が含まれている）と判定した場合は、その１行の文字列に対する文字認識モジュール１３０による認識結果である最終認識結果１４４を出力する。最終認識結果１４４を出力するとは、例えば、ディスプレイ等の表示装置に表示すること、プリンタ等の印刷装置で印刷すること、文書データベース等の記憶装置へ文書の認識結果として書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置（例えば、翻訳処理装置等）へ渡すこと等が含まれる。
また、文字列判定モジュール１４０は、文字候補領域の特徴量に基づいて、文字列候補領域が１行の文字列であるか否かを判定するようにしてもよい。この文字候補領域の特徴量として、その文字候補領域の大きさ、位置又は文字列候補領域と文字候補領域の大きさの比率のいずれか１つ以上を用いるようにしてもよい。
文字列判定モジュール１４０は、文字認識モジュール１３０による認識結果に基づいて、文字列候補領域が１行の文字列であるか否かを判定するようにしてもよい。
また、文字列判定モジュール１４０は、文字候補領域の特徴量に基づいて、文字列候補領域が１行の文字列であるか否かを判定するようにしてもよい。この文字候補領域の特徴量として、その文字候補領域の大きさ、位置又は文字列候補領域と文字候補領域の大きさの比率のいずれか１つ以上を用いるようにしてもよい。
文字列判定モジュール１４０は、文字認識モジュール１３０による認識結果に基づいて、文字列候補領域が１行の文字列であるか否かを判定するようにしてもよい。
文字列分割モジュール１５０は、文字列切出しモジュール１１０、文字列判定モジュール１４０と接続されている。文字列分割モジュール１５０は、文字列判定モジュール１４０による判定結果が１行の文字列ではない場合は、文字列候補領域の行方向とは垂直方向に分割する。ここで垂直方向とは、行方向と垂直になっている場合の他に、文字列候補領域の行方向を分割するための線（直線、曲線を含む）であればよい。例えば、分割位置として予め定められた位置（例えば、文字列候補領域における行方向の１／２等の位置）としてもよい。
また、文字列分割モジュール１５０は、文字列候補領域内の行方向の投影分布に基づいて、分割位置を決定するようにしてもよい。
文字列分割モジュール１５０は、文字候補領域に基づいて、分割した文字列候補領域の画像を再生するようにしてもよい。画像の再生処理については、図１２を用いて後述する。
なお、図１の例では、文字切出しモジュール１２０、文字認識モジュール１３０があるが、この２つは無くてもよい。つまり、文字列切出しモジュール１１０は文字列判定モジュール１４０と接続されていてもよい。文字列判定モジュール１４０は、文字列候補領域の特徴量に基づいて、文字列候補領域が１行の文字列であるか否かを判定する。文字列候補領域の特徴量として、例えば、文字列候補領域の投影分布の形状がある。具体例については後述する。
また、文字列分割モジュール１５０は、文字列候補領域内の行方向の投影分布に基づいて、分割位置を決定するようにしてもよい。
文字列分割モジュール１５０は、文字候補領域に基づいて、分割した文字列候補領域の画像を再生するようにしてもよい。画像の再生処理については、図１２を用いて後述する。
なお、図１の例では、文字切出しモジュール１２０、文字認識モジュール１３０があるが、この２つは無くてもよい。つまり、文字列切出しモジュール１１０は文字列判定モジュール１４０と接続されていてもよい。文字列判定モジュール１４０は、文字列候補領域の特徴量に基づいて、文字列候補領域が１行の文字列であるか否かを判定する。文字列候補領域の特徴量として、例えば、文字列候補領域の投影分布の形状がある。具体例については後述する。
図２は、本実施の形態による処理例（文字認識処理例）を示すフローチャートである。なお、以下で説明する処理の流れは１つの文字列に関する処理の流れを説明するものであり、複数の文字列を処理する場合は、以下に説明するステップＳ２０２からステップＳ２１４を文字列数分だけ繰り返すようにする。
ステップＳ２０２では、文字列切出しモジュール１１０は、文字画像データ１０８中の文字列に相当する候補領域を文字列候補領域（文字列画像データ１１２）として順次切り出す。文字列切出しモジュール１１０における文字列切出し処理は、文字列方向の投影分布に基づいて領域分割する従来技術を利用した既存の手法でよい。
ステップＳ２０４では、文字切出しモジュール１２０は、文字列切出しモジュール１１０で切り出した文字列候補画像（文字列画像データ１１２）に対して、文字切出し処理を行い、単文字候補領域を切り出す。文字切出しモジュール１２０における文字切出し処理は、画素塊を切り出す従来技術を利用した既存の手法でよい。ここで、画素塊とは、４連結又は８連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含む。これらの画素領域の集合とは、４連結等で連続した画素領域が複数あり、その複数の画素領域は近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの、文章としての１行から１文字ずつ切り出すように縦又は横方向に射影し、空白地点で切り出した画像領域、又は一定間隔で切り出した画像領域等がある。なお、１つの画素塊として、１文字の画像となる場合が多い。ただし、実際に人間が文字として認識できる画素領域である必要はない。文字の一部分、文字を形成しない画素領域等もあり、何らかの画素の塊であればよい。単文字候補領域は、これらの画素塊の外接矩形であってもよい。
ステップＳ２０４では、文字切出しモジュール１２０は、文字列切出しモジュール１１０で切り出した文字列候補画像（文字列画像データ１１２）に対して、文字切出し処理を行い、単文字候補領域を切り出す。文字切出しモジュール１２０における文字切出し処理は、画素塊を切り出す従来技術を利用した既存の手法でよい。ここで、画素塊とは、４連結又は８連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含む。これらの画素領域の集合とは、４連結等で連続した画素領域が複数あり、その複数の画素領域は近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの、文章としての１行から１文字ずつ切り出すように縦又は横方向に射影し、空白地点で切り出した画像領域、又は一定間隔で切り出した画像領域等がある。なお、１つの画素塊として、１文字の画像となる場合が多い。ただし、実際に人間が文字として認識できる画素領域である必要はない。文字の一部分、文字を形成しない画素領域等もあり、何らかの画素の塊であればよい。単文字候補領域は、これらの画素塊の外接矩形であってもよい。
ステップＳ２０６では、文字認識モジュール１３０は、文字切出しモジュール１２０で切り出した単文字候補領域に対して文字認識を行い、認識結果１３２としての文字コードを出力する。
ステップＳ２０８では、文字列判定モジュール１４０は、例えば、文字切出しモジュール１２０で切り出した単文字候補領域の位置情報及び文字認識モジュール１３０で得られた認識結果１３２に基づいて、文字列候補領域が１行の文字列として切り出されているか、又は複数行混在の領域として切り出されているか否かを判定する。なお、文字列判定モジュール１４０における文字列判定の詳細は後述する。
ステップＳ２０８では、文字列判定モジュール１４０は、例えば、文字切出しモジュール１２０で切り出した単文字候補領域の位置情報及び文字認識モジュール１３０で得られた認識結果１３２に基づいて、文字列候補領域が１行の文字列として切り出されているか、又は複数行混在の領域として切り出されているか否かを判定する。なお、文字列判定モジュール１４０における文字列判定の詳細は後述する。
ステップＳ２１０では、文字列判定モジュール１４０は、文字列候補画像が１行の文字列の画像か否かを判断し、１行の文字列の画像である場合はステップＳ２１４へ進み、それ以外の場合（文字列候補領域には複数行が混在していると判定した場合）はステップＳ２１２へ進む。
ステップＳ２１２では、文字列分割モジュール１５０は、分割処理を行う。文字列分割モジュール１５０における分割処理の詳細については、図４のフローチャート例を用いて後述する。
ステップＳ２１４では、文字列判定モジュール１４０は、認識結果１３２を最終認識結果１４４として出力する。文字列候補領域が１行の文字列と判定されたので、文字列判定モジュール１４０は文字認識モジュール１３０の認識結果１３２を出力し、対象の文字列候補領域の処理を終了する。
ステップＳ２１２では、文字列分割モジュール１５０は、分割処理を行う。文字列分割モジュール１５０における分割処理の詳細については、図４のフローチャート例を用いて後述する。
ステップＳ２１４では、文字列判定モジュール１４０は、認識結果１３２を最終認識結果１４４として出力する。文字列候補領域が１行の文字列と判定されたので、文字列判定モジュール１４０は文字認識モジュール１３０の認識結果１３２を出力し、対象の文字列候補領域の処理を終了する。
次に、文字列判定モジュール１４０における文字列候補領域に対する判定処理の詳細について説明する。
文字列判定モジュール１４０は、文字列切出しモジュール１１０、文字切出しモジュール１２０、文字認識モジュール１３０で得られた情報に基づいて、文字列候補領域の「文字列らしさ」又は「文字列としてのきれいさ」を数値として算出し、その数値に基づいて判定処理を行う。ここで言う「文字列らしさ」又は「文字列としてのきれいさ」とは、文字列候補領域内の各単文字候補領域の並びが揃っていること、各単文字候補領域の大きさが均一であること、又は各単文字候補領域の文字認識結果が妥当であるということを意味するものである。したがって、例えば、入力された文字列候補領域内の各単文字候補領域のサイズ（外接矩形の幅、高さ、面積）がほぼ均一であること、文字列候補領域の中心に沿って均等な距離で並んでいること、又は各単文字候補領域の文字認識結果が妥当であると判断される場合は、その文字列は「文字列らしい」又は「文字列としてきれい」とする。その反対に文字列候補領域内の各単文字候補領域がばらばらに位置していたり、各単文字候補領域の大きさが極端に異なっていたりする場合は、その文字列は「文字列らしくない」又は「文字列としてきれいではない」とする。言い換えれば、「文字列らしさ」又は「文字列としてのきれいさ」は文字列候補領域内の単文字候補領域の並び、大きさ、又は文字認識結果のばらつきを数値化したものである。
文字列判定モジュール１４０は、文字列切出しモジュール１１０、文字切出しモジュール１２０、文字認識モジュール１３０で得られた情報に基づいて、文字列候補領域の「文字列らしさ」又は「文字列としてのきれいさ」を数値として算出し、その数値に基づいて判定処理を行う。ここで言う「文字列らしさ」又は「文字列としてのきれいさ」とは、文字列候補領域内の各単文字候補領域の並びが揃っていること、各単文字候補領域の大きさが均一であること、又は各単文字候補領域の文字認識結果が妥当であるということを意味するものである。したがって、例えば、入力された文字列候補領域内の各単文字候補領域のサイズ（外接矩形の幅、高さ、面積）がほぼ均一であること、文字列候補領域の中心に沿って均等な距離で並んでいること、又は各単文字候補領域の文字認識結果が妥当であると判断される場合は、その文字列は「文字列らしい」又は「文字列としてきれい」とする。その反対に文字列候補領域内の各単文字候補領域がばらばらに位置していたり、各単文字候補領域の大きさが極端に異なっていたりする場合は、その文字列は「文字列らしくない」又は「文字列としてきれいではない」とする。言い換えれば、「文字列らしさ」又は「文字列としてのきれいさ」は文字列候補領域内の単文字候補領域の並び、大きさ、又は文字認識結果のばらつきを数値化したものである。
ここで、文字列判定モジュール１４０において算出される「文字列らしさ」又は「文字列のきれいさ」を表す数値の具体的な例を示す。
１．文字列内の文字矩形高さの標準偏差：σｓ
ここで、ｓｉはｉ番目の文字矩形高さ、ｓ（なお、数式中ではｓのオーバーバー（ｏｖｅｒｂａｒ、上線）、以下同様）は文字列中の文字矩形高さの平均値、ｎは文字列中の文字矩形数をそれぞれ表す。文字矩形高さとは、単文字候補領域の高さである。なお、文字矩形高さのかわりに、文字矩形幅、文字矩形面積であってもよい。
２．（文字列中央値−文字中央値）の標準偏差：σｃ
ここで、ｃｉはｉ番目の文字矩形の重心のｙ座標値（又はｘ座標値）と文字矩形の重心のｙ座標値（又はｘ座標値）の差分の絶対値、ｃ（なお、数式中ではｃのオーバーバー、以下同様）はｃｉの平均値、ｎは文字列中の文字矩形数をそれぞれ表す。
３．文字列高さ（あるいは文字列幅）対する平均文字矩形高さ：ｒｓ
ここで、ｓ（なお、数式中ではｓのオーバーバー、以下同様）は文字列中の文字矩形高さの平均値、ｌｓは文字列高さをそれぞれ表す。なお、文字列高さのかわりに文字列幅であってもよい。文字矩形高さのかわりに文字矩形幅であってもよい。
４．認識確度平均値：ｃｆ（なお、数式中ではｃｆのオーバーバー、以下同様）
ここで、ｃｆｉは文字列中のｉ番目の文字の認識確度値を表す。
１．文字列内の文字矩形高さの標準偏差：σｓ
２．（文字列中央値−文字中央値）の標準偏差：σｃ
３．文字列高さ（あるいは文字列幅）対する平均文字矩形高さ：ｒｓ
４．認識確度平均値：ｃｆ（なお、数式中ではｃｆのオーバーバー、以下同様）
次に、算出された上述の「文字列らしさ」又は「文字列のきれいさ」を表す数値を用いた判定処理の詳細を説明する。
図３は、文字列判定モジュール１４０における判定処理の流れの一例を表した図である。文字列判定モジュール１４０では、算出された上記の「文字列らしさ」又は「文字列のきれいさ」を表す数値を、予め定められた各閾値と比較する。ここで図３を用いて判定処理の流れを説明する。
１．まず算出した文字列内の文字矩形高さ（又は文字矩形幅）の標準偏差σｓの値と予め定められた閾値Ｔｈσｓとの比較判定処理を行う（閾値判定３１５）。ここでσｓ≦Ｔｈσｓの場合は、標準偏差σｓが所定の閾値Ｔｈσｓ以下なので単文字候補領域の高さは揃っていると判定して、文字列候補画像は「文字列らしい」として（文字列中央値−文字中央値）の標準偏差σｃによる判定処理に移る。またσｓ＞Ｔｈσｓの場合は、単文字候補領域の高さが揃っていないと判定して、文字列候補領域は「文字列らしくない」として複数行混在文字列領域と判定３８０し、文字列判定モジュール１４０による文字列候補領域の判定処理を終了する。
図３は、文字列判定モジュール１４０における判定処理の流れの一例を表した図である。文字列判定モジュール１４０では、算出された上記の「文字列らしさ」又は「文字列のきれいさ」を表す数値を、予め定められた各閾値と比較する。ここで図３を用いて判定処理の流れを説明する。
１．まず算出した文字列内の文字矩形高さ（又は文字矩形幅）の標準偏差σｓの値と予め定められた閾値Ｔｈσｓとの比較判定処理を行う（閾値判定３１５）。ここでσｓ≦Ｔｈσｓの場合は、標準偏差σｓが所定の閾値Ｔｈσｓ以下なので単文字候補領域の高さは揃っていると判定して、文字列候補画像は「文字列らしい」として（文字列中央値−文字中央値）の標準偏差σｃによる判定処理に移る。またσｓ＞Ｔｈσｓの場合は、単文字候補領域の高さが揃っていないと判定して、文字列候補領域は「文字列らしくない」として複数行混在文字列領域と判定３８０し、文字列判定モジュール１４０による文字列候補領域の判定処理を終了する。
２．次に、算出した（文字列中央値−文字中央値）の標準偏差σｃの値と予め定められた閾値Ｔｈσｃとの比較判定処理を行う（閾値判定３２５）。ここでσｃ≦Ｔｈσｃの場合は、各単文字候補領域の重心がほぼ一致していると判定して、文字列候補画像は「文字列らしい」として、文字列高さ（又は文字列幅）に対する平均文字矩形高さ（又は平均文字矩形幅）ｒｓによる判定処理に移る。またσｃ＞Ｔｈσｃの場合は、各単文字候補領域の重心が揃ってないと判定して、文字列候補領域は「文字列らしくない」として複数行混在文字列領域と判定３８０し、文字列判定モジュール１４０による文字列候補領域の判定処理を終了する。
３．次に、算出した文字列高さ（又は文字列幅）に対する平均文字矩形高さ（又は文字矩形幅）ｒｓと予め定められた閾値Ｔｈｒｓとの比較判定処理を行う（閾値判定３３５）。ここでｒｓ≧Ｔｈｒｓの場合は、各単文字候補領域は文字列候補領域の列方向に沿って並んでいると判定して、文字列候補画像は「文字列らしい」として、認識確度平均値ｃｆによる判定処理に移る。またｒｓ＜Ｔｈｒｓの場合は、各単文字候補領域は列方向に沿って並んでいないと判定して、文字列候補領域は「文字列らしくない」として複数行混在文字列領域と判定３８０し、文字列判定モジュール１４０による文字列候補領域の判定処理を終了する。
４．最後に、文字列判定モジュール１４０は認識確度平均値ｃｆと所定の閾値Ｔｈｃｆとの比較判定処理を行う（閾値判定３４５）。ここでｃｆ≧Ｔｈｃｆの場合は、各単文字候補領域の文字認識結果は妥当で文字切り出しが精度よく処理されていると判定して、文字列候補画像は「文字列らしい」として１行文字列領域と判定３９０する。また、ｃｆ＜Ｔｈｃｆの場合は、各単文字候補領域の文字認識結果は妥当ではなく文字切り出しが精度よく処理されていないと判定し、文字列候補領域は「文字列らしくない」として複数行混在文字列領域と判定３８０する。いずれの場合も文字列判定モジュール１４０による文字列候補領域の判定処理を終了する。
以上説明してきたように、文字列判定モジュール１４０では、算出した各々の「文字列らしさ」又は「文字列のきれいさ」を表す数値を予め定められた各閾値と比較して、最終的にすべての数値との比較で、「文字列らしい」と判定された文字列候補領域を１行文字列領域と判定３９０し、文字認識モジュール１３０における認識結果を出力する。逆にいずれかの数値との比較において「文字列らしくない」と判定された文字列候補領域は複数行混在文字列領域として判定３８０し、文字列候補領域を後段の文字列分割モジュール１５０に出力する。
なお、これまでの説明では、標準偏差σｓ、標準偏差σｃ、高さの比ｒｓ、認識確度平均値ｃｆの順での判定であったが、文字列判定モジュール１４０における判定処理ではすべての数値と予め定められた各閾値の比較結果において「文字列らしい」と判定されるかどうかを評価しているので、判定の順番は関係なく、どの数値から判定を行ってもよい。ただし、計算量の少ないものを先に判定するようにしてもよいし、本実施の形態のように「複数行文字列として判定３８０」することが確実なものを先に判定するようにしてもよい。
なお、これまでの説明では、標準偏差σｓ、標準偏差σｃ、高さの比ｒｓ、認識確度平均値ｃｆの順での判定であったが、文字列判定モジュール１４０における判定処理ではすべての数値と予め定められた各閾値の比較結果において「文字列らしい」と判定されるかどうかを評価しているので、判定の順番は関係なく、どの数値から判定を行ってもよい。ただし、計算量の少ないものを先に判定するようにしてもよいし、本実施の形態のように「複数行文字列として判定３８０」することが確実なものを先に判定するようにしてもよい。
次に、文字列分割モジュール１５０における文字列候補領域の分割処理について詳細に説明する。
図５（ａ）は、文字列判定モジュール１４０において「文字列らしくない」と判定された、文字列切出しモジュール１１０で複数行が１行文字列領域として切り出された文字列候補領域５１０の具体的な一例を表す図である。この文字列候補領域５１０は、２行の文字列が１行文字列領域として切り出されている具体例である。図５（ａ）に示すように、例えば自由記述枠に手書きで斜め書きされたような文書画像の場合には、文字列方向の黒画素投影分布５２０に基づいて文字列領域を切り出す技術を利用した場合、その黒画素投影分布５２０は例えば図５（ｂ）に示すような分布となり、１行単位の文字列領域を分割する明確な分布の谷が現れず、結果として図５（ａ）のような２行が１行文字列領域として切り出されてしまう。
図５（ａ）は、文字列判定モジュール１４０において「文字列らしくない」と判定された、文字列切出しモジュール１１０で複数行が１行文字列領域として切り出された文字列候補領域５１０の具体的な一例を表す図である。この文字列候補領域５１０は、２行の文字列が１行文字列領域として切り出されている具体例である。図５（ａ）に示すように、例えば自由記述枠に手書きで斜め書きされたような文書画像の場合には、文字列方向の黒画素投影分布５２０に基づいて文字列領域を切り出す技術を利用した場合、その黒画素投影分布５２０は例えば図５（ｂ）に示すような分布となり、１行単位の文字列領域を分割する明確な分布の谷が現れず、結果として図５（ａ）のような２行が１行文字列領域として切り出されてしまう。
図６は、図５（ａ）に示す文字列候補領域に対して文字切出しモジュール１２０で文字切出し処理を行った結果の具体例を表す図である。ここで図６中に示した各矩形領域（単文字候補領域６０２等）が単文字候補領域を表す。
図６の例に示したように、図５（ａ）の例に示すような複数行が１行文字列領域として誤って切り出された場合、文字切出しモジュール１２０では、入力された文字列候補領域を１行文字列領域として文字切出し処理を行うので、図６に示すように、例えば上下に並ぶ「手」と「２」を単文字候補領域６０２として切り出す。その結果、この単文字候補領域を入力する文字認識モジュール１３０における文字認識精度は著しく低下する。
そこで、文字列分割モジュール１５０では、文字列判定モジュール１４０において「文字列らしくない」と判定された、例えば図５（ａ）に示すような２行の文字列が１行文字列領域として切り出された文字列候補領域５１０を分割して、分割画像を生成し、各分割画像に対して、再度、文字列切出しモジュール１１０による文字列切出し処理、文字切出しモジュール１２０による文字切出し処理等を行う。
図６の例に示したように、図５（ａ）の例に示すような複数行が１行文字列領域として誤って切り出された場合、文字切出しモジュール１２０では、入力された文字列候補領域を１行文字列領域として文字切出し処理を行うので、図６に示すように、例えば上下に並ぶ「手」と「２」を単文字候補領域６０２として切り出す。その結果、この単文字候補領域を入力する文字認識モジュール１３０における文字認識精度は著しく低下する。
そこで、文字列分割モジュール１５０では、文字列判定モジュール１４０において「文字列らしくない」と判定された、例えば図５（ａ）に示すような２行の文字列が１行文字列領域として切り出された文字列候補領域５１０を分割して、分割画像を生成し、各分割画像に対して、再度、文字列切出しモジュール１１０による文字列切出し処理、文字切出しモジュール１２０による文字切出し処理等を行う。
ここで、文字列分割モジュール１５０における文字列候補領域の分割処理の流れを図４に示すフローチャート例を用いて説明する。なお、この処理は、図２に例示したフローチャート内のステップＳ２１０でＮＯの場合に行われる。
ステップＳ４０２では、文字列分割モジュール１５０が、文字列候補領域を分割するための分割位置を探す。文字列分割モジュール１５０における分割位置探索方法についての詳細は後述する。
ステップＳ４０４では、文字列分割モジュール１５０が、ステップＳ４０２で探索した分割位置に基づいて、文字列候補領域を予め定められた方法で分割し、複数の分割画像を生成する。文字列分割モジュール１５０における分割画像生成方法についての詳細も後述する。なお、分割画像は、次の処理においては文字画像データ１０８となる。ただし、この段階での分割画像には複数行があるが、文字列切出しモジュール１１０によって１行だけの文字列候補領域として切り出される可能性が高いものである。
ステップＳ４０２では、文字列分割モジュール１５０が、文字列候補領域を分割するための分割位置を探す。文字列分割モジュール１５０における分割位置探索方法についての詳細は後述する。
ステップＳ４０４では、文字列分割モジュール１５０が、ステップＳ４０２で探索した分割位置に基づいて、文字列候補領域を予め定められた方法で分割し、複数の分割画像を生成する。文字列分割モジュール１５０における分割画像生成方法についての詳細も後述する。なお、分割画像は、次の処理においては文字画像データ１０８となる。ただし、この段階での分割画像には複数行があるが、文字列切出しモジュール１１０によって１行だけの文字列候補領域として切り出される可能性が高いものである。
ステップＳ４０６では、文字列切出しモジュール１１０が、文字列候補領域を分割して生成した分割画像中の文字列候補を切り出す。
ステップＳ４０８では、文字切出しモジュール１２０が、文字列切出しモジュール１１０によって切り出された文字列候補画像に対して文字切出し処理を行い、単文字候補領域を切り出す。
ステップＳ４１０では、文字認識モジュール１３０が、文字切出しモジュール１２０によって切り出された単文字候補領域に対して文字認識を行い、認識結果１３２を出力する。
ステップＳ４０８では、文字切出しモジュール１２０が、文字列切出しモジュール１１０によって切り出された文字列候補画像に対して文字切出し処理を行い、単文字候補領域を切り出す。
ステップＳ４１０では、文字認識モジュール１３０が、文字切出しモジュール１２０によって切り出された単文字候補領域に対して文字認識を行い、認識結果１３２を出力する。
ステップＳ４１２では、文字列判定モジュール１４０が、分割画像中のすべての文字列候補領域に対して文字切出し処理と文字認識処理を行ったか否かを判断し、処理を行った場合はステップＳ４１４へ進み、それ以外の場合（分割画像中に未処理の文字列候補領域が存在する場合）はステップＳ４０８へ戻り、未処理の文字列候補領域に対してステップＳ４０８、ステップＳ４１０における文字切出し処理、文字認識処理を繰り返す。
ステップＳ４１４では、文字列判定モジュール１４０が、元の文字列候補領域を分割位置で分割して生成したすべての分割画像に対して処理を行ったか否かを判断し、処理を行った場合はステップＳ２１４へ進み、それ以外の場合（未処理の分割画像が存在する場合）はステップＳ４０６へ戻り、未処理の分割画像に対してステップＳ４０６からステップＳ４１０までの処理を繰り返す。
ステップＳ４１４では、文字列判定モジュール１４０が、元の文字列候補領域を分割位置で分割して生成したすべての分割画像に対して処理を行ったか否かを判断し、処理を行った場合はステップＳ２１４へ進み、それ以外の場合（未処理の分割画像が存在する場合）はステップＳ４０６へ戻り、未処理の分割画像に対してステップＳ４０６からステップＳ４１０までの処理を繰り返す。
次に、文字列分割モジュール１５０における分割位置探索の詳細について、図７、図８を用いて説明する。
図７は、文字列分割モジュール１５０における分割位置探索の処理例の流れを説明したフローチャートである。
ステップＳ７０２では、文字列分割モジュール１５０は、初期位置ｓとカレント位置ｃをそれぞれ、ｓ＝０、ｃ＝１にセットする。ここで初期位置ｓ、カレント位置ｃは、図８の例に示すように、分割の対象である文字列候補領域５１０に対する文字切出しモジュール１２０による単文字候補領域の位置に相当する。なお、図８に示す例では単文字領域位置を単文字候補領域の個数を表すインデックス（０、１、２、・・・・）としているが、文字列候補領域に対する単文字候補領域の相対座標値をセットしてもよい。最終的には、初期位置ｓとカレント位置ｃの間の領域を分割することになる。分割画像の左端が初期位置ｓ、右端がカレント位置ｃとなる。
図７は、文字列分割モジュール１５０における分割位置探索の処理例の流れを説明したフローチャートである。
ステップＳ７０２では、文字列分割モジュール１５０は、初期位置ｓとカレント位置ｃをそれぞれ、ｓ＝０、ｃ＝１にセットする。ここで初期位置ｓ、カレント位置ｃは、図８の例に示すように、分割の対象である文字列候補領域５１０に対する文字切出しモジュール１２０による単文字候補領域の位置に相当する。なお、図８に示す例では単文字領域位置を単文字候補領域の個数を表すインデックス（０、１、２、・・・・）としているが、文字列候補領域に対する単文字候補領域の相対座標値をセットしてもよい。最終的には、初期位置ｓとカレント位置ｃの間の領域を分割することになる。分割画像の左端が初期位置ｓ、右端がカレント位置ｃとなる。
ステップＳ７０４では、文字列分割モジュール１５０は、初期位置ｓからカレント位置ｃまでの文字列方向の投影分布を算出する。文字列方向は、横書きの場合は横方向、縦書きの場合は縦方向であり、図８の例では横方向となる。
ステップＳ７０６では、文字列分割モジュール１５０は、投影分布の最低値（もっとも深い谷の値）が予め定められた閾値（例えば０など）を超えたか否かを判断し、超えた場合はステップＳ７１２へ進み、それ以外の場合（投影分布の最低値が予め定められた閾値以下の場合）はステップＳ７０８へ進む。なお、ここでの閾値は、文字列切出しモジュール１１０が用いている閾値と同じ値であるとよい。
ステップＳ７０８では、投影分布の最低値が閾値以下なので、文字列分割モジュール１５０は、カレント位置ｃに１を加える（インクリメントする）。つまり、カレント位置ｃで分割した場合に、文字列切出しモジュール１１０が１行の文字列を切り出すことができるので、分割位置を右方向に移動させる。
ステップＳ７０６では、文字列分割モジュール１５０は、投影分布の最低値（もっとも深い谷の値）が予め定められた閾値（例えば０など）を超えたか否かを判断し、超えた場合はステップＳ７１２へ進み、それ以外の場合（投影分布の最低値が予め定められた閾値以下の場合）はステップＳ７０８へ進む。なお、ここでの閾値は、文字列切出しモジュール１１０が用いている閾値と同じ値であるとよい。
ステップＳ７０８では、投影分布の最低値が閾値以下なので、文字列分割モジュール１５０は、カレント位置ｃに１を加える（インクリメントする）。つまり、カレント位置ｃで分割した場合に、文字列切出しモジュール１１０が１行の文字列を切り出すことができるので、分割位置を右方向に移動させる。
ステップＳ７１０では、文字列分割モジュール１５０は、（カレント位置ｃ＜単文字候補領域数）であるか否かを判断し、（ｃ＜単文字候補領域数）である場合はステップＳ７０４へ戻り、同様の処理を繰り返し、それ以外の場合（カレント位置ｃが単文字候補領域数と同数となった場合）は文字列分割モジュール１５０における分割処理を終了する（ステップＳ７９９）。ここで、本ステップではカレント位置ｃと単文字候補領域数を比較しているが、これは先に述べたように単文字候補領域位置を単文字候補領域の個数を表すインデックスとしているからであり、カレント位置ｃが相対座標値の場合には、文字列候補領域の右端座標値と比較すればよい。
ステップＳ７１２では、文字列分割モジュール１５０は、カレント位置ｃにおいて投影分布の最低値が予め定められた閾値を超えたので、文字列候補領域の分割位置ｄをｄ＝ｃ−１とする。
ステップＳ７１４では、文字列分割モジュール１５０は、初期位置ｓ＝ｃ−１とし、これまでの投影分布をリセットする。そして、ステップＳ７０４に戻り、文字列候補領域の別の分割位置の探索を続ける。
ステップＳ７１２では、文字列分割モジュール１５０は、カレント位置ｃにおいて投影分布の最低値が予め定められた閾値を超えたので、文字列候補領域の分割位置ｄをｄ＝ｃ−１とする。
ステップＳ７１４では、文字列分割モジュール１５０は、初期位置ｓ＝ｃ−１とし、これまでの投影分布をリセットする。そして、ステップＳ７０４に戻り、文字列候補領域の別の分割位置の探索を続ける。
次に文字列分割モジュール１５０における分割画像生成処理について説明する。
図９は、文字列分割モジュール１５０における分割画像生成例について説明する図である。
例えば、先に説明した文字列分割モジュール１５０における分割位置探索で、図９（ａ）に示すように分割位置９０２が決定される。文字列分割モジュール１５０における分割画像生成処理では、入力された文字列候補領域５１０に対して分割位置９０２で、文字列方向に垂直に切ることで、図９（ｂ）、図９（ｃ）の例に示すような、分割画像９１０、分割画像９２０を生成する。つまり、図９（ｂ）の例に示す分割画像９１０においては黒画素投影分布９１５であり、図９（ｃ）の例に示す分割画像９２０においては黒画素投影分布９２５であり、投影分布の最低値が予め定められた閾値以下の状態である。なお、図９に示す具体例では分割位置が一箇所の場合の例であるので２つの分割画像が生成されるが、例えば分割位置が２箇所の場合は３つの分割画像が生成される。つまり文字列分割モジュール１５０においては、（分割位置＋１）個の分割画像が生成される。
図９は、文字列分割モジュール１５０における分割画像生成例について説明する図である。
例えば、先に説明した文字列分割モジュール１５０における分割位置探索で、図９（ａ）に示すように分割位置９０２が決定される。文字列分割モジュール１５０における分割画像生成処理では、入力された文字列候補領域５１０に対して分割位置９０２で、文字列方向に垂直に切ることで、図９（ｂ）、図９（ｃ）の例に示すような、分割画像９１０、分割画像９２０を生成する。つまり、図９（ｂ）の例に示す分割画像９１０においては黒画素投影分布９１５であり、図９（ｃ）の例に示す分割画像９２０においては黒画素投影分布９２５であり、投影分布の最低値が予め定められた閾値以下の状態である。なお、図９に示す具体例では分割位置が一箇所の場合の例であるので２つの分割画像が生成されるが、例えば分割位置が２箇所の場合は３つの分割画像が生成される。つまり文字列分割モジュール１５０においては、（分割位置＋１）個の分割画像が生成される。
図１０（ａ）の例は、分割画像９１０を対象とした場合の文字列切出しモジュール１１０、文字切出しモジュール１２０の処理結果であり、図１０（ｂ）の例は、分割画像９２０を対象とした場合の文字列切出しモジュール１１０、文字切出しモジュール１２０の処理結果である。つまり、文字列切出しモジュール１１０は、分割画像９１０に対して文字列切出し処理を行って、分割画像９１０から文字列候補領域１０１０と文字列候補領域１０２０を抽出し、文字切出しモジュール１２０は、文字列候補領域１０１０に対して文字切出し処理を行って単文字候補領域１０１１〜１０１６を抽出し、文字列候補領域１０２０に対して文字切出し処理を行って単文字候補領域１０２１〜１０２６を抽出している。また、同様に、文字列切出しモジュール１１０は、分割画像９２０に対して文字列切出し処理を行って、分割画像９２０から文字列候補領域１０３０と文字列候補領域１０５０を抽出し、文字切出しモジュール１２０は、文字列候補領域１０３０に対して文字切出し処理を行って単文字候補領域１０３１〜１０４２を抽出し、文字列候補領域１０５０に対して文字切出し処理を行って単文字候補領域１０５１〜１０５７を抽出している。
図１１は、文字列分割モジュール１５０における他の分割画像生成処理例について説明する図である。ここでは、図９の具体例と同様の分割位置９０２の場合について説明する。
この分割画像生成処理では、図９（ａ）における分割位置９０２より左側にある単文字候補領域６０２（手、２）、単文字候補領域６０４（書、行）、単文字候補領域６０６（き、目）、単文字候補領域６０８（さ、も）、単文字候補領域６１０（れ、や）、単文字候補領域６１２（た、っ）と、図９（ａ）における分割位置９０２より右側にある単文字候補領域６１４（文、ぱ）、単文字候補領域６１６（字、り）、単文字候補領域６１８（列、傾）、単文字候補領域６２０（カ、い）、単文字候補領域６２２（ヾ、て）、単文字候補領域６２４（斜、い）、単文字候補領域６２６（め、る）、単文字候補領域６２８（に）、単文字候補領域６３０(傾)、単文字候補領域６３２（い）、単文字候補領域６３４（て）、単文字候補領域６３６（し）、単文字候補領域６３８（ヽ）、単文字候補領域６４０（る）をそれぞれ再画像化（再ラスタライズ）することで図９（ｂ）、図９（ｃ）に示すような分割画像９１０、分割画像９２０を生成する。
再画像化が行える理由は、文字列分割モジュール１５０の分割対象として入力された文字列候補領域は、すでに文字列切出しモジュール１１０、文字切出しモジュール１２０、文字認識モジュール１３０において、単文字候補領域が切り出されており、文字列候補領域に対する単文字候補領域の位置情報（例えば、矩形の左上の座標）、矩形情報（矩形の幅、高さの他に矩形内の画像を含む）が得られているため、文字列候補領域に対する各単文字候補領域の位置関係を保ちつつ再画像化が可能となる。つまり、単文字候補領域の位置情報、矩形情報を記憶しておき、それらを用いて再画像化処理を行う。
また、この分割画像生成処理は再画像化処理を行って分割画像を生成するため、前述の分割画像生成処理と比較して処理負荷が高くなるが、以下に示すような処理を行うこともできるようになる。
この分割画像生成処理では、図９（ａ）における分割位置９０２より左側にある単文字候補領域６０２（手、２）、単文字候補領域６０４（書、行）、単文字候補領域６０６（き、目）、単文字候補領域６０８（さ、も）、単文字候補領域６１０（れ、や）、単文字候補領域６１２（た、っ）と、図９（ａ）における分割位置９０２より右側にある単文字候補領域６１４（文、ぱ）、単文字候補領域６１６（字、り）、単文字候補領域６１８（列、傾）、単文字候補領域６２０（カ、い）、単文字候補領域６２２（ヾ、て）、単文字候補領域６２４（斜、い）、単文字候補領域６２６（め、る）、単文字候補領域６２８（に）、単文字候補領域６３０(傾)、単文字候補領域６３２（い）、単文字候補領域６３４（て）、単文字候補領域６３６（し）、単文字候補領域６３８（ヽ）、単文字候補領域６４０（る）をそれぞれ再画像化（再ラスタライズ）することで図９（ｂ）、図９（ｃ）に示すような分割画像９１０、分割画像９２０を生成する。
再画像化が行える理由は、文字列分割モジュール１５０の分割対象として入力された文字列候補領域は、すでに文字列切出しモジュール１１０、文字切出しモジュール１２０、文字認識モジュール１３０において、単文字候補領域が切り出されており、文字列候補領域に対する単文字候補領域の位置情報（例えば、矩形の左上の座標）、矩形情報（矩形の幅、高さの他に矩形内の画像を含む）が得られているため、文字列候補領域に対する各単文字候補領域の位置関係を保ちつつ再画像化が可能となる。つまり、単文字候補領域の位置情報、矩形情報を記憶しておき、それらを用いて再画像化処理を行う。
また、この分割画像生成処理は再画像化処理を行って分割画像を生成するため、前述の分割画像生成処理と比較して処理負荷が高くなるが、以下に示すような処理を行うこともできるようになる。
例えば、図１２に示すように、文字列分割モジュール１５０において単文字候補領域位置ｎ−１が、文字列候補領域の分割位置１２４８として探索された場合について説明する。分割位置１２４８を挟む２つの単文字候補領域１２１０、１２２０の外接矩形が図１２の例に示すように重なっている場合には、前述の分割画像生成方法では文字列候補領域を分割位置１２４８で単純に切るので、単文字候補領域「つ」を分断することになり、単文字候補領域「つ」を正しく文字認識できなくなり、誤認識の原因となる。
しかしながら、この分割画像生成処理では、分割位置１２４８の左右それぞれの単文字候補領域群を再画像化することにより分割画像を生成する。したがって、上記のような単文字候補領域の分断が原理的に起こらず、単文字候補領域を分断することで起こる誤認識を防ぐことが可能となる。
しかしながら、この分割画像生成処理では、分割位置１２４８の左右それぞれの単文字候補領域群を再画像化することにより分割画像を生成する。したがって、上記のような単文字候補領域の分断が原理的に起こらず、単文字候補領域を分断することで起こる誤認識を防ぐことが可能となる。
図１３を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１３に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１３１７と、プリンタなどのデータ出力部１３１８を備えたハードウェア構成例を示している。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０１は、前述の実施の形態において説明した各種のモジュール、すなわち、文字列切出しモジュール１１０、文字切出しモジュール１２０、文字認識モジュール１３０、文字列判定モジュール１４０、文字列分割モジュール１５０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０２は、ＣＰＵ１３０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３０３は、ＣＰＵ１３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１３０４により相互に接続されている。
ホストバス１３０４は、ブリッジ１３０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１３０６に接続されている。
キーボード１３０８、マウス等のポインティングデバイス１３０９は、操作者により操作される入力デバイスである。ディスプレイ１３１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。
ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１３１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１３０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、文字画像データ１０８、文字列画像データ１１２、認識結果１３２、最終認識結果１４４などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ１３１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１３１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１３０７、外部バス１３０６、ブリッジ１３０５、及びホストバス１３０４を介して接続されているＲＡＭ１３０３に供給する。リムーバブル記録媒体１３１３も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート１３１４は、外部接続機器１３１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１３１４は、インタフェース１３０７、及び外部バス１３０６、ブリッジ１３０５、ホストバス１３０４等を介してＣＰＵ１３０１等に接続されている。通信部１３１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１３１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１３１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図１３に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１３に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１３に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
なお、数式を用いて説明したが、数式には、その数式と同等のものが含まれる。同等のものとは、その数式そのものの他に、最終的な結果に影響を及ぼさない程度の数式の変形、又は数式をアルゴリズミックな解法で解くこと等が含まれる。
また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。
また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
１１０…文字列切出しモジュール
１２０…文字切出しモジュール
１３０…文字認識モジュール
１４０…文字列判定モジュール
１５０…文字列分割モジュール
１２０…文字切出しモジュール
１３０…文字認識モジュール
１４０…文字列判定モジュール
１５０…文字列分割モジュール
Claims (6)
- 画像から文字列の候補となる領域である文字列候補領域を切り出す切出手段と、
前記文字列候補領域が１行の文字列であるか否かを判定する判定手段と、
判定結果が１行の文字列ではない場合は、前記文字列候補領域の行方向とは垂直方向に分割する分割手段
を具備し、
前記切出手段は、前記分割手段によって分割された領域の画像を対象の画像とし、
前記分割手段は、文字列方向の投影分布を算出し、投影分布の最低値が予め定められた閾値を超えた場合に、分割を行う
ことを特徴とする画像処理装置。 - 前記文字列候補領域から文字の候補となる領域である文字候補領域を切り出す第２の切出手段
を具備し、
前記判定手段は、前記文字候補領域の特徴量に基づいて、前記文字列候補領域が１行の文字列であるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記判定手段は、前記文字候補領域の特徴量として、該文字候補領域の大きさ、位置又は前記文字列候補領域と該文字候補領域の大きさの比率のいずれか１つ以上を用いる
ことを特徴とする請求項２に記載の画像処理装置。 - 前記文字候補領域を対象として文字認識する文字認識手段
を具備し、
前記判定手段は、前記文字認識手段による認識結果に基づいて、前記文字列候補領域が１行の文字列であるか否かを判定する
ことを特徴とする請求項２又は３に記載の画像処理装置。 - 前記分割手段は、前記文字候補領域に基づいて、分割した前記文字列候補領域の画像を再生する
ことを特徴とする請求項２、又は請求項２に従属する請求項３若しくは請求項４のいずれか一項に記載の画像処理装置。 - コンピュータを、
画像から文字列の候補となる領域である文字列候補領域を切り出す切出手段と、
前記文字列候補領域が１行の文字列であるか否かを判定する判定手段と、
判定結果が１行の文字列ではない場合は、前記文字列候補領域の行方向とは垂直方向に分割する分割手段
として機能させ、
前記切出手段は、前記分割手段によって分割された領域の画像を対象の画像とし、
前記分割手段は、文字列方向の投影分布を算出し、投影分布の最低値が予め定められた閾値を超えた場合に、分割を行う
ことを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012175918A JP6003375B2 (ja) | 2012-08-08 | 2012-08-08 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012175918A JP6003375B2 (ja) | 2012-08-08 | 2012-08-08 | 画像処理装置及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014035622A JP2014035622A (ja) | 2014-02-24 |
| JP6003375B2 true JP6003375B2 (ja) | 2016-10-05 |
Family
ID=50284596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012175918A Active JP6003375B2 (ja) | 2012-08-08 | 2012-08-08 | 画像処理装置及び画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6003375B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6172010B2 (ja) * | 2014-03-24 | 2017-08-02 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58123169A (ja) * | 1982-01-14 | 1983-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 文字行切出し方式 |
| JP3020662B2 (ja) * | 1991-07-30 | 2000-03-15 | 沖電気工業株式会社 | 文字行切り出し装置及び文字認識装置 |
| JP3019897B2 (ja) * | 1993-01-21 | 2000-03-13 | 沖電気工業株式会社 | 行切出し方法 |
| JP3400151B2 (ja) * | 1994-12-08 | 2003-04-28 | 株式会社東芝 | 文字列領域抽出装置および方法 |
| JP3720892B2 (ja) * | 1995-12-15 | 2005-11-30 | 株式会社東芝 | 画像処理方法および画像処理装置 |
| JP4011646B2 (ja) * | 1996-05-23 | 2007-11-21 | 株式会社東芝 | 行検出方法および文字認識装置 |
| JP2002056356A (ja) * | 2000-08-11 | 2002-02-20 | Ricoh Co Ltd | 文字認識装置、文字認識方法および記録媒体 |
-
2012
- 2012-08-08 JP JP2012175918A patent/JP6003375B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014035622A (ja) | 2014-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6119952B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5699570B2 (ja) | 画像処理装置及び画像処理プログラム | |
| US9613299B2 (en) | Method of identifying pattern training need during verification of recognized text | |
| JP4626777B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP2009251872A (ja) | 情報処理装置及び情報処理プログラム | |
| JP5601027B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5365440B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6003375B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6303671B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5489894B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5821648B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP2010039810A (ja) | 画像処理装置及び画像処理プログラム | |
| JP5928714B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP5062076B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP6187307B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6409423B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5949248B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP5853495B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4978437B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5935324B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP2010211699A (ja) | 画像処理装置及び画像処理プログラム | |
| JP4973536B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2016053797A (ja) | 画像処理装置及び画像処理プログラム | |
| JP6281309B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2016133888A (ja) | 情報処理装置及び情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160822 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6003375 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |