[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5742267B2 - 画像処理プログラム及び画像処理装置 - Google Patents

画像処理プログラム及び画像処理装置 Download PDF

Info

Publication number
JP5742267B2
JP5742267B2 JP2011025435A JP2011025435A JP5742267B2 JP 5742267 B2 JP5742267 B2 JP 5742267B2 JP 2011025435 A JP2011025435 A JP 2011025435A JP 2011025435 A JP2011025435 A JP 2011025435A JP 5742267 B2 JP5742267 B2 JP 5742267B2
Authority
JP
Japan
Prior art keywords
image
evaluation value
classification information
area
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011025435A
Other languages
English (en)
Other versions
JP2012164226A (ja
Inventor
福井　基文
基文 福井
加藤　典司
典司 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2011025435A priority Critical patent/JP5742267B2/ja
Priority to US13/220,201 priority patent/US8923628B2/en
Publication of JP2012164226A publication Critical patent/JP2012164226A/ja
Application granted granted Critical
Publication of JP5742267B2 publication Critical patent/JP5742267B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理プログラム及び画像処理装置に関する。
画像の中から指定された対象物を抽出する方法には、例えばテンプレートマッチングによる方法がある（例えば下記の特許文献１を参照）。
特開２００７−４７９６５号公報
画像の中に含まれる対象物の数や形状が不定である場合には、テンプレートマッチングによる方法では対象物を抽出できないことがある。
本発明の目的は、指定された分類情報に係る対象物の数や形状が不定であっても、対象画像の中から当該指定された分類情報に係る対象物を含む画像領域を抽出できる画像処理プログラム及び画像処理装置を提供することにある。
上記目的を達成するために、請求項１に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像を取得する取得手段と、指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段としてコンピュータを機能させるための画像処理プログラムである。
また、請求項２に記載の発明は、前記画像領域抽出手段は、前記対象画像に含まれる画素のうち、前記画素評価値算出手段により算出された評価値が閾値以上である画素を連結した連結画素群を含む画像領域を抽出することを特徴とする請求項１に記載の画像処理プログラムである。
また、請求項３に記載の発明は、前記対象画像の中に複数の画像領域を設定する設定手段と、前記設定手段により設定される複数の画像領域ごとに、当該画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、当該画像領域の評価値を算出する領域評価値算出手段として前記コンピュータをさらに機能させ、前記画像領域抽出手段は、前記領域評価値算出手段により前記複数の画像領域について算出された評価値に基づいて、前記複数の画像領域の中から前記指定された分類情報に係る画像領域を抽出することを特徴とする請求項１に記載の画像処理プログラムである。
また、請求項４に記載の発明は、前記画素評価値算出手段は、指定された複数の分類情報ごとに、当該分類情報に係る前記対象画像に含まれる画素ごとの評価値を算出し、前記画像領域抽出手段は、前記指定された複数の分類情報ごとに、前記対象画像の中から当該分類情報に係る画像領域を抽出することを特徴とする請求項１乃至３のいずれかに記載の画像処理プログラムである。
また、請求項５に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像の中に部分領域を設定する設定手段と、指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段としてコンピュータを機能させるための画像処理プログラムである。
また、請求項６に記載の発明は、前記設定手段は、前記対象画像について指定された点を含む複数の部分領域を設定し、前記領域評価値算出手段は、前記複数の部分領域のそれぞれについて前記指定された複数の分類情報ごとの評価値を算出し、前記決定手段は、前記領域評価値算出手段により算出された最大の評価値に対応する部分領域及び分類情報を決定することを特徴とする請求項５に記載の画像処理プログラムである。
また、請求項７に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像を取得する取得手段と、指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段と、を含むことを特徴とする画像処理装置である。
また、請求項８に記載の発明は、分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、対象画像の中に部分領域を設定する設定手段と、指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段と、を含むことを特徴とする画像処理装置である。
請求項１及び７に記載の発明によれば、指定された分類情報に係る対象物の数や形状が不定であっても、対象画像の中から当該指定された分類情報に係る対象物を含む画像領域を抽出できる。
請求項２に記載の発明によれば、対象画像の中から指定された分類情報である確率が他の画素に比べて高い画素に基づき画像領域を抽出できる。
請求項３に記載の発明によれば、対象画像の中から指定された分類情報である確率が他の画像領域に比べて高い画像領域を抽出できる。
請求項４に記載の発明によれば、対象画像の中から複数の分類情報のそれぞれに該当する画像領域を抽出できる。
請求項５及び８に記載の発明によれば、対象画像の中に設定した部分領域に含まれる対象物の数や形状が不定であっても、当該対象物の分類情報を決定できる。
請求項６に記載の発明によれば、対象画像について指定された点を含む部分領域に含まれる対象物の分類情報を決定できる。
本実施形態に係る画像処理装置の機能ブロック図である。 学習データの一例を示す図である。 画像処理装置により行われる学習処理の流れを示すフローチャートである。 学習用画像と、学習用画像について指定された領域と分類情報の一例を示す図である。 学習用画像において分類情報が定められた領域について生成される特徴ベクトルの一例を説明する図である。 画像処理装置により行われる対象画像に対する処理の第１の例を示すフローチャートである。 第１の処理に係る対象画像に対する処理結果の一例を示す図である。 画像処理装置により行われる対象画像に対する処理の第２の例を示すフローチャートである。 画像処理装置により行われる対象画像に対する処理の第４の例を示すフローチャートである。 画像処理装置により行われる対象画像に対する処理の第５の例を示すフローチャートである。 第５の処理に係る対象画像に対する処理結果の一例を示す図である。
以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
図１には、本実施形態に係る画像処理装置１０の機能ブロック図を示した。図１に示されるように、画像処理装置１０は、学習用画像データ取得部１００、学習領域設定部１０２、特徴データ生成部１０４、学習データ記憶部１０６、確率分布算出部１０８、対象画像データ取得部１１０、処理条件取得部１１２、画素評価値算出部１１４、部分領域設定部１１６、領域評価値算出部１１８、対象領域抽出部１２０、分類情報決定部１２２、表示情報生成部１２４、及び表示部１２６を備える。
画像処理装置１０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信網を介して供給されることとしてもよい。
学習用画像データ取得部１００は、学習用画像と、当該学習用画像に含まれる領域について予め定められた分類情報（ラベル情報）とを含む学習用画像データを取得する。
学習領域設定部１０２は、学習用画像データ取得部１００により取得された学習用画像の中から分類情報を学習するために用いる画像領域（学習領域）を設定する。学習領域設定部１０２は、学習用画像データに学習領域を指定するデータが含まれている場合には当該データに基づいて学習領域を設定し、当該データが含まれていない場合には、エッジ検出、画像分割等の結果に基づいて学習領域を設定することとしてよい。
特徴データ生成部１０４は、指定された画像領域についての画像特徴を表す特徴データを生成する。例えば、特徴データ生成部１０４は、指定された画像領域の内部から予め定められたサイズの領域（単位領域）を１又は複数選択し、当該各単位領域について色情報、テクスチャ情報等の画像特徴値を抽出し、当該各単位領域について抽出された平均の画像特徴値を要素として並べたベクトルを特徴データ（特徴ベクトル）として生成することとしてよい。もちろん、画像領域から特徴データを生成する方法は、上記の方法に限られず、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ法等の他の方法を用いることとしても構わない。
本実施形態では、特徴データ生成部１０４は、学習領域設定部１０２により設定された学習領域の画像特徴を表す特徴ベクトルを生成し、生成した特徴ベクトルを、学習領域について定められた分類情報に関連づけて学習データ記憶部１０６に記憶する。
学習データ記憶部１０６は、分類情報と、学習領域に係る情報とを関連づけて記憶する。学習領域に係る情報とは、学習領域の学習用画像の識別情報と、学習用画像の部分領域を識別する領域識別情報とを含むデータであってもよいし、学習領域について特徴データ生成部１０４により生成された特徴ベクトルを含むデータであってもよい。
図２には、学習データ記憶部１０６に記憶される学習データの一例を示した。図２に示した学習データ（テーブル）の例では、学習領域を識別する学習領域ＩＤに関連づけて、分類情報、特徴ベクトルが記憶される。なお、学習領域ＩＤのＩｉｊとは、学習用画像ｉの部分領域ｊを示すこととする。
確率分布算出部１０８は、学習データ記憶部１０６に記憶される学習データに基づいて、分類情報（ラベル情報）ごとの特徴ベクトルの確率分布を算出する。具体的には、確率分布算出部１０８は、分類情報ｃに対する事前分布Ｐ（ｃ）、特徴ベクトルｘの事前分布Ｐ（ｘ）、及び分類情報ｃを与えた場合の特徴ベクトルｘの確率分布Ｐ（ｘ｜ｃ）を算出する。まず、学習データ記憶部１０６に記憶される学習データの特徴ベクトルの総数をＮ、分類情報ｃが付与された特徴ベクトルの数がＮｃである場合には、Ｐ（ｃ）は以下の式（１）により算出される。
特徴ベクトルｘの事前分布Ｐ（ｘ）に関しては０より大きく１よりも小さい一定値とするか、全学習用画像から抽出した特徴ベクトルの集合Ｘを用いて算出することとしてよい。例えば、確率分布算出部１０８は、特徴ベクトルｘの事前分布Ｐ（ｘ）を、混合ガウス分布を仮定し以下の式（２）により求めることとしてよい。なお、Ｎ（ｘ｜μ，Σ）は、平均ベクトルμ、共分散行列Σの多次元正規分布を表し、πは各正規分布に対する重みであってΣπｉ＝１の制約条件を持つパラメータ群であり、ｎはガウス分布の混合数である。
分類情報ｃが与えられた場合の特徴ベクトルｘの確率分布Ｐ（ｘ｜ｃ）は、Ｐ（ｘ）同様に混合ガウス分布を用いて算出することとしてよい。具体的には、分類情報ｃが与えられた特徴ベクトルのみ（個数はＮｃ）を用いて確率分布Ｐ（ｘ｜ｃ）を算出することとする。なお、確率分布の算出方法は、混合ガウス分布を用いる以外にも例えばカーネル密度推定法等を用いてもよい。
対象画像データ取得部１１０は、処理の対象とする対象画像のデータを取得する。
処理条件取得部１１２は、対象画像に対して行う処理の条件を取得する。例えば、処理条件取得部１１２は、キーボードやマウス等の入力デバイスを介して入力されたデータに基づいて、対象画像に対して行う処理の内容や条件を取得することとしてよい。具体的には、画像処理装置１０は、分類情報が入力された場合には、対象画像から当該入力された分類情報に該当する画像領域を抽出する処理を実行し、画像領域が入力された場合には、当該画像領域に含まれる対象物の分類情報を決定する処理を実行することとしてよい。また、上記の処理以外にも、画像処理装置１０は、対象画像に含まれる全て又は一部の分類情報にそれぞれ対応する対象物を抽出する処理や、対象画像に対してポイントされた点に係る対象物の存在領域と分類情報とを決定する処理等を実行することとしてよい。
画素評価値算出部１１４は、対象画像データ取得部１１０により取得された対象画像に含まれる少なくとも一部の画素ごとに、指定された分類情報に該当する確率に基づく評価値を算出する。例えば、対象画像に含まれる全ての画素を処理対象としてもよいし、定間隔で画素を抽出して処理対象としてもよい。そして、画素評価値算出部１１４は、処理対象とする各画素を中心とする単位領域について特徴データ生成部１０４により生成された特徴ベクトルｙと、指定された分類情報ｃについて算出された確率分布に基づいて、特徴ベクトルｙに対する評価値ＳＣ（ｙ）を算出する。具体的には、画素評価値算出部１１４は、評価値ＳＣ（ｙ）を以下の式（３）により算出する。
部分領域設定部１１６は、対象画像内に部分領域を設定する。例えば、部分領域設定部１１６は、対象画像に含まれる画素のうち、画素評価値算出部１１４で算出された評価値が閾値（例えば０）以上の画素を連結した連結画素群のそれぞれを部分領域に設定してもよいし、対象画像内の任意の部分を部分領域として設定してもよい。また、処理条件取得部１１２で、部分領域の範囲が指定されている場合には、その指定された範囲を部分領域に設定することとしてよい。
領域評価値算出部１１８は、部分領域設定部１１６により設定された部分領域の評価値を算出する。例えば、領域評価値算出部１１８は、部分領域ごとに、当該部分領域に含まれる各画素について画素評価値算出部１１４により算出された評価値の和を当該部分領域の評価値として算出する。
例えば、部分領域Ｙに含まれる画素ｐｉ（ｉ＝１，・・・，ｎ）に対し、画素ｐｉについて算出された特徴ベクトルをｙｉとする。このとき、部分領域Ｙが分類情報ｃである確率Ｐ（ｃ｜Ｙ）は、以下の式（４）により算出される。
確率Ｐ（ｃ｜Ｙ）の対数ｌｏｇＰ（ｃ｜Ｙ）を、部分領域Ｙの評価値Ｓｃ（Ｙ）とすると、Ｓｃ（Ｙ）は以下の式（５）により算出される。
対象領域抽出部１２０は、対象画像の中から指定された分類情報に係る部分領域（対象領域）を抽出する。例えば、対象領域抽出部１２０は、分類情報ｃに関して部分領域Ｙの評価値Ｓｃ（Ｙ）が最大となる部分領域Ｙを、対象領域として抽出することとしてよい。具体的には、式（５）の第２項は分類情報ｃに対して一定値であるから、式（５）の第１項を最大化するように部分領域Ｙを選択すればよい。そのため、評価値Ｓｃ（ｙ）が正となる画素を繋げた部分領域Ｙの中から、評価値Ｓｃ（Ｙ）が最大となるものを選択することで、対象領域を選択することとしてよい。また、部分領域の形状を矩形等の多角形とした場合には、Ｓｃ（ｙ）が正となる画素のみを連結した場合が必ずしも評価値Ｓｃ（Ｙ）を最大化しないため、部分領域Ｙの領域を変化させてそれぞれの部分領域Ｙについて算出された評価値のうち最大の評価値に該当する部分領域Ｙを対象領域として選択することとしてよい。
また、対象領域抽出部１２０は、Ｐ（ｃ｜Ｙ）が最大となる部分領域Ｙを決定するのではなく、下記の式（６）を最大化する部分領域Ｙを対象領域として選択することとしてもよい。
分類情報決定部１２２は、部分領域設定部１１６により設定された部分領域について、指定する複数の分類情報ごとに評価値を算出し、その最大の評価値に該当する分類情報を、当該部分領域の分類情報に決定する。例えば、分類情報決定部１２２は、分類情報ｃｉ（ｉ＝１，・・・，ｍ）のそれぞれについて、式（７）により評価値Ｓｃｉ（Ｙ）を算出し、その最大値に当たるｃｉを部分領域Ｙの分類情報とすることとしてよい。
表示情報生成部１２４は、対象領域抽出部１２０により抽出された部分領域や、分類情報決定部１２２により決定された分類情報を表示する表示情報を生成する。
表示部１２６は、表示情報生成部１２４により生成された表示情報に基づく画面を表示する。
次に、画像処理装置１０により行われる学習処理の流れを図３に示したフローチャートを参照しながら説明する。
図３に示されるように、画像処理装置１０は、学習用画像の入力を受け付ける（Ｓ１００１）と共に、当該学習用画像に含まれる領域の指定と、当該領域の分類情報とを受け付ける（Ｓ１００２）。
図４には、学習用画像と、学習用画像について指定された領域と分類情報の一例を示した。図４（Ａ）には、複数の学習用画像が示され、図４（Ｂ）には、それぞれの学習用画像に指定された領域に係る分類情報が示されている。
画像処理装置１０は、各学習用画像について指定された領域から複数の画素を選択する（Ｓ１００３）と共に、選択した各画素を中心とした予め定められたサイズの矩形領域の画像特徴を表す特徴ベクトルを生成する（Ｓ１００４）。
図５は、学習用画像において分類情報が定められた領域について生成される特徴ベクトルの一例を説明する図である。図５に示されるように、学習用画像において分類情報「Ｃ１（犬）」が指定された領域Ｉ１１の内部から複数の画素を選択し、各画素を中心とする単位矩形領域の画像特徴に基づき、各画素の特徴ベクトルを生成する。そして、例えば領域Ａの特徴ベクトルを、各画素の特徴ベクトルの平均値として算出することとしてよい。
画像処理装置１０は、領域に係る分類情報と、当該領域について生成された特徴ベクトルとを関連づけて記憶する（Ｓ１００５）。
画像処理装置１０は、全ての学習用画像について、Ｓ１００３乃至Ｓ１００５の処理を終えると（Ｓ１００６：Ｙ）、分類情報ごとに関連づけられる特徴ベクトルに基づいて、分類情報ごとの特徴ベクトルの確率分布を算出し、その結果を記憶して（Ｓ１００７）、学習処理を終了する。
次に、画像処理装置１０により行われる対象画像に対する処理の第１の例を図６に示したフローチャートを参照しながら説明する。
図６に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ２００１）、対象画像に対して行う処理内容を受け付ける（Ｓ２００２）。第１の例に係る処理では、指定された分類情報に係る画像領域を対象画像の中から抽出する処理を実行することとする。
画像処理装置１０は、対象画像に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成し（Ｓ２００３）、生成した特徴ベクトルと、指定された分類情報について算出された確率分布とに基づいて各画素の評価値を算出する（Ｓ２００４）。
画像処理装置１０は、上記算出された評価値が閾値より大きい（例えば０より大きい）画素を選択し（Ｓ２００５）、当該選択した画素を連結して領域を設定する（Ｓ２００６）。
画像処理装置１０は、上記設定した領域のうち領域内部に含まれる画素の評価値の総和が最大の領域を選択し（Ｓ２００７）、さらに選択した領域のサイズが一定のサイズ以上である場合には（Ｓ２００８：Ｙ）、上記選択した領域を対象領域として抽出する（Ｓ２００９）。画像処理装置１０は、抽出した対象領域を表示部１２６に表示して（Ｓ２０１０）、処理を終了する。また、Ｓ２００８で条件を満たさないと判定された場合には（Ｓ２００８：Ｎ）、対象領域が存在しないとして、処理を終了することとしてもよいし、領域の評価値が大きい順に領域を再度選択してＳ２００８以降の処理を実行するようにしてもよい。
図７には、第１の処理に係る対象画像に対する処理結果の一例を示した。図７（Ａ）は、対象画像の一例であり、図７（Ｂ）は、対象画像について設定された領域（白画素群）の一例であり、図７（Ｃ）は、設定された領域から選択された対象領域の一例である。なお、図７（Ｂ）では、対象画像に含まれる画素のうち評価値が０より大きい画素を白画素、他を黒画素として表している。
次に、画像処理装置１０により行われる対象画像に対する処理の第２の例を図８に示したフローチャートを参照しながら説明する。
図８に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ３００１）、対象画像に対して行う処理内容を受け付ける（Ｓ３００２）。第２の例に係る処理では、指定された分類情報に係る矩形の対象領域を対象画像の中から抽出する処理を実行することとする。
画像処理装置１０は、対象画像に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成し（Ｓ３００３）、生成した特徴ベクトルと、指定された分類情報について算出された確率分布とに基づいて各画素の評価値を算出する（Ｓ３００４）。
画像処理装置１０は、原点を含む矩形領域、すなわち左上（０，０）、右下（ｘ，ｙ）とする矩形領域に含まれる画素の評価値の総和Ｓ（０，０，ｘ，ｙ）を算出し、記憶する（Ｓ３００５）。なお、０≦ｘ≦Ｗ、０≦ｙ≦Ｈ、Ｗは対象画像の横サイズ、Ｈは対象画像の縦サイズとする。
画像処理装置１０は、計算対象の矩形領域を設定し（Ｓ３００６）、設定した矩形領域の評価値を算出する（Ｓ３００７）。設定した矩形領域を左上（ｘ１，ｙ１）、右下（ｘ２，ｙ２）とすると、Ｓ（ｘ１，ｙ１，ｘ２，ｙ２）＝Ｓ（０，０，ｘ２，ｙ２）−Ｓ（０，０，ｘ１，ｙ２）−Ｓ（０，０，ｘ２，ｙ１）＋Ｓ（０，０，ｘ１，ｙ１）により算出される。
画像処理装置１０は、計算対象の矩形領域を変化させて（Ｓ３００８）、算出される評価値が最大の矩形領域を対象領域に決定する（Ｓ３００９）。そして、画像処理装置１０は、抽出した対象領域を表示部１２６に表示して（Ｓ３０１０）、処理を終了する。
次に、画像処理装置１０により行われる対象画像に対する処理の第３の例について説明する。第３の例に係る処理では、複数の分類情報ごとに対象領域を決定し、分類情報と対象領域とを関連づけた態様で表示することとする。なお、分類情報について対象領域を決定する方法は、上記の第１又は第２の処理により行うこととしてよい。また、第３の例では、学習された全て又は一部の分類情報について対象領域を決定することとしてもよいし、ユーザーに指定された分類情報について対象領域を決定することとしてもよい。
次に、画像処理装置１０により行われる対象画像に対する処理の第４の例を、図９に示したフローチャートを参照しながら説明する。
図９に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ４００１）、対象画像に対して行う処理内容を受け付ける（Ｓ４００２）。第４の例に係る処理では、対象画像について指定された部分領域の分類情報を決定する処理を実行することとする。
画像処理装置１０は、対象画像について指定された部分領域に含まれる各画素について、当該各画素を中心とする単位矩形領域の画像特徴に基づいて特徴ベクトルを生成する（Ｓ４００３）。次いで、画像処理装置１０は、未処理の分類情報の１つを選択し（Ｓ４００４）、当該選択した分類情報について算出された確率分布と、生成した特徴ベクトルとに基づいて各画素の評価値を算出する（Ｓ４００５）。そして、画像処理装置１０は、部分領域に含まれる各画素の評価値に基づいて（例えば式（５）参照）、部分領域の評価値を算出する（Ｓ４００６）。
画像処理装置１０は、全ての分類情報について処理が完了していない場合には（Ｓ４００７：Ｎ）、Ｓ４００４に戻ってそれ以降の処理を繰り返し、全ての分類情報について処理が完了した場合には（Ｓ４００７：Ｙ）、Ｓ４００６で算出された評価値が最大の分類情報を、部分領域の分類情報として決定し（Ｓ４００８）、その分類情報を表示部１２６に表示して（Ｓ４００９）、処理を終了する。
次に、画像処理装置１０により行われる対象画像に対する処理の第５の例を、図１０に示したフローチャートを参照しながら説明する。
図１０に示されるように、画像処理装置１０は、対象画像を取得すると共に（Ｓ５００１）、対象画像の点の指定を受け付ける（Ｓ５００２）。なお、第５の例に係る処理では、対象画像について指定された点を含む対象物の領域及び分類情報を決定する処理を実行することとする。
画像処理装置１０は、未処理の分類情報を１つ選択し（Ｓ５００３）、選択した分類情報について、指定された点を含む矩形領域の評価値を算出する（Ｓ５００４）。画像処理装置１０は、矩形領域を変化させて（Ｓ５００５）、算出される評価値が最大の矩形領域を決定する（Ｓ５００６）。
次いで、画像処理装置１０は、全ての分類情報について処理が完了していない場合には（Ｓ５００７：Ｎ）、Ｓ５００３に戻ってそれ以降の処理を繰り返し、全ての分類情報について処理が完了した場合には（Ｓ５００７：Ｙ）、Ｓ５００６で決定した矩形領域のうち評価値が最大の矩形領域及びその分類情報を選択し（Ｓ５００８）、その結果を表示部１２６に表示して（Ｓ５００９）、処理を終了する。
図１１には、第５の処理に係る対象画像に対する処理結果の一例を示した。図１１（Ａ）は、対象画像及び指定された点（図中の＋）の一例であり、図１１（Ｂ）は、対象画像について各分類情報について決定した矩形領域の一例であり、図１１（Ｃ）は、最終的に選択された矩形領域及びその分類情報（Ｃ１）の一例である。
本発明は、上記の実施形態に限定されるものではなく、対象画像から抽出する画像領域は四角形のみならず、他の多角形や楕円を含む任意の形状としてもよい。また、上記の実施形態では、分類情報ごとの確率分布は事前に算出しておくこととしたが、対象画像を受け付けた後に算出することとしても構わない。
１０ 画像処理装置、１００ 学習用画像データ取得部、１０２ 学習領域設定部、１０４ 特徴データ生成部、１０６ 学習データ記憶部、１０８ 確率分布算出部、１１０ 対象画像データ取得部、１１２ 処理条件取得部、１１４ 画素評価値算出部、１１６ 部分領域設定部、１１８ 領域評価値算出部、１２０ 対象領域抽出部、１２２ 分類情報決定部、１２４ 表示情報生成部、１２６ 表示部。

Claims (7)

  1. 分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
    対象画像を取得する取得手段と、
    指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
    前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段と、
    前記対象画像の中に複数の画像領域を設定する設定手段と、
    前記設定手段により設定される複数の画像領域ごとに、当該画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、当該画像領域の評価値を算出する領域評価値算出手段
    としてコンピュータを機能させ、
    前記画像領域抽出手段は、前記領域評価値算出手段により前記複数の画像領域について算出された評価値に基づいて、前記複数の画像領域の中から前記指定された分類情報に係る画像領域を抽出するように機能させるための画像処理プログラム。
  2. 前記画像領域抽出手段は、前記対象画像に含まれる画素のうち、前記画素評価値算出手段により算出された評価値が閾値以上である画素を連結した連結画素群を含む画像領域を抽出する
    ことを特徴とする請求項１に記載の画像処理プログラム。
  3. 前記画素評価値算出手段は、指定された複数の分類情報ごとに、当該分類情報に係る前記対象画像に含まれる画素ごとの評価値を算出し、
    前記画像領域抽出手段は、前記指定された複数の分類情報ごとに、前記対象画像の中から当該分類情報に係る画像領域を抽出する
    ことを特徴とする請求項１又は２に記載の画像処理プログラム。
  4. 分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
    対象画像の中に部分領域を設定する設定手段と、
    指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
    前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、
    前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段
    としてコンピュータを機能させるための画像処理プログラム。
  5. 前記設定手段は、前記対象画像について指定された点を含む複数の部分領域を設定し、
    前記領域評価値算出手段は、前記複数の部分領域のそれぞれについて前記指定された複数の分類情報ごとの評価値を算出し、
    前記決定手段は、前記領域評価値算出手段により算出された最大の評価値に対応する部分領域及び分類情報を決定する
    ことを特徴とする請求項４に記載の画像処理プログラム。
  6. 分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
    対象画像を取得する取得手段と、
    指定された分類情報に係る前記対象画像に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、前記確率分布算出手段により前記指定された分類情報について算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
    前記画素評価値算出手段により前記対象画像に含まれる画素ごとに算出された評価値に基づいて、前記対象画像の中から前記指定された分類情報に係る画像領域を抽出する画像領域抽出手段と、
    前記対象画像の中に複数の画像領域を設定する設定手段と、
    前記設定手段により設定される複数の画像領域ごとに、当該画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、当該画像領域の評価値を算出する領域評価値算出手段と、を含み、
    前記画像領域抽出手段は、前記領域評価値算出手段により前記複数の画像領域について算出された評価値に基づいて、前記複数の画像領域の中から前記指定された分類情報に係る画像領域を抽出する
    ことを特徴とする画像処理装置。
  7. 分類情報が定められた複数の画像領域の画像特徴情報に基づいて、分類情報ごとの画像特徴情報の確率分布を算出する確率分布算出手段と、
    対象画像の中に部分領域を設定する設定手段と、
    指定された複数の分類情報ごとに、当該分類情報に係る前記部分領域に含まれる画素ごとの評価値を、当該画素を含む画像領域の画像特徴情報と、当該分類情報について前記確率分布算出手段により算出された画像特徴情報の確率分布とに基づいて算出する画素評価値算出手段と、
    前記指定された複数の分類情報ごとに、前記画像領域に含まれる画素について前記画素評価値算出手段により算出された評価値に基づいて、前記部分領域の評価値を算出する領域評価値算出手段と、
    前記部分領域について前記領域評価値算出手段により算出された前記指定された複数の分類情報ごとの評価値に基づいて、前記指定された複数の分類情報の中から前記部分領域に係る分類情報を決定する決定手段と、を含む
    ことを特徴とする画像処理装置。
JP2011025435A 2011-02-08 2011-02-08 画像処理プログラム及び画像処理装置 Expired - Fee Related JP5742267B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011025435A JP5742267B2 (ja) 2011-02-08 2011-02-08 画像処理プログラム及び画像処理装置
US13/220,201 US8923628B2 (en) 2011-02-08 2011-08-29 Computer readable medium, image processing apparatus, and image processing method for learning images based on classification information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011025435A JP5742267B2 (ja) 2011-02-08 2011-02-08 画像処理プログラム及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2012164226A JP2012164226A (ja) 2012-08-30
JP5742267B2 true JP5742267B2 (ja) 2015-07-01

Family

ID=46600663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011025435A Expired - Fee Related JP5742267B2 (ja) 2011-02-08 2011-02-08 画像処理プログラム及び画像処理装置

Country Status (2)

Country Link
US (1) US8923628B2 (ja)
JP (1) JP5742267B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821590B2 (ja) * 2011-12-06 2015-11-24 富士ゼロックス株式会社 画像識別情報付与プログラム及び画像識別情報付与装置
US9530082B2 (en) * 2015-04-24 2016-12-27 Facebook, Inc. Objectionable content detector
CN105046264B (zh) * 2015-07-08 2018-06-29 西安电子科技大学 一种基于可见光与激光雷达图像的稀疏地物分类与标示方法
JP2017146840A (ja) * 2016-02-18 2017-08-24 富士ゼロックス株式会社 画像処理装置およびプログラム
US11995511B2 (en) 2018-02-08 2024-05-28 Digimarc Corporation Methods and arrangements for localizing machine-readable indicia
US10958807B1 (en) * 2018-02-08 2021-03-23 Digimarc Corporation Methods and arrangements for configuring retail scanning systems
US11669724B2 (en) 2018-05-17 2023-06-06 Raytheon Company Machine learning using informed pseudolabels
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness
CN111178118B (zh) * 2018-11-13 2023-07-21 浙江宇视科技有限公司 图像采集处理方法、装置及计算机可读存储介质
US20200394458A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Weakly-supervised object detection using one or more neural networks
CN110598028B (zh) * 2019-09-06 2023-10-20 创新先进技术有限公司 图像分类方法、装置及存储介质、电子设备
US11068747B2 (en) * 2019-09-27 2021-07-20 Raytheon Company Computer architecture for object detection using point-wise labels
US11676391B2 (en) 2020-04-16 2023-06-13 Raytheon Company Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames
US11562184B2 (en) 2021-02-22 2023-01-24 Raytheon Company Image-based vehicle classification

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163562A (ja) 2004-12-03 2006-06-22 Matsushita Electric Ind Co Ltd 画像処理装置、および画像処理方法
JP4708909B2 (ja) * 2005-08-09 2011-06-22 富士フイルム株式会社 デジタル画像の対象物検出方法および装置並びにプログラム
JP4640155B2 (ja) * 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2008027130A (ja) 2006-07-20 2008-02-07 Seiko Epson Corp オブジェクト認識装置およびオブジェクト認識方法ならびにオブジェクト認識用プログラム
US7840059B2 (en) * 2006-09-21 2010-11-23 Microsoft Corporation Object recognition using textons and shape filters
JP4946878B2 (ja) * 2008-01-10 2012-06-06 株式会社豊田中央研究所 画像識別装置及びプログラム
JP2009211238A (ja) 2008-03-03 2009-09-17 Advanced Telecommunication Research Institute International 事例構築装置およびその事例構築方法
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法

Also Published As

Publication number Publication date
US20120201464A1 (en) 2012-08-09
US8923628B2 (en) 2014-12-30
JP2012164226A (ja) 2012-08-30

Similar Documents

Publication Publication Date Title
JP5742267B2 (ja) 画像処理プログラム及び画像処理装置
US9430835B2 (en) Information processing method and system
JP5709410B2 (ja) パターン処理装置及びその方法、プログラム
US8805077B2 (en) Subject region detecting apparatus
CN108090511B (zh) 图像分类方法、装置、电子设备及可读存储介质
US8923610B2 (en) Image processing apparatus, image processing method, and computer readable medium
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及系统
CN114627173A (zh) 通过差分神经渲染进行对象检测的数据增强
CN110766052A (zh) 图像展示方法、评估模型生成方法、装置及电子设备
CN111259680A (zh) 二维码图像二值化处理方法及装置
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111027545A (zh) 卡证图片标志检测方法、装置、计算机设备及存储介质
JP2020030730A (ja) 家屋異動判読システム、家屋異動判読方法、家屋異動判読プログラム及び滅失判読モデル
CN111507119A (zh) 标识码识别方法、装置、电子设备及计算机可读存储介质
US11036970B2 (en) Hybrid deep learning method for gender classification
Chung et al. Seal imprint verification via feature analysis and classifications
CN115035533B (zh) 一种数据鉴真处理方法、装置、计算机设备及存储介质
JP2007048172A (ja) 情報分類装置
Young et al. Eyeglasses frame selection based on oval face shape using convolutional neural network
Rachchh et al. Inclusion of vertical bar in the OMR sheet for image-based robust and fast OMR evaluation technique using mobile phone camera
CN117597702A (zh) 缩放无关的水印提取
CN113298593A (zh) 商品推荐及图像检测方法、装置、设备和存储介质
Joslin et al. Double Face: Leveraging User Intelligence to Characterize and Recognize {AI-synthesized} Faces
JP5836728B2 (ja) 画像検索装置、画像検索方法及びプログラム
Raz et al. Texture segmentation for seam carving

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150420

R150 Certificate of patent or registration of utility model

Ref document number: 5742267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees