JP4006276B2 - 画像認識方法、画像認識装置及びコンピュータプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像認識方法、画像認識装置及びコンピュータプログラムに係わり、特に、圧縮された画像データ形式であるJpegファイル画像を認識するために用いて好適なものである。
【０００２】
【従来の技術】
デジタルカメラなどで撮影したJpegファイル画像を、ＰＣプリンタもしくはダイレクトプリンタなどから印刷を行う場合や、ＤＰＥでプリントを行う場合がある。この時に、撮影画像データが良質な場合は忠実にプリントすればよいので問題は生じない。
【０００３】
しかしながら、撮影画像データによっては色被り、コントラスト不足、露出の不適切などがあり、良質な印刷結果を得るためには画像補正を施す必要がある。特に、人物を撮影した画像の場合には、一般に、人の顔の色が適正になるようにプリントすると写真を見た人に与える感じが良くなり、写真の質を高めることになる。
【０００４】
銀塩写真の場合、質の良い写真を得るためには原画像ごとに焼き付け時の露光量を変更することが好ましく、この焼付け時の露光量を決めるのに、人物が入った写真の場合には、人の顔の色に着目するのが便利である。何故ならば、人の顔は肌色であることが分かっているために、焼き付けられた写真における人の顔の色が肌色になるように露光量を決めることが可能であるからである。
【０００５】
また、デジタルデータの画像ファイルから画像認識する方法としては、例えば“特開平8-161497号”、“特開2000-48036”、“特開平11-238067号”などが知られている。
【０００６】
これらの方法は、指定画像との類似度や一致度を検出するもので、“特開平8-161497号”の場合は、直流成分によるブロック単位での粗一致を求め、その後、候補画像領域に対して復元処理を行い、非圧縮データとして微一致を求める方式である。
【０００７】
また、“特開2000-48036”の場合は、検索データを入力作成し、このデータと複数の画像データの類似度を判定する画像処理装置である。さらに、“特開平11-238067号”の場合は、検索対象画像をウェーブレット変換して圧縮画像を作成する。また、指定された画像にもウェーブレット変換を施し、各々の特徴データを比較することで、類似度を判定するようにしている。
【０００８】
また、デジタルカメラで撮影した画像をプリントする際に、アプリケーションやプリンタドライバのアプリケーションにより、撮影データをヒストグラムなどで解析し、コントラスト、ホワイトバランス、露出補正、シャープネスなど画像補正を一様に施すものが知られている。
【０００９】
【発明が解決しようとする課題】
デジタルカメラなどで撮影したJpegファイル画像をプリントする場合に、銀塩写真のプリントのように、人物などの注目画像が、より良くプリントできるように必要に応じて補正を行えるように、Jpegファイル画像の中に注目画像を見つけ出す方法を決める必要がある。
【００１０】
また、デジタルカメラからプリンタへ直接プリントを行うダイレクトプリントなどデータ処理能力の低い機器でも使用できるように、検出処理はできうるだけ軽く済む方法が求められている。
本発明は上述の問題点にかんがみ、画像ファイルの中の注目画像を処理負荷の少ない方法で検出できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像認識方法は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用して人物の肌を認識する画像認識方法であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の特徴量が、人物の肌の空間周波数特性適正範囲内に収まっているか否かに基づいて、上記抽出された部分領域のそれぞれが人物の肌であるか否かを判定する判定工程とを有し、前記判定工程において、前記連続ブロック数に応じた空間周波数特性適正範囲が設定されることを特徴とする。
【００１２】
本発明の画像認識装置は、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用して人物の肌を認識する画像認識装置であって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出手段と、上記データ抽出手段によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の特徴量が、人物の肌の空間周波数特性適正範囲内に収まっているか否かに基づいて、上記抽出された部分領域のそれぞれが人物の肌であるか否かを判定する判定手段とを有し、前記判定手段において、前記連続ブロック数に応じた空間周波数特性適正範囲が設定されることを特徴とする。
【００１３】
本発明のコンピュータプログラムは、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用して人物の肌を認識する工程をコンピュータに実行させるコンピュータプログラムであって、上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の特徴量が、人物の肌の空間周波数特性適正範囲内に収まっているか否かに基づいて、上記抽出された部分領域のそれぞれが人物の肌であるか否かを判定する判定工程とを有し、前記判定工程において、前記連続ブロック数に応じた空間周波数特性適正範囲が設定される工程をコンピュータに実行させることを特徴とする。
【００１５】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の画像認識方法、画像認識装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の実施の形態を説明する。最初に、一般的なデジタルカメラのデータ圧縮記録形式であるJpegファイル形式の画像データを印刷する際に、非圧縮データへ復元する前に、ブロック（8*8画素）ごとに輝度、色度ベースのＤＣＴ(離散コサイン変換)されたデータも取得し、注目画像検索のために利用する。このようにすることで、高度な計算をすることなく画像データブロックごとの交流成分情報等を取得して利用可能となる。
【００１６】
「第１の実施の形態」
最初に、現在、最も一般的な画像圧縮ファイルの“Jpegファイル”の情報省略と符号化・復号化について説明する。
【００１７】
まず、符号化であるが、通常、デジタルカメラやデジタルビデオなどでは、静止画をJpeg ファイルにて保存することが一般的になっている。この場合、入力機器の受光素子であるＣＣＤなどの入った信号をＡ／Ｄ変換した後、フレームメモリーに取り込み、ＲＧＢもしくはＣＭＹフィルタの情報を輝度と色度情報とに変換する。その後、８＊８（６４個）正方画素ブロックに分割する。
【００１８】
図３の▲１▼は、輝度データのビットマップを８＊８ブロックに分割したうちの１ブロックのデータ例を示している。また、図３の▲２▼においては、０〜２５５の画素値をレベルシフトして−１２８〜１２７の信号に変換する例を示している。さらに、図３の▲３▼においては、ＤＣＴ（離散コサイン変換）によりＤＣＴ係数を求める例を示している。
【００１９】
また、図３の▲４▼は、視覚特性を考慮した高周波成分の省略を大きくした量子化テーブルであり、このテーブルを用いて、上記図３の▲３▼の結果であるＤＣＴ係数に対して量子化する例を示している。
【００２０】
図３の▲５▼は、量子化を行った結果である。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。
【００２１】
次に、復号化においては、上述した符号化の逆の工程を行う。つまり、符号化信号を復号して、量子化ＤＣＴ係数の値を復号する。次に、逆量子化を行うために量子化テーブルを乗ずることでＤＣＴ係数を得る。その後、逆ＤＣＴを行うことでレベルシフトした画像が復元され、更に逆レベルシフトの値１２８を加算することで１ブロックの画像が復号される。
【００２２】
上記の説明では、輝度情報と色度情報とに分割したデータを合成してＲＧＢ画像に変換することを省略したが、符号化における流れとしては、図２に示すように、カラー画像を輝度成分（Y）と２つの色度成分（Cb、Cr）とに変換し、その各々を符号化して合成することで、圧縮画像データを生成している。
【００２３】
以上のような、圧縮された画像データファイルであるＪｐｅｇ画像をプリントする方法としては、入力機器からの圧縮画像データをＵＳＢや記憶メディアによって、パーソナルコンピュータ（以下、ＰＣとする）に取り込んで画像を展開し、必要に応じて画像補正を加えた後プリンタへデータを送る場合や、入力機器からの画像データを直接プリンタへ入力し、プリンタの中で、画像を解凍し、必要に応じて画像補正を加えた後で印刷を行うなど、幾種類かの選択肢がある。
【００２４】
いずれにしても、良好な画像をプリントするためには、撮影画像データが良質な撮影画像であるか、あるいは補正が必要な画像であるのかを判断して、忠実に印刷すべき良質な画像と、補正を行うことにより良質な画像に近付けた後に印刷を行うもとをより分ける必要がある。
【００２５】
良好な画像とは、下記のようなことが考えられる。
１）ホワイトバランスが良好である。
２）コントラストが適切である。
３）必要な部分の階調が割り当てられている。つまり、露出設定が良好である。
４）彩度が適正である。
５）銀塩写真のような仕上がりである。
６）人物など注目される画像が中心に補正されている。
【００２６】
現在市販のＰＣプリンタやＰＣを経由しないダイレクトプリンタなどにおいても上記１）〜５）の項目においては、程度の差も有るが行われている。また、上記６）の注目画像に対する補正が行われていないのは、その検出に多大な処理が必要であることと、その方法が確立されていないことによる。
【００２７】
特に、処理能力のひ弱なダイレクトプリンタなどにおいては実施が難しいとされているが、本発明はこれを解決するものである。その手段としては、Jpeg画像ファイルに注目画像の存在の検出と、その検出した画像に対する補正の必要等の確認を経て、全体画像補正へ受け渡す方法となる。
【００２８】
図１は、Jpeg ファイルを解凍する過程とその際に取得する情報について表したブロック図である。
Jpeg ファイルをRGBのビットマップデータへ変換する過程においては、まず、符号テーブル２を用いてエントロピー復号化手段１にてエントロピー復号を行う。次に、逆量子化手段３において、逆量子化に使用する量子化テーブル４を、逆量子化を行う他にデータとして記憶する。
【００２９】
この逆量子化されたデータは、ブロック単位のデータとして周波数変換されたものであり、このデータを、画像周波数特性を得るためのデータとして取得する。その後、逆ＤＣＴ手段５において、逆ＤＣＴ処理と逆レベルシフトとを行いＹｃｃ−ＲＧＢ変換することで、通常のＲＧＢビットマップデータに展開する。
【００３０】
次に、この画像において、最も重要と思われる注目画像検出である人物検出のフローチャートを図６に示す。
最初のステップＳ６０１において、８＊８画素のブロック単位のＤＣＴデータを取得すると同時に、画像ファイルはＲＧＢビットマップデータに展開する。
次に、ステップＳ６０２に進んで、ＲＧＢビットマップデータにおいて、８＊８画素のブロック単位に注目画像である人の肌色の色度に対応するか検索を行う。
【００３１】
この場合、検索範囲は全画面を行っても良いが、本実施の形態においては、注目画像が画像の端部に配置されているとは考えずらいので、画像端部より数ブロック分の領域は色度検索の対象から外して検索を行う。
【００３２】
色度の検索方法としては、複数の方法がある。知られているものとしては、
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図５の概念図に示すように、肌色を確率楕円にて表すことができる。求める式としては下記の式（１）〜式（３）になる。
【００３３】
【数１】

【００３４】
本実施の形態においては、処理の簡便さを考慮に入れた下記式（４）である色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図２０である。
【００３５】
【数２】

【００３６】
本実施の形態においては、画像における周波数成分の特徴を検出する単位として８＊８画素単位のブロックで行っている関係で、構造的論理的な簡単さより色度判定においても８＊８画素単位にて実行する。
【００３７】
図７は、本実施の形態で用いている色度検出ポイントを図示したものである。これによると「８＊８画素」単位のブロックの四隅の色度の全てが色度範囲に入っているか否かを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。
【００３８】
図７においては、上段の左から２番目と下段の左から１，２，３ブロックが該当する。上段の一番左のブロックは４ポイントのうち左上の式度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。
【００３９】
図８は、「８＊８画素」単位のブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、８＊８ブロック全ての画素値の平均値を取る方法の他に、解凍中の逆ＤＣＴを行う前の色度データ（Ｃb，Ｃr）の中のＤＣ成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて精度が高い期待ができる。ここで、自然画における色度のみの検出についての内容を見ることにする。
【００４０】
図９は、図７と同じ考えの中ではあるが、全体画像における検出間隔を等分化するためのものである。
【００４１】
図１０は、一般的なポートレート写真であり、図１４は人物の肌色色度と同様な色度範囲を有する枯木の林の写真である。図１０と図１４に対して、それぞれの画素に色度の適合だけで検出を行った結果を図１１と図１５に示す。
【００４２】
図１１のポートレートでの検出結果としては人物の肌色部分をよく検出しているが、その他に柵や背景の中で、ごみのような細かい部分においても適合色度を満たすものが検出されていることがわかる。このため、色度のみでは注目画像を特定できないことがわかる。
【００４３】
図１４においては、人物の肌色を検出する目的にもかかわらず同じ色度を持つ枯れ木の林が全面検出されている。このように、画素レベルでの色度判定を行った場合、注目画像を特定することは不可能である。
【００４４】
検出をブロックレベルにすることにより、特定のまとまりを持った状態が対象になるので、外来ノイズの影響は受けずらくなる。しかしながら、８＊８画素のブロックが適正なまとまりの大きさとは言えず、色度によるブロック検出においても縦方向及び横方向に隣接したブロックの連続検出という、制約を付けた検出を行うことで更に精度を上げることになる。
【００４５】
ここにおいて、人の肌色であってもプリントにおいて顔を認識できるデータ量を満たさないものにおいても適応外としてはじいても良いと言う概念でノイズと判定する連続範囲を設定する。
【００４６】
この部分を表したのが、図６のステップＳ６０３以降の処理である。すなわち、ステップＳ６０３においては、画像に対して長手方向にブロックごとに色度検出を行い、連続検出ブロック数の多い順に候補を策定する。
【００４７】
次に、ステップＳ６０４において、その連続量が、注目画像としての適応する連続量に入っているか否かを比較する。この比較の結果、該当する連続ブロックがある場合はステップＳ６０５に進み、短い方向のブロック連続検出設定を満たすデータが画像に存在するか否かを検索を行う。
【００４８】
次に、ステップＳ６０６において、検出データが有るか否かを判断し、検出データが有る場合にはステップＳ６０８に進んで、この過程で残ったものの中から長手方向の連続ブロック量が大きいデータから順に候補番号を付ける。
【００４９】
また、ステップＳ６０６の判断の結果、検出データが無い場合にはステップＳ６０７に進み、「目的領域無し」をセットして処理を終了する。
【００５０】
ここで、話は少し戻るが、連続ブロックにて色度判定を施した場合の効果については、図１２と図１６で示す。
図１２においては、図１０のポートレート画像に対して検出を行った結果である。図１２において、検出候補の優先順位が高い方からカラーコード（１＝茶、２＝赤、３＝橙、４＝黄、５＝緑、６＝青、７＝紫、８＝灰）順に配置され、それ以外で検出されているのは色度のみ適性範囲に入っているものである。連続ブロック検出により画素レベルの色度検出と比べるとかなりの背景などの非該当候補を削除できていることが判る。
【００５１】
図１６においては、図１４の枯木の林に対して検出を行った結果で、連続ブロック検出においても注目画像以外を検出してしまうことがわかる。
【００５２】
次に、ＶＧＡ（video graphics array）サイズ（６４０＊４８０画素）の複数の画像サンプルを用いて人物肌と枯れ木の林の部分において、検出された適合色度連続ブロックにおける周波数特性を算出した。
【００５３】
図１８は、画像内に撮影されている人物肌の連続ブロック検出されたブロックのＤＣＴデータを周波数の低い順に並べたものを、周波数の低い方から１０個単位で加算し、連続ブロック数で除したもので、連続検出されたブロックの１個あたりの平均周波数成分をまとめたものである。
【００５４】
したがって、図面において横軸は、ＡＣ成分６３個の周波数成分をまとめたもので、１０個単位のまとまりが６グループと最も周波数の高いデータは３個分のデータとなる。縦軸は、各周波数成分の要素を加算した値である。
【００５５】
これにより、値が大きいほどそのブロックにおいて、該当周波数成分が高いことがわかる。また、検出した連続ブロック数ごとに色分けしたデータ線で表されている。例えば“Ｂ２"は連続ブロックが２個検出されているデータの平均した値を表し、“Ｂ１５"は連続ブロックが１５個検出されているデータの平均した値を表している。以下同じで、“Ｂ２〜Ｂ１５”までの複数画像からの平均的な人物肌色部分の連続検出値ごとの空間周波数特性を表している。
【００５６】
検出結果を見ると、
１）低い周波数成分の値が大きく低い周波数成分の下から３グループ以降は、連続ブロック数に係わり無く５０以下となっている。
２）連続ブロックの連続値が大きいほど周波数特性が低くなっている。
【００５７】
これらの結果から言えることは、人物の肌色部分の周波数特性は比較的低い周波数で構成されていることと、検出された連続ブロックの値が大きいことは、被写体の撮影された大きさが大きいことを示していて、この連続ブロックとしての平均値を出すことによって周波数成分が下がっていることがわかる。
【００５８】
連続ブロックの連続値により、同じ注目画像の色度を持っているものでも、その連続ブロックを１つの代表値にすること（例えば、Ｂ６のブロックの時は検出した６個のブロックの値を、各々周波数の低い順に１０個単位のグループとして加算したものをグループごとに加算した後、その連続値である６で除して平均を出している。）により、空間周波数特性の値が変わるので、連続検出値により適当な該当周波数特性が違うことが判る。
【００５９】
図１９は、人物の肌色色度と同様な色度範囲を有する枯木の林の写真を複数用意して、検出を行った結果を図１８と同じように表したものである。
【００６０】
検出結果を見ると、
１）人物の肌の空間周波数特性と比べると高い周波数成分にデータ多くあることが確認できる。
２）一番低い周波数成分のグループは人物の肌の結果と大きくは違わない。
【００６１】
これらのことから、連続ブロックにおける周波数成分を検出することで、同じ色度を持った検出物体を周波数特性により区別することが可能であることがわかる。
【００６２】
図４は、本実施の形態において使用したもので、注目画像である人物肌の空間周波数特性を表したものである。上の段がＶＧＡ（６４０＊４８０）画像における周波数特性の適正範囲である。
【００６３】
連続ブロック値を２〜８個のグループ（〜L8）と９〜２０個のグループ（L9〜２0）と２１個以上のグループ（L２1〜）の３グループにまとめて、グループごとに周波数の適正範囲を設定したものである。周波数の適正範囲も先に示した１０個単位の７グループによる周波数特性を用いた。これは、処理の簡略化と検出精度のバランスで行ったもので、これに縛られる必要は無い。
【００６４】
図６の説明に戻る。上述したように、色度により検出された長手方向の連続量が大きいデータから順に注目画像の候補番号１〜ｎ（本実施の形態においてはｎ＝８）を付ける（ステップＳ６０８）。ｎ以降の検出したものについては候補番号を付けられない。
【００６５】
次に、ステップＳ６０９に進み、上記候補１〜ｎに対して、図４で示した連続ブロック数に対する空間周波数特性適正範囲判定表の範囲に適合するか逐次比較する。この結果、適合する候補が存在しない場合は注目画像が存在しないと判断する。
【００６６】
また、適合する候補が存在する場合においては、以下に説明を行う。
図２２に、そのフローチャートを示す。
最初のステップＳ２２０１において、候補の数を確認する（１〜ｍ）。
次に、ステップＳ２２０２に進み、候補グループを形成する。この場合、候補に隣接する色度適合ブロックを候補グループとする。
【００６７】
次に、ステップＳ２２０３に進み、候補グループが複数であるか否かをを判断する。この判断の結果、候補グループの中に複数の候補が含まれた場合は、ステップＳ２２０４に進み、候補番号の若い方の番号を用いたグループとする。
【００６８】
そして、検出された各グループに対して、どちらのグループが補正対象となる注目画像としての重みが大きいかを判断するために、グループ内の確からしさをポイント換算で、比較を行い、よりポイントが高いグループが最終注目画像と設定される。
【００６９】
ポイントの方法としては、候補が“m”個存在する場合、候補１のポイントは“ｍ”。候補２のポイントは“ｍ−１”以下同様に候補ｍのポイントは“１”となる。
【００７０】
このようにして、候補グループ間の優位性を判断した結果の実例を図２３に示す。検出した候補グループは２グループあり、そのうち右のグループのポイントが左の候補グループのポイントを上回ったので、最終候補となっている。
【００７１】
また、ポイント数の絶対値は、対象となる候補グループの注目画像としての信頼度を表しているので、このポイントにより注目画像に対する補正強度を決定する。補正強度決定方法としては、ポイントによる閾値を設け、閾値の上下関係で強度の指定を行う。
【００７２】
先の、図１０と図１４に対する結果を図１３と図１７に示す。
図１３においては、注目画像である人物の顔の肌を検出している。また、図１７においては、各候補が周波数特性に適合せず候補部分が黒塗りの状態で表している。これは、注目画像が検出されなかった状態を表し、注目画像に重みを置いた画像補正の対象にならないことを示し意している。
【００７３】
こうして注目画像を検出することができる。通常の画像補正は、画像全体のバランスに亘って補正が行われるので、逆光などで本来注目したい画像の画質を落としてしまう場合が存在しているが、本実施の形態による注目画像検出により、補正項目として輝度の最適化のための露出、及び好ましい肌色のための色バランスや彩度補正を注目画像のデータを基に補正を行うことで、より高品質な画像を得ることができる。
【００７４】
図２４に、一般画像補正を行った結果と、本実施の形態の注目画像検出を利用して画像補正を行った結果の一例を示す。図２４に示したように、本実施の形態の注目画像検出を利用して画像補正を行った場合は、人物などの注目画像をより良くプリントすることができる。
【００７５】
本実施の形態においては、プリントのための最適画像処理用に注目画像を検出する方法を示しているが、表示用などにも使用できることは言うまでも無い。
【００７６】
また、本実施の形態においては、検出画像の周波数成分特性を見るために周波数情報を１０個単位で加算して周波数成分の６３個を７グループとして、画像の特性を判断したが、グループ化という発想をなくし、６３個全ての周波数をそのまま利用しても良いことは言うまでも無い。
【００７７】
更に、画像の長手方向からの連続量の検出後短い方向の検出を行ったが、この順序も逆になっても可能であり、この他、検出ブロックを一列のグループとして検出する方法以外にも色度で検出したグループにおける全ての方向に隣接したブロックグループという、とらえ方で空間周波数特性を確認する方法など、色度と周波数特性を組み合わせた検出方法はいくらでもあり、これら一連の検出方法は本発明に含まれることは言うまでも無い。
【００７８】
本実施の形態においては、図４のように、連続検出値を３グループに分け周波数特性の適正範囲との比較を行い周波数特性の合否を判定したが、連続検出を３グループ化したのは、実施形態を簡単化するためで、連続値ごとに適正範囲を設定しても良いし、連続値には相関関係が有るので、テーブル方式ではなく理論式による方法を用いても良い。また、周波数特性も７グループ値を使用したが、６３個の周波数のすべてにて行っても良いし、更には特定の周波数に注目して判定しても良い。
【００７９】
本実施の形態においては、検出の目的になっている注目画像は人物の肌の領域に設定して説明しているが、周波数成分、もしくは周波数成分と色度により検出可能なものは、人物の肌色に限らず、空、海、木々の緑なども存在する。
【００８０】
本実施の形態においては、８＊８ブロック単位データの周波数成分を周波数の低い順から１０個単位でまとめた値を用いて、その１０個の和によるグループ（最も高い周波数グループは３個の和）の特性から周波数特性を代表させているが、Jpeg ファイルの場合、ＤＣ成分１個に対し、ＡＣ成分６３個の構成で、周波数特性を表しているので、１０個の集合体として特性を見なくても良い。
【００８１】
また、６３個の個々の特性より判断しても良いし、もっとグループ化しても良い。また、特定の周波数成分のみの利用により特性を導き出しても良い。このように、周波数特性を利用した特性を導くのにＡＣ成分の利用方法はいくらでもある。
【００８２】
更に、本実施の形態では８＊８ブロックの連結と言う概念で縦方向と横方向について注目画像を検出するために色度該当ブロックの連続性において、候補を抽出しているが、この時のブロック集合体の判定方法も、この方法に限られてものではないことは言うまでも無い。
【００８３】
本実施の形態では連続検出した色度ブロックに対して検出した連続値により、端のブロックを削除した値を特性利用しているが、周波数成分による適合から色度ブロックの境界を設定したり（図２１）、予め特定以上の周波数特性のあるブロックを、色度検索を行う前に除外してから行うようにしたりなど、ブロックの集合体を決定するための色度と周波数成分による分離の仕方は、複数の方法と組み合わせがあるが、本願特許の範囲に包含される。
【００８４】
上記図２１について説明する。図２１の左側は元画像であり、このJpeg ファイル画像の圧縮単位である８＊８画素ブロックの周波成分における高周波成分の総データ値が閾値を超えるか超えないかで判定したのが右側の画像になる。明るい部分が高周波成分を持つ領域で、暗い部分が高周波成分の少ない領域である。この領域を境に設けた色度判定による注目画像検出も可能である。
【００８５】
また、本実施の形態は、画像圧縮ファイルとして、“Jpegファイル”を利用した方法を開示したが、“Jpeg2000 file“など、周波数成分への変換を利用した他のファイルに対しても同様な考え方で、注目画像の検出を簡単な処理で実現できることは、言うまでもない。
【００８６】
（本発明の他の実施の形態）
なお、以上に説明した本実施形態の画像認識装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。
【００８７】
したがって、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【００８８】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【００８９】
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。例えば、画面入力処理は、遠隔端末コンピュータで行われ、各種判断、ログ記録等は他のセンターコンピュータ等で行われるようにしても良い。
【００９０】
【発明の効果】
上述したように、本発明によれば、複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出し、上記抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の特徴量が、人物の肌の空間周波数特性適正範囲内に収まっているか否かに基づいて、上記抽出された部分領域のそれぞれが人物の肌であるか否かを判定する際に、前記連続ブロック数に応じた空間周波数特性適正範囲が設定されるようにしたので、高度な計算をすることなく画像データブロックごとの交流成分情報を含む情報を取得して、画像ファイルの中の注目画像を検索するために利用することができる。これにより、処理負荷の少ない方法で注目画像を検出することができる。
【００９１】
また、本発明のその他の特徴によれば、デジタルカメラから直接プリントする場合などのように、パーソナルコンピュータと比べ処理能力が低い組み込み式の機器においても製品として使用可能な範囲の処理で、印刷する圧縮画像ファイルに補正の対象となる注目画像の有無及びその値の適正度を検出することができ、必要に応じて注目画像を重視した画像補正を施すことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるJpeg画像解凍時に必要なデータを取得する流れを示す概念図である。
【図２】実施の形態の画像データをJpeg形式へ変換する処理過程の流れを示す概念図である。
【図３】実施の形態のJpegの画像圧縮単位である8*8ブロックを例にしたJpeg形式へ変換する処理過程を示す図である。
【図４】実施の形態のJpegファイル画像圧縮単位である8*8ブロックのＡＣ成分特性を利用した判別テーブルを示す図である。
【図５】実施の形態の他にある肌色のＲＧ色度分布例を示す図である。
【図６】実施の形態のJpeg画像解凍からの注目画像検出フローチャートである。
【図７】実施の形態のJpegファイル画像圧縮単位である8*8ブロックにおける、色度検出方法を示す図である。
【図８】実施の形態のJpegファイル画像圧縮単位である8*8ブロックでのＤＣ成分を利用した色度検出方法を示す図である。
【図９】実施の形態の色度検出において、３ビット間引きを利用して検出をした場合の8*8ブロックにおける検出状況を示す図である。
【図１０】実施の形態の検出用Jpeg画像サンプルの第１の例を示す図である。
【図１１】第１の画像サンプルを色度のみによる検出を行った結果のBMP ファイルの一例を示す図である。
【図１２】第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続Block検出を行った結果のBMP ファイルの一例を示す図である。
【図１３】実施の形態の注目画像検出により、第１の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMPファイルの一例を示す図である。
【図１４】実施の形態の検出用Jpeg画像サンプルの第２の例を示す図である。
【図１５】第２の画像サンプルを色度のみによる検出を行った結果のBMPファイルの一例を示す図である。
【図１６】第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続Block検出を行った結果のBMP ファイルの一例を示す図である。
【図１７】実施の形態の注目画像検出により、第２の画像サンプルを8*8ブロック単位の色度検出を元に配置と連続ブロックとＡＣ成分による検出を行った結果のBMP ファイルの一例を示す図である。
【図１８】実施の形態の人物肌検出において、人物肌検出データの連続色度検出値におけるＡＣ成分の周波数特性を示す図である。
【図１９】実施の形態の人物肌検出において、枯れ林の検出データの連続色度検出値におけるＡＣ成分の周波数特性の表を示す図である。
【図２０】実施の形態の肌色のRG色度分布を示す図である。
【図２１】周波数特性による境界作成のための検出方法の一例を示す図である。
【図２２】実施の形態の候補グループの判定手順を示すフローチャートである。
【図２３】実施の形態の候補グループ判定の検出結果画像の一例を示す図である。
【図２４】実施の形態の注目画像検出を利用した画像補正の比較結果の一例を示す図である。
【符号の説明】
１ エントロピー復号化手段
２ 符号テーブル
３ 逆量子化手段
４ 量子化テーブル
５ 逆ＤＣＴ手段

Claims (12)

1. 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用して人物の肌を認識する画像認識方法であって、
   上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、
   上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の特徴量が、人物の肌の空間周波数特性適正範囲内に収まっているか否かに基づいて、上記抽出された部分領域のそれぞれが人物の肌であるか否かを判定する判定工程とを有し、
   前記判定工程において、前記連続ブロック数に応じた空間周波数特性適正範囲が設定されることを特徴とする画像認識方法。
2. 上記圧縮データはJpegファイルデータであることを特徴とする請求項１に記載の画像認識方法。
3. 上記注目画像対象部分に入っているか否かの判定を行うための情報に、上記抽出された部分領域の画像全体における配置情報が加えられ、前記配置情報が画像の端部近傍を示す場合、前記画像の端部近傍に対しては判定を行わないことを特徴とする請求項１または２に記載の画像認識方法。
4. 上記注目画像対象部分に入っているか否かの判定を行うための情報に、上記抽出された部分領域の隣接した連続性情報が縦と横方向に加えられ、前記連続性情報が、所定の連続量に入っている場合、注目画像候補領域とすることを特徴とする請求項１乃至３の何れか１項に記載の画像認識方法。
5. 上記注目画像対象部分に入っているか否かの判定を行うための情報に、上記抽出された部分領域の直流成分が加えられたことを特徴とする請求項１乃至３の何れか１項に記載の画像認識方法。
6. 上記注目画像対象部分の判定において、上記設定範囲の中で複数の注目画像対象部分候補が検出された場合に、上記検出された部分領域の隣接した連続が一番多い注目画像対象部分候補を注目画像対象部分に該当すると判定することを特徴とする請求項３乃至５の何れか１項に記載の画像認識方法。
7. 上記検出された部分領域の隣接した連続が一番多い注目画像対象部分候補を含む部分領域に連続で隣接している部分領域において、色度が適正範囲に入っている注目画像対象部分候補を含めて注目画像とすることを特徴とする請求項６に記載の画像認識方法。
8. 上記検出した注目画像領域内において、部分領域の連続が２番目以降に長いものの含有率で検出した注目画像の検出の確からしさを求めることを行うようにしたことを特徴とする請求項７に記載の画像認識方法。
9. 上記検出した注目画像の確からしさを用いて画像補正強度を決定するようにしたことを特徴とする請求項８に記載の画像認識方法。
10. 上記検出した注目画像領域内の輝度情報を作成し、上記作成した輝度情報を元に、画像全体への露出補正を行うようにしたことを特徴とする請求項７乃至９の何れか１項に記載の画像認識方法。
11. 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用して人物の肌を認識する画像認識装置であって、
    上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出手段と、
    上記データ抽出手段によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の特徴量が、人物の肌の空間周波数特性適正範囲内に収まっているか否かに基づいて、上記抽出された部分領域のそれぞれが人物の肌であるか否かを判定する判定手段とを有し、
    前記判定手段において、前記連続ブロック数に応じた空間周波数特性適正範囲が設定されることを特徴とする画像認識装置。
12. 複数の画素単位で圧縮された圧縮データを非圧縮データへと復元する過程を利用して人物の肌を認識する工程をコンピュータに実行させるコンピュータプログラムであって、
    上記圧縮データを非圧縮データへと復元する時に、圧縮の単位である複数の部分画素領域について、交流周波数成分を含むデータを抽出するデータ抽出工程と、
    上記データ抽出工程によって抽出された複数の部分画素領域からなる部分領域の色度の特徴量が、肌色の色度範囲内に収まっている部分領域を抽出し、該抽出された部分領域が連続する連続ブロックを検出し、該検出されたブロックの交流周波数成分の特徴量が、人物の肌の空間周波数特性適正範囲内に収まっているか否かに基づいて、上記抽出された部分領域のそれぞれが人物の肌であるか否かを判定する判定工程とを有し、
    前記判定工程において、前記連続ブロック数に応じた空間周波数特性適正範囲が設定される工程をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images