JP2004303193A - 画像処理装置 - Google Patents

Abstract

【課題】画像処理が、本来その対象となるべきでない領域に対してまで実施されることを防止すること。例えば、人物画像に対するぼかし処理において背景を含む領域がぼやけてしまうことを防止すること。
【解決手段】画像補正処理の対象となる領域、例えば人物像を含む画像中における人物像の領域を自動的に特定し、特定された領域に限ってぼかし処理などの画像補正処理を実施する。
【選択図】 図２

Description

本発明は、撮像された画像、特に人物を被写体とした画像に対する画像処理に適用されて有効な技術に関する。

従来、人物を被写体とした画像に対して画像補正を行うことにより、被写体の肌をなめらかに美しく見せる技術がある。このような画像補正の具体的な例として、ε−フィルタを用いることにより、画像全体のエッジや明るさ差分に対し局所的にぼかし処理を施す技術や、画像全体において肌の色成分の領域に対してのみぼかし処理を施す技術がある（例えば、特許文献１参照）。

また、顔画像に含まれる望ましくない成分、例えば皺、しみ、肌荒れ、にきびなどを修正・除去することを目的とする技術として、以下のような技術もある（特許文献２参照）。まず、顔を主体とする画像を形成する各画素の信号値に対して、差分検出部により各画素の周囲の画素一つ一つとの信号レベル差が検出される。閾値判定部により、この信号レベル差と基準値とが比較される。演算部により、この比較の結果に応じて信号レベル差に所定の係数が乗じられ、各画素値に加えられる。この加算結果から、比較における基準値や乗算部における係数が画素の位置や画像に応じて選択されることにより、顔画像に含まれる望ましくない成分が取り除かれた画像が得られる。

また、従来技術として、人物画像の身体部分、特に、その顔部分や頭部分については装飾が重なることがないようにしたうえで装飾を付加することを可能とする人物画像処理装置がある（特許文献３参照）。この人物画像処理装置は、人物画像の身体部分を構成する少なくとも一つの要素に基づいて身体部分領域の位置及び範囲を設定する手段と、身体部分領域を除いた背景領域のみに装飾を付加する手段とを備えている。また、この人物画像処理装置は、人物画像の身体部分を構成する少なくとも一つの要素に基づいて身体部分領域の位置及び範囲を設定する手段と、身体部分領域の外周囲に沿って装飾を付加する手段とを備えるように構成される場合もある。
特許第３３１９７２７号公報 特開２０００−１０５８１５号公報 特開２０００−０２２９２９号公報

従来の技術では、被写体の肌に対するぼかし処理が行われる場合、画像内に存在する肌の色に近い成分の色を有するものを対象としてぼかし処理が実行されていた。このため、肌の色と異なる成分の色を有するものまでがぼかし処理の対象となりぼやけてしまうことは防止されていた。

しかしながら、従来の技術では、画像内に肌の色と近い成分の色を有する物体や背景があった場合、このような部分までぼかし処理の対象となっていた。このため、被写体の人物以外の、肌の色と近い成分の色を有する背景までがぼやけてしまうという問題があった。

また、従来の技術では、あらかじめぼかし処理の対象となる肌の色成分が固定的に保持されていた。このため、従来の技術では、人種や個人差による肌の色の差異に対応できない場合があった。このような場合、肌の領域に対するぼかし処理が正確に実施されないこ
とがあった。

また、上記のようなぼかし処理における問題は、ぼかし処理に限らず他の画像処理においても問題となっていた。

本発明では、このような問題を解決し、本来はぼかし処理などの画像処理の対象とならない領域に対して画像処理が実施されることを防止することを目的とする。

例えば、被写体となる人物の特定領域（例えば顔の肌部分）のみに限定して画像処理（例えばぼかし処理）を行うことにより、肌の色と近い成分の色を有する背景が画像処理によって不自然な状態（例えばぼやけてしまうこと）となることを防止することを目的とする。

また、例えば、画像処理（例えばぼかし処理）の対象となる領域を決定するための色成分、例えば肌の色成分を画像から特定することにより、人種や個人差による肌の色の差異に応じた画像処理を実施することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、画像処理装置であって、所定領域特定手段と画像生成手段とを備える。

所定領域特定手段は、画像中の被写体である人物の身体部分を基準として決まる所定領域を特定する。所定領域特定手段は、ユーザによって手動で所定領域が特定されるように構成されても良い。即ち、所定領域特定手段は、ユーザによって指定された画像中の領域に基づいて前記身体部分を特定し、特定されたこの身体部分を基準として前記所定領域をさらに特定するように構成されても良い。例えば、所定領域特定手段は、ユーザによって指定された領域を身体部分として特定するように構成されても良いし、ユーザによって指定された点、領域、色、形状などに基づいて身体部分を特定するように構成されても良い。そして、所定領域特定手段は、このようにして特定された身体部分を基準として所定領域を特定するように構成されても良い。

また、所定領域特定手段は、ユーザによる入力から独立して所定領域を特定するように構成されても良い。例えば、所定領域特定手段は、画像中の被写体である人物の身体部分を検出する検出手段と、検出手段によって検出された身体部分を基準として所定領域を特定する特定手段とを備えるように構成されても良い。

具体的には、検出手段は、被写体の身体部分の位置及び範囲（大きさ）等を検出する。「身体部分」とは、頭，顔，手，足，胴体など、人物の身体の一部分又は全体を指す。検出手段は、既存のどのような手段を用いて構成されても良い。

画像生成手段は、所定領域特定手段によって特定された所定領域に対して画像処理が施された画像を生成する。ここで言う「画像処理」とは、画像を操作する処理である。画像処理の例として、画像補正やテクスチャマッピング等の処理がある。

また、ここで言う「画像補正」とは、画像の被写体の本質を変えることなく画像を操作する処理である。画像補正の例として、ぼかし処理，エッジ強調，明るさ補正，色補正などがある。ぼかし処理とは、ここでは肌の皺やしみ等の画像部分をぼかすことにより、被写体となる人物の肌をなめらかに見せるための処理である。ぼかし処理は、例えば平滑化と呼ばれる技術を用いて行われる処理であり、肌の画像中の高周波成分を除去することにより実施される。例として、移動平均フィルタや荷重平均フィルタ（ガウシアンフィルタ
を含む）やε−フィルタを用いた方法がある。

本発明の第一の態様によれば、所定領域特定手段によって特定された所定領域以外の部分については画像処理が施されていない画像を取得できる。即ち、被写体となる人物の身体部分を基準とした所定領域のみに限定して画像処理が施された画像を取得できる。従って、画像処理の対象となるべき被写体とは異なる部分（例えば背景）が画像処理によって不自然な状態となってしまうことが防止される。言い換えれば、ユーザが意図しない部分に対して画像処理が施されることが防止される。

例えば、画像に施される画像処理がぼかし処理である場合、所定領域特定手段によって特定された所定領域以外の部分についてはぼかし処理が施されない画像を取得できる。言い換えれば、被写体となる人物の所定領域のみに限定してぼかし処理が施された画像を取得することが可能となる。従って、被写体とは異なる部分（例えば背景）がぼかし処理によってぼやけた画像となってしまうことを防止できる。

画像生成手段は、所定領域特定手段によって特定された所定領域の基準となった身体部分から抽出された、被写体である人物の肌の色の色成分に基づいた画像処理が施された画像を生成するように構成されても良い。

画像生成手段が上記のように構成されることにより、被写体である人物各々の肌の色に対応した画像処理が実行される。従って、人種や個人差による肌の色の差異に対応し、異なる肌の色の被写体に対してもそれぞれ正確に画像処理が実施された画像を取得することが可能となる。

同様の効果を奏する構成として、画像生成手段は、所定領域特定手段によって特定された所定領域内の領域であって、この所定領域の基準となった身体部分を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成するように構成されても良い。

本発明の第二の態様では、第一の態様における画像生成手段は、強度値算出手段とマスク手段と画像処理手段と色成分算出手段とを備えるように構成される。

強度値算出手段は、処理対象となっている画像の各画素について、各画素の色成分が、予め定められた肌の色成分にどれだけ近いかを示す強度値を算出する。色成分とは、どのような色空間に基づいた値であっても良く、例えばＬａｂ値やＲＧＢ値やｘｙ値などがある。肌の色成分は、予め定められた値であり、例えば画像補正装置のＲＡＭ（Random Access Memory）に記憶される。例えば、強度値は、０から２５５までの２５６階調の値で表現される。例えば、強度値は、０の場合に最も肌の色成分から遠いことを示し、２５５の場合に最も肌の色成分に近いこと（肌の色成分そのものであること）を示す。

マスク手段は、所定領域特定手段によって特定された所定領域以外の画素についての強度値を、肌の色成分に遠いことを示す値にする。

例えば、肌の色成分に最も遠いことを示す値として０を、最も近いことを示す値として２５５を適用することが可能である。マスク手段は、所定領域以外の領域にマスク処理を行うためのマスク画像を生成し、生成されたマスク画像と、各画素の強度値を示す画像との乗算処理を行うことによって、強度値を上記のように設定しても良い。上記例示の場合、所定領域以外の領域の強度値は０であり、所定領域内の強度値は０以上の値であるように構成される。

画像処理手段は、処理対象となっている画像に対して画像処理を施す。画像処理手段が実施する画像処理の定義は、画像生成手段の説明において定義した画像処理と同じである。

色成分算出手段は、各画素における強度値が肌の色成分に遠いことを示すほど、この画素の新たな色成分として前記元の画像の画素の色成分に近い色成分を算出し、各画素における強度値が肌の色成分に近いことを示すほど、この画素の新たな色成分として前記画像処理手段によって生成される画像の画素の色成分に近い色成分を算出する。色成分算出手段は、強度値算出手段及びマスク手段によって算出された強度値に基づいて、各画素の新たな色成分（即ち出力となる画像の各画素の色成分）を算出する。

例えば、画像処理がぼかし処理である場合、強度値が大きいほど、ぼかし画像（元の画像に対してぼかし処理が実施されて得られる画像）の色成分を強く反映させた画像が生成されるように、色成分算出手段は構成される。また、強度値が小さいほど元の画像の色成分を強く反映させた画像が生成されるように、色成分算出手段は構成される。このように構成されることにより、肌の色以外の領域などに画像処理の影響が及んでしまうことが防止される。このような効果を最も顕著に得たい場合には、所定領域以外の画素についての強度値を、肌の色成分に最も遠いことを示す値となるように設定できる。

本発明の第三の態様では、本発明の第一の態様における画像生成手段は、強度値算出手段とマスク手段と画像処理手段とを備えるように構成される。本発明の第三の態様では、画像生成手段は色成分算出手段を備えず、画像処理手段によって出力となる画像の色成分が算出される。第三の態様における強度値算出手段とマスク手段とは、第二の態様における強度値算出手段とマスク手段と同じである。一方、第三の態様における画像処理手段は、処理対象となっている画像に対し、各画素における強度値が肌の色成分に遠いことを示すほど画像処理の影響を弱めてこの画素に対する画像処理を実施し、各画素における強度値が肌の色成分に近いことを示すほど画像処理の影響を強めてこの画素に対する画像処理を実施する。この画像処理手段は、強度値算出手段及びマスク手段により得られる該画像の各画素の強度値に基づいて画像処理を実施する。このように、本発明の第三の態様では、色成分算出手段を備える必要がない。このため、装置の小型化や処理の高速化、コストの削減などを実現することができる。

本発明の第四の態様では、画像生成手段は、強度値算出手段と画像処理手段と色成分算出手段とを備える。第四の態様では、強度値算出手段が算出する強度値の定義が第二の態様と異なる。第四の態様では、強度値は、各画素の色成分が、所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す。従って、第四の態様における強度値算出手段は、処理対象となっている画像の各画素について、各画素の色成分が、所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する。

また、第四の態様では、マスク手段は備えられても備えられなくても良い点で、第二の態様と異なる。マスク手段が備えられない場合、当然のことではあるが、色成分算出手段は、マスク画像における強度値を用いずに、各画素の新たな色成分を算出する。また、マスク手段が備えられない場合、画像処理手段は、処理対象となっている画像の所定領域に対して画像処理を施すように構成される。

上記三点を除けば、第四の態様と第二の態様とは同様の構成をとる。第四の態様では、第二の態様と異なり、強度値は、所定領域特定手段の処理結果に応じて変化する。即ち、被写体である人物各々の身体部分における肌の色に対応した画像処理が実行される。従って、人種や個人差による肌の色の差異に対応し、異なる肌の色の被写体に対してもそれぞれ正確に画像処理を実施することが可能となる。

本発明の第五の態様では、画像生成手段は、強度値算出手段と画像処理手段とを備えるように構成される。また、本発明の第五の態様では、本発明の第三の態様と同様に、色成分算出手段を備える必要はなく、画像処理手段によって出力となる画像の色成分が算出される。このため、本発明の第五の態様によれば、本発明の第三の態様と同様に、装置の小型化や処理の高速化、コストの削減などを実現することができる。ただし、本発明の第五の態様では、本発明の第四の態様と同様に、強度値は予め定められた肌の色成分を基準として求められるのではなく、所定領域の基準となった身体部分を主に占める色成分に基づいて求められる。このため、本発明の第五の態様によれば、人種や個人差による肌の色の差異に対応し、異なる肌の色の被写体に対してもそれぞれ正確に画像処理を実施することが可能となる。また、本発明の第五の態様では、第四の態様と同様にマスク手段は備えられても備えられなくても良い。

本発明の第二から第五の態様において、画像処理手段は、所定の範囲の強度値を有する画素については画像処理を実行しないように構成されても良い。「所定の範囲の強度値」とは、画像処理の対象となることを望まない領域を示す強度値である。具体的な例として、肌の色成分や所定領域の基準となった身体部分を主に占める色成分に最も遠いことを示す強度値がある。第二，第四の態様における色成分算出手段や第三，第五の態様における画像処理手段が、所定の範囲の強度値を有する画素に対しては画像処理の影響が現れないような出力画像を生成するように設定される場合がある。このような設定の場合、所定の範囲の強度値を有する画素に対しわざわざ画像処理を実行する必要は無い。従って、このような画素に対する画像処理を省略することにより、画像処理手段による画像処理に要する時間を削減することが可能となる。特に、このように構成されていない第二，第四の態様では、画像処理手段は各画素の強度値によらずに画像処理を実施する。そして、色成分算出手段によって強度値に応じた処理が実行され、結果として画像処理手段によって実施された画像処理が全く反映されない画素が生じることがある。このため、このように強度値に応じて画像処理を実施するか否か画像処理手段が判断する構成は、第二，第四の態様において特に有効である。

本発明の第六の態様では、画像生成手段は、実施する画像処理の内容を、所定領域特定手段によって特定された所定領域の基準となった身体部分の大きさに基づいて決定する。例えば、画像生成手段は、所定の画像処理を実施する際のパラメタを、所定領域の基準となった身体部分の大きさに基づいて決定する。このようなパラメタの例として、ぼかし処理のぼかし度合い（さらに具体的には、ぼかし処理をガウシアンフィルタを用いて実行する場合にはその半径の大きさ等）、エッジ強調の度合い、明るさ補正の度合い等がある。画像処理の種類の決定の例として、エッジ強調を実行するか否か、明るさ補正を実行するか否か、ぼかし処理を実行するか否かなどの判断がある。

ぼかし処理を例に説明すると、小さい領域に対してぼかし処理を過度に実行してしまうと、領域全体がぼけてしまい所望の画像（例えば肌が適度になめらかに補正された画像）が得られない。一方、大きい領域に軽微なぼかし処理を実行してしまうと、ぼかされるべき箇所（例えば、顔画像に含まれる望ましくない成分、例えば皺、しみ、肌荒れ、にきび等）が十分にぼかされず、所望の画像が得られない。エッジ強調の度合い等の他の画像処理についても同様である。このような問題に対し、本発明の第六の態様では、所定領域の基準となった身体部分の大きさに応じた適正な画像処理の内容が決定・実行され、ユーザの所望の画像を得ることが可能となる。

また、画像生成手段は、実施する画像処理の内容を、検出手段によって検出された身体部分の大きさに基づいて決定するように構成されても良い。

本発明の第七の態様では、要素抽出手段がさらに備えられる。要素抽出手段は、処理対象となっている画像中の被写体である人物の身体部分を構成する要素であって、所定領域に含まれる要素を少なくとも一つ抽出する。「要素」とは、身体部分を構成する部位を指す。このような要素の例として、顔のパーツ（具体的には目、瞼、唇、鼻、鼻孔、眉、睫毛などがある）がある。この場合、顔が身体部分であり、顔のパーツが要素となる。要素抽出手段には、既存のどのような技術が適用されても良い。

本発明の第七の態様では、画像生成手段は、要素抽出手段によって抽出された要素を基準として決まる要素領域に対する画像処理を制限して実施する。具体的には、画像生成手段は、上記所定の領域に対して画像処理を行わないように構成されても良い。また、画像生成手段は、上記所定の領域に対して画像処理を実施する際に、画像処理が実施される他の領域に比べてパラメタが異なる（画像処理の度合いが抑えられた）処理を実施するように構成されても良い。

本発明の第七の態様では、画像生成手段は、要素抽出手段によって抽出された要素を基準として決まる要素領域に対し、制限された画像処理を実施する。このため、要素領域に対する画像処理の影響が抑制される。本発明の他の態様では、色成分及び所定領域の基準となった身体部分などに基づいて画像処理の内容が決定された。この場合、所定領域内であって肌の色成分やこの所定領域の基準となった身体部分を主に占める色成分に近い色成分を有する画素については、上記要素に該当する画素についても無条件で画像処理が実施されていた。しかし、実際にはこれらの要素に対する画像処理の影響を制限したい（抑えたい）という要望がある。例えば、化粧の方法によっては、唇の色（口紅の色）や眉毛などの要素が肌の色成分に近い色成分によって構成される場合がある。このような場合、他の肌の部分と同じような画像処理（例えばぼかし処理）が各要素に対して実施されることは望まれないことがある。このような場合に本発明の第七の態様は有効である。即ち、強度値算出手段やマスク手段によって十分に区別ができない要素に対する画像処理を的確に抑制することが可能となる。

本発明の第二から第五の態様では、画像生成手段は、エッジマスク手段がさらに備えられるように構成されても良い。エッジマスク手段は、処理対象となっている画像の各画素についてエッジの強度を取得し、各画素について、抽出されたエッジの強度が強いほど肌の色成分や所定領域の基準となった身体部分を主に占める色成分に遠いことを示す強度値を与える。エッジの強度に基づいた上記の強度値が取得されることにより、被写体の身体部分を構成する要素の縁が、上記色成分に遠いことを示す強度値を持つ画素として取得される。エッジマスク手段は、ある画素について取得されたエッジの強度を、その画素から所定の範囲に位置する周囲の画素にも与えるように構成されても良い。

このように構成された本発明の第二から第五の態様では、色成分算出手段や画像処理手段は、エッジマスク手段によって取得された強度値にさらに基づいて、各画素における新たな色成分を取得するように構成される。このように構成された本発明の第二から第五の態様では、第七の態様と同様の効果を得ることが可能となる。

また、このように構成された本発明の第二から第五の態様において、エッジマスク手段は、処理対象となっている画像を縮小してから各画素に対し強度値を与え、さらに元の大きさの画像に拡大するように構成されても良い。

エッジマスク手段によって抽出されたエッジについては、上記のように画像処理が制限されて実施される。しかし、たとえば肌の不要な成分をぼかす処理を例にすると、肌の不要な成分がエッジとしてエッジマスク手段において検出されてしまっては、このような肌の不要な成分に対するぼかし処理が有効に機能しない。従って、エッジマスク手段によっ
てこれらの不要な成分のエッジが抽出されないように制御する必要がある。

ところで、画像は、縮小される際に元の画像における微少なエッジの情報を喪失する。このため、縮小された画像においてエッジ強度が取得されると、元の画像における微少なエッジについては取得されない。また、ぼかし処理の対象となる肌の不要な成分は、一般的に微少なエッジにより構成されることが多い。このような特徴を利用し、上記のように構成されることにより、エッジマスク手段によって肌の不要な成分についてのエッジ取得を防止することが可能となる。即ち、エッジマスク手段が上記のように構成されることにより、所望のぼかし処理を実施することが可能となる。同様の効果を得るために、メディアンフィルタ等の平滑化処理を実施した後にエッジ抽出を実施することや、エッジ抽出処理に用いられるフィルタの半径を大きく設定することなども有効である。

また、縮小された画像においてエッジが抽出されるため、エッジの抽出処理に要する時間を削減することも可能となる。

本発明の第八の態様は、画像処理装置であって、像特定手段と画像処理手段とを備える。像特定手段は、画像中の任意の像を含む領域の位置及び範囲を特定する。任意の像とは、画像処理手段による画像処理の対象となる像であり、どのようなものであっても良い。例えば、顔や手などの人物の身体の一部分又は全体や、食物や自動車等の物や、空や山などの背景である。

像特定手段は、既存のどのような技術を用いて構成されても良い。例えば、像特定手段は、注目される任意の像と似た形状のパターンを用いることによるパターンマッチングを実行するように構成されても良い。

画像処理手段は、像特定手段によって特定された領域内の領域であって、この領域を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成する。画像処理手段が実行する画像処理の例として、ローパスフィルタやハイパスフィルタを用いた処理がある。他にも、本発明の第一の態様において定義した画像処理や色の反転処理や画像の回転処理など、様々な処理がある。

本発明の第八の態様によれば、特定された領域内の領域であっても、主要部とは異なる部位に対して、画像処理が実施されることを防止することが可能となる。例えば、車の車体（主要部）のみの色を変更したい場合に、窓ガラスやバンパー等（主要部と異なる部位）の色が変更されることを防止することが可能となる。

本発明の第一から第八の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一から第八の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。

本発明によれば、被写体となる人物の特定の領域のみに限定して画像補正を行うことが可能となる。従って、被写体とは異なる部分（例えば背景）が画像補正によって不自然な状態となってしまうことが防止される。また、人種や個人差による肌の色の差異に応じた画像処理を実施することが可能となる。

［第一実施形態］
次に、図を用いて本発明の実施形態における画像補正装置について説明する。以下の説
明では、画像補正装置の具体例として、人物画像における肌領域への画像補正を行うための画像補正装置の第一実施形態である画像補正装置１ａについて説明する。具体的には、実施される画像処理の例としてぼかし処理の場合について説明する。ただし、画像補正装置１ａは、人物画像以外の画像、例えば車の画像や風景の画像に適用されても良い。この場合は、色を変換する画像補正やハイパスフィルタを用いた画像補正など、様々な画像処理が考えられる。

この説明において、人物画像とは、少なくとも人物の顔の一部または全部の画像が含まれる画像である。従って、人物画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。

なお、本実施形態の説明は例示であり、本発明の構成は以下の説明に限定されない。

〔システム構成〕
画像補正装置１ａは、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶（ＲＡＭ），補助記憶装置等を備えている。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む
），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。

図１は、画像補正装置１ａの機能ブロックを示す図である。画像補正装置１ａは、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶にロードされＣＰＵにより実行されることによって、顔検出部２，マスク処理部３，肌の色領域抽出部４ａ，美肌処理部５ａ，及び記憶部Ｓｔ等を含む装置として機能する。顔検出部２，マスク処理部３，肌の色領域抽出部４ａ，及び美肌処理部５ａは、本発明による画像補正プログラムがＣＰＵによって実行されることにより実現される。

また、記憶部Ｓｔは、いわゆるＲＡＭを用いて構成される。記憶部Ｓｔには、顔検出部２，マスク処理部３，肌の色領域抽出部４ａ，及び美肌処理部５ａによって各処理が実行される際に利用される。例えば、記憶部Ｓｔには、処理対象となる原画像６のデータや、中間生成データとしてのマスク画像７，肌の色強度画像８，マスク済肌の色強度画像９，肌の色領域画像１０ａ，及びぼかし画像１１等のデータや、出力データとしての未肌画像１２のデータが読み書きされる。

図２は、図１に示される各機能部によって実行される処理と、画像補正装置１ａとしての全体の処理フローを示す図である。以下、図１３を用いて、各機能部について説明する。

〈顔検出部〉
顔検出部２は、顔検出処理を実行する。以下、顔検出処理について説明する。顔検出処理では、原画像６のデータが入力され、顔位置検出処理Ｓ０１が実行されることにより、顔矩形座標が出力される。即ち、顔検出処理では、被写体の身体部分として顔が検出される。この顔矩形座標により、原画像６における被写体となった人物の顔の位置が特定される。

原画像６のデータとは、画像補正装置１ａに対して入力される人物画像のデータである。顔矩形とは、原画像６に含まれる人物の顔部を含む矩形として認識される矩形（以下、
顔矩形と呼ぶ：図３（ａ）の１７を参照）である。顔矩形座標とは、原画像６における顔矩形の位置や大きさを示すデータである。

顔位置検出処理Ｓ０１は、既存のどのような方法によって実現されても良い（例えば、特許文献３参照）。例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔矩形座標が得られても良い。また、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔矩形座標が得られても良い。また、クロマキー処理によって頭髪の頂点が検出され、この頂点に基づいて顔矩形座標が得られても良い。また、顔位置検出処理Ｓ０１では、顔矩形や顔矩形座標がユーザによって手動で特定されても良い。同様に、ユーザによって入力された情報に基づいて、即ち半自動で顔矩形や顔矩形座標が特定されても良い。

〈マスク処理部〉
マスク処理部３は、マスク処理を実行する。以下、マスク処理について説明する。マスク処理では、顔矩形座標が入力され、マスク画像作成処理Ｓ０２が実行されることにより、マスク画像７のデータが出力される。

マスク画像作成処理Ｓ０２では、被写体となった人物の顔の位置を基に、即ち本装置１においては入力された顔矩形座標を基に、被写体となった人物の顔と顔の下部の領域を推測し、推測された領域以外にマスクをかけるためのマスク画像７が生成される。言い換えれば、マスク画像作成処理Ｓ０２では、身体部分としての顔の位置を基準として所定領域（ここでは顔と顔の下部の領域）が特定され、この領域以外にマスクをかけるためのマスク画像７が生成される。このように、所定領域特定手段の一例として、この実施形態では顔検出部２及びマスク処理部３が適用される。また、特定手段，マスク手段の一例として、この実施形態ではマスク処理部３が適用される。

図３は、マスク画像作成処理Ｓ０２の概要を示す図である。マスク画像作成処理Ｓ０２では、まず、入力された顔矩形座標に応じた二つの楕円１３，１４の座標が、以下の数１の式を用いて算出される。具体的には、まず、顔矩形の幅（ｗ）及び高さ（ｈ）が算出又は入力される。そして、あらかじめ設定されている楕円縦軸係数（ｐ０，ｐ１）及び楕円横軸係数（ｑ０，ｑ１）とｗ及びｈとがそれぞれ乗算されることにより、二つの楕円の長軸及び短軸の長さ（ａ０，ｂ０，ａ１，ｂ１）が得られる。

楕円１３は被写体となった人物の顔の領域を、楕円１４は被写体となった人物の顔の下部（首，胸元，肩など）の領域を示す図形である。本発明では、楕円１３は顔矩形１７の４点に接するように設定される。また、楕円１４は、その長軸が水平となる状態で、楕円１３の最下部に外接するように設定される。

マスク画像作成処理Ｓ０２では、次に、得られた二つの楕円１３，１４がそれぞれ拡大されることにより、楕円１５，１６が得られる。ここでは、楕円１３及び楕円１５と楕円１４及び楕円１６とは、それぞれ同一の中心（長軸と短軸との交点）を有する。そして、得られた楕円１３〜１６を用いて、マスク画像７が得られる。

例えば、まず楕円１３の内側及び楕円１４の内側が透過領域（マスクされない領域）に設定される。次に、楕円１５と楕円１３との間の領域、及び楕円１６と楕円１４との間の領域において、外側（楕円１５，１６側）から内側（楕円１３，１４側）へ向けて透過の割合が大きくなる透過率のグラデーションを生成する。このグラデーションは、線形であっても非線形であっても良い。そして、楕円１５の外側かつ楕円１６の外側である領域は、不透過領域（マスクされる領域）に設定される。

このようなマスク画像生成処理Ｓ０２により、マスク画像７のデータが出力される。マスク画像７は、楕円以外のどのような図形を用いて生成されても良い。例えば、人物の上半身の形状をした特殊な図形を用いて生成されても良い。

〈肌の色領域抽出部〉
肌の色領域抽出部４ａは、肌の色領域抽出処理を実行する。以下、肌の色領域抽出処理について説明する。肌の色領域抽出処理では、原画像６のデータ，顔矩形座標，及びマスク画像７のデータが入力され、肌の色強度抽出処理Ｓ０３，合成処理Ｓ０４ａ，及び肌の色領域補正処理Ｓ０５が実行されることにより、肌の色領域画像１０ａのデータが出力される。このように、強度値算出手段の一例として、この実施形態では肌の色領域抽出部４ａが適用される。

〈〈肌の色強度抽出処理〉〉
図４は、肌の色領域抽出処理の概要を示す図である。肌の色領域抽出処理では、まず、原画像６のデータ及び顔矩形座標が入力され、肌の色強度抽出処理Ｓ０３が実行される。

図５は、肌の色強度抽出処理Ｓ０３の概要を示す図である。図６は、肌の色強度抽出処理Ｓ０３において使用される肌の色成分のヒストグラムを示す図である。以下、図５，６を使用し肌の色強度抽出処理Ｓ０３について説明する。

肌の色強度抽出処理Ｓ０３では、まず、入力された顔矩形座標を用いて顔矩形１７の内側にサンプリング領域１８が特定される。サンプリング領域１８は、例えば顔矩形１７の中心座標と顔矩形１７のｗ及びｈに定数が乗じられた値によって特定される。サンプリング領域１８は他の方法によって特定されても良い。サンプリング領域１８は、目や鼻の穴など、肌の色とは明らかに異なる色を有する領域を含まないように設定されるのが望ましい。

肌の色強度抽出処理Ｓ０３では、次に、サンプリング領域１８内の画素値（色成分の値）がサンプリングされる（肌の色サンプリング）。このサンプリングでは、被写体の顔における肌の色が主にサンプリングされる。サンプリングされた色成分の値を基に、図６に示されるヒストグラムが形成される。図６では、Ｌａｂ色空間に基づいて形成されたヒストグラムを例として示す。ヒストグラムが形成されると、横軸（Ｌ又はａ，ｂの値）における上下１０％の成分（図６斜線部）がカットされる。ここで言う１０％という数値は、設計者によって適宜変更されても良い。この後、肌の色成分のヒストグラムにおいてカットされていない部分のＬａｂの値を用いて、サンプリング領域１８内における標準偏差と重心とが算出される。そして、算出されたこれら六つの値を用いた数２の式により、原画像６の各画素における肌の色の度合い（以下、肌の色強度と呼ぶ：強度値に相当）が算出され（肌の色強度抽出）、肌の色強度画像８が生成される。

肌の色成分のヒストグラムの形成において、図６における横軸の両端から累積１０％分がカットされるため、ノイズ成分を除去し、肌の色の成分の分布をより正確に得ることが可能となる。ここで言うノイズ成分とは、例えばサンプリング領域１８内の鼻の穴や目など、肌の色以外の色成分を主として有する画素についての情報である。このような処理により、サンプリング領域１８内に鼻の穴や目など、肌の色以外の色成分が含まれてしまった場合にも、これらについての情報を削除することが可能となる。

〈〈合成処理〉〉
肌の色領域抽出処理では、次に、肌の色強度画像８のデータ及びマスク画像７のデータが入力され、合成処理Ｓ０４ａが実行される。

合成処理Ｓ０４ａでは、入力される肌の色強度画像８とマスク画像７とが合成される。即ち、肌の色強度抽出処理Ｓ０３によって生成された肌の色強度画像８とマスク処理によって生成されたマスク画像７とを用いた乗算処理が実行される。合成処理Ｓ０４ａの実行により、マスク済肌の色強度画像９が生成される。

〈〈肌の色領域補正処理〉〉
肌の色領域抽出処理では、次に、マスク済肌の色強度画像９のデータが入力され、肌の色領域補正処理Ｓ０５が実行される。

肌の色領域補正処理Ｓ０５では、合成処理Ｓ０４ａによって生成されたマスク済肌の色強度画像９に対し、縮退処理が実行される。縮退処理の実行により、目や口の周辺の肌の色強度が下げられる。即ち、ぼかし処理の対象外となる黒い領域（肌の色強度が低い又は０の領域）が外側に広げられる。この縮退処理により、目や口の周辺に対しぼかし処理が実行されることが防止される。言い換えれば、はっきりとした画像を取得すべきである目や口の周辺がぼやけてしまうことを防止することが可能となる。肌の色領域補正処理Ｓ０５の実行により、肌の色領域画像１０ａが生成される。肌の色領域画像１０ａでは、肌の色強度の高い画素は大きい画素値で表現され、肌の色強度が低い画素は小さい画素値で表現される。

〈美肌処理部〉
美肌処理部５ａは、美肌処理を実行する。以下、美肌処理部５ａによって実行される美肌処理について説明する。この美肌処理では、原画像６のデータ及び肌の色領域画像１０ａのデータが入力され、ぼかしフィルタ処理Ｓ０６ａ及び美肌合成処理Ｓ０７が実行されることにより、美肌画像１２のデータが出力される。このように、画像生成手段の一例として、この実施形態では、マスク処理部３，肌の色領域抽出部４ａ，及び美肌処理部５ａが適用される。また、色成分算出手段の一例として、この実施形態では、美肌処理部５ａが適用される。この美肌画像１２のデータは、画像補正装置１ａによって出力されるデータでもある。

〈〈ぼかしフィルタ処理〉〉
美肌処理では、まず、原画像６のデータ及び肌の色領域画像１０ａのデータが入力され、ぼかしフィルタ処理Ｓ０６ａが実行される。ぼかしフィルタ処理Ｓ０６ａでは、原画像６に対し、ぼかし処理が実行される。ここで言うぼかし処理とは、既存のどのようなぼかし処理であっても良い。その例として、例えば移動平均フィルタや荷重平均フィルタ（ガウシアンフィルタを含む）やε−フィルタを用いた方法がある。

ぼかしフィルタ処理Ｓ０６ａでは、原画像６の各画素のうち、肌の色領域画像１０ａにおいて肌の色強度の値が０より大きい画素についてのみぼかし処理が実行される。このため、肌の色強度が０の画素、即ち明らかに肌の色ではない画素や合成処理Ｓ０４ａによってマスクがかけられた画素については、ぼかし処理が実行されない。ぼかしフィルタ処理Ｓ０６ａの実行により、ぼかし画像１１が生成される。

〈〈美肌合成処理〉〉
美肌処理では、次に、原画像６のデータ，肌の色領域画像１０ａのデータ及びぼかし画像１１のデータが入力され、美肌合成処理Ｓ０７が実行される。美肌合成処理Ｓ０７では、原画像６とぼかし画像１１とについて、肌の色領域画像１０ａにおける肌の色強度を用いた半透明合成が実行される。数３は、美肌合成処理Ｓ０７において実行される半透明合成の式である。

数３を用いた半透明合成では、肌の色強度に応じた合成処理が実行される。具体的には、肌の色強度が高い画素についてはぼかし画像１１の画素値（ＲＧＢ成分）が強く反映され、肌の色強度が低い画素については原画像６の画素値（ＲＧＢ成分）が強く反映される。このような半透明合成により、肌の色強度の高い領域（即ち肌の色の領域）についてはぼかしの度合いが強くなり、肌の色強度の低い領域（即ち肌の色ではない領域）についてはぼかしの度合いが弱くなる。美肌合成処理Ｓ０７の実行により、美肌画像１２が生成される。

〔作用／効果〕
本発明の画像補正装置１ａでは、顔位置検出処理Ｓ０１により、処理の対象となる画像中から被写体の顔が検出され、顔矩形座標が得られる。顔矩形座標に基づいて被写体の上半身以外をマスクするためのマスク画像７が生成される。そして、美肌処理において、このマスク画像７によるマスク処理が反映されたぼかし処理が実行される。このため、被写体の顔などの肌の色成分を有する領域に対してぼかし処理が実行される際に、同一画像中の肌の色成分を有する被写体以外の領域（例えば背景）に対してはぼかし処理が実行されない。従って、被写体の顔などにぼかし処理が実施される際に、肌の色成分を有する背景までがぼけてしまうことを防止し、このような背景を鮮明なままで維持することが可能となる。即ち、被写体の顔やその周辺に限って画像をなめらかにし、しわやしみ等を消すこ
とが可能となる。

また、本発明の画像補正装置１ａでは、サンプリング領域１８の内部、即ち顔位置検出処理Ｓ０１によって検出された被写体の顔の領域の内部から被写体の肌の色成分が抽出される。そして、抽出された肌の色成分をもとに、ぼかし処理の対象となる領域が決定される。即ち、抽出された肌の色成分を基に、肌の色強度画像８の作成時に肌の色として認識される肌の色成分が決定される。このため、例えば肌が白い人が被写体であれば、抽出された白い肌の色の色成分に基づいて肌の色強度画像８が生成され、肌が黒い人が被写体であれば、抽出された黒い肌の色の色成分に基づいて肌の色強度画像８が生成される。このように、本発明の画像補正装置１ａでは、肌の色を固定的に決めずに、原画像６の顔の位置から肌の色がサンプリングされる。従って、人種や個人差による肌の色の違いに対応することが可能であり、安定した補正効果を得ることができる。

また、マスク画像作成処理Ｓ０２において、外側の楕円と内側の楕円との間に、不透明度についてのグラデーションが施される。このため、マスクされない領域である透過領域と、マスクされる不透過領域との境目において、不自然な画像が生成されることが防止される。

なお、本発明の画像補正装置１ａは、既存の様々な装置に搭載されても良い。例えば、プリンタ，ディスプレイ，デジタルカメラ，ＭＰＥＧ（Moving Picture Experts Group）プレイヤー等に搭載されても良い。このような場合、各装置に入力される画像のデータが、原画像６のデータとして、記憶部Ｓｔに入力される。そして、画像補正装置１ａの出力である美肌画像１２のデータは、各装置の特性に応じて利用される。例えば、画像補正装置１ａがプリンタに搭載された場合には、美肌画像１２はプリンタによって印刷される。

また、本発明の画像補正装置１ａは、図２における各処理Ｓ０１〜Ｓ０７がＣＰＵによって実行されることにより、ＣＰＵを備える情報処理装置上に仮想的に実現されても良い。この場合、情報処理装置に各処理Ｓ０１〜Ｓ０７を実行させるプログラムが本願の発明となる。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され、パーソナルコンピュータやサーバ（例えばＡＳＰ（Application Service Provider）に設置されるサーバ）によって直接実行されても良いし、ハードディスクやＲＯＭ等の不揮発性記憶装置に記憶されてこれらの装置に実行されても良い。この場合、原画像６のデータは、情報処理装置に接続されたスキャナやデジタルカメラ等から入力されても良い。また、原画像６のデータは、インターネット等のネットワークを介して他の装置からアップロード又はダウンロードされることにより入力されても良い。

〔変形例〕
顔検出部２，マスク処理部３，肌の色領域抽出部４ａ，及び美肌処理部５ａは、それぞれハードウェアとして実装されたチップを用いて構成されても良い。また、記憶部Ｓｔは、画像補正装置１ａが取り付けられる他の装置のＲＡＭを用いて構成されても良い。即ち、記憶部Ｓｔは、必ずしも画像補正装置１ａの内部に備えられる必要はなく、顔検出部２，マスク処理部３，肌の色領域抽出部４ａ，及び美肌処理部５ａからアクセス可能に構成されれば画像補正装置１ａの外部に備えられても良い。この場合、記憶部Ｓｔは、他の装置（例えば、画像補正装置１ａが取り付けられた装置のＣＰＵ）と、画像補正装置１ａの各処理部２〜５とによって共用されるように構成されても良い。

また、ぼかしフィルタ処理Ｓ０６ａでは、顔位置検出処理Ｓ０１によって検出された顔矩形の大きさに基づいてぼかし度合いが決定されても良い。具体的には、顔矩形が大きいほど、強い（大きい）ぼかし度合いのぼかし処理が実行される。逆に、顔矩形が小さいほど、弱い（小さい）ぼかし度合いのぼかし処理が実行される。例えば、移動平均フィルタ
や荷重平均フィルタの半径等のパラメタを操作することにより実現できる。また、ガウシアンフィルタの場合は、以下の式において標準偏差σを変えることでぼかし度合いを変化させることができる。

また、単純平滑化フィルタの場合は、ｎ×ｎのオペレータにおいて、ｎの値を変えることでぼかし度合いを変化させることができる。図８は、ｎ×ｎのオペレータの具体例を示す図である。図８（ａ）はｎ＝３の場合、図８（ｂ）はｎ＝５の場合、図８（ｃ）はｎ＝７の場合のオペレータの例をそれぞれ示す。ｎの値が大きいほどぼかし度合いが大きくなる。

このように構成されることにより、顔の大きさに応じて適したぼかし度合いのぼかし処理を実施することが可能となる。従って、小さい顔に対して過度のぼかし度合いのぼかし処理を実施することにより発生する、顔全体がぼけてしまう等の問題を防止することが可能となる。

また、美肌処理ではぼかし処理が実施されるが、ぼかし処理以外の画像処理（例：エッジ強調，明るさ補正，色補正，テクスチャマッピング）が実施されるように構成されても良い。

また、マスク処理部３は必ずしも備えられる必要はない。ただし、マスク処理部３が備えられない場合、マスク画像７に基づく処理が実施されない。このため、美肌画像１２を得るまでに要する時間が増加する可能性がある。

［第二実施形態］
〔システム構成〕
次に、画像補正装置の第二実施形態である画像補正装置１ｂについて説明する。図９は、画像補正装置１ｂの機能ブロックを示す図である。画像補正装置１ｂは、美肌処理部５ａに代えて美肌処理部５ｂを備える点で画像補正装置１ａと異なる。以下、画像補正装置１ｂについて、画像補正装置１ａと異なる点について説明する。

図１０は、図９に示される各機能部によって実行される処理と、画像補正装置１ｂとしての全体の処理フローを示す図である。以下、図９，９を用いて、画像補正装置１ｂの各機能部について説明する。

〈美肌処理部〉
美肌処理部５ｂは、美肌合成処理Ｓ０７を実施せず、ぼかしフィルタ処理Ｓ０６ａに代えてぼかしフィルタ処理Ｓ０６ｂを実施する点で、美肌処理部５ａと異なる。以下、美肌処理部５ｂによって実施される美肌処理について説明する。

〈〈ぼかしフィルタ処理〉〉
美肌処理部５ｂによって実施される美肌処理では、原画像６のデータ及び肌の色領域画像１０ａのデータが入力され、ぼかしフィルタ処理Ｓ０６ｂが実行される。ぼかしフィルタ処理Ｓ０６ｂでは、原画像６の各画素に対し、肌の色領域画像１０ａに含まれる肌の色強度に応じたぼかし処理が実行される。具体的には、肌の色強度が高い画素に対するぼか
し処理はぼかし度合いが大きく設定され、肌の色強度が低い画素に対するぼかし処理はぼかし度合いが低く設定される。また、ぼかしフィルタ処理０６ｂは以下のように構成されても良い。

画像補正装置１ａでは、ぼかしフィルタ処理Ｓ０６ａによってぼかし画像１１が生成され、ぼかし画像１１と原画像６と肌の色領域画像１０ａとを用いて美肌合成処理Ｓ０７が美肌画像１２を生成した。一方、美肌補正装置１ｂでは、ぼかし画像１１が生成されることなく美肌画像１２が生成されても良い。具体的には、美肌画像１２の各画素の値を数３の式に基づいて算出する際に、処理の対象となっている画素に対するぼかし処理をその都度実行する。即ち、数３において使用されるぼかし画像のＲＧＢ成分の各値を、必要になった画素についてのみその都度算出するように構成される。このように構成されることにより、ぼかし画像１１をバッファリングする必要が無くなり、メモリ領域を節約することが可能となる。

〔作用／効果〕
本発明の画像補正装置１ｂでは、美肌処理において、ぼかし画像１１が生成されることなく、出力画像としての美肌画像１２が直接生成される。従って、ぼかし画像１１を生成するためのぼかしフィルタ処理Ｓ０６ａや美肌合成処理Ｓ０７に要する時間を削減することが可能となる。

［第三実施形態］
〔システム構成〕
次に、画像補正装置の第三実施形態である画像補正装置１ｃについて説明する。図１１は、画像補正装置１ｃの機能ブロックを示す図である。画像補正装置１ｃは、肌の色領域抽出部４ａに代えて肌の色領域抽出部４ｃを備える点、エッジマスク処理部１９を備える点で画像補正装置１ｂと異なる。以下、画像補正装置１ｃについて、画像補正装置１ｂと異なる点について説明する。

図１２は、図１１に示される各機能部によって実行される処理と、画像補正装置１ｃとしての全体の処理フローを示す図である。以下、図１１，１１を用いて、画像補正装置１ｃの各機能部について説明する。

〈エッジマスク処理部〉
・ エッジマスク処理部１９は、エッジマスク処理を実行する。以下、エッジマスク処理について説明する。エッジマスク処理では、原画像６が入力され、エッジマスク画像作成処理Ｓ０８が実行されることにより、エッジマスク画像２０のデータが出力される。

エッジマスク画像作成処理Ｓ０８では、まず、入力された原画像６が縮小され、縮小画像が取得される。例えば、顔矩形の大きさがさらに入力されることにより、顔矩形の大きさに基づいて縮小の割合が決定されても良い。例えば、入力された顔矩形のうち最も大きいものの幅が規定のピクセル（数十ピクセル〜百ピクセル程度）程度になるように縮小されても良い。

次に、縮小画像に基づいてエッジの抽出、即ちエッジ強度の取得が実施される。このエッジ抽出処理は、既存のどのような技術によって実施されても良い。例えば、ソーベルフィルタを用いたエッジ抽出が実施される。図１３は、ソーベルフィルタの例を示す図である。図１３（ａ）は、下方向のソーベルフィルタを示し、図１３（ｂ）は上方向のソーベルフィルタを示す。それぞれのソーベルフィルタを用いたエッジ抽出処理が実施され、各ソーベルフィルタのエッジ画像が取得される。この場合、二つのエッジ画像が取得される。

次に、取得されたそれぞれのエッジ画像をグレー化し、合成することにより、合成エッジ画像が取得される。この合成処理により、下方向のソーベルフィルタによって抽出されたエッジと上方向のソーベルフィルタによって抽出されたエッジとが、合成エッジ画像に表される。

次に、取得された合成エッジ画像が反転され、反転エッジ画像が取得される。次に、反転エッジ画像に対し、縮退処理が実施される。縮退処理の実行により、抽出されたエッジが周囲に広がった画像が取得される。そして、縮退処理が実施された反転エッジ画像が、原画像６の大きさに拡大され、エッジマスク画像２０が取得される。以後の処理では、エッジマスク画像２０における画素値は、肌の色強度として扱われる。即ち、取得されたエッジ部分の画素は、反転処理により画素値が低い又は０となっているため、肌の色強度が低い画素として扱われる。また、縮退処理により、抽出されたエッジの影響が、その周囲にまで及ぶ。即ち、抽出されたエッジ及びその周囲における肌の色強度が低いことを示す画像として、エッジマスク画像２０が作成される。

〈肌の色領域抽出部〉
肌の色領域抽出部４ｃは、合成処理Ｓ０４ａに代えて合成処理Ｓ０４ｃを実施する点で、肌の色領域抽出部４ｂと異なる。以下、肌の色領域抽出部４ｃによって実施される肌の色領域抽出処理について、特に合成処理Ｓ０４ｃについて説明する。

〈〈合成処理〉〉
肌の色領域抽出部４ｃによって実施される肌の色領域抽出処理では、肌の色強度抽出処理Ｓ０３が実施された後、肌の色強度画像８，マスク画像７，及びエッジマスク画像２０が入力され、合成処理Ｓ０４ｃが実行される。

合成処理Ｓ０４ｃでは、入力される肌の色強度画像８とマスク画像７とエッジマスク画像２０とが合成される。即ち、肌の色強度抽出処理Ｓ０３によって生成された肌の色強度画像８とマスク処理によって生成されたマスク画像７とエッジマスク処理によって生成されたエッジマスク画像２０とを用いた乗算処理が実行される。合成処理Ｓ０４ｃの実行により、マスク済肌の色強度画像９ｃが生成される。

肌の色領域抽出部４ｃによって実施される肌の色領域抽出処理では、合成処理Ｓ０４ｃの後、マスク済肌の色強度画像９ｃを用いた肌の色領域補正処理Ｓ０５が実施され、肌の色領域画像１０ｃが出力される。

〔作用／効果〕
画像補正装置１ｃでは、合成処理Ｓ０４ｃにおいて、エッジマスク画像２０が用いられる。エッジマスク画像２０では、抽出されたエッジ及びその周囲の肌の色強度が低く又は０に設定されている。このため、合成処理Ｓ０４ｃによって、エッジ及びその周囲の肌の色強度が低く又は０に設定されたマスク済肌の色強度画像９ｃが取得される。そして、このようなマスク済肌の色強度画像９ｃを用いて美肌処理が実施されるため、エッジ及びその周囲、即ち目元，眉，口元などの鮮鋭度を維持したままで、その他の肌の色部分に対しぼかし処理を実施することが可能となる。特に、肌色に近い口紅や、肌色に近い眉（例えば薄い眉毛など）等を有した顔画像に対する美肌処理の際に有効である。

図１４は、肌の色強度画像８とエッジマスク画像２０との差異を示すための図である。図１４（ａ）は肌の色強度画像８の例であり、図１４（ｂ）はエッジマスク画像２０の例である。この場合、原画像６における左の人物の眉の色が肌色に近いため、肌の色強度画像８では、眉部分の肌の色強度が肌色に近いことを示す値になっている。また、原画像６
における右の人物の唇の色が肌色に近いため、肌の色強度画像８では、唇部分の肌の色強度が肌色に近いことを示す値になっている。このままでは、左の人物の眉部分や右の人物の唇部分にまでぼかし処理が実施され、眉毛や唇がぼやけた美肌画像１２が取得されてしまう。一方、エッジマスク画像２０では、左の人物の眉部分や右の人物の唇部分のエッジが抽出されたため、左の人物の眉部分や右の人物の唇部分の肌の色強度が肌色に遠いことを示す値になっている。このため、エッジマスク画像２０を用いることにより、眉部分や唇部分などにぼかし処理が実施されず、これらの部分の鮮鋭度を維持することが可能となる。

〔変形例〕
エッジマスク画像作成処理Ｓ０８において、拡大処理と反転処理と縮退処理とは、必要に応じて実施される順番が変更されても良い。ただし、反転処理の前に縮退処理が実施される場合、画素値（肌の色強度）が低い又は０の領域が外側に拡げられるのではなく、画素値（肌の色強度）が高い又は２５５（肌の色強度である場合は“１”）の領域が外側に拡げられる。

エッジマスク処理部１９，エッジマスク画像作成処理Ｓ０８の代わりに、顔要素マスク処理部（顔要素抽出手段に相当），顔要素マスク画像作成処理が実行され、エッジマスク画像２０に代えて顔要素マスク画像が作成されても良い。顔要素マスク画像作成処理では、エッジが抽出されるのではなく、被写体の顔に含まれる要素（顔要素）が抽出される。このような顔要素は、例えばテンプレートマッチングを行うことにより抽出される。そして、顔要素マスク画像では、抽出された顔要素及びこの顔要素から所定の範囲の画素についての肌の色強度が低く又は０に設定されるように構成される。

画像補正装置の第一実施形態の機能ブロックを示す図である。 画像補正装置の第一実施形態の処理フローを示す図である。 マスク処理の概要を示す図である。 第一実施形態における肌の色領域抽出処理の概要を示す図である。 肌の色強度抽出処理の概要を示す図である。 肌の色成分のヒストグラムの例を示す図である。 第一実施形態における美肌処理の概要を示す図である。 ｎ×ｎのオペレータの例を示す図である。 画像補正装置の第二実施形態の機能ブロックを示す図である。 画像補正装置の第二実施形態の処理フローを示す図である。 画像補正装置の第三実施形態の機能ブロックを示す図である。 画像補正装置の第三実施形態の処理フローを示す図である。 ソーベルフィルタの例を示す図である。 肌の色強度画像とエッジマスク画像の違いの例を示す図である。

符号の説明

１ａ，１ｂ，１ｃ 画像補正装置
２ 顔検出部
３ マスク処理部
４ａ，４ｃ 肌の色領域抽出部
５ａ，５ｂ 美肌処理部
Ｓｔ 記憶部
６ 原画像
７ マスク画像
８ 肌の色強度画像
９ マスク済肌の色強度画像
１０ａ，１０ｃ 肌の色領域画像
１１ ぼかし画像
１２ 美肌画像
１３，１４，１５，１６ 楕円
１７ 顔矩形
１８ サンプリング領域
１９ エッジマスク処理部
２０ エッジマスク画像

Claims (18)

1. 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定する所定領域特定手段と、
   前記所定領域特定手段によって特定された所定領域に対して画像処理が施された画像を生成する画像生成手段と
   を備える画像処理装置。
2. 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定する所定領域特定手段と、
   前記所定領域特定手段によって特定された所定領域に対して、画像処理としてのぼかし処理が施された画像を生成する画像生成手段と
   を備える画像処理装置。
3. 前記所定領域特定手段は、
   画像中の被写体である人物の身体部分を検出する検出手段と、
   前記検出手段によって検出された身体部分を基準として前記所定領域を特定する特定手段と
   を備える請求項１又は２に記載の画像処理装置。
4. 前記画像生成手段は、前記所定領域特定手段によって特定された所定領域内の領域であって、この所定領域の基準となった身体部分を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成する請求項１〜３のいずれかに記載の画像処理装置。
5. 前記画像生成手段は、
   処理対象となっている画像の各画素について、各画素の色成分が、前記所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する強度値算出手段と、
   処理対象となっている画像の前記所定領域に対して画像処理を施す画像処理手段と、
   各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示すほど、この画素の新たな色成分として前記元の画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に近いことを示すほど、この画素の新たな色成分として前記画像処理手段によって生成される画像の画素の色成分に近い色成分を算出する色成分算出手段と
   を備え、
   前記色成分算出手段は、前記強度値算出手段によって算出された強度値に基づいて、各画素の新たな色成分を算出する請求項１〜３のいずれかに記載の画像処理装置。
6. 前記画像生成手段は、
   処理対象となっている画像の各画素について、各画素の色成分が、前記所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する強度値算出手段と、
   処理対象となっている画像に対して画像処理を施す画像処理手段と、
   前記所定領域特定手段によって特定された所定領域以外の画素についての前記強度値を、前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示す値にするマスク手段と、
   各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示すほど、この画素の新たな色成分として前記元の画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記所定領域の基準となった身体部分を主に占め
   る色成分に近いことを示すほど、この画素の新たな色成分として前記画像処理手段によって生成される画像の画素の色成分に近い色成分を算出する色成分算出手段と
   を備え、
   前記色成分算出手段は、前記強度値算出手段及び前記マスク手段によって算出された強度値に基づいて、各画素の新たな色成分を算出する
   請求項１〜３のいずれかに記載の画像処理装置。
7. 前記画像生成手段は、
   処理対象となっている画像の各画素について、各画素の色成分が、前記所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する強度値算出手段と、
   処理対象となっている画像の前記所定領域に対し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示すほど画像処理の影響を弱めてこの画素に対する画像処理を実施し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に近いことを示すほど画像処理の影響を強めてこの画素に対する画像処理を実施する画像処理手段と
   を備え、
   前記画像処理手段は、前記強度値算出手段により得られる該画像の各画素の前記強度値に基づいて画像処理を実施する請求項１〜３のいずれかに記載の画像処理装置。
8. 前記画像生成手段は、
   処理対象となっている画像の各画素について、各画素の色成分が、前記所定領域の基準となった身体部分を主に占める色成分にどれだけ近いかを示す強度値を算出する強度値算出手段と、
   前記所定領域特定手段によって特定された所定領域以外の画素についての前記強度値を、前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示す値にするマスク手段と、
   処理対象となっている画像に対し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示すほど画像処理の影響を弱めてこの画素に対する画像処理を実施し、各画素における強度値が前記所定領域の基準となった身体部分を主に占める色成分に近いことを示すほど画像処理の影響を強めてこの画素に対する画像処理を実施する画像処理手段と
   を備え、
   前記画像処理手段は、前記強度値算出手段及び前記マスク手段によって得られる該画像の各画素の前記強度値に基づいて画像処理を実施する請求項１〜３のいずれかに記載の画像処理装置。
9. 前記画像処理手段は、所定の範囲の強度値を有する画素については画像処理を実行しない請求項６に記載の画像処理装置。
10. 前記画像生成手段は、実施する画像処理の内容を、前記所定領域特定手段によって特定された所定領域の基準となった身体部分の大きさに基づいて決定する請求項１〜９のいずれかに記載の画像処理装置。
11. 処理対象となっている画像中の被写体である人物の身体部分を構成する要素であって、前記所定領域に含まれる要素を少なくとも一つ抽出する要素抽出手段をさらに備え、
    前記画像生成手段は、前記要素抽出手段によって抽出された要素を基準として決まる要素領域に対する画像処理を制限して実施する請求項１〜１０のいずれかに記載の画像処理装置。
12. 前記画像生成手段は、
    処理対象となっている画像の各画素についてエッジの強度を取得し、前記各画素について、抽出されたエッジの強度が強いほど前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示す前記強度値を与えるエッジマスク手段をさらに備え、
    前記色成分算出手段は、前記エッジマスク手段によって算出された強度値にさらに基づいて各画素の新たな色成分を算出する請求項５又は６に記載の画像処理装置。
13. 前記画像生成手段は、
    処理対象となっている画像の各画素についてエッジの強度を取得し、前記各画素について、抽出されたエッジの強度が強いほど前記所定領域の基準となった身体部分を主に占める色成分に遠いことを示す前記強度値を与えるエッジマスク手段をさらに備え、
    前記画像処理手段は、前記エッジマスク手段により得られる該画像の各画素の前記強度値にさらに基づいて画像処理を実施する
    請求項７又は８に記載の画像処理装置。
14. 前記エッジマスク手段は、処理対象となっている画像を縮小してから各画素に対し前記強度値を与え、さらに元の大きさの画像に拡大する請求項１２又は１３に記載の画像処理装置。
15. 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定するステップと、
    特定された所定領域に対して画像処理が施された画像を生成するステップと
    を情報処理装置に実行させるためのプログラム。
16. 画像中の被写体である人物の身体部分を基準として決まる所定領域を特定するステップと、
    特定された所定領域に対してぼかし処理が施された画像を生成するステップと
    を情報処理装置に実行させるためのプログラム。
17. 前記画像を生成するステップにおいて、前記特定された所定領域の基準となった身体部分から抽出された、被写体である人物の肌の色の色成分に基づいた画像処理が施された画像の生成を、前記情報処理装置に実行させるための請求項１５又は１６に記載のプログラム。
18. 画像中の任意の像を含む領域の位置及び範囲を特定するステップと、
    特定された領域内の領域であって、この領域を主に占める色成分と等しい又は近い色成分を有する領域に対して画像処理が施された画像を生成するステップと
    を情報処理装置に実行させるためのプログラム。
    

Images