JP2006119817A - 画像処理装置 - Google Patents

Abstract

【課題】 単純パターン背景に影を有する被写体の写真画像から、背景のみの画像を用いることなく、影を除去することができるようにする。
【解決手段】 局部領域確定部１２５ａは、顔検出部１００により検出された顔より上の領域を影無し背景領域の一部となる局部領域として確定する。抽出実行部１３０ａは、局部領域の平均色と類似色を有する画素より構成され、かつ局部領域と隣接する領域を影無し背景領域Ｗａとして抽出する。影領域抽出部１４０ａは、影無し背景領域Ｗａと隣接し、かつ色相、彩度と、局部領域の平均色相、平均彩度との差が夫々所定の閾値以下であり、かつ明度が局部領域の平均明度より低く、その差が所定の閾値より大きい画素より構成される領域を影領域ＫＳとして抽出する。補正部は、影領域ＫＳの明度が局部領域の明度になるように影領域ＫＳの明度を補正して影を除去する。
【選択図】 図３

Description

本発明は写真画像から影を検出する画像処理装置および検出された影を除去する画像処理装置に関するものである。

写真画像から影を除去する処理は、様々な分野で必要とされている。例えば、証明写真の分野において、照明などの設備が整えた撮影スタジオで撮像した場合には問題がないが、簡易な装置で撮像した場合には、背景の上に、前景物体となる主要被写体（証明写真の場合は人物の顔を含む上半身の一部）の近傍に影が出来てしまうことある。このように得られた写真画像を証明写真に用いるのに際し、影部分を除去する処理が必要である。

特許文献１と特許文献２には、写真画像から影を除去する技術が記載されている。特許文献１に記載された方法は、背景画像、すなわち背景のみを撮像して得た前景物体無し画像と、前景物体有り画像とを用いて論理演算を行うことによって、背景領域上に出来た、主要被写体の影の領域を検出して影を除去するものであり、特許文献２に記載された方法は、背景画像（前景物体無し画像）と前景物体有り画像との差分画像を求め、この差分画像から影領域を推定して除去するものである。
特開平０７−２２００４９号公報 特開２００１−２０９８０８号公報

しかしながら、上記いずれの方法も、前景物体が無い、すなわち背景のみを撮像して得た背景画像を必要とする。そのため、写真画像から影を除去するためには撮像を２度行うことが必要であり、手間と時間がかかるという問題がある。また、例えば全国に支社がある会社の社員の社員証などの写真付きＩＤカードを発行する場合、撮像する場所（撮像ポイント）と実際にＩＤカードを作成する場所（カード発行センター）とが異なり、複数の撮像ポイントで撮像して写真画像を得、これらの写真画像をカード発行センターに送付し、カード発行センターにおいてこれらの写真画像を用いてカードを作成するシステムが用いられている。このような場合、各撮像ポイントの背景画像を取得することが難しく、取得できない場合には、写真画像から影を除去することができないという問題もある。

本発明は、上記事情に鑑み、背景画像を必要とせずに、写真画像から影を検出して除去することができる画像処理装置を提供することを目的とするものである。

本発明の第１の画像処理装置は、主要被写体の影が単純パターン背景内に存在する写真画像から前記影を除去する画像処理装置であって、
該写真画像から、前記影を含まない影無し背景領域を抽出する影無し背景領域抽出手段と、
該影無し背景領域以外の領域から前記影の領域を抽出する影領域抽出手段と、
前記影無し背景領域の画素値および／または前記影領域の画素値を調整することによって前記写真画像から前記影を除去する補正手段とを備えてなることを特徴とするものである。

本発明における「写真画像」は、単純パターン背景上に主要被写体が写った写真画像を意味し、デジタルカメラで撮像して得たものに限らず、スキャナなどの読取装置で写真フイルム上や、プリント用紙上などの画像を読み取って得たものも含むものである。

また、本発明における「影」は、主要被写体の影を意味し、主要被写体を除いた背景上に存在するものである。例えば、図１９に示す写真画像の場合、領域Ａと領域Ｂとは背景領域（影を含む背景領域、すなわち影有り背景領域）を構成し、領域Ｃは主要被写体（図１９の例では人物の顔を含む上半身）の領域となる。また、影無し背景領域は、主要被写体以外の領域（すなわち背景領域）のうち、影領域（図１９の例では領域Ｂ）を除いた領域を意味し、図１９の例では、領域Ａとなる。なお、図１９に示す例において、影領域（領域Ｂ）が主要被写体の領域（領域Ｃ）と隣接しているが、照明の角度や、写真画像に写った主要被写体の部位などによっては、影領域が必ずしも主要被写体の領域と隣接しない場合もある。例えば、右下から左上へ向かった照明角度で背景スクリーンの前に立った人物を撮像して人物の全身を含む写真画像を得る場合には、この写真画像においては、人物の左下（写真画像に向かった方向で観察する場合の左下、人物の実際の右下）の部位例えば右膝部位と隣接して左上に向かって延びる影領域ができてしまう可能性がある。しかし、写真画像として、人物の上半身部分のみを取得した場合、前述の影領域が上半身と隣接していないので、写真画像から見ては、影領域と主要被写体（ここでは人物の上半身）と隣接しないこととなる。本発明における「影」は、このような影も含むものである。

本発明の第１の画像処理装置は、写真画像からまず図１９の領域Ａのような影無し背景領域を抽出し、この影無し背景領域以外の領域から影領域を抽出するものである。

通常、特に肩より上の部分しか写らない照明写真画像の場合、影領域と影無し背景領域とが必ず隣接しているが、場合によっては影領域と影無し背景領域とが隣接しないときもある。例えば手を腰に当てた人物の上半身を撮像して得た写真画像には、人物の腕と体との間に閉じた環状（円環状ではないが）の背景領域ができてしまう場合がある。このような写真画像の場合、照明条件などによって影がその環状の背景領域上に出来てしまうと、影領域（環状内部）と環状の外の影無し背景領域とが、腕を挟む形になり、隣接しないこととなる。本発明の画像処理装置における「影領域抽出手段」は、このような特別な場合においても影領域を抽出することができるようにしてもよいが、正確かつ迅速に影領域を抽出するために、特に照明写真画像を対象とする場合においては、影無し背景領域と隣接する領域から影領域を抽出するものであることが好ましい。

ここで、「影無し背景領域抽出手段」は、前記影無し背景領域の局部領域を取得する局部領域取得手段を備え、該局部領域取得手段により取得された前記局部領域と隣接し、かつ前記局部領域の画素と類似色を有する画素の領域を取得し、取得された該領域と前記局部領域とを合わせて前記影無し背景領域として抽出するものとすることができる。

「局部領域」とは、影を含まない影無し背景領域の一部を意味し、単一背景（１色、模様無し）の場合には１画素さえあればよいが、木目、砂目、格子などの単純なパターンを有する背景の場合には、少なくとも１つのパターン全体を包含する領域であることが望ましい。

また、比較される画素が類似色を有することとは、これらの画素が色度図における位置間の距離は所定の閾値以下であることを意味する。例えば、色度、彩度、明度とも夫々略同じである画素や、Ｒ値、Ｇ値、Ｂ値とも、夫々略同じ画素は、類似色を有する画素とすることができる。

「局部領域の画素と類似色を有する画素の領域」とは、局部領域内の画素と類似色を有する画素から構成される領域を意味し、例えば、局部領域は１つの画素しか有しない場合には、この画素の画素値、例えば色度、彩度、明度またはＲ値、Ｇ値、Ｂ値（以下同じ）と略同じ画素値を有する画素により構成される領域とすることができる一方、局部領域が複数の画素を有する場合には、局部領域を構成する複数の画素の平均画素値を基準にし、この平均画素値との差が所定の閾値以内の画素値を有する画素により構成される領域としてもよく、複数の画素からなる画素ブロック毎に平均画素値を求め、局部領域の平均画素値と略同じ平均画素値を有する画素ブロックにより構成される領域とするようにしてもよい。

本発明の第２の画像処理装置は、主要被写体の影が単純パターン背景内に存在する写真画像から前記影を除去する画像処理装置であって、
前記影を含む影有り背景領域を抽出する影有り背景領域抽出手段と、
該影有り背景領域を、前記影を含まない影無し背景領域と、前記影の領域とに分離することによって前記影を抽出する影領域抽出手段と、
前記影無し背景領域の画素値および／または前記影領域の画素値を調整することによって前記写真画像から前記影を除去する補正手段とを備えてなることを特徴とするものである。

すなわち、本発明の第１の画像処理装置は、写真画像から影無し背景領域（図１９に示す例の場合、領域Ａ）を抽出し、抽出された影無し背景領域以外の領域から影領域（図１９に示す例の場合、領域Ｂ）を抽出するものであるのに対し、本発明の第２の画像処理装置は、写真画像から影有り背景領域（図１９に示す例の場合、領域Ａと領域Ｂ）を抽出し、抽出された影有り背景領域を、影無し背景領域（図１９に示す領域Ａ）と影領域（図１９に示す領域Ｂ）とに分離することによって、影領域を抽出するものである。

本発明の第２の画像処理装置において、前記影有り背景領域抽出手段は、前記影無し背景領域の局部領域を取得する局部領域取得手段を備え、取得された前記局部領域を包含し、かつ前記局部領域の画素と略同じ色相および／または彩度を有する画素の領域を取得し、取得された該領域と前記局部領域とを合わせて前記影有り背景領域として抽出するものとすることができる。

ここで、「局部領域」は、上記において説明した「局部領域」と同じである。

単純パターン背景は、影がある部分か影が無い部分かに関係なく、画素間において色相および／または彩度が略同じであるため、本発明の第２の画像処理装置は、この点を利用して局部領域と略同じ色相および／または彩度を有する画素の領域（局部領域を含む）を影あり背景領域、すなわち主要被写体となる前景物体の領域を除いた全ての背景領域をまず抽出する。

影有り背景領域を抽出する際に、あらゆる色合いの背景にも対応することができるように、色相と彩度とが、局部領域の画素の色と彩度と夫々略同じである画素の領域を取得するようにすることが望ましいが、予め背景の色合いが分かっている場合には、色相または彩度のいずれか一方のみを用いるようにしてもよい。例えば、グレーの背景である場合には、彩度のみを用い、局部領域の画素の彩度と略同じ彩度を有する画素の領域を影有り背景領域として抽出してもよい。

本発明の第１の画像処理装置および第２の画像処理装置における局部領域取得手段は、影無し背景領域の一部分を取得することができればいかなる手法を用いるものであってもよく、例えば、前記写真画像が、人物の証明写真画像である場合、前記局部領域取得手段は、前記写真画像から顔領域を検出する顔検出手段を備え、該顔検出手段により検出された前記顔領域に基づいて、前記局部領域を取得するものとすることができる。

証明写真画像の場合、人物の顔の中心部より上に影が出来てしまうことが稀であるので、例えば、顔検出手段により顔領域を検出し、検出された顔領域の中心部より上にある、顔領域を除いた部分（またはこの部分の一部）を局部領域としてもよいし、顔領域の位置より上の部分（またはこの部分の一部）を局部領域とするようにしてもよい。

また、局部領域取得手段は、前記局部領域をユーザに指定させるための入力手段を備え、該入力手段を介しての入力に基づいて前記局部領域を取得するように構成されたものであってもよい。

本発明の第１の画像処理装置における影領域抽出手段は、影無し背景領域以外の領域から影領域を抽出するものであるのに対し、本発明の第２の画像処理装置における影領域抽出手段は、影有り背景領域を、影無し背景領域と影領域とに分離することによって影領域を抽出するものであり、具体的には、影無し背景領域と影有り背景領域とは、夫々の画素の色相および／彩度が略同じであるが、影無し背景領域の画素の明度よりも、影領域の画素の明度が低いことを利用し、色相および／または彩度が影無し背景領域の色相および／または彩度と略同じであり、明度が影無し背景領域の明度より低い領域を影領域として抽出（分離）するものとすることができる。

また、本発明の画像処理装置における補正手段は、影無し背景領域および／または影領域の画素値を調整して影の除去を実現するものであり、影無し背景領域と影領域との画素値を一致させることができれば、影領域と影無し背景領域との両方またはいずれか一方のみの画素値を調整するものであってもよい。例えば影領域の明度を影無し背景領域の明度に合わせるように調整したり、影領域の画素の明度と、影無し背景領域の明度との両方を所定の明度に調整したりするのは勿論、影無し背景領域の明度を影領域の明度に合わせるように調整してもよい。

本発明の画像処理装置により影領域の抽出手法は、影領域を写真画像から除去することのみならず、影領域を抽出する必要のあるいかなる目的にも適用することができる。例えば、写真画像から撮像の時間を特定する分野において、位置などが知られている建物であれば、この建物の壁面を背景とする写真画像から影領域を抽出し、影領域の位置に基づいて撮像する時間を特定することができる。

また、本発明の画像処理装置による処理をコンピュータに実行させ、コンピュータを本発明の画像処理装置にするプログラムを提供するようにしてもよい。

本発明の画像処理装置は、写真画像から影無し背景領域を抽出し、該影無し背景領域に基づいて影領域を抽出して影を除去する。または、写真画像から影有り背景領域を抽出し、該影有り背景領域を、影無し背景領域と影領域とに分離することによって影領域を抽出して影を除去する。背景のみが写った背景画像が無くても、写真画像から影を除去することができる。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の第１の実施形態となるＩＤカード発行システムＡの構成を示すブロック図である。なお、本実施形態のＩＤカード発行システムＡは、各撮像ポイントにおいて人物の撮像を行って得た顔画像をＩＤカード作成センター（その詳細については後述する）に送信し、ＩＤカード作成センターにおいて各撮像ポイントから送信されて来た顔画像に対して影を除去する処理を行い、写真付きＩＤカードを作成するものであり、その影を除去する処理が、補助記憶装置に読み込まれた処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図１に示すように、本実施形態のＩＤカード発行システムＡは、人物を撮像して顔画像を得る複数の撮像ポイント１と、各撮像ポイント１において得られた顔画像を用いて写真付きＩＤカードを作成するＩＤカード作成センター５０ａとを有し、撮像ポイント１とＩＤカード作成センター５０ａとは、ネットワーク１０により接続されており、撮像ポイント１はネットワーク１０を介して顔画像をＩＤカード作成センター５０ａに送信する。

図２は、ＩＤカード作成センター５０ａの構成を示すブロック図である。

図２に示すように、ＩＤカード作成センター５０ａは、各撮像ポイント１から送信されてきた顔画像Ｓ０を受信する受信部５２と、顔画像Ｓ０から影を検出する影検出部８０ａと、影検出部８０ａにより検出された影を除去して補正済み画像Ｓ１を得る補正部５４と、補正済み画像Ｓ１を用いて、トリミング処理や、印刷処理などを経て写真付きＩＤカードＰを得るカード作成部５６とを有してなる。

図３は、ＩＤカード作成センター５０ａにおける影検出部８０ａの構成を示すブロック図である。図示のように、本実施形態における影検出部８０ａは、影を含まない背景領域、すなわち影無し背景領域を抽出する影無し背景領域抽出部９０ａと、抽出された影無し背景領域に基づいて影領域を抽出する影領域抽出部１４０ａとを備えてなり、影無し背景領域抽出部９０ａは、顔検出部１００と、局部領域確定部１２５ａと、抽出実行部１３０ａとを備えてなる。ここで、まず、影無し背景領域抽出部９０ａの各構成について説明する。

図４は、影無し背景領域抽出部９０ａにおける顔検出部１００の詳細構成を示すブロック図である。図示のように、顔検出部１００は、顔画像Ｓ０から特徴量Ｃ０を算出する特徴量算出部１１０と、後述する参照データＨ０により構成されるデータベース１１５と、特徴量算出部１１０が算出した特徴量Ｃ０とデータベース１１５内の参照データＨ０とに基づいて、顔画像Ｓ０から顔領域を検出し、顔の位置および大きさを示す情報（以下顔情報Ｈ１という）を得る検出実行部１２０とを備えてなる。

顔検出部１００の特徴量算出部１１０は、顔の識別に用いる特徴量Ｃ０を顔画像Ｓ０から算出する。具体的には、勾配ベクトル（すなわち顔画像Ｓ０上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部１１０は、顔画像Ｓ０に対して図５（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して顔画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部１１０は、顔画像Ｓ０に対して図５（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して顔画像Ｓ０における垂直方向のエッジを検出する。そして、顔画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図６に示すように、各画素における勾配ベクトルＫを算出する。

なお、このようにして算出された勾配ベクトルＫは、図７（ａ）に示すような人物の顔の場合、図７（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。

そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図６におけるｘ方向）を基準とした０から３５９度の値となる。

ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、顔画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が顔画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図８（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図８（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図８（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図８（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

データベース１１５内を構成する参照データＨ０は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群の夫々について、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

参照データＨ０中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

なお、本実施形態においては、参照データＨ０を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図９に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図９においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。

また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。

ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、参照データＨ０を参照して顔であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。顔画像Ｓ０に含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かを識別する際には、後述するように顔画像Ｓ０を拡大縮小して、サンプル画像のサイズに適合するサイズの顔の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、顔画像Ｓ０のサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。

また、顔画像Ｓ０に含まれる可能性がある顔は、図１０（ａ）に示すように平面上の回転角度が０度のみではなく、図１０（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１０（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。

このため、本実施形態においては、顔であることが分かっているサンプル画像として、図９に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、参照データＨ０の学習に許容度を持たせるようにしたものである。これにより、後述する検出実行部１２０において識別を行う際には、顔画像Ｓ０を拡大率として１１／９単位で段階的に拡大縮小すればよいため、顔画像Ｓ０のサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１０（ｂ）、（ｃ）に示すように回転している顔も識別することができる。

以下、図１１のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。

図１２を参照しながらある識別器の作成について説明する。図１２の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）⁴通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。

組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９⁴通りとなるため、特徴量Ｃ０のデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１２の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。

続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。

ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。

次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。

続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより参照データＨ０の学習を終了する。

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１２の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

検出実行部１２０は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて参照データＨ０が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔を検出する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負および大小によって顔を検出する。例えば、識別ポイントの総和が正の値である場合、顔であると判断し、負の値である場合には顔ではないと判断する。

ここで、顔画像Ｓ０のサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている可能性がある。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、検出実行部１２０は、図１３に示すように、顔画像Ｓ０を縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１３においては縮小する状態を示す）、各段階において拡大縮小された顔画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否か（すなわち、マスク内の画像に対して得られた識別ポイントの加算値が正か負か）の識別を行う。そして、この識別を拡大縮小および回転の全段階の顔画像Ｓ０について行い、識別ポイントの加算値が最も高い正の値が得られた段階におけるサイズおよび回転角度の顔画像Ｓ０から、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔領域として検出すると共に、この領域の位置および大きさを示す顔情報Ｈ１を局部領域確定部１２５ａへ出力する。

なお、参照データＨ０の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、顔画像Ｓ０を拡大縮小する時の拡大率は１１／９とすればよい。また、参照データＨ０の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、顔画像Ｓ０は３０度単位で３６０度回転させればよい。

なお、特徴量算出部１１０は、顔画像Ｓ０の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。

影検出部８０ａの顔検出部１００は、このようにして顔画像Ｓ０における顔の位置および大きさを示す顔情報Ｈ１を取得する。

局部領域確定部１２５ａは、顔情報Ｈ１に基づいて、顔画像Ｓ０における影無し背景領域の一部を確定するものである。具体的には、証明写真の場合、主要被写体となる人物の顔より上の部分に影が形成されることは殆どないことを利用し、顔情報Ｈ１により示される顔の位置および範囲（大きさ）に基づいて、顔より上の部分における任意の位置（点または所定の範囲）を局部領域として確定する。なお、証明写真の場合、人物の顔の中心部より上の部分に影が形成されることも稀であるため、顔の中心部より上の、顔を除いた部分における任意の位置を局部領域として確定するようにしてもよい。本実施形態において、局部領域確定部１２５ａは、顔より上の部分の全てを局部領域として確定する。

抽出実行部１３０ａは、局部領域確定部１２５ａにより得られた局部領域に基づいて、影無し背景領域Ｗａを抽出するものであり、具体的には、まず、局部領域の平均色を算出する。本実施形態においては、局部領域の平均色相、平均彩度、平均明度を算出する。次いで、抽出実行部１３０ａは、顔領域および局部領域以外の領域の各画素のうちの、色相、彩度、明度と、局部領域の平均色相、平均彩度、平均明度との夫々の差が所定の閾値以下の画素より構成され、かつ局部領域と隣接する領域を検出すると共に、検出された領域と局部領域とを合わせて影無し背景領域Ｗａとして抽出する。図１９に示す例の場合においては、領域Ａが影無し背景領域Ｗａとして抽出される。

抽出実行部１３０ａは、影無し背景領域Ｗａを示す情報、ここでは領域Ｗａの位置範囲を示す情報を影領域抽出部１４０ａに出力し、影領域抽出部１４０ａは、影無し背景領域Ｗａと隣接し、かつ色相、彩度と、局部領域の平均色相、平均彩度との差が夫々所定の閾値以下であり、かつ明度が局部領域の平均明度より低く、その差が所定の閾値より大きい画素より構成される領域を影領域ＫＳとして抽出する。

補正部５４は、顔画像Ｓ０から影を除去する処理を行うものであり、具体的には、影検出部８０ａにおける影領域抽出部１４０ａにより抽出された影領域ＫＳの各画素の明度が、局部領域の平均明度になるように、影領域ＫＳの各画素の明度を補正して補正済み画像Ｓ１を得る。

なお、ここで、補正部５４は、影無し背景領域Ｗａの平均明度を求め、影領域ＫＳの各画素の明度が影無し背景領域Ｗａの平均明度になるように補正してもよい。さらに、影領域ＫＳの明度を調整する代わりに、影無し背景領域Ｗａの各画素の明度が影領域ＫＳの明度（平均明度）になるように影無し背景領域Ｗａの各画素の明度を調整してもよいし、影無し背景領域Ｗａと、影領域ＫＳとの両方の各画素の明度が所定の同じ値になるように、影無し背景領域Ｗａと、影領域ＫＳとの両方の各画素の明度を調整するようにしてもよい。

図１４は、図１に示すＩＤカード発行システムＡにおけるＩＤカード作成センター５０ａにおいて行われる処理を示すフローチャートである。図示のように、各撮像ポイント１において得られた顔写真画像Ｓ０は、ＩＤカード作成センター５０ａの受信部５２により受信される（Ｓ１０）。受信された顔画像Ｓ０から、影検出部８０ａの影無し背景領域抽出部９０ａにおける顔検出部１００により顔領域が検出され、顔情報Ｈ１が得られる（Ｓ１５）。局部領域確定部１２５ａは、顔情報Ｈ１に基づいて、顔より上の部分の全てを局部領域として確定する（Ｓ２０）。抽出実行部１３０ａは、局部領域確定部１２５ａにより確定された局部領域の局部領域の平均色相、平均彩度、平均明度を算出すると共に、顔領域および局部領域以外の領域の各画素のうちの、色相、彩度、明度と、局部領域の平均色相、平均彩度、平均明度との夫々の差が所定の閾値以下の画素より構成され、かつ局部領域と隣接する領域を検出して、検出された領域と局部領域とを合わせて影無し背景領域Ｗａとして抽出する（Ｓ２５）。図１９に示す例の場合においては、領域Ａが影無し背景領域Ｗａとして抽出される。そして、影領域抽出部１４０ａは、影無し背景領域Ｗａと隣接し、かつ色相、彩度と、局部領域の平均色相、平均彩度との差が夫々所定の閾値以下であり、かつ明度が局部領域の平均明度より低く、その差が所定の閾値より大きい画素より構成される領域を影領域ＫＳとして抽出する（Ｓ３０）。補正部５４は、影領域抽出部１４０ａにより抽出された影領域ＫＳの各画素の明度が、局部領域の平均明度になるように、影領域ＫＳの各画素の明度を補正して補正済み画像Ｓ１を得る（Ｓ３５）。カード作成部５６は、補正済み画像Ｓ１を用いて写真付きＩＤカードＰを作成する（Ｓ４０）。

図１５は、本発明の第２の実施形態となるＩＤカード発行システムＢの構成を示すブロック図である。図示のように、本実施形態の本ＩＤカード発行システムＢは、人物を撮像して顔画像を得る複数の撮像ポイント１と、各撮像ポイント１において得られた顔画像を用いて写真付きＩＤカードを作成するＩＤカード作成センター５０ｂとを有し、撮像ポイント１とＩＤカード作成センター５０ｂとは、ネットワーク１０により接続されており、撮像ポイント１はネットワーク１０を介して顔画像をＩＤカード作成センター５０ｂに送信する。

図１６は、ＩＤカード作成センター５０ｂの構成を示すブロック図である。なお、図１５に示すＩＤカード発行システムＢは、ＩＤカード作成センター５０ｂが図１に示すＩＤカード発行システムＡのＩＤカード作成センター５０ａと異なる点を除いて他の構成が同じであるので、ここで、ＩＤカード作成センター５０ｂについてのみ説明すると共に、ＩＤカード発行システムＡのと同じ構成については同じ符号を付与する。

図１６に示すように、ＩＤカード作成センター５０ｂは、各撮像ポイント１から送信されてきた顔画像Ｓ０を受信する受信部５２と、顔画像Ｓ０から影を検出する影検出部８０ｂと、影検出部８０ｂにより検出された影を除去して補正済み画像Ｓ１を得る補正部５４と、補正済み画像Ｓ１を用いて、トリミング処理や、印刷処理などを経て写真付きＩＤカードＰを得るカード作成部５６とを有してなる。

図１７は、図１６に示すＩＤカード作成センター５０ｂにおける影検出部８０ｂの構成を示すブロック図である。図示のように、影検出部８０ｂは、影有り背景領域抽出部９０ｂと、影領域抽出部１４０ｂとを備えてなり、影有り背景領域抽出部９０ｂは、入力部１２５ｂと、抽出実行部１３０ｂとからなる。

入力部１２５ｂは、顔画像Ｓ０に対して、ユーザに「影が無い背景領域の一部分」、すなわち局部領域を指定させるためのものであり、顔画像Ｓ０をユーザに表示するモニタ、モニタに表示された画像（顔画像Ｓ０）における局部領域を指定するマウスなどから構成される。例えば、ユーザが入力部１２５ｂを介して、図２０に示す局部領域Ｑ０を指定することができる。なお、局部領域は、１つに限らず、例えば図２０に示す例において、領域Ｑ０と共に、領域Ｑ１、領域Ｑ２も局部領域として指定されるようにしてもよい。

本実施形態において、入力部１２５ｂは、ユーザに１つの局部領域を指定させるものである。ここで例えば、領域Ｑ０が指定されたとする。

抽出実行部１３０ｂは、まず、領域Ｑ０の平均色相、平均彩度を算出する。そして、色相、彩度と、領域Ｑ０の平均色相、平均彩度との夫々の差が所定の閾値以下の画素により構成され、かつ領域Ｑ０と隣接する領域を抽出し、領域Ｑ０と合わせて影有り背景領域Ｗｂとして抽出する。図１９および図２０の例においては、領域Ａと領域Ｂとからなる領域が抽出される。

影領域抽出部１４０ｂは、影有り背景領域Ｗｂから影領域ＫＳを分離することによって影領域ＫＳを抽出する。具体的には、影有り背景領域Ｗｂの各画素の明度を求め、局部領域Ｑ０の平均明度より低く、局部領域Ｑ０の平均明度との差が所定の閾値より大きい画素から構成された領域を影領域ＫＳとして抽出する。

図１８は、本実施形態のＩＤカード作成システムＢにおいて行われる処理を示すフローチャート。図示のように、各撮像ポイント１において得られた顔写真画像Ｓ０は、ＩＤカード作成センター５０ｂの受信部５２により受信される（Ｓ５０）。受信された顔画像Ｓ０に対して、影検出部８０ｂの影有り背景領域抽出部９０ｂにおける入力部１２５ｂを介して、局部領域Ｑ０が指定される（Ｓ５５）。抽出実行部１３０ｂは、ステップＳ５５において指定された局部領域Ｑ０の平均色相、平均彩度を算出すると共に、色相、彩度と、局部領域Ｑ０の平均色相、平均彩度との夫々の差が所定の閾値以下の画素より構成され、かつ局部領域Ｑ０と隣接する領域を検出して、検出された領域と局部領域Ｑ０とを合わせて影有り背景領域Ｗｂとして抽出する（Ｓ６０）。図１９および図２０に示す例の場合においては、領域Ａと領域Ｂとからなる領域が影有り背景領域Ｗｂとして抽出される。そして、影領域抽出部１４０ｂは、影有り背景領域Ｗｂから、明度が局部領域Ｑ０の平均明度より低く、その差が所定の閾値より大きい画素より構成される領域を影領域ＫＳとして影有り背景領域Ｗｂから分離する（Ｓ６５）。補正部５４は、影領域抽出部１４０ｂにより抽出された影領域ＫＳの各画素の明度が、局部領域Ｑ０の平均明度になるように、影領域ＫＳの各画素の明度を補正して補正済み画像Ｓ１を得る（Ｓ５７）。カード作成部５６は、補正済み画像Ｓ１を用いて写真付きＩＤカードＰを作成する（Ｓ７５）。

このように、上述した実施形態のＩＤカード作成システムは、顔画像から影を除去するのに際し、顔画像そのものから影領域を抽出して除去するようにしているので、背景のみの画像が無くても、影を除去することができる。

以上、本発明の望ましい実施形態について説明したが、本発明は、上述した実施形態に限られることがなく、本発明の主旨から逸脱しない限り、様々な増減、変更を加えることができる。

例えば、図１に示す実施形態のＩＤカード発行システムＡのように、顔画像から顔の領域を検出して局部領域を確定する場合、顔画像から顔の位置および大きさを得ることができれば、いかなる顔検出技術を用いてもよい。

また、影有り背景領域、影無し背景領域、影領域などを抽出する際に、色空間として色相、彩度、明度を用いるのに限らず、ＲＧＢ色空間や、Ｌａｂ色空間などを用いてもよい。

本発明の第１の実施形態となるＩＤカード発行システムＡの構成を示すブロック図 図１に示すＩＤカード発行システムＡにおけるＩＤカード作成センター５０ａの構成を示すブロック図 図２に示すＩＤカード作成センター５０ａにおける影検出部８０ａの構成を示すブロック図 図３に示す影検出部８０ａにおける顔検出部１００の構成を示すブロック図 （ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図 顔の回転を説明するための図 参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 識別対象画像の段階的な変形を説明するための図 図１に示す実施形態のＩＤカード発行システムＡの処理を示すフローチャート 本発明の第２の実施形態となるＩＤカード発行システムＢの構成を示すブロック図 図１５に示すＩＤカード発行システムＢにおけるＩＤカード作成センター５０ｂの構成を示すブロック図 図１６に示すＩＤカード作成センター５０ｂにおける影検出部８０ｂの構成を示すブロック図 図１５に示す実施形態のＩＤカード発行システムＢの処理を示すフローチャート 顔画像の例を示す図（その１） 顔画像の例を示す図（その２）

符号の説明

１ 撮像ポイント
１０ ネットワーク
５０ａ，５０ｂ ＩＤカード作成センター
５２ 受信部
５４ 補正部
５６ カード作成部
８０ａ，８０ｂ 影検出部
９０ａ 影無し背景領域抽出部
９０ｂ 影有り背景領域抽出部
１００ 顔検出部
１１０ 特徴量算出部
１１５ データベース
１２０ 検出実行部
１２５ａ 局部領域確定部
１２５ｂ 入力部
１３０ａ，１３０ｂ 抽出実行部
１４０ａ，１４０ｂ 影領域抽出部
Ｓ０ 顔画像
Ｓ１ 補正済み画像
Ｗａ 影無し背景領域
Ｗｂ 影有り背景領域
ＫＳ 影領域

Claims (13)

1. 主要被写体の影が単純パターン背景内に存在する写真画像から前記影を除去する画像処理装置であって、
   該写真画像から、前記影を含まない影無し背景領域を抽出する影無し背景領域抽出手段と、
   該影無し背景領域以外の領域から前記影の領域を抽出する影領域抽出手段と、
   前記影無し背景領域の画素値および／または前記影領域の画素値を調整することによって前記写真画像から前記影を除去する補正手段とを備えてなることを特徴とする画像処理装置。
2. 前記影領域抽出手段が、前記影無し背景領域と隣接する領域から前記影の領域を抽出するものであることを特徴とする請求項１記載の画像処理装置。
3. 主要被写体の影が単純パターン背景内に存在する写真画像から前記影を除去する画像処理装置であって、
   前記影を含む影有り背景領域を抽出する影有り背景領域抽出手段と、
   該影有り背景領域を、前記影を含まない影無し背景領域と、前記影の領域とに分離することによって前記影を抽出する影領域抽出手段と、
   前記影無し背景領域の画素値および／または前記影領域の画素値を調整することによって前記写真画像から前記影を除去する補正手段とを備えてなることを特徴とする画像処理装置。
4. 前記影無し背景領域抽出手段が、前記影無し背景領域の局部領域を取得する局部領域取得手段を備え、
   取得された前記局部領域と隣接し、かつ前記局部領域の画素と類似色を有する画素の領域を取得し、取得された該領域と前記局部領域とを合わせて前記影無し背景領域として抽出するものであることを特徴とする請求項１または２記載の画像処理装置。
5. 前記影有り背景領域抽出手段が、前記影無し背景領域の局部領域を取得する局部領域取得手段を備え、
   取得された前記局部領域と隣接し、かつ前記局部領域の画素と略同じ色相および／または彩度を有する画素の領域を取得し、取得された該領域と前記局部領域とを合わせて前記影有り背景領域として抽出するものであることを特徴とする請求項３記載の画像処理装置。
6. 前記写真画像が、人物の証明写真画像であり、
   前記局部領域取得手段が、前記写真画像から顔領域を検出する顔検出手段を備え、
   該顔検出手段により検出された前記顔領域に基づいて、前記局部領域を取得するものであることを特徴とする請求項４または５記載の画像処理装置。
7. 前記局部領域取得手段が、前記局部領域を指定させるための入力手段を備え、
   該入力手段を介しての入力に基づいて前記局部領域を取得するものであることを特徴とする請求項４または５記載の画像処理装置。
8. 前記影領域抽出手段が、色相および／または彩度が前記影無し背景領域の色相および／または彩度と略同じであり、明度が前記影無し背景領域の明度より低い領域を前記影領域として抽出するものであることを特徴とする請求項１から７のいずれか１項記載の画像処理装置。
9. 主要被写体の影が単純パターン背景内に存在する写真画像から前記影を除去する画像処理をコンピュータに実行させるプログラムであって、
   前記画像処理が、前記写真画像から、前記影を含まない影無し背景領域を抽出する処理と、
   該影無し背景領域以外の領域から前記影の領域を抽出する処理と、
   前記影無し背景領域の画素値および／または前記影領域の画素値を調整することによって前記写真画像から前記影を除去する処理とを有することを特徴とするプログラム。
10. 前記影の領域を抽出する処理が、前記影無し背景領域と隣接する領域から前記影の領域を抽出する処理であることを特徴とする請求項９記載のプログラム
11. 主要被写体の影が単純パターン背景内に存在する写真画像から前記影を除去する画像処理をコンピュータに実行させるプログラムであって、
    前記画像処理が、前記影を含む影有り背景領域を抽出する処理と、
    該影有り背景領域を、前記影を含まない影無し背景領域と、前記影の領域とに分離することによって前記影を抽出する処理と、
    前記影無し背景領域の画素値および／または前記影領域の画素値を調整することによって前記写真画像から前記影を除去する処理とを有することを特徴とするプログラム。
12. 主要被写体の影が単純パターン背景内に存在する写真画像から前記影を検出する画像処理装置であって、
    該写真画像から、前記影を含まない影無し背景領域を抽出する影無し背景領域抽出手段と、
    該影無し背景領域以外の領域から前記影の領域を抽出する影領域抽出手段とを備えてなることを特徴とする画像処理装置。
13. 主要被写体の影が単純パターン背景内に存在する写真画像から前記影を検出する画像処理装置であって、
    前記影を含む影有り背景領域を抽出する影有り背景領域抽出手段と、
    該影有り背景領域を、前記影を含まない影無し背景領域と、前記影の領域とに分離することによって前記影の領域を抽出する影領域抽出手段とを備えてなることを特徴とする画像処理装置。

Images