JP4888217B2 - 人物属性推定装置 - Google Patents

Description

本発明は、画像から人物の性別や年齢層などの属性を推定する人物属性推定装置に関する。

従来、人物の性別や年齢層などの属性情報が、マーケティングに活用されている。例えば、コンビニエンスストアなどでは、顧客が商品を購入した際に、店員が顧客の属性を推測し、商品の購入情報として蓄積する。

このような属性情報は、自動的且つ高精度に得られることが望まれている。

このような課題に鑑みた従来技術として、任意の顔向き方向から撮影した対象人物の顔画像から、その対象人物の性別や年齢層などの属性を自動で推測する人物属性推定装置が提案されている（特許文献１参照）。

しかし、このような装置では、一般的に、顔の皺に関する特徴量に基づいて年齢層が推定されるため、顔器官の形状や顔の照明状態などが年齢層の推定に悪影響を及ぼすことがある。例えば、対象人物が笑っている場合、口や目等の顔器官の形状が変化し、これによって、口元や目尻などに皺が生じ、実際より高い年齢層に推定されることがある。また、直射日光が当たっている場合、顔の一部が白飛びした状態になることがあり、そのような状態では、本来あるはずの皺を画像から得ることができず、実際より低い年齢層に推定されることがある。このように、撮影時の顔の状態によって、誤った年齢層を推定してしまうおそれがある。

従って、自動的に年齢層を推定する場合には、上記状態（顔器官の形状、顔の照明状態など）の悪影響を回避するための対策が重要となる。
特開２００３−２４２４８６号公報 特開２００６−０５３８５３号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、画像から人物の属性を精度よく推定するための技術を提供することにある。

上記目的を達成するために、本発明は以下の構成を採用する。

本発明に係る人物属性推定装置は、画像から人物の属性を推定する人物属性推定装置であって、前記画像中の顔の状態を判定する顔状態判定手段と、予め定められた複数の年齢層の夫々について、前記顔がその年齢層に該当する確率を表すスコアを算出するスコア算出手段と、前記顔の状態に基づいて前記画像中の属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分の影響が小さくなるように、前記スコアを補正するスコア補正手段と、年齢層ごとの補正後スコアのうち、最も高い確率を表す補正後スコアに対応する年齢層を該人物の属性とみなす属性推定手段と、を備える。

本発明の属性推定に用いられるスコアは顔の状態に基づいて補正される。これにより、属性推定に顔の状態が与える悪影響を低減することができるため、誤推定の低減及び精度の向上が図れる。

前記スコアは、前記画像中の複数の部分から夫々算出された複数の部分スコアを統合することによって得られる統合スコアであるとよい。これにより、画像中の複数の部分から夫々部分スコアを得ることができるため、１種類のスコアのみを用いて属性推定を行うよりも高精度な属性推定を行うことができる。

前記スコア補正手段は、前記顔の状態に基づいて属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分に対応する部分スコアを除外することで前記統合スコアを補正するとよい。これにより、属性推定に悪影響を与える部分の部分スコアの影響を除外することができるため、誤推定の低減及び精度の向上が図れる。

前記スコア補正手段は、前記顔の状態に基づいて属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分に対応する部分スコアの値を変えることで前記統合スコアを補正するとよい。これにより、属性推定に悪影響を与える部分の部分スコアの値を適切な値に補正することができるため、誤推定の低減及び精度の向上が図れる。

前記スコアは、前記部分スコアごとに重み付けされた統合スコアであり、前記スコア補正手段は、前記顔の状態に基づいて属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分に対応する部分スコアの重みを他の部分スコアの重みよりも相対的に小さくすることで前記統合スコアを補正するとよい。これにより、属性推定に適した部分の部分スコアを重視した補正後スコアが得られるため、誤推定の低減及び精度の向上が図れる。

前記顔の状態は顔の向き、顔器官の形状、及び、顔の照明状態のうち１つ以上を含むとよい。これにより、属性推定に顔の向き、顔器官の形状、及び、顔の照明状態が与える悪影響を低減することができるため、誤推定の低減及び精度の向上が図れる。

前記画像中の顔の向き、顔器官の形状、及び、顔の照明状態のうち２つ以上の状態が属性推定に悪影響を与えるものであった場合に、前記属性推定手段による属性推定を禁止するとよい。これにより、前記属性推定手段に適さない顔を推定対象から除外したり、他の手法で該人物の属性推定を試みたりできるため、誤推定の低減及び精度の向上が図れる。

また、本発明は、上記手段の少なくとも一部を有する人物属性推定装置として捉えてもよいし、上記処理の少なくとも一部を含む人物属性推定方法、または、かかる方法を実現するための人物属性推定プログラムやそのプログラムを記憶した記憶媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、顔の状態に基づいて属性推定に用いられるスコアが補正されるため、属性を精度よく推定することが可能である。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜装置構成＞
図１は、本発明の実施形態に係る人物属性推定装置の機能構成を示すブロック図である。この人物属性推定装置は、画像から人物の年齢層（年代）を推定する人物属性推定処理を行う装置であり、例えば、コンビニエンスストアなどの監視カメラで得られた画像を用いることによって、年齢層を顧客情報として蓄積することができ、その顧客情報は、マー
ケティングなどに活用することができる。本発明は、建物内、自動販売機、ＡＴＭなどに設置してある監視装置ような既存の設備に適用できる。なお、本発明は監視装置に限らず、携帯電話、パソコン、ＰＤＡなどの撮影装置を具備する機器に適用することが可能である。また、本発明の人物属性処理は、撮影装置から得られた画像を用いてリアルタイムに行わず、ハードディスクやＤＶＤなどに記録されている画像を用いて行うこともできる。

人物属性推定装置は、図１に示す複数の機能要素、すなわち撮像部１１、画像記憶部１２、顔検出部１３、特徴量抽出部１４、顔状態判定部１５、参照特徴量記憶部１６、スコア算出部１７、スコア補正部１８、属性推定部１９、結果記憶部２０、表示部２１を備えている。本実施形態では、これらの機能要素は、コンピュータの演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてカメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。

撮像部１１としては、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備える監視用カメラ等を好ましく適用できる。

画像記憶部１２は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。

顔検出部１３は、画像処理によって画像から顔を検出する機能である。顔検出部１３による顔検出処理は、既存の顔検出処理のどのような技術が適用されてもよい。一例を挙げると、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、肌の色に近い領域を検出し、その領域を顔として検出する手法、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。

特徴量抽出部１４は、まず、顔検出部１３によって検出された顔から特徴点を検出する。特徴点とは口の両端、目尻、目頭、鼻先などのような特徴となる箇所のことである。また、特徴量抽出部１４は、検出された特徴点から顔器官（目、口、鼻など）を特定することができる。特徴量抽出部１４による特徴点検出処理は、既存の特徴点検出処理のどのような技術が適用されてもよい。一例を挙げると、顔特徴点の位置を示すパターンを学習し、その学習データを使用したマッチングを行うことによって特徴点を検出する手法、検出された顔の内側において、パターンマッチングにより特徴点を検出する手法など、既存のいかなる手法を用いてもよい。

また、特徴量抽出部１４は、検出された特徴点の位置及び他の特徴点との位置関係に基づいて、特徴部を特定する。特徴部とは、属性（年齢層）の推定に用いる特徴量を抽出するための注目領域である。特徴部は、加齢による外見の変化が顕著に現れる部分であることが好ましい。本実施形態では「右目」、「左目」、「鼻」、「口」の４つの特徴部を考える。なお、特徴点の位置及び他の特徴点との位置関係と、特徴部との対応関係は特徴量抽出部１４に予め記憶されている。

そして、特徴量抽出部１４は、各特徴部から特徴量を抽出する。特徴量としては、例えば、特徴点の相対位置、特徴部の全体もしくは一部の色の濃淡、皺の数などを抽出する。

顔状態判定部１５は、顔検出部１３で検出された顔の状態を判定する機能である。本実
施形態では、顔器官の位置関係に基づいて顔の向きを判定し、輪郭点の位置関係に基づいて顔器官の形状を判定し、顔器官の色の濃淡（輝度値）に基づいて顔の照明状態を判定する。ここで、輪郭点とは顔器官の輪郭を表す点のことである。

参照特徴量記憶部１６は、参照特徴量を記憶する記憶装置である。参照特徴量とは、同じ年齢層に属する複数の人物の特徴量を平均したものである。また、本実施形態では、「１０代以下」、「２０代」、「３０代」、「４０代」、「５０代以上」という５つの年齢層の夫々について、参照特徴量が記憶されている。更に、参照特徴量は特徴部別に分けられている。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。

スコア算出部１７は、顔検出部１３で検出された顔から抽出された特徴量と、参照特徴量とを用いて年齢層ごとにスコアを算出する機能である。スコアとは、顔検出部１３で検出された顔がその年齢層に該当する確率を表すものである。スコアは特徴部ごとに算出され、これを部分スコアと呼ぶ。そして、部分スコアを統合したものを統合スコアと呼ぶ。本実施形態における部分スコアは、特徴量抽出部１４で特定された特徴部ごとの特徴量と、対応する特徴部の参照特徴量との類似度である。本実施形態では、上記年齢層の夫々について、その年齢層の部分スコアの平均値を統合スコアとする。このように、画像中の複数の部分から夫々得られた部分スコアの統合値を用いることにより、１種類のスコアのみを用いて属性推定を行うよりも高精度な属性推定を行うことができる。

スコア補正部１８は、顔状態判定部１５で判定された顔の状態に基づいて前記統合スコアを補正する機能である。具体的な補正手法については後で述べる。

属性推定部１９は、年齢層ごとの補正後スコアのうち、最も高い確率を表す補正後スコアに対応する年齢層を該人物の属性とみなす機能である。

結果記憶部２０は、属性推定部１９から出力された結果を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。

表示部２１としては、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。

＜人物属性推定機能＞
図２、図３、図４及び図５のフローチャートに沿って、人物属性推定装置の機能及び処理の流れを説明する。

本実施形態における人物属性推定装置は一定の時間間隔で人物属性推定機能を実行する。人物属性推定機能が起動すると、撮像部１１で撮影された画像が、人物属性推定処理に用いるために取り込まれる（ステップＳ１１）。入力された画像は画像記憶部１２に撮影時刻情報と共に格納される。なお、必要に応じて、ユーザは、人物属性推定処理用の画像を表示部２１で確認することができる。

次に、顔検出部１３が撮像部１１で撮影された画像中の顔の検出を行う（ステップＳ１２）。

そして、特徴量抽出部１４が顔検出部１３で検出された顔のうち、１つを選択し（ステップＳ１３）、該顔から特徴量を抽出する（ステップＳ１４）。

次に、スコア算出部１７が、年齢層ごとに各特徴部の部分スコアを算出する（ステップＳ１５）。

そして、顔状態判定部１５が顔の向きを判定する（ステップＳ１６）。

＜顔向き判定＞
図３は、ステップＳ１６の処理の一具体例を示している。

まず、顔状態判定部１５が顔器官の位置関係に基づいて顔の向きを判定する（ステップＳ２１）。具体的には、顔状態判定部１５は判定結果として、「上」、「下」、「右」、「左」、「正面」のうちいずれか１つを出力する。

判定結果が「正面」である場合（ステップＳ２２；ＹＥＳ）、そのまま（スコアを補正せずに）ステップＳ１７へ進む。一方、判定結果が「正面」でない場合（ステップＳ２２；ＮＯ）は、スコア補正部１８が顔の向きに基づいて部分スコアを補正し（ステップＳ２３）、補正回数をカウント（＋１）し（ステップＳ２４）、ステップＳ１７へ進む。顔向きによって画像にあまり写らない顔器官を生じることがあり、該顔器官を含む特徴部から算出された部分スコアは信頼性が低いと考えられるからである。例えば、判定結果が「上」の場合、右目及び左目が属性推定に悪影響を与える顔器官として特定される。そして、スコア補正部１８は、右目または左目を含んでいる特徴部から算出された部分スコアの重みを下げる。判定結果が「下」の場合、口が属性推定に悪影響を与える顔器官として特定され、口を含んでいる特徴部から算出された部分スコアの重みを下げる。判定結果が「右」の場合は、右目を含んでいる特徴部から算出された部分スコアの重みを下げ、判定結果が「左」の場合は、左目を含んでいる特徴部から算出された部分スコアの重みを下げる。なお、本実施形態では顔の向きの判定結果として「上」、「下」、「右」、「左」、「正面」を考えているが、顔状態判定部は、判定結果として「ズレ量（顔の向きがどれだけ正面向きから逸れているのかを表す量）」を更に出力してもよい。そのような場合には、重みを下げる量は、ズレ量に比例して大きくなるようにしてもよいし、顔の向きが正面か否かによって一定量だけ重みが下がるようにしてもよい。

次に、顔状態判定部１５が顔器官の形状を判定する（ステップＳ１７）。

＜顔器官形状判定＞
図４は、ステップＳ１７の処理の一具体例を示している。

まず、顔状態判定部１５が輪郭点の位置関係に基づいて顔器官の形状を判定する（ステップＳ３１）。具体的には、顔状態判定部１５が顔器官ごとに特徴点の位置に基づいて複数の輪郭点を検出する。そして、複数の輪郭点で形作られる形状（顔器官の形状）を、予め記憶されている通常状態の顔器官の形状と比較することによって顔器官の形状を判定する。顔状態判定部１５は、判定結果として、「右目が閉じている（又は細い）」、「左目が閉じている（又は細い）」、「両目が閉じている（又は細い）」、「口元が上がっている（又は下がっている）」、「通常状態」のうちいずれか１つを出力する。

判定結果が「通常状態」である場合（ステップＳ３２；ＹＥＳ）、そのまま（スコアを補正せずに）ステップＳ１８へ進む。一方、判定結果が「通常状態」でない場合（ステップＳ３２；ＮＯ）は、スコア補正部１８が顔器官の形状に基づいて部分スコアを補正し（ステップＳ３３）、補正回数をカウント（＋１）し（ステップＳ３４）、ステップＳ１８へ進む。顔器官の形状を原因として顔器官に皺などが生じることがあり、皺は加齢情報であるため、該顔器官を含む特徴部から算出された部分スコアは信頼性が低いと考えられるからである。例えば、判定結果が「口元が上がっている」の場合、口が属性推定に悪影響
を与える顔器官として特定される。そして、スコア補正部１８は、口を含んでいる特徴部から算出された部分スコアの重みを下げる。判定結果が「両目が閉じている」の場合、右目及び左目が属性推定に悪影響を与える顔器官として特定され、右目又は左目を含んでいる特徴部から算出された部分スコアの重みを下げる。同様に、判定結果が「右目が閉じている」の場合は、右目を含んでいる特徴部から算出されたスコアの重みを下げ、判定結果が「左目が閉じている」の場合は、左目を含んでいる特徴部から算出されたスコアの重みを下げる。なお、本実施形態では顔器官の形状の判定結果として「右目が閉じている」、「左目が閉じている」、「両目が閉じている」、「口元が上がっている」、「通常状態」を考えているが、判定結果として、属性推定に悪影響を与える顔器官に生じている皺の数や、顔器官の変形度合いなどを更に出力してもよい。そのような場合には、重みを下げる量は、皺の数や、顔器官の変形度合いに比例して大きくなるようにしてもよいし、顔器官の形状が通常状態か否かによって一定量だけ重みが下がるようにしてもよい。

次に、顔状態判定部１５が顔の照明状態を判定する（ステップＳ１８）。

＜照明状態判定＞
図５は、ステップＳ１８の処理の一具体例を示している。

まず、顔状態判定部１５が顔器官の輝度値に基づいて顔の照明状態を判定する（ステップＳ４１）。具体的には、顔状態判定部１５が、顔器官ごとに特徴点の輝度値を統合することによって、各顔器官の輝度値を算出する。そして、各顔器官の輝度値を、予め記憶されている順光時の輝度値（基準輝度値）と比較することによって顔の照明状態を判定する。また、顔状態判定部１５は顔器官の輝度値を、他の顔器官の輝度値と比較することによって、顔全体が明るいのか、顔全体が暗いのか、斜光状態か、なども判定する。顔状態判定部１５は、判定結果として、「上（顔の上部の照明状態が悪いことを意味する）」、「下」、「右」、「左」、「全体（顔全体の照明状態が悪いことを意味する）」、「良好」のうちいずれか１つを出力する。

判定結果が「良好」である場合（ステップＳ４２；ＹＥＳ）、ステップＳ１９へ進み、判定結果が「良好」でない場合（ステップＳ４２；ＮＯ）、判定結果が「全体」であるか否かを判定する（ステップＳ４３）。判定結果が「全体」である場合（ステップＳ４３；ＹＥＳ）、該顔から属性を推定することは困難であるため、ステップＳ１８の処理を終了し、ステップＳ２０へ進む。判定結果が「全体」でない場合（ステップＳ４３；ＮＯ）、スコア補正部１８が顔の照明状態に基づいて部分スコアを補正し（ステップＳ４４）、補正回数をカウント（＋１）し（ステップＳ４５）、ステップＳ１９へ進む。具体的には、照明状態が明るすぎる顔器官が有る場合、該顔器官の周りは白飛びし、皺の情報を含んだ特徴量を得ることができないことがある。また、照明状態が暗い顔器官が有る場合、それによって生じた影を皺と誤検出するおそれがある。そのような顔器官を含む特徴部から算出された部分スコアは信頼性が低いと考えられるので、該部分スコアの重みを下げるのである。例えば、判定結果が「上」の場合、右目及び左目が属性推定に悪影響を与える顔器官として特定される。そして、スコア補正部１８は、右目または左目を含んでいる特徴部から算出された部分スコアの重みを下げる。判定結果が「下」の場合、口が属性推定に悪影響を与える顔器官として特定され、口を含んでいる特徴部から算出された部分スコアの重みを下げる。判定結果が「右」の場合は、右目を含んでいる特徴部から算出された部分スコアの重みを下げ、判定結果が「左」の場合は、左目を含んでいる特徴部から算出された部分スコアの重みを下げる。なお、本実施形態では顔の照明状態の判定結果として「上」、「下」、「右」、「左」、「全体」、「良好」を考えているが、判定結果は、算出された輝度値と基準輝度値とのズレ量を更に出力してもよい。そのような場合には、重みを下げる量は、ズレ量に比例して大きくなるようにしてもよいし、顔の照明状態が悪いか否かによって一定量だけ重みが下がるようにしてもよい。

ステップＳ１９では、スコア補正部１８が、補正回数が３回かどうか（つまり、全ての状態について補正をしたかどうか）を判定する。補正回数が３回未満である場合（ステップＳ１９；ＮＯ）、ステップＳ２１へ進み、補正回数が３回である場合（ステップＳ１９；ＹＥＳ）、該顔の属性推定を中止し、該顔を検出対象から除外し（ステップＳ２０）、ステップＳ２２へ進む。

ステップＳ２１では、属性推定部１９が、年齢層ごとの補正後スコア（統合スコア）のうち、最も高い確率を表す補正後スコアに対応する年齢層を該人物の属性とみなす。

次に、ステップＳ２２では、ステップＳ１２で検出された顔の内、属性推定に用いられていない顔があるかどうかを判定する。他の顔があるとされた場合（ステップＳ２２；ＹＥＳ）、他の顔が無くなるまで、ステップＳ１３〜Ｓ２１の工程を繰り返す。ステップＳ１２で検出された全ての顔について人物属性推定処理が行われたら（ステップＳ２２；ＮＯ）、ステップＳ２３へ進む。

ステップＳ２３では、属性推定部１９の推定結果が結果記憶部２０に格納される。結果記憶部２０に格納される推定結果の情報は、人物属性推定処理に用いた画像、該画像の撮影時刻、検出された顔の数、該顔の位置座標、及び、属性ごとの検出数の情報が好ましい。ユーザは、目的に応じた撮影時刻と顔検出処理結果の表示方法とを入力することで、人物属性推定処理結果を表示部２１で確認することができる。前記表示方法は入力された撮影時刻の１０代以下の検出数／総顔検出数や２０代の検出数／総顔検出数のように年齢層で分けてもよいし、前記撮影時刻に撮影された画像を表示し、顔検出位置に該顔に対応する属性を表示するなどでもよい。

以上述べたように、本実施形態では、スコア補正部１８が顔の状態に基づいて部分スコアを補正することによって、属性推定に用いられる統合スコアを補正する。これにより、属性推定に顔の状態が与える悪影響を低減することができるため、誤推定の低減及び精度の向上が図れる。

例として、ステップＳ１３で顔３１（図６）が選択された場合の人物属性推定処理について述べる。顔３１の人物は、年齢層が「２０代」であり、顔の向きが「正面」、顔器官の形状が「口元が上がっている」、顔の照明状態が「良好」である。

まず、特徴量抽出部１４によって特定された複数の特徴部（右目特徴部３２ａ、左目特徴部３２ｂ、鼻特徴部３２ｃ、口特徴部３２ｄ）から夫々特徴量を抽出し（ステップＳ１４）、各特徴量と参照特徴量を用いて年齢層ごとのスコアを算出する（ステップＳ１５）。図７の例では、「１０代以下、右目；０．２、左目；０．２、鼻；０．２５、口；０．０２」、「２０代、右目；０．３、左目；０．３、鼻；０．３、口；０．０３」、「３０代、右目；０．２、左目；０．２、鼻；０．１７、口；０．５５」、「４０代、右目；０．１５、左目；０．１５、鼻；０．１５、口；０．２」、「５０代以上、右目；０．１５、左目；０．１５、鼻；０．１３、口；０．２」のように、年齢層ごとに部分スコアの合計が１になるように規格化された値が算出されている。従って、統合スコアは、「１０代以下；０．１６７５」、「２０代；０．２３２５」、「３０代；０．２８」、「４０代；０．１６２５」、「５０代以上；０．１４」となる。この時点で属性を推定すると、「３０代」の統合スコアが最も高いため、「２０代」である顔３１の人物の属性を「３０代」と誤推定してしまう。そこで本実施形態では、スコア補正部１８が顔の状態に基づいて次のようにスコアを補正する。

前述したように、顔３１の人物は、顔の向きが「正面」、顔器官の形状が「口元が上が
っている」、顔の照明状態が「良好」であるので、ステップＳ１７でのみスコアを補正する。顔３１の顔器官の形状は「口元が上がっている」であるので、口を含んでいる特徴部（口特徴部３２ｄ）から算出された部分スコアの重みを下げる。具体的には、口特徴部３２ｄから算出された部分スコアを５分の１にする。よって、補正後の部分スコアは、「１０代以下、右目；０．２、左目；０．２、鼻；０．２５、口；０．００４」、「２０代、右目；０．３、左目；０．３、鼻；０．３、口；０．００６」、「３０代、右目；０．２、左目；０．２、鼻；０．１７、口；０．１」、「４０代、右目；０．１５、左目；０．１５、鼻；０．１５、口；０．０４」、「５０代以上、右目；０．１５、左目；０．１５、鼻；０．１３、口；０．０４」となり、補正後の統合スコアは、「１０代以下；０．１６３５」、「２０代；０．２２６５」、「３０代；０．１６７５」、「４０代；０．１２２５」、「５０代以上；０．１１７５」となる（図７）。その結果、「２０代」のスコアが最も高くなり、（補正回数は１回なので、ステップＳ２１へ進み（ステップＳ１９；ＮＯ）、）ステップＳ２１で顔３１の人物の属性は「２０代」として正しく判定される。

なお、本実施形態では、特徴量として、特徴点の位置、特徴部の全体もしくは一部の色の濃淡、皺の数などを挙げているが、特徴量は、顔器官の位置や皺の情報などのような加齢情報を得ることのできる量であればどのようなものであってもよい。また、特徴点、顔器官、及び、特徴部は必要な数だけ検出、特定することができ、それらの数が多いほど属性推定の精度の向上が期待できる。

なお、本実施形態では、顔器官の位置関係に基づいて顔の向きを判定し、輪郭点の位置関係に基づいて顔器官の形状を判定し、顔器官の輝度値に基づいて顔の照明状態を判定しているが、顔の向き、顔器官の形状、及び、顔の照明状態を知ることができる手法であればどのような手法を用いてもよい。例えば、顔の向きについては、顔向きごとの顔器官の位置のテンプレートを用意してもよい。また、顔の照明状態については、顔器官の輝度値ではなく、特徴点の輝度値に基づいて判定してもよい。また、本実施形態の顔状態判定部１５は、顔の向き、顔器官の形状、及び、顔の照明状態の全てを判定しているが、これらのうち１つ以上を判定すればよいし、属性推定に悪影響を与える状態であれば他の状態を判定してもよい。

なお、本実施形態の年齢層は１０歳刻みで定義されているが、年齢層の幅は必要に応じて変えることができる。例えば、「５歳以下」、「５〜１０歳」、「１０〜１５歳」・・・、のように、５歳刻みにしてもよいし、指数関数的に年齢層の幅を変えてもよい。

なお、本実施形態における参照特徴量は、同じ年齢層に属する複数の人物の特徴量を平均したものであるが、参照特徴量は、複数の人物の年齢層そのものであってもよいし、その年齢層を表す特徴量であればどのようなものであってもよい。また、部分スコアは、特徴量抽出部１４で特定された特徴部ごとの特徴量と、対応する特徴部の参照特徴量との類似度として（年齢層ごとに部分スコアの合計が１になるように）求められているが、部分スコアを規格化しなくてもよいし、参照特徴量の定義に応じて異なる手法で算出してもよい。例えば、参照特徴量が複数の人物の年齢層そのものである場合、類似している人物がその年齢層に何人いるのかを特徴部ごとにカウントし、その数を部分スコアとしてもよい。また、本実施形態では、部分スコアの平均値を統合スコアとしているが、統合スコアは合計値でもよいし、関数によって定義するなどでもよい。

なお、本実施形態では、特徴部として、「右目」、「左目」、「鼻」、「口」の４つを考えているが、これらに限らず、様々な部分を特定することができる。そのためには、特徴量抽出部１４に予め特徴点と特定したい特徴部の対応関係を記憶させておけばよい。

なお、本実施形態では、属性推定に悪影響を与える特徴部に対応する部分スコアの重み
を他の部分スコアの重みよりも小さくすることで統合スコアを補正しているが、補正方法としては、信頼性の高い特徴部の部分スコアの重みを大きくしてもよいし、属性推定に悪影響を与える特徴部に対応する部分スコアを除外してもよい。また、属性推定に悪影響を与える特徴部に対応する部分スコアの値を変えることでスコアを補正してもよいし（例えば、部分スコアを１つ上の年齢層に対応する部分スコアの値に変えたり、所定の年齢層の部分スコアのみを変えたりなど）、上記補正方法を組み合わせるなどでもよい。

なお、本実施形態では、顔の状態に基づいて属性推定に悪影響を与える顔器官を特定し、該顔器官を含んでいる特徴部から算出された部分スコアを補正しているが、属性推定に悪影響を与える特徴点や特徴部を特定してもよい。また、特定された顔器官などに基づいて、悪影響を与える領域を特定してもよい。例えば、検出された顔が左向きの場合、左目を含んでいる特徴部ではなく、該顔の左半分の全体もしくは一部を含んでいる特徴部から算出された部分スコアを補正するなどでもよい。

なお、本実施形態では、全ての特徴部の照明状態が悪い場合や、顔の向き、顔器官の形状、顔の照明状態の全てについて補正した場合に、その顔を推定対象から除外しているが、顔の向き、顔器官の形状、顔の照明状態、もしくは他の状態のうち２つ以上の状態について補正した場合であってもよい。このように、属性推定に悪影響を与える状態が重なった場合に、その顔画像を用いての属性推定を禁止したことで、信頼性の低い推定結果が出力されることを防ぐことができる。また、このような場合（顔から属性が判断できない場合）は顔以外の部分から属性を推定してもよい。例えば、服装、シルエット、身長と歩幅などの情報から属性を推定してもよい。

なお、本実施形態では、補正回数をカウントすることによって、その顔から属性推定ができるか否かを判断しているが、補正回数ではなく、補正をする前に顔の状態のみを判定し、補正を必要とする回数をカウントすることによって属性推定ができるか否かを判断してもよい。

図１は、人物属性推定装置の機能構成を示すブロック図である。 図２は、人物属性推定装置の処理の流れを示すフローチャートである。 図３は、ステップＳ１６の処理の流れを示すフローチャートである。 図４は、ステップＳ１７の処理の流れを示すフローチャートである。 図５は、ステップＳ１８の処理の流れを示すフローチャートである。 図６は、顔検出部１３で検出された顔とその特徴部の一例を示す図である。 図７は、補正前のスコアと補正後のスコアの一例を示す図である。

符号の説明

１１ 撮像部
１２ 画像記憶部
１３ 顔検出部
１４ 特徴量抽出部
１５ 顔状態判定部
１６ 参照特徴量記憶部
１７ スコア算出部
１８ スコア補正部
１９ 属性推定部
２０ 結果記憶部
２１ 表示部
３１ 顔
３２ａ〜３２ｄ 特徴部

Claims (9)

1. 画像から人物の属性を推定する人物属性推定装置であって、
   前記画像中の顔の状態を判定する顔状態判定手段と、
   予め定められた複数の年齢層の夫々について、前記顔がその年齢層に該当する確率を表すスコアを算出するスコア算出手段と、
   前記顔の状態に基づいて前記画像中の属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分の影響が小さくなるように、前記スコアを補正するスコア補正手段と、
   年齢層ごとの補正後スコアのうち、最も高い確率を表す補正後スコアに対応する年齢層を該人物の属性とみなす属性推定手段と、
   を備える
   人物属性推定装置。
2. 前記スコアは、前記画像中の複数の部分から夫々算出された複数の部分スコアを統合することによって得られる統合スコアである
   請求項１に記載の人物属性推定装置。
3. 前記スコア補正手段は、前記顔の状態に基づいて属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分に対応する部分スコアを除外することで前記統合スコアを補正する
   請求項２に記載の人物属性推定装置。
4. 前記スコア補正手段は、前記顔の状態に基づいて属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分に対応する部分スコアの値を変えることで前記統合スコアを補正する
   請求項２に記載の人物属性推定装置。
5. 前記スコアは、前記部分スコアごとに重み付けされた統合スコアであり、
   前記スコア補正手段は、前記顔の状態に基づいて属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分に対応する部分スコアの重みを他の部分スコアの
   重みよりも相対的に小さくすることで前記統合スコアを補正する
   請求項２に記載の人物属性推定装置。
6. 前記顔の状態は、顔の向き、顔器官の形状、及び、顔の照明状態のうち１つ以上を含む請求項１〜請求項５のいずれかに記載の人物属性推定装置。
7. 前記画像中の顔の向き、顔器官の形状、及び、顔の照明状態のうち２つ以上の状態が属性推定に悪影響を与えるものであった場合に、前記属性推定手段による属性推定を禁止する
   請求項６に記載の人物属性推定装置。
8. 画像から人物の属性を推定するコンピュータが、
   前記画像中の顔の状態を判定し、
   予め定められた複数の年齢層の夫々について、前記顔がその年齢層に該当する確率を表すスコアを算出し、
   前記顔の状態に基づいて前記画像中の属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分の影響が小さくなるように、前記スコアを補正し、
   年齢層ごとの補正後スコアのうち、最も高い確率を表す補正後スコアに対応する年齢層を該人物の属性とみなす
   人物属性推定方法。
9. 画像から人物の属性を推定するコンピュータに、
   前記画像中の顔の状態を判定するステップと、
   予め定められた複数の年齢層の夫々について、前記顔がその年齢層に該当する確率を表すスコアを算出するステップと、
   前記顔の状態に基づいて前記画像中の属性推定に悪影響を与える部分を特定し、前記属性推定に悪影響を与える部分の影響が小さくなるように、前記スコアを補正するステップと、
   年齢層ごとの補正後スコアのうち、最も高い確率を表す補正後スコアに対応する年齢層を該人物の属性とみなすステップと、
   を実行させるための人物属性推定プログラム。

Images