JP2016081212A - 画像認識装置、画像認識方法、および、画像認識プログラム - Google Patents

Abstract

【課題】システム構築にかかるコスト、および、識別時の処理負荷を増大させることなく、遮蔽領域を含む顔画像の認識精度をより向上させる技術を提供すること。
【解決手段】顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、顔画像における顔の遮蔽パターンを判定する判定部１１と、判定部１１によって判定された遮蔽パターンに基づく領域を除外して、顔画像の識別を行う識別部１２とを備える。
【選択図】 図１

Description

本発明は、遮蔽領域を含む顔画像を識別する技術に関する。

顔画像を識別する画像認識装置が良く知られている。このような画像認識装置では、入力された顔画像または登録されている顔画像において顔の一部が眼鏡やサングラス、マスクなどの装着物によって遮蔽されている場合、認識精度が低下する。

このような問題に関連する技術の１つが、特許文献１に記載されている。特許文献１に記載の関連技術は、入力画像における複数の各小領域と、各小領域に対応する位置にある登録画像の各小領域との間で、パターン間距離値を算出する。そして、この関連技術は、パターン間距離値のうち小さい順に所定数だけを用いて算出した統合距離値に基づいて、入力画像を識別する。この関連技術では、入力画像および登録画像間でパターン間距離値が大きい小領域は識別に寄与しない。このため、この関連技術は、遮蔽によって入力画像および登録画像が大きく異なる小領域については、その小領域を避けて照合することができる。

また、このような問題に関連する他の技術が、特許文献２に記載されている。特許文献２に記載の関連技術は、利用者ごとに、装着物（眼鏡など）の装着状態が異なる複数の顔情報をあらかじめ登録しておく。そして、この関連技術は、複数の顔情報のうち、入力顔画像と類似する候補顔情報を特定する。さらに、この関連技術は、候補顔情報に対応する利用者について登録された複数の顔情報のうち、候補顔情報とは装着状態が異なる別種顔情報を特定する。そして、この関連技術は、装着物の装着領域以外の領域において、入力顔画像および別種顔情報が類似する場合に、入力顔画像が、候補顔情報に対応する利用者を表すと判定する。このように、この関連技術は、入力顔画像における装着物の装着状態がどちらの場合であっても、照合を行うことができる。

また、このような問題に関連する他の技術が、特許文献３に記載されている。特許文献３に記載の関連技術は、顔画像について装着物ありと判定した場合、装着物領域を回避した領域から第1特徴量を抽出する。そして、この関連技術は、第１特徴量とともに、装着物ありの顔画像を登録しておく。また、この関連技術は、顔画像について装着物なしと判定した場合、第1特徴量に加えて、想定される装着物領域を含む領域から第２特徴量を抽出する。そして、この関連技術は、第１特徴量および第２特徴量とともに、装着物なしの顔画像を登録しておく。また、この関連技術は、入力顔画像から第１特徴量または第２特徴量を抽出し、登録画像の第１特徴量または第２特徴量との照合を行う。このように、この関連技術は、登録顔画像に装着物があり入力顔画像に装着物がない場合や、登録顔画像に装着物がなく入力顔画像に装着物がある場合も、照合を行うことができる。

また、このような問題に関連する他の関連技術が、特許文献４に記載されている。特許文献４に記載の関連技術は、入力顔画像および基準顔画像を、特徴点を頂点とする複数の小領域に分割し、対応する小領域ごとに比較する。そして、この関連技術は、比較結果に基づいて、入力顔画像の小領域ごとに、遮蔽領域であるか否かを判定する。

また、このような問題に関連する他の関連技術が、特許文献５に記載されている。特許文献５に記載の関連技術は、入力顔画像の部分的な遮蔽領域を、事前に学習させた連想記憶回路によって補完する。そして、この関連技術は、補完された想起画像を利用して照合を行う。このように、この関連技術は、全ての画像を遮蔽領域の無い画像として照合を行う。

特許第４８０３２１４号 特開２０１４−１１５７８４号公報 特開２００７−２８０２５０号公報 特開２０１１−６００３８号公報 特開２００７−１４８８７２号公報

しかしながら、上述の関連技術には、以下の課題がある。

特許文献１に記載の関連技術では、入力画像および登録画像のそれぞれ表す顔の人物が異なる場合であっても、各画像における遮蔽領域の配置や内容が類似する場合がある。このような場合、この関連技術は、パターン間距離値が小さい遮蔽領域を照合に用いてしまう。そのため、この関連技術は、実際には異なる人物を示す入力画像および登録画像を、同一人物を示すと判定してしまう場合がある。

また、特許文献２に記載の関連技術では、利用者ごとに、装着状態の異なる複数の顔画像を登録する必要がある。しかしながら、どのような利用者も、そのような複数の顔画像を登録可能であるとは限らない。また、想定される装着物の種類が増えると、利用者は、装着物ごとに装着状態の異なる顔画像を登録しなければならない。これは、利便性の面での問題を生じる。

また、特許文献３に記載の関連技術では、想定される装着物の種類が増えると、各装着物について、想定される装着物領域を回避した第１特徴量を抽出する必要が生じる。したがって、この関連技術は、想定される装着物の種類数だけ異なるパターンの第１特徴量を抽出しなければならず、処理負荷が増加する。なお、想定される全ての装着物の装着物領域を避けた領域から第１特徴量を抽出すれば、想定される装着物の種類が増加しても、第１特徴量のパターン数は増加しない。しかしながら、この場合、想定される装着物の種類の増加に伴い、顔を表す領域のうちで照合に用いることができる領域が減少してしまう。その結果、認識精度が低下する。また、想定される装着物の種類の増加に応じて、装着物の有無を判定する機能の事前学習にかかるコストも増大する。

また、特許文献４に記載の関連技術は、入力画像の小領域ごとに、基準顔画像の小領域との輝度の差分に基づき遮蔽領域であるかないかを判定している。しかし、照明変動の影響により、小領域によっては、遮蔽領域でなくても基準顔画像との輝度の差分が大きい場合がある。この場合、この関連技術は、遮蔽領域でない小領域を遮蔽領域であると判定してしまう。また、入力顔画像の小領域がテクスチャの少ない遮蔽物によって遮蔽されており、対応する基準顔画像の小領域におけるテクスチャがもともと少ないことがある。このとき、そのような小領域間では、輝度の差分が少なくなる場合がある。この場合、この関連技術は、遮蔽領域である小領域を遮蔽領域でないと判定してしまう。例えば、白いマスクをした人物のマスクの一部と基準顔の肌との輝度の差分は少ない可能性がある。この場合、この関連技術は、マスクで遮蔽されている領域を遮蔽領域でないと判定してしまう。このように、この関連技術は、小領域ごとの遮蔽領域の判定精度に問題がある。

また、特許文献５に記載の関連技術は、登録画像に遮蔽領域がある場合に対応できない。これは、部分的な遮蔽領域を補完する想起画像生成のための学習には、遮蔽領域のない登録画像が必要となるからである。また、この関連技術は、登録画像の表す人物以外の人物を表す入力顔画像が入力された場合、登録画像の表す人物に近い想起画像を生成してしまう。そのため、この関連技術は、そのような入力顔画像について、実際には異なる人物を示す登録顔画像と同一人物を示すと判定してしまう可能性がある。

本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、システム構築にかかるコストおよび識別時の処理負荷を増大させることなく、遮蔽領域を含む画像の認識精度をより向上させる技術を提供することを目的とする。

本発明の画像認識装置は、顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定部と、前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別部と、を備える。

また、本発明の画像認識方法は、顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定し、前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う。

また、本発明の画像認識プログラムは、顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定ステップと、前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別ステップと、をコンピュータ装置に実行させる。

本発明は、システム構築にかかるコストおよび識別時の処理負荷を増大させることなく、遮蔽領域を含む画像の認識精度をより向上させる技術を提供することができる。

本発明の第１の実施の形態としての画像認識装置の機能ブロック図である。 本発明の第１の実施の形態としての画像認識装置のハードウェア構成の一例を示す図である。 本発明の第１の実施の形態としての画像認識装置の動作を説明するフローチャートである。 本発明の第２の実施の形態としての画像認識装置の機能ブロック図である。 本発明の第２の実施の形態において顔画像が分割された小領域の一例を模式的に示す図である。 本発明の第２の実施の形態において顔画像が分割された小領域の他の一例を模式的に示す図である。 本発明の第２の実施の形態において顔画像が分割された小領域の他の一例を模式的に示す図である。 本発明の第２の実施の形態において顔画像が分割された小領域の他の一例を模式的に示す図である。 本発明の第２の実施の形態としての画像認識装置の動作を説明するフローチャートである。 本発明の第３の実施の形態としての画像認識装置の機能ブロック図である。 本発明の第３の実施の形態としての画像認識装置の動作を説明するフローチャートである。 本発明の第４の実施の形態としての画像認識装置の機能ブロック図である。 本発明の第４の実施の形態としての画像認識装置の動作を説明するフローチャートである。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
本発明の第１の実施の形態としての画像認識装置１の構成を図１に示す。図１において、画像認識装置１は、判定部１１と、識別部１２とを含む。

ここで、画像認識装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１００１と、ＲＡＭ（Random Access Memory）１００２と、ＲＯＭ（Read Only Memory）１００３と、ハードディスク等の記憶装置１００４と、撮像装置１００５と、出力装置１００６とを含むコンピュータ装置によって構成可能である。ＲＯＭ１００３および記憶装置１００４は、コンピュータ装置を本実施の形態の画像認識装置１として機能させるためのコンピュータ・プログラムおよび各種データを記憶している。撮像装置１００５は、人物の顔を撮像することにより顔を表す画像を生成するカメラやビデオカメラ等の装置である。出力装置１００６は、情報を出力するディスプレイ等の装置である。ＣＰＵ１００１は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行することにより、コンピュータ装置の各部を制御する。

この場合、判定部１１は、撮像装置１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、識別部１２は、出力装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。なお、画像認識装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。

次に、画像認識装置１の各機能ブロックについて説明する。

判定部１１は、顔画像および標準顔画像を比較することにより、顔画像における顔の遮蔽パターンを判定する。ここで、顔画像は、顔を表す画像である。例えば、判定部１１は、顔画像を、撮像装置１００５を介して取得する。また、標準顔画像は、標準的な顔を表す画像である。なお、標準顔画像は、あらかじめ定められており、例えば、記憶装置１００４に記憶されているものとする。また、顔画像および標準顔画像は、該当する画像から顔を表す領域が切り出された画像であるものとする。また、本実施の形態では、顔画像および標準顔画像は、サイズや顔の向きなどが略同一であることを前提とする。

また、遮蔽パターンとは、顔に対してどのような遮蔽物によりどの領域に遮蔽が発生しているかを表す情報である。具体的には、遮蔽パターンは、マスクで口が隠れている、サングラスで目が隠れている、といった情報であってもよい。例えば、判定部１１は、顔画像および標準顔画像を比較することにより、顔が遮蔽物により遮蔽されている遮蔽領域を推定し、推定した遮蔽領域の分布を考慮して、遮蔽パターンを判定してもよい。

識別部１２は、顔画像中の遮蔽パターンに基づく領域を除外して、顔画像の識別を行う。除外領域は、想定される遮蔽パターンに応じてあらかじめ定められているものとする。なお、除外領域は、判定部２１によって遮蔽パターンを判定する過程で推定された遮蔽領域と必ずしも一致していなくてもよい。また、顔画像の識別技術については、公知の技術を採用可能である。そして、識別部１２は、識別結果を、出力装置１００６に出力する。

以上のように構成された画像認識装置１の動作について、図３を参照して説明する。

まず、判定部１１は、入力された顔画像（入力顔画像）および標準顔画像を比較する（ステップＳ１）。

次に、判定部１１は、ステップＳ１の比較結果に基づいて、入力顔画像における遮蔽パターンを判定する（ステップＳ２）。

次に、識別部１２は、入力顔画像中で、ステップＳ２で判定された遮蔽パターンに基づく領域を除外して、入力顔画像の識別を行う。そして、識別部１２は、識別結果を出力する（ステップＳ３）。

以上で、画像認識装置１は動作を終了する。

次に、本発明の第１の実施の形態の効果について述べる。

本発明の第１の実施の形態としての画像認識装置は、システム構築にかかるコストおよび識別処理の負荷を増大させることなく、遮蔽領域を含む画像の認識精度をより向上させることができる。

その理由は、判定部が、顔画像および標準顔画像を比較することにより、顔画像の遮蔽パターンを判定し、識別部が、顔画像中の遮蔽パターンに基づく領域を除外して、顔画像の識別を行うからである。

このように、本実施の形態は、顔画像を標準顔画像と比較して、顔画像における遮蔽領域の分布を考慮して遮蔽パターンを判定する。また、本実施の形態は、標準顔画像との比較により遮蔽されていると推定した遮蔽領域そのものを除外するのではなく、遮蔽領域の分布を考慮して判定した遮蔽パターンに対して定めておいた領域を除外して識別を行う。これにより、本実施の形態は、遮蔽領域の判定エラーに頑健な遮蔽検出を実現する。また、本実施の形態は、遮蔽領域の判定エラーに伴う認証精度の低下を防ぐことができ、顔画像の認識精度を向上させることができる。

また、本実施の形態は、遮蔽物の種類ごとに遮蔽物の有無を判定する機能の事前学習を必要としない。また、本実施の形態は、利用者毎の遮蔽有無に対応する複数画像の事前登録を必要としない。また、本実施の形態は、遮蔽物の種類数分の特徴量の抽出を必要としない。そして、本実施の形態は、標準顔画像をあらかじめ用意しておき、想定される遮蔽パターンに応じて除外する領域を定めておけばよく、システム構築のコストおよび識別処理の負荷を増大させることがない。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。

まず、本発明の第２の実施の形態としての画像認識装置２の構成を図４に示す。図４において、画像認識装置２は、本発明の第１の実施の形態としての画像認識装置１に対して、判定部１１に替えて判定部２１と、識別部１２に替えて識別部２２とを備え、さらに、分割部２３と、信頼度算出部２４とを有する。

ここで、画像認識装置２は、図２を参照して説明した本発明の第１の実施の形態の画像認識装置１と同様のハードウェア要素によって構成可能である。この場合、分割部２３は、撮像装置１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、信頼度算出部２４は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。なお、画像認識装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。

次に、画像認識装置２の各機能ブロックについて説明する。

分割部２３は、顔画像を小領域（パッチともいう）に分割する。なお、分割部２３は、撮像装置１００５を介して顔画像を取得してもよい。例えば、分割部２３は、顔画像を、同一形状の小領域に分割してもよい。また、分割部２３は、顔画像を、ある小領域の形状が他の少なくとも一部と異なるように分割してもよい。また、分割された各小領域は、他の小領域と重なり合う部分があってもよい。なお、分割部２３は、顔画像を、標準顔画像と同様の配置および形状の小領域に分割することが望ましい。例えば、分割部２３は、あらかじめ標準顔画像を小領域に分割しておき、入力された顔画像を同様の小領域に分割すればよい。あるいは、分割部２３は、小領域にあらかじめ分割された標準顔画像の情報を取得し、取得した小領域と同様の小領域に顔画像を分割してもよい。

なお、分割部２３は、顔画像を分割する前に、顔画像を正規化する処理を行ってもよい。これは、画像認識装置２に入力される顔画像が、正規化されていない場合に対応するためである。具体的には、分割部２３は、顔画像中の顔を正規化した顔画像を生成する。なお、ここでいう正規化とは、顔の角度、大きさ等が、所定の角度や大きさになるよう変形処理することをいうものとする。例えば、分割部２３は、入力顔画像中の目や口などの特徴点を検出し、その特徴点が所定の位置にくるよう幾何変換をすればよい。また、分割部２３は、画像認識装置２に入力される画像が顔より広い範囲を表す画像であった場合、該当する画像から顔画像を切り出してから、正規化を行ってもよい。例えば、分割部２３は、顔画像の正規化処理に、特許４６５３６０６号の手法を採用してもよい。なお、分割部２３は、その他の手法を用いて入力顔画像を正規化してもよい。

具体例として、例えば、分割部２３は、正規化した顔画像を、図５に示すように、格子状の等サイズの矩形の小領域に分割してもよい。あるいは、図６に示すように、一部または全部の小領域が、他の小領域に重なるように分割されていても構わない。図６では、太線の実線の矩形が示す小領域は、破線の矩形が示す４つの小領域と重なっている。あるいは、分割部２３は、正規化した顔画像を、図７に示すように、ある小領域のサイズが他の少なくとも一部の小領域のサイズと異なるよう分割してもよい。あるいは、分割部２３は、正規化した顔画像を、図８に示すように、矩形以外の形状（例えば、三角形）の小領域に分割してもよい。分割部２３は、信頼度算出部２４および識別部２２の処理に支障のない範囲であれば、任意の形状やサイズの小領域に分割を行ってよい。

信頼度算出部２４は、顔画像を構成する小領域と、標準顔画像を構成する小領域とで、対応する小領域同士を比較する。そして、信頼度算出部２４は、顔画像の小領域毎に、比較結果に基づいて信頼度を算出する。信頼度は、その小領域が、遮蔽物により顔が隠されている遮蔽領域であるか否かの可能性を表す。なお、信頼度は、その小領域が遮蔽領域である可能性が高いほど小さく、低いほど大きい値であってもよい。逆に、信頼度は、その小領域が遮蔽領域である可能性が高いほど大きく、低いほど小さい値であってもよい。

また、標準顔画像は、あらかじめ記憶装置１００４に記憶されている。また、標準顔画像は、あらかじめ正規化されているものとする。例えば、標準顔画像は、遮蔽領域を含まない一般的な証明写真のような顔を表すものであってもよい。また、標準顔画像としては、より多くの顔画像と照合されやすい顔画像を採用するのが望ましい。例えば、標準顔画像としては、複数の人物の顔が平均化された平均顔を表す画像を利用してもよい。また、標準顔画像としては、ウルフ／ラム（複数の人物の顔との類似度が所定条件を満たすサンプル）を表す画像を利用してもよい。また、標準顔画像としては、複数の人物の顔と類似するよう人工的に作り出された物体（人工物）を表す画像を利用してもよい。また、標準顔画像は、あらかじめ小領域に分割されていてもよい。この場合、標準顔画像を構成する小領域は、分割部２３によって分割されたものであってもよい。

例えば、信頼度算出部２４は、対応する小領域間で、輝度値の差分の総和により信頼度を算出するようにしてもよい。ただし、輝度値を用いた信頼度は、照明変動の影響を受けやすい。そこで、信頼度算出部２４は、小領域毎に特徴量ベクトルを用いて信頼度を算出してもよい。特徴量ベクトルは、例えば、顔認証でよく用いられるＧａｂｏｒフィルタやＬＢＰ（Local Binary Pattern）のような特徴抽出処理によって得られる情報であってもよい。あるいは、特徴量ベクトルは、顔検出でよく用いられるＨａａｒ−ｌｉｋｅフィルタのような特徴抽出処理によって得られる情報であってもよい。そして、この場合、信頼度算出部２４は、対応する小領域同士で、特徴量ベクトル間の距離または相関に基づき信頼度を算出可能である。このような特徴量ベクトルに基づくことにより、信頼度算出部２４は、照明変動などの影響を低減した信頼度を算出できる。なお、特徴量ベクトル間の距離に基づく信頼度を算出した場合、信頼度は、値が大きいほど、遮蔽領域である可能性が高いことを表すことになる。また、特徴量ベクトル間の相関に基づく信頼度を算出した場合、信頼度は、値が小さいほど、遮蔽領域である可能性が高いことを表すことになる。例えば、信頼度算出部２４は、特徴量ベクトル間の正規化相関値を計算し、各小領域の信頼度としてもよい。この場合、信頼度が１に近いほど非遮蔽領域である可能性が高く、０に近いほど遮蔽領域である可能性が高いとみなせる。以下では、信頼度が、正規化相関値である例を中心に説明する。

判定部２１は、顔画像における小領域別の信頼度の分布に基づいて、遮蔽パターンを判定する。ここで、判定部２１は、所定範囲の小領域群をまとめた中領域に対して、中領域を構成する小領域群の信頼度の分布が遮蔽条件を満たすか否かを判定してもよい。そして、遮蔽条件を満たす場合、判定部２１は、その中領域が遮蔽領域であると推定してもよい。そして、判定部２１は、推定した遮蔽領域の分布に基づいて、遮蔽パターンを判定してもよい。

例えば、判定部２１は、中領域を構成する各小領域の信頼度が閾値より高いか低いかを判別してもよい。そして、判定部２１は、周囲の小領域の判別結果と異なる判別結果となった小領域の信頼度をノイズであるとみなしてもよい。具体的には、判定部２１は、中領域を構成する小領域群の信頼度が閾値よりも低くなる小領域がその小領域群の過半数以上であるという遮蔽条件を満たす場合に、その中領域を遮蔽領域であると推定してもよい。なお、遮蔽条件は、その他の条件であってもよい。そして、判定部２１は、遮蔽領域と推定された中領域の分布に基づいて、遮蔽パターンを判定してもよい。なお、中領域は、段階的に設定されていてもよい。例えば、判定部２１は、所定範囲の小領域群をまとめた中領域をさらに所定範囲でまとめて大領域とするような構成にしてもよい。このような場合、判定部２１は、大領域を構成する中領域のうち遮蔽領域であると推定されたものの分布が遮蔽条件を満たす場合に、大領域が遮蔽領域であると推定してもよい。そして、この場合、判定部２１は、遮蔽領域であると推定された大領域の分布に基づいて、遮蔽パターンを判定すればよい。また、小領域、中領域、大領域の３段階に限らず、小領域から大領域までがさらに多段に設計されていてもよい。

例えば、判定部２１は、顔画像中で鼻よりも上側の小領域群をまとめた顔上部領域を中領域に設定してもよい。この場合、判定部２１は、顔上部領域における小領域群の信頼度の分布が遮蔽条件を満たす場合に、サングラスによる遮蔽パターンであると判定してもよい。また、判定部２１は、鼻よりも下側の小領域群をまとめた顔下部領域を中領域に設定してもよい。この場合、判定部２１は、顔下部領域における小領域群の信頼度の分布が遮蔽条件を満たす場合に、マスクによる遮蔽パターンであると判定してもよい。その他、判定部２１は、想定される各種の遮蔽パターンに応じて中領域を設定しておけばよい。

ここで、小領域の信頼度の分布または遮蔽領域の分布に基づいて遮蔽パターンを判定することのメリットについて説明する。小領域毎に算出した信頼度は、撮影状況などにより結果が不安定になりやすい。そのため、仮に、小領域毎に、信頼度による遮蔽判定を行ったとすると、エラーが生じる可能性が高くなる。なお、ここでいうエラーとは、本来遮蔽領域である小領域を遮蔽領域でないと判定したり、本来遮蔽領域でない小領域を遮蔽領域であると判定することをいう。また、そのようなエラーを発生しうる信頼度は、ノイズであるといえる。仮に、このような小領域毎の遮蔽判定に基づき遮蔽領域以外を識別に用いるとすると、本来、識別の対象に適していない小領域（遮蔽領域）を遮蔽領域でないとして識別に利用する可能性がある。また、本来、識別の対象に適している小領域（遮蔽領域でない領域）を遮蔽領域であるとして識別に利用しない可能性がある。したがって、小領域毎の信頼度による遮蔽判定は、認証精度を低減してしまう。

一方、日常生活でよく起こり得る顔の遮蔽パターンとしては、マスクやサングラスが代表的である。これらの遮蔽パターンは、顔の１／３ないしは１／２程度の非常に大きい範囲を遮蔽するものである。このような遮蔽パターンの特性を考慮すると、信頼度にノイズがないと仮定すれば、閾値より高い（あるいは低い）信頼度の小領域群の中に、閾値より低い（あるいは高い）信頼度の小領域がわずかに存在する可能性は低い。したがって、周囲の小領域の信頼度と明らかに異なる信頼度が算出された場合には、その信頼度はノイズであると考えることができる。

そこで、前述のように、判定部２１は、このようなエラー（ノイズ）を考慮して、所定範囲の小領域群をまとめた中領域における信頼度の分布が遮蔽条件を満たすか否かに基づいて、中領域が遮蔽領域であるか否かを推定する。これにより、判定部２１は、小領域毎に信頼度のみを用いて遮蔽領域であるか否かを判定する場合と比べて、精度よく遮蔽領域を推定することができる。その結果、判定部２１は、精度よく遮蔽パターンを判定可能となる。

識別部２２は、入力された顔画像中で、遮蔽パターンに基づく除外領域以外において、小領域毎に識別を行う。除外領域は、本発明の第１の実施の形態と同様に、遮蔽パターンに応じてあらかじめ定められているものとする。例えば、マスクによる遮蔽パターンであれば、顔の下半分の領域を除外領域として定めておいてもよい。また、サングラスによる遮蔽パターンであれば、顔の上半分の領域を除外領域として定めておいてもよい。なお、除外領域は、判定部２１による遮蔽パターンの判定の過程で推定された遮蔽領域と必ずしも一致していなくてよい。

そして、識別部２２は、除外領域以外の小領域毎の識別結果に基づいて、顔画像の識別を行う。例えば、識別部２２は、顔画像中の遮蔽パターンに基づく除外領域以外において、小領域毎に識別スコアを算出してもよい。その場合、識別部２２は、算出した各小領域別の識別スコアを統合した統合スコアを算出し、統合スコアを、識別結果として出力してもよい。

具体的には、識別部２２は、入力された顔画像が分割された各小領域と、登録顔画像を構成する各小領域との間で、対応する小領域同士を照合することにより、識別スコアを算出してもよい。この場合、識別部２２は、入力顔画像中および登録画像中の各遮蔽パターンに基づくいずれの除外領域にも含まれない領域において、対応する小領域同士の比較を行う。そして、識別部２２は、各小領域間の比較結果に基づいて、除外領域以外の小領域毎に識別スコアを算出する。そして、識別部２２は、識別スコアを統合して統合スコアを算出し、識別結果として出力する。

ここで、登録顔画像は、あらかじめ記憶装置１００４に記憶されているものとする。また、記憶装置１００４には、登録顔画像とともに、その登録顔画像の遮蔽パターンを表す情報が記憶されていてもよい。また、記憶装置１００４には、登録顔画像とともに、登録顔画像を構成する小領域を表す情報が記憶されていてもよい。なお、登録顔画像の遮蔽パターンについては、登録顔画像が登録される際に判定部２１によって判定された情報であってもよい。また、登録顔画像を構成する小領域については、登録顔画像が登録される際に分割部２３によって分割された情報であってもよい。

また、識別部２２は、対応する小領域間の識別スコアとして、特徴量ベクトル間の距離ないし相関に基づく値を用いてもよい。この場合、各小領域の特徴量ベクトルは、例えば、ＧａｂｏｒフィルまたはＬＢＰのような特徴抽出処理によって得られる情報であってもよい。ただし、識別部２２は、登録顔画像との識別処理に、標準顔画像との信頼度算出時に用いられた特徴量ベクトルよりも識別能力が高い特徴量ベクトルを利用するのが望ましい。例えば、識別部２２は、学習データから抽出した特徴量ベクトルに対して線形判別分析(Linear Discriminant Analysis)を行うことにより、低次元への変換行列を学習しておいてもよい。この場合、学習データは、人物ごとに正しくラベル付けされた顔画像であってもよい。そのような学習データは、登録顔画像であってもよい。例えば、画像認識装置２の利用者が全員特定可能なケース（例えば、入退場管理に用いられるケース）では、学習データとして、システム利用者全員の登録顔画像を用いることが望ましい。あるいは、学習データは、登録顔画像に限らず、その他のラベル付けされた顔画像であってもよい。例えば、画像認識装置２が不特定多数の人物の認証に用いられるケース（例えば、不審者検出に用いられるケース）であれば、学習データとしては、システム利用者か否かにかかわらず、ラベル付された多数の人物の顔画像を用いることが望ましい。そして、識別部２２は、入力顔画像および登録顔画像の小領域毎の特徴量ベクトルに対して、前述の変換行列を作用させることにより、識別能力を高めた低次元特徴量ベクトルを生成すればよい。

以上のように構成された画像認識装置２の動作について、図９を参照して説明する。なお、記憶装置１００４には、標準顔画像および登録顔画像があらかじめ記憶されているものとする。また、標準顔画像は、あらかじめ小領域に分割されているものとする。また、登録顔画像も、あらかじめ小領域に分割されているものとする。また、登録顔画像は、遮蔽パターンを表す情報とともに記憶されているものとする。

図９において、まず、分割部２３は、入力された顔画像（入力顔画像）を正規化する（ステップＳ２１）。

次に、分割部２３は、ステップＳ２１で正規化した入力顔画像を小領域に分割する（ステップＳ２２）。

次に、信頼度算出部２４は、ステップＳ２２で分割された顔画像の各小領域と、標準顔画像の各小領域との間で、対応する小領域同士を比較する。これにより、信頼度算出部２４は、各小領域の信頼度を算出する（ステップＳ２３）。

次に、判定部２１は、中領域を構成する小領域群について信頼度の分布が遮蔽条件を満たすか否かに基づいて、入力顔画像の遮蔽パターンを判定する（ステップＳ２４）。

具体的には、前述のように、判定部２１は、顔の上半分または下半分を表す中領域の信頼度の分布が遮蔽条件を満たせば、その中領域が遮蔽領域であると推定する。一方、判定部２１は、顔の上半分または下半分を表す中領域の信頼度の分布が遮蔽条件を満たさなければ、その中領域が遮蔽領域でないと推定する。そして、そのような中領域が遮蔽領域であると推定した場合、判定部２１は、設定した中領域に対応する遮蔽パターンを判定すればよい。例えば、判定部２１は、上半分領域が遮蔽領域であると推定した場合、サングラスによる遮蔽パターンであると判定する。また、判定部２１は、下半分領域が遮蔽領域であると推定した場合、マスクによる遮蔽パターンであると判定する。

次に、識別部２２は、入力顔画像が分割された各小領域と、登録顔画像を構成する各小領域との間で、対応する小領域同士を照合する。これにより、識別部２２は、各小領域間の識別スコアを算出する（ステップＳ２５）。

前述のように、識別部２２は、識別スコアを、特徴量ベクトルまたは低次元特徴量ベクトル間の距離ないしは相関から算出すればよい。

次に、識別部２２は、ステップＳ２４で判定した遮蔽パターンに基づく領域を除外して、ステップＳ２５で算出した各小領域間の識別スコアを統合した統合スコアを算出する（ステップＳ２６）。

ここでは、識別部２２は、入力顔画像および登録顔画像間で、対応する小領域の一方または両方が、各画像の遮蔽パターンに基づく除外領域に含まれる場合、その小領域間の識別スコアを統合に用いない。そして、識別部２２は、対応する小領域の両方が、各画像の遮蔽パターンに基づく除外領域に含まれない場合、その小領域間の識別スコアを統合に用いる。

例えば、識別部２２は、該当する小領域の識別スコアの平均値を統合スコアとしてもよい。もし、入力顔画像および登録顔画像の双方について、いずれの遮蔽パターンも判定されていない場合、識別部２２は、すべての小領域の識別スコアの平均値を統合スコアとする。例えば、入力顔画像および登録顔画像の一方または両方でマスクの遮蔽パターンが判定されている場合、識別部２２は、顔の下半分を除外領域として、上半分の小領域の識別スコアについて、その平均値を統合スコアとしてもよい。また、例えば、識別部２２は、対象となる各小領域の識別スコアに各小領域の信頼度を乗じた上で平均をとり、重み付き平均値を統合スコアとしてもよい。

以上で、画像認識装置２は、動作を終了する。

次に、本発明の第２の実施の形態の効果について述べる。

本発明の第２の実施の形態としての画像認識装置は、システム構築にかかるコストおよび識別処理の負荷を増大させることなく、遮蔽領域を含む顔画像の認識精度をさらに向上させることができる。

その理由は、分割部が、顔画像を小領域に分割し、信頼度算出部が、顔画像および標準顔画像間で、対応する小領域同士を比較することにより小領域毎の信頼度を算出するからである。そして、判定部が、小領域毎の信頼度の分布に基づいて、顔画像の遮蔽領域を推定し、遮蔽領域の分布に基づいて遮蔽パターンを判定するからである。そして、識別部が、顔画像中の遮蔽パターンに基づき定められた領域を除外して、小領域毎に識別を行い、各識別結果に基づいて、顔画像全体の識別を行うからである。

このように、本実施の形態は、顔画像を構成する個々の小領域についてその信頼度のみで遮蔽領域であるか否かを判定するのではなく、より広い範囲の信頼度の分布に基づいて、遮蔽領域を推定する。その結果、本実施の形態は、小領域毎の遮蔽判定のエラーの影響を少なくすることができ、より正確な遮蔽領域を推定することができる。そして、本実施の形態は、推定した遮蔽領域の分布に基づいて遮蔽パターンを判定するので、遮蔽判定のエラーの影響をさらに少なくして、より高精度に遮蔽パターンを判定できる。そして、本実施の形態は、遮蔽領域として推定した領域をそのまま除外するのではなく、判定した遮蔽パターンに応じて定められた領域を除外して識別を行う。このため、本実施の形態は、遮蔽判定エラーに対してさらに頑健である。そして、本実施の形態は、そのような領域を除外して、小領域毎の識別結果に基づいて、顔画像の識別を行う。これにより、本実施の形態は、遮蔽領域の判定エラーに頑健な遮蔽検出を実現し、顔画像の認識精度を向上させることができる。

さらには、本実施の形態は、標準顔１枚との比較で遮蔽領域および遮蔽パターンの判定を行うため、既存の技術では遮蔽領域や遮蔽パターンの判定のために必要であった大量の学習データを必要としない。その結果、本実施の形態は、システム構築のコストを大幅に低減することができる。

なお、本実施の形態において、登録画像は、その遮蔽パターンおよび分割された小領域の情報とともにあらかじめ記憶装置に記憶されている例を中心に説明した。これに限らず、本実施の形態は、入力顔画像の識別時に、登録画像についても分割および遮蔽パターンの判定を行ってもよい。

（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。

まず、本発明の第３の実施の形態としての画像認識装置３の構成を図１０に示す。図１０において、画像認識装置３は、本発明の第２の実施の形態としての画像認識装置２と同一の構成に加えて、全体識別部３５と、切替部３６とを有する。

ここで、画像認識装置３は、図２を参照して説明した本発明の第１の実施の形態の画像認識装置１と同様のハードウェア要素によって構成可能である。この場合、全体識別部３５は、出力装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、切替部３６は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。なお、画像認識装置３およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。

次に、画像認識装置３の各機能ブロックについて説明する。

全体識別部３５は、顔画像における顔の全域を表す情報を用いて、顔画像の識別を行う。具体的には、例えば、全体識別部３５は、顔の全域から特徴抽出を行って特徴量ベクトルを求める。また、全体識別部３５は、登録顔画像からも、顔の全域についての特徴量ベクトルを求める。そして、全体識別部３５は、入力顔画像の顔全域の特徴量ベクトルおよび登録顔画像の顔全域の特徴量ベクトルに基づいて、全体識別スコアを算出してもよい。この場合、全体識別部３５は、全体識別スコアを、識別結果として出力する。

切替部３６は、判定部２１による遮蔽パターンの判定結果に基づいて、入力された顔画像の識別に、識別部２２を用いるか全体識別部３５を用いるかを切り替える。

以上のように構成された画像認識装置３の動作を、図１１を用いて説明する。なお、以下では、登録顔画像は、遮蔽パターンおよび小領域を表す情報とともに記憶装置１００４に記憶されているものとする。

図１１において、まず、画像認識装置３は、ステップＳ２１〜Ｓ２４まで、本発明の第２の実施の形態としての画像認識装置２と同様に動作して、入力顔画像の遮蔽パターンを判定する。

次に、切替部３６は、判定された遮蔽パターンに基づいて後続の処理を切り替える。具体的には、切替部３６は、入力顔画像および登録顔画像の少なくともいずれかに、種類は問わず遮蔽パターンがあると判定されているか否かを判断する（ステップＳ３１）。

ここで、少なくともいずれかに遮蔽パターンがあると判定されている場合、切替部３６は、識別部２２を制御して、本発明の第２の実施の形態と同様にステップＳ２５〜Ｓ２６を実行させる。

一方、入力顔画像および登録顔画像のいずれにも遮蔽パターンがないと判定されている場合、切替部３６は、全体識別部３５を制御して、以下のステップＳ３２を実行させる。

ここでは、全体識別部３５は、入力顔画像の顔の全域の情報と、登録顔画像の顔の全域の情報とを用いて識別を行う。具体的には、全体識別部３５は、入力顔画像の顔全域から求めた特徴量ベクトルと、登録顔画像の顔全域から求めた特徴量ベクトルとを用いて、全体識別スコアを算出する（ステップＳ３２）。

例えば、全体識別部３５は、ＧａｂｏｒフィルタやＬＢＰのような特徴抽出処理によって、各画像の顔全域からの特徴量ベクトルを求めればよい。そして、全体識別部３５は、入力顔画像および登録顔画像それぞれの顔全域の特徴量ベクトルおよび間の距離または相関から、全体識別スコアを算出すればよい。

以上で、画像認識装置３は、動作を終了する。

次に、本発明の第３の実施の形態の効果について述べる。

本発明の第３の実施の形態としての画像認識装置は、本発明の第２の実施の形態と同様の効果に加えて、さらに、遮蔽領域がない場合に顔画像の認証精度を低下させないようにすることができる。

その理由は、切替部が、入力顔画像または登録顔画像のいずれにも遮蔽パターンがない場合には、小領域毎の識別結果を用いずに、顔全域の情報を用いて識別を行うよう処理を切り替えるからである。また、切替部が、入力顔画像または登録顔画像の少なくともいずかに遮蔽パターンがある場合には、小領域毎の識別結果を用いて識別を行うよう処理を切り替えるからである。

ここで、遮蔽パターンがなく領域を除外する必要がない場合には、顔全域の情報を用いた識別結果のほうが、小領域毎の識別結果の統合より精度がよい傾向がある。したがって、本実施の形態は、両画像の少なくとも一方に遮蔽パターンがある場合の高い認証精度を維持しつつ、両画像ともに遮蔽パターンがない場合にも照合精度を低下させることがない。

なお、本実施の形態において、識別部および全体識別部は、特徴量ベクトル間の距離や相関に基づき識別スコアを算出する例について説明したが、識別部は、その他の技術を採用して識別を行ってもよい。

（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。

まず、本発明の第４の実施の形態としての画像認識装置４の構成を図１２に示す。図１２において、画像認識装置４は、本発明の第３の実施の形態としての画像認識装置３に対して、識別部２２に替えて識別部４２と、信頼度算出部２４に替えて信頼度算出部４４と、全体識別部３５に替えて全体識別部４５とを備え、さらに、特徴抽出部４７を備える点が異なる。

ここで、画像認識装置４は、図２を参照して説明した本発明の第１の実施の形態の画像認識装置１と同様のハードウェア要素によって構成可能である。この場合、特徴抽出部４７は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。なお、画像認識装置４およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。

特徴抽出部４７は、分割部２３により分割された顔画像の小領域毎に、特徴量ベクトルを抽出する。特徴量ベクトルの抽出には、前述の各種フィルタや技術を用いればよい。例えば、特徴抽出部４７は、Ｇａｂｏｒフィルタを使ったＧａｂｏｒ特徴量を抽出してもよい。具体的には、特徴抽出部４７は、入力顔画像について、分割部２３によって正規化・分割された小領域毎に特徴量ベクトルを算出し、記憶装置１００４に記憶しておく。また、特徴抽出部４７は、標準顔画像および登録顔画像についても、小領域毎にあらかじめ特徴量ベクトルを算出しておいてもよい。本実施の形態では、標準顔画像は、小領域毎の特徴量ベクトルとして記憶装置１００４に記憶されていればよく、顔画像自体のデータは記憶されていなくてもよい。同様に、登録顔画像は、小領域毎の特徴量ベクトルとして記憶装置１００４に記憶されていればよく、登録顔画像自体のデータは記憶されていなくてもよい。

信頼度算出部４４は、本発明の第２〜第３の実施の形態における信頼度算出部２４と略同様に構成される。すなわち、信頼度算出部４４は、入力顔画像および標準顔画像の間で、対応する小領域間ごとに特徴量ベクトルを用いて信頼度を算出する。ただし、信頼度算出部４４は、入力顔画像および標準顔画像について各小領域の特徴量ベクトルを、算出する代わりに記憶装置１００４から取得する点が、信頼度算出部２４と異なる。

識別部４２は、本発明の第２〜第３の実施の形態における識別部２２と略同様に構成される。すなわち、識別部４２は、入力顔画像および登録顔画像の間で、対応する小領域間ごとに特徴量ベクトルを用いて識別スコアを算出する。ただし、識別部４２は、入力顔画像および登録顔画像について各小領域の特徴量ベクトルを、算出する代わりに記憶装置１００４から取得する点が、識別部２２と異なる。また、識別部４２は、本発明の第２〜第３の実施の形態と同様に、事前に特徴量ベクトルを低次元へ変換する変換行列を学習しておいてもよい。その場合、識別部４２は、小領域毎の特徴量ベクトルを低次元に変換したものを用いて、識別スコアを算出する。例えば、識別部４２は、入力顔画像および登録顔画像について、対応する各小領域の低次元特徴量ベクトル間の正規化相関値を、識別スコアとして算出すればよい。そして、識別部４２は、入力顔画像および登録顔画像の遮蔽パターンに基づくいずれの領域も除外した上で、小領域毎の識別結果を統合して統合スコアを算出する。

全体識別部４５は、入力顔画像の連結特徴量ベクトルと、登録顔画像の連結特徴量ベクトルとに基づいて、全体識別スコアを算出する。ここで、連結特徴量ベクトルとは、各小領域の特徴量ベクトルを連結して生成される。例えば、３つの小領域についてｎ１行１列、ｎ２行１列、ｎ３行１列の特徴量ベクトルがそれぞれ抽出されているとする。ｎ１、ｎ２、ｎ３は、それぞれ正の整数である。これらは、全て同じ値であってもよいし、少なくとも一部が他と異なる値であってもよい。この場合、全体識別部４５は、各特徴量ベクトルを連結し、（ｎ１＋ｎ２＋ｎ３）行１列の連結特徴量ベクトルを生成可能である。つまり、連結特徴量ベクトルは、各小領域の特徴量ベクトルより次元数が増加している。なお、連結の順序は任意である。

また、全体識別部４５は、連結特徴量ベクトルについても、事前に、学習データに対する線形判別分析により、連結特徴量ベクトルを低次元の連結特徴量ベクトルへと変換する変換行列を学習しておいてもよい。この場合、全体識別部４５は、低次元連結特徴量ベクトル同士の正規化相関値を、全体識別スコアとして算出すればよい。

以上のように構成された画像認識装置４の動作について、図１３を参照して説明する。なお、以下では、標準顔画像の小領域毎の特徴量ベクトルが、記憶装置１００４に記憶されているものとする。また、登録顔画像の小領域毎の特徴量ベクトルが、あらかじめ判定部２１により判定された遮蔽パターンと共に、記憶装置１００４に記憶されているものとする。

図１３では、まず、分割部２３は、本発明の第２の実施の形態と同様にステップＳ２１〜Ｓ２２を実行し、入力顔画像を正規化・分割する。

次に、特徴抽出部４７は、入力顔画像の小領域毎に特徴量を抽出し、記憶装置１００４に記憶する（ステップＳ４１）。

次に、信頼度算出部４４は、ステップＳ４１で記憶装置１００４に記憶された入力顔画像の各小領域の特徴量ベクトルと、記憶装置１００４に記録されている標準顔画像の各小領域の特徴量ベクトルとで、対応する各小領域間の信頼度を算出する（ステップＳ４２）。

次に、判定部２１は、本発明の第２の実施の形態と同様にステップＳ２４を実行し、遮蔽パターンを判定する。

次に、切替部３６により入力顔画像および登録顔画像の一方または両方で遮蔽パターンありと判断された場合、識別部４２は、ステップＳ４３、Ｓ２６を実行する。

ここでは、識別部４２は、入力顔画像および登録顔画像について、記憶装置１００４に記憶されている小領域の特徴量ベクトルを用いて、対応する小領域間の識別スコアを算出する（ステップＳ４３）。

例えば、前述のように、識別部４２は、対応する各小領域の特徴量ベクトルを低次元に変換した低次元特徴量ベクトル間で、正規化相関値を識別スコアとして算出してもよい。そして、識別部４２は、本発明の第２の実施の形態と同様にステップＳ２６を実行し、統合スコアを算出する。

一方、切替部３６により入力顔画像および登録顔画像のどちらにも遮蔽パターンなしと判断された場合、全体識別部４５は、ステップＳ４４〜Ｓ４５を実行する。

ここでは、全体識別部４５は、入力顔画像および登録顔画像について、記憶装置１００４に記憶されている小領域の特徴量ベクトルを連結した連結特徴量ベクトルをそれぞれ生成する（ステップＳ４４）。

そして、全体識別部４５は、入力顔画像および登録顔画像について、連結特徴量ベクトル間の比較により、全体識別スコアを算出する（ステップＳ４５）。

例えば、前述のように、全体識別部４５は、連結特徴量ベクトルを低次元に変換してから、低次元連結特徴量ベクトル間の正規化相関値を、全体識別スコアとして算出してもよい。

以上で、画像認識装置４は、動作を終了する。

次に、本発明の第４の実施の形態の効果について述べる。

本発明の第４の実施の形態としての画像認識装置は、遮蔽領域を含む顔画像について高い認証精度を保ちながら、さらに処理を効率化し高速化を実現する。

その理由は、特徴抽出部が、入力顔画像、標準顔画像、および、登録顔画像を構成する各小領域について、特徴量ベクトルを抽出して記憶しておくからである。これにより、信頼度算出部、識別部、および、全体識別部は、既に抽出された特徴量ベクトルを共通で利用することができ、各処理を効率化・高速化できる。

なお、上述した本発明の第２から第４の各実施の形態において、識別部および全体識別部が、登録画像との照合により入力顔画像を識別する例を中心に説明した。これに限らず、各実施の形態の識別部および全体識別部は、登録画像を用いずに、入力顔画像の表す人物の性別推定、姿勢推定、表情認識等を行ってもよい。このように、各実施の形態は、遮蔽領域を含む顔画像について、登録画像を用いない各種識別処理を行う用途にも適用可能である。

また、上述した本発明の第２から第４の各実施の形態において、判定部、識別部、および、全体識別部が、特徴量ベクトル間の距離または相関を用いて遮蔽パターンの判定および入力顔画像の識別を行う例を中心に説明した。これに限らず、各実施の形態のこれらの機能ブロックは、その他の手法により領域間を比較して信頼度または識別スコアを算出してもよい。なお、その場合、本発明の第４の実施の形態の特徴抽出部は、該当する画像の小領域について、比較に用いる情報を算出して記憶しておけばよい。

また、上述した本発明の各実施の形態において、遮蔽パターンの一例としてマスクやサングラスによる遮蔽を説明したが、遮蔽パターンの種類を限定するものではない。

また、上述した本発明の各実施の形態において、入力顔画像、標準顔画像、登録顔画像とは、該当する画像に含まれる顔を表す領域の部分を指すものとする。これらの顔画像は、あらかじめ顔の領域が切り出されたものであってもよいし、処理時に切り出されたものであってもよい。

また、上述した本発明の各実施の形態において、画像認識装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。

また、上述した本発明の各実施の形態において、画像認識装置の機能ブロックは、複数の装置に分散されて実現されてもよい。

また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した画像認識装置の動作を、本発明の画像認識プログラムとしてコンピュータの記憶装置（記憶媒体）に格納しておいてもよい。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。

また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。

また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。

また、上述した各実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定部と、
前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別部と、
を備えた画像認識装置。
（付記２）
前記判定部は、前記顔画像を構成する各小領域と、前記標準顔画像において前記顔画像の各小領域に対応する小領域との比較に基づく信頼度の分布に基づいて、前記遮蔽パターンを判定することを特徴とする付記１に記載の画像認識装置。
（付記３）
前記判定部は、所定範囲の前記小領域群をまとめた中領域に対して、その中領域を構成する小領域群の信頼度の分布が所定の遮蔽条件を満たす場合に、その中領域に基づき遮蔽パターンを判定することを特徴とする付記２に記載の画像認識装置。
（付記４）
前記判定部は、前記顔画像中で鼻よりも上側の小領域群をまとめた顔上部領域を前記中領域として、該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、サングラスによる遮蔽パターンであると判定することを特徴とする付記３に記載の画像認識装置。
（付記５）
前記判定部は、前記顔画像中で鼻よりも下側の小領域群をまとめた顔下部領域を前記中領域として、該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、マスクによる遮蔽パターンであると判定することを特徴とする付記３または付記４に記載の画像認識装置。
（付記６）
前記顔画像を前記小領域に分割する分割部と、
前記顔画像および前記標準顔画像について、対応する前記小領域間を比較することにより前記信頼度を算出する信頼度算出部と、
をさらに備えることを特徴とする付記２から付記５のいずれか１つに記載の画像認識装置。
（付記７）
前記識別部は、前記顔画像中の前記遮蔽パターンに基づく領域以外における前記小領域毎に識別を行い、前記小領域毎の識別結果に基づいて、前記顔画像の識別を行うことを特徴とする付記２から付記６のいずれか１つに記載の画像認識装置。
（付記８）
前記顔画像について、顔全域の情報を用いて識別を行う全体識別部と、
前記判定部の判定結果に基づいて、前記識別部および前記全体識別部のいずれを用いるかを切り替える切替部と、
をさらに備えることを特徴とする付記１から付記７のいずれか１つに記載の画像認識装置。
（付記９）
前記標準顔画像として、複数の人物の顔が平均化された平均顔を表す顔画像を用いることを特徴とする付記１から付記８のいずれか１つに記載の画像認識装置。
（付記１０）
前記標準顔画像として、複数の人物の顔画像との類似度が所定条件を満たす顔画像を用いることを特徴とする付記１から付記８のいずれか１つに記載の画像認識装置。
（付記１１）
前記標準顔画像として、標準的な顔の人工物を表す顔画像を用いることを特徴とする付記１から付記８のいずれか１つに記載の画像認識装置。
（付記１２）
前記顔画像および前記標準顔画像として、特徴量ベクトルで表された情報を用いることを特徴とする付記１から付記１１のいずれか１つに記載の画像認識装置。
（付記１３）
顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定し、
前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う画像認識方法。
（付記１４）
顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定ステップと、
前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別ステップと、
をコンピュータ装置に実行させる画像認識プログラム。

１、２、３、４ 画像認識装置
１１、２１ 判定部
１２、２２、４２ 識別部
２３ 分割部
２４、４４ 信頼度算出部
３５、４５ 全体識別部
３６ 切替部
４７ 特徴抽出部
１００１ ＣＰＵ
１００２ ＲＡＭ
１００３ ＲＯＭ
１００４ 記憶装置
１００５ 撮像装置
１００６ 出力装置

Claims (10)

1. 顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定部と、
   前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別部と、
   を備えた画像認識装置。
2. 前記判定部は、前記顔画像を構成する各小領域と、前記標準顔画像において前記顔画像の各小領域に対応する小領域との比較に基づく信頼度の分布に基づいて、前記遮蔽パターンを判定することを特徴とする請求項１に記載の画像認識装置。
3. 前記判定部は、所定範囲の前記小領域群をまとめた中領域に対して、その中領域を構成する小領域群の信頼度の分布が所定の遮蔽条件を満たす場合に、その中領域に基づき遮蔽パターンを判定することを特徴とする請求項２に記載の画像認識装置。
4. 前記判定部は、前記顔画像中で鼻よりも上側の小領域群をまとめた顔上部領域を前記中領域として、該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、サングラスによる遮蔽パターンであると判定することを特徴とする請求項３に記載の画像認識装置。
5. 前記判定部は、前記顔画像中で鼻よりも下側の小領域群をまとめた顔下部領域を前記中領域として、該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、マスクによる遮蔽パターンであると判定することを特徴とする請求項３または請求項４に記載の画像認識装置。
6. 前記顔画像を前記小領域に分割する分割部と、
   前記顔画像および前記標準顔画像について、対応する前記小領域間を比較することにより前記信頼度を算出する信頼度算出部と、
   をさらに備えることを特徴とする請求項２から請求項５のいずれか１項に記載の画像認識装置。
7. 前記識別部は、前記顔画像中の前記遮蔽パターンに基づく領域以外における前記小領域毎に識別を行い、前記小領域毎の識別結果に基づいて、前記顔画像の識別を行うことを特徴とする請求項２から請求項６のいずれか１項に記載の画像認識装置。
8. 前記顔画像について、顔全域の情報を用いて識別を行う全体識別部と、
   前記判定部の判定結果に基づいて、前記識別部および前記全体識別部のいずれを用いるかを切り替える切替部と、
   をさらに備えることを特徴とする請求項１から請求項７のいずれか１項に記載の画像認識装置。
9. 顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定し、
   前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う画像認識方法。
10. 顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定ステップと、
    前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別ステップと、
    をコンピュータ装置に実行させる画像認識プログラム。

Images