JP2003178304A - 顔画像検索装置、顔画像検索方法、およびその方法をコンピュータに実行させるプログラム - Google Patents

Abstract

(57)【要約】 【課題】 撮像された顔画像と、登録済の顔画像とを比
較することにより撮像された顔画像に最も相関の高い登
録済の顔画像を検索する顔画像検索装置であって、膨大
な計算量を抑制することにより、軽易な構成および高速
な処理を実現させること。 【解決手段】 撮像された顔画像から人物の顔領域を検
出し、この検出結果に基づいて、目や口などの顔のパー
ツを抽出するとともに、この抽出結果に基づいて顔の特
徴量を抽出し、登録済の顔画像情報データベースとの類
似度を評価する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像された顔画
像の特徴と、登録済の顔画像の特徴とを比較することに
より撮像された顔画像に最も相関の高い登録済の顔画像
を検索する顔画像検索装置、顔画像検索方法およびその
方法をコンピュータに実行させるプログラムに関し、特
に、膨大な計算量を抑制することにより、軽易な構成
と、高速な処理とを可能とする顔画像検索装置、顔画像
検索方法およびその方法をコンピュータに実行させるプ
ログラムを提供することに関するものである。

【０００２】

【従来の技術】従来、銀行でのＡＴＭカードの利用や、
インターネットを利用したオンラインショッピング等に
おいては、個人を特定するために、暗証番号やパスワー
ドの入力が用いられているが、近年、機器の情報化や高
度化が進む中で、設置カメラから顔画像を撮像し、人物
認証や検索をおこなう技術が注目を集めており、様々な
手法が提案されている。

【０００３】例えば、特開平９−２５１５３４号公報
（従来技術１）では、目、鼻などの特徴点を分離度フィ
ルタを用いて抽出し、予め登録してある目、鼻などのテ
ンプレートとの照合により人物認証をおこなう人物認証
装置および人物認証方法が開示されている。また、特開
２００１−９２９６３号公報（従来技術２）では、顔画
像中から顔領域を切り出し、特徴空間領域において入力
データとモデルデータの距離を比較照合することによ
り、画像を照合する画像照合方法および装置が開示され
ている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来技術は、分離度フィルタによる抽出または特徴空間領
域における比較処理を特徴とするため、計算量が膨大な
ものになってしまうことが考えられ、リアルタイムの処
理に難点がある。一方、処理を高速にするために、特殊
なハードウェアを使用することも考えられるが、システ
ム構築が容易に行えないという欠点が生ずる。

【０００５】この発明は、上記に鑑みてなされたもの
で、膨大な計算量を抑制することにより、軽易な構成
と、高速な処理とを可能とする顔画像検索装置、顔画像
検索方法およびその方法をコンピュータに実行させるプ
ログラムを得ることを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、この発明にかかる顔画像検索装置は、撮像された顔
画像と、登録済の顔画像とを比較することにより撮像さ
れた顔画像に最も相関の高い登録済の顔画像を検索する
顔画像検索装置において、顔画像を撮像する画像撮像手
段と、前記画像撮像手段によって撮像された画像から人
物の顔領域を検出する顔領域検出手段と、前記顔領域検
出手段より目や口などの顔のパーツを抽出する顔パーツ
抽出手段と、前記顔パーツ抽出手段の結果に基づき顔の
特徴量を抽出する特徴量抽出手段と、複数の顔画像に基
づいた情報を保持する手段であるデータベースと、前記
特徴抽出手段により得られた特徴量に基づき、撮像した
顔画像と前記データベースにより保持されている登録済
の顔画像との類似度を求める評価処理手段とを備えるこ
とを特徴とする。

【０００７】この発明によれば、撮像された顔画像から
人物の顔領域を検出し、この検出結果に基づいて目や口
などの顔のパーツを抽出するとともに、この抽出結果に
基づいて顔の特徴量を抽出し、データベースに保持され
ている登録済の顔画像との類似度を評価することによ
り、計算量を抑制した顔画像検索装置を実現することが
できる。

【０００８】つぎの発明にかかる顔画像検索装置は、上
記の発明において、前記画像撮像手段によって撮像され
た画像を表示する画像表示手段を備え、撮像時に顔の合
わせ位置を表示することを特徴とする。

【０００９】この発明によれば、撮像された画像に加え
て、撮像時に顔の合わせ位置を表示することにより、目
や口といった顔のパーツ位置を容易に決定することがで
きる。

【００１０】つぎの発明にかかる顔画像検索装置は、上
記の発明における特徴量抽出手段において、前記顔領域
検出手段により検出された顔領域内の髪領域を縦、横各
方向に射影した波形を特徴量として抽出することを特徴
とする。

【００１１】この発明によれば、顔領域検出手段により
検出された顔領域内の髪領域を縦、横各方向に射影した
波形を特徴量として抽出することにより、計算量を抑制
した顔画像検索装置を実現することができる。

【００１２】つぎの発明にかかる顔画像検索装置は、上
記の発明における特徴量抽出手段において、前記顔パー
ツ抽出手段により抽出された顔パーツを切り出した画像
を特徴量として抽出することを特徴とする。

【００１３】この発明によれば、抽出された顔パーツを
切り出した画像を特徴量とすることにより、計算量を抑
制した顔画像検索装置を実現することができる。

【００１４】つぎの発明にかかる顔画像検索装置は、上
記の発明における特徴量抽出手段において、前記顔パー
ツ抽出手段により抽出された顔パーツの位置関係を特徴
量として抽出することを特徴とする。

【００１５】この発明によれば、抽出された顔パーツの
位置関係を特徴量とすることにより、計算量を抑制した
顔画像検索装置を実現することができる。

【００１６】つぎの発明にかかる顔画像検索方法は、撮
像された顔画像と、登録済の顔画像とを比較することに
より撮像された顔画像に最も相関の高い登録済の顔画像
を検索する顔画像検索方法において、顔画像を撮像する
画像撮像工程と、前記画像撮像工程によって撮像された
画像から人物の顔領域を検出する顔領域検出工程と、前
記顔領域検出手段より目や口などの顔のパーツを抽出す
る顔パーツ抽出工程と、前記顔パーツ抽出工程の結果に
基づき顔の特徴量を抽出する特徴量抽出工程と、複数の
顔画像に基づいた情報を保持する工程であるデータベー
スと、前記特徴抽出工程により得られた特徴量に基づ
き、撮像した顔画像と前記データベースにより保持され
ている登録済の顔画像との類似度を求める評価処理工程
とを備えることを特徴とする。

【００１７】この発明によれば、撮像された顔画像から
人物の顔領域を検出し、この検出結果に基づいて目や口
などの顔のパーツを抽出するとともに、この抽出結果に
基づいて顔の特徴量を抽出し、データベースに保持され
ている登録済の顔画像との類似度を評価することによ
り、計算量を抑制した顔画像検索方法を実現することが
できる。

【００１８】つぎの発明にかかる顔画像検索方法は、上
記の発明において、前記画像撮像工程によって撮像され
た画像を表示する画像表示工程を備え、撮像時に顔の合
わせ位置を表示することを特徴とする。

【００１９】この発明によれば、撮像された画像に加え
て、撮像時に顔の合わせ位置を表示することにより、目
や口といった顔のパーツ位置を容易に決定することがで
きる。

【００２０】つぎの発明にかかる顔画像検索方法は、上
記の発明における特徴量抽出工程において、前記顔領域
検出工程により検出された顔領域内の髪領域を縦、横各
方向に射影した波形を特徴量として抽出することを特徴
とする。

【００２１】この発明によれば、顔領域検出手段により
検出された顔領域内の髪領域を縦、横各方向に射影した
波形を特徴量として抽出することにより、計算量を抑制
した顔画像検索方法を実現することができる。

【００２２】つぎの発明にかかる顔画像検索方法は、上
記の発明における特徴量抽出工程において、前記顔パー
ツ抽出工程により抽出された顔パーツを切り出した画像
を特徴量として抽出することを特徴とする。

【００２３】この発明によれば、抽出された顔パーツを
切り出した画像を特徴量とすることにより、計算量を抑
制した顔画像検索方法を実現することができる。

【００２４】つぎの発明にかかる顔画像検索方法は、上
記の発明における特徴量抽出手段において、前記顔パー
ツ抽出工程により抽出された顔パーツの位置関係を特徴
量として抽出することを特徴とする。

【００２５】この発明によれば、抽出された顔パーツの
位置関係を特徴量とすることにより、計算量を抑制した
顔画像検索方法を実現することができる。

【００２６】つぎの発明にかかるプログラムは、上記の
発明のいずれか一つに記載された方法をコンピュータに
実行させるプログラムであり、そのプログラムがコンピ
ュータ読み取り可能となり、これによって、上記の発明
のいずれか一つの動作をコンピュータによって実行する
ことができる。

【００２７】

【発明の実施の形態】以下に添付図面を参照して、この
発明にかかる顔画像検索装置、顔画像検索方法およびそ
の方法をコンピュータに実行させるプログラムの実施の
形態について詳細に説明する。

【００２８】実施の形態１．まず、この発明の実施の形
態１について説明する。図１は、この発明の実施の形態
にかかる顔画像検索装置の構成を示す機能ブロック図で
ある。同図において、１１は画像の取込をおこなう画像
撮像部を、１２は撮像された顔画像から髪領域および肌
色領域の検出をおこなう顔領域検出部を、１３は肌色領
域の中から、目、口、鼻等の位置の抽出をおこなう顔パ
ーツ抽出部処理部を、１４は髪型の特徴量、顔パーツの
形状といった特徴量の抽出をおこなう特徴量抽出部を、
１５は顔パーツ抽出部１３および特徴量抽出部１４で抽
出された情報の登録、保持をおこなうデータベースを、
１６は検索処理の要求があった場合にデータベース１５
から情報を読み出し、検索対象と比較・照合処理をおこ
なう評価処理部をそれぞれ示している。

【００２９】例えば、画像撮像部１１は、顔の部分を撮
像するＣＣＤカメラまたはビデオカメラ等からなる。顔
領域検出部１２は、画像入出力ボード、ワークステーシ
ョンまたはパーソナルコンピュータ、画像処理ソフトウ
ェア等からなる。顔パーツ抽出部１３は、ワークステー
ションまたはパーソナルコンピュータ、画像処理ソフト
ウェア等からなる。特徴量抽出部１４は、ワークステー
ションまたはパーソナルコンピュータ、画像処理ソフト
ウェア等からなる。データベース１５は、磁気ディスク
装置等の記録装置からなる。評価処理部１６は、ワーク
ステーションまたはパーソナルコンピュータ、データベ
ース処理ソフトウェア等からなる。なお、それぞれの処
理部は、それぞれの処理部における処理量とハードウェ
アの処理能力に応じて、処理を統合し、同じハードウェ
ア上で処理させる構成としてもよいし、また、それぞれ
が別々なハードウェアで処理させる構成としてもよい。

【００３０】つぎに、図１の顔画像検索装置１０の２つ
の処理モードについて説明する。顔画像検索装置１０
は、撮像された画像から画像情報および特徴量を抽出
し、データベースへの登録処理をおこなう登録モード
と、撮像された画像と登録済の情報との比較・照合処理
をおこなう評価モードを有する。登録モードでは、画像
撮像部１１、顔領域検出部１２、顔パーツ抽出部１３、
特徴量抽出部１４を介して、画像情報および特徴量をデ
ータベース１５に登録する。また、評価モードでは、画
像撮像部１１、顔領域検出部１２、顔パーツ抽出部１
３、特徴量抽出部１４を介して、評価対象の画像情報お
よび特徴量を評価処理部１６に取り込み、登録済の情報
との比較・照合処理を行い、類似度を評価する。

【００３１】まず、登録モード時の処理手順について説
明する。図２は、登録モード時の処理を示すフローチャ
ートである。以下、図面を参照しながら説明する。

【００３２】図２に示すように、画像撮像部１１により
人物の顔画像を撮像し、図６に示す顔画像３１を取得す
る（ステップＳ１０１）。つぎに、顔領域検出部１２で
は、顔画像３１から肌色に指定した色と近い色を持つ画
素を取り出し、肌色領域３２を抽出する（ステップＳ１
０２）。この処理は、例えば肌色を他の色と区別するた
めの色空間上で、予めサンプリングした肌色の情報から
色空間上の肌色の範囲を定め、各画素の色が定めた範囲
に入っているか否かを判定することにより行われる。さ
らに、顔画像３１から髪に指定した色と近い色をもつ画
素を取り出し、髪領域３３を抽出する（ステップＳ１０
３）。この処理も、肌色領域の抽出処理と同様の処理で
実現できる。この２つの処理により、図７に示す顔領域
画像が得られる。

【００３３】つぎに、顔パーツ抽出部１３では、顔領域
検出部１２で得られた図７に示す顔領域画像の肌色領域
３２から目および口の位置の情報を、両目と口の位置に
挟まれる領域から鼻の位置の情報をそれぞれ抽出する
（ステップＳ１０４）。さらに、特徴量抽出部１４で
は、画像撮像部１１で得られた図６の顔画像又は顔領域
検出部１２で得られた図７の顔領域画像において、髪領
域の縦および横方向の輝度値ヒストグラムの情報、顔パ
ーツ領域の横方向の輝度値ヒストグラムの情報ならびに
顔および口の抽出画像の情報を抽出する（ステップＳ１
０５）。

【００３４】最後に、データベース１５では、ステップ
Ｓ１０２により抽出された肌色領域の情報、ステップＳ
１０３により抽出された髪領域の情報、ステップＳ１０
４により抽出された目、口および鼻の位置の情報、ステ
ップＳ１０５により抽出された髪領域の縦および横方向
の輝度値ヒストグラムの情報、顔パーツ領域の横方向の
輝度値ヒストグラムの情報並びに顔および口の画像の情
報が、撮像された顔画像と関連付けられてデータベース
１５に登録される（ステップＳ１０６）。以上により、
撮像された顔画像から所望の情報を抽出し、データベー
ス１５に登録する一連の処理が終了する。

【００３５】つぎに、評価モード時の処理手順について
説明する。図５は、評価モード時の処理を示すフローチ
ャートである。以下、図面を参照しながら説明する。

【００３６】図５に示すように、顔画像の撮像（ステッ
プＳ４０１）、肌色領域の検出（ステップＳ４０２）、
髪領域の検出（ステップＳ４０３）、顔パーツの抽出
（ステップＳ４０４）および特徴量の抽出（ステップＳ
４０５）までの各処理は、登録モード時の処理と同様の
処理をおこなう。すなわち、画像撮像部１１では、図６
に示す顔画像３１を取得し（ステップＳ４０１）、顔領
域検出部１２では、顔画像３１から図７に示す肌色領域
３２及び髪領域３３を抽出し（ステップＳ４０２及びス
テップＳ４０３）、顔パーツ抽出部１３では、顔領域検
出部１２で得られた肌色領域３２の中から目、口および
鼻の位置の情報を抽出し（ステップＳ４０４）、特徴量
抽出部１４では、画像撮像部１１で得られた図６に示す
顔画像３１または顔領域検出部１２で得られた図７に示
す顔領域画像に対して、髪領域の縦および横方向の輝度
値ヒストグラムの情報、顔パーツ領域の横方向の輝度値
ヒストグラムの情報ならびに顔および口の抽出画像の情
報を抽出する（ステップＳ４０５）。

【００３７】つぎに、この一連の処理で得られた情報
と、データベース１５から読み出した登録済の情報とを
評価処理部１６で相関処理を行い、相関値を算出する。
さらに、他の登録済の情報があれば、その情報に対し相
関値を算出する処理を繰り返す。このようにして得られ
た相関値の集合に対し、相関値の合計が最大となる顔画
像を出力する。なお、この処理では、顔画像の候補列を
一定の規則（例えば、相関値の高い順等）にしたがって
出力してもよい。以上により、撮像された顔画像から抽
出した情報と、データベース１５に登録済の情報とを比
較・照合する一連の処理が終了する。

【００３８】上述した２つの処理、すなわち、撮像画像
から所望の情報を抽出しデータベースに登録する登録モ
ード時の処理と、撮像画像から抽出した情報と登録済の
情報とを比較・照合する評価モード時の処理とが、全体
的な処理の流れである。

【００３９】つぎに、図１に示した画像検索装置１の登
録モードおよび評価モード時に共通する処理である図３
に示す顔パーツ抽出処理と図４に示す特徴量抽出処理に
ついて図を参照しながら説明する。

【００４０】図３は、顔パーツ抽出処理を示すフローチ
ャートである。この処理は、図２のステップＳ１０４ま
たは図５のステップＳ４０４の処理に該当する。まず、
図７の肌色領域３２において、この肌色領域３２よりも
輝度値の低い領域を探索し、図１０に示すように両目の
位置３７を決定する（ステップＳ２０１）。また、横方
向が両目の中間位置で、かつ、縦方向がこの位置よりも
下の範囲、さらに、肌色領域３２よりも輝度値の低い領
域を探索し、図１０に示すように口の位置３８を決定す
る（ステップＳ２０２）。最後に、鼻の位置について
は、次の３段階の処理により、鼻の位置を決定する。 （ａ） 両目と口の間に位置し、鼻全体を概略含んだ図
８に示す鼻領域３４を特定する（ステップＳ２０３）。 （ｂ） この鼻領域３４に対し、横エッジを強調する処
理（ステップＳ２０４）を行い、図９に示す鼻領域横エ
ッジ強調処理画像３５を得る。 （ｃ） この横エッジ強調処理画像３５に対し、その輝
度値を横方向に射影する処理（ステップＳ２０５）によ
り得られた図９に示す鼻領域輝度値横方向射影波形３６
において、最も小さい輝度値を持つ位置を図１０に示す
ように鼻の位置３９と決定する（ステップＳ２０６）。
以上が、画像撮像部１１から得られた顔画像から、目、
鼻および口の位置を抽出するための処理である。

【００４１】図４は、特徴量抽出処理のフローチャート
である。この処理は、図２のステップＳ１０５または図
５のステップＳ４０５の処理に該当する。まず、髪形の
特徴量を得るために、ステップＳ１０１で検出した髪領
域９の輝度値を縦方向に加算する処理（ステップＳ３０
１）および横方向に加算する処理（ステップＳ３０２）
を実施し、それぞれ図１１に示す髪縦方向ヒストグラム
４０および髪横方向ヒストグラム４１を得る。つぎに、
顔パーツの配置の特徴量を得るために、両目と口の位置
をもとに鼻を含んだ図１２に示す顔パーツ領域４２を決
定するとともに（ステップＳ３０３）、その領域の輝度
値を横方向に加算した顔パーツ横方向ヒストグラム４３
を得る（ステップＳ３０４）。最後に、図１３に示す顔
パーツの形状の特徴量としての、鼻画像４４（ステップ
Ｓ３０５）および口画像４５（ステップＳ３０６）を得
る。

【００４２】以上が、画像撮像部１１により得られた顔
画像および顔領域検出部１２により得られた顔領域画像
から、髪領域の輝度値の縦および横方向のヒストグラ
ム、顔パーツ領域のヒストグラム並びに鼻および口の画
像を抽出するための処理である。

【００４３】このようにこの実施の形態１によれば、画
像検索装置を図１からなる構成とし、撮像された顔画像
から人物の顔領域を検出し、この検出結果に基づいて目
や口などの顔のパーツを抽出するとともに、この抽出結
果に基づいて顔の特徴量を抽出し、データベースに保持
されている登録済の顔画像との類似度を評価することと
したので、膨大な計算量を抑制することができ、軽易な
構成と、高速な処理とを可能とする顔画像検索処理を実
現することができる。

【００４４】実施の形態２．図１４は、実施の形態２に
おける顔画像検索装置２０を示すブロック図であり、図
１の顔画像検索装置１０に関し、さらに画像表示部２１
を付加したものである。この画像表示部２１を用いて、
ユーザは図１５に示す画像を取得する際に、目や口を合
わせ位置４６に合わせて画像の撮像をおこなう。また、
顔領域検出部１２は、目と口にはさまれる領域４７から
肌色情報を抽出し、その肌色情報から肌色領域９の抽出
をおこなうことができる。さらに、顔パーツ抽出部１３
は、合わせ位置４６の周辺のみで目や口を探索し、位置
を決定することができる。

【００４５】このようにこの実施の形態２によれば、図
１の画像検索装置に画像表示部を加えた図１４からなる
構成とし、この画像表示部を用いて、撮像された画像に
加えて、撮像時に顔の合わせ位置を表示することができ
るので、目や口といった顔のパーツ位置を容易に決定す
ることができる。

【００４６】

【発明の効果】以上説明したように、この発明によれ
ば、撮像された顔画像から人物の顔領域を検出し、この
検出結果に基づいて目や口などの顔のパーツを抽出する
とともに、この抽出結果に基づいて顔の特徴量を抽出
し、登録済の顔画像情報データベースとの類似度を評価
することにより、膨大な計算量を抑制することができる
ので、軽易な構成と、高速な処理とを可能とする顔画像
検索装置が得られるという効果を奏する。

【００４７】つぎの発明によれば、撮像された画像に加
えて、撮像時に顔の合わせ位置を表示することができる
ので、目や口といった顔のパーツ位置を容易に決定する
ことが可能な顔画像検索装置が得られるという効果を奏
する。

【００４８】つぎの発明によれば、顔領域検出手段によ
り検出された顔領域内の髪領域を縦、横各方向に射影し
たヒストグラムを特徴量として抽出することにより、膨
大な計算量を抑制することができるので、軽易な構成
と、高速な処理とを可能とする顔画像検索装置が得られ
るという効果を奏する。

【００４９】つぎの発明によれば、抽出された顔パーツ
を切り出した画像を特徴量とすることにより、膨大な計
算量を抑制することができるので、軽易な構成と、高速
な処理とを可能とする顔画像検索装置が得られるという
効果を奏する。

【００５０】つぎの発明によれば、抽出された顔パーツ
の位置関係を特徴量とすることにより、膨大な計算量を
抑制することができるので、軽易な構成と、高速な処理
とを可能とする顔画像検索装置が得られるという効果を
奏する。

【００５１】つぎの発明によれば、撮像された顔画像か
ら人物の顔領域を検出し、この検出結果に基づいて目や
口などの顔のパーツを抽出するとともに、この抽出結果
に基づいて顔の特徴量を抽出し、登録済の顔画像情報デ
ータベースとの類似度を評価することにより、膨大な計
算量を抑制することができるので、軽易な構成と、高速
な処理とを可能とする顔画像検索方法が得られるという
効果を奏する。

【００５２】つぎの発明によれば、撮像された画像に加
えて、撮像時に顔の合わせ位置を表示することにより、
目や口といった顔のパーツ位置を容易に決定することが
可能な顔画像検索方法が得られるという効果を奏する。

【００５３】つぎの発明によれば、顔領域検出手段によ
り検出された顔領域内の髪領域を縦、横各方向に射影し
たヒストグラムを特徴量として抽出することにより、膨
大な計算量を抑制することができるので、軽易な構成
と、高速な処理とを可能とする顔画像検索方法が得られ
るという効果を奏する。

【００５４】つぎの発明によれば、抽出された顔パーツ
を切り出した画像を特徴量とすることにより、膨大な計
算量を抑制することができるので、軽易な構成と、高速
な処理とを可能とする顔画像照検索方法が得られるとい
う効果を奏する。

【００５５】つぎの発明によれば、抽出された顔パーツ
の位置関係を特徴量とすることにより、膨大な計算量を
抑制することができるので、軽易な構成と、高速な処理
とを可能とする顔画像検索処理方法が得られるという効
果を奏する。

【００５６】つぎの発明にかかるプログラムは、上記の
いずれかひとつに記載された方法をコンピュータに実行
させるプログラムが得られるという効果を奏する。

【図面の簡単な説明】

【図１】 この発明にかかる顔画像検索装置の実施の形
態１の構成を示す機能ブロック図である。

【図２】 実施の形態１および２における登録モード時
の処理を示すフローチャートである。

【図３】 実施の形態１および２における顔パーツ抽出
処理を示すフローチャートである。

【図４】 実施の形態１および２における特徴量抽出処
理を示すフローチャートである。

【図５】 実施の形態１および２における評価モード時
の処理を示すフローチャートである。

【図６】 図１の画像撮像部が撮像した顔画像を示す図
である。

【図７】 図６に示す顔画像から、肌色領域および髪領
域を検出した顔領域画像を示す図である。

【図８】 顔領域から鼻の位置を抽出するために、図６
の画像から切り出した画像を示す図である。

【図９】 鼻領域に横エッジを強調処理した画像および
この画像の輝度値を横方向に射影した結果を示す図であ
る。

【図１０】 図６に示す画像から目、鼻および口の位置
を特定した結果を示す図である。

【図１１】 図６に示す画像の髪領域の輝度値を縦およ
び横方向に加算した結果を示す図である。

【図１２】 図６に示す画像から顔パーツの配置の特徴
量を得るために抽出した領域と、その領域の輝度値を横
方向に加算した結果を示す図である。

【図１３】 図３に示す画像から抽出した鼻および口の
画像を示す図である。

【図１４】 この発明にかかる顔画像検索装置の実施の
形態２の構成を示す機能ブロック図である。

【図１５】 画像撮像時の目および口の合わせ位置およ
び肌色情報の抽出位置を示す図である。

【符号の説明】

１０ 顔画像検索装置、１１ 画像撮像部、１２ 顔領
域検出部、１３ 顔パーツ抽出部、１４ 特徴料抽出
部、１５ データベース、１６ 評価処理部、２１ 画
像表示部、３１ 顔画像、３２ 肌色領域、３３ 髪領
域、３４ 鼻領域、３５ 鼻領域横エッジ強調処理画
像、３６ 鼻領域輝度値横方向射影波形、３７ 両目の
位置、３８ 口の位置、３９ 鼻の位置、４０ 髪縦方
向ヒストグラム、４１ 髪横方向ヒストグラム、４２
顔パーツ領域、４３ 顔パーツ横方向ヒストグラム、４
４ 鼻の画像、４５ 口の画像、４６ 目および口の合
わせ位置、４７ 肌色情報の抽出位置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鹿毛 裕史 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B057 DA11 DB02 DB06 DC16 DC19 DC22 DC25 DC34 DC36 DC39 5B075 ND08 NK07 NK37 UU08 5L096 AA02 AA06 CA02 FA06 FA34 FA36 FA69 GA38 HA09 JA03 JA11 KA15

Claims (11)

【特許請求の範囲】
1. 【請求項１】 撮像された顔画像と、登録済の顔画像と
   を比較することにより撮像された顔画像に最も相関の高
   い登録済の顔画像を検索する顔画像検索装置において、 顔画像を撮像する画像撮像手段と、 前記画像撮像手段によって撮像された顔画像から人物の
   顔領域を検出する顔領域検出手段と、 前記顔領域検出手段より目や口などの顔のパーツを抽出
   する顔パーツ抽出手段と、 前記顔パーツ抽出手段の結果に基づき顔の特徴量を抽出
   する特徴量抽出手段と、 複数の顔画像に基づいた情報を保持する情報保持手段
   と、 前記特徴量抽出手段により得られた特徴量に基づき、撮
   像した顔画像と前記情報保持手段により保持されている
   登録済の顔画像との類似度を求める評価処理手段と、 を備えたことを特徴とする顔画像検索装置。
2. 【請求項２】 前記画像撮像手段により撮像された画像
   を表示する画像表示手段を備え、撮像時に顔の合わせ位
   置を表示することを特徴とする請求項１に記載の顔画像
   検索装置。
3. 【請求項３】 前記特徴量抽出手段は、前記顔領域検出
   手段により検出された顔領域内の髪領域を縦、横各方向
   に射影した波形を特徴量として抽出することを特徴とす
   る請求項１または２に記載の顔画像検索装置。
4. 【請求項４】 前記特徴量抽出手段は、前記顔パーツ抽
   出手段により抽出された顔パーツを切り出した画像を特
   徴量として抽出することを特徴とする請求項１〜３のい
   ずれか一つに記載の顔画像検索装置。
5. 【請求項５】 前記特徴量抽出手段は、前記顔パーツ抽
   出手段により抽出された顔パーツの位置関係を特徴量と
   して抽出することを特徴とする請求項１〜４のいずれか
   一つに記載の顔画像検索装置。
6. 【請求項６】 撮像された顔画像と、登録済の顔画像と
   を比較することにより撮像された顔画像に最も相関の高
   い登録済の顔画像を検索する顔画像検索方法において、 顔画像を撮像する画像撮像工程と、 前記画像撮像工程によって撮像された画像から人物の顔
   領域を検出する顔領域検出工程と、 前記顔領域検出工程より目や口などの顔のパーツを抽出
   する顔パーツ抽出工程と、 前記顔パーツ抽出工程の結果に基づき顔の特徴量を抽出
   する特徴量抽出工程と、 複数の顔画像に基づいた情報を保持する情報保持工程
   と、 前記特徴抽出工程により得られた特徴量に基づき、撮像
   した顔画像と前記情報保持工程により保持されている登
   録済の顔画像との類似度を求める評価処理工程と、 を備えたことを特徴とする顔画像検索方法。
7. 【請求項７】 前記画像撮像工程により撮像された画像
   を表示する画像表示工程を備え、撮像時に顔の合わせ位
   置を表示することを特徴とする請求項６に記載の顔画像
   検索方法。
8. 【請求項８】 前記特徴量抽出工程は、前記顔領域検出
   部により検出された顔領域内の髪領域を縦、横各方向に
   射影した波形を特徴量として抽出することを特徴とする
   請求項６または７に記載の顔画像検索方法。
9. 【請求項９】 前記特徴量抽出工程は、前記顔パーツ抽
   出工程により抽出された顔パーツを切り出した画像を特
   徴量として抽出することを特徴とする請求項６〜８のい
   ずれか一つに記載の顔画像検索方法。
10. 【請求項１０】 前記特徴量抽出工程は、前記顔パーツ
    抽出工程により抽出された顔パーツの位置関係を特徴量
    として抽出することを特徴とする請求項６〜９のいずれ
    か一つに記載の顔画像検索方法。
11. 【請求項１１】 請求項６〜１０のいずれか一つに記載
    された方法をコンピュータに実行させるプログラム。