WO1994023390A1 - Apparatus for identifying person - Google Patents

Description

明 細 書 個人識別装置 技術分野

本発明は、 入室管理など顔画像により本人か否かの識別を行ったり、 入 力顔画像に近い人物をデータファイルから順次検索出力する個人識別装置 に関する。

背景技術

従来の顔画像による個人識別においては、 例えば、 特開昭 6 3 - 1 7 7 2 7 3号公報に記載されるものがあった。 以下にその構成を説明する。 第 1 5図は従来の顔画像による個人識別装置の一構成を示すプロック図 である。 図中 2 1は顔画像を入力する画像入力部、 2 2は八/0変換器、 中央処理装置、 メモリ等から構成される特徴点抽出部、 2 3は本人の顔画 像の特徴点をカード等に記録した個人データベース部、 2 4は前記特徴点 抽出部 2 2並びに前記個人データベース部 2 3からの特徵点情報を用い、 その差分を検出し、 得られた差分がある閾値より大きいか否かで本人かど うかを個人識別処理する判定部である。

上記従来の技術において個人識別を行う場合には、 画像入力部 2 1から 入力された顏画像の特徴点を特徵点抽出部 2 2で抽出し、 その特徴点と、 個人データベース部 2 3に登録されている顔画像の特徴点との違いを判定 部 2 4により検出し、 その差分の大きさによって本人か否かの個人識別処 理を行っている。 その際、 両顔画像間で画像の大きさ、 撮影角度の違いが あると、 特徴点間の差分が大きくなり、 同一人物であっても別人とみなさ れる場合があった。 また、 このような事態を防ぐためには、 画像入力部と 被撮影者との距離を固定にし、 正面を向いて画像を入力してもらう必要が あった。 し力、し、 このような入力方法では被撮影者に対しての負担になり、 またいかに正面を向いていても、 わずかに顔が回転したり、 傾いたりする ので正確に正面を向いた画像を撮影するのは難しいという問題があった。 本発明は、 高い識別力を有する個人識別装置を提供することを基本的な 目的とする。

さらに、 本発明は、 撮像条件 （照明条件、 顔の向き等々） の多少の変動 に対しても判定が正確に行える個人識別装置を提供することを目的として いる。

発明の開示

上記目的を達成するために、 本発明は、 入力された顔画像から目、 鼻、 口等の顔部品の特徴点を抽出したうえで、 抽出した特徴点を利用して、 顔 画像を 3角形等の小さなパッチに分割し、 このパッチの集合として顔画像 を記述する。 そして、 特徴量は各パッチごとに抽出し、 抽出した特徴量の 集合で、 個人の顔画像を特定する。 特徴量としては、 '各パッチの平均明度 を用いることができる。 この場合は、 モノクロ画像として扱えるので、 処 理が比較的簡単化できるが、 得られる濃淡のパッチで形成される画像は、 顔の特徵を充分に反映したものとなり、 凸凹や平坦度、 湾曲度等が間接的 ではあるが表現される。 したがって、 これらの特徴量を用いることにより、 個人の識別が正確に行えることになる。 なお、 特徴量としては、 平均明度 の他、 隣接するパッチ間の明度差を用いることができる。

実際的な方法として、 基準とする顔画像をパッチの集合として記述した 基準構造モデルを用い、 入力された顔画像の特徴点が抽出されると、 基準 構造モデルの特徴点と比較し、 基準構造モデルを抽出された特徴点情報に 基づいて変形整合し、 入力された顔画像に対応した整合構造モデルを得る。 このようにして求めた整合構造モデルは、 前述した如く、 パッチの集合と して表現され、 各パッチの特徵量を抽出する。

抽出された特徵量は、 予め用意してある個人データベースの各人の特徴 量と比較され、 両特徴量間の距離を計算することで一致度を検出する。 本 人確認の場合は、 データベース中の本人のデータと比較すればよく、 人物 検索の場合には、 個人データベースに格納されているデータと順次比較し て、 一致度の高い顔画像を抽出する。

基準構造モデルは、 2次元であってもよいが、 3次元のものでもよい。 3次元の場合には、 各パッチの法線べク トルを明度とともに特徴量として 抽出するようにすれば、 顔の凸凹がより明確に表現でき、 明度分布から光 源の位置を推定でき、 光源の位置に見合った補正を行うことが可能となる。 また、 カメラに対し多少顔が傾いていた場合も、 明度分布を左右対称とす るような補正を行うことによって、 傾きによる判定誤差を防止できる。 図面の簡単な説明

本発明の目的と特徴は、 添付の図面に示した本発明の好ましい実施例に 関連した以下の記述より明らかになるであろう。

第 1図は、 本発明にかかる個人識別装置のシステム構成図である。

第 2図は、 本発明にかかる個人識別装置の実施例を示すプロック図であ る o

第 3図は、 顔の特徴点を示す説明図である。

第 4図、 第 5図、 第 6図及び第 7図は、 夫々、 眉、 目、 鼻、 口の特徴点 の位置を示す拡大説明図である。

第 8図は、 抽出された特徴点の分布を示す図である。

第 9図は基準構造モデルのフレーム構造を示す図、 第 1 0図は、 抽出さ れた特徴点に基づいて第 9図の基準構造モデルを変形整合した結果のフレ ーム構造を示す図である。

第 1 1図は、 本発明にかかる個人識別装置のシステムダイヤグラムを示 す図である。

第 1 2図は、 特徴点抽出のフローチヤ一トである。

第 1 3図は、 頂点の線形補間方式を説明する説明図である。

第 1 4図は、 本発明にかかる個人識別装置のいま一つの実施例を示すブ 口ック図である。

第 1 5図は従来の個人識別装置の構成を示すプロック図である。

発明を実施するための最良の形態

以下に、 本発明の実施例を詳細に説明する。

<システム構成〉

本発明にかかる個人識別装置のハードウエアは、 第 1図に示すように、 識別対象の個人の顔部分を撮像するためのテレビカメラ 1からなる画像入 力部 2と、 テレビカメラ 1によって撮像された顔画像データが入力される マイクロコンピュータ 3からなる画像処理部 4とから基本的に構成される。 この画像処理部 4は、 マイクロコンピュータ 3本体に加えて、 必要な情報 を表示するディスプレイ 5、 必要な情報を記録するプリンタ 6、 マイクロ コンピュータ 3を操作するためのキーボード 7やマウス （図示せず） によつ て構成される操作手段 8を備えている。

<機能ブロック構成〉

第 2図は、 本発明の第 1の実施例を示すものであり、 マイクロコンピュ 一夕 3が入力された顔画像に対して行う画像処理の内容を機能として抽出 し、 ブロック図として表示したものである。

画像入力部 2から入力された顔画像データは、 まず画像記憶部 1 2に格 納され、 特徴点抽出部 1 3は、 以下に説明するように、 格納された顔画像 から特徵点を抽出する。 ここで、 特徵点なる用語は、 第 3図に黒点で例示 するように、 顔画像を構成する個々の要素、 例えば目、 鼻、 口、 頭、 頰等 を特定するために予め定めた点を意味する。 したがって、 特徵点の抽出と は、 例えば、 瞳の中心を示す特徴点が、 入力された顔画像上のどの位置に あるかを検出することを意味し、 個々の特徴点の位置情報を検出すること によって、 個人の顔の特徴が記述されることになる。 第 4図、 第 5図、 第 6図、 第 7図には、 眉、 目、 鼻、 口の特徵点が夫々詳しく示されている。 特徴点の抽出方法については後述するが、 第 8図には、 抽出された特徴点 を例示する。

特徴点抽出部 1 3によってその位置が特定された特徴点は、 構造モデル 整合部 1 5において、 予め定めておいて顔の基準構造モデルの特徴点と個 々に比較され、 基準構造モデルの個々の特徴点が抽出された対応する特徴 点に一致するように、 基準構造モデルが変形整合される。

基準構造モデルは、 基準ワイヤフレームともいわれ、 第 9図に例示する ように、 基準とする顔画像を多数の小さいパッチ （p a t c h ) に分割し、 パッチの集合として近似的に表現したものである。 このパッチは、 任意の 多角形 （p o l y g o n ) であってよいが、 処理の容易さから、 第 5図の ように、 3角形を用いることが好ましい。 具体的な整合方法については後 述するが、 第 9図の基準構造モデルを第 8図に示す抽出特徴点を用いて整 合した結果 第 1 0図に示す。 以下では、 整合後の構造モデルを整合構造 モデルという。

再び第 2図に戻って、 特徴量抽出部 1 6は、 構造モデル整合部 1 5によつ て得られた整合構造モデルに基づいて、 画像記憶部 1 2に格納された顔画 像を個々のパッチごとに切り出し、 パッチごとの特徴量を抽出する。 特徴 量としては、 例えば、 パッチ内の平均明度を用いることができる。 特徴量 として明度を用いると、 一定の照明条件下では、 顔表面の明度分布は、 顔 の立体形状を比較的忠実に反映する。 また、 明度分布は撮像時、 多少顔が 横を向いていたとしても影響を受けにくい利点がある。 特徴量は、 各パッ チの明度 （平均明度） に限られるものではなく、 隣接するパッチ間の明度 の差分を用いることもできる。

このようにして、 整合構造モデルの特徴量が抽出されると、 判定部 1 8 は、 抽出された特徴量を個人データベース部 1 7に予め用意されていた個 人、 個人の特徴量と順番に比較し、 距離演算により一致度を判定し、 その 結果を出力する （人物検索） 。

本人照合の場合、 つまり入力された顔画像が確かに本人であるか否かを 照合する場合、 判定部 1 8は抽出された特徴量と、 個人データベース部 1 7に格納された本人の特徴量との距離 （差の絶対値） を演算し、 距離の総 和が予め定めた閾値より小さいときには、 本人であると同定する。

第 1 1図は、 以上の個人識別処理を図式化したものであり、 処理の手順 が明瞭に理解されるであろう。

次に、 個々の処理についてより具体的に説明する。

ぐ特徴点抽出 >

以下に説明する特徴点抽出は、 本願発明の特徴とするところではないが、 本願発明は、 特徴点抽出をその前提としている。 そして、 この前提たる特 徴点抽出方式については、 本願出願人が特願平 4一 9 7 5 3号として出願 し、 特開平 5— 1 9 7 7 9 3号として公開された公開公報に記載されてい るが、 その基本原理を第 1 2図のフローチヤ一トを用いて説明する。

特徴点抽出は、 前述した如く、 特徴点抽出部 1 3において実行される。 まず、 ステップ S 1において、 画像記憶部 1 2に記憶された顔画像を入 力し、 ステップ S 2で輝度変換してモノクロの濃淡画像を生成した後、 ス テツプ S 3がエッジ画像を生成する。 この場合、 例えば、 S 0 b e 】オペ レータ [D. H. バラ一ド （B a 1 1 a r d ) ， C . M. ブラウン （B r o w n ) 著、 副村晃夫訳 「コンピュータビジョン」、 日本コンピュータ協 会、 1 9 8 7、 P 9 8 ] のようなエッジの大きさだけでなく方向の得られ る演算子を用いてエツジを抽出する。 このようにして得られるエツジは大 きさと方向を要素としているのでエッジべク トルと呼ばれる。 実際に図示 はできないが、 エッジを抽出することによって得られるエッジ画像は、 ディ スプレイ 5上では、 左右方向のエツジは綠で上下方向のエツジは赤で表示 し、 色の濃淡によってエッジの強さを表示する。

次に、 ステップ S 4で、 目や鼻といった顔部品がどこのあるかを示す探 索領域を決定する。 この探索領域は、 眉領域、 虹彩領域、 鼻領域、 左、 右 の頰領域、 口領域の計 6領域とし、 まず最初に顔画像の上下方向の中央部 にある虹彩の探索領域から、 左右の虹彩位置を決定する。 左右の虹彩の位 置が検出されると、 虹彩間の距離および傾きから顔全体の大きさが推測で きることになる。 その他の計 5領域は、 既に得られた虹彩の位置を用いて 順次決定する。

各探索領域が決定されると、 ステップ S 5で各探索領域のエツジ画像を 0か 1に 2値化する。 通常、 抽出されたエッジは夫々大きさをもっており、 ノイズを含んでいる。 2値化は、 ノイズ除去の目的で行い、 所定の閾値を 判定に用いる。 この閾値は探索領域中の面積比で 2 0 %のエツジ画素が 1、 残りが 0となるような値を用いる。

次に、 ステップ S 6において、 2値化されたエッジ画像に対し、 形状テ ンプレートを用いて形状マッチングを行い、 一致度を判定して候補領域を 導出する。 この一致度 øは、 エッジと形状テンプレートの各部品の形状デ 一夕のいずれもがべク トルで表現されているので、 例えば 2つのべク トル の内積をとることによって計算できる。

より具体的には、 エッジの画像中のエッジべク トルを

u " ,= ( U x, u _y) ( i , j ：画像の x, y座標、

とし、 形状データを

要素データ P k= ( 1 k, n ) ( 1 k, m_k :要素の x, y座標） 勾配べク トノレ Vk= ( V v >·) ( v x²+ v _y ²= 1 )

但し l ^k n (nは要素数）

とすると、 エッジ画像中の座標 （ i， j ) における形状データとの一致度 øは

ø = (∑ U _{i +} 1 k, j+mk · v _k) / n ( 1≤ k≤ n )

但し、 U i+ l k， i+mk * V k= U x X V x+ U y X V y

となる。

このようにして探索領域の各座標に対する形状データとの一致度が算出 される。 このうち、 一致度 0の大きい複数の座標地をこの顔部品の候補領 域とする。

実際には、 例えば目のテンプレートの場合、 エッジ画像中、 両虹彩、 盾、 頰と耳の間の頭髪部分、 鼻の穴等が高い一致度を持つ部分として上げられ てくる。 つまり、 決定された虹彩探索領域内において、 虹彩の形状テンプ レートを用いた一致度判定を行うと、 上記のような各部分が虹彩の候補領 域として導出されることになる。

次のステップ S 7では、 上記のようにして得られた候補領域の各エツジ 画像に対し、 対応する形状テンプレートを変形させてマッチング （一致度） を判定する。 変形の手法は、 各部品の形状テンプレー トの要素を少しずら し、 各エッジ画像との一致度を計算し、 一致度が向上するように形状テン プレートの形状を変形する （ステップ S 7 ) 。 最も高い一致度が得られる と （ステップ S 8 ) 、 そのときの形状テンプレートの形状から、 特徵点を ステップ S 9で抽出する。

特徴点の抽出は、 例えば、 眉についていうと、 第 4図に示した約束にし たがって行う。 つまり、 マッチングした （一致度の最も高い） 眉形状につ いて、 まず左右の端点を特徴点とし、 両端点間を 3等分する各 3等分線と の上、 下の交点、 計 4点をさらに特徴点とする。 したがって、 一つの眉に ついて、 合計 6個の特徴点が抽出されたことになる。 同様に、 目について は第 5図に示すように、 目の上下左右の 4点及び虹彩の中心点の計 5点を 特徵点として抽出する。 鼻、 口についても、 第 6図、 第 7図に夫々示され ている方法で、 特徴点の抽出が行われる。

実際の特徴点の抽出は、 第 1 2図のフローチヤ一卜には明示されていな いが、 以下の順序で行う。

まず、 虹彩を抽出する。 上に述べたように、 両虹彩の位置を求めること によって、 顔全体の大きさや傾きが推測可能である。'両虹彩の傾き （特徴 点を結んだ線分の傾き） が分かると、 入力された顔画像の傾きが分かるか ら、 まず虹彩の特徴点をステップ S 9で抽出したときには、 傾きを修正す るァフィン変換をステップ S 1 0でエツジ画像に対して行う。

ァフィ ン変換後は、 目の輪郭について特徴点抽出を行う。 目が抽出され ると、 眉の ίί [置も推測可能であるので、 眉についての特徴点抽出を行う。 さらに、 口を抽出することで、 鼻、 顎の位置の推測ができるので、 これら 部品の特徴点を抽出し、 最後に頭の頂点と頰の輪郭についての特徴点抽出 を行う。 特徴点の抽出は、 必ずしも上記の順序で行う必要はないが、 上記 の順序にしたがえば、 特徴点の抽出がスムーズに行える利点がある。 この ようにして、 全特徴点の抽出を行い、 特徴点抽出ルーチンを終了する。 <構造モデル整合処理ルーチン >

特徴点抽出部 13で合計 49個の特徴点 （第 3図参照） が抽出されると、 これら 49個の特徴点を用いて基準構造モデル （第 9図） の変形整合を行 う。 この変形整合は、 構造モデル整合部 15により行う。

基準構造モデルは、 第 9図に示すように 205点の頂点データとこれら 頂点を連結してできる 385個の 3角パッチによって構成される。 変形整 合に際して、 連結構造自体は不変であるので、 抽出された特徴点にしたがつ て、 頂点データを整合させることにより、 整合構造モデルを得ることがで さる。

この整合は、 次のルールにしたがって行う。

(a) 求める頂点が対応する特徴点そのものの場合 （例えば、 虹彩の中心、 目尻、 口の両端等） 、 抽出された特徴点の座標をそのまま用いる。

(b)求める頂点が、 特徴点そのものでない場合所定のルールにより、 特 徴点を 3個選定し、 これら 3個の特徴点の座標を用いて、 以下の要 領により線形補間を行う。

線形補間の方法を第 13図を参照しながら説明する。

第 13図において、 左側の 3角形 Ρ。Ρ,Ρ₂は、 基準構造モデル上の頂 点 qを取り囲む 3つの特徵点 Ρ₀, Ρ,, Ρ₂で形成される 3角形であり、 右側の ΔΡ₀' ΡΓ Ρ₂' は、 基準構造モデルの特徴点 Po. PL P₂に対 応して抽出された特徴点 Ρ₀' , Pi' , Ρ₂' で形成される 3角形である。 点 q ' は基準構造モデル上の上記頂点 Qを線形補間したときに得られる頂 点である。 いま、 特徴点 Po, Pい P₂の座標を （xo. y o) . y i) , (x₂, y₂) とし、 頂点 qの座標を （x, y) とし、 頂点 Qに対す る特徴点 Po， Pi. P₂の重みの比を m₀， m,, m₂とすると、 m₀, m m 2は以下の 3つの式を解くことによって求めることができる。

次に、 変形後の構造モデル即ち整合構造モデルの対応する特徴点 P , ΡΓ ， Ρ₂' の座標を （χ₀' , y₀' ) , (χΓ , y ） ， (χ₂' ， y₂' ) とすると、 目的の頂点座標 q' (χ' ， y' ) は、 上で求めた重 みの比 m₀， m_lt m₂を用いて以下の通りに求めることができる。

y =m。yQ + m i y i ' +m₂ y 2'

特徴点の選定ルールは以下の通りである。

規則 1. 3つの特徴点で 3角形が作れること。

規則 2. 変形前後で位相が変化しないこと。 即ち時計廻り方向の順序が変 わらないこと （Pn—Pi— Pz: Ρο' →Ρι' →Ρ₂' ) 。 規則 3. 3角形の内部に頂点 Qが存在すること。

規則 4. Po. Pi, P₂が可能な限り頂点 Qの近くに存在していること。 この線形補間は、 205点全部の頂点について行い。 これによつて第 1 0図に示す如き整合構造モデルを得ることができる。 なお、 基準構造モデ ルの外周部分は全て特徴点である必要があるため、 構造モデル整合部 15 において、 頭の周囲、 顎の周囲等は 2次関数等の関数で近似する。

<明度補正 >

この明度補正は、 撮像時の光源位置の相違等による誤判定を防ぐために 行う。

第 14図に示すように、 特徴量抽出部 16の後段に顔画像の明度を補正 する明度補正部 19を設ける。 この場合、 基準構造モデル部 14には、 各 パッチの法線べク トルをデータとして格納しておく。 つまり、 基準構造モ デルを立体化して、 各パッチの法線べク トルを予め与えておく。 そして、 特徵量抽出部 1 6は、 構造モデル整合部 1 5で得られた整合構造モデルに ついて、 各パッチの明度と法線べク トルを抽出する。 これら抽出された各 パッチの明度と法線べク トルとから、 光源の位置を推定する。 例えば、 顔 画像を上下左右に 4分割したときに、 各部分での明度分布をみれば、 光源 が撮影される顔に対してどの方向にあるかは推定できる。 推定された光源 の位置と個人データベース部 1 7内の個人特徴量作成時の光源の位置とが 異なる場合、 どちらか一方の光源に合うように明度を補正する。 即ち、 古 い光源方向の法線に近いパッチの明度を下げ、 新しい光源方向の法線に近 いパッチは明度を上げる。 このような明度補正をかければ、 異なる照明条 件下でも誤判定を有効に防止することができる。

以上、 本発明の実施例について詳述したが、 本発明は上記実施例に限定 されるものではなく、 当業者にとって自明な変更や修正は、 請求の範囲に 記載された技術的思想の範囲内において当然に含まれる。

産業上の利用可能性

本発明の構成によれば、 多数の小区画から抽出した特徴量を用いること により、 精度の高い個人識別、 本人確認を行うことができる。

Claims

請 求 の 範 囲

1. 識別すべき人物の顔画像を入力する画像入力部と、 画像入力部から入 力された顔画像情報を格納する画像記憶部と、 画像記憶部に格納された顔 画像から特徴点を抽出する特徵点抽出部と、 抽出された特徴点に基づいて 顔画像を所定のルールにより小区画に細分して、 小区画の集合として記述 するとともに、 小区画ごとの特徴量を抽出する特徴量抽出部と、 特徴量抽 出部によって抽出された特徴量と予め求めておいた本人の顔画像の特徴量 との距離を計算し、 本人か否かの識別を行なう判定部とからなる個人識別

2. 特徴量抽出部は、 基準とする顔の構造を小区画の集合で記述した基準 構造モデル部と、 特徴点抽出部で抽出された特徴点に基づいて、 基準構造 モデルを変形し、 入力された顔画像に整合させる構造モデル整合部とから なる請求項 1記載の個人識別装置。

3. 特徴量として、 各小区画における平均明度を用いる請求項 1記載の個 人識別装置。

4. 特徴量として、 小区画間の平均明度の差分を用いる請求項 1記載の個 人識別装置。

5. 小区画の平均明度の分布から光源の位置を推定し、 推定された光源の 位置に応じて小区画の平均明度を補正する請求項 3記載の個人識別装置。

6. 基準構造モデルが小区画とその法線べク トルで定義された立体モデル であり、 小区画毎の法線べク トルが平均明度とともに検出され、 法線べク トルおよび平均明度から光源の位置を推定する請求項 5記載の個人識別装