JP5529660B2 - 瞳孔検出装置及び瞳孔検出方法 - Google Patents

Description

本発明は、瞳孔検出装置及び瞳孔検出方法に関する。

夜間又はトンネル内などの照度が十分に確保できない環境において顔画像から視線検出又は表情検出を行なう場合、照度を確保するために、投光器を用いることがある。投光器を用いた場合、投光器が眼球の角膜上に映り込むことによって生ずる角膜反射像が、眼球上に観測される。この角膜反射像の画像（以下では、「角膜反射画像」と呼ばれることがある）が瞳孔画像と重なった場合、瞳孔画像が角膜反射画像によって隠されてしまうことがある。このような状況の下では、瞳孔画像が完全に見えていることを前提とする従来の瞳孔検出手法によっては、瞳孔画像の検出が困難になる。

このような課題に対応する第１の方法として、特許文献１に開示されている方法がある。この第１の方法では、目領域内で輝度の微分が算出され、この算出結果に基づいて、負のエッジとこれに対応する正のエッジとを探索する。これにより、瞳孔画像内に角膜反射画像が現れる場合でも、瞳孔検出を行なうことができる。

また、第２の方法として、特許文献２に開示されている方法がある。この第２の方法では、投光器にSLD(スーパールミネッセントダイオード）を用いられる。これにより、眼鏡又は角膜に映り込んだ投光器の反射像の面積を小さくすることができるので、瞳孔検出の安定化を図ることができる。

さらに、第３の方法として、非特許文献１に開示されている方法がある。この第３の方法では、瞳孔領域のエッジから複数の平行四辺形が生成され、各平行四辺形の中心に対して投票が為される。そして、最も多く投票された座標が瞳孔中心として検出される。そして、検出された瞳孔中心から等距離にあるエッジから瞳孔輪郭が検出される。

特開平２−２１３３２２号公報 特開平７−２４８２１６号公報

「高速楕円検出に基づく眼球回旋運動の計測（Measurement of Cycloduction Movement Based on Fast Ellipse Detection）」，坂下祐輔, 藤吉弘亘, 平田豊, 高丸尚教, 深谷直樹，SSII2006論文集

ところで、上記した第１の方法では、瞳孔輪郭に角膜反射像が重なった場合には、投光器の位置が変更され、瞳孔輪郭と角膜反射像とが重ならない状況を作る試みが為されている。しかしながら、複数の投光器を用いたり、又は、投光器の位置を変更したりすることが困難な場合には、瞳孔輪郭に角膜反射像が重なった状況を回避することは困難であり、結果として、瞳孔検出が困難となる。

また、上記した第２の方法では、角膜反射像の物理的な大きさを小さくすることで、瞳孔が角膜反射像によって隠されている領域を小さくしている。しかしながら、画像の解像度が十分に確保できない場合には、角膜反射像の物理的大きさに関わらず、角膜反射画像と瞳孔画像との大きさが略同じになってしまう。例えば、デジタル画像の原理上、画像上の角膜反射画像の直径は１画素以上であるが、解像度が低い場合には、瞳孔直径も最小で１画素程度まで小さくなりうる。このため、角膜反射像と瞳孔とが重なった場合には、瞳孔画像が角膜反射画像に隠される「被隠蔽面積」が画像上では大きくなってしまい、結果として、瞳孔検出が困難となる。

また、上記した第３の方法では、瞳孔輪郭候補となるエッジ画素から４点ずつ抽出することにより、複数の平行四辺形を生成し、最も平行四辺形の中心となることの多い画素を瞳孔中心としている。しかしながら、瞳孔中心に関して対称な位置にあるエッジが観測されない場合には、瞳孔中心部分に平行四辺形の中心が来ることは少ない。このため、瞳孔が角膜反射像によって半分以上隠されている状況では、瞳孔検出が困難となる。

本発明は、かかる点に鑑みてなされたものであり、角膜反射像によって瞳孔の大部分が隠されてしまっている場合でも、瞳孔を安定して検出することができる瞳孔検出装置及び瞳孔検出方法を提供することを目的とする。

本発明の瞳孔検出装置は、目領域画像内の瞳孔画像を検出する瞳孔検出装置であって、前記目領域画像の高輝度画像領域である角膜反射画像を検出する第１の検出手段と、前記角膜反射画像内の基準点を一端とし且つ所定の長さを持つ複数の線分を設定し、各線分における各画素の輝度及び基準輝度に基づいて輝度評価値を算出する評価値算出手段と、前記輝度評価値に基づいて、前記複数の線分の中から前記瞳孔画像の中心を通る瞳孔中心直線を特定する特定手段と、前記瞳孔中心直線の周辺における輝度状態、又は、前記瞳孔中心直線上の輝度状態に基づいて、前記瞳孔画像を検出する第２の検出手段と、を具備する。

本発明の瞳孔検出方法は、目領域画像内の瞳孔画像を検出する瞳孔検出方法であって、前記目領域画像の高輝度画像領域である角膜反射画像を検出し、前記角膜反射画像内の基準点を一端とし且つ所定の長さを持つ複数の線分を設定し、各線分における各画素の輝度及び基準輝度に基づいて輝度評価値を算出し、前記輝度評価値に基づいて、前記複数の線分の中から前記瞳孔画像の中心を通る瞳孔中心直線を特定し、前記瞳孔中心直線の周辺における輝度状態、又は、前記瞳孔中心直線上の輝度状態に基づいて、前記瞳孔画像を検出する。

本発明によれば、角膜反射像によって瞳孔の大部分が隠されてしまっている場合でも、角膜反射像の情報を積極的に利用することにより、瞳孔を安定して検出することができる瞳孔検出装置及び瞳孔検出方法を提供することができる。

本発明の実施の形態１に係る瞳孔検出装置の構成を示すブロック図 目領域検出部の構成を示すブロック図 瞳孔検出装置の動作説明に供するフロー図 ターゲット画像である顔画像を示す図 角膜反射画像検出処理及び輝度評価値算出処理の説明に供する図 輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係の一例を示す図 輝度評価値算出処理の説明に供する図 瞳孔探索処理の説明に供する図 本発明の実施の形態２に係る瞳孔検出装置の構成を示すブロック図 瞳孔検出装置の動作説明に供するフロー図 本発明の実施の形態３に係る瞳孔検出装置の構成を示すブロック図 瞳孔検出装置の動作説明に供するフロー図 本発明の実施の形態４に係る瞳孔検出装置の構成を示すブロック図 本発明の実施の形態５に係る瞳孔検出装置の構成を示すブロック図 瞳孔中心直線算出部の動作説明に供する図 本発明の実施の形態６に係る瞳孔検出装置の構成を示すブロック図 瞳孔探索部の動作説明に供する図 本発明の実施の形態７に係る瞳孔検出装置の構成を示すブロック図 瞳孔探索部の動作説明に供する図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

［実施の形態１］
［瞳孔検出装置１００の構成］
図１は、本発明の実施の形態１に係る瞳孔検出装置１００の構成を示すブロック図である。瞳孔検出装置１００は、例えば、自動車の車室内に設けられ、視線検出装置と接続されて使用される。この視線検出装置は、瞳孔検出装置１００の検出結果に基づいて瞳孔位置を決定し、ドライバーの視線方向を検出する。以下では、特に、瞳孔検出装置１００が視線検出装置に適用された場合について説明する。

図１において、瞳孔検出装置１００は、目領域画像取得部１０１と、角膜反射像検出部１０２と、瞳孔状態予測部１０３と、瞳孔状態記憶部１０４と、周辺状態評価部１０５と、瞳孔中心直線算出部１０６と、瞳孔探索部１０７とを有する。

目領域画像取得部１０１は、目領域画像を取得し、角膜反射像検出部１０２へ出力する。

具体的には、目領域画像取得部１０１は、画像入力部１１１と、目領域検出部１１２とを有する。

画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。このターゲット画像データは、目領域検出部１１２へ出力される。

画像入力部１１１は、例えば、車のハンドルの上、又は、ダッシュボード上など、運転席の正面に設置される。これにより、画像入力部１１１によって運転中の運転者の顔が撮影される。

目領域検出部１１２は、画像入力部１１１から受け取るターゲット画像から、目領域画像を検出する。

具体的には、目領域検出部１１２は、図２に示すように、顔検出部１２１と、顔部品検出部１２２と、目領域決定部１２３とを有する。

顔検出部１２１は、画像入力部１１１から受け取るターゲット画像から顔画像を検出し、顔画像データを顔部品検出部１２２へ出力する。

顔部品検出部１２２は、顔検出部１２１から受け取る顔画像から顔部品群（つまり、目尻、目頭など）を検出し、各顔部品の位置座標を目領域決定部１２３へ出力する。

目領域決定部１２３は、顔部品検出部１２２から受け取る、各顔部品の位置座標に基づいて、目領域画像の位置、大きさを決定する。この目領域画像の位置、および大きさは、目領域画像検出結果として、画像入力部１１１から出力されたターゲット画像と共に角膜反射像検出部１０２へ出力される。なお、目領域画像の位置及び大きさは、右目及び左目のそれぞれについて算出される。

図１に戻り、角膜反射像検出部１０２は、目領域画像取得部１０１から受け取るターゲット画像データから角膜反射画像を検出し、検出された角膜反射画像に関する情報を周辺状態評価部１０５へ出力する。この角膜反射画像に関する情報には、角膜反射画像領域の中心の座標が含まれる。

周辺状態評価部１０５は、角膜反射画像を基準とする放射方向についての「輝度評価値」を算出する。すなわち、周辺状態評価部１０５は、輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係を算出する。

具体的には、周辺状態評価部１０５は、角膜反射像検出部１０２で検出された角膜反射画像内に基準点を設定し、当該基準点を一端とし且つ所定の長さを持つ複数の線分を設定する。その複数の線分は、基準方向から所定角度ずつ回転されることにより、順次設定される。線分の所定の長さは、ここでは、角膜反射画像と瞳孔画像とが重なっている場合を前提としているので、推定される瞳孔画像の直径（以下では、「推定瞳孔直径」と呼ばれることがある）とされる。推定瞳孔直径は、瞳孔状態予測部１０３によって推定される。なお、角膜反射画像と瞳孔画像とが重なっていない場合も含めて処理を行う場合には、線分の長さを推定瞳孔直径より長く設定すれば良い。

そして、周辺状態評価部１０５は、各線分における各画素の輝度及び基準輝度に基づいて、輝度評価値を算出する。詳細には、周辺状態評価部１０５は、各線分における各画素の輝度と基準輝度とを比較し、基準輝度よりも低い輝度を持つ画素を抽出し、抽出された全ての画素についての輝度と基準輝度との差の総和を輝度評価値として算出する。すなわち、輝度評価値は、次の式（１）を用いて求められる。

ここで、Ｖは輝度評価値であり、Ｓは、基準輝度として用いられる強膜平均輝度であり、Ｂは、線分上の各画素の輝度であり、Ｌは、線分である。

瞳孔中心直線算出部１０６は、周辺状態評価部１０５で算出された輝度評価値に基づいて、瞳孔画像の中心を通る線分（以下では、「瞳孔中心直線」と呼ばれることがある）を特定する。具体的には、瞳孔中心直線算出部１０６は、周辺状態評価部１０５で算出された輝度評価値の最も大きい線分を瞳孔中心直線として特定する。

瞳孔探索部１０７は、瞳孔中心直線の周辺における輝度状態に基づいて、瞳孔画像を探索する。具体的には、瞳孔探索部１０７は、瞳孔中心直線算出部１０６で特定された瞳孔中心直線と、上記した推定瞳孔直径を含む直径候補群とに基づいて瞳孔画像領域候補を順次設定し、瞳孔画像領域候補内の輝度状態に基づいて瞳孔画像領域候補群の内から瞳孔画像領域（つまり、最も瞳孔画像領域らしい領域）を検出することにより、瞳孔画像領域を探索する。

具体的には、瞳孔探索部１０７は、瞳孔中心直線上に中心が存在し、且つ、直径候補群の内の１つの直径候補を直径とする円を瞳孔画像領域候補として設定し、当該瞳孔画像領域候補内の輝度状態指標を算出する。この輝度状態指標には、ここでは設定された瞳孔画像領域候補内の画素群の内、基準輝度よりも輝度の低い画素群の平均輝度が用いられる。すなわち、輝度状態指標は、次の式（２）を用いて求められる。

ここで、Ｘは、瞳孔画像領域候補の輝度状態指標であり、Ｐは、瞳孔画像領域候補、つまり、瞳孔中心直線上に中心が存在し、且つ、直径候補群の内の１つの直径候補を直径とする円である。すなわち、式（２）の分母では、瞳孔画像領域候補内で基準輝度よりも輝度の低い画素の数がカウントされる一方、分子では、瞳孔画像領域候補内で基準輝度よりも輝度の低い画素の輝度の総和が求められている。

この輝度状態指標が各瞳孔画像領域候補（つまり、中心位置及び直径候補の組み合わせの異なる各瞳孔画像領域候補）について求められ、瞳孔画像領域候補群の内、輝度状態指標が最も小さいものが瞳孔画像領域として特定される。

以上のようにして特定された瞳孔画像領域に関する情報（つまり、中心位置及び直径に関する情報）は、瞳孔状態記憶部１０４に記憶されると共に、後段の機能部である視線検出部（図示せず）における視線検出処理に用いられる。なお、ここでは、複数の直径候補を用意したが、推定瞳孔直径のみを用いても良い。これにより、瞳孔直径の変動が少ない撮影環境においては瞳孔検出精度も維持することができると共に、処理量を低減できる。

瞳孔状態記憶部１０４は、瞳孔探索部１０７で検出された瞳孔画像領域に関する情報（つまり、中心位置及び直径に関する情報）を、瞳孔画像領域の検出に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

瞳孔状態予測部１０３は、瞳孔状態記憶部１０４に保存された過去の検出瞳孔直径（つまり、瞳孔画像領域の直径）から、現在の瞳孔の直径を推定する。この推定瞳孔直径は、周辺状態評価部１０５および瞳孔探索部１０７へ出力される。

［瞳孔検出装置１００の動作］
以上の構成を有する瞳孔検出装置１００の動作について説明する。図３は、瞳孔検出装置１００の動作説明に供するフロー図である。図３のフロー図には、上記した視線検出装置における処理フローも含まれている。

図３に示す処理フローは、撮影作業の開始と共にスタートする。撮影作業は、ユーザの操作によって開始されても良いし、外的な何らかの信号をトリガとして開始されても良い。

＜画像取得処理＞
ステップＳ２０１で画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。これにより、ターゲット画像が取得される。

画像入力部１１１としては、例えば、ＣＭＯＳイメージセンサとレンズを備えたデジタルカメラが想定される。従って、画像入力部１１１で撮像されたＰＰＭ（Portable Pix Map file format）形式の画像等が、画像入力部１１１に含まれる、図示されていない画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶された後、ＰＰＭ形式のまま目領域検出部１１２へ出力される。

＜顔画像検出処理＞
ステップＳ２０２で顔検出部１２１は、画像入力部１１１から受け取るターゲット画像から顔画像を検出する。図４は、ターゲット画像である顔画像を示す図である。なお、撮像した顔画像では、例えば、画像横方向をＸ軸、画像縦方向をＹ軸とし、１画素が１座標点である。

顔領域検出処理では、例えば、入力画像から、特徴となる画像の候補（つまり、特徴画像候補）を抽出し、抽出された特徴画像候補と、あらかじめ用意した顔領域を表す特徴画像とを比較することにより、類似度の高い特徴画像候補を検出する。類似度は、例えば、あらかじめ取得した平均顔のガボール特徴量と、入力画像をスキャンすることにより抽出されるガボール特徴量とを照合し、両者の差分の絶対値の逆数として求められる。

この場合、顔検出部１２１は、あらかじめ用意したテンプレートと比べて、図４の画像４００の中で最も相関の高い領域を、顔画像４０１として特定する。なお、顔領域検出処理は、画像中から肌色領域を検出すること（つまり、肌色領域検出）によって行われても良いし、楕円部分を検出すること（つまり、楕円検出）により行われても良いし、統計的パターン識別手法を用いることにより行われても良い。その他、上記顔検出を行うことができる技術であれば、どのような方法が採用されても良い。

＜顔部品検出処理＞
ステップＳ２０３で顔部品検出部１２２は、顔検出部１２１から受け取る顔画像から顔部品群（つまり、口角、目尻、目頭など）を検出し、各顔部品の位置座標を目領域決定部１２３へ出力する。顔部品群の探索領域は、ステップＳ２０２で特定された顔領域４０１である。図４には、それぞれ顔部品群４０２が示されている。

顔部品群検出処理では、例えば、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の端点又は鼻の穴などの２次元座標が検出される。また、あらかじめ複数の顔画像と顔画像に対応する顔部品の位置との対応関係を学習器に学習させておき、顔部品検出部１２２は、顔画像４０１が入力された際に、その対応関係に関して最も尤度が高い場所を顔部品として検出しても良い。又は、顔部品検出部１２２は、標準的な顔部品のテンプレートを用いて、顔画像４０１内から顔部品を探索しても良い。

＜目領域決定処理＞
ステップＳ２０４で、目領域決定部１２３は、顔検出部１２１から受け取る顔画像と、顔部品検出部１２２から受け取る顔部品群から、目の領域を決定する。

目領域決定処理では、例えば、左右それぞれの目において、目尻、目頭を含む矩形領域４０３を目領域として決定し、矩形の左上端点座標と、右下端点座標を、目領域情報として取得する。

＜角膜反射画像検出処理＞
ステップＳ２０５で、角膜反射像検出部１０２は、顔検出部１２１から受け取る顔画像と目領域決定部１２３から受け取る目領域情報から、角膜反射画像を検出する。具体的には、角膜反射像検出部１０２は、図５に示すように、目領域４０３内で角膜反射画像５０１の中心座標を検出する。角膜反射像検出部１０２は、例えば、目領域４０３内で、輝度分布を作成し、作成された輝度分布を用いて、所定の輝度以上の領域であって領域の大きさが所定の大きさの範囲内である領域を角膜反射画像として検出し、その領域の重心を角膜反射画像の中心とする。

＜推定瞳孔直径算出処理＞
ステップＳ２０６で、瞳孔状態予測部１０３は、瞳孔状態記憶部１０４に保存された過去の検出瞳孔直径から、現在の瞳孔直径として推定瞳孔直径を算出する。推定瞳孔直径は、例えば、過去の検出瞳孔直径の履歴から瞳孔直径の変化する速度を算出し、当該瞳孔直径変化速度を維持した場合の瞳孔直径を推定瞳孔直径とする。ただし、推定瞳孔直径の算出は、上記方法に限らず、例えば、瞳孔直径の変化が小さくなる方向であれば常に人の平均的な最大縮瞳速度を用い、大きくなる方向であれば、最大散瞳速度を用いても良い。又は、カルマンフィルタなどを用いた状態予測によって、推定瞳孔直径が求められても良い。

＜輝度評価値算出処理＞
ステップＳ２０７で、周辺状態評価部１０５は、角膜反射像検出部１０２で作成された角膜反射画像を含む画像領域の輝度分布から、輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係を算出する。図６は、輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係の一例を示す。

具体的には、周辺状態評価部１０５は、まず、目領域内で、角膜反射画像像の中心から、平均的な角膜半径（例えば５mm）以上離れている領域の平均輝度を、強膜平均輝度として算出する。この強膜平均輝度は、上記した基準輝度として用いられる。

次に、周辺状態評価部１０５は、図５に示すように、角膜反射像検出部１０２で検出された角膜反射画像内に基準点（ここでは、角膜反射画像領域の中心）を設定し、当該基準点を一端とし、且つ、推定瞳孔直径の長さを持つ線分５０２を設定する。

そして、周辺状態評価部１０５は、各線分５０２における各画素の輝度及び基準輝度に基づいて、輝度評価値を算出する。この輝度評価値は、基準輝度よりも低い輝度を持つ画素を抽出し、抽出された全ての画素についての輝度と基準輝度との差の総和として求められる。

この算出処理が、図７に示すように、基準方向から所定角度ずつ回転されることによって順次設定される複数の線分５０２のそれぞれについて行われる。

ここで、角膜に対応する画像、又は、眼鏡若しくは角膜上に外光が映り込んだ画像領域は、瞳孔に対応する画像よりも輝度が高い。従って、強膜に対応する画像領域の輝度を基準として、当該基準輝度よりも輝度の低い画素のみを抽出することにより、瞳孔に対応する画像領域ではない可能性の高い画素の影響を排除することができる。そして、瞳孔に対応する画像領域である可能性の高い、低輝度の画素のみを対象として輝度評価値を算出することにより、瞳孔中心直線の検出精度を高める評価値を得ることができる。

＜瞳孔中心直線検出処理＞
ステップＳ２０８で、瞳孔中心直線算出部１０６は、周辺状態評価部１０５で算出された輝度評価値に基づいて、瞳孔中心直線を特定する。具体的には、瞳孔中心直線算出部１０６は、周辺状態評価部１０５で算出された輝度評価値の最も大きい線分を瞳孔中心直線として特定する。なお、所定の角度範囲内の輝度評価値の和が最も高い範囲の重み付き平均をとることによって、瞳孔中心直線の基準方向に対する角度を検出しても良い。この場合、角膜反射画像領域の中心を通り、且つ、検出角度方向に延びる直線が、瞳孔中心直線とされる。

＜瞳孔探索処理＞
ステップＳ２０９で、瞳孔探索部１０７は、図８に示すように、瞳孔中心直線算出部１０６で特定された瞳孔中心直線と、上記した推定瞳孔直径を含む直径候補群とに基づいて瞳孔画像領域候補を順次設定し、瞳孔画像領域候補内の輝度状態に基づいて瞳孔画像領域候補群の内から瞳孔画像領域（つまり、最も瞳孔画像領域らしい領域）を検出することにより、瞳孔画像領域を探索する。なお、図８では、推定瞳孔直径の瞳孔画像領域候補群のみが示されている。

具体的には、瞳孔探索部１０７は、瞳孔中心直線上に中心が存在し、且つ、直径候補群の内の１つの直径候補を直径とする円を瞳孔画像領域候補として設定し、当該瞳孔画像領域候補内の輝度状態指標を算出する。この輝度状態指標には、ここでは、設定された瞳孔画像領域候補内の画素群の内、基準輝度よりも輝度の低い画素群の平均輝度が用いられる。

＜瞳孔画像領域情報の保存処理＞
ステップＳ２１０で、瞳孔状態記憶部１０４は、瞳孔探索部１０７で検出された瞳孔画像領域に関する情報（つまり、中心位置及び直径に関する情報）を、瞳孔画像領域の検出に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

＜視線検出処理＞
ステップＳ２１１で、視線検出部（図示せず）は、視線を検出する。

視線検出は、例えば、顔部品群４０２の座標から算出される顔の正面方向の向きを表す顔向きベクトルと、目尻、目頭、瞳孔中心の座標から算出される顔の正面方向に対する視線方向ベクトルから算出される。

顔向きベクトルは、例えば、以下の手順で算出される。まず、あらかじめ取得した運転者の顔部品群の三次元座標を回転および並進させることにより変換する。そして、変換した三次元座標を、瞳孔検出に使用されたターゲット画像に投影する。そして、ステップＳ２０３で検出した顔部品群と最も一致する回転・並進パラメータを算出する。このとき、あらかじめ運転者の顔部品群の三次元座標を取得した際に、運転者の顔が向いている方向を表すベクトルと、決定された回転パラメータによって回転したベクトルとの組みが、顔向きベクトルである。

また、視線方向ベクトルは、例えば、以下の手順で算出される。まず、あらかじめ、所定の方向を顔が向いている場合に、顔向きと同じ方向を見ている際の運転者の顔部品群と瞳孔中心の三次元座標とを記憶する。瞳孔中心の検出は、例えば、目領域内において所定の輝度以下の画素の重心をとることで行なわれる。次に、検出した瞳孔の三次元座標から、視線方向と反対側に所定の距離だけ移動した位置を眼球中心位置として算出する。このとき、上記所定の距離は、一般的な成人眼球の半径である１２ｍｍ程度が適当であるが、上記値に限らず、任意の値を用いても良い。次に、顔向きベクトル算出時に取得した顔の回転・並進パラメータを用いて、検出時の眼球中心の三次元座標を求める。次に、眼球中心を中心とし、半径が上記所定の距離である球上に瞳孔があると想定し、検出された瞳孔中心が上記球上のどこにあるか探索する。最後に、眼球中心と探索された球上の点を結ぶベクトルを視線方向として算出する。

＜終了判定処理＞
ステップＳ２１２では、終了判定が行なわれる。終了判定は、人手による終了命令の入力によって行われても良いし、外的な何らかの信号をトリガに瞳孔検出装置１００により行われても良い。

ステップＳ２１２で終了すると判定された場合に、図３の処理が終了する。

以上のように本実施の形態によれば、瞳孔検出装置１００において、周辺状態評価部１０５が、角膜反射画像内の基準点を一端とし且つ所定の長さを持つ複数の線分を設定し、各線分における各画素の輝度及び基準輝度に基づいて輝度評価値を算出し、瞳孔中心直線算出部１０６が、輝度評価値に基づいて、複数の線分の中から瞳孔画像の中心を通る瞳孔中心直線を特定し、瞳孔探索部１０７が、瞳孔中心直線の周辺における輝度状態に基づいて、瞳孔画像を検出する。

こうして、角膜反射画像を基準として設定した線分における輝度評価値に基づいて瞳孔中心直線を特定した後に、その瞳孔中心直線の周辺の輝度状態に基づいて瞳孔画像を検出するので、角膜反射像の情報を積極的に利用し且つ安定した瞳孔検出を実現することができる。

また、周辺状態評価部１０５は、各線分について、各画素の輝度と前記基準輝度とを比較し、基準輝度よりも低い輝度を持つ画素を抽出し、抽出された全ての画素についての輝度と基準輝度との差の総和を、輝度評価値として算出する。

また、瞳孔中心直線算出部１０６は、輝度評価値の最も大きい線分を、瞳孔中心直線として特定する。

また、設定される線分の所定の長さは、瞳孔状態予測部１０３によって、過去の検出瞳孔直径から推定された推定瞳孔直径が用いられる。ただし、この所定の長さとしては、予め定められた規定値が用いられても良い。

また、基準輝度としては、強膜平均輝度が用いられる。

［実施の形態２］
実施の形態２では、基準輝度として、検出瞳孔画像に基づいて直近に算出された強膜平均輝度が用いられる。

図９は、本発明の実施の形態２に係る瞳孔検出装置６００の構成を示すブロック図である。図９において、瞳孔検出装置６００は、周辺状態評価部６０１と、強膜平均輝度算出部６０２と、強膜平均輝度記憶部６０３とを有する。

周辺状態評価部６０１は、周辺状態評価部１０５と同様に、輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係を算出する。ただし、ここでは、周辺状態評価部６０１は、強膜平均輝度記憶部６０３から受け取る、検出瞳孔画像に基づいて直近に算出された強膜平均輝度を、基準輝度として用いる。

強膜平均輝度算出部６０２は、瞳孔探索部１０７によって検出された瞳孔中心の座標を用いて強膜平均輝度を算出し、強膜平均輝度記憶部６０３へ出力する。

強膜平均輝度記憶部６０３は、強膜平均輝度算出部６０２で算出された強膜平均輝度を、当該強膜平均輝度の算出に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

以上の構成を有する瞳孔検出装置６００の動作について説明する。図１０は、瞳孔検出装置６００の動作説明に供するフロー図である。

ステップＳ７０１で、周辺状態評価部６０１は、基準輝度として、検出瞳孔画像に基づいて直近に算出された強膜平均輝度を用いて、輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係を算出する。

ステップＳ７０２で、強膜平均輝度算出部６０２は、ターゲット画像、ステップＳ２０５で算出した角膜反射画像、並びに、ステップＳ２０９で算出した瞳孔中心及び検出瞳孔直径から、ターゲット画像上の強膜平均輝度を算出する。

具体的には、目領域内において、角膜反射画像以上の輝度を持つ画素と、瞳孔中心を中心とし且つ検出瞳孔直径を直径とする円内に属する画素とを除いた、画素の平均輝度を強膜平均輝度とする。

ステップＳ７０３で、強膜平均輝度記憶部６０３は、ステップＳ７０２で算出した強膜平均輝度を、当該強膜平均輝度の算出に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

以上のように本実施の形態２によれば、瞳孔検出装置６００において、周辺状態評価部６０１が、検出瞳孔画像に基づいて直近に算出された強膜平均輝度を基準輝度として、輝度評価値を算出する。

こうすることで、瞳孔検出精度を向上させることができる。

［実施の形態３］
実施の形態３では、瞳孔探索処理において設定される直径候補を、照度に応じて調整する。

図１１は、本発明の実施の形態３に係る瞳孔検出装置８００の構成を示すブロック図である。図１１において、瞳孔検出装置８００は、照度計測部８０１と、照明状態記憶部８０２と、照明状態推定部８０３と、瞳孔探索部８０４とを有する。

照度計測部８０１は、ターゲット画像の撮影時における照度を計測し、照明状態記憶部８０２及び照明状態推定部８０３へ出力する。

照明状態記憶部８０２は、照度計測部８０１から受け取る照度を、撮影時刻と対応付けて記憶する。

照明状態推定部８０３は、照度計測部８０１から受け取る第１の照度と、照明状態記憶部８０２に記憶されている、第１の照度の直前に計測された第２の照度とを比較し、比較結果を瞳孔探索部８０４へ出力する。

瞳孔探索部８０４は、実施の形態１の瞳孔探索部１０７と同様に、瞳孔中心直線算出部１０６で特定された瞳孔中心直線と、上記した推定瞳孔直径を含む直径候補群とに基づいて瞳孔画像領域候補を順次設定し、瞳孔画像領域候補内の輝度状態に基づいて瞳孔画像領域候補群の内から瞳孔画像領域（つまり、最も瞳孔画像領域らしい領域）を検出することにより、瞳孔画像領域を探索する。

ただし、瞳孔探索部８０４は、照明状態推定部８０３から受け取る比較結果に関する情報に基づいて、上記した直径候補を調整する。

具体的には、瞳孔探索部８０４は、第１の照度が第２の照度よりも低い場合（つまり、今回の照度が前回の照度よりも低い場合）には、直径候補を大きくする一方、逆の場合には、直径候補を小さくする。

以上の構成を有する瞳孔検出装置８００の動作について説明する。図１２は、瞳孔検出装置８００の動作説明に供するフロー図である。

ステップＳ９０１で、照度計測部８０１は、撮影環境の照度を計測する。

ステップＳ９０２で、照明状態記憶部８０２は、ステップＳ９０１で計測した照度をターゲット画像の撮像時刻と対応付けて記憶する。

ステップＳ９０３で、瞳孔探索部８０４は、照明状態推定部８０３から受け取る比較結果に関する情報に基づいて直径候補を調整し、瞳孔中心直線算出部１０６で特定された瞳孔中心直線と、調整された直径候補とに基づいて瞳孔画像領域候補を順次設定し、瞳孔画像領域候補内の輝度状態に基づいて瞳孔画像領域候補群の内から瞳孔画像領域を検出することにより、瞳孔画像領域を探索する。

以上のように本実施の形態によれば、瞳孔検出装置８００において、瞳孔探索部８０４が、ターゲット画像の撮影時の照度に基づいて、直径候補を調整する。

こうすることで、ターゲット画像の撮影時の瞳孔状態を反映させた直径候補を設定することができるので、瞳孔検出に掛かる時間を短縮することができる。

［実施の形態４］
実施の形態４は、輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係から、瞳孔中心直線を特定する方法のバリエーションに関する。

図１３は、本発明の実施の形態４に係る瞳孔検出装置１０００の構成を示すブロック図である。図１３において、瞳孔検出装置１０００は、瞳孔中心直線算出部１００１を有する。

瞳孔中心直線算出部１００１は、周辺状態評価部１０５で算出された輝度評価値に基づいて、瞳孔中心直線を特定する。具体的には、瞳孔中心直線算出部１００１は、所定の角度範囲を有する平均算出範囲を、その基準角度をずらしながら順次設定し、各平均算出範囲内に属する角度に対して、上記した対応関係で対応付けられている輝度評価値の平均値を算出する。ここで、平均算出範囲は、例えば、基準角度を中心として±３度程度である。そして、瞳孔中心直線算出部１００１は、平均値が最大となる平均算出範囲の基準角度に対応する線分を瞳孔中心直線として特定する。

こうして、所定の角度範囲を有する平均算出範囲で輝度評価値の平均値を算出することにより、基準角度だけでなくその周辺範囲の状況も考慮された評価値を得ることができる。

［実施の形態５］
実施の形態５は、実施の形態４と同様に、輝度評価値と、当該輝度評価値の算出された放射方向と基準方向とのなす角度との対応関係から、瞳孔中心直線を特定する方法のバリエーションに関する。

図１４は、本発明の実施の形態４に係る瞳孔検出装置１１００の構成を示すブロック図である。図１４において、瞳孔検出装置１１００は、瞳孔中心直線算出部１１０１を有する。

瞳孔中心直線算出部１１０１は、周辺状態評価部１０５で算出された輝度評価値に基づいて、瞳孔中心直線を特定する。具体的には、瞳孔中心直線算出部１１０１は、上記した対応関係において、任意の角度を中心とし所定の角度幅を有する角度範囲であって、輝度評価値がその中心を基準として対称となる複数の角度範囲の内、中心の輝度評価値が最大となる角度範囲の中心角度に対応する線分を瞳孔中心直線として特定する。すなわち、瞳孔中心直線算出部１１０１は、輝度評価値の分布が周辺で対称になる複数の角度の内、輝度評価値が最大となる角度に対応する線分を瞳孔中心直線として特定する。

詳細には、瞳孔中心直線算出部１１０１は、上記した対応関係を表す曲線を角度で微分し、微分値の正負が切り替わる角度を抽出する。そして、瞳孔中心直線算出部１１０１は、抽出した角度群の内、最大の輝度評価値を持つ角度に対応する線分を瞳孔中心直線として特定する。

以上のような瞳孔中心直線の特定方法によれば、図１５における、ピークＰ１２０１は除外される一方、ピークＰ１２０２が選択されることになる。

ここで、瞳孔は略円形であるので、瞳孔中心を通る直線に対して線対称の形状をしている。そのため、輝度評価値も、瞳孔中心直線を中心に対称な分布をとることになる。上記したように、この特性を利用して瞳孔中心直線を特定することにより、画像のノイズ、又は、まつげなどの誤検出要因によって、瞳孔中心を通る直線の角度以外の角度が最大の輝度評価値を持つことによる誤検出を軽減することができる。

［実施の形態６］
実施の形態６は、瞳孔探索処理のバリエーションに関する。

図１６は、本発明の実施の形態６に係る瞳孔検出装置１３００の構成を示すブロック図である。図１６において、瞳孔検出装置１３００は、瞳孔探索部１３０１を有する。

瞳孔探索部１３０１は、瞳孔中心直線上の輝度状態に基づいて、瞳孔画像を探索する。具体的には、瞳孔探索部１３０１は、角膜反射像検出部１０２で作成された画像領域の輝度分布から、瞳孔中心直線上の各点における輝度勾配（角膜反射画像の中心から離れる方向での輝度勾配）を算出し、輝度勾配が最も大きい点を瞳孔の輪郭上の点（つまり、瞳孔輪郭点）として選択する。そして、瞳孔探索部１３０１は、瞳孔中心直線上で、瞳孔輪郭点から角膜反射画像の中心に向けて、推定瞳孔直径の半分（つまり、推定瞳孔半径）だけ離れた点を瞳孔中心として検出する。

すなわち、輝度に関しては、角膜反射画像、角膜画像、瞳孔画像の順番で低くなる。このため、角膜反射画像の中心から離れる方向での輝度勾配を算出すると、図１７に示すように、角膜反射画像と瞳孔画像との境界で輝度勾配が低くなり（つまり、輝度勾配がマイナスとなり）、瞳孔画像と角膜（角膜反射画像部分を除く）との境界で輝度勾配が最も高くなる。従って、上記したように、輝度勾配が最も大きい点を選択することにより、瞳孔輪郭点を特定することができ、この瞳孔輪郭点から瞳孔中心を特定することができる。

［実施の形態７］
実施の形態７は、実施の形態６と同様に、瞳孔探索処理のバリエーションに関する。実施の形態７では、瞳孔探索処理に分離度フィルタが用いられる。

図１８は、本発明の実施の形態７に係る瞳孔検出装置１４００の構成を示すブロック図である。図１８において、瞳孔検出装置１４００は、瞳孔探索部１４０１を有する。

瞳孔探索部１４０１は、瞳孔中心直線の周辺における輝度状態に基づいて、瞳孔画像を探索する。具体的には、瞳孔探索部１４０１は、分離度フィルタの基準点を瞳孔中心直線上に合わせた状態で分離度フィルタを順次移動させ、基準点の位置する各ポイントで分離度ηを算出し、分離度ηの最も大きいポイントを瞳孔中心として検出する。

ここで、分離度フィルタは、図１９に示すように、推定瞳孔直径を直径とする円状の領域１と、その周辺領域である領域２とから構成される。また、分離度フィルタは、次の式（３）によって表される。

式（３）において、ｎ_１、ｎ_２、Ｎは、それぞれ領域１、領域２、領域全体（つまり、領域１＋領域２）の画素数を表し、σ_Ｔは、領域全体の全分散値を表し、σ_ｂは、領域１と領域２との級間分散値を表す。また、Ｐ_ｉは、位置ｉの輝度値を表し、Ｐ_１、Ｐ_２、Ｐ_ｍはそれぞれ領域１、領域２、領域全体の平均輝度値を表す。ただし、領域１又は領域２内に角膜反射画像が存在する場合には、領域１又は領域２から角膜反射画像の部分を除いて、分離度ηを算出する。

すなわち、分離度ηの値が大きい程、領域１及び領域２のそれぞれにおける輝度が均一であり、且つ、領域１と領域２との輝度差が大きい傾向を表す。そのため、領域１が瞳孔画像と一致し、且つ、領域２が虹彩画像（つまり、瞳孔画像の周辺の画像領域）と一致するときに、分離度ηの値が最大となる。これは、瞳孔画像の輝度は低く、虹彩の輝度が高いためである。

従って、上記したように、分離度フィルタの基準点を瞳孔中心直線上に合わせた状態で分離度フィルタを順次移動させ、基準点の位置する各ポイントで分離度ηを算出し、分離度ηの最も大きいポイントを特定することにより、瞳孔中心を特定することができる。

なお、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

上記各実施の形態で説明した瞳孔検出装置は、パーソナルコンピュータ、ＯＡ機器、携帯電話などの情報端末、又は、自動車、飛行機、船、電車などの移動手段に搭載される情報提供装置に適用して有用である。また、監視装置、警報装置、ロボット、映像音響再生装置などにも適用することができる。

本発明の瞳孔検出装置及び瞳孔検出方法は、角膜反射像によって瞳孔の大部分が隠されてしまっている場合でも、角膜反射像の情報を積極的に利用することにより、瞳孔を安定して検出することができるものとして有用である。

１００，６００，８００，１０００，１１００，１３００，１４００ 瞳孔検出装置
１０１ 目領域画像取得部
１０２ 角膜反射像検出部
１０３ 瞳孔状態予測部
１０４ 瞳孔状態記憶部
１０５，６０１ 周辺状態評価部
１０６，１００１，１１０１ 瞳孔中心直線算出部
１０７，８０４，１３０１，１４０１ 瞳孔探索部
１１１ 画像入力部
１１２ 目領域検出部
１２１ 顔検出部
１２２ 顔部品検出部
１２３ 目領域決定部
６０２ 強膜平均輝度算出部
６０３ 強膜平均輝度記憶部
８０１ 照度計測部
８０２ 照明状態記憶部
８０３ 照明状態推定部

Claims (11)

1. 目領域画像内の瞳孔画像を検出する瞳孔検出装置であって、
   前記目領域画像の高輝度画像領域である角膜反射画像を検出する第１の検出手段と、
   前記角膜反射画像内の基準点を一端とし且つ所定の長さを持つ複数の線分を設定し、各線分における各画素の輝度及び基準輝度に基づいて輝度評価値を算出する評価値算出手段と、
   前記輝度評価値に基づいて、前記複数の線分の中から前記瞳孔画像の中心を通る瞳孔中心直線を特定する特定手段と、
   前記瞳孔中心直線の周辺における輝度状態、又は、前記瞳孔中心直線上の輝度状態に基づいて、前記瞳孔画像を検出する第２の検出手段と、
   を具備する瞳孔検出装置。
2. 前記評価値算出手段は、前記各線分について、前記各画素の輝度と前記基準輝度とを比較し、前記基準輝度よりも低い輝度を持つ画素を抽出し、抽出された全ての画素についての輝度と前記基準輝度との差の総和を、前記輝度評価値として算出する、
   請求項１に記載の瞳孔検出装置。
3. 前記特定手段は、前記輝度評価値の最も大きい線分を、前記瞳孔中心直線として特定する、
   請求項２に記載の瞳孔検出装置。
4. 前記第２の検出手段は、前記瞳孔中心直線上に中心が存在する瞳孔画像領域候補を順次設定し、設定された各瞳孔画像領域候補内の画素群の中で前記基準輝度よりも輝度の低い画素群の平均輝度に基づいて、前記瞳孔画像を検出する、
   請求項１乃至３のいずれかに記載の瞳孔検出装置。
5. 前記第２の検出手段によって検出された前記瞳孔画像の径に基づいて、前記瞳孔画像の外に存在する強膜の輝度を算出する強膜輝度算出手段、をさらに具備し、
   前記評価値算出手段は、前記強膜輝度算出手段によって直近に算出された前記強膜の輝度を前記基準輝度とする、
   請求項１乃至４のいずれかに記載の瞳孔検出装置。
6. 前記第２の検出手段は、照度に応じて、前記設定される瞳孔画像領域候補の径を調整する、
   請求項４に記載の瞳孔検出装置。
7. 前記特定手段は、所定の角度範囲を有する平均算出範囲を順次ずらし、各平均算出範囲で算出された輝度評価値の平均値に基づいて、前記瞳孔中心直線を特定する、
   請求項２に記載の瞳孔検出装置。
8. 前記特定手段は、各線分に関して算出された輝度評価値と、基準方向と各線分との為す角度との対応関係において、輝度評価値の分布が周辺で対称になる複数の角度の内、輝度評価値が最大となる角度に対応する線分を、前記瞳孔中心直線として特定する、
   請求項２に記載の瞳孔検出装置。
9. 前記第２の検出手段は、前記瞳孔中心直線上の輝度勾配に基づいて前記瞳孔画像の輪郭点を検出し、前記輪郭点から瞳孔半径だけ離れた点を前記瞳孔画像の中心として検出する、
   請求項１乃至３のいずれかに記載の瞳孔検出装置。
10. 前記第２の検出手段は、前記瞳孔中心直線上の複数のポイントに分離度フィルタを設定し、各ポイントで算出された分離度に基づいて、前記瞳孔画像を検出する、
    請求項１乃至３のいずれかに記載の瞳孔検出装置。
11. 目領域画像内の瞳孔画像を検出する瞳孔検出方法であって、
    前記目領域画像の高輝度画像領域である角膜反射画像を検出し、
    前記角膜反射画像内の基準点を一端とし且つ所定の長さを持つ複数の線分を設定し、
    各線分における各画素の輝度及び基準輝度に基づいて輝度評価値を算出し、
    前記輝度評価値に基づいて、前記複数の線分の中から前記瞳孔画像の中心を通る瞳孔中心直線を特定し、
    前記瞳孔中心直線の周辺における輝度状態、又は、前記瞳孔中心直線上の輝度状態に基づいて、前記瞳孔画像を検出する、
    瞳孔検出方法。

Images