JP4568836B2 - 実時間瞳孔位置検出システム - Google Patents

Description

本発明は、顔全体が写っている顔画像に関連するデータを前処理の段階で獲得し、前記データに基づいて瞳孔の２次元座標を高精度に検出する実時間瞳孔位置検出システムに関する。

顔画像から眼を検出する方法はたくさん提案されている。眼を検出する方法の代表的な方法に、テンプレートマッチングがある。しかし、この方法は、予め、眼の特徴点である目尻や目頭などの画像をテンプレートとして保存しなければならないため、その作業が面倒である。また、一般的に周囲の光環境変化に弱いという欠点をもつ。そのため、更新型テンプレートを用いることもあるが、追尾対象が徐々にずれていくという問題がある。さらに、この方法では、目頭と目尻を検出し、それらの中間位置などを眼の位置とするわけだが、視線の出口である瞳孔は、黒目の中央にある穴の部分であり、その位置は、視線の方向によって目尻と目頭の間で移動する。したがって、眼の位置をそのまま瞳孔位置に代替することはできない。

非特許文献１に示されているように、黒目を検出する方法として、分離度フィルタを使用する方法がある。これは黒目が円形で白目に比べて黒いことを利用する方法である。しかし、黒目は目蓋に隠れやすく、それの正確な中心を求めるのは難しい。さらに、別の欠点として真っ暗なところでは使用できないという点がある。多くの場合は、照明光を使用しないのが前提であるためである。そこで、もし、顔に光を照射すると、可視光では眩しいので、近赤外光を使用することになる。しかし、その場合、可視光の場合と比べて、黒目と白目のコントラストが悪くなり、黒目は検出しにくい。さらに、被験者が眼鏡やサングラスを使用している場合は、それらは、黒目の検出に大きな障害となる。その大きな理由は、近赤外光を顔に照射するための光源が眼鏡レンズの表面等で反射光が非常に明るい反射像を作るためであり（眼鏡反射）、これへの対処については、ほとんど検討されていない。
川口剛，モハメッドリゾン，日高大輔「ハフ変換と分離度フィルタによる人物顔からの両目の検出」電子情報通信学会論文誌D-II, Vol.J84-DII, No.10, pp.2190-2200 (2001)

瞳孔は照明無しでは一般に検出しにくい。しかし、照明を工夫することで容易となるだけでなく、昼夜にかかわらず検出ができるようにする。
この後で述べる複数の光源と画像差分を用いることにより眼鏡反射が眼鏡レンズ上に現れても、瞳孔像に重ならない限り検出可能である。顔が背景よりも光源の影響を明るくなりやすいため顔領域が判別しやすくする。
黒目に比較して瞳孔は目蓋に隠れにくいため、黒目の中心を瞳孔中心として検出するより、瞳孔中心を直接求めることにより、高い検出精度を得る。
本発明の目的は、マーカー等を用いることなく非接触で、実時間の瞳孔の検出が可能になる実時間瞳孔検出装置を提供することにある。

前記目的を達成するための、本発明による実時間瞳孔位置検出システムは、明瞳孔を含む顔画像と暗瞳孔を含む顔画像を撮像することができる撮影手段と、撮影手段の出力を処理演算する画像処理演算装置を用いて、顔領域の差分画像を得る前処理ステップと、前処理ステップにおいて得られた顔領域の差分画像における瞬目時に生じる画像変化により目領域差分画像を作成することで瞳孔を検出する瞳孔検出ステップと、瞳孔検出ステップにおいて検出された瞳孔に基づき瞳孔の中心を算出する低精度中心算出ステップと、検出された瞳孔にウインドウを与えてウインドウ内で瞳孔の中心を算出する高精度中心算出ステップと、からなるフレームを繰り返し実行する実時間瞳孔位置検出システムにおいて、各フレームにて、前処理ステップを行い、前のフレームで瞳孔が１個も検出されなかった場合は、瞳孔検出ステップに続けて低精度中心算出ステップを行い第１瞳孔および第２瞳孔の中心を算出し、前のフレームで何れか一方の瞳孔が検出されなかった場合は、検出された瞳孔に対して高精度中心算出ステップを行い中心を算出し、検出されなかった瞳孔に対して瞳孔検出ステップに続けて低精度中心算出ステップを行い中心を算出し、前のフレームで２個の瞳孔が検出された場合は、各瞳孔について、高精度中心算出ステップを行い中心を算出する、ことを特徴とする。

また、本発明による実時間瞳孔位置検出システムにおいて、前処理ステップは、明瞳孔を含む顔画像と暗瞳孔を含む顔画像の差分画像と、顔領域を区別する２値画像を作り、それらの論理積により顔領域差分画像を得るステップであることを特徴としてもよい。

また、本発明による実時間瞳孔位置検出システムにおいて、低精度中心算出ステップは、瞳孔検出ステップにおいて作成した目領域差分画像における輝度に基づき瞳孔の中心を算出することを特徴としてもよい。

また、本発明による実時間瞳孔位置検出システムにおいて、高精度中心算出ステップは、ウインドウ内での輝度および分離度に基づき瞳孔の中心を算出することを特徴としてもよい。

本発明によるシステムによれば、マーカー等を用いることなく非接触で、実時間の瞳孔の検出が可能になる。
細部の効果としては、いくつかの閾値に経験値を利用したが、一度決定すると他の被験者でも閾値を変更せずにほぼ同様に使用できる。したがって、本システムでは、初めての被験者でもすぐに瞳孔検出が開始できる。
本発明は眼の座標を検出することは当然可能であるが、本質は精密に瞳孔中心を検出できることであり、ばらつきがほとんどない。

以下図面等を参照して本発明によるシステムの実施の形態を説明する。まず始めに、ハードウエア構成について説明する。図１は、本発明で使用するステレオカメラと各カメラに取り付けられた光源の関係を示す斜視図である。図２は前記カメラによる取得顔画像と差分画像を示す図である。
瞳孔を容易に検出するため、本システムでは顔に対して近赤外の照明を与えた。一般に、カメラから離れた場所からの照明の場合、瞳孔は周囲よりも暗く写る傾向が現れる（暗瞳孔）。しかし、瞳孔より暗く写る部分は背景を含めて他に多々存在する。一方で、カメラの開口部近くに光源を設置すると、瞳孔は周囲よりも明るく写る傾向（明瞳孔）、いわゆる赤目現象に相当する現象が生じる。
しかし、この場合も、周囲が明るいと瞳孔よりも明るい部分が他に存在し、やはり瞳孔の検出は難しい。そこで、カメラ開口部に近い光源と遠い光源を用意し、それらをビデオ信号の奇数、偶数フィールドに同期させ点滅させる。得られる明瞳孔画像と暗瞳孔画像を差分し、瞳孔以外の部分を相殺させると瞳孔部を浮き上がらせることができ、瞳孔検出が容易になる。

従来の方法では、カメラ１台での上述のような画像差分による瞳孔検出において、半径の異なる２重リング状に並べた光源を用いたが、カメラ開口から離れた外側のリングが原因で小型化がしにくい。また、本発明におけるシステムでは２台のカメラを用いるわけだが、２台のカメラのそれぞれに２重リング光源を取り付けた場合、両者の光源からの光が互いに影響しあい、画像差分の効果が弱くなるだけでなく、眼鏡装着時は眼鏡反射が多く現れ、瞳孔検出に問題を生ずる。

そこで、光源の小型化と数を少なくするために、図１に示したように、２台の各カメラＣ１，Ｃ２において、開口部に近い位置に一重のリング状にＬＥＤを配置した光源Ｌ１，Ｌ２を取り付け、それらをフィールド毎に交互に点灯させた。なお、２台のカメラ間距離は約１０ｃｍであった。
各カメラにおいて、それ自体に取り付けられた光源が点灯するフィールドでは、図２の（ａ）のように明瞳孔画像が得られ、もう一方のカメラに取り付けた光源が点灯するフィールドでは、図２の（ｂ）のように暗瞳孔画像が得られた。明瞳孔画像から暗瞳孔画像を差分すると、基本的に図２の（ｃ）のように瞳孔部が明るく浮き彫りになった。他にも首筋など明るい部分が存在するが画像処理でそれらを区別し、各カメラにおいて２個もしくは１個の瞳孔の２次元座標を画像処理に従ってサブピクセルで求めた。

なお、カメラレンズと光源との間に可視光カットフィルタ（ＩＲ８００）と、光源に用いたＬＥＤと中心波長が同じで半値幅が１７ｎｍのバンドパスフィルタ（ただし、可視光は通過）を重ねて取り付けた。これによって、瞳孔検出を妨害する周囲光をかなりカットすることができた。さらに、同じ特性のバンドパスフィルタを光源の前にも取り付けた。この理由は次の通りである。視線検出まで行うには、ステレオカメラの他に、回転する狭角のカメラが必要であることは先述した。狭角のカメラにはステレオカメラとは別の波長の光源を取り付けたが、ＬＥＤの波長域がオーバーラップし、互いに干渉した。そこで、ステレオカメラと狭角カメラの両方において、光源の前にフィルタを取り付け、波長域を狭くして目に光を照射した。
狭角カメラは、検出された瞳孔の３次元位置に向けるために、高速のパン・チルト台(Directed Perception社，PTU-D46)に取り付け、画像処理も行う同一のパソコン（Pentium（登録商標）4, 3GHz）によりRS232Cを介して制御した。画像入力ボードにはMatrox社製Meteor2 MC/4を用いた。計３台のカメラには、近赤外領域に比較的強い感度を持つSONY XC-EI50を用いた。カメラのAGC は使用しなかった。

本発明における実時間瞳孔検出システムにおける画像処理の基本的な考え方は次の通りである。
ア．顔全体がフレームに十分入る大きさで撮影するものとし、瞳孔は２個とも検出する。瞬き等で瞳孔が写っていない場合は、そのことが明確にわかるようにする。
イ．差分画像において睫毛，目蓋，髪の毛，服などが写り、瞳孔と誤判断するのを防ぐために、第１に、顔領域を抽出し、その中のみについて瞳孔を探索する。第２に、瞳孔にウインドウを与えて、その中だけを探索する。
ウ．眼鏡反射が瞳孔に重ならない限り、瞳孔を捕らえられるようにし、瞳孔中心はサブピクセル単位で高精度に検出する。
エ．カルマンフィルタにより、次フレームにおいて与えるべきウインドウの位置を予測し、速い頭部運動に対応できるようにする。ウインドウ内にて瞳孔が検出されなくなったら、ウインドウを解除し、瞬目を利用して瞳孔にウインドウを再度与える。

図７は、瞳孔検出アルゴリズムの全体を示す流れ図である。本発明のシステムでは、実時間で瞳孔位置の検出を可能にするために全体を図７に示すようにしてある。
流れ図中の(1) の内容は、前処理（差分画像と顔領域差分画像の作成）で後述する。
流れ図中の(2) の内容は、瞬目による瞳孔検出（目領域差分画像の取得と瞳孔の有無の判断等）で後述する。
流れ図中の(3) 内容は、ウインドウ内における高精度瞳孔中心算出で後述する。

流れ図注の(a) 〜(c) は、以下に述べる項目に対応している。
(a)もし、前のフレームで２個の瞳孔が検出されていた場合、現在のフレームの差分画像において、カルマンフィルタによって予測される２個の瞳孔位置にウインドウ（２１×２１）を与え、(3) で述べた方法で瞳孔中心を精密に算出する。
(b)もし、前のフレームで瞳孔が１個も検出されなかった場合には、現在のフレームでは１つのウインドウも与えない。この場合は、まず、(2) で述べた方法により、目領域差分画像を作成し、最大値を示す画素を探索し、第１瞳孔候補の座標とする（低精度中心算出）。その座標を中心にした２１×２１画素のマスクを与え、マスク外で最大値を示す座標を求め、第２瞳孔候補の座標とする（低精度中心算出）。次に、両瞳孔候補のｙ座標の差が５０未満であったら、両候補は共に瞳孔であると判断し、両瞳孔の座標を記録し、それを次のフレームにおいて、(3) で述べたカルマンフィルタの初期値として用いる。５０以上であったら、両候補は共に瞳孔ではないと判断する。
(c)もし、前のフレームで片方の瞳孔のみが検出された場合、カルマンフィルタによって予測される瞳孔の位置にウインドウ（２１×２１）を与え、(3) の方法で瞳孔中心を高精度算出する。さらに、同位置をマスクし、目領域差分画像において、もう一方の瞳孔中心座標を最大値探索により低精度検出する。
瞳孔の低精度中心算出が行われると、２個の瞳孔中心のｙ座標が５０画素以上離れていないと、必ず瞳孔中心候補座標が選択される。しかし、次のフレームにおいては、予測される位置にウインドウが与えられ、ウインドウ内で高精度中心算出が行われる。この際に、実際は瞳孔が存在しなければ、瞳孔がないと判定される。そのため、低精度算出が行われた段階では、その座標を出力せず、次のフレームの高精度中心算出の時点で、瞳孔の存在を判定したら、出力するようにする。

（１）前処理（差分画像と顔領域差分画像の取得）
図３は、顔領域２値画像と顔領域差分画像を示す図である。
画像ボードを利用してパソコンメモリー上に画像（６４０×４８０画素）を取り込む。画像を奇数，偶数フィールドに分離して、それぞれを３２０×２４０画素でメモリー上にコピーする。
以下は、コピーされた画像を元に瞳孔検出を行う。眼鏡反射除去のために、Ｐタイル法により明瞳孔画像の高輝度部を除去してから、暗瞳孔画像を差分する。
差分後に平滑化を行う。この時点での画像を単に差分画像と呼ぶことにする。差分画像においては、顔以外の背景部分や顔と背景の境界部分に瞳孔と特徴が類似した部分が存在する場合があり、誤検出の原因となる。そこで、まず画像全体から画像内で顔領域を検出し、顔領域内で瞳孔を探索する。本方法では、顔全体を照明しているため、生画像においてカメラおよび光源から近い位置にある顔が背景よりも明るく写る。これを顔領域の判別に利用する。まず、差分画像ではなく奇数フィールド画像または偶数フィールド画像（明瞳孔を含む画像または暗瞳孔を含む画像）を判別分析法により２値化する。

さらに、ラベリングを行うが、ラベリングの高速化のために、その前にオープニング処理を行う。ラベリングの結果、最大領域を顔領域として抽出する。この顔領域の２値化画像は目の部分がくり抜けるため塗りつぶす。図４は目領域の２値画像と目領域差分画像を示す図である。前記塗りつぶしを行った後に（図４の（ａ））、差分画像との論理積により顔領域差分画像を得る（図４の（ｂ））。

（２）瞬目による瞳孔検出（目領域差分画像の取得と瞳孔の有無の判断等）
瞳孔部にウインドウを与えると、他の部分を瞳孔と誤判断するのを防げる点では有効だが、瞬目の間に頭が動いてウインドウ外に瞳孔が出てしまった場合は瞳孔が検出できなくなる。そのため、ウインドウを一度解除して広い範囲を瞳孔探索し、再度、瞳孔にウインドウを与える。このときの誤判断を極力避けなければならない。そこで、瞬目時に生じる画像変化を利用して目の領域を限定してから、瞳孔を検出する。まず、最新の奇数フィールド画像と数フレーム前（例えば４フレーム前）の奇数フィールド画像の絶対値差分画像を得る。Ｐタイル法で輝度の高いから１５％の閾値を求め２値化を行い、目領域の２値画像を得る（図４の（ａ））。これと、現在のフレームの顔領域差分画像との論理積演算を行い、目領域差分画像を得る（図４の（ｂ））。この画像では、眼領域は顔領域内として検出されるため、顔領域外において画像が変化する場所を目領域として誤って判断しない。また、口など他の動く部分が目領域２値画像の一部と誤って判断されても、顔領域差分画像において瞳孔と口などは特性が異なるため、それらの論理積である目領域差分画像では、誤って検出されることがない。
目領域差分画像は、処理時間軽減のために、前のフレームにおいて瞳孔が２個未満であったと判断されたときのみに作り利用する。

（３）ウインドウ内における高精度瞳孔中心算出
ウインドウは差分画像に対して与える。まず、ウインドウ内に眼鏡反射除去の残骸や目蓋など、動く部分が差分画像中において明るく写るため、それらが瞳孔と誤判断される確率を低下させるために、ウインドウの中央を最大値とした２次元正規分布関数を用いて重み付けを行う。
これは、カルマンフィルタで瞳孔位置を予測しているので、瞳孔がウインドウの中央に存在する確率が高いことを前提としているためである。
瞳孔の３次元計測をしたり、画像中に写る瞳孔の移動に合わせてパソコンのカーソルを動かそうとした場合などに、ピクセル単位での分解能では問題になる。高分解能で瞳孔中心を求めるには、重心法が一般的である。しかし、瞳孔に図６（ｂ）に示すように、画像中に動く対象があると、瞳孔以外にも明るい部分として写る。この例では、目蓋である。このように、瞳孔近傍に同様に明るい部分が存在すると、重心を求める際のサンプル領域の広さの選択が問題となる。特に瞳孔の大きさは変化するため厄介である。一方で、最近、円形に近い黒目の検出のために、円形状のマスクを用いた分離度フィルタが用いられることがある。しかし、分離度が最大になる座標を求めるという方法ではピクセル単位の分解能でしか座標が検出できない。テンプレートマッチングも同様である。
そこで、分離度と輝度を考慮した重心法の混合法を提案する。
さらに、瞳孔特徴量Ｐ（ｘ，ｙ）を次式(1) のように定義し、ウインドウ内について求めた。
Ｐ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）・Ｓ_M （ｘ，ｙ） (1)

ここで、（ｘ, ｙ) はウインドウ内の注目する画素の座標であり、Ｉ（ｘ，ｙ）は（ｘ, ｙ) における差分画像の輝度で、Ｓ_M （ｘ，ｙ）は最大分離度である。これまで分離度フィルタは、円形状のマスクを用いて黒目の検出に使用されてきた。ここでは、瞳孔に適用する。ただし、演算時間の縮小のために、図５のような形状をした８方向に伸びた放射状マスク上の画素についての演算のみを行った。マスクを、中心から８方向にＬ画素分の範囲を図中で破線の正方形で示した。この正方形の内側と外側の領域に分け、Ｌを変えながら分離度ｓを計算し、ｓ値が最大となるＬ（Ｌｍ）を決定した。そのときの各座標（ｘ，ｙ）におけるｓの最大値を，最大分離度Ｓ_M （ｘ，ｙ）に置き換え、式(1) に使用した。図６は、ウインドウが両瞳孔に与えられた様子と、ウインドウ内の差分画像と、瞳孔特徴量を現す画像である。
ここで、注目すべき点は、ウインドウ内の差分画像が図６の（ｂ）のように目蓋が写っている場合で、Ｐ（ｘ，ｙ）を示す画像は図６の（ｃ）のようになり、目蓋が消えてほぼ瞳孔の中心部だけが高い値を持つ画像になることである。なお、瞳孔は通常は円であるが、正方形のマスクでも十分に高精度に検出できる。正方形のマスクを使用することにより、細長い形状のものはＳ_M （ｘ，ｙ）が小さくなり、瞳孔と誤検出されにくい。

さらに、ウインドウ内でＰ（ｘ，ｙ）の最大値を求め、それが閾値（経験値）を超えなかったときは瞳孔が存在しないと判断し、超えたときは瞳孔が存在すると判断する。この方法により、以前のフレームで存在した瞳孔が現在にフレームで消失した場合に、それを判断する。瞳孔が存在すると判断されたら、Ｐ（ｘ，ｙ）が最大値を示した座標を中心に一辺４Ｌｍの方形領域内におけるＰ（ｘ，ｙ）の重心を計算し、最終的な瞳孔中心とした。
このように、高精度中心算出では瞳孔の有無が判断できて、低精度中心算出ではできない可能性が高いのは、低精度中心算出では、単に最高輝度を示す座標を探索しているからであり、眼鏡反射や眼鏡フレーム反射などの残骸が、瞳孔として誤認識される確率が高い（瞳孔のそばにあるためでもある。）。それに対して、高精度中心算出では、単に輝度だけでなく、対象が正方形に近いかどうか（横長や縦長ではなくて）を考慮する方法になっているからである。

本発明の具体的な産業上の１つの応用例として、１台のカメラと２個の光源を組み合わせて、２個の瞳孔を検出して、画像内の瞳孔の移動にあわせて、パソコン画面上のカーソルを制御するなどにも使用できる（「瞳孔マウス」）。その際に、移動平均などをする必要がないため、遅延がほとんどなく使用しやすい。さらに、本手法では、瞳孔の有無が正確に分かるため、眼の開閉によって汎用マウスのクリックやドラッグに相当する動作にも使用できる。

本発明で使用するステレオカメラと各カメラに取り付けられた光源の関係を示す斜視図である。 前記カメラによる取得顔画像と差分画像を示す図である。 顔領域２値画像と顔領域差分画像を示す図である。 目領域の２値画像と目領域差分画像を示す図である。 分離度計算のマスク形状を示す図である。 ウインドウが両瞳孔に与えられた様子と、ウインドウ内の差分画像と、瞳孔特徴量を現す画像である。 本発明によるシステムの、瞳孔検出アルゴリズムの全体を示す流れ図である。

符号の説明

Ｃ１ カメラ
Ｃ２ カメラ
Ｌ１ 光源
Ｌ２ 光源

Claims (4)

1. 明瞳孔を含む顔画像と暗瞳孔を含む顔画像を撮像することができる撮影手段と、前記撮影手段の出力を処理演算する画像処理演算装置を用いて、
   顔領域の差分画像を得る前処理ステップと、
   前記前処理ステップにおいて得られた顔領域の差分画像における瞬目時に生じる画像変化により目領域差分画像を作成することで瞳孔を検出する瞳孔検出ステップと、
   前記瞳孔検出ステップにおいて検出された瞳孔に基づき瞳孔の中心を算出する低精度中心算出ステップと、
   検出された瞳孔にウインドウを与えてウインドウ内で瞳孔の中心を算出する高精度中心算出ステップと、
   からなるフレームを繰り返し実行する実時間瞳孔位置検出システムにおいて、
   各フレームにて、
   前記前処理ステップを行い、
   前のフレームで瞳孔が１個も検出されなかった場合は、前記瞳孔検出ステップに続けて前記低精度中心算出ステップを行い第１瞳孔および第２瞳孔の中心を算出し、
   前のフレームで何れか一方の瞳孔が検出されなかった場合は、検出された瞳孔に対して前記高精度中心算出ステップを行い中心を算出し、検出されなかった瞳孔に対して前記瞳孔検出ステップに続けて前記低精度中心算出ステップを行い中心を算出し、
   前のフレームで２個の瞳孔が検出された場合は、各瞳孔について、前記高精度中心算出ステップを行い中心を算出する、
   ことを特徴とする実時間瞳孔位置検出システム。
2. 前記前処理ステップは、前記明瞳孔を含む顔画像と暗瞳孔を含む顔画像の差分画像と、顔領域を区別する２値画像を作り、それらの論理積により顔領域差分画像を得るステップであることを特徴とする請求項１に記載の実時間瞳孔位置検出システム。
3. 前記低精度中心算出ステップは、前記瞳孔検出ステップにおいて作成した目領域差分画像における輝度に基づき瞳孔の中心を算出することを特徴とする請求項１または２に記載の実時間瞳孔位置検出システム。
4. 前記高精度中心算出ステップは、ウインドウ内での輝度および分離度に基づき瞳孔の中心を算出することを特徴とする請求項１〜３の何れか一項に記載の実時間瞳孔位置検出システム。

Images