JP6269177B2 - 瞳孔検出装置、視線検出装置および瞳孔検出方法 - Google Patents

Description

本発明は、瞳孔検出技術に関する。

カメラの高精度化、処理高速化、および小型化が進み、カメラで撮像した顔の画像から、被験者がモニタ画面などの観察面上で注視している位置を検出する視線検出装置が提案されている。当初は被験者の頭部を固定したり、頭部に検出装置を取り付ける技術が多かった。最近は被験者の負担を軽減するために、頭部に装置等を取り付けることが不要な非接触タイプが開発され、さらに精度の高い視線検出装置が求められている。非接触タイプの視線検出装置では、カメラ画像上の瞳孔と角膜反射の位置関係によって視線検出を行う。このため、カメラ画像上の瞳孔中心座標と角膜反射中心座標とを正確に求めることが重要である。

特許文献１は、角膜反射によって瞳孔の大部分が隠されてしまっている場合でも、角膜反射像の情報を積極的に利用することにより、瞳孔を安定して検出することができる技術を提案している。

特開２０１２−０２４１５４号公報

しかしながら、特許文献１の方法では、角膜反射の基準点（角膜反射画像領域の中心）が予め取得できている必要がある。このため撮像された画像から直接的に瞳孔の中心を求めることはできない。すなわち、少ない演算量で高精度に瞳孔を検出することができなかった。

本発明は、上記に鑑みてなされたものであって、より少ない演算量で、より高精度に瞳孔を検出できる瞳孔検出装置、視線検出装置および瞳孔検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、目を撮像した画像から、瞳孔領域と角膜反射領域とを特定する特定部と、前記瞳孔領域に含まれる第１領域を用いて、前記角膜反射領域に接する第１接線方向の輝度重心を推定する第１推定部と、前記瞳孔領域に含まれ、前記第１領域と異なる第２領域を用いて、前記角膜反射領域に接し、第１接線方向に直交する第２接線方向の輝度重心を推定する第２推定部と、前記第１接線方向の輝度重心を示す直線と、前記第２接線方向の輝度重心を示す直線との交点から、瞳孔の中心位置を検出する瞳孔位置検出部と、を備える。

本発明にかかる瞳孔検出装置、視線検出装置および瞳孔検出方法は、より少ない演算量で、より高精度に瞳孔を検出できるという効果を奏する。

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置を示す図である。 図２は、診断支援装置の機能の概要を示す図である。 図３は、図２に示す各部の詳細な機能を示すブロック図である。 図４は、２台のカメラを使用した場合の目および距離の検出を示す図である。 図５は、ステレオカメラにより撮像された撮像画像を示す図である。 図６は、図５の撮像画像から切り出した目画像の例を示す図である。 図７は、角膜反射領域付近の画像の輝度変化の例を示す図である。 図８は、瞳孔領域付近の画像の輝度変化の例を示す図である。 図９は、図６を模式的に表した図である。 図１０は、図６を模式的に表した図である。 図１１は、図６を模式的に表した図である。 図１２は、図６を模式的に表した図である。 図１３は、図６を模式的に表した図である。 図１４は、図６を模式的に表した図である。 図１５は、第１の実施形態の瞳孔検出処理を示すフローチャートである。 図１６は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図１７は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図１８は、診断支援装置の機能の概要を示す図である。 図１９は、図１８に示す各部の詳細な機能の一例を示すブロック図である。 図２０は、第２の実施形態の診断支援装置により実行される処理の概要を説明する図である。 図２１は、２つの光源を用いる方法と、１つの光源を用いる第２の実施形態との違いを示す説明図である。 図２２は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図２３は、第２の実施形態の算出処理の一例を示すフローチャートである。 図２４は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図２５は、第２の実施形態の視線検出処理の一例を示すフローチャートである。

以下に、本発明にかかる瞳孔検出装置、視線検出装置および瞳孔検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

（第１の実施形態）
上述のように、瞳孔検出装置の利用シーンの１つとして、非接触で行う注視点検出などが知られている。具体的な手法としては、近赤外の点光源（ＬＥＤなど）を目に照射し、角膜で反射された光源像と瞳孔の位置から視線を推定する方法が存在する。この場合、注視点検出の性能は、瞳孔と角膜反射の中心座標の検出精度に大きく依存している。

第１の実施形態の瞳孔検出装置（診断支援装置）は、例えばＸ方向およびＹ方向それぞれに個別の領域を設定し、各領域の輝度重心を求めることにより目領域画像内の瞳孔中心位置を検出する。これにより、角膜反射の影響を排除して、少ない演算量で精度の高い検出が可能となる。本実施形態の瞳孔検出装置は、非接触タイプの視線検出装置などに使用できる。瞳孔検出装置の精度向上によって、視線検出装置全体の性能を向上させることができる。また、本実施形態の瞳孔検出装置は、瞳孔検出結果を用いて発達障がいなどの診断を支援する診断支援装置に使用できる。以下では、このような診断支援装置に瞳孔検出装置を用いた例を説明する。適用可能な装置は視線検出装置および診断支援装置に限られるものではない。

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、本実施形態では、表示画面１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、例えば波長８５０ｎｍの近赤外線を照射する光源である。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法の詳細は後述する。

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ（interface）部２０８と、制御部３００と、記憶部１５０と、表示部２１０と、を含む。図２において、表示画面１０１は、右カメラ２０２および左カメラ２０４との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

赤外ＬＥＤ光源２０３および赤外ＬＥＤ光源２０５は、例えば８５０ｎｍの近赤外線を照射する光源である。なお、照射する赤外線の波長は上記に限られるものではない。

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、特定部３５１と、第１推定部３５２と、第２推定部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、瞳孔位置検出部３５８と、を備えている。なお、瞳孔検出装置としては、少なくとも特定部３５１、第１推定部３５２、および、第２推定部３５３が備えられていればよい。

制御部３００に含まれる各要素（特定部３５１、第１推定部３５２、第２推定部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、評価部３５７、瞳孔位置検出部３５８）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

特定部３５１は、撮像部（ステレオカメラ１０２）により撮像された撮像画像（目を撮像した画像）から、瞳孔領域と角膜反射領域とを特定する。特定部３５１による特定方法としては、例えば、画像のうち輝度が小さい（暗い）領域を瞳孔領域として特定し、輝度が大きい（明るい）領域を角膜反射領域として特定する方法など、従来から用いられているあらゆる方法を適用できる。

第１推定部３５２は、瞳孔領域に含まれる領域（第１領域）を用いて、瞳孔の中心位置を推定する。第２推定部３５３は、瞳孔領域に含まれ、第１領域とは異なる領域（第２領域）を用いて、瞳孔の中心位置を推定する。例えば、第１推定部３５２は、角膜反射領域に接する接線（第１接線）と瞳孔領域の外周線とによって囲まれる領域であって角膜反射領域を含まない領域（第１領域）を用いて、第１接線方向の瞳孔の中心位置を推定する。第２推定部３５３は、角膜反射領域に接し、第１接線と直交する接線（第２接線）と外周線とによって囲まれる領域であって角膜反射領域を含まない領域（第２領域）を用いて、第２接線方向の瞳孔の中心位置を推定する。瞳孔位置検出部３５８は、第１推定部３５２により推定された瞳孔の中心位置と、第２推定部３５３により推定された瞳孔の中心位置とに基づいて、瞳孔の中心位置を検出する。瞳孔位置検出部３５８は、例えば、第１推定部３５２により推定された位置を通り第１接線に直交する直線と、第２推定部３５３により推定された位置を通り第２接線に直交する直線との交点から瞳孔の中心位置を検出する。

例えば第１接線を水平方向（Ｘ方向）に延びる直線とし、第２接線を垂直方向（Ｙ方向）に延びる直線とすることができる。第１接線および第２接線の方向は、水平方向および垂直方向に限られるものではなく、互いに直交すれば任意の方向とすることができる。以下では、第１接線が水平方向（Ｘ方向）であり、第２接線が垂直方向（Ｙ方向）である場合を例に説明する。

第１領域および第２領域から瞳孔の中心位置を推定する方法としては、例えば、各領域の輝度重心を求める方法を適用できる。なお、推定方法はこれに限られるものではなく、任意の方法を適用できる。例えば、第１領域の第１接線方向の中心位置を、第１接線方向の瞳孔の中心位置として推定してもよい。同様に、第２領域の第２接線方向の中心位置を、第２接線方向の瞳孔の中心位置として推定してもよい。

なお、角膜反射領域に接する接線と瞳孔領域の外周線とによって囲まれる領域が存在するためには、瞳孔径に比較して角膜反射径が小さい必要があるが、通常はこの条件は満たされる。

瞳孔位置検出部３５８は、例えば、第１推定部３５２により推定された位置を通り第１接線に直交する直線と、第２推定部３５３により推定された位置を通り第２接線に直交する直線との交点から瞳孔の中心位置を検出する。視線検出部３５４は、検出された瞳孔の中心位置を用いて、被験者の視線（視線方向）を検出する。視点検出部３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５５は、例えば、表示画面１０１に表示された対象画像のうち、被験者が注視する点である視点（注視点）を検出する。視線検出部３５４による視線検出方法、および、視点検出部３５５による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、ステレオカメラを用いて被験者の視線方向および注視点を検出する場合を例に説明する。

視線検出部３５４は、ステレオ視の手法により、３次元世界座標系での被験者の瞳孔の位置（目の位置）を算出する。また、視線検出部３５４は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視線検出部３５４は、被験者の瞳孔の位置と角膜反射の位置とから、被験者の視線方向を表す視線ベクトルを算出する。

なお、被験者の視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視線を検出してもよい。

視点検出部３５５は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって注視点を計測してもよい。

図４は、２台のカメラ（右カメラ２０２、左カメラ２０４）を使用した場合の目および距離の検出の一例を示す図である。２台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ２０２で撮影された画像から検出した目の位置と、左カメラ２０４で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の３次元座標が得られる。これにより、例えば、目とステレオカメラ１０２間の距離などを推定することができる。

図３に戻り、出力制御部３５６は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部３５６は、診断画像、および、評価部３５７による評価結果などの表示部２１０に対する出力を制御する。

診断画像は、瞳孔、視線および視点などの検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。

評価部３５７は、診断画像と、視点検出部３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

以下では、角膜反射および瞳孔中心の座標を求める処理の例を図５〜図１５を用いて説明する。

図５は、ステレオカメラ１０２により撮像された撮像画像の一例を示す図である。図５の撮像画像は被験者の顔を撮像した画像の例であり、目領域５０１を含む。

図６は、図５の撮像画像から目領域５０１を切り出した目画像の例を示す図である。図６に示すように、目画像は、瞳孔６０１と、虹彩６０２と、角膜反射６０３と、を含む。角膜反射および瞳孔の輪郭部分では、撮影用レンズの被写界深度などの影響により画像がデフォーカスする場合がある。この場合、角膜反射６０３と瞳孔６０１との境界付近、または、瞳孔６０１と虹彩６０２の境界付近には、段階的に輝度が変化する領域が存在する。

図７は、角膜反射領域付近の画像の輝度変化の例を示す図である。図８は、瞳孔領域付近の画像の輝度変化の例を示す図である。

角膜反射６０３は、図７のように中心ほど明るくなる円錐状の輝度分布７０１を持つ。このため、輝度重心を用いて容易に精度良く中心座標を求めることが一般的に行われている。すなわち、ある領域（角膜反射領域または瞳孔領域）内に存在するピクセル集合の総数をｎ個（１、２、３、・・・、ｎ）とすると、当該領域の輝度重心のＸ座標およびＹ座標はそれぞれ以下の（１）式および（２）式を用いて算出することができる。

一方、瞳孔領域では、図８のように、角膜反射領域とは逆に中心ほど暗くなる円錐状の輝度分布８０１を持つ。このため、角膜反射の場合と同様に（１）式および（２）式によって、瞳孔の輝度重心を求める方法が考えられる。

しかし、実際には図６のように角膜反射によって瞳孔の一部が欠落している場合がある。このような場合、輝度重心による算出方法では大きな誤差を生じる可能性がある。そこで、本実施形態では、輝度重心の算出に用いる瞳孔の領域を、Ｘ方向およびＹ方向それぞれの場合に分けて、角膜反射による欠落のない範囲に制限する。これにより、角膜反射の影響を回避して、より高精度に瞳孔を検出することができる。また、瞳孔中心の算出式としては例えば上記（１）式および（２）式を適用できるため、少ない演算量で瞳孔の位置を算出できる。

次に、図９〜図１５を参照しながら、本実施形態の瞳孔検出処理の一例について説明する。図９〜図１４は、図６を模式的に表した図である。なお説明のためにデフォーカスによる曖昧な領域は省いている。図１５は、本実施形態の瞳孔検出処理の一例を示すフローチャートである。

特定部３５１は、撮像画像から目領域を切り出す（ステップＳ１０１）。なお目を画像全体に撮像した撮像画像などの場合は、切り出す処理を省略してもよい。特定部３５１は、目領域内のピクセル輝度から瞳孔領域を特定する（ステップＳ１０２）。図９に示すように、特定部３５１は、例えば決められた閾値以下の明るさを持つピクセルの集合を瞳孔領域９０１として特定する。特定部３５１は、瞳孔領域（図９では瞳孔領域９０１）のＸ座標の最小値ｘ１と最大値ｘ２、Ｙ座標の最小値ｙ１と最大値ｙ２を求める（ステップＳ１０３、ステップＳ１０４）。

同様に、特定部３５１は、目領域内のピクセル輝度から角膜反射領域を特定する（ステップＳ１０５）。図９に示すように、特定部３５１は、例えば決められた閾値以上の明るさを持つピクセルの集合を角膜反射領域９０２として特定する。特定部３５１は、角膜反射領域（図９では角膜反射領域９０２）のＸ座標の最小値ｘ１１と最大値ｘ２２、Ｙ座標の最小値ｙ１１と最大値ｙ２２を求める（ステップＳ１０６、ステップＳ１０７）。

次に第１推定部３５２は、Ｘ方向の輝度重心を算出する（ステップＳ１０８）。図１０および図１１を用いて、Ｘ方向の輝度重心を求める方法の一例を説明する。

第１推定部３５２は、（１）式における、瞳孔領域のピクセル（ｘ，ｙ）の集合を１つまたは２つの領域に分離する。１つ目の領域は、瞳孔領域の上部である「（ｘ１，ｙ２２）＜（ｘ，ｙ）＜（ｘ２，ｙ２）」に含まれる領域である。この領域は、角膜反射領域の上部に接する接線と瞳孔領域の外周線とによって囲まれる領域であって角膜反射領域を含まない領域（第１領域または第３領域）に相当する。図１０では、斜線で表された領域１００１に相当する。

２つ目の領域は、瞳孔領域の下部である「（ｘ１，ｙ１１）＜（ｘ，ｙ）＜（ｘ２，ｙ１）」に含まれる領域である。この領域は、角膜反射領域の下部に接する接線と瞳孔領域の外周線とによって囲まれる領域であって角膜反射領域を含まない領域（第１領域または第３領域）に相当する。図１０の例では「ｙ１＜ｙ１１」であるため、この条件を満たす領域が存在しない。

このように、瞳孔領域と角膜反射領域との位置関係によっては、上記２つの条件が満たされない場合がある。この場合は、条件を満たす領域が輝度重心の算出に用いられる。図１０の例では、領域１００１が輝度重心の算出に用いられる。領域１００１は左右対称な形状であるため、（１）式を用いて輝度重心のＸ座標を求めることが可能である。図１１の直線１１０１は、このようにして算出されたＸ方向の輝度重心を示す直線である。この直線１１０１上に、瞳孔中心が存在すると推定される。

次に第２推定部３５３は、Ｙ方向の輝度重心を算出する（ステップＳ１０９）。図１２および図１３を用いて、Ｙ方向の輝度重心を求める方法の一例を説明する。

第２推定部３５３は、（２）式における、瞳孔領域のピクセル（ｘ，ｙ）の集合を１つまたは２つの領域に分離する。１つ目の領域は、瞳孔領域の左部である「（ｘ１，ｙ１）＜（ｘ，ｙ）＜（ｘ１１，ｙ２）」に含まれる領域である。この領域は、角膜反射領域の左部に接する接線と瞳孔領域の外周線とによって囲まれる領域であって角膜反射領域を含まない領域（第２領域または第４領域）に相当する。図１２では、斜線で表された領域１２０１に相当する。

２つ目の領域は、瞳孔領域の右部である「（ｘ２２，ｙ１）＜（ｘ，ｙ）＜（ｘ２，ｙ２）」に含まれる領域である。この領域は、角膜反射領域の右部に接する接線と瞳孔領域の外周線とによって囲まれる領域であって角膜反射領域を含まない領域（第２領域または第４領域）に相当する。図１２では、斜線で表された領域１２０２に相当する。

図１２の例のように２つの領域が得られた場合は、第２推定部３５３は、例えば各領域のうち面積が広い領域を用いて輝度重心を算出する。図１２の例では、領域１２０１と領域１２０２の面積を比較し、より広い面積を有する方を用いて輝度重心を算出する。この例では領域１２０２を算出に用いる。この領域１２０２は上下対称な形状であるため（２）式を用いて輝度重心のＹ座標を求めることが可能である。図１３の直線１３０１は、このようにして算出されたＹ方向の輝度重心を示す直線である。この直線１３０１上に、瞳孔中心が存在すると推定される。

なお、２つの領域が得られた場合に、１つ目の領域から得られる輝度重心のＹ座標と、２つ目の領域から得られる輝度重心のＹ座標の平均値を、Ｙ方向の輝度重心として算出してもよい。

図１４において、Ｘ方向の輝度重心を示す直線１４０１と、Ｙ方向の輝度重心を示す直線１４０２とが交差する点が瞳孔中心１４０３である（ステップＳ１１０）。このように、瞳孔位置検出部３５８は、直線１４０１と直線１４０２とが交差する交点を瞳孔中心１４０３として検出する。

このように、第１の実施形態では、瞳孔の異なる領域からＸ座標の輝度重心およびＹ座標の輝度重心をそれぞれ算出することで、少ない演算量で精度良く瞳孔中心を求めることができる。

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）瞳孔径に比較して角膜反射径が小さい場合、瞳孔中心座標をより正確に求めることができる。
（２）演算量が少ないため、より低機能なＣＰＵであっても瞳孔を検出することができる。

（第２の実施形態）
第２の実施形態では、第１の実施形態よりも一層、装置構成を簡略化できる視線検出装置および視線検出方法を実現する。

以下に、第２の実施形態の視線検出装置および視線検出方法を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

本実施形態の視線検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

図１６および１７は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。なお、第１の実施形態と同様の構成については同一の符号を付し、説明を省略する場合がある。

図１６に示すように、第２の実施形態の診断支援装置は、表示部２１０と、ステレオカメラ２１０２と、ＬＥＤ光源２１０３と、を含む。ステレオカメラ２１０２は、表示部２１０の下に配置される。ＬＥＤ光源２１０３は、ステレオカメラ２１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源２１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１６では、９個のＬＥＤによりＬＥＤ光源２１０３（照明部）を構成する例が示されている。なお、ステレオカメラ２１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。

図１７に示すように、ステレオカメラ２１０２は、右カメラ２２０２と左カメラ２２０３とを備えている。ＬＥＤ光源２１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ２１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２２０２、左カメラ２２０３）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示画面１０１の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図１８は、第２の実施形態の診断支援装置２１００の機能の概要を示す図である。図１８では、図１６および１７に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図１８に示すように、診断支援装置２１００は、右カメラ２２０２と、左カメラ２２０３と、ＬＥＤ光源２１０３と、スピーカ１０５と、駆動・ＩＦ（interface）部２０８と、制御部２３００と、記憶部１５０と、表示部２１０と、を含む。図１８において、表示画面１０１は、右カメラ２２０２および左カメラ２２０３との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部と、制御部２３００とのインタフェースとなる。

制御部２３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。

図１９は、図１８に示す各部の詳細な機能の一例を示すブロック図である。図１９に示すように、制御部２３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２２０２、左カメラ２２０３が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置２１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置２１００の内部に備えるように構成してもよい。

制御部２３００は、診断支援装置２１００全体を制御する。制御部２３００は、第１算出部２３５１と、第２算出部（角膜反射中心算出部）２３５２と、第３算出部（角膜曲率中心算出部）２３５３と、視線検出部２３５４と、視点検出部２３５５と、出力制御部２３５６と、評価部２３５７と、を備えている。なお、視線検出装置としては、少なくとも第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、および、視線検出部２３５４が備えられていればよい。

制御部２３００に含まれる各要素（第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、視線検出部２３５４、視点検出部２３５５、出力制御部２３５６、および、評価部２３５７）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１算出部２３５１は、ステレオカメラ２１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部２３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。

第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線と、から角膜曲率中心（第３位置）を算出する。例えば、第３算出部２３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部２３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部２３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とＬＥＤ光源２１０３とを結ぶ直線と、の交点（第４位置）を算出する。そして第３算出部２３５３は、瞳孔中心と算出した交点との距離を（第１距離）を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面１０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部２３５６が、表示画面１０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面１０１の中央に限られるものではなく、任意の位置でよい。表示画面１０１の中央を目標位置とすれば、表示画面１０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。

視線検出部２３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部２３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部２３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部２３５５は、例えば、表示画面１０１で被験者が注視する点である視点（注視点）を検出する。視点検出部２３５５は、例えば図１７のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部２３５６は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部２３５６は、表示部２１０上の目標位置に目標画像を出力させる。また、出力制御部２３５６は、診断画像、および、評価部２３５７による評価結果などの表示部２１０に対する出力を制御する。

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。

評価部２３５７は、診断画像と、視点検出部２３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部２３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

出力制御部２３５６が第１の実施形態と同様の診断画像を表示し、評価部２３５７が第１の実施形態の評価部３５４と同様の評価処理を行ってもよい。言い換えると、第１の実施形態の瞳孔検出処理（特定部３５１、第１推定部３５２、第２推定部３５３、瞳孔位置検出部３５８）、および、視線検出処理（視線検出部３５４）を、第２の実施形態の瞳孔検出処理（第１算出部２３５１）、および、視線検出処理（第２算出部２３５２、第３算出部２３５３、視線検出部２３５４）で置き換えてもよい。これにより、第１の実施形態の効果に加えて、第２の実施形態の効果（装置構成の簡略化など）を達成可能となる。

図２０は、本実施形態の診断支援装置２１００により実行される処理の概要を説明する図である。図１６〜図１９で説明した要素については同一の符号を付し説明を省略する。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源２１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。

図２１は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１６〜図１９で説明した要素については同一の符号を付し説明を省略する。

方法Ａは、ＬＥＤ光源２１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。

これに対し、本実施形態では、ＬＥＤ光源２１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源２１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源２１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

図２２は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１６〜図１９で説明した要素については同一の符号を付し説明を省略する。なお、左右カメラ（右カメラ２２０２、左カメラ２２０３）と制御部２３００とが接続することについては図示せず省略する。

目標位置６０５は、表示部２１０上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示画面１０１の中央位置としている。直線６１３は、ＬＥＤ光源２１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部２３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図２３は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部２３５６は、表示画面１０１上の１点に目標画像を再生し（ステップＳ２０１）、被験者にその１点を注視させる。次に、制御部２３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源２１０３を被験者の目に向けて点灯させる（ステップＳ２０２）。制御部２３００は、左右カメラ（右カメラ２２０２、左カメラ２２０３）で被験者の目を撮像する（ステップＳ２０３）。

ＬＥＤ光源２１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部２３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第２算出部２３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部２３５１および第２算出部２３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ２０４）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

第１算出部２３５１および第２算出部２３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ２０５）。第３算出部２３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源２１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ２０６）。次に、第３算出部２３５３は、表示画面１０１の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ２０７）。第３算出部２３５３は、ステップＳ１０６で算出した直線とステップＳ２０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ２０８）。第３算出部２３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ２０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部２１０上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部２１０内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図２４は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源２１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示画面１０１上の注視点は、注視点８０５から注視点８０６に補正される。なお、左右カメラ（右カメラ２２０２、左カメラ２２０３）と制御部２３００とが接続することについては図示せず省略する。

図２５は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図２５の視線検出処理を実行することができる。診断処理では、図２５の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部２３５７による評価処理などが実行される。

ステップＳ３０１〜ステップＳ３０５は、図２３のステップＳ２０２〜ステップＳ２０６と同様であるため説明を省略する。

第３算出部２３５３は、ステップＳ３０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ３０６）。

視線検出部２３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ３０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部２３５５は、この視線方向と表示画面１０１との交点の三次元世界座標値を算出する（ステップＳ３０８）。この値が、被験者が注視する表示部２１０上の１点を世界座標で表した座標値である。視点検出部２３５５は、求めた三次元世界座標値を、表示部２１０の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ３０９）。これにより、被験者が見つめる表示部２１０上の視点（注視点）を算出することができる。

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（２）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。

なお、第１の実施形態と第２の実施形態は、構成要素を適宜組み合わせてもよい。

１００、２１００ 診断支援装置
１０１ 表示画面
１０２、２１０２ ステレオカメラ
１０５ スピーカ
１５０ 記憶部
２０２、２２０２ 右カメラ
２０３、２０５ 赤外ＬＥＤ光源
２０４、２２０３ 左カメラ
２０８ 駆動・ＩＦ部
２１０ 表示部
３００、２３００ 制御部
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 特定部
３５２ 第１推定部
３５３ 第２推定部
３５４、２３５４ 視線検出部
３５５、２３５５ 視点検出部
３５６、２３５５ 出力制御部
３５７、２３５７ 評価部
２３５１ 第１算出部
２３５２ 第２算出部（角膜反射中心算出部）
２３５３ 第３算出部（角膜曲率中心算出部）

Claims (8)

1. 目を撮像した画像から、瞳孔領域と角膜反射領域とを特定する特定部と、
   前記瞳孔領域に含まれる第１領域を用いて、前記角膜反射領域に接する第１接線方向の輝度重心を推定する第１推定部と、
   前記瞳孔領域に含まれ、前記第１領域とは異なる第２領域を用いて、前記角膜反射領域に接し、第１接線方向に直交する第２接線方向の輝度重心を推定する第２推定部と、
   前記第１接線方向の輝度重心を示す直線と、前記第２接線方向の輝度重心を示す直線との交点から、瞳孔の中心位置を検出する瞳孔位置検出部と、
   を備える瞳孔検出装置。
2. 前記第１推定部は、前記角膜反射領域に接する第１接線と前記瞳孔領域の外周線とによって囲まれる領域であって前記角膜反射領域を含まない第１領域を用いて、前記第１接線方向の輝度重心を推定し、
   前記第２推定部は、前記角膜反射領域に接し、前記第１接線と直交する第２接線と前記外周線とによって囲まれる領域であって前記角膜反射領域を含まない第２領域を用いて、前記第２接線方向の輝度重心を推定する、
   請求項１に記載の瞳孔検出装置。
3. 前記第１推定部は、前記第１接線と平行であり前記角膜反射領域に接する第３接線と前記外周線とによって囲まれる領域であって前記角膜反射領域を含まない第３領域が存在する場合、前記第１領域と前記第３領域とを用いて、前記第１接線方向の輝度重心を推定し、
   前記第２推定部は、前記第２接線と平行であり前記角膜反射領域に接する第４接線と前記外周線とによって囲まれる領域であって前記角膜反射領域を含まない第４領域が存在する場合、前記第２領域と前記第４領域とを用いて、前記第２接線方向の輝度重心を推定する、
   請求項２に記載の瞳孔検出装置。
4. 前記第１推定部は、前記第１領域と前記第３領域のうち、広い領域を用いて前記第１接線方向の輝度重心を推定し、
   前記第２推定部は、前記第２領域と前記第４領域のうち、広い領域を用いて前記第２接線方向の輝度重心を推定する、
   請求項３に記載の瞳孔検出装置。
5. 前記第１推定部は、前記第１領域を用いて推定した中心位置と前記第３領域を用いて推定した中心位置との平均値を、前記第１接線方向の輝度重心として推定し、
   前記第２推定部は、前記第２領域を用いて推定した中心位置と前記第４領域を用いて推定した中心位置との平均値を、前記第２接線方向の輝度重心として推定する、
   請求項３に記載の瞳孔検出装置。
6. 前記第１接線は前記画像の水平方向の線であり、
   前記第２接線は前記画像の垂直方向の線である、
   請求項２から５のいずれか１項に記載の瞳孔検出装置。
7. 請求項１から６のいずれか１項に記載の瞳孔検出装置と、
   光を照射する光源を含む照明部と、
   前記照明部によって光が照射されて、目を撮像した画像から角膜反射の中心を示す位置を算出する角膜反射中心算出部と、
   前記光源と前記角膜反射の中心を示す位置とを結ぶ直線に基づいて、角膜曲率中心を示す位置を算出する角膜曲率中心算出部と、
   前記瞳孔位置検出部により検出された瞳孔の中心位置と、前記角膜曲率中心を示す位置とに基づいて被験者の視線を検出する視線検出部と、
   を備える視線検出装置。
8. 目を撮像した画像から、瞳孔領域と角膜反射領域とを特定する特定ステップと、
   前記瞳孔領域に含まれる第１領域を用いて、前記角膜反射領域に接する第１接線方向の輝度重心を推定する第１推定ステップと、
   前記瞳孔領域に含まれ、前記第１領域とは異なる第２領域を用いて、前記角膜反射領域に接し、第１接線方向に直交する第２接線方向の輝度重心を推定する第２推定ステップと、
   前記第１接線方向の輝度重心を示す直線と、前記第２接線方向の輝度重心を示す直線との交点から、瞳孔の中心位置を検出する瞳孔位置検出ステップと、
   を含む瞳孔検出方法。