JP6056323B2 - 視線検出装置、視線検出用コンピュータプログラム - Google Patents

Description

本発明は、例えば、プルキンエ像を検出することにより視線方向を検出する視線検出装置及び視線検出用コンピュータプログラム、そのような視線検出装置で利用される表示装置に関する。

従来より、ユーザの視線方向を検出することにより、ユーザが注視している位置を検出する技術が研究されている。このような技術の一例として、ユーザの眼を撮影して得られた画像を解析することで、光源の角膜反射像と瞳孔とを検出し、その角膜反射像の位置と瞳孔の位置の差に基づいてユーザの視線を検出する技術が提案されている（例えば、特許文献１及び２を参照）。なお、光源の角膜反射像は、プルキンエ像またはプルキニエ像と呼ばれる。本願では、光源の角膜反射像をプルキンエ像と呼ぶ。

特開２０１２−６５７１９号公報 特開２０１２−１１５５０５号公報

プルキンエ像を視線の検出に利用する技術では、プルキンエ像が正確に検出できることが求められる。しかし、ユーザの眼を照明する光源とユーザの眼を撮影するカメラとの間隔が近いと、その光源からの光が網膜で反射され、その反射光が瞳孔を通じてカメラへ達することになる。その結果として、そのカメラにより撮影された画像上で瞳孔全体が明るくなる明瞳孔状態となることが知られている。このような場合、プルキンエ像の輪郭がはっきりしなくなるので、プルキンエ像の検出が困難となるおそれがあった。

そこで本明細書は、プルキンエ像の検出が困難な場合に、ユーザの注視位置を誤検出することを抑制できる視線検出装置を提供することを目的とする。

一つの実施形態によれば、視線検出装置が提供される。この視線検出装置は、ユーザの眼を照明する光源と、ユーザの顔を撮影した画像を生成する撮像部と、撮像部からユーザの顔までの距離を推定する距離推定部と、撮像部と光源間の間隔に対する、撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が光源からの光により明るくなる明瞳孔状態となるか否かを判定する判定部と、判定部が明瞳孔状態とならないと判定した場合に、画像から光源の角膜反射像とユーザの瞳孔重心とを検出するプルキンエ像検出部と、判定部が明瞳孔状態とならないと判定した場合に、瞳孔重心と角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出する視線検出部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された視線検出装置は、プルキンエ像の検出が困難な場合に、ユーザの注視位置を誤検出することを抑制できる。

視線検出装置の一実施形態であるコンピュータのハードウェア構成図である。 表示部の概略正面図である。 制御部の視線検出処理に関する機能ブロック図である。 表示部の表示画面から所定距離離れた位置における、広角カメラの視野と赤外カメラの視野との対応関係を示す図である。 照明光源と、赤外カメラと、ユーザの顔の位置の関係の一例を示す図である。 参照テーブルの一例を示す図である。 注視位置テーブルの一例を示す図である。 視線検出処理の動作フローチャートを示す図である。 第２の実施形態による表示部の概略正面図である。 第２の実施形態による視線検出処理の動作フローチャートを示す図である。 第３の実施形態による視線検出装置が有する制御部の視線検出処理に関する機能ブロック図である。

以下、図を参照しつつ、一つの実施形態による視線検出装置について説明する。
発明者は、ユーザの眼を照明する光源と、ユーザの眼を撮影するカメラとの間隔に対する、そのカメラからユーザの顔までの距離の比が所定値以上になると、そのカメラにより生成された画像上で明瞳孔状態になるとの知見を得た。

そこでこの視線検出装置は、画像生成時における、カメラからユーザの顔までの距離を推定することで、光源とカメラ間の間隔に対するカメラからユーザの顔までの距離の比を求める。そしてこの視線検出装置は、その比が明瞳孔状態が生じる比の最小値未満である場合に限り、その画像に基づいてユーザの注視位置を検出する。

なお、以下に説明する実施形態では、視線検出装置は、コンピュータに実装され、そして視線検出装置は、コンピュータのディスプレイ上のユーザの注視位置を検出する。しかしこの視線検出装置は、ユーザの注視位置または視線方向を検出し、その注視位置または視線方向を利用する様々な装置、例えば、携帯情報端末、携帯電話機、運転支援装置あるいはカーナビゲーションシステムに利用可能である。

図１は、視線検出装置の一実施形態であるコンピュータのハードウェア構成図である。コンピュータ１は、表示部２と、広角カメラ３と、照明光源４と、赤外カメラ５と、入力部６と、記憶媒体アクセス装置７と、記憶部８と、制御部９とを有する。さらにコンピュータ１は、コンピュータ１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。コンピュータ１は、いわゆるデスクトップ型のコンピュータとすることができる。この場合、コンピュータ１の各構成要素のうち、記憶媒体アクセス装置７、記憶部８及び制御部９は、筐体（図示せず）内に収容され、一方、表示部２、広角カメラ３、照明光源４、赤外カメラ５及び入力部６は、その筐体とは別個に設けられる。あるいは、コンピュータ１は、いわゆるノート型のコンピュータであってもよい。この場合には、コンピュータ１の全ての構成要素は、一つの筐体内に収容されてもよい。さらにまた、コンピュータ１は、入力部６以外の構成要素が一つの筐体内に収容される、ディスプレイ一体型のコンピュータであってもよい。

表示部２は、例えば、液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイを有する。そして表示部２は、例えば、様々なアイコンまたは操作メニューを制御部９からの制御信号に応じて表示する。各アイコンまたは操作メニューには、表示部２の表示画面上の位置及び範囲を表す情報が関連付けられている。そのため、後述するように、制御部９により検出されたユーザの注視位置が、何れかのアイコンまたは操作メニューと重なるとそのアイコンまたは操作メニューが選択されたと判定することが可能となっている。

図２は、表示部２の概略正面図である。表示部２の中央には、様々なアイコンなどを表示するための表示画面２ａが設けられており、表示画面２ａは、その周囲の枠２ｂにより保持されている。表示画面２ａの上側には、枠２ｂの略中央に、広角カメラ３が取り付けられている。一方、表示画面２ａの下側には、枠２ｂの略中央に、照明光源４及び赤外カメラ５が並んで取り付けられている。本実施形態では、広角カメラ３の水平位置と赤外カメラ５の水平位置とが一致するように、広角カメラ３及び赤外カメラ５は取り付けられる。
なお、表示画面２ａを注視するユーザの顔全体が画像上に写るように、広角カメラ３の光軸が表示画面２ａと直交するように、広角カメラ３は取り付けられることが好ましい。一方、赤外カメラ５により撮影された画像上にユーザの眼及びその周囲が写るように、赤外カメラ５の光軸が表示画面２ａと直交するか、表示画面２ａの法線よりも上方を向くように、赤外カメラ５は取り付けられることが好ましい。

広角カメラ３は、第２の撮像部の一例であり、可視光に感度を有し、コンピュータ１の表示部２を注視するユーザの顔の位置が想定される範囲内の何れにあってもその顔全体を撮影可能な画角（例えば、対角60度〜80度）を持つ。そして広角カメラ３は、視線検出処理の実行中、所定のフレームレートで表示画面２ａと対向するユーザの顔全体を撮影することにより、ユーザの顔全体が写った画像を生成する。そして広角カメラ３は、画像を生成する度に、その画像を制御部９へ渡す。
なお、広角カメラ３も、赤外カメラ５と同様に、照明光源４から発せられる赤外光に感度を有するカメラであってもよい。

照明光源４は、赤外光を発光する光源、例えば、少なくとも一つの赤外発光ダイオードと、制御部９からの制御信号に応じて、赤外発光ダイオードに図示しない電源からの電力を供給する駆動回路とを有する。照明光源４は、表示画面２ａを見るために表示画面２ａと対向するユーザの顔、特にユーザの眼を照明可能なように、枠２ｂに赤外カメラ５と並べて取り付けられている。そして照明光源４は、制御部９から光源を点灯させる制御信号を受信している間、照明光を発する。

照明光源４と赤外カメラ５との間隔が広いほど、明瞳孔状態は生じ難くなる。あるいは照明光源４と赤外カメラ５との間隔が一定値に固定される場合は、赤外カメラ５からユーザの顔までの距離が近いほど、明瞳孔状態は生じ難くなる。一方、照明光源４から発する照明光には、ある程度の指向性があるため、照明光源４と赤外カメラ５との間隔が極端に広過ぎると、ユーザの顔を照明する照明光にムラが生じる。そのため、赤外カメラ５により生成された画像上で、ユーザの左眼と右眼のうち、照明光源４から遠い方の眼が暗くなり過ぎて、瞳孔またはプルキンエ像の検出が困難になるおそれがある。そこで、照明光源４と赤外カメラ５との間隔dは、例えば、次式により決定されることが好ましい。

ここで、lmaxは、赤外カメラ５により生成された画像上でユーザの瞳孔及びプルキンエ像が識別可能なサイズの下限値となるときの赤外カメラ５からユーザの顔までの距離である。すなわち、lmaxは、赤外カメラ５の画角が狭いほど、あるいは、画素数が多いほど、長くなる。またrateは、画像上で明瞳孔状態が生じ得る、照明光源４と赤外カメラ５の間隔に対する赤外カメラ５からユーザの顔までの距離の比の下限値である。

赤外カメラ５は、撮像部の一例であり、眼を含むユーザの顔の少なくとも一部の領域が写った画像を生成する。そのために、赤外カメラ５は、照明光源４が発する赤外光に感度を持つ２次元状に配列された固体撮像素子を有するイメージセンサと、そのイメージセンサ上にユーザの眼の像を結像する撮像光学系を有する。赤外カメラ５は、虹彩による反射像及び照明光源４以外の光源からの光のプルキンエ像が検出されることを抑制するために、イメージセンサと撮像光学系の間に、可視光カットフィルタをさらに有してもよい。

また赤外カメラ５は、広角カメラ３の画角よりも狭い画角（例えば、対角30度〜40度）を持つ。そして赤外カメラ５は、視線検出処理の実行中、所定のフレームレートでユーザの眼を撮影することにより、ユーザの眼が写った画像を生成する。なお、赤外カメラ５は、この画像上でユーザの瞳に写った照明光源４のプルキンエ像及び瞳孔が識別可能な解像度を有する。そして赤外カメラ５は、画像を生成する度に、その画像を制御部９へ渡す。

上記のように、赤外カメラ５は、表示部２の表示画面２ａの下方に取り付けられているので、赤外カメラ５は、表示画面２ａを注視するユーザの顔を下方から撮影することになる。そのため、コンピュータ１は、赤外カメラ５に対してプルキンエ像及び瞳孔が睫毛に隠れてしまう可能性を低減できる。

また、広角カメラ３の感度と赤外カメラ５の感度は、それぞれ別個に最適化されてもよい。例えば、広角カメラ３の感度は、画像上で顔の輪郭が識別できるように、相対的に低く設定され、一方、赤外カメラ５の感度は、画像上でプルキンエ像及び瞳孔が識別できるように、相対的に高く設定されてもよい。

以下では、便宜上、広角カメラ３により生成された画像を広角画像と呼び、赤外カメラ５により生成された画像を狭角画像と呼ぶ。

入力部６は、例えば、キーボードと、マウスのようなポインティングデバイスとを有する。そして入力部６を介してユーザにより入力された操作信号は、制御部９へ渡される。

なお、表示部２と入力部６とは、例えば、タッチパネルディスプレイのように一体化されていてもよい。この場合、入力部６は、表示部２の表示画面上に表示されたアイコンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部９へ出力する。

記憶媒体アクセス装置７は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０にアクセスする装置である。記憶媒体アクセス装置７は、例えば、記憶媒体１０に記憶された、制御部９上で実行される、視線検出処理用のコンピュータプログラムを読み込み、制御部９に渡す。

記憶部８は、例えば、読み書き可能な不揮発性の半導体メモリ、及び読み書き可能な揮発性の半導体メモリを有する。そして記憶部８は、制御部９上で実行される、視線検出処理用のコンピュータプログラム、各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部８は、表示部２の表示画面に表示中のアイコンの位置及び範囲または操作メニューの位置及び範囲を表す情報を記憶する。

さらに、記憶部８は、ユーザが注視する位置を検出するために利用される各種のデータを記憶する。例えば、記憶部８は、プルキンエ像の重心に対する瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブルを記憶する。また記憶部８は、広角画像上の位置座標と狭角画像上の位置座標との対応関係を表す座標変換テーブルを記憶してもよい。

制御部９は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部９は、コンピュータ１の各部と信号線を介して接続されており、コンピュータ１全体を制御する。例えば、制御部９は、入力部６から受け取った操作信号と実行中のアプリケーションプログラムに応じた処理を実行する。

さらに、制御部９は、視線検出処理を実行することにより、表示部２の表示画面２ａ上でユーザが注視している位置を求める。そして制御部９は、ユーザが注視している位置と記憶部８に記憶されている表示部２の表示画面２ａ上の各アイコンまたは操作メニューの表示領域とを比較する。そして制御部９は、ユーザが注視している位置と何れかのアイコンまたは操作メニューの表示領域とが重なっている場合、そのアイコンまたは操作メニューに応じた処理を実行する。あるいは、制御部９は、ユーザが注視している位置を表す情報を制御部９が実行中のアプリケーションプログラムに渡す。なお、制御部９は、検出したユーザの注視位置を表すアイコンを表示部２に表示させてもよい。これにより、ユーザは、コンピュータ１によって検出された注視位置を確認することができ、もし、検出された注視位置が本当の注視位置とずれていても、ユーザは視線を動かすことで、コンピュータ１に検出される注視位置を適切な位置へ移動できる。

図３は、制御部９の視線検出処理に関する機能ブロック図である。制御部９は、顔検出部２１と、眼周辺領域検出部２２と、座標変換部２３と、眼精密検出部２４と、距離推定部２５と、判定部２６と、プルキンエ像検出部２７と、視線検出部２８とを有する。
制御部９が有するこれらの各部は、制御部９が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。また制御部９が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として、制御部９が有するプロセッサとは別個にコンピュータ１に実装されてもよい。この場合、その集積回路は、記憶部８とは別個に、視線検出処理で利用される各種のデータを記憶して、視線検出装置が有する記憶部として機能する記憶回路を含んでいてもよい。

顔検出部２１は、視線検出処理の実行中において、広角画像上でユーザの眼が写っている可能性のある領域を特定するために、広角画像上で、ユーザの顔が写っている領域である顔領域を検出する。
例えば、顔検出部２１は、広角画像の各画素の値をHSV表色系により表される値に変換する。そして顔検出部２１は、各画素の色相成分（H成分）の値が肌色に相当する値（例えば、0°〜30°の範囲内の値）となる画素を、顔の一部が写っている可能性がある顔領域候補画素として抽出する。

また、ユーザの視線に応じてコンピュータ１の操作が実行される場合、ユーザの顔は、表示部２の表示画面２ａを向いており、かつ、表示画面２ａから数十cm離れた位置にあると想定される。そのため、広角画像上でユーザの顔が占める領域は比較的大きく、かつ、広角画像上で顔が占める領域の大きさもある程度推定される。
そこで顔検出部２１は、顔領域候補画素に対してラベリング処理を行って、互いに隣接している顔領域候補画素の集合を顔候補領域とする。そして顔検出部２１は、顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれているか否か判定する。顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれていれば、顔検出部２１はその顔候補領域を顔領域と判定する。
なお、顔候補領域の大きさは、例えば、顔候補領域の水平方向の最大幅の画素数で表される。この場合、基準範囲は、例えば、広角画像の水平方向画素数の1/4以上〜2/3以下に設定される。あるいは、顔候補領域の大きさは、例えば、顔候補領域に含まれる画素数で表されてもよい。この場合、基準範囲は、例えば、広角画像全体の画素数の1/16以上〜4/9以下に設定される。

顔検出部２１は、顔候補領域の大きさだけでなく、顔候補領域の形状も、顔候補領域を顔領域と判定するための判定条件に加えてもよい。人の顔は、一般に略楕円形状を有している。そこで顔検出部２１は、例えば、顔候補領域の大きさが上記の基準範囲に含まれ、かつ、顔候補領域の円形度が、一般的な顔の輪郭に相当する所定の閾値以上である場合に顔候補領域を顔領域としてもよい。なお顔検出部２１は、顔候補領域の輪郭上に位置する画素の合計を顔候補領域の周囲長として求め、顔候補領域内の総画素数に4πを乗じた値を周囲長の２乗で除することにより円形度を算出できる。

あるいは、顔検出部２１は、顔候補領域の輪郭上の各画素の座標を楕円方程式に当てはめて最小二乗法を適用することにより、顔候補領域を楕円近似してもよい。そして顔検出部２１は、その楕円の長軸と短軸の比が一般的な顔の長軸と短軸の比の範囲に含まれる場合に、顔候補領域を顔領域としてもよい。なお、顔検出部２１は、楕円近似により顔候補領域の形状を評価する場合、画像の各画素の輝度成分に対して近傍画素間演算を行ってエッジに相当するエッジ画素を検出してもよい。この場合、顔検出部２１は、エッジ画素を例えばラベリング処理を用いて連結し、一定の長さ以上に連結されたエッジ画素を顔候補領域の輪郭とする。

なお、顔検出部２１は、画像上に写っている顔の領域を検出する他の様々な方法の何れかに従って顔領域を検出してもよい。例えば、顔検出部２１は、顔候補領域と一般的な顔の形状に相当するテンプレートとの間でテンプレートマッチングを行って、顔候補領域とテンプレートとの一致度を算出し、その一致度が所定値以上である場合に、顔候補領域を顔領域と判定してもよい。

顔検出部２１は、顔領域を検出できると、顔領域の位置及び範囲を表す情報である顔領域情報を生成する。例えば、顔領域情報は、広角画像と同一のサイズを有し、かつ顔領域内の画素と顔領域外の画素とが異なる画素値を持つ２値画像とすることができる。あるいは、顔領域情報は、顔領域の外接矩形の各コーナーの座標を含んでいてもよい。
そして顔検出部２１は、顔領域を表す情報を眼周辺領域検出部２２へ渡す。

眼周辺領域検出部２２は、狭角画像上でユーザの眼が写っている領域を探索する範囲を限定するため、及び、赤外カメラ５とユーザの顔間の距離の推定に利用するために、広角画像の顔領域内でユーザの眼及び眼周辺が写っている領域である眼周辺領域を検出する。

眼に相当する画素の輝度は、眼の周囲に相当する画素の輝度と大きく異なる。そこで眼周辺領域検出部２２は、顔領域内の各画素に対して、例えば、Sobelフィルタを用いて垂直方向の近傍画素間差分演算を行って垂直方向に輝度が変化するエッジ画素を検出する。そして眼周辺領域検出部２２は、例えば、エッジ画素が略水平方向に眼の大きさに相当する所定数以上連結された２本のエッジ線で囲まれた領域を眼周辺領域候補とする。
人の眼は、水平方向に二つ並んでいる。そこで、眼周辺領域検出部２２は、検出された眼周辺領域候補のうち、眼周辺領域候補の重心間の垂直方向の位置差がもっとも少なく、かつ、水平方向に左眼と右眼間の間隔に相当する距離だけ離れている二つの眼周辺領域候補を抽出する。そして眼周辺領域検出部２２は、その二つの眼周辺領域候補の外接矩形領域を眼周辺領域とする。

あるいは、眼周辺領域検出部２２は、両眼を表すテンプレートと、顔領域とのテンプレートマッチングにより、顔領域内でテンプレートに最も一致する領域を検出し、その検出した領域を眼周辺領域としてもよい。
眼周辺領域検出部２２は、広角画像上の眼周辺領域の位置及び範囲を表す情報である眼周辺領域情報を、座標変換部２３及び距離推定部２５へ渡す。なお、眼周辺領域情報は、例えば、眼周辺領域の各コーナーの広角画像上での位置座標を含む。

座標変換部２３は、広角画像上で検出された眼周辺領域の位置座標、例えば、眼周辺領域の各コーナーの位置座標を、広角カメラ３及び赤外カメラ５の画角、画素数、設置位置及び撮影方向に基づいて狭角画像上の位置座標に変換する。これにより、座標変換部２３は、眼周辺領域に対応する狭角画像上の領域を特定する。以下では、便宜上、眼周辺領域に対応する狭角画像上の領域を、拡大眼周辺領域と呼ぶ。

図４は、表示部２の表示画面２ａから所定距離離れた位置における、広角カメラ３の視野と赤外カメラ５の視野との対応関係を示す図である。この例では、広角カメラ３と赤外カメラ５の水平方向の位置は同一であり、表示画面２ａからその所定距離の位置で、広角カメラ３の光軸と赤外カメラ５の光軸が交差するとした。そのため、広角カメラ３の視野４００の中心と赤外カメラ５の視野４１０の中心は一致する。ここで、広角カメラ３の水平方向の画素数がNhwであり、広角カメラ３の垂直方向の画素数がNvwであるとする。一方、赤外カメラ５の水平方向の画素数がNhnであり、赤外カメラ５の垂直方向の画素数がNvnであるとする。また、広角カメラ３の水平方向の画角及び垂直方向の画角が、それぞれ、ωhw、ωvwであり、赤外カメラ５の水平方向の画角及び垂直方向の画角が、それぞれ、ωhn、ωvnであるとする。このとき、広角画像の中心を原点とする座標系で表される、広角画像の画素の座標(px,py)に対応する、狭角画像の画素の狭角画像の中心を原点とする座標(qx,qy)は、次式で表される。

座標変換部２３は、例えば、上記の（２）式に従って、広角画像上の眼周辺領域の各コーナーの位置座標を狭角画像上の対応する位置座標に変換することで、拡大眼周辺領域を特定できる。
なお、ユーザの顔の位置で、広角カメラ３の光軸と赤外カメラ５の光軸とが所定の間隔だけ離れている場合、座標変換部２３は、座標(qx,qy)を求めるために、上記の（２）式において、その所定の間隔に相当するオフセットを（２）式の右辺に加えればよい。

変形例によれば、広角画像上の位置座標と狭角画像上の位置座標との対応関係を表した座標変換テーブルが予め準備され、記憶部８に記憶されていてもよい。この場合には、座標変換部２３は、座標変換テーブルを参照することにより、広角画像上の眼周辺領域の各コーナーの位置座標を狭角画像上の対応する位置座標に変換できる。
この変形例によれば、広角カメラ３の歪曲収差と赤外カメラ５の歪曲収差が無視できないほど大きい場合でも、座標変換部２３は、広角画像上の眼周辺領域に相当する狭角画像上の拡大眼周辺領域を正確に特定できる。

またさらに他の変形例によれば、座標変換部２３は、広角画像上の眼周辺領域をテンプレートとして、狭角画像とテンプレートマッチングを行うことにより、そのテンプレートと最も一致する領域を拡大眼周辺領域としてもよい。

座標変換部２３は、拡大眼周辺領域の位置及び範囲を表す情報である拡大眼周辺領域情報を、眼精密検出部２４へ通知する。なお、拡大眼周辺領域情報は、例えば、狭角画像上の拡大眼周辺領域の各コーナーの位置座標を含む。

眼精密検出部２４は、座標変換部２３から、拡大眼周辺領域情報を受け取る。そして眼精密検出部２４は、狭角画像の拡大眼周辺領域及びその周囲で、再度眼が写っている領域を検出する。以下では、便宜上、眼精密検出部２４により検出された眼が写っている領域を、精密眼領域と呼ぶ。
狭角画像上のユーザの眼のサイズは、広角画像上のユーザの眼のサイズよりも大きいので、眼精密検出部２４は、眼及びその周囲のより詳細な情報を利用できるため、眼周辺領域検出部２２よりも正確な眼の位置を特定できる。

なお、眼精密検出部２４は、眼周辺領域検出部２２が眼周辺領域を検出するのと同様に、例えば、両眼に相当するテンプレートと狭角画像上の拡大眼周辺領域とのテンプレートマッチングを行う。そして、眼精密検出部２４は、拡大眼周辺領域内でテンプレートと最も一致する領域を精密眼領域として検出できる。

ただし、赤外カメラ５の視野は広角カメラ３の視野よりも狭いため、狭角画像にはユーザの顔全体が写らないことがある。この場合、眼精密検出部２４が両眼に相当するテンプレートを利用すると、拡大眼周辺領域ではそのテンプレートと片方の眼しか一致しないので、精密眼領域の検出精度が低下するおそれがある。そこで眼精密検出部２４は、拡大眼周辺領域全体が狭角画像に含まれるか否かによって、利用するテンプレートを変更してもよい。

例えば、拡大眼周辺領域全体が狭角画像に含まれている場合、眼精密検出部２４は、例えば、精密眼領域を検出するために、両眼に相当するテンプレートを利用する。一方、拡大眼周辺領域の一部が狭角画像から外れている場合、眼精密検出部２４は、狭角画像に含まれる方の眼と、顔の眼以外の部位（例えば、鼻孔、口、眉毛など）とを含むテンプレートを利用してもよい。またこの場合、顔の眼以外の部位は、眼と離れているので、拡大眼周辺領域内に含まれていない可能性がある。そこで精密眼領域の探索範囲は、拡大眼周辺領域だけでなく、拡大眼周辺領域の周囲の、テンプレートに含まれる他の部位が写っている可能性がある領域も含むように設定されてもよい。なお、眼精密検出部２４は、拡大眼周辺領域の左辺及び右辺の何れか一方が、狭角画像の外側に位置する場合、拡大眼周辺領域の一部が狭角画像から外れていると判定できる。

また、広角カメラ３と赤外カメラ５とは、表示画面２ａの垂直方向に沿って離れて設置されているので、広角カメラ３の視野と赤外カメラ５の視野との間には、垂直方向の視差がある。そして表示部２からユーザの顔までの距離に応じて、その視差は変動する。そこで眼精密検出部２４は、精密眼領域の垂直方向の探索範囲を拡大眼周辺領域の上端と下端の間に限定せず、水平方向の探索範囲のみ、拡大眼周辺領域の左端と右端の間に限定してもよい。

眼精密検出部２４は、狭角画像上の拡大眼周辺領域及びその周囲の探索範囲内でテンプレートと最も一致する領域のうち、そのテンプレート中の何れかの眼に相当する部分を、精密眼領域とする。そして眼精密検出部２４は、精密眼領域の位置及び範囲を表す精密眼領域情報を距離推定部２５及びプルキンエ像検出部２７へ渡す。

距離推定部２５は、広角画像から検出された眼周辺領域と、狭角画像から検出された精密眼領域とから、赤外カメラ５からユーザの顔までの距離を推定する。

一般に、画像上の各画素の座標は、その画像を生成したカメラからその画素に写っている物体の方向に対応している。また、広角カメラ３と赤外カメラ５間の距離、広角カメラ３の光軸方向及び赤外カメラ５の光軸方向は予め分かっている。そこで距離推定部２５は、例えば、広角画像上の眼周辺領域内の何れかの眼に相当する位置から、広角カメラ３からユーザのその眼への方向ベクトルを求める。同様に、距離推定部２５は、狭角画像上の精密眼領域内のその眼に相当する位置から、赤外カメラ５からその眼への方向ベクトルを求める。なお、広角画像上の眼の位置及び狭角画像上の眼の位置は、例えば、眼の瞳孔に相当するテンプレートと眼周辺領域及び精密眼領域とのテンプレートマッチングを実行することによって検出されるそのテンプレートと最も一致する位置とすることができる。
距離推定部２５は、三角測量の原理に基づいて、広角カメラ３と赤外カメラ５間の距離と、それぞれのカメラからユーザの眼への方向ベクトルとから、その方向ベクトル同士が交差する位置を求める。そして距離推定部２５は、赤外カメラ５からその交差位置までの距離を、赤外カメラ５からユーザの顔までの距離と推定する。

距離推定部２５は、赤外カメラ５からユーザの顔までの距離の推定値を判定部２６へ通知する。

判定部２６は、照明光源４と赤外カメラ５間の間隔に対する、赤外カメラ５からユーザの顔までの距離の推定値の比に応じて、狭角画像上で明瞳孔状態となるか否かを判定する。本実施形態では、判定部２６は、その比を所定の閾値と比較する。そして判定部２６は、その比が所定の閾値以上であれば、狭角画像上で明瞳孔状態になっている可能性が高いと判断し、その狭角画像を用いた注視位置の検出を中止する。そして判定部２６は、ユーザに対して、顔が表示部２から離れすぎていることを示す警告メッセージを表示部２に表示させる。

一方、その比が所定の閾値未満であれば、狭角画像上では、プルキンエ像を除いて瞳孔が暗くなっている暗瞳孔状態となっている可能性が高い。そこで判定部２６は、プルキンエ像検出部２７にプルキンエ像及び瞳孔の検出を実行させる。

図５は、照明光源４と、赤外カメラ５と、ユーザの顔の位置の関係の一例を示す図である。明瞳孔状態は、照明光源４と赤外カメラ５間の間隔dに対する、赤外カメラ５からユーザの顔までの距離の比が大きくなるほど、すなわち、瞳孔と赤外カメラ５を結ぶ線と、瞳孔と照明光源４を結ぶ線とのなす角が小さくなるほど生じ易くなる。例えば、ユーザの眼５０１が、赤外カメラ５から所定の距離l1よりも近くに位置している場合には、明瞳孔状態とならないが、赤外カメラ５から距離l1よりも離れた位置にユーザの眼５０１がある場合には、明瞳孔状態となる。そこで所定の閾値は、例えば、明瞳孔状態が生じ得る、照明光源４と赤外カメラ５間の間隔に対する、赤外カメラ５からユーザの顔までの距離の比の下限値に設定される。

発明者は、実験により、複数の被験者に対して明瞳孔状態が生じるときの、照明光源４と赤外カメラ５間の間隔dに対する、赤外カメラ５からユーザの顔までの距離の比を求めた。15〜24インチ程度のモニタを有するパーソナルコンピュータでユーザが作業する場合、赤外カメラ５からユーザの顔までの平均的な距離は500mmであった。この場合、照明光源４と赤外カメラ５の間隔dが15mm以下(間隔dに対する赤外カメラ５からユーザの顔までの距離の比率が26.7)の条件において明瞳孔状態を生じた。その他、赤外カメラ５からユーザの顔までの距離または間隔dについての条件を変えて実験し、また多少の個人差等も解析的に考慮した結果、発明者は、明瞳孔状態が生じるその比の下限値は約26〜27となるとの知見を得た。そこで、本実施形態では、上記の閾値を27に設定した。
また、照明光源４と赤外カメラ５との間隔は、表示部２から利用者までの距離の想定される最大値を所定の係数、例えば、上記の閾値で割って求めた間隔以上空けられていることが好ましい。さらに、この閾値条件を十分に満たして明瞳孔状態を回避して、さらにユーザの顔を照明する明るさのムラも同時に回避することが好ましい。例えば上記のように、赤外カメラ５により生成される画像上でユーザの瞳孔及びプルキンエ像が識別可能なサイズの下限値となるときの赤外カメラ５からユーザの顔までの距離をlmaxとし、閾値の２７をrateとして（１）式に従うと、間隔dは約50.0mmに設定される。これにより、プルキンエ像を用いて視線検出処理を行える限りにおいては明瞳孔状態は生じず、かつ、照明光源４による顔の照明ムラを抑制することができる。

プルキンエ像検出部２７は、視線検出処理の実行中において、狭角画像上の精密眼領域内でプルキンエ像及び瞳孔を検出する。
本実施形態では、プルキンエ像検出部２７は、一方の眼の瞳孔に相当するテンプレートと精密眼領域との間でテンプレートマッチングを行い、精密眼領域内でテンプレートとの一致度が最も高くなる領域を検出する。そしてプルキンエ像検出部２７は、一致度の最高値が所定の一致度閾値よりも高い場合、その検出した領域に瞳孔が写っていると判定する。なお、テンプレートは、瞳孔の大きさに応じて複数準備されてもよい。この場合、プルキンエ像検出部２７は、各テンプレートと精密眼領域とのテンプレートマッチングをそれぞれ実行し、一致度の最高値を求める。そして一致度の最高値が一致度閾値よりも高い場合、プルキンエ像検出部２７は、一致度の最高値に対応するテンプレートと重なった領域に瞳孔が写っていると判定する。なお、一致度は、例えば、テンプレートとそのテンプレートと重なった領域との正規化相互相関値として算出される。また一致度閾値は、例えば、0.7または0.8に設定される。

また瞳孔が写っている領域の輝度は、その周囲の領域の輝度よりも低く、瞳孔は略円形である。そこでプルキンエ像検出部２７は、精密眼領域内で、同心円状に半径の異なる２本のリングを設定する。そしてプルキンエ像検出部２７は、外側のリングに相当する画素の輝度の平均値から内側の画素の輝度の平均値を引いた差分値が所定の閾値よりも大きい場合、その内側のリングで囲まれた領域を瞳孔領域としてもよい。またプルキンエ像検出部２７は、内側のリングで囲まれた領域の平均輝度値が所定の閾値以下であることを、瞳孔領域として検出する条件に加えてもよい。この場合、所定の閾値は、例えば、精密眼領域内の最大輝度値と最小輝度値の差の10％〜20％を、最小輝度値に加えた値に設定される。

プルキンエ像検出部２７は、瞳孔領域の検出に成功した場合、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心の位置座標として算出する。一方、プルキンエ像検出部２７は、瞳孔領域の検出に失敗した場合、制御部９へその旨を表す信号を返す。

またプルキンエ像検出部２７は、精密眼領域内で照明光源４のプルキンエ像を検出する。照明光源４のプルキンエ像が写っている領域の輝度は、その周囲の領域の輝度よりも高く、その輝度値は略飽和している（すなわち、輝度値が、画素値が取り得る輝度の値の略最高値となっている）。また、照明光源４のプルキンエ像が写っている領域の形状は、各光源の発光面の形状と略一致する。そこでプルキンエ像検出部２７は、精密眼領域内で、照明光源４の発光面の輪郭形状と略一致する形状を持ち、かつ、大きさが異なるとともに中心が一致する２本のリングを設定する。そしてプルキンエ像検出部２７は、内側のリングに相当する画素の輝度の平均値である内部輝度平均値から外側の画素の輝度の平均値を引いた差分値を求める。プルキンエ像検出部２７は、その差分値が所定の差分閾値よりも大きく、かつ内側輝度平均値が所定の輝度閾値よりも高い場合、その内側のリングで囲まれた領域を照明光源４のプルキンエ像とする。なお、差分閾値は、例えば、精密眼領域内の近傍画素間の差分値の平均値とすることができる。また所定の輝度閾値は、例えば、精密眼領域内での輝度値の最高値の80%とすることができる。

なお、プルキンエ像検出部２７は、画像上で瞳孔が写っている領域を検出する他の様々な方法の何れかを用いて、瞳孔が写っている領域を検出してもよい。同様に、プルキンエ像検出部２７は、画像上で光源のプルキンエ像が写っている領域を検出する他の様々な方法の何れかを用いて、照明光源４のプルキンエ像が写っている領域を検出してもよい。

プルキンエ像検出部２７は、照明光源４のプルキンエ像の検出に成功した場合、プルキンエ像に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、プルキンエ像の重心の位置座標として算出する。一方、プルキンエ像検出部２７は、照明光源４のプルキンエ像の検出に失敗した場合、制御部９へその旨を表す信号を返す。
プルキンエ像検出部２７は、プルキンエ像の重心及び瞳孔重心を視線検出部２８へ通知する。

視線検出部２８は、視線検出処理の実行中において、プルキンエ像の重心及び瞳孔重心に基づいてユーザの視線方向またはユーザの注視位置を検出する。

角膜の表面は略球形であるため、視線方向によらず、光源のプルキンエ像の位置はほぼ一定となる。一方、瞳孔重心は、ユーザの視線方向に応じて移動する。そのため、視線検出部２８は、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を求めることにより、ユーザの視線方向を検出できる。

本実施形態では、視線検出部２８は、光源のプルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、例えば、瞳孔重心の水平方向座標及び垂直方向座標からプルキンエ像の重心の水平方向座標及び垂直方向座標を減算することにより求める。そして視線検出部２８は、瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブルを参照することにより、ユーザの視線方向を決定する。

図６は、参照テーブルの一例を示す図である。参照テーブル６００の左側の列の各欄には、光源のプルキンエ像の重心を基準とする瞳孔重心の相対的な位置の座標が表される。また参照テーブル６００の右側の列の各欄には、同じ行の瞳孔重心の相対的な位置の座標に対応するユーザの視線方向が表される。なお、この例では、視線方向は、所定の基準点（例えば、表示画面２ａの中心または赤外カメラ５の取り付け位置）をユーザが注視しているときの視線方向を基準方向として、その基準方向からの水平方向及び垂直方向の角度の差で表される。なお、瞳孔重心の相対的な位置の座標は、画像上の画素単位で表される。

視線検出部２８は、さらに、ユーザの視線方向に基づいて、ユーザが表示部２の表示画面２ａ上で注視している位置を検出する。なお、以下では、便宜上、ユーザが表示画面２ａ上で注視している位置を単に注視位置と呼ぶ。
本実施形態では、視線検出部２８は、ユーザの視線方向と表示画面上でのユーザの注視位置との関係を表す注視位置テーブルを参照することにより、ユーザの注視位置を決定する。

図７は、注視位置テーブルの一例を示す図である。注視位置テーブル７００の上端の行には、ユーザの視線方向が表される。そして注視位置テーブル７００の各欄には、同じ列の視線方向に対応する、表示画面２ａ上の注視位置の座標が表示画面２ａの画素単位で表される。例えば、注視位置テーブル７００の欄７０１には、視線方向が水平方向0°、垂直方向1°の場合の注視位置が(cx,cy+40)であることが示されている。なお、cx、cyは、視線方向が(0,0)のときの注視位置、すなわち基準注視位置の座標、例えば、表示画面２ａの中心の水平座標及び垂直座標である。

なお、視線検出部２８は、赤外カメラ５からユーザの顔までの推定距離を、表示画面２ａ上のユーザの注視位置をより正確に求めるために利用できる。例えば、赤外カメラ５からユーザの顔までの距離ごとに、視線方向と注視位置の関係を表す注視位置テーブルが記憶部８に予め記憶されていてもよい。そして視線検出部２８は、赤外カメラ５からユーザの顔までの推定距離に相当する注視位置テーブルを記憶部８から読み込んで、注視位置を特定するために利用する。

また、赤外カメラ５からユーザの顔までの想定距離（以下、基準距離と呼ぶ）についての注視位置テーブルのみが記憶部８に記憶されている場合、視線検出部２８は、基準距離に対する、表示部２からユーザの顔までの推定距離の比を求める。そして視線検出部２８は、その比を、注視位置テーブルを参照して得られた視線方向に対応する注視位置の座標と基準注視位置の座標との差に乗じた距離だけ、基準注視位置からその注視位置へ向かう方向に沿って離れた位置に、注視位置を補正してもよい。

視線検出部２８は、ユーザの注視位置を制御部９で実行中のアプリケーションプログラムへ通知する。

図８は、制御部９により実行される、視線検出処理の動作フローチャートを示す。制御部９は、広角画像及び狭角画像が生成される度に、以下の動作フローチャートに従って視線検出処理を実行する。

制御部９は、広角カメラ３から広角画像を取得し、赤外カメラ５から、照明光源４が点灯した状態でユーザの顔を撮影した狭角画像を取得する（ステップＳ１０１）。そして制御部９の顔検出部２１は、広角画像上で顔が写っている顔領域を検出する（ステップＳ１０２）。顔検出部２１は、顔領域の検出に成功したか否か判定する（ステップＳ１０３）。顔領域の検出に失敗した場合（ステップＳ１０３−Ｎｏ）、ユーザは表示部２の表示画面２ａを向いていないと推定される。そのため、制御部９は、視線検出処理を終了する。

一方、顔検出部２１が顔領域の検出に成功した場合（ステップＳ１０３−Ｙｅｓ）、顔検出部２１は、顔領域情報を制御部９の眼周辺領域検出部２２へ渡す。
眼周辺領域検出部２２は、広角画像の顔領域内で眼周辺領域を検出する（ステップＳ１０４）。そして眼周辺領域検出部２２は、眼周辺領域情報を制御部９の座標変換部２３及び距離推定部２５へ渡す。

座標変換部２３は、狭角画像上で広角画像上の眼周辺領域に対応する拡大眼周辺領域を特定する（ステップＳ１０５）。そして座標変換部２３は、拡大眼周辺領域情報を制御部９の眼精密検出部２４へ渡す。

眼精密検出部２４は、拡大眼周辺領域情報を座標変換部２３から受け取ると、拡大眼周辺領域及びその周辺領域において精密眼領域を検出する（ステップＳ１０６）。眼精密検出部２４は、精密眼領域情報を距離推定部２５及びプルキンエ像検出部２７へ渡す。

距離推定部２５は、眼周辺領域内に位置する眼と精密眼領域内に位置する眼との位置関係に基づいて、例えば、三角測量により、赤外カメラ５からユーザの顔までの距離lを推定する（ステップＳ１０７）。そして距離推定部２５は、その距離lを制御部９の判定部２６へ通知する。

判定部２６は、照明光源４と赤外カメラ５との間隔dに対する、距離lの比(l/d)が所定の閾値Th未満か否か判定する（ステップＳ１０８）。なお、所定の閾値Thは、上記のように、例えば、明瞳孔状態が生じる(l/d)の下限値に設定される。

比(l/d)が閾値Th以上である場合（ステップＳ１０８−Ｎｏ）、判定部２６は、ユーザの顔が表示部に対して遠過ぎる旨の警告メッセージを表示部２に表示させる（ステップＳ１０９）。その後、制御部９は、視線検出処理を終了する。

一方、比(l/d)が閾値Th未満である場合（ステップＳ１０８−Ｙｅｓ）、プルキンエ像検出部２７は、狭角画像上の精密眼領域内で瞳孔重心及びプルキンエ像を検出する（ステップＳ１１０）。そしてプルキンエ像検出部２７は、瞳孔重心及びプルキンエ像の検出に成功したか否か判定する（ステップＳ１１１）。

プルキンエ像検出部２７が瞳孔重心の検出または照明光源４のプルキンエ像の検出に失敗した場合（ステップＳ１１１−Ｎｏ）、制御部９は、視線検出処理を終了する。その後、制御部９は、前回の撮影時の露出条件と異なる露出条件でユーザの顔を撮影するように広角カメラ３及び赤外カメラ５に変更後の露出条件を表す制御信号を送信してもよい。
一方、プルキンエ像検出部２７が瞳孔重心及び照明光源４のプルキンエ像の検出に成功した場合（ステップＳ１１１−Ｙｅｓ）、プルキンエ像検出部２７は、プルキンエ像の重心及び瞳孔重心を制御部９の視線検出部２８へ通知する。

視線検出部２８は、参照テーブルを参照してプルキンエ像の重心を基準とする瞳孔重心の位置に対応する視線方向を検出する（ステップＳ１１２）。

視線検出部２８は、注視位置テーブルを参照して、視線方向に対応する表示部２の表示画面２ａ上の注視位置を求める（ステップＳ１１３）。そして視線検出部２８は、その注視位置を表す情報を、制御部９が実行中のアプリケーションプログラムへ渡す。
その後、制御部９は、視線検出処理を終了する。

以上に説明してきたように、第１の実施形態による視線検出装置は、赤外カメラからユーザの顔までの距離を推定し、照明光源と赤外カメラとの間隔に対する、その距離の推定値の比に基づいて、明瞳孔状態となるか否か判定する。そしてこの視線検出装置は、明瞳孔状態が生じ得るほどその比が大きい場合には、注視位置を検出せずに、表示部に対してユーザの顔が離れ過ぎている旨を警告する。そのため、この視線検出装置は、明瞳孔状態となる場合にユーザの注視位置を誤検出することを防止できる。

次に、第２の実施形態による視線検出装置について説明する。第２の実施形態による視線検出装置は、赤外カメラからの距離が異なる二つの照明光源を有し、通常は、赤外カメラに近い方の照明光源を用いてユーザの顔を照明する。そして、赤外カメラとその近い方の照明光源との間隔に対する赤外カメラからユーザの顔までの距離の推定値の比が明瞳孔状態が生じ得るほど大きいとき、この視線検出装置は、ユーザの顔を照明する光源を、赤外カメラから遠い方の照明光源に切り替える。

第２の実施形態による視線検出装置は、第１の実施形態による視線検出装置と比較して、照明光源及び制御部のうちの判定部の処理が異なる。そこで、以下では、照明光源及び判定部について説明する。視線検出装置のその他の部分に関しては、第１の実施形態における関連部分の説明を参照されたい。

図９は、第２の実施形態による表示部２の概略正面図である。表示部２の中央には、表示画面２ａの上側には、枠２ｂの略中央に、広角カメラ３が取り付けられている。一方、表示画面２ａの下側には、枠２ｂの略中央に、二つの照明光源４−１、４−２と、赤外カメラ５とが並んで取り付けられている。
照明光源４−１は、照明光源４−２よりも赤外カメラ５の近くに配置されており、例えば、照明光源４−１と赤外カメラ５の間隔は30mmであり、照明光源４−２と赤外カメラ５の間隔は60mmである。なお、赤外カメラ５と照明光源４−２の間隔は、（１）式に従って決定されてもよい。

判定部２６は、照明光源４−１と赤外カメラ５との間隔d_nearに対する、赤外カメラ５からユーザの顔までの距離lの比(l/d_near)が閾値Th未満である場合には、照明光源４−１にユーザの顔を照明させる。一方、その比(l/ d_near)が閾値Th以上である場合には、判定部２６は、照明光源４−２にユーザの顔を照明させる。なお、閾値Thは、例えば、第１の実施形態における、照明光源４と赤外カメラ５との間隔dに対する、赤外カメラ５からユーザの顔までの距離lの比(l/d)に対する閾値と同じく、明瞳孔状態が生じるその比の下限値に設定される。これにより、照明光源４−１が点灯していても明瞳孔状態とならないほど、ユーザの顔と赤外カメラ５間の距離が短い場合には、照明光源４−１がユーザの顔を照明するので、ユーザの顔の照度ムラが少なくて済む。その結果として、視線検出装置は、プルキンエ像及び瞳孔重心の検出精度の低下を抑制できる。一方、照明光源４−１が点灯すると明瞳孔状態となるほど、ユーザの顔と赤外カメラ５とが離れている場合には、照明光源４−１よりも赤外カメラ５から遠い照明光源４−２がユーザの顔を照明するので、視線検出装置は、明瞳孔状態となることを抑制できる。

図１０は、制御部９により実行される、第２の実施形態による視線検出処理の動作フローチャートを示す。制御部９は、広角画像及び狭角画像が生成される度に、以下の動作フローチャートに従って視線検出処理を実行する。なお、第２の実施形態による視線検出処理は、第１の実施形態による視線検出処理と比較して、赤外カメラ５からユーザの顔までの距離lを推定するステップＳ１０７よりも後の処理が異なる。そこで以下では、ステップＳ１０７よりも後の処理について説明する。

赤外カメラ５からユーザの顔までの距離lが推定されると、判定部２６は、最新の狭角画像取得時に点灯している照明光源と赤外カメラ５との間隔dに対する、その距離の比(l/d)を算出する（ステップＳ２０１）。そして判定部２６は、その比(l/d)が閾値Th未満か否か判定する（ステップＳ２０２）。

比(l/d)が閾値Th未満である場合（ステップＳ２０２−Ｙｅｓ）、判定部２６は、最新の狭角画像生成時に点灯中の照明光源が、赤外カメラ５から遠い方の照明光源、すなわち、照明光源４−２か否か判定する（ステップＳ２０３）。照明光源４−２が点灯している場合（ステップＳ２０３−Ｙｅｓ）、判定部２６は、照明光源４−１と赤外カメラ５との間隔d_nearに対する、赤外カメラ５からユーザの顔までの距離lの比(l/d_near)が閾値Th未満か否か判定する（ステップＳ２０４）。比(l/d_near)が閾値Th未満であれば（ステップＳ２０４−Ｙｅｓ）、赤外カメラ５に近い方の照明光源４−１が点灯していても、狭角画像上で明瞳孔状態にはならない。そこで判定部２６は、点灯させる照明光源を、照明光源４−２から照明光源４−１に切り替える（ステップＳ２０５）。この結果、次に狭角画像が生成されるときには、照明光源４−１が点灯していることになり、次回の視線検出処理は、照明光源４−１が点灯している状態で生成された狭角画像に基づいて行われる。

一方、点灯中の照明光源が照明光源４−１である場合（ステップＳ２０３−Ｎｏ）、あるいは、比(l/d_near)が閾値Th以上である場合（ステップＳ２０４−Ｎｏ）、判定部２６は、点灯させる照明光源を切り替えない。

その後、プルキンエ像検出部２７は、狭角画像上の精密眼領域内で瞳孔重心及びプルキンエ像を検出する（ステップＳ２０６）。そしてプルキンエ像検出部２７は、瞳孔重心及びプルキンエ像の検出に成功したか否か判定する（ステップＳ２０７）。

プルキンエ像検出部２７が瞳孔重心及び照明光源４のプルキンエ像の検出に成功した場合（ステップＳ２０７−Ｙｅｓ）、プルキンエ像検出部２７は、プルキンエ像の重心及び瞳孔重心を制御部９の視線検出部２８へ通知する。

視線検出部２８は、参照テーブルを参照してプルキンエ像の重心を基準とする瞳孔重心の位置に対応する視線方向を検出する（ステップＳ２０８）。なお、参照テーブルは、照明光源ごとに予め作成され、記憶部８に記憶される。そしてステップＳ２０８では、視線検出部２８は、最新の狭角画像生成時に点灯していた方の照明光源に対応する参照テーブルを記憶部から読み込んで、視線方向の検出に利用する。

視線検出部２８は、注視位置テーブルを参照して、視線方向に対応する表示部２の表示画面２ａ上の注視位置を求める（ステップＳ２０９）。そして視線検出部２８は、その注視位置を表す情報を、制御部９が実行中のアプリケーションプログラムへ渡す。

ステップＳ２０９の後、あるいは、ステップＳ２０７にて瞳孔重心またはプルキンエ像が検出されなかった場合（ステップＳ２０７−Ｎｏ）、制御部９は、視線検出処理を終了する。

また、ステップＳ２０２において、比(l/d)が閾値Th以上である場合（ステップＳ２０２−Ｎｏ）、判定部２６は、狭角画像において明瞳孔状態が生じ得ると判定する。そこで判定部２６は、最新の狭角画像生成時に点灯中の照明光源が、赤外カメラ５に近い方の照明光源、すなわち、照明光源４−１か否か判定する（ステップＳ２１０）。点灯中の照明光源が照明光源４−１である場合（ステップＳ２１０−Ｙｅｓ）、判定部２６は、点灯させる照明光源を、赤外カメラ５から遠い方の照明光源４−２に切り替える（ステップＳ２１１）。すなわち、判定部２６は、照明光源４−１を消灯し、照明光源４−２を点灯させる。この結果、次に狭角画像が生成されるときには、照明光源４−２が点灯していることになり、次回の視線検出処理は、照明光源４−２が点灯している状態で生成された狭角画像に基づいて行われる。

一方、点灯中の照明光源が照明光源４−２である場合（ステップＳ２１０−Ｎｏ）、照明光源４−２がユーザの顔を照明しているにもかかわらず、狭角画像上で明瞳孔状態が生じ得る。そこで判定部２６は、ユーザの顔が表示部に対して遠過ぎる旨の警告メッセージを表示部２に表示させる（ステップＳ２１２）。

ステップＳ２１１またはＳ２１２の後、制御部９は、最新の狭角画像からユーザの注視位置を求めることなく、視線検出処理を終了する。

以上に説明してきたように、第２の実施形態による視線検出装置は、赤外カメラから近い方の照明光源を使用すると明瞳孔状態となり得るほど、赤外カメラとユーザの顔とが離れている場合に、赤外カメラから遠い方の照明光源を使用する。これにより、この視線検出装置は、照明ムラが生じ難い、赤外カメラに近い方の照明光源を極力使用して、プルキンエ像及び瞳孔の検出精度を向上する。一方、この視線検出装置は、赤外カメラに近い方の照明光源では明瞳孔状態となり得る場合でも、ユーザが自身の顔の位置を変えずに注視位置を検出できる。

次に、第３の実施形態による視線検出装置について説明する。第３の実施形態による視線検出装置は、赤外カメラと照明光源との間隔に対する赤外カメラからユーザの顔までの距離の推定値の比が明瞳孔状態が生じ得るほど大きいとき、プルキンエ像を利用しない視線方向検出処理により、ユーザの注視位置を推定する。

第３の実施形態による視線検出装置は、第１の実施形態による視線検出装置と比較して、制御部の処理が異なる。そこで、以下では、制御部について説明する。視線検出装置のその他の部分に関しては、第１の実施形態における関連部分の説明を参照されたい。

図１１は、第３の実施形態による制御部９１の視線検出処理に関する機能ブロック図である。制御部９１は、顔検出部２１と、眼周辺領域検出部２２と、座標変換部２３と、眼精密検出部２４と、距離推定部２５と、判定部２６と、プルキンエ像検出部２７と、視線検出部２８と、第２視線検出部２９とを有する。
制御部９１が有するこれらの各部は、制御部９１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。また制御部９１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として、制御部９１が有するプロセッサとは別個にコンピュータ１に実装されてもよい。この場合、その集積回路は、記憶部８とは別個に、視線検出処理で利用される各種のデータを記憶して、視線検出装置が有する記憶部として機能する記憶回路を含んでいてもよい。

第３の実施形態による視線検出装置の制御部９１は、第１の実施形態による視線検出装置の制御部９と比較して、第２視線検出部２９を有する点で異なる。そこで以下では、第２視線検出部２９及びその関連部分について説明する。

判定部２６は、照明光源４と赤外カメラ５との間隔dに対する、赤外カメラ５からユーザの顔までの推定距離lの比(l/d)が閾値Th以上となり、狭角画像上で明瞳孔状態が生じ得る場合、狭角画像を第２視線検出部２９へ渡す。

第２視線検出部２９は、プルキンエ像を利用せずにユーザの視線方向を検出する。例えば、第２視線検出部２９は、狭角画像上で、何れか一方の眼について、角膜（いわゆる黒目の部分）よりも内側の白眼の部分の面積と、角膜よりも外側の白眼の部分の面積との比を算出することにより、角膜の重心の位置を推定する。そして第２視線検出部２９は、その面積比を、ユーザが基準位置（例えば、表示画面２ａの中心）を見ているときのその面積比との比によって、ユーザが基準位置を見ている場合の視線方向からのずれを求めることで、ユーザの視線方向を検出する。
なお、第２視線検出部２９は、眼の角膜に相当するテンプレートと眼周辺領域または精密眼領域との間でテンプレートマッチングを行い、眼周辺領域または精密眼領域内でテンプレートとの一致度が最も高くなる領域を角膜が写っている角膜領域と判定する。そして第２視線検出部２９は、角膜領域よりも顔の内側に位置し、角膜領域と隣接するとともに、白眼に相当する輝度または色を持つ画素の集合を、角膜よりも内側の白眼の部分とする。また第２視線検出部２９は角膜領域よりも顔の外側に位置し、角膜領域と隣接するとともに、白眼に相当する輝度または色を持つ画素の集合を、角膜よりも外側の白眼の部分とする。

なお、第２視線検出部２９は、角膜領域の重心そのものを角膜の重心とし、ユーザが基準位置を見ているときの角膜の重心との差によって、ユーザが基準位置を見ている場合の視線方向からのずれを求めることで、ユーザの視線方向を検出してもよい。また、第２視線検出部２９は、プルキンエ像を利用しない他の視線方向検出処理に従って、ユーザの視線方向を検出してもよい。

ユーザの視線方向が検出されると、第２視線検出部２９は、視線検出部２８と同様に、ユーザの視線方向と注視位置との対応関係を表す注視位置テーブルを参照することにより、ユーザの視線方向に対応するユーザの注視位置を求める。

なお、第３の実施形態による視線検出処理では、制御部９１は、図８に示された視線検出処理の動作フローチャートにおけるステップＳ１０９において、警告メッセージを表示させる代わりに、第２視線検出部２９による視線検出及び注視位置検出を行えばよい。

以上に説明してきたように、第３の実施形態による視線検出装置は、明瞳孔状態となり得るほど、赤外カメラとユーザの顔とが離れている場合には、プルキンエ像を用いずに視線方向を検出する。そのため、この視線検出装置は、明瞳孔状態となり得るほど、赤外カメラとユーザの顔とが離れている場合でも、ユーザが自身の顔の位置を変えることなく、ユーザの注視位置を検出できる。

また、上記の各実施形態において、制御部９は、広角画像及び狭角画像のそれぞれについて、所定間隔で画素を間引くことにより縮小画像を生成し、その縮小画像に対して、上記の各部の処理を実行させてもよい。これにより、視線検出処理に用いられるデータの量が削減されるので、制御部９は、視線検出処理の処理時間を短縮できる。

さらに、上記の各実施形態の変形例によれば、距離推定部２５は、両眼の瞳孔重心間の間隔を求め、その間隔に応じて赤外カメラ５からユーザの顔までの距離を推定してもよい。例えば、距離推定部２５は、赤外カメラ５から所定の基準距離（例えば、500mm）だけ離れてユーザの顔が位置するときの両眼の瞳孔重心間の間隔（以下、基準間隔と呼ぶ）に対する、狭角画像または広角画像から求めた両眼の瞳孔重心間の間隔の比を算出する。そして距離推定部２５は、基準距離をその比で割って得られる値を、赤外カメラ５からユーザの顔までの距離の推定値とする。あるいは、瞳孔重心間の間隔と赤外カメラ５からユーザの顔までの距離との対応関係を表す距離テーブルが予め記憶部８に記憶されていてもよい。この場合には、距離推定部２５は、その距離テーブルを参照することにより、求めた瞳孔重心間の間隔に応じて赤外カメラ５からユーザの顔までの距離を推定してもよい。
この場合、距離推定部２５は、プルキンエ像検出部２７が瞳孔重心を検出する処理と同様の処理を行って、それぞれの眼の瞳孔重心を検出すればよい。

またこの場合、距離推定部２５は、両眼の瞳孔重心間の間隔を求めるために、広角画像及び狭角画像の何れを利用してもよい。なお、狭角画像に基づいて両眼の瞳孔重心間の間隔を求める場合には、広角カメラは省略されてもよい。

あるいは、視線検出装置は、表示部２に、表示部２からユーザの顔までの距離を検知する距離センサをさらに有し、その距離センサの測定値を、赤外カメラ５からユーザの顔までの距離の値としてもよい。そのような距離センサとして、例えば、照明光源４から発し、ユーザの顔で反射された赤外光に基づいてその距離を推定するPosition sensitive detectorを用いることができる。

なお、この変形例においても、広角カメラは省略されてもよい。広角カメラが省略される場合には、制御部の顔検出部２１、眼周辺領域検出部２２及び座標変換部２３も省略されてもよい。そしてこの場合、眼精密検出部２４は、狭角画像全体を探索範囲として精密眼領域を検出してもよい。

さらに、上記の各実施形態またはその変形例による視線検出装置は、ユーザの視線方向を利用する装置、例えば、ドライバの視線方向の変化に応じてドライバに注意喚起するか否かを決定する運転支援装置に実装されてもよい。この場合、視線検出部は、ユーザの視線方向のみを検出し、ユーザの注視位置を検出しなくてもよい。

上記の実施形態またはその変形例による視線検出装置の制御部の機能を実現するコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。なお、この記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
ユーザの眼を照明する光源と、
ユーザの顔を撮影した画像を生成する撮像部と、
前記撮像部からユーザの顔までの距離を推定する距離推定部と、
前記撮像部と前記光源間の間隔に対する、前記撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が前記光源からの光により明るくなる明瞳孔状態となるか否かを判定する判定部と、
前記判定部が明瞳孔状態とならないと判定した場合に、前記画像から前記光源の角膜反射像とユーザの瞳孔重心とを検出するプルキンエ像検出部と、
前記判定部が明瞳孔状態とならないと判定した場合に、前記瞳孔重心と前記角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出する視線検出部と、
を有する視線検出装置。
（付記２）
前記判定部は、前記比を、明瞳孔状態となる前記撮像部と前記光源間の間隔に対する前記撮像部からユーザの顔までの距離の比の下限値と比較し、前記比が前記下限値以上である場合に、明瞳孔状態となると判定し、一方、前記比が前記下限値未満である場合に、明瞳孔状態とならないと判定する、付記１に記載の視線検出装置。
（付記３）
前記光源と前記撮像部間の間隔は、当該間隔に対する前記撮像部からユーザの顔までの距離の比が前記下限値と等しい場合に前記画像上でユーザの瞳孔のサイズ及び前記角膜反射像のサイズが識別可能なサイズの下限値となるように設定される、付記２に記載の視線検出装置。
（付記４）
前記光源よりも前記撮像部から離れた位置に配置された第２の光源をさらに有し、
前記判定部は、明瞳孔状態となると判定した場合、前記光源を消灯し、かつ前記第２の光源を点灯させ、
前記撮像部は、前記第２の光源が点灯した状態でユーザの顔を撮影した第２の画像を生成し、
前記プルキンエ像検出部は、前記第２の画像から前記第２の光源の角膜反射像とユーザの瞳孔重心とを検出し、
前記視線検出部は、前記第２の光源の角膜反射像とユーザの瞳孔重心との位置関係に応じてユーザの視線方向または注視位置を検出する、付記１または２に記載の視線検出装置。
（付記５）
前記判定部が明瞳孔状態となると判定した場合に、前記画像から前記ユーザの角膜の重心を検出し、該角膜の重心の位置に応じてユーザの視線方向または注視位置を検出する第２の視線検出部をさらに有する、付記１〜３の何れか一項に記載の視線検出装置。
（付記６）
前記撮像部と異なる位置に配置され、ユーザの顔を撮影した第３の画像を生成する第２の撮像部をさらに有し、
前記距離推定部は、前記画像上のユーザの眼の位置と前記第３の画像上のユーザの眼の位置との位置関係に基づいて前記撮像部から前記ユーザの顔までの距離を推定する、付記１〜４の何れか一項に記載の視線検出装置。
（付記７）
前記距離推定部は、前記画像上でユーザの左眼の瞳孔と右眼の瞳孔とをそれぞれ検出し、前記画像上での該左眼の瞳孔と該右眼の瞳孔間の間隔に応じて前記撮像部からユーザの顔までの距離を推定する、付記１〜４の何れか一項に記載の視線検出装置。
（付記８）
ユーザの顔を撮影した画像を生成する撮像部からユーザの顔までの距離を推定し、
前記撮像部とユーザの眼を照明する光源間の間隔に対する、前記撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が前記光源からの光により明るくなる明瞳孔状態となるか否かを判定し、
明瞳孔状態とならないと判定した場合に、前記画像から前記光源の角膜反射像とユーザの瞳孔重心とを検出し、前記瞳孔重心と前記角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出する、
ことを含む視線検出方法。
（付記９）
ユーザの顔を撮影した画像を生成する撮像部からユーザの顔までの距離を推定し、
前記撮像部とユーザの眼を照明する光源間の間隔に対する、前記撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が前記光源からの光により明るくなる明瞳孔状態となるか否かを判定し、
明瞳孔状態とならないと判定した場合に、前記画像から前記光源の角膜反射像とユーザの瞳孔重心とを検出し、前記瞳孔重心と前記角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出する、
ことをコンピュータに実行させるための視線検出用コンピュータプログラム。
（付記１０）
照明光源部と赤外撮像部とを有する表示装置であって、
前記照明光源部と前記赤外撮像部との間隔が、該表示装置から利用者までの利用を想定する最大距離と所定の係数から求めた距離以上空けられていること、
を特徴とする表示装置。
（付記１１）
前記所定の係数は、明瞳孔状態が生じ得る、前記照明光源部と前記赤外撮像部の間隔に対する、前記撮像部からユーザの顔までの距離の比の下限値であり、前記間隔は、前記最大距離を前記比の下限値で割って得られる距離以上空けられている、付記１０に記載の表示装置。
（付記１２）
前記最大距離は、前記赤外撮像部により生成された画像上でユーザの瞳孔のサイズ及び前記角膜反射像のサイズが識別可能なサイズの下限値となる距離である、付記１０または１１に記載の表示装置。

１ コンピュータ
２ 表示部
２ａ 表示画面
３ 広角カメラ
４、４−１、４−２ 照明光源
５ 赤外カメラ
６ 入力部
７ 記憶媒体アクセス装置
８ 記憶部
９ 制御部
１０ 記憶媒体
２１ 顔検出部
２２ 眼周辺領域検出部
２３ 座標変換部
２４ 眼精密検出部
２５ 距離推定部
２６ 判定部
２７ プルキンエ像検出部
２８ 視線検出部
２９ 第２視線検出部

Claims (6)

1. ユーザの眼を照明する光源と、
   ユーザの顔を撮影した画像を生成する撮像部と、
   前記撮像部からユーザの顔までの距離を推定する距離推定部と、
   前記撮像部と前記光源間の間隔に対する、前記撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が前記光源からの光により明るくなる明瞳孔状態となるか否かを判定する判定部と、
   前記判定部が明瞳孔状態とならないと判定した場合に、前記画像から前記光源の角膜反射像とユーザの瞳孔重心とを検出するプルキンエ像検出部と、
   前記判定部が明瞳孔状態とならないと判定した場合に、前記瞳孔重心と前記角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出する視線検出部と、
   を有する視線検出装置。
2. 前記判定部は、前記比を、明瞳孔状態となる前記撮像部と前記光源間の間隔に対する前記撮像部からユーザの顔までの距離の比の下限値と比較し、前記比が前記下限値以上である場合に、明瞳孔状態となると判定し、一方、前記比が前記下限値未満である場合に、明瞳孔状態とならないと判定する、請求項１に記載の視線検出装置。
3. 前記光源と前記撮像部間の間隔は、当該間隔に対する前記撮像部からユーザの顔までの距離の比が前記下限値と等しい場合に前記画像上でユーザの瞳孔のサイズ及び前記角膜反射像のサイズが識別可能なサイズの下限値となるように設定される、請求項２に記載の視線検出装置。
4. 前記光源よりも前記撮像部から離れた位置に配置された第２の光源をさらに有し、
   前記判定部は、明瞳孔状態となると判定した場合、前記光源を消灯し、かつ前記第２の光源を点灯させ、
   前記撮像部は、前記第２の光源が点灯した状態でユーザの顔を撮影した第２の画像を生成し、
   前記プルキンエ像検出部は、前記第２の画像から前記第２の光源の角膜反射像とユーザの瞳孔重心とを検出し、
   前記視線検出部は、前記第２の光源の角膜反射像とユーザの瞳孔重心との位置関係に応じてユーザの視線方向または注視位置を検出する、請求項１または２に記載の視線検出装置。
5. 前記判定部が明瞳孔状態となると判定した場合に、前記画像から前記ユーザの角膜の重心を検出し、該角膜の重心の位置に応じてユーザの視線方向または注視位置を検出する第２の視線検出部をさらに有する、請求項１〜３の何れか一項に記載の視線検出装置。
6. ユーザの顔を撮影した画像を生成する撮像部からユーザの顔までの距離を推定し、
   前記撮像部とユーザの眼を照明する光源間の間隔に対する、前記撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が前記光源からの光により明るくなる明瞳孔状態となるか否かを判定し、
   明瞳孔状態とならないと判定した場合に、前記画像から前記光源の角膜反射像とユーザの瞳孔重心とを検出し、前記瞳孔重心と前記角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出する、
   ことをコンピュータに実行させるための視線検出用コンピュータプログラム。

Images