JP4464686B2 - さまざまな光線条件下におけるリアルタイムの目の検知および追跡 - Google Patents

Description

本発明は、一般に人間と機械の相互作用に関するものであり、特にリアルタイムの目の検知と追跡に関する。

コンピュータを用いた視覚技術はヒューマンマシーンインターフェースに対して有効なツールを提供する。人の目の位置及び／又は目の動きのコンピュータによる判定を利用した多くの適用例がある。一適用例としては、運転者の目が開いて道路を見ているかを判定できる自動車がある。もし運転者が眠り込んだ場合、自動車搭載のコンピュータが適切に作動して安全な運転環境に復帰させることができる。

目の動きを検知する従来の方法の一例として、対象となる人に装置を取り付ける方法が使用されている。そのような方法としては、例えば、顎サポート、頭部搭載カメラ、あるいはセンサ又はカメラを基準として顔の位置を制約するための特殊な装置がある。装置を取り付ける方法では利用者に受け入れられるかが問題点となる。一般に、利用者はコンピュータとインターフェースさせるために、不自然な装置あるいは厄介な装置が適用されることを嫌う。

その他の従来の方式では装置を取り付けない技術が用いられている。このタイプの典型的な目の検出と追跡に関する技術は、独立した二つのカテゴリー、即ち能動的赤外線（ＩＲ）照射方法と外観準拠の方法に分類される。能動的ＩＲ技術では、発光ダイオード（ＬＥＤ）のようなＩＲ照射器を用いて対象物の顔を照射する。外的照明条件によっては、瞳孔は顔の他の部分より明るく見える。能動的ＩＲ方法では、弁別的なＩＲ照射を用いて瞳孔と顔のその他の部分間の高いコントラストを検知する。

この技術の問題点は、精度が瞳孔のサイズと明るさに依存し、多くの場合顔の向き、外部からの照射干渉および対象物のカメラまでの距離の関数であることである。この技術に付随するもう一つの問題は、異なった顔の向き及び距離によって良質な瞳孔の差分画像を撮ることは更に難しくなるので、対象物がカメラの近くにあることが必要になることである。従って、能動的ＩＲ手法を強固なものとするには、照明条件の安定性と対象物がカメラの近くにあることが必要になる。

典型的な外観準拠の方法では、顔のその他の部分とは異なって見える目の強度（又は色）分布に基づいて対象物の目を検出する。外観の相違を利用して、目は検知され追跡される。この方法は、異なった顔の向き、異なった照射条件下での、異なった対象物の目を示す訓練用データを大量に集めることが必要である。従来の外観準拠の方法は、特殊な照明を必要としないが、起こり得るすべての目の外観を列挙するための膨大な訓練データを必要とする。この理由は、異なる照明、顔の向きあるいは対象物の眼鏡によって、目の外観は劇的に変化するからである。

対象物に装置の取り付けが不要で利用者に受け入れられる目の動きの検出および追跡をするための技術が必要とされる。更に、光線と対象物の方向が変化する条件下でも確実に目の動きを検出し追跡する技術が必要とされる。

発明の要約
本発明の一実施例によって、さまざまな照明条件下でリアルタイムの目の検知と追跡が提供される。さまざまな照明条件には強力な非赤外光（例えば、従来の蛍光室内灯）が含まれる。確実な目の検知と動きの追跡を実行するために、能動的赤外方式と外観準拠の方法が結合されている。対象物の目は対象物の差分画像を発生させる能動的な照射解析を用いて検知される。差分画像においては、明るい瞳孔の効果が対象物の瞳孔の外観を強調する。

本発明の一実施例では、対象物の顔の画像は、対象物の顔の明るい瞳孔および暗い瞳孔の画像を発生する能動的赤外（ＩＲ）照射器を使用して得られる。ＩＲ照射器に画像の信号対雑音比を改善する帯域通過フィルタが取り込まれれば有利である。帯域通過フィルタはＩＲ照射器のノミナルな波長と通過帯域に適合させることが可能である。

本発明の他の実施例では、差分画像から瞳孔の候補のセットを識別するためにコンポーネント解析が用いられる。コンポーネント解析には、瞳孔の候補を顔の他の特徴やバックグラウンド雑音から分離するために、サイズ、形状あるいはその他の表面形状をパラメータとして取り込むことができる。外観準拠の解析は、画像の中の対象物の目の位置を識別または確認するために、瞳孔の候補に適用することができる。サポートベクターマシンの特徴であるパターン分類及び／又は認識方法のような外観準拠の技術が、目の外観に基づいた対象物の瞳孔の動きの検知及び追跡に使用できる。

本発明の他の実施例では、フレームからフレームへの目の動きをリアルタイムで検知するために多段追跡処理が用いられる。追跡プロセスの第１段では、第１フレームから第２フレームへの対象物の目の位置を追跡するために、従来のカルマンフィルタリング技術が使用される。第１段の追跡が不成功の場合は、第１フレームから第２フレームへの対象物の目の動きを予測するために、暗い瞳孔画像上で平均シフト手法が第２段の追跡に用いられる。

実施形態の詳細な説明
発明の更なる特徴と、特質及び多岐にわたる利点については、付随する図面と以下の詳細な説明によって明確になる。
付随する図面は本発明の実施例を示し、説明とともに本発明の原理を説明する。

いくつかの発明の実施例が示された添付図面を参照して、本発明のさらに十分な説明を以下に述べる。本発明は多くの異なった形態で実施することが可能で、ここに示される実施例に限定されると解釈されるべきではない。これらの実施例は、これらの開示が充分且つ完全で、当業者に対して発明を十分に伝えるために提供されるのである。

Ａ．システム概観
本発明の一つの実施例において、強い非赤外光のようなさまざまな光線条件下で目の検知と追跡を実施するために、能動的赤外（ＩＲ）照射および外観準拠の技術が使用される。能動的ＩＲ照射は明るい瞳孔の効果を得るために対象物の顔を明るくするために用いられる。明るい瞳孔の効果および目の外観（例えば、目のパターンに基づいた統計的分布）が対象物の瞳孔を検知して追跡するために用いられる。対象物の目の外観に基づいて、パターン分類認識（例えば、サポートベクターマシン）と目標物追跡（例えば、平均シフト処理）が瞳孔の検知と目の動きの追跡のために用いられる。

本発明の処理、特徴及び機能は適切な計算装置において実行するプログラム命令によって具現される。例として、計算装置はエンタープライズサーバ、アプリケーションサーバ、ワークステーション、パーソナルコンピュータ、ネットワークコンピュータ、ネットワーク装置、パーソナルデジタル補助装置、ゲームコンソール、テレビジョン、セットトップボックス、構内オートメーション設備、ポイントオブセール端末、自動車、パーソナル通信装置（例えば、セルラーハンドセット）を含む。

プログラム命令はコンピュータが読取可能な媒体またはストレージボリュームに配信される。コンピュータが読取可能なストレージボリュームは、パブリックネットワーク、プライベートネットワーク又はインターネット経由で利用可能である。プログラム命令としては、相応しい形式であれば、ソースコード、オブジェクトコードあるいはスクリプティングコードのいずれもが可能である。

Ｂ．画像取得
能動的照射解析及び外観準拠の解析は対象物の顔のＩＲ画像または連続したＩＲ画像を利用する。一般には、対象物の顔がＩＲ光線で照射され、カメラによってその照射された顔の画像を撮る。図１Ａは本発明に基づいた赤外照射器の第１の形態を示す図面である。図示の実施例には、アウターリング１０５、インナーリング１１０およびカメラ１１５が含まれる。アウターリング１０５は複数のＩＲ発光ダイオード（ＬＥＤｓ）を含む。インナーリング１１０も複数のＩＲ ＬＥＤｓを含む。アウターリング１０５はカメラ１１５の光軸から離して配置されるが、インナーリング１１０はカメラ１１５のレンズの光軸の近傍に配置される。具体的には、インナーリング１１０は明るい瞳孔画像を発生させるためにカメラ１１５のレンズの光軸に十分に近い位置に配置される。アウターリング１０５は明るい瞳孔画像とほぼ同じ画像特性（例えば、コントラスト及び／又は明るさ）を持った暗い瞳孔画像を発生させるために、カメラ１１５のレンズの光軸から十分離して配置される。カメラ１１５のレンズは通常対象物の顔面上に焦点を結ぶ。平均焦点距離あるいは対象物のカメラからの距離が適用例に従って調整されることは、当業者であれば理解に難くないであろう。例えば、自動車へ適用した場合には、ダッシュボードに搭載された照射器から２から６フィートの範囲に運転者の顔が位置することになるだろう。本発明の一つの実施例として、カメラ１１５に対象物の画像のサイズを設定あるいは再設定するための対物レンズを装備することもできる。

以下に更に詳述されるように、アウターリング１０５は対象物の暗い瞳孔画像を発生させるためにカメラ１１５の光軸から離して配置されている。インナーリング１１０は明るい瞳孔画像を発生させるためにカメラ１１５の光軸近傍あるいはオンアクシスに配置される。本発明の実施例では、対象物の目を検知し追跡するために暗い瞳孔画像と明るい瞳孔画像を使用する。

本発明の一実施例によれば、アウターリング１０５とインナーリング１１０のＩＲ
ＬＥＤｓは、消費電力３２ｍＷ、波長帯域４０ｎｍ幅においてノミナル波長８８０ｎｍで動作する。カメラ１１５は、ＩＲ ＬＥＤｓのノミナル波長に適合するように選択された、約８８０ｎｍの最大スペクトル感度を持つ。カメラ１１５は、約１０ｎｍ幅の波長通過域を持った光学帯域通過フィルタを含む。本発明のこの実施例では、フィルタを用いない時と比較して、光学帯域通過フィルタによって信号対雑音比を２０倍上げることが出来る。第１の形態の赤外照射器の利点は画像の質が改善されることである。画像の質は後段の画像処理技術の精度またはローバスト性に影響を及ぼす。

図１Ｂは本発明による第２の形態の赤外照射器を示す図面である。図示の実施例はアウターＬＥＤｓ１５０、インナーＬＥＤｓ１５５、カメラ１６０を含む。アウターＬＥＤｓ１５０とインナーＬＥＤｓ１５５はカメラ１６０に対して三角形の状態で配置されている。図１Ａに示した実施例と同様に、アウターＬＥＤｓ１５０は暗い瞳孔像を発生させるためにカメラ１６０の光軸に合わされていない。インナーＬＥＤｓ１５５は明るい瞳孔画像を発生させるためにカメラ１６０の光軸に合わされている。具体的には、インナーＬＥＤｓ１５５は明るい瞳孔画像を発生させるためにカメラ１６０のレンズの光軸に十分近く配置される。アウターＬＥＤｓ１５０は明るい瞳孔画像とほぼ同じ画像特性（例えば，コントラスト及び／又は明るさ）を持った暗い瞳孔画像を発生させるために、カメラ１６０のレンズの光軸から十分に離して配置される。

図ではアウターＬＥＤｓ１５０及びインナーＬＥＤｓ１５５のそれぞれに３個のＬＥＤｓが含まれているが、当業者であればＬＥＤｓの数を増減することは想到するに難くない。ＬＥＤｓを追加した一例が図１Ａに示されている。図１Ｂの配置例では、アウターＬＥＤｓ１５０とインナーＬＥＤｓ１５５は、図１Ａに示された配置例よりも少ないＬＥＤｓで対象物を一様に照射するため、カメラ１６０の周りに対称に配置されている。より少ないＬＥＤｓを用いることの利点には、経費の節減と照射器の設置面積を全体として小さく実現できることが含まれる。

当業者であれば、本発明の一実施形態において、独国テルトウのセンソモトリック インスツルメンツ ゲーエムベーハー（SensoMotoric Instruments GmbH of Teltow）から入手可能なもののような従来のＩＲ照射器が使用できることは理解するに難くない。ここで説明される処理、特徴あるいは機能は、上記の説明と図１Ａ及び図１Ｂに基づいたＩＲ照射器によって実現されるが、本発明の実施例はある特定のＩＲ照射器にも画像機器にも必ずしも依存するものではない。

Ｃ．目の検知および追跡
図２は本発明の一実施例による目の検知および追跡を示すフローチャートである。図２に示された処理は全体の機能フローチャートを示す。図２に示されたステップの詳細を以下に示す。一般に、図示の処理には目の検知と目の追跡の２つの段階が含まれる。本発明の一実施例では、目の検知段階には能動的照射と外観準拠の処理が含まれる。目の追跡段階には２つの追跡レベルが含まれる。第１の追跡段階では目の動きを追跡するために差分画像を用いる。第１の追跡レベルで目の発見が出来ない場合は、第２の追跡レベルが実行される。第２の追跡レベルでは、目の動きを追跡するために暗い瞳孔画像が解析される。第２の追跡レベルが失敗した場合には、処理は目の検知段階から再スタートする。

より具体的には、図示の処理は目の検知２１０の実行で処理を開始する。対象物の目が発見されない場合２１５、目の検知２１０が繰り返される。当業者であれば、対象物の目が発見されない場合２１５に、カメラの焦点のようなパラメータが調整され得ることを理解するに難くない。対象物の目が発見された場合２１５、差分画像で目を追跡２３０するために処理は継続される。差分画像追跡２３０が成功した場合２３５、処理は差分画像における目の追跡２３０に戻る。

差分画像追跡２３０が不成功の場合２３５、処理は暗い瞳孔画像での目の追跡２４０を引き続き実行する。暗い瞳孔画像の追跡２４０が成功の場合２４５は、処理は差分画像での目の追跡２３０へ戻る。暗い瞳孔画像の追跡２４０が不成功の場合２４５は、処理は目の検知２１０から再び開始される。

本発明の一実施例において、ステップ２３５および２４５で成功した場合には、前の画像またはフレームから目が成功裏に追跡されているかを判定するために、サポートベクターマシン精度解析が用いられる。精度が所定の閾値（例えば、９５％の精度）を満たさなければ、追跡結果は不成功とみなされる。複数の連続する画像のそれぞれに対して目の追跡を実行するために必要なシステムリソース（例えば、プロセッサー時間またはメモリー）の使用をバランスさせながら正確な結果を得ることが出来る点で、２段階追跡処理は利点を有している。

図３は本発明の一実施例による目の追跡のさらなる詳細を示すフローチャートである。目の検知処理２１０は能動的照射解析３１０と外観準拠の解析３５０を含む。図３に示された本発明の実施例では、能動的照射解析３１０は外観準拠の解析３５０に先立って実行される。本発明の他の一実施例によれば、外観準拠の解析３５０は能動的照射解析３１０の前、あるいは同時に実行することが可能である。図示の形態の利点の一つは、能動的照射解析３１０の出力が、一般に処理の遅い又はプロセッサー集約タスクである外観準拠の解析３５０の範囲を絞るために利用できることである。外観準拠の解析３５０を完了後、目の検知処理２１０は呼び出し処理へ戻る３８０。

１．瞳孔検知
図４は本発明の一実施例による能動的照射解析を示すフローチャートである。本発明の一実施例において、カメラ１１５／１６０はインターレースフレームを撮像する。インターレースフレームは奇数フィールドと偶数フィールドを含む。１秒間に３０フレームのフレームレートの画像シーケンスにおいて、全体で１秒間に３０フレームを発生させるためにインターレースされた１秒間にそれぞれ６０フレームの偶数と奇数のフィールドがある。本発明の一実施例において、図１Ａおよび図１Ｂの能動的照射器はカメラ１１５／１６０の偶数および奇数のフィールドと同期されることが可能である。一例として、カメラ１１５が偶数フィールドをスキャンしている時、インナーリング１１０はターンオンされアウターリング１０５はターンオフされる。奇数フィールドがスキャンされる時は、アウターリング１０５がターンオンされインナーリング１１０がターンオフされる。

能動的照射解析３１０の処理は、オンアクシスの照射器を用いた偶数フィールドの取得４０５とオフアクシス照射器を用いた奇数フィールドの取得４１０を開始する。カメラ１１５／１６０はインターレース複合信号を出力する。複合信号は次にデインターレースされる４１５。デインターレース４１５はフレームを偶数と奇数のフレームに分離する。偶数フィールドにはオンアクシスの照射器が用いられるので、対象物の瞳孔は奇数フィールドにおけるよりも格段に明るく見える。

バックグラウンドを消去し外部からの光照射を軽減するために差分画像が計算される４２０。個々の画像フレームに対して、差分画像は偶数フィールドから差し引かれた奇数フィールドからなる。閾値化によってグレースケール画像を減らして黒色および白色画像にする。差分画像はバックグラウンドノイズを更に減少させるために閾値化できる。従来の閾値化処理は所定の閾値より低い強度のピクセルを除外することを含む。当業者であれば、所定の閾値を例えば差分画像における瞳孔の平均強度に従って調整できることを理解するに難くない。差分画像の一例を図８に示す。

差分画像は瞳孔ブロブ及び／又はノイズブロブを含む。ブロブは類似の特性（例えば、色及び／又は強度）を共有する隣接のピクセル（又は画像コンポーネント）の集まりである。当業者であれば、ブロブは無定形の形状を取り、隣接するピクセル同士は接している必要が無いことに気づくであろう。能動的照射解析３１０の１つの目的はブロブから瞳孔の候補を識別することである。瞳孔の候補は次の外観準拠の解析３５０によって確認される。

まず、差分画像においてそれぞれのブロブは瞳孔の潜在的候補としてマークがつけられる４２５。図９は図８の差分画像において識別されたブロブの一例を示す。図９において正方形又は長方形の箱は瞳孔の潜在的候補を示すブロブを図示している。

瞳孔の候補を識別するために、連結されたコンポーネント解析が、マークされたブロブの各々に対して実施される４３０。連結されたコンポーネント解析の一つの形態では、ブロブのサイズ及び／又は形状に基づいて対象物の瞳孔が識別される。瞳孔は通常楕円状のブロブとして出現し、それぞれのブロブの形状を抽出した上で、以降の考慮からいくつかのブロブを除外するために、従来の楕円フィッティングを用いることが出来る。従来の楕円フィッティングの一例が、アンドルー ダブリュー フィッツギボン他「ア バイヤーズ ガイド トゥ コニック フィッティング」プロシーディングズ オブ ザ フィフス ブリティッシュ マシン ビジョン コンファランス、英国バーミンガム、５１３−５２２頁（Andrew W. Fitzgibbon, et al., "A Buyers Guide to Conic Fitting," Proceedings of the 5^th British Machine Vision Conference, Birmingham, England, pp. 513-522）に示されている。この内容の全てが本願で参照され取り込まれている。

当業者であれば瞳孔の候補を識別するために、または差分画像におけるノイズブロブを減らすために他の技術が使えることを理解するに難くない。例えば、大きなサイズのブロブまたは長軸対短軸比の大きなブロブは瞳孔でないことが多く、以降の考慮から除外できる。更に、対象物の瞳孔のサイズ及び／又は形状はカメラ１１５／１６０からの対象物の距離の関数である。この距離を決定することによって、対象物の瞳孔としては小さすぎるまたは大きすぎるブロブは以降の考慮から除外できる。

図１０はコンポーネント解析４３０の結果の一例を示す。図１０において、ブロブのうち以降の考慮に取り込まれるものは丸で表示されている。能動的照射解析３１０が１セットの瞳孔の候補を識別した後、制御は呼び出し処理に戻る４３５。本発明の一実施例において、能動的照射解析３１０は次の外観準拠の解析３５０の範囲を絞るために用いられる。

２．瞳孔確認
図５は本発明の一実施例による外観準拠の解析を示すフローチャートである。本発明の実施例では、能動的照射解析３１０によって得られた瞳孔の候補を確認するための外観準拠の解析３５０を実行するために、サポートベクターマシン（ＳＶＭ）が用いられる。当業者であれば、他のパターンマッチング技術、例えばニューラルネットワークに基づいた方法が使用できることを予想するに難くない。

本発明のパターマッチングへのＳＶＭの適用を当業者が理解できるようにＳＶＭの理論的枠組みについて以下に簡略に説明する。ＳＶＭについての更なる詳細は、シー コルテス他「サポートベクター ネットワークス」１９９５年版マシーン ラーニング第２０巻２７３−２９７頁（C. Cortes et al., "Support-vector networks," Machine Learning, vol. 20, pp. 273-297, 1995）に示されている。この内容の全てが本願で参照され取り込まれている。

２クラスのパターン認識に対して、標本に基づく先見的学習タスクは以下の式（１）および（２）で表される。１セットの関数ｆαを仮定すれば：
Λは索引セットでｌ個の標本のセットである。
ここでｘ_iはＮ次元の特徴ベクトル、ｙ_iはクラスを表し−１と＋１の２つの値しか取らず、それぞれが未知確率分布Ｐ（ｘ、ｙ）から発生される。求めたいのは式（３）で定義されるようなリスクに対して取り得る最小値を与える特定の関数ｆα^*である。当業者であれば式（３）の関数が誤差（または精度）を数学的に定義していることを理解するに難くない。以下に示す表１は精度を含めた実験結果の一例を示す。

ＳＶＭ手法の目的は、非線形関数ｇを用いて入力データＸをより高次元の空間Ｚにマッピングすることによって、超平面Ｄ（Ｘ）＝（ｗＸ＋ｗ₀）を分離することにある。最大マージンでのデータポイントは最適な超平面を定義するのでサポートベクターと呼ばれる。一つの実行形態として、ＳＶＭ手法は最適な超平面を得るために訓練データを必要とする。瞳孔の認識及び／又は確認のための訓練セットの使用について以下に詳細に説明する。

図５に示された外観準拠の解析は差分画像で識別された瞳孔の候補位置を取得すること５０５から始まる。本発明の一実施例において、能動的照射解析３１０は差分画像内の瞳孔の候補の位置を含む座標値リストを出力する。これらの位置は暗い瞳孔の画像に適用され、ポジティブな訓練セットとネガティブな訓練セットが暗い瞳孔の画像から分離される５１０。本発明の一実施例では、２０２０のピクセル画像がそれぞれの座標値ごとに暗い瞳孔の画像から取り込まれる。取り込まれた画像は従来のヒストグラム均等化及び正規化を用いた前処理によって訓練前の［０、１］の範囲とされる。図１１はポジティブな訓練セット１１０５とネガティブな訓練セット１１１０の一例を示す。ポジティブな訓練セット１１０５は異なる凝視、異なる開き具合、異なる対象物と眼鏡の有無からなる目の画像を含む。ネガティブな訓練セットは目以外の画像（即ち、鼻、頬等）を含む。

ＳＶＭはポジティブ訓練セット１１０５及びネガティブ訓練セット１１１０を使用して訓練され、パターンマッチングが第１の対象物に対して実行される５２０。当業者であれば限定されたラベルつきの訓練セット（例えばポジティブ及びネガティブ訓練セット１１０５及び１１１０）だけに頼る学習機械が高い学習精度を実現しないであろうことを想像するに難くない。高精度を実現するために、ＳＶＭがラベル付与を失敗した第１の対象物のデータにラベル付与をすることによって、ＳＶＭは再度訓練される。即ち、鼻部分を含む画像を対象物の目と誤って識別した場合、誤ったラベルを付与された画像は正しい訓練グループ（この例ではネガティブなセット）に配置される。

次に、パターンマッチングが第２の対象物に対して実行される５３０。ＳＶＭが第２の対象物の目の識別に失敗した場合５３５、再訓練５２５が追加の対象物からのデータを用いて繰り返される。実験においては、成功裏に結果を得るために６個の対象物を基に用意された目のデータが用いられた。成功裏に得られた結果とは所定のＳＶＭ精度（例えば９５％）を達成したものである。処理が成功であれば５３５、制御は呼び出し処理へ戻る５４０。

実験において、ポジティブ画像５５８とネガティブ画像５６０を含む訓練セットを発生させた。当業者であればＳＶＭパラメータ（例えば、学習カーネル）が精度を最大にするように変えられることを想到するに難くない。表１は１７５７の候補画像を用いてさまざまなパラメータ設定をしたケースの３タイプのＳＶＭカーネルに対する実験結果を示す。このケースでは、最良の精度はシグマが３のガウスＳＶＭカーネルで達成された９５．５０３７％であった。

３．目の追跡
初期フレームまたはカメラ１１５／１６０の画像から目が検出された２１０後、瞳孔はリアルタイムでフレームごとに追跡される。図６は本発明の一実施例による差分画像における目の追跡の更なる詳細を示すフローチャートである。上記のように追跡処理は２レベルの追跡からなる。図６に示された処理は第１のレベルを示す。差分画像での目の追跡２３０には対象物の第２の画像に対する能動的照射解析３１０の繰り返しが含まれる。第２の画像は撮像された画像シーケンスのもう一つのフレーム、またはリアルタイムのフレーム撮像に相当する。前の画像で目が存在した限定領域において目の位置を追跡するために、従来のカルマンフィルタ解析が実行される３２０。カルマンフィルタは次のフレームにおける移動特徴点の位置と不確定性を予想する。即ち、次のフレームにおいてある確度で特徴を確実に見つけるために、以降の解析でどこを捜すか、次のフレームでどのくらいの領域がサーチされるべきかを予想する。従来のカルマンフィルタリング技術は、キュー ジ他「リアル タイム ヴィジュアル キューズ エクストラクション フォー モニタリング ドライバー ビジランス」プロシーディングズ オブ インターナショナル ワークショップ オン コンピュータ ビジョン システムズ、２００１年７月（Q. Ji, et al., "Real time visual cues extraction for monitoring driver vigilance," Proceedings of International Workshop on Computer Vision Systems, July 2001）に示されている。その内容の全てが本願で参照されて取り込まれている。

カルマンフィルタリング処理が差分画像において目の移動の追跡に失敗した場合２３０、第２のレベルの追跡が実行される。図７に示された処理はこの第２のレベルの手法の実施例を説明している。一般に、前のフレームで目の位置を特定した後、前のフレームで検出された目に基づいて目の目標モデルが構築される。現在のフレームの目の位置は、前のフレームの目の位置を初期位置として平均シフト繰返し逐次近似法を用いて予測され、現在の画像において強度分布の点で目標モデルに最も良く合う位置を捜す。

具体的に述べると、図７は平均シフト追跡手法を用いた暗い瞳孔画像における目の追跡の更なる詳細を示すフローチャートである。
次に、重み｛ｗ_i｝_i=1…_nが式（４）によってそれぞれのピクセルに対して得られる７１０。ここで、ｇは重要度の高いピクセル位置には大きな値を割付ける重み関数で、ｕ_iはｉ番目のピクセルの強度である。従来の平均シフト手法はデー コマニシュ他「リアルタイム トラッキング オブ ノンリジッド オブジェクツ ユージング ミーンシフト」プロシーディングズ オブ ＩＥＥＥ コンファランス オン コンピュータ ビジョン アンド パターン レコグニション、ヒルトン ヘッド アイランド、サウスカロライナ、２０００年（D. Comaniciu, et al., "Real-time tracking of non-rigid objects using mean-shift," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head Island, South Carolina, 2000）に示されている。この内容の全てが参照されて本願に取り込まれている。

現在のフレームにおける目標の新しい位置は式（５）の平均シフトベクトルに基づいて計算される７１５。式（５）でＸ_iはｉ番目のピクセル位置の座標である。

前に予想された目標位置と現在の目標位置の間の変化が所定の閾値よりも大きい場合は、現在のフレームにおける目標の新しい位置を計算するステップ７１５が反復的に繰り返されて処理が行われる。変化が所定の閾値より小さい場合７２０は呼び出し処理へ戻る７２５。本発明の別の実施例では、相関係数がある値を満足するか或は超えるまで現在の目の画像と目標の目の画像の間で従来の相互相関が計算される。

さまざまな光線条件下（それらは説明を目的とし限定するものではない）でリアルタイムの目の検知と追跡の実施例を説明したが、上記の教示を考慮すれば当業者による部分的改造および変更は可能である。従って、付属の請求項および均等物によって定義される発明の範囲及び精神内にある本発明に特定の開示実施例に対して、変更が加えられる可能性があることに理解が払われるべきである。

図１Ａは本発明による赤外照射器の第１の形態を示す図である。 図１Ｂは本発明による赤外照射器の第２の形態を示す図である。 図２は本発明の一つの実施例による目の検知及び追跡の処理を示すフローチャートである。 図３は本発明の一つの実施例による能動的な目の検知の更に詳細な処理を示すフローチャートである。 図４は本発明の一つの実施例による照射解析を説明するフローチャートである。 図５は本発明の一つの実施例による外観準拠の解析を説明するフローチャートである。 図６は本発明の一つの実施例による差分画像の目を追跡する際の詳細を示すフローチャートである。 図７は本発明の一つの実施例による暗い瞳孔画像の目を追跡する際の詳細を示すフローチャートである。 図８は本発明の一つの実施例による差分画像を説明する図である。 図９は本発明の一つの実施例による図８の差分画像で識別されたブロブを示す図である。 図１０は本発明の一つの実施例による図８の差分画像の瞳孔の候補を示す図である。 図１１は本発明の一つの実施例によるポジティブ及びネガティブな訓練セットの画像例を示す図である。

Claims (27)

1. 対象物の目を検知する方法であって、
   能動的照射解析を用いて、計算装置によって前記対象物の第1の差分画像を発生するステップと、
   前記計算装置によって前記第1の差分画像から瞳孔の候補のセットを識別するステップと、
   前記瞳孔の候補の中から前記対象物の目を識別するために前記瞳孔の候補のセットを用いて外観準拠の解析を、前記計算装置によって実行するステップと、
   能動的照射解析を用いて、前記計算装置によって前記対象物の第２の差分画像を発生するステップと、
   前記計算装置によって前記第２の差分画像にカルマンフィルタリングを実行して、目の動きを識別するステップと、
   前記カルマンフィルタリングに基づく目の動きの識別ができない場合には、前記計算装置によって、平均シフト追跡手法を実行して、暗い瞳孔画像における目を追跡するステップとからなる方法。
2. 前記発生ステップは、オンアクシスの照射器を用いて第１の画像を取得するステップと、オフアクシスの照射器を用いて第２の画像を取得するステップからなることを特徴とする請求項１の方法。
3. 前記第１の画像はビデオ信号の偶数フィールド及び奇数フィールドの１つからなることを特徴とする請求項２の方法。
4. 前記第２の画像はビデオ信号の偶数フィールド及び奇数フィールドの１つからなることを特徴とする請求項２の方法。
5. 前記オンアクシスの照射器及びオフアクシス照射器の少なくとも１つが波長領域４０ｎｍ幅の赤外発光体からなることを特徴とする請求項２の方法。
6. 前記識別ステップは、
   瞳孔の候補になり得る少なくとも１つのブロブを識別するために、所定の閾値より低い強度のピクセルを前記第1の差分画像から除外するステップと、
   前記瞳孔の候補のセットを発生するために前記少なくとも１つのブロブに対してコンポーネント解析を実行するステップとからなることを特徴とする請求項１の方法。
7. 前記コンポーネント解析は前記少なくとも１つのブロブのサイズ及び形状の少なくとも１つによって、非瞳孔ブロブを瞳孔ブロブから分離することを特徴とする請求項６の方法。
8. 前記解析実行ステップは、
   ポジティブ及びネガティブな画像を有する訓練セットを用いてサポートベクターマシンを訓練するステップと、
   第１の対象物に対してパターンマッチングを実行するステップとからなることを特徴とする請求項１の方法。
9. 前記第１の対象物に対して実行された前記パターンマッチングに対応して前記サポートベクターマシンを再訓練するステップと、第２の対象物にパターンマッチングを実行するステップとを更に含む請求項８の方法。
10. 所定の目の識別精度が達成されるまで前記再訓練ステップと前記第２の対象物にパターンマッチングを実行するステップとを繰り返すステップを更に含む請求項９の方法。
11. 前記平均シフト追跡手法を実行するステップは、
    第１フレームで前記目の動きの目標位置を初期化するステップと、
    前記目標位置のそれぞれのピクセルに対して重み付けするステップと、
    第２のフレームで前記目の動きの予測位置を計算するステップとを更に含むことを特徴とする請求項１の方法。
12. 前記第１フレームの前記目標位置と前記第２フレームの前記予測位置との間の変化が所定の閾値より小さいか決定するステップを更に含む請求項１１の方法。
13. 前記変化が前記閾値を越える場合、前記第２フレームの前記予測位置の計算を繰り返すステップを更に含む請求項１２の方法。
14. 対象物の目を識別する方法で、
    能動的照射解析を用いて、計算装置によって前記対象物の第1の差分画像を発生するステップと、
    瞳孔の候補になり得る少なくとも１つのブロブを識別するために、前記計算装置によって前記第1の差分画像から所定の閾値より低い強度のピクセルを除外するステップと、
    瞳孔の候補のセットを発生するために、前記少なくとも１つのブロブに対して前記計算装置によってコンポーネント解析を実施するステップと、
    前記瞳孔の候補の中から前記対象物の目を識別するために、ポジティブ及びネガティブな画像を含む訓練セットと共にサポートベクターマシンを用いて前記瞳孔の候補に対して、前記計算装置によってパターンマッチングを実行するステップと、
    能動的照射解析を用いて、前記計算装置によって前記対象物の第２の差分画像を発生するステップと、
    前記計算装置によって前記第２の差分画像にカルマンフィルタリングを実行して、目の動きを識別するステップと、
    前記カルマンフィルタリングに基づく目の動きの識別ができない場合には、前記計算装置によって、平均シフト追跡手法を実行して、暗い瞳孔画像における目を追跡するステップからなる方法。
15. 対象物の目を検知するシステムで、
    能動的照射解析を用いて前記対象物の第1の差分画像を発生する手段と、
    前記第1の差分画像から瞳孔の候補のセットを識別する手段と、
    前記瞳孔の候補の中から前記対象物の目を識別するために前記瞳孔の候補のセットを用いて外観準拠の解析を実行する手段と、
    能動的照射解析を用いて、前記対象物の第２の差分画像を発生する手段と、
    前記第２の差分画像にカルマンフィルタリングを実行して、目の動きを識別する手段と、
    前記カルマンフィルタリングに基づく目の動きの識別ができない場合には、前記計算装置によって、平均シフト追跡手法を実行して、暗い瞳孔画像における目を追跡する手段とからなるシステム。
16. 前記発生手段はオンアクシスの照射器を用いて第１の画像を取得する手段と、オフアクシスの照射器を用いて第２の画像を取得する手段とからなることを特徴とする請求項１５のシステム。
17. 前記第１の画像はビデオ信号の偶数フィールド及び奇数フィールドのうちの１つからなることを特徴とする請求項１６のシステム。
18. 前記第２の画像はビデオ信号の偶数フィールド及び奇数フィールドのうちの１つからなることを特徴とする請求項１６のシステム。
19. 前記オンアクシスの照射器及びオフアクシスの照射器のうちの少なくとも１つが波長領域４０ｎｍ幅の赤外発光体からなることを特徴とする請求項１６のシステム。
20. 前記識別手段は、
    瞳孔の候補になり得る少なくとも１つのブロブを識別するために、所定の閾値より低い強度のピクセルを前記第1の差分画像から除外する手段と、
    前記瞳孔の候補のセットを発生するために前記少なくとも１つのブロブに対してコンポーネント解析を実施する手段とからなることを特徴とする請求項１５のシステム。
21. 前記コンポーネント解析は前記少なくとも１つのブロブのサイズ及び形状のうちの少なくとも１つによって、非瞳孔ブロブを瞳孔ブロブから分離することを特徴とする請求項２０のシステム。
22. 前記解析実行手段は、
    ポジティブ及びネガティブな画像を有する訓練セットを用いてサポートベクターマシンを訓練する手段と、
    第１の対象物に対してパターンマッチングを実行する手段とからなることを特徴とする請求項１５のシステム。
23. 前記第１の対象物に対して実行された前記パターンマッチングに対応して前記サポートベクターマシンを再訓練する手段と、第２の対象物にパターンマッチングを実行する手段とを更に含む請求項２２のシステム。
24. 所定の目の識別精度が達成されるまで前記再訓練と前記第２の対象物に対するパターンマッチングを繰り返す手段を更に含む請求項２３のシステム。
25. 前記平均シフト追跡手法を実行する手段は、
    第１フレームにおいて前記目の動きの目標位置を初期化する手段と、
    前記目標位置のそれぞれのピクセルに対して重み付けする手段と、
    第２のフレームにおいて前記目の動きの予測位置を計算する手段とを更に含むことを特徴とする請求項１５のシステム。
26. 前記第１フレームにおける前記目標位置と前記第２フレームにおける前記予測位置の間の変化が所定の閾値より小さいか決定する手段を更に含む請求項２５のシステム。
27. 前記変化が前記閾値を越える場合前記第２フレームにおける前記予測位置の計算を繰り返す手段を更に含む請求項２６のシステム。