JPH1166320A - 目画像追跡装置 - Google Patents
目画像追跡装置Info
- Publication number
- JPH1166320A JPH1166320A JP9217709A JP21770997A JPH1166320A JP H1166320 A JPH1166320 A JP H1166320A JP 9217709 A JP9217709 A JP 9217709A JP 21770997 A JP21770997 A JP 21770997A JP H1166320 A JPH1166320 A JP H1166320A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- candidate
- peak
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 目画像だけでなく、目周辺画像も追跡するこ
とにより、目喪失時にも目喪失を認識し、誤検出するこ
となく目画像追跡を精度良く行う。 【解決手段】 目画像追跡装置は、顔画像を入力する顔
画像入力手段4、入力した顔画像を2値化する2値化手
段5、2値化された画像内で目及び目周辺画像を検索す
る画像検索手段6、検索した目及び目周辺画像を追跡す
る画像追跡手段7を備える。
とにより、目喪失時にも目喪失を認識し、誤検出するこ
となく目画像追跡を精度良く行う。 【解決手段】 目画像追跡装置は、顔画像を入力する顔
画像入力手段4、入力した顔画像を2値化する2値化手
段5、2値化された画像内で目及び目周辺画像を検索す
る画像検索手段6、検索した目及び目周辺画像を追跡す
る画像追跡手段7を備える。
Description
【0001】
【発明の属する技術分野】この発明は画像処理を用い
て、眼だけでなく眼周辺画像も検索・追跡することによ
り眼画像追跡をより精度良く行いうる目画像追跡装置に
関するものである。
て、眼だけでなく眼周辺画像も検索・追跡することによ
り眼画像追跡をより精度良く行いうる目画像追跡装置に
関するものである。
【0002】
【従来の技術】従来の運転者の目画像追跡装置として
は、例えば、特開平6ー32154号公報等に記載され
ているものがある。この装置の全体構成は、図22のブ
ロック図に示すように、画像入力手段51、2値化手段
52、眼球存在領域設定手段53、眼球検出手段54、
開閉眼検出手段55、運転者状態判定手段56からな
る。この装置の動作のメインフローは図23に示す通り
で、システム起動後、ステップS1でタイマがスタート
される。そして、ステップS2で、運転者の顔部分が撮
影されると、この画像がデジタル信号に変換されて、1
フレーム分の入力画像データとして、ステップS3で、
画像メモリに格納される。画像メモリに格納された入力
画像データは、ステップS4において2値化され、ステ
ップS5及びステップS6において、左右の眼球存在領
域の横・縦方向の幅が決定される。次にステップS7に
おいて、眼球が検出され、ステップS8において開閉眼
が検出される。ステップS1でスタートされたタイマの
カウントはここで用いられる。眼球検出手段54におい
ては、左右各眼球存在領域内において、横方向1ドット
毎に縦方向全画素を走査し連続黒色画素数を検索するこ
とにより、眼球が検出される。そして、最後にスッテプ
S9において、居眠り判定が行われる。以上が一連の処
理で、終了後ステップS2に戻り、前記処理を繰り返
す。
は、例えば、特開平6ー32154号公報等に記載され
ているものがある。この装置の全体構成は、図22のブ
ロック図に示すように、画像入力手段51、2値化手段
52、眼球存在領域設定手段53、眼球検出手段54、
開閉眼検出手段55、運転者状態判定手段56からな
る。この装置の動作のメインフローは図23に示す通り
で、システム起動後、ステップS1でタイマがスタート
される。そして、ステップS2で、運転者の顔部分が撮
影されると、この画像がデジタル信号に変換されて、1
フレーム分の入力画像データとして、ステップS3で、
画像メモリに格納される。画像メモリに格納された入力
画像データは、ステップS4において2値化され、ステ
ップS5及びステップS6において、左右の眼球存在領
域の横・縦方向の幅が決定される。次にステップS7に
おいて、眼球が検出され、ステップS8において開閉眼
が検出される。ステップS1でスタートされたタイマの
カウントはここで用いられる。眼球検出手段54におい
ては、左右各眼球存在領域内において、横方向1ドット
毎に縦方向全画素を走査し連続黒色画素数を検索するこ
とにより、眼球が検出される。そして、最後にスッテプ
S9において、居眠り判定が行われる。以上が一連の処
理で、終了後ステップS2に戻り、前記処理を繰り返
す。
【0003】
【発明が解決しようとする課題】しかしながら、画像に
おける2値化される領域は眼鏡装着の有無、天候、及び
顔の向き等によって変化し、不安定である。ところが前
述の手段では、眼球存在領域内で眼球のみを検索・追跡
しているため、眼鏡装着、直射時のレンズ反射等による
眼球の喪失時に眉やフレーム等への誤検出の恐れがあ
る。また、眼球検出手段55により、左右各眼球存在領
域内を横方向に1ドットおきに全縦方向画素を毎フレー
ム走査することにより眼球追跡を行うため、処理時間が
かかる。この発明は、前述したような問題点を解決する
ためになされたもので、目画像だけでなく、目周辺画像
をも追跡することにより、目喪失時にも目喪失を認識
し、誤検出することなく目画像追跡を精度良く行うこと
ができる目画像追跡装置を提供することを目的とするも
のである。
おける2値化される領域は眼鏡装着の有無、天候、及び
顔の向き等によって変化し、不安定である。ところが前
述の手段では、眼球存在領域内で眼球のみを検索・追跡
しているため、眼鏡装着、直射時のレンズ反射等による
眼球の喪失時に眉やフレーム等への誤検出の恐れがあ
る。また、眼球検出手段55により、左右各眼球存在領
域内を横方向に1ドットおきに全縦方向画素を毎フレー
ム走査することにより眼球追跡を行うため、処理時間が
かかる。この発明は、前述したような問題点を解決する
ためになされたもので、目画像だけでなく、目周辺画像
をも追跡することにより、目喪失時にも目喪失を認識
し、誤検出することなく目画像追跡を精度良く行うこと
ができる目画像追跡装置を提供することを目的とするも
のである。
【0004】
【課題を解決するための手段】この発明に係る目画像追
跡装置は、顔画像を入力する顔画像入力手段と、入力し
た顔画像を2値化する2値化手段と、2値化された画像
内で目画像及び目周辺画像を検索する画像検索手段と、
検索した目画像及び目画像周辺画像を追跡する画像追跡
手段とを備えるものである。
跡装置は、顔画像を入力する顔画像入力手段と、入力し
た顔画像を2値化する2値化手段と、2値化された画像
内で目画像及び目周辺画像を検索する画像検索手段と、
検索した目画像及び目画像周辺画像を追跡する画像追跡
手段とを備えるものである。
【0005】この発明の一形態では、前記画像検索手段
は、2値化された画像内の第1目抽出領域設定手段と、
前記目抽出領域における目画像及び目周辺画像候補を抽
出する第1画像候補抽出手段と、候補画像内で目画像及
び目周辺画像を確定する候補確定手段とを備えるもので
ある。
は、2値化された画像内の第1目抽出領域設定手段と、
前記目抽出領域における目画像及び目周辺画像候補を抽
出する第1画像候補抽出手段と、候補画像内で目画像及
び目周辺画像を確定する候補確定手段とを備えるもので
ある。
【0006】この発明の他の形態では、前記画像追跡手
段は、2値化された画像内の第2目抽出領域設定手段
と、前記目抽出領域における目画像及び目周辺画像候補
を抽出する第2画像候補抽出手段と、抽出された候補画
像と前画面の像との対応付けを行う画像対応付け手段
と、喪失後また再度出現した画像を画像候補復帰させる
画像復帰手段とを備えるものである。
段は、2値化された画像内の第2目抽出領域設定手段
と、前記目抽出領域における目画像及び目周辺画像候補
を抽出する第2画像候補抽出手段と、抽出された候補画
像と前画面の像との対応付けを行う画像対応付け手段
と、喪失後また再度出現した画像を画像候補復帰させる
画像復帰手段とを備えるものである。
【0007】この発明の更に他の形態では、前記画像追
跡手段は、前記画像対応付け手段による対応付け結果か
らさらに目画像を正確に追跡するための目確定手段を更
に備えるものである。
跡手段は、前記画像対応付け手段による対応付け結果か
らさらに目画像を正確に追跡するための目確定手段を更
に備えるものである。
【0008】この発明の更に他の形態では、前記画像対
応付け手段は、前記第2画像候補抽出手段により抽出さ
れた目画像候補を前画面の鼻孔との相対位置・目位置情
報を基にして前画像との対応付けを行う位置対応付け手
段と、対応付けの重複を解消する重複解消手段と、未対
応の候補に対し、再度対応するものを検討する再対応付
け手段とを備えるものである。
応付け手段は、前記第2画像候補抽出手段により抽出さ
れた目画像候補を前画面の鼻孔との相対位置・目位置情
報を基にして前画像との対応付けを行う位置対応付け手
段と、対応付けの重複を解消する重複解消手段と、未対
応の候補に対し、再度対応するものを検討する再対応付
け手段とを備えるものである。
【0009】この発明の更に他の形態では、前記画像対
応付け手段は、画像候補抽出手段により抽出された目画
像候補を前画面の目抽出領域内形状ヒストグラム・目位
置情報を基にして前画面の像との対応付けを行う位置対
応付け手段と、対応付けの重複を解消する重複解消手段
と、未対応の候補に対し、再度対応するものを検討する
再対応付け手段とを備えるものである。
応付け手段は、画像候補抽出手段により抽出された目画
像候補を前画面の目抽出領域内形状ヒストグラム・目位
置情報を基にして前画面の像との対応付けを行う位置対
応付け手段と、対応付けの重複を解消する重複解消手段
と、未対応の候補に対し、再度対応するものを検討する
再対応付け手段とを備えるものである。
【0010】この発明の更に他の形態では、前記目確定
手段は、目を左右ペアで検索する目候補ペア検索手段を
備え、前記画像対応付け手段により対応付けされた結果
と目候補ペア検索手段により検索された目との対応から
目を確定するものである。
手段は、目を左右ペアで検索する目候補ペア検索手段を
備え、前記画像対応付け手段により対応付けされた結果
と目候補ペア検索手段により検索された目との対応から
目を確定するものである。
【0011】
【発明の実施の形態】以下、この発明の実施の形態につ
いて添付図面を参照して説明する。 実施の形態1.図1(a)には、この発明の実施の形態
1による顔画像処理装置の構成が示されている。本実施
の形態による顔画像処理装置は、図1(a)に示される
ように、顔画像を撮影するCCDカメラ等の撮像装置1
と撮像装置から出力された顔画像の画像データを記憶す
る画像メモリ2と、画像メモリ2のデータを基に画像処
理を行うCPU等のプロセッサ3で構成される。
いて添付図面を参照して説明する。 実施の形態1.図1(a)には、この発明の実施の形態
1による顔画像処理装置の構成が示されている。本実施
の形態による顔画像処理装置は、図1(a)に示される
ように、顔画像を撮影するCCDカメラ等の撮像装置1
と撮像装置から出力された顔画像の画像データを記憶す
る画像メモリ2と、画像メモリ2のデータを基に画像処
理を行うCPU等のプロセッサ3で構成される。
【0012】図1(b)に示されるように、顔画像処理
装置は、機能的には、撮像装置1から顔画像を入力する
顔画像入力手段4と、入力した顔画像を2値化する2値
化手段5と、2値化された画像内で目画像及び目周辺画
像を検索する画像検索手段6と、検索した目画像及び目
周辺画像を追跡する画像追跡手段7とを備える。
装置は、機能的には、撮像装置1から顔画像を入力する
顔画像入力手段4と、入力した顔画像を2値化する2値
化手段5と、2値化された画像内で目画像及び目周辺画
像を検索する画像検索手段6と、検索した目画像及び目
周辺画像を追跡する画像追跡手段7とを備える。
【0013】画像検索手段6は、2値化された画像内の
目抽出領域を設定する第1目抽出領域設定手段9と、目
抽出領域における目画像候補及び目周辺画像候補を抽出
する第1画像候補抽出手段10と、目画像候補及び目周
辺画像候補内で目画像及び目周辺画像を確定する候補確
定手段11とを備える。
目抽出領域を設定する第1目抽出領域設定手段9と、目
抽出領域における目画像候補及び目周辺画像候補を抽出
する第1画像候補抽出手段10と、目画像候補及び目周
辺画像候補内で目画像及び目周辺画像を確定する候補確
定手段11とを備える。
【0014】画像追跡手段7は、2値化された画像内の
目抽出領域を設定する第2目抽出領域設定手段12と、
目抽出領域における目画像候補及び目周辺画像候補を抽
出する第2画像候補抽出手段13と、抽出された候補画
像と前画面の像との対応付けを行う画像対応付け手段3
1と、喪失後また再度出現した画像を画像候補復帰させ
る画像復帰手段32とを備える。
目抽出領域を設定する第2目抽出領域設定手段12と、
目抽出領域における目画像候補及び目周辺画像候補を抽
出する第2画像候補抽出手段13と、抽出された候補画
像と前画面の像との対応付けを行う画像対応付け手段3
1と、喪失後また再度出現した画像を画像候補復帰させ
る画像復帰手段32とを備える。
【0015】画像対応付け手段31は、画像候補抽出手
段10により抽出された目画像候補を、前画面の鼻孔と
の相対位置・目位置情報を基にして前画面の像との対応
付けを行う位置対応付け手段33と、対応付けの重複を
解消する重複解消手段34と、未対応の候補に対し再度
対応するものを検討する再対応付け手段35とを備え
る。
段10により抽出された目画像候補を、前画面の鼻孔と
の相対位置・目位置情報を基にして前画面の像との対応
付けを行う位置対応付け手段33と、対応付けの重複を
解消する重複解消手段34と、未対応の候補に対し再度
対応するものを検討する再対応付け手段35とを備え
る。
【0016】位置対応付け手段33は、画像候補抽出手
段10により抽出された目画像候補を、前画面の鼻孔と
の相対位置・目位置情報の代わりに、前画面の目抽出領
域内形状ヒストグラム・目位置情報を基にして、前画面
の像との対応付けを行うようにしてもよい。
段10により抽出された目画像候補を、前画面の鼻孔と
の相対位置・目位置情報の代わりに、前画面の目抽出領
域内形状ヒストグラム・目位置情報を基にして、前画面
の像との対応付けを行うようにしてもよい。
【0017】上記各手段の機能は、プロセッサ3により
プログラムを実行することによりソフトウエア的に行わ
れるが、必要に応じて、電気回路等によりハードウエア
的に行うこともできる。
プログラムを実行することによりソフトウエア的に行わ
れるが、必要に応じて、電気回路等によりハードウエア
的に行うこともできる。
【0018】図2は図1におけるプロセッサ3内の処理
の概要を示すフローチャートである。図2において、ま
ず、顔画像入力手段4で画像メモリ2より顔画像の画像
データをプロセッサ3に入力し(ステップST1)、2
値化手段5により2値化する(ステップST2)。次
に、検索済みフラグの有無を判定し(ステップST
3)、無し(NO)の場合には、画像検索手段6によ
り、2値化された画像内で目画像7及び目周辺画像を検
索し(ステップST4)、両目画像の有無を判定し(ス
テップST5)、無し(NO)の場合にはステップST
1へ戻り、有り(YES)の場合には、検索済みフラグ
をセットしてステップST1へ戻る。
の概要を示すフローチャートである。図2において、ま
ず、顔画像入力手段4で画像メモリ2より顔画像の画像
データをプロセッサ3に入力し(ステップST1)、2
値化手段5により2値化する(ステップST2)。次
に、検索済みフラグの有無を判定し(ステップST
3)、無し(NO)の場合には、画像検索手段6によ
り、2値化された画像内で目画像7及び目周辺画像を検
索し(ステップST4)、両目画像の有無を判定し(ス
テップST5)、無し(NO)の場合にはステップST
1へ戻り、有り(YES)の場合には、検索済みフラグ
をセットしてステップST1へ戻る。
【0019】また、ステップST3で、検索フラグ有り
(YES)の場合には、画像追跡手段7により、検索さ
れた目画像及び目周辺画像を追跡する(ステップST
8)。両目画像の有無を判定し(ステップST8)、無
し(NO)の場合には、ステップST1へ戻り、有り
(YES)の場合には、検索フラグをクリアしてステッ
プST1に戻る。すなわち、画像検索手段6で検索成功
であれば画像追跡手段7へ、失敗であれば再度検索を行
うとういう処理を繰り返し、画像追跡手段7へ移行後は
両目見失いであれば画像検索手段6へ戻り再検索を行
う。
(YES)の場合には、画像追跡手段7により、検索さ
れた目画像及び目周辺画像を追跡する(ステップST
8)。両目画像の有無を判定し(ステップST8)、無
し(NO)の場合には、ステップST1へ戻り、有り
(YES)の場合には、検索フラグをクリアしてステッ
プST1に戻る。すなわち、画像検索手段6で検索成功
であれば画像追跡手段7へ、失敗であれば再度検索を行
うとういう処理を繰り返し、画像追跡手段7へ移行後は
両目見失いであれば画像検索手段6へ戻り再検索を行
う。
【0020】以下、各手段について詳細を説明する。
【0021】図3は撮像装置1により撮影された顔画像
8を示した図である。また、図4、図5は画像検索手段
6、画像追跡手段7の処理の概要を示すフローチャート
である。図6は目抽出領域設定手段9によって設定され
た目抽出領域12a、bを示し、図7は抽出された目画
像13eye、及び目周辺画像13up、13dwnを
示す。
8を示した図である。また、図4、図5は画像検索手段
6、画像追跡手段7の処理の概要を示すフローチャート
である。図6は目抽出領域設定手段9によって設定され
た目抽出領域12a、bを示し、図7は抽出された目画
像13eye、及び目周辺画像13up、13dwnを
示す。
【0022】図4のフローチャートに示すように、画像
検索手段6は、目抽出領域設定手段9により、2値化さ
れた画像内の目抽出領域を設定する(ステップST1
0)。すなわち、目抽出領域設定手段7により、あらか
じめ設定した基準位置14(本例では鼻孔中心)を基に
して、顔上部に所定の大きさのウインドウを形成する。
これが目抽出領域12a、bである。
検索手段6は、目抽出領域設定手段9により、2値化さ
れた画像内の目抽出領域を設定する(ステップST1
0)。すなわち、目抽出領域設定手段7により、あらか
じめ設定した基準位置14(本例では鼻孔中心)を基に
して、顔上部に所定の大きさのウインドウを形成する。
これが目抽出領域12a、bである。
【0023】次に、画像候補抽出手段10により、目抽
出領域における目画像候補及び目周辺画像候補を抽出し
(ステップST11)、候補確定手段11により、候補
画像内で目画像及び目周辺画像を確定する(ステップS
T12)。
出領域における目画像候補及び目周辺画像候補を抽出し
(ステップST11)、候補確定手段11により、候補
画像内で目画像及び目周辺画像を確定する(ステップS
T12)。
【0024】以下、画像候補抽出手段10による目画像
候補及び目周辺画像候補の抽出について、図8乃至図1
0を参照して詳述する。図8は、目抽出領域内において
作成されたXヒストグラム及びYヒストグラムを示し、
図9は画像候補抽出手段10の処理の概要を示すフロー
チャートであり、図10は目抽出領域内における顔要素
ブロック候補切り出しまでの手順の一部を示している。
候補及び目周辺画像候補の抽出について、図8乃至図1
0を参照して詳述する。図8は、目抽出領域内において
作成されたXヒストグラム及びYヒストグラムを示し、
図9は画像候補抽出手段10の処理の概要を示すフロー
チャートであり、図10は目抽出領域内における顔要素
ブロック候補切り出しまでの手順の一部を示している。
【0025】まず、図8に示すように、手段25〜30
により、ウインドウ内の各X座標におけるY軸方向の画
素数の和を投影したXヒストグラム15を作成し(ステ
ップST30)、顔要素が存在すると思われるピーク位
置16i・ピーク領域17iを検出し(ステップST3
1)、さらに各ピーク領域内で各Y座標におけるX軸方
向の画素数の和を投影したYヒストグラム18iを作成
する(ステップST32)。Yヒストグラム18iにお
いては閾値19を設定し、顔要素ブロック候補20ij
を切り出し、顔要素ブロック候補のY軸方向の中点21
i、面積22iを演算する(ステップST34)。
により、ウインドウ内の各X座標におけるY軸方向の画
素数の和を投影したXヒストグラム15を作成し(ステ
ップST30)、顔要素が存在すると思われるピーク位
置16i・ピーク領域17iを検出し(ステップST3
1)、さらに各ピーク領域内で各Y座標におけるX軸方
向の画素数の和を投影したYヒストグラム18iを作成
する(ステップST32)。Yヒストグラム18iにお
いては閾値19を設定し、顔要素ブロック候補20ij
を切り出し、顔要素ブロック候補のY軸方向の中点21
i、面積22iを演算する(ステップST34)。
【0026】前記処理を左右各目抽出領域内で行い、最
終的に候補確定手段11により評価関数値を算出し、左
右の候補ペア23jを作成して目画像候補及び目周辺画
像候補であるか否かを判定する(ステップST35)。
前記評価関数値は、本実施の形態では例えば、候補の目
尻側の傾き24a、左右の候補の相対位置24b、左右
の候補及び鼻孔との相対位置24c等を用いる。
終的に候補確定手段11により評価関数値を算出し、左
右の候補ペア23jを作成して目画像候補及び目周辺画
像候補であるか否かを判定する(ステップST35)。
前記評価関数値は、本実施の形態では例えば、候補の目
尻側の傾き24a、左右の候補の相対位置24b、左右
の候補及び鼻孔との相対位置24c等を用いる。
【0027】評価関数値24a〜cが目の条件として満
たすものがあれば、そのペアを目画像13eye、左右
の目画像の顔縦方向上下に顔要素ブロックが存在すれば
目周辺画像13up・13dwnとし、目画像及び目周
辺画像のピーク領域NO.i、全ピーク位置16i、全
Y軸方向の中点21i、面積22i、目画像に対する評
価関数値24a〜cをメモリに残しておく。存在しなけ
れば目抽出領域設定手段7へ戻り、前述の処理を再度繰
り返す。
たすものがあれば、そのペアを目画像13eye、左右
の目画像の顔縦方向上下に顔要素ブロックが存在すれば
目周辺画像13up・13dwnとし、目画像及び目周
辺画像のピーク領域NO.i、全ピーク位置16i、全
Y軸方向の中点21i、面積22i、目画像に対する評
価関数値24a〜cをメモリに残しておく。存在しなけ
れば目抽出領域設定手段7へ戻り、前述の処理を再度繰
り返す。
【0028】以下、目画像及び目周辺画像検索後の処理
について説明する。
について説明する。
【0029】目画像及び目周辺画像検索成功後は、図2
のフローチャートに示すように、画像追跡手段7による
処理(ステップST7)に移る。画像追跡手段7による
処理の詳細は図5のフローチャートに示す通りである。
のフローチャートに示すように、画像追跡手段7による
処理(ステップST7)に移る。画像追跡手段7による
処理の詳細は図5のフローチャートに示す通りである。
【0030】まず、2値化された画像内の目抽出領域を
設定する目抽出領域設定手段9により、基準位置14を
基に顔上部に所定の大きさのウインドウをはり(ステッ
プST20)、次に画像候補抽出手段10により目画像
候補及び目周辺画像候補を抽出する(ステップST2
1)。ここまでは画像検索手段6と同様である。
設定する目抽出領域設定手段9により、基準位置14を
基に顔上部に所定の大きさのウインドウをはり(ステッ
プST20)、次に画像候補抽出手段10により目画像
候補及び目周辺画像候補を抽出する(ステップST2
1)。ここまでは画像検索手段6と同様である。
【0031】次に、画像対応付け手段31により、前画
面の像と現画面の像との対応付けを行い(ステップST
22)、画像復帰手段32において喪失した画像を復帰
させる(ステップST23)。
面の像と現画面の像との対応付けを行い(ステップST
22)、画像復帰手段32において喪失した画像を復帰
させる(ステップST23)。
【0032】次に、対応付けが成功であるか否か(両目
画像の有無)を判定し(ステップST8)、対応付け成
功であれば追跡を続け、失敗すれば検索に戻る。画像対
応付け手段31は位置対応付け手段33、重複解消手段
34、再対応付け手段35からなる。以下で、画像対応
付け手段31内の各処理について図5を参照して説明す
る。
画像の有無)を判定し(ステップST8)、対応付け成
功であれば追跡を続け、失敗すれば検索に戻る。画像対
応付け手段31は位置対応付け手段33、重複解消手段
34、再対応付け手段35からなる。以下で、画像対応
付け手段31内の各処理について図5を参照して説明す
る。
【0033】位置対応付け手段33では、まず、画像候
補抽出手段10において設定された前画面のピーク位置
16ib及びピーク領域17ibと原画面のピーク位置
16i及びピーク領域17iを用いて対応付けを行う
(ステップST221)。
補抽出手段10において設定された前画面のピーク位置
16ib及びピーク領域17ibと原画面のピーク位置
16i及びピーク領域17iを用いて対応付けを行う
(ステップST221)。
【0034】位置対応付けは、図11に示すように処理
される。まず、現画面のピークNO.i(開始番号0、
終了番号endとする)に対し、前画面の全ピークN
O.ib(開始番号0、終了番号endbとする)との
X方向の鼻孔目間距離の誤差dx及びY方向の鼻孔目間
距離の誤差dyを演算して、Dxyを演算する。Dxy
は、例えば式36のように、目の2値化形状の変化によ
るy方向の変動を考慮しX方向に重みをおく。現画面の
ピークNO.iに対しそれぞれDxyが最も小さい(=
Dmin)前画面のピークNO.ibkが対応するピー
クとして配列Pn[i]=ibk、及びその時のDmi
nの配列Dm[i]=Dminを作成し、位置対応付け
手段33による処理(ステップST22)は終了する。
ただし、Dxyが最も小さいといっても前画面と大きく
位置が異なるようでは問題であるので、Dxyの閾値S
Dxyを設定し、対応付けされないピークに関しては、
例えばPn[i]=NO_VALUE(=0xff)な
ど、対応付けなしの旨をデータで保存しておく。
される。まず、現画面のピークNO.i(開始番号0、
終了番号endとする)に対し、前画面の全ピークN
O.ib(開始番号0、終了番号endbとする)との
X方向の鼻孔目間距離の誤差dx及びY方向の鼻孔目間
距離の誤差dyを演算して、Dxyを演算する。Dxy
は、例えば式36のように、目の2値化形状の変化によ
るy方向の変動を考慮しX方向に重みをおく。現画面の
ピークNO.iに対しそれぞれDxyが最も小さい(=
Dmin)前画面のピークNO.ibkが対応するピー
クとして配列Pn[i]=ibk、及びその時のDmi
nの配列Dm[i]=Dminを作成し、位置対応付け
手段33による処理(ステップST22)は終了する。
ただし、Dxyが最も小さいといっても前画面と大きく
位置が異なるようでは問題であるので、Dxyの閾値S
Dxyを設定し、対応付けされないピークに関しては、
例えばPn[i]=NO_VALUE(=0xff)な
ど、対応付けなしの旨をデータで保存しておく。
【0035】ここでは勿論、前画面のピーク数と現画面
のピーク数・ピーク出現位置が必ずしも一致するとは限
らないので、重複する前画面のピークNO.ib(例え
ば現画面のピーク数が4、前画面のピーク数が3の時、
ピークNO.i=2に対しピークNO.ib=2、且つ
ピークNO.i=3に対しピークNO.ib=2のよう
に、ピークNO.ib=2に対応するものが2つ存在す
る)、若しくは対応付けされない現画面のピークNO.
iが存在する。そのような場合の処理は、以下の重複解
消手段34、再対応付け手段35により行われる。 Dxy = 3*dx + dy 式36
のピーク数・ピーク出現位置が必ずしも一致するとは限
らないので、重複する前画面のピークNO.ib(例え
ば現画面のピーク数が4、前画面のピーク数が3の時、
ピークNO.i=2に対しピークNO.ib=2、且つ
ピークNO.i=3に対しピークNO.ib=2のよう
に、ピークNO.ib=2に対応するものが2つ存在す
る)、若しくは対応付けされない現画面のピークNO.
iが存在する。そのような場合の処理は、以下の重複解
消手段34、再対応付け手段35により行われる。 Dxy = 3*dx + dy 式36
【0036】次に、図11に基づいて、位置対応付け手
段33の動作を詳細に説明する。まず、ステップST3
31において、現画面のピークNO.iが最終番号en
dより小さいか否かを判定する(現画面のピーク数分ル
ープを繰り返す)。大きければ処理を終了する。小さけ
れば、ステップST332にて対応ピ一クNO.ibk
をNO_VALUE(対応付けなしの場合の値)で、D
xyの最小値Dminを値0xffで初期化する。
段33の動作を詳細に説明する。まず、ステップST3
31において、現画面のピークNO.iが最終番号en
dより小さいか否かを判定する(現画面のピーク数分ル
ープを繰り返す)。大きければ処理を終了する。小さけ
れば、ステップST332にて対応ピ一クNO.ibk
をNO_VALUE(対応付けなしの場合の値)で、D
xyの最小値Dminを値0xffで初期化する。
【0037】次に、ステップST333以降にて現画面
ピ一クNO.iと前画面ピーク各々との鼻孔目間X,Y
方向距離偏差を演算し、その結果により対応付けを行
う。まず、ステップST333にて前画面のピークN
O.ibが前画面のピークの最終番号endbより小さ
いか否かを判定する(前画面のピーク数分ループを繰り
返す)。小さければ、ステップST334にて現画面の
ピークNO.iと前画面のピークNO.ibの鼻孔目間
のX方向距離偏差dx及びY方向距離偏差dyにより、
Dxyを演算する。Dxyが所定閾値SDxyより小さ
く、且つDminより小さければ(ステップST33
5)、対応ピークNO.ibk及び偏差最小値Dmin
を更新し(ステップST336)、前画面のピークN
O.ibをインクリメントした後(ステップST33
7)、ステップST333に戻る(偏差が所定閾値Sd
xyより小さく、且つ最小のものを対応ピークとす
る)。ステップST335で条件を満たさなかった場合
には、ステップST336を通過せずに、ステップST
337に移る。ステップST333にて、前画面のピー
クNO.ibがendbより大きくなった場合は、ステ
ップST338にて対応ピークNO.ibkを配列Pn
[i]、最小値Dminを配列Dm[i]に保持し(対
応ピークの決定)、ステップST339にて現画面のピ
ークNO.iをインクリメントし、ステップST331
に戻る。
ピ一クNO.iと前画面ピーク各々との鼻孔目間X,Y
方向距離偏差を演算し、その結果により対応付けを行
う。まず、ステップST333にて前画面のピークN
O.ibが前画面のピークの最終番号endbより小さ
いか否かを判定する(前画面のピーク数分ループを繰り
返す)。小さければ、ステップST334にて現画面の
ピークNO.iと前画面のピークNO.ibの鼻孔目間
のX方向距離偏差dx及びY方向距離偏差dyにより、
Dxyを演算する。Dxyが所定閾値SDxyより小さ
く、且つDminより小さければ(ステップST33
5)、対応ピークNO.ibk及び偏差最小値Dmin
を更新し(ステップST336)、前画面のピークN
O.ibをインクリメントした後(ステップST33
7)、ステップST333に戻る(偏差が所定閾値Sd
xyより小さく、且つ最小のものを対応ピークとす
る)。ステップST335で条件を満たさなかった場合
には、ステップST336を通過せずに、ステップST
337に移る。ステップST333にて、前画面のピー
クNO.ibがendbより大きくなった場合は、ステ
ップST338にて対応ピークNO.ibkを配列Pn
[i]、最小値Dminを配列Dm[i]に保持し(対
応ピークの決定)、ステップST339にて現画面のピ
ークNO.iをインクリメントし、ステップST331
に戻る。
【0038】図5のステップST222は、前述の重複
する前画面のピークNO.ibが存在する場合の重複解
消手段34による処理である。ここでは、前述のよう
に、例えば、現画面のピーク数が4、前画面のピーク数
が3の時、ピークNO.i=2に対しピークNO.ib
=2、且つピークNO.i=3に対しピークNO.ib
=2のようにピークNO.ib=2に対応するものが2
つ存在する場合を考える。前述のような場合としては、
図12(a)、(b)に示すような2通りのパターンが
考えられる。1つは図12(a)のように、前画面のピ
ークNO.ib=1とib=2の間に新たなピークが出
現した場合、2つめは図12(b)のように、前画面の
ピークNO.ib=2の後ろに新たなピークが出現した
場合である。ここでは、2つが重複した場合を挙げてい
るが、3つ以上が重複する場合を考えて、重複解消手段
34では、以下のような処理を施す。尚、重複解消手段
34は重複ピーク検索部と重複解消部とを備えており、
それらの処理の概要は図13及び図14のフローチャー
トに示す通りである。
する前画面のピークNO.ibが存在する場合の重複解
消手段34による処理である。ここでは、前述のよう
に、例えば、現画面のピーク数が4、前画面のピーク数
が3の時、ピークNO.i=2に対しピークNO.ib
=2、且つピークNO.i=3に対しピークNO.ib
=2のようにピークNO.ib=2に対応するものが2
つ存在する場合を考える。前述のような場合としては、
図12(a)、(b)に示すような2通りのパターンが
考えられる。1つは図12(a)のように、前画面のピ
ークNO.ib=1とib=2の間に新たなピークが出
現した場合、2つめは図12(b)のように、前画面の
ピークNO.ib=2の後ろに新たなピークが出現した
場合である。ここでは、2つが重複した場合を挙げてい
るが、3つ以上が重複する場合を考えて、重複解消手段
34では、以下のような処理を施す。尚、重複解消手段
34は重複ピーク検索部と重複解消部とを備えており、
それらの処理の概要は図13及び図14のフローチャー
トに示す通りである。
【0039】まず、図13において、重複ピーク検索部
において、各前画面のピークNO.ibに対応する現画
面のピークNO.iを検索し、重複ピーク配列Pnf
[f]=iを作成し(ここでfはピークNO.ibに対
応するピーク数である)、続いて、前画面のピークN
O.ib+αに対応する現画面のピークNO.iを検索
し、ピーク配列Pnl[l]=iを作成する(ここでl
はピークNO.ib+αに対応するピーク数である)。
αはPnlが存在するか、若しくはピークNO.ib+
α=endbになるまで順次インクリメントし検索す
る。
において、各前画面のピークNO.ibに対応する現画
面のピークNO.iを検索し、重複ピーク配列Pnf
[f]=iを作成し(ここでfはピークNO.ibに対
応するピーク数である)、続いて、前画面のピークN
O.ib+αに対応する現画面のピークNO.iを検索
し、ピーク配列Pnl[l]=iを作成する(ここでl
はピークNO.ib+αに対応するピーク数である)。
αはPnlが存在するか、若しくはピークNO.ib+
α=endbになるまで順次インクリメントし検索す
る。
【0040】次に、図13を参照して、重複ピーク検索
処理について具体的に説明する。まず、ステップST3
41において、前画面のピークNO.ibがendbよ
り小さいか否かを判定する(前画面のピーク数分ループ
を繰り返す)。大きければ、処理を終了する。小さけれ
ば、ステップST342の位置対応付けで設定した配列
Pn[i]の内ibに対応するピークの数をf、ib+
αに対応するピークの数をlとし、0で初期化する。
処理について具体的に説明する。まず、ステップST3
41において、前画面のピークNO.ibがendbよ
り小さいか否かを判定する(前画面のピーク数分ループ
を繰り返す)。大きければ、処理を終了する。小さけれ
ば、ステップST342の位置対応付けで設定した配列
Pn[i]の内ibに対応するピークの数をf、ib+
αに対応するピークの数をlとし、0で初期化する。
【0041】次いで、ステップST343以降にて、前
画面ピークibに対応するピークを配列Pn[i]より
検索する。まず、ステップST343において、現画面
のピークNO.iがendより小さいか否かを判定する
(現画面のピーク数分ループを繰り返す)。大きけれ
ば、ステップST347へ、小さければステップST3
44にて対応ピーク配列Pn[i]が前画面ピークN
O.ibと一致するか否かを判定する。一致した場合に
は、ステップST345にて重複ピーク配列pnf
[f]に現画面のピークiを設定し、fをインクリメン
トし、さらに現画面のピークNO.iをインクリメント
した後(ステップST346)、ステップST343に
戻る。一致しなかった場合には、ステップST345を
通過せず、ステップST346に移る。
画面ピークibに対応するピークを配列Pn[i]より
検索する。まず、ステップST343において、現画面
のピークNO.iがendより小さいか否かを判定する
(現画面のピーク数分ループを繰り返す)。大きけれ
ば、ステップST347へ、小さければステップST3
44にて対応ピーク配列Pn[i]が前画面ピークN
O.ibと一致するか否かを判定する。一致した場合に
は、ステップST345にて重複ピーク配列pnf
[f]に現画面のピークiを設定し、fをインクリメン
トし、さらに現画面のピークNO.iをインクリメント
した後(ステップST346)、ステップST343に
戻る。一致しなかった場合には、ステップST345を
通過せず、ステップST346に移る。
【0042】現画面のピークNO.iがendより大き
くなった場合には、ステップST347に移り、αを初
期化する。そして、ステップST348以降にて、前画
面ピークib+αに対応するピークを配列Pn[i]よ
り検索する。まず、ステップST348において、前画
面のピークNO.ib+αがendbより小さく、且つ
lが0であるか否かを判定する(前画面のピーク数分、
又は前画面のピークNO.ib+αに対応するピークが
存在しない間ループを繰り返す)。
くなった場合には、ステップST347に移り、αを初
期化する。そして、ステップST348以降にて、前画
面ピークib+αに対応するピークを配列Pn[i]よ
り検索する。まず、ステップST348において、前画
面のピークNO.ib+αがendbより小さく、且つ
lが0であるか否かを判定する(前画面のピーク数分、
又は前画面のピークNO.ib+αに対応するピークが
存在しない間ループを繰り返す)。
【0043】現画面のピークNO.ib+αがendb
より大きい、またはlが0より大きければ重複解消処理
へ、そうでなればステップST349にて現画面のピー
クNO.iがendより小さいか否かを判定する(現画
面のピーク数分ループを繰り返す)。大きければ、αを
インクリメントし(ステップST3413)、ステップ
ST348へ戻る。小さければ、ステップST3410
にて対応ピーク配列Pn[i]が前画面ピークNO.i
b+αと一致するか否かを判定する。一致した場合に
は、ステップST3411にて重複ピーク配列Pnl
[i]に現画面のピークiを設定し、lをインクリメン
トし、さらに現画面のピークNO.iをインクリメント
した後(ステップST3412)、ステップST349
に戻る。一致しなかった場合には、ステップST341
1を通過せずに、ステップST3412に移る。
より大きい、またはlが0より大きければ重複解消処理
へ、そうでなればステップST349にて現画面のピー
クNO.iがendより小さいか否かを判定する(現画
面のピーク数分ループを繰り返す)。大きければ、αを
インクリメントし(ステップST3413)、ステップ
ST348へ戻る。小さければ、ステップST3410
にて対応ピーク配列Pn[i]が前画面ピークNO.i
b+αと一致するか否かを判定する。一致した場合に
は、ステップST3411にて重複ピーク配列Pnl
[i]に現画面のピークiを設定し、lをインクリメン
トし、さらに現画面のピークNO.iをインクリメント
した後(ステップST3412)、ステップST349
に戻る。一致しなかった場合には、ステップST341
1を通過せずに、ステップST3412に移る。
【0044】図14において、重複解消部では、ピーク
NO.ibに対応するピーク数f及びピークNO.ib
+αに対応するピーク数lがともに正である場合は、作
成したピーク配列PnfとPnlの組み合わせのうち、
前画面のピークNO.ibとib+αの位置関係に最も
近いものを正しい対応付けとし、対応ピーク配列Pnを
修正する。また、ピークNO.ibに対応するピーク数
fのみが正である場合には、前記位置対応付け手段31
で対応付けピーク配列Pn[i]=ibkが存在する時
のDminの配列Dm[i]=Dminが最小であるピ
ークを正しい対応付けとし、対応ピーク配列Pnを修正
する。ピーク配列Pnf及びPnlのうち、はじかれた
ピークはその旨を何らかのデータで保存しておく(例え
ば、対応ピーク配列[i]=DELETED(=0xd
d)等ピークNO.としては存在しえないデータを対応
付ける)。
NO.ibに対応するピーク数f及びピークNO.ib
+αに対応するピーク数lがともに正である場合は、作
成したピーク配列PnfとPnlの組み合わせのうち、
前画面のピークNO.ibとib+αの位置関係に最も
近いものを正しい対応付けとし、対応ピーク配列Pnを
修正する。また、ピークNO.ibに対応するピーク数
fのみが正である場合には、前記位置対応付け手段31
で対応付けピーク配列Pn[i]=ibkが存在する時
のDminの配列Dm[i]=Dminが最小であるピ
ークを正しい対応付けとし、対応ピーク配列Pnを修正
する。ピーク配列Pnf及びPnlのうち、はじかれた
ピークはその旨を何らかのデータで保存しておく(例え
ば、対応ピーク配列[i]=DELETED(=0xd
d)等ピークNO.としては存在しえないデータを対応
付ける)。
【0045】次に、図14を参照して、重複解消処理に
ついて説明する。まず、ステップST3414におい
て、前ピークib+αの位置と前ピークibの位置の偏
差dxbを演算し、確定ピークNO.pnf、pnl及
び候補有りflagを0で、dxbの最小値Dxmin
を0xffで初期化する。次いで、ステップST341
5以降で、前ピークib+αと前ピークibに対応付け
されたピークの組み合わせの内、最も対応付けが正しい
と思われる組み合わせを選択し、重複解消を行う。ステ
ップST3415にて、pnfがfより小さいか否かを
判定する(ibが対応付けされたピーク数分ループを繰
り返す)。小さければ、ステップST3416にて、p
nlがlより小さいか否かを判定し(ib+αが対応付
けされた数分ループを繰り返す)、大きければ、ステッ
プST3417にてpnfをインクリメントし、ステッ
プST3415へ戻る。小さければ、ステップST34
18において現ピークPnl[pnl]の位置と現ピー
クPnf[pnf]の位置の偏差dxを演算し、dxb
との偏差DX=abs(dxb−dx)を演算する。続
いて、ステップST3419でDXが最小値Dxmin
より小さいか否かを判定する。大きければ、ステップS
T3422でρnlをインクリメントし、ステップST
316へ戻る。小さければ、ステップST3420にて
対応付け第1ピーク候補Pnf,Pnl、及びDxmi
nを更新する(すなわち、偏差DXの最小の組み合わせ
を選択する)。第1ピーク候補があれば(ステップST
3420を通過すれば)、候補有りフラグをセツトし、
ステップST3422へ移る。ステップST3415に
て、pnfがfより大きくなった場合には、ステップS
T3423へ移り、pnf,pnlを初期化し、ステッ
プST3424でflagがセツトされているか否かを
判定する。
ついて説明する。まず、ステップST3414におい
て、前ピークib+αの位置と前ピークibの位置の偏
差dxbを演算し、確定ピークNO.pnf、pnl及
び候補有りflagを0で、dxbの最小値Dxmin
を0xffで初期化する。次いで、ステップST341
5以降で、前ピークib+αと前ピークibに対応付け
されたピークの組み合わせの内、最も対応付けが正しい
と思われる組み合わせを選択し、重複解消を行う。ステ
ップST3415にて、pnfがfより小さいか否かを
判定する(ibが対応付けされたピーク数分ループを繰
り返す)。小さければ、ステップST3416にて、p
nlがlより小さいか否かを判定し(ib+αが対応付
けされた数分ループを繰り返す)、大きければ、ステッ
プST3417にてpnfをインクリメントし、ステッ
プST3415へ戻る。小さければ、ステップST34
18において現ピークPnl[pnl]の位置と現ピー
クPnf[pnf]の位置の偏差dxを演算し、dxb
との偏差DX=abs(dxb−dx)を演算する。続
いて、ステップST3419でDXが最小値Dxmin
より小さいか否かを判定する。大きければ、ステップS
T3422でρnlをインクリメントし、ステップST
316へ戻る。小さければ、ステップST3420にて
対応付け第1ピーク候補Pnf,Pnl、及びDxmi
nを更新する(すなわち、偏差DXの最小の組み合わせ
を選択する)。第1ピーク候補があれば(ステップST
3420を通過すれば)、候補有りフラグをセツトし、
ステップST3422へ移る。ステップST3415に
て、pnfがfより大きくなった場合には、ステップS
T3423へ移り、pnf,pnlを初期化し、ステッ
プST3424でflagがセツトされているか否かを
判定する。
【0046】セツトされていれば、ステップST342
5〜ステップST3431までの処理を行う(すなわ
ち、位置対応付け手段にてib、ib+αに対応付けさ
れたものを消去し、ステップST3420による第1候
補のみ再設定する)。セットされていなければ、ステッ
プST3432〜ステップST3440までの処理を行
う(位置対応付け手段にてibに対応付けされたものを
消去し、鼻孔目間偏差が最小のもののみ再設定する)。
5〜ステップST3431までの処理を行う(すなわ
ち、位置対応付け手段にてib、ib+αに対応付けさ
れたものを消去し、ステップST3420による第1候
補のみ再設定する)。セットされていなければ、ステッ
プST3432〜ステップST3440までの処理を行
う(位置対応付け手段にてibに対応付けされたものを
消去し、鼻孔目間偏差が最小のもののみ再設定する)。
【0047】まず、ステップST3425からの処理
は、ステップST3425にてpnfがfより小さいか
否かを判定し、小さければ、ステップST3426にて
対応付けピークを消去する(消去したことが分かるよう
に、PN[Pnf[pnf]]に0xddをセツトす
る)。その後、pnfをステップST3427にてイン
クリメントし、ステップST3425へ戻る。pnfが
fより大きくなった場合には、ステップST3428へ
移り、ステップST3428にてpnlにてlより小さ
いか否かを判定する。小さければ、ステップST342
9にて対応付けピークを消去する(消去したことが分か
るように、PN[Pnl[Pnl]]にOxddをセツ
トする)。その後、pnlをステップST3430にて
インクリメントし、ステップST3428へ戻る。pn
lがlより大きくなった場合には、ステップST343
1にてPn[pnf]にibを、Pn[Pnl]にib
+αを設定して終了する。
は、ステップST3425にてpnfがfより小さいか
否かを判定し、小さければ、ステップST3426にて
対応付けピークを消去する(消去したことが分かるよう
に、PN[Pnf[pnf]]に0xddをセツトす
る)。その後、pnfをステップST3427にてイン
クリメントし、ステップST3425へ戻る。pnfが
fより大きくなった場合には、ステップST3428へ
移り、ステップST3428にてpnlにてlより小さ
いか否かを判定する。小さければ、ステップST342
9にて対応付けピークを消去する(消去したことが分か
るように、PN[Pnl[Pnl]]にOxddをセツ
トする)。その後、pnlをステップST3430にて
インクリメントし、ステップST3428へ戻る。pn
lがlより大きくなった場合には、ステップST343
1にてPn[pnf]にibを、Pn[Pnl]にib
+αを設定して終了する。
【0048】次に、ステップST3432からの処理
は、ステップST3432にてfが存在するか否かを判
定する。存在すれは、ステップST3433にて鼻孔目
間距離最小値dxminを0xffで初期化する。続い
て、ステップST3434にてpnfがfより小さいか
否かを判定する。小さければ、ステップST3435で
dx=Dmin[Pnf[pnf]](位置対応付けで
保持している配列)を呼び出し、ステップST3436
で対応付けピークを消去する(消去したことが分かるよ
うに、PN[Pnf[pnf]]にOxddをセツトす
る)。ステップST3437にて、dxがdxminよ
り小さいか否かを判定し、小さければステップST34
38にて対応付け第1ピーク候補Pnf、最小値dxm
inを更新し、ステップST3439でpnfをインク
リメントする。dxがdxminよ大きい場合には、ス
テップST3438を行わずに、ステップST3439
へ移る。pnfがfより大きくなった場合には、ステッ
プST3440にてPn[pnf]にibを設定して終
了する。
は、ステップST3432にてfが存在するか否かを判
定する。存在すれは、ステップST3433にて鼻孔目
間距離最小値dxminを0xffで初期化する。続い
て、ステップST3434にてpnfがfより小さいか
否かを判定する。小さければ、ステップST3435で
dx=Dmin[Pnf[pnf]](位置対応付けで
保持している配列)を呼び出し、ステップST3436
で対応付けピークを消去する(消去したことが分かるよ
うに、PN[Pnf[pnf]]にOxddをセツトす
る)。ステップST3437にて、dxがdxminよ
り小さいか否かを判定し、小さければステップST34
38にて対応付け第1ピーク候補Pnf、最小値dxm
inを更新し、ステップST3439でpnfをインク
リメントする。dxがdxminよ大きい場合には、ス
テップST3438を行わずに、ステップST3439
へ移る。pnfがfより大きくなった場合には、ステッ
プST3440にてPn[pnf]にibを設定して終
了する。
【0049】前記重複ピーク検索部及び重複解消部の処
理はピークNO.ib=endbになるまで繰り返す。
理はピークNO.ib=endbになるまで繰り返す。
【0050】再対応付け手段35による処理は、前述の
対応付けされない現画面のピークNO.iが存在する場
合の処理である。ここでは、例えば、位置対応付け手段
35で対応付けされなかった、あるいは誤った対応付け
がなされ、重複解消手段34ではじかれた場合等、対応
付けされていないピークが存在する場合を考える。本例
では、処理を簡単にするため、前後の対応ピークNO.
を確認の後、明らかに対応するもののみを再対応付けす
る。例えば、現画面ピークNO.0に対し前画面ピーク
NO.1が対応し、現画面ピークNO.1が無対応(=
NO_VALUE)、現画面ピークNO.2に対し前画
面ピークNO.3が対応する場合、現画面ピークNO.
1に前画面ピークNO.2を再対応させる。しかし、現
画面ピークNO.0に対し前画面ピークNO.1が対応
し、現画面ピークNO.1が無対応(=NO_VALU
E)、現画面ピークNO.2が無対応(=NO_VAL
UE)の場合、現画面ピークNO.1は前画面ピークN
O.2が対応する可能性もあるが、現画面ピークNO.
3の対応付けの結果次第では、画面ピークNO.2も前
画面ピークNO.2が対応する可能性がある。こういっ
た前後の対応ピークNO.のみでは判断できない場合に
は、間違った再対応付けを行う可能性も高く、対象から
外す。この処理の概要は図15及び図16のフローチャ
ートに示す通りである。
対応付けされない現画面のピークNO.iが存在する場
合の処理である。ここでは、例えば、位置対応付け手段
35で対応付けされなかった、あるいは誤った対応付け
がなされ、重複解消手段34ではじかれた場合等、対応
付けされていないピークが存在する場合を考える。本例
では、処理を簡単にするため、前後の対応ピークNO.
を確認の後、明らかに対応するもののみを再対応付けす
る。例えば、現画面ピークNO.0に対し前画面ピーク
NO.1が対応し、現画面ピークNO.1が無対応(=
NO_VALUE)、現画面ピークNO.2に対し前画
面ピークNO.3が対応する場合、現画面ピークNO.
1に前画面ピークNO.2を再対応させる。しかし、現
画面ピークNO.0に対し前画面ピークNO.1が対応
し、現画面ピークNO.1が無対応(=NO_VALU
E)、現画面ピークNO.2が無対応(=NO_VAL
UE)の場合、現画面ピークNO.1は前画面ピークN
O.2が対応する可能性もあるが、現画面ピークNO.
3の対応付けの結果次第では、画面ピークNO.2も前
画面ピークNO.2が対応する可能性がある。こういっ
た前後の対応ピークNO.のみでは判断できない場合に
は、間違った再対応付けを行う可能性も高く、対象から
外す。この処理の概要は図15及び図16のフローチャ
ートに示す通りである。
【0051】図15は現画面のピーク数が2以上ある
(end≧2)場合、図16は現画面のピーク数が1の
場合の再対応付け手段35の処理をそれぞれ示してい
る。
(end≧2)場合、図16は現画面のピーク数が1の
場合の再対応付け手段35の処理をそれぞれ示してい
る。
【0052】図15のフローチャートに示すように、ま
ず現画面のピークNO.i=1〜(end−1)のうち
対応ピークPn[i]が無対応(=NO_VALUE)
若しくははじかれた(=DELETED)ものに対し、
ピークNO.i−1の対応ピークPn[i−1]が存在
するならば、Pn[i−1]+1をピークNO.iの再
対応付け候補PNf、ピークNO.i+1の対応ピーク
Pn[i+1]が存在するならば、Pn[i+1]−1
をピークNO.iの再対応付け候補PNlとする。PN
f、PNlがともに存在し、なおかつ一致する場合にお
いて、ピークNO.iの再対応付けを行い、Pn[i]
=PNf(PNl)と修正する。ピークNO.i=0、
ピークNO.i=endの場合は、それぞれピークN
O.i=1、ピークNO.i=end−1の対応ピーク
Pn[1]、Pn[end−1]が存在するならば、P
n[1]−1、Pn[end−1]+1をピークNO.
i=0の再対応付け候補PNl、ピークNO.i=en
dの再対応付け候補PNfとし、Pn[0]、Pn[e
nd]に再対応付けする。ここで、PNf、PNlは勿
論前ピークNO.0〜endbの範囲内でなければなら
ない。
ず現画面のピークNO.i=1〜(end−1)のうち
対応ピークPn[i]が無対応(=NO_VALUE)
若しくははじかれた(=DELETED)ものに対し、
ピークNO.i−1の対応ピークPn[i−1]が存在
するならば、Pn[i−1]+1をピークNO.iの再
対応付け候補PNf、ピークNO.i+1の対応ピーク
Pn[i+1]が存在するならば、Pn[i+1]−1
をピークNO.iの再対応付け候補PNlとする。PN
f、PNlがともに存在し、なおかつ一致する場合にお
いて、ピークNO.iの再対応付けを行い、Pn[i]
=PNf(PNl)と修正する。ピークNO.i=0、
ピークNO.i=endの場合は、それぞれピークN
O.i=1、ピークNO.i=end−1の対応ピーク
Pn[1]、Pn[end−1]が存在するならば、P
n[1]−1、Pn[end−1]+1をピークNO.
i=0の再対応付け候補PNl、ピークNO.i=en
dの再対応付け候補PNfとし、Pn[0]、Pn[e
nd]に再対応付けする。ここで、PNf、PNlは勿
論前ピークNO.0〜endbの範囲内でなければなら
ない。
【0053】図16のフローチャートに示すように、ま
ず現画面のピークNO.i=0の対応ピークPn[0]
が無対応(=NO_VALUE)若しくははじかれた
(=DELETED)ならば、現画面のピーク位置
[0]と現画面の鼻孔x位置との距離NTOPと前画面
のピーク位置[0]〜[endb]と前画面の鼻孔x位
置との距離NTOPBibとを比較し、NTOPとNT
OPBibが最も近くなる前画面のピークibを対応ピ
ークPn[0]に対応付ける。
ず現画面のピークNO.i=0の対応ピークPn[0]
が無対応(=NO_VALUE)若しくははじかれた
(=DELETED)ならば、現画面のピーク位置
[0]と現画面の鼻孔x位置との距離NTOPと前画面
のピーク位置[0]〜[endb]と前画面の鼻孔x位
置との距離NTOPBibとを比較し、NTOPとNT
OPBibが最も近くなる前画面のピークibを対応ピ
ークPn[0]に対応付ける。
【0054】対応付けされた結果より、前回の目画像1
3eyeに対応するものを今回目画像、前画面目周辺画
像13up、13dwnに対応するものを今回目周辺画
像として13eye、13up、13dwnの情報を更
新する。ここで、現画面において、13eye、若しく
は13up、13dwnが対応ピークに存在しない場
合、それらは喪失したとして情報をクリアし、追跡可能
なもののみを追跡する。ただし、評価関数値のみは基準
値37として前情報を残す。なお、前ピーク位置16
i、全Y軸方向の中点21iは毎画面更新する。また、
画像検索手段6でメモリに残した面積22iをここでは
使用していないが、対応付けの一つの指標として用いて
も良い。
3eyeに対応するものを今回目画像、前画面目周辺画
像13up、13dwnに対応するものを今回目周辺画
像として13eye、13up、13dwnの情報を更
新する。ここで、現画面において、13eye、若しく
は13up、13dwnが対応ピークに存在しない場
合、それらは喪失したとして情報をクリアし、追跡可能
なもののみを追跡する。ただし、評価関数値のみは基準
値37として前情報を残す。なお、前ピーク位置16
i、全Y軸方向の中点21iは毎画面更新する。また、
画像検索手段6でメモリに残した面積22iをここでは
使用していないが、対応付けの一つの指標として用いて
も良い。
【0055】次に、図15に基づいて、現画面のピーク
数が2以上ある場合の再対応付け手段35の処理動作に
ついて説明する。
数が2以上ある場合の再対応付け手段35の処理動作に
ついて説明する。
【0056】まず、ステップST351にて、現画面の
ピークNO.iを1で初期化する。続いて、ステップS
T352で、ピークNO.iがend−1より小さいか
否かを判定する(現画面のピーク数−1までループす
る)。小さければ、ステップST353において、ピー
クi−1に対応付けされたピークNO.pnf=Pn
[i−1]、ピークiに対応付けされたピークNO.p
np=Pn[i]、ピークi+1に対応付けされたピー
クNO.pnl=Pn[i+1]を呼び出し、Pnf,
PNlをN0_VALUE(=0xff)で初期化す
る。pnpがNO_VALUE(=0xff;ステップ
ST33にて設定)またはDELETED(=0xd
d;ステップST34にて設定)である場合のみ、ステ
ップST355〜ステップST358へ移る(NO_V
ALUE、又はDELETEDでなければ、ステップS
T3519へ移る)。
ピークNO.iを1で初期化する。続いて、ステップS
T352で、ピークNO.iがend−1より小さいか
否かを判定する(現画面のピーク数−1までループす
る)。小さければ、ステップST353において、ピー
クi−1に対応付けされたピークNO.pnf=Pn
[i−1]、ピークiに対応付けされたピークNO.p
np=Pn[i]、ピークi+1に対応付けされたピー
クNO.pnl=Pn[i+1]を呼び出し、Pnf,
PNlをN0_VALUE(=0xff)で初期化す
る。pnpがNO_VALUE(=0xff;ステップ
ST33にて設定)またはDELETED(=0xd
d;ステップST34にて設定)である場合のみ、ステ
ップST355〜ステップST358へ移る(NO_V
ALUE、又はDELETEDでなければ、ステップS
T3519へ移る)。
【0057】ステップST355〜ステップST358
では、pnf,pnlの値からpnpの値を推定する。
ステップST355〜ステップST356では、pnf
がNO_VALUE、DELETED以外の値を持ち、
且つendbより小さい場合に限り、PNfにpnf+
1を設定する(N0_VALUE、又はDELETED
ならば、ステップST3519へ移る)。ステップST
357〜ステップST358では、PnlがNO_VA
LUE、DELETED以外の値を持ち、且つpnlが
0より大きい場合に限り、PNlにpnl−1を設定す
る(NO_VALUE、又はDELETEDならばステ
ップST3519へ移る)。
では、pnf,pnlの値からpnpの値を推定する。
ステップST355〜ステップST356では、pnf
がNO_VALUE、DELETED以外の値を持ち、
且つendbより小さい場合に限り、PNfにpnf+
1を設定する(N0_VALUE、又はDELETED
ならば、ステップST3519へ移る)。ステップST
357〜ステップST358では、PnlがNO_VA
LUE、DELETED以外の値を持ち、且つpnlが
0より大きい場合に限り、PNlにpnl−1を設定す
る(NO_VALUE、又はDELETEDならばステ
ップST3519へ移る)。
【0058】次に、ステップST359において、PN
f,PNlがNO_VAL∪Eでなく、お互いに一致す
る場合、Pn[i]にPNf(=PNl)を再設定す
る。ステップST359(ステップST3510)の処
理後は、ステップST3519にて現画面のピークN
O.iをインクリメントし、ステップST352へ戻
る。ステップST352で、iがend−1より大きく
なった場合には、ステップST3511へ移る。
f,PNlがNO_VAL∪Eでなく、お互いに一致す
る場合、Pn[i]にPNf(=PNl)を再設定す
る。ステップST359(ステップST3510)の処
理後は、ステップST3519にて現画面のピークN
O.iをインクリメントし、ステップST352へ戻
る。ステップST352で、iがend−1より大きく
なった場合には、ステップST3511へ移る。
【0059】ステップST3511〜ステップST35
14では、i=0の再対応付けを行い、また、ステップ
ST3515〜ステップST3518では、i=end
の再対応付けを行う。まず、ステップST3511にて
pnp=Pn[0]、pnl=Pn[1]を呼び出し、
ステップST3512にてpnpがNO_VALUEま
たはDELETEDであるか否かを判定する。pnpが
N0_VAL∪E,DELETEDでない場合には、ス
テップST3515へ進み、pnpがNO_VALUE
またはDELETEDである場合には、ステップST3
513にてpnlがNO_VALUE,DELETED
以外の値を持ち、且つpnlが0より大きい場合に限
り、Pn[0]にPnl−1を再設定する(NO_VA
LUE、又はDELETEDならばステップST351
5へ移る)。
14では、i=0の再対応付けを行い、また、ステップ
ST3515〜ステップST3518では、i=end
の再対応付けを行う。まず、ステップST3511にて
pnp=Pn[0]、pnl=Pn[1]を呼び出し、
ステップST3512にてpnpがNO_VALUEま
たはDELETEDであるか否かを判定する。pnpが
N0_VAL∪E,DELETEDでない場合には、ス
テップST3515へ進み、pnpがNO_VALUE
またはDELETEDである場合には、ステップST3
513にてpnlがNO_VALUE,DELETED
以外の値を持ち、且つpnlが0より大きい場合に限
り、Pn[0]にPnl−1を再設定する(NO_VA
LUE、又はDELETEDならばステップST351
5へ移る)。
【0060】次に、ステップST3515にて、pnf
=Pn[end−1]、pnp=Pn[end]を呼び
出し、ステップST3516にてpnpがNO_VAL
UEまたはDELETEDであるか否かを判定する。p
npがN0_VALUE,DELETEDでない場合に
は処理を終了し、pnpがNO_VALUEまたはDE
LETEDである場合には、ステップST3517に
て、pnfがN0_VALUE,DELETED以外の
値を持ち、且つpnfがendbより小さい場合に限
り、Pn[end]にpnf+1を再設定する(NO_
VALUE、又はDELETEDならば処理終了)。
=Pn[end−1]、pnp=Pn[end]を呼び
出し、ステップST3516にてpnpがNO_VAL
UEまたはDELETEDであるか否かを判定する。p
npがN0_VALUE,DELETEDでない場合に
は処理を終了し、pnpがNO_VALUEまたはDE
LETEDである場合には、ステップST3517に
て、pnfがN0_VALUE,DELETED以外の
値を持ち、且つpnfがendbより小さい場合に限
り、Pn[end]にpnf+1を再設定する(NO_
VALUE、又はDELETEDならば処理終了)。
【0061】次いで、図16に基づいて、現画面のピー
ク数が1の場合の再対応付け手段35の具体的な処理に
ついて説明する。まず、ステップST3520にて現画
面のピークNO.0を呼び出し、鼻孔目間X方向距離偏
差の最小値dxminを0xffで初期化する。続い
て、ステップST3521で、pnpがN0_VALU
E(=0xff;ステップST33にて設定)またはD
ELETED(=0xdd;ステップST34にて設
定)である場合のみ、ステップST3522〜ステップ
ST3528へ移る(NO_VALUE、又はDELE
TEDでなければ処理終了)。
ク数が1の場合の再対応付け手段35の具体的な処理に
ついて説明する。まず、ステップST3520にて現画
面のピークNO.0を呼び出し、鼻孔目間X方向距離偏
差の最小値dxminを0xffで初期化する。続い
て、ステップST3521で、pnpがN0_VALU
E(=0xff;ステップST33にて設定)またはD
ELETED(=0xdd;ステップST34にて設
定)である場合のみ、ステップST3522〜ステップ
ST3528へ移る(NO_VALUE、又はDELE
TEDでなければ処理終了)。
【0062】ステップST3522では、現画面ピーク
NO.0のX方向位置XPOSを呼び出し、前画面のピ
ークNO.ibを0で初期化する。ステップST352
3〜ステップST3528では、鼻孔目間X方向距離偏
差dxの値からPn[0]の対応ピークを推定する。ス
テップST3522では、ibがendより小さいか否
かを判定する。小さければ、ステップST3524にて
前画面のピークNO.ibのX方向位置XPOSBを呼
び出し、ステップST3525にてXPOSと現鼻孔位
置の距離とXPOSBと前鼻孔位置との距離の偏差dx
を演算する。
NO.0のX方向位置XPOSを呼び出し、前画面のピ
ークNO.ibを0で初期化する。ステップST352
3〜ステップST3528では、鼻孔目間X方向距離偏
差dxの値からPn[0]の対応ピークを推定する。ス
テップST3522では、ibがendより小さいか否
かを判定する。小さければ、ステップST3524にて
前画面のピークNO.ibのX方向位置XPOSBを呼
び出し、ステップST3525にてXPOSと現鼻孔位
置の距離とXPOSBと前鼻孔位置との距離の偏差dx
を演算する。
【0063】ステップST3526にてdxがdxmi
nより小さいか否かを判定し、小さければステップST
3527にてPn[0]、dxminの値を更新し、ス
テップST3528にて前画面のピークNO.ibをイ
ンクリメントする。dxがdxminより大きければ、
ステップST3527を通過せずに、ステップST35
28へ移る。ステップST3523で、ibがendよ
り大きくなった場合には、処理を終了する。
nより小さいか否かを判定し、小さければステップST
3527にてPn[0]、dxminの値を更新し、ス
テップST3528にて前画面のピークNO.ibをイ
ンクリメントする。dxがdxminより大きければ、
ステップST3527を通過せずに、ステップST35
28へ移る。ステップST3523で、ibがendよ
り大きくなった場合には、処理を終了する。
【0064】以上が実施の形態1における画像追跡手段
7の説明であり、対応付けにおいても、重複解消及び再
対応付けにより誤検出・誤追跡なく、目画像・目周辺画
像を常に追跡し、喪失時にも喪失であることを認識する
ことが可能である。なお、画像追跡手段7においては、
左右の目抽出領域内において同様に前記処理を施す。次
に、画像復帰手段32について説明すると、この画像復
帰手段32においては、13eye、13up、13d
wnがすべて追跡されている場合には必要ない。前記何
れかが前画面において喪失により対応付けが行われなか
った場合、現画面では対応ピーク無となり、復帰ができ
なくなるため画像復帰手段32が必要となる。この画像
復帰手段32は3つの場合が考えられる。まず1つめは
13upを追跡中の場合であり、図17aに示すよう
に、この場合には13upより顔縦方向下に13dwn
でないピーク38が存在する場合、そのピーク38が基
準値37と大きくかけはなれない場合のみ13eyeと
する。2つめは13eyeを追跡中の場合であり、図1
7bに示すように、この場合は13eyeより顔縦方向
上にピーク39が存在する場合、そのピーク39を13
upとする。また、13eyeより顔縦方向下にピーク
40が存在する場合、そのピーク40を13dwnとす
る。3つめは13dwnを追跡中の場合であり、図17
cに示すように、この場合には、13dwnより顔縦方
向上に13upでないピーク41が存在する場合、その
ピーク41が基準値37と大きくかけはなれない場合の
み13eyeとする。
7の説明であり、対応付けにおいても、重複解消及び再
対応付けにより誤検出・誤追跡なく、目画像・目周辺画
像を常に追跡し、喪失時にも喪失であることを認識する
ことが可能である。なお、画像追跡手段7においては、
左右の目抽出領域内において同様に前記処理を施す。次
に、画像復帰手段32について説明すると、この画像復
帰手段32においては、13eye、13up、13d
wnがすべて追跡されている場合には必要ない。前記何
れかが前画面において喪失により対応付けが行われなか
った場合、現画面では対応ピーク無となり、復帰ができ
なくなるため画像復帰手段32が必要となる。この画像
復帰手段32は3つの場合が考えられる。まず1つめは
13upを追跡中の場合であり、図17aに示すよう
に、この場合には13upより顔縦方向下に13dwn
でないピーク38が存在する場合、そのピーク38が基
準値37と大きくかけはなれない場合のみ13eyeと
する。2つめは13eyeを追跡中の場合であり、図1
7bに示すように、この場合は13eyeより顔縦方向
上にピーク39が存在する場合、そのピーク39を13
upとする。また、13eyeより顔縦方向下にピーク
40が存在する場合、そのピーク40を13dwnとす
る。3つめは13dwnを追跡中の場合であり、図17
cに示すように、この場合には、13dwnより顔縦方
向上に13upでないピーク41が存在する場合、その
ピーク41が基準値37と大きくかけはなれない場合の
み13eyeとする。
【0065】以上の処理により、復帰時にも精度良く再
追跡可能になるという効果が得られる。
追跡可能になるという効果が得られる。
【0066】実施の形態2.図18は本発明の実施の形
態2による眼画像追跡装置の構成を示している。本実施
の形態2においては、前記実施の形態1の画像追跡手段
7に眼確定手段42を追加したものであり、図19はそ
の処理動作を表すフローチャートである。すなわち、画
像追跡手段7は、画像対応付け手段31による対応付け
結果からさらに目画像を正確に追跡するための目確定手
段42をさらに備えている。目確定手段42は、目を左
右ペアで検索する目候補ペア検索手段43を備え、画像
対応付け手段31により対応付けされた結果と目候補ペ
ア検索手段43により検索された目との対応から目を確
定する。
態2による眼画像追跡装置の構成を示している。本実施
の形態2においては、前記実施の形態1の画像追跡手段
7に眼確定手段42を追加したものであり、図19はそ
の処理動作を表すフローチャートである。すなわち、画
像追跡手段7は、画像対応付け手段31による対応付け
結果からさらに目画像を正確に追跡するための目確定手
段42をさらに備えている。目確定手段42は、目を左
右ペアで検索する目候補ペア検索手段43を備え、画像
対応付け手段31により対応付けされた結果と目候補ペ
ア検索手段43により検索された目との対応から目を確
定する。
【0067】目確定手段42は、図19に示すように、
左右すべてのピークの組み合わせにより、最も前回の鼻
孔、左右目の相対位置関係に近いものを目確定手段42
による目候補ペア43cndとする。
左右すべてのピークの組み合わせにより、最も前回の鼻
孔、左右目の相対位置関係に近いものを目確定手段42
による目候補ペア43cndとする。
【0068】次に、図19に基づいて、本実施の形態2
の動作について詳細に説明する。まず、ステップST4
21において、現画面左目ピークNO.il、右目ピー
クNO.irを0で、目候補ペア(cnd_l,cnd
_r)のcnd_l,cnd_rをN0_VALUE
で、相対偏差の最小値dxminを0xffで初期化す
る。続いて、ステップST422にて、現画面の左目ピ
ークilがendlより小さいか否かを判定する(左目
ピーク数分ループする)。小さければ、ステップST4
23にて現画面の右目ピークirがendrより小さい
か否かを判定する(右目ピーク数分ループする)。小さ
ければ、相対位置偏差dxをステップST424にて演
算し、ステップST425にてdxがdxminより小
さいか否かを判定する。小さければ、目候補ペアのcn
d_l、cnd_r、及びdxminを更新し、ステッ
プST427にて現画面の右目ピークNO.irをイン
クリメントする(すなわち、左右ピークのすべての組み
合わせの内、dxが最小のものを選択する)。ステップ
ST427からステップST423へ戻り、irがen
drより大きくなった場合には、ステップST428へ
移り、現画面の左目ピークNO.ilをインクリメント
し、ステップST422へ戻る。ステップST422で
ilがendlより大きくなった場合には、目候補ペア
cndをcnd(cnd_l、cnd_r)とし、処理
を終了する。
の動作について詳細に説明する。まず、ステップST4
21において、現画面左目ピークNO.il、右目ピー
クNO.irを0で、目候補ペア(cnd_l,cnd
_r)のcnd_l,cnd_rをN0_VALUE
で、相対偏差の最小値dxminを0xffで初期化す
る。続いて、ステップST422にて、現画面の左目ピ
ークilがendlより小さいか否かを判定する(左目
ピーク数分ループする)。小さければ、ステップST4
23にて現画面の右目ピークirがendrより小さい
か否かを判定する(右目ピーク数分ループする)。小さ
ければ、相対位置偏差dxをステップST424にて演
算し、ステップST425にてdxがdxminより小
さいか否かを判定する。小さければ、目候補ペアのcn
d_l、cnd_r、及びdxminを更新し、ステッ
プST427にて現画面の右目ピークNO.irをイン
クリメントする(すなわち、左右ピークのすべての組み
合わせの内、dxが最小のものを選択する)。ステップ
ST427からステップST423へ戻り、irがen
drより大きくなった場合には、ステップST428へ
移り、現画面の左目ピークNO.ilをインクリメント
し、ステップST422へ戻る。ステップST422で
ilがendlより大きくなった場合には、目候補ペア
cndをcnd(cnd_l、cnd_r)とし、処理
を終了する。
【0069】ここで画像追跡手段7により対応付けされ
た左目候補13eye_l、右目候補13eye_rと
前記目候補ペア43cndを比較し、その結果により目
候補を確定する。その方法は下記ケースにより分けられ
る。
た左目候補13eye_l、右目候補13eye_rと
前記目候補ペア43cndを比較し、その結果により目
候補を確定する。その方法は下記ケースにより分けられ
る。
【0070】ケース1:13eye_l、13eye_
r、43cndのすべてが存在する場合、 ケース2:13eye_l、13eye_rのいずれ
か、及び43cndが存在する場合、 ケース3:43cndのみが存在する場合、 ケース4:13eye_l、13eye_rのみが存在
する場合、 ケース5:13eye_l、13eye_rの何れかが
存在する場合。
r、43cndのすべてが存在する場合、 ケース2:13eye_l、13eye_rのいずれ
か、及び43cndが存在する場合、 ケース3:43cndのみが存在する場合、 ケース4:13eye_l、13eye_rのみが存在
する場合、 ケース5:13eye_l、13eye_rの何れかが
存在する場合。
【0071】前記各ケースによる対応手段は下記の通り
である。
である。
【0072】ケース1の場合、13eye_l、13e
ye_rの組み合わせと43cndが一致する時、これ
は問題なく目であると判断でき、目と確定する。何れか
一方が一致しない時、ペアで抽出した43cndを目と
確定する。両方が一致しない時、より前回の組み合わせ
に近い方を目と確定する。
ye_rの組み合わせと43cndが一致する時、これ
は問題なく目であると判断でき、目と確定する。何れか
一方が一致しない時、ペアで抽出した43cndを目と
確定する。両方が一致しない時、より前回の組み合わせ
に近い方を目と確定する。
【0073】ケース2の場合、存在する13eyeと4
3cndが一致する時、ペアで抽出した43cndを目
と確定する。一致しない時、より前回の組み合わせに近
い方を目と確定する。その際、13eyeが選択されれ
ば、一方は目喪失のままである。
3cndが一致する時、ペアで抽出した43cndを目
と確定する。一致しない時、より前回の組み合わせに近
い方を目と確定する。その際、13eyeが選択されれ
ば、一方は目喪失のままである。
【0074】ケース3の場合、13up、13dwnと
のかねあいにより、問題なければ43cndを目と確定
する。そうでなければ、目は喪失とする。
のかねあいにより、問題なければ43cndを目と確定
する。そうでなければ、目は喪失とする。
【0075】ケース4の場合、ペアでの条件を13ey
e_l、13eye_rが満たす時、目と確定する。そ
うでなければ、鼻孔との相対位置条件がより前回に近い
方を目と確定し、他方は目喪失とする。
e_l、13eye_rが満たす時、目と確定する。そ
うでなければ、鼻孔との相対位置条件がより前回に近い
方を目と確定し、他方は目喪失とする。
【0076】ケース5の場合、存在する13eyeと鼻
孔との相対位置条件を厳しくし、問題なければ目と確定
し、他方は目喪失のままとする。そうでなければ、目は
喪失とする。
孔との相対位置条件を厳しくし、問題なければ目と確定
し、他方は目喪失のままとする。そうでなければ、目は
喪失とする。
【0077】以上の処理により、前記実施の形態1より
さらに信頼性が向上する。
さらに信頼性が向上する。
【0078】実施の形態3.図20は本発明の実施の形
態3による位置対応付け手段の動作(処理)を表すフロ
ーチャートであり、この実施の形態3の全体構成は前記
実施の形態1あるいは2と同様である。前記実施の形態
1或いは2においては、位置対応付け手段33は、鼻孔
との相対位置・目位置情報により位置対応付けを行って
いたが、本実施の形態3では、目抽出領域内形状ヒスト
グラム・目位置情報を基にして位置対応付けを行う。
態3による位置対応付け手段の動作(処理)を表すフロ
ーチャートであり、この実施の形態3の全体構成は前記
実施の形態1あるいは2と同様である。前記実施の形態
1或いは2においては、位置対応付け手段33は、鼻孔
との相対位置・目位置情報により位置対応付けを行って
いたが、本実施の形態3では、目抽出領域内形状ヒスト
グラム・目位置情報を基にして位置対応付けを行う。
【0079】ここでは、画像候補抽出手段10において
作成された目抽出領域ウインドウ内の各X座標における
Y軸方向の画素数の和を投影したXヒストグラム15
と、前回に同様に作成されたXヒストグラムとの相関関
数をとる。
作成された目抽出領域ウインドウ内の各X座標における
Y軸方向の画素数の和を投影したXヒストグラム15
と、前回に同様に作成されたXヒストグラムとの相関関
数をとる。
【0080】なお、本実施の形態3では、目抽出領域ウ
インドウのx方向の開始・終了位置st44・en4
5、及び作成されたXヒストグラムを保存し、毎画面ご
とに更新していく。
インドウのx方向の開始・終了位置st44・en4
5、及び作成されたXヒストグラムを保存し、毎画面ご
とに更新していく。
【0081】以下、この実施の形態3の位置対応付け手
段33の処理について図20を参照して説明する。
段33の処理について図20を参照して説明する。
【0082】図21に示すように、位置対応付け手段3
3では、まず前画面と現画面において鼻孔位置からウイ
ンドウ開始点までの距離46を算出し、短い方を基準に
前画面ヒストグラム、現画面ヒストグラムの走査開始点
startb47、start48を設定する。処理の
高速化のため、走査開始点から1画素おきにヒストグラ
ムの差分値の2乗を演算し、その和を演算する。処理は
前画面、または現画面のヒストグラムが終了するまで行
う。前記処理を現画面の開始点に2画素ずつオフセット
を加えて順次行い、和が最小の時のオフセットOFST
minを求める。ここでは1画面でのずれの大きさを考
え、オフセットは所定の最大値THmaxを持つ。次
に、走査開始点startb47とstart48+O
FSTminとが一致することより、次式49により算
出した前画面と現画面のずれOFSET50を基に前画
面と現画面のピークNO.の対応付けを行う。
3では、まず前画面と現画面において鼻孔位置からウイ
ンドウ開始点までの距離46を算出し、短い方を基準に
前画面ヒストグラム、現画面ヒストグラムの走査開始点
startb47、start48を設定する。処理の
高速化のため、走査開始点から1画素おきにヒストグラ
ムの差分値の2乗を演算し、その和を演算する。処理は
前画面、または現画面のヒストグラムが終了するまで行
う。前記処理を現画面の開始点に2画素ずつオフセット
を加えて順次行い、和が最小の時のオフセットOFST
minを求める。ここでは1画面でのずれの大きさを考
え、オフセットは所定の最大値THmaxを持つ。次
に、走査開始点startb47とstart48+O
FSTminとが一致することより、次式49により算
出した前画面と現画面のずれOFSET50を基に前画
面と現画面のピークNO.の対応付けを行う。
【0083】OFSET50=startb47-(st
art48+OFSTmin) 式49具体的には、例
えば、現画面のピークNO.i(開始番号0、終了番号
endとする)に対し、前画面のピークNO.ib(開
始番号0、終了番号endbとする)のうち、ピーク位
置がピークNO.iのピーク領域内に存在するもので、
X方向の鼻孔目間距離の誤差dxが最も小さい(=Dm
in)前画面のピークNO.ibkが対応するピークと
して配列Pn[i]=ibk、及びその時のDminの
配列Dm[i]=Dminを作成する。以上が、実施の
形態3における位置対応付け手段である。対応付けされ
ないピークに関しては、実施の形態1と同様、Pn
[i]=NO_VALUE(=0xff)など、対応付
けなしの旨をデータで保存しておく。
art48+OFSTmin) 式49具体的には、例
えば、現画面のピークNO.i(開始番号0、終了番号
endとする)に対し、前画面のピークNO.ib(開
始番号0、終了番号endbとする)のうち、ピーク位
置がピークNO.iのピーク領域内に存在するもので、
X方向の鼻孔目間距離の誤差dxが最も小さい(=Dm
in)前画面のピークNO.ibkが対応するピークと
して配列Pn[i]=ibk、及びその時のDminの
配列Dm[i]=Dminを作成する。以上が、実施の
形態3における位置対応付け手段である。対応付けされ
ないピークに関しては、実施の形態1と同様、Pn
[i]=NO_VALUE(=0xff)など、対応付
けなしの旨をデータで保存しておく。
【0084】次に、図20を参照して、目追跡領域内ヒ
ストグラムのマッチングにより、対応付けを行う処理に
ついて詳細に説明する。まず、ステップST4210に
て、マツチング開始ヒストグラム位置を設定する。前画
面のヒストグラムマツチング開始X方向位置をstar
tb、現画面のヒストグラムマツチング開始X方向位置
をstartとする(詳細は段落0069参照)。次
に、ステップST4211にて、前画面と現画面との顔
位置のずれOFSTを0で、ヒストグラム誤差の2乗の
累積の最小値を0xffでそれぞれ初期化する。続い
て、ステップST4212にて、前画面の位置jをta
rtbで初期化し、現画面の位置kをtart+0FS
Tで初期化し、ヒストグラム誤差の2乗の累積sumを
0で初期化する。ステップST4213では、jがen
b(前画面の目追跡領域X方向終了位置)より小さいか
否かを判定する。小さければ、ステップST4214に
てkがen(現画面の目追跡領域X方向終了位置)より
小さいか否かを判定する。小さければ、ステップST4
215にて、前画面の目追跡領域内XヒストグラムXH
IST_B[j]と現画面の目追跡領域内Xヒストグラ
ムXHIST[k]の差分subを演算し、subの2
乗の和sumを演算する。ステップST4216、ステ
ップST4217にて、それぞれ現画面位置k、前画面
位置jをインクリメントし、ステップST4213へ戻
る。ステップST4213またはステップST4214
のいずかが条件を満たさなくなった場合(すなわち前画
面、現画面のいずれかの追跡領域が終了した場合)、ス
テップST4218へ移る。ステップST4218で
は、sumが最小値summinより小さいか否かを判
定する。小さければ、OFST最小値0FSTmin、
及びヒストグラム誤差の2乗の累積の最小値summi
nを更新し、ステップST4220へ移る。sumがs
umminより大きければ、ステップST4219を通
過せずにステップST42220へ移る。ステップST
4220では、0FSTが所定の最大閾値THmaxよ
り小さいか否かを判定し、小さければステップST42
21にて0FSTを2インクリメントしてステップST
4212へ戻り、大きければ処理を終了する。
ストグラムのマッチングにより、対応付けを行う処理に
ついて詳細に説明する。まず、ステップST4210に
て、マツチング開始ヒストグラム位置を設定する。前画
面のヒストグラムマツチング開始X方向位置をstar
tb、現画面のヒストグラムマツチング開始X方向位置
をstartとする(詳細は段落0069参照)。次
に、ステップST4211にて、前画面と現画面との顔
位置のずれOFSTを0で、ヒストグラム誤差の2乗の
累積の最小値を0xffでそれぞれ初期化する。続い
て、ステップST4212にて、前画面の位置jをta
rtbで初期化し、現画面の位置kをtart+0FS
Tで初期化し、ヒストグラム誤差の2乗の累積sumを
0で初期化する。ステップST4213では、jがen
b(前画面の目追跡領域X方向終了位置)より小さいか
否かを判定する。小さければ、ステップST4214に
てkがen(現画面の目追跡領域X方向終了位置)より
小さいか否かを判定する。小さければ、ステップST4
215にて、前画面の目追跡領域内XヒストグラムXH
IST_B[j]と現画面の目追跡領域内Xヒストグラ
ムXHIST[k]の差分subを演算し、subの2
乗の和sumを演算する。ステップST4216、ステ
ップST4217にて、それぞれ現画面位置k、前画面
位置jをインクリメントし、ステップST4213へ戻
る。ステップST4213またはステップST4214
のいずかが条件を満たさなくなった場合(すなわち前画
面、現画面のいずれかの追跡領域が終了した場合)、ス
テップST4218へ移る。ステップST4218で
は、sumが最小値summinより小さいか否かを判
定する。小さければ、OFST最小値0FSTmin、
及びヒストグラム誤差の2乗の累積の最小値summi
nを更新し、ステップST4220へ移る。sumがs
umminより大きければ、ステップST4219を通
過せずにステップST42220へ移る。ステップST
4220では、0FSTが所定の最大閾値THmaxよ
り小さいか否かを判定し、小さければステップST42
21にて0FSTを2インクリメントしてステップST
4212へ戻り、大きければ処理を終了する。
【0085】以上の処理により、位置対応付けの信頼性
が前記実施の形態1の場合よりも向上する。以下、重
複、再対応付け等は実施の形態1と同様に行う。
が前記実施の形態1の場合よりも向上する。以下、重
複、再対応付け等は実施の形態1と同様に行う。
【0086】
【発明の効果】以上のように、この発明の目画像追跡装
置によれば、目画像だけでなく、目周辺画像も追跡する
ことにより、目喪失時も目喪失を認識して、誤検出する
ことなく目画像追跡を精度良く行うことができる。
置によれば、目画像だけでなく、目周辺画像も追跡する
ことにより、目喪失時も目喪失を認識して、誤検出する
ことなく目画像追跡を精度良く行うことができる。
【0087】また、画像検索手段においてのみ幾つかの
評価関数値を求めて、それらを用いて目画像を正確に抽
出し、画像追跡手段においては複雑な処理は行わず対応
付けにより目画像を抽出するため、処理を高速に行うこ
とができる。また、画像復帰手段により、喪失して対応
付け不可能であった像を判定・補正することにより、精
度よく眼画像の追跡を行うことができる。
評価関数値を求めて、それらを用いて目画像を正確に抽
出し、画像追跡手段においては複雑な処理は行わず対応
付けにより目画像を抽出するため、処理を高速に行うこ
とができる。また、画像復帰手段により、喪失して対応
付け不可能であった像を判定・補正することにより、精
度よく眼画像の追跡を行うことができる。
【0088】さらに、位置対応付け手段において、鼻孔
・目の位置情報を基にして対応付けを行うことにより、
処理を一層簡単に行うことができる。
・目の位置情報を基にして対応付けを行うことにより、
処理を一層簡単に行うことができる。
【0089】さらにまた、位置対応付け手段において、
目抽出領域内形状ヒストグラムを基にした対応付けを間
引きして行うことにより、処理時間を増加させることな
く精度よく対応付けを行うことができる。
目抽出領域内形状ヒストグラムを基にした対応付けを間
引きして行うことにより、処理時間を増加させることな
く精度よく対応付けを行うことができる。
【0090】また、最初の対応付け後、さらに重複解消
手段、再対応付け手段及び目確定手段を付加して、誤っ
た対応付けを判定、修正することにより、さらに精度良
く眼画像の追跡を行うことができるものである。
手段、再対応付け手段及び目確定手段を付加して、誤っ
た対応付けを判定、修正することにより、さらに精度良
く眼画像の追跡を行うことができるものである。
【図1】 この発明の実施の形態1による眼画像追跡装
置の構成を示す図であり、(a)はその概略構成を示す
ブロック図、(b)はその機能的構成を示すブロック図
である。
置の構成を示す図であり、(a)はその概略構成を示す
ブロック図、(b)はその機能的構成を示すブロック図
である。
【図2】 実施の形態1の処理の流れを示すフローチャ
ートである。
ートである。
【図3】 撮像装置からの入力画像を示す図である。
【図4】 画像検索手段の説明図である。
【図5】 実施の形態1における画像追跡手段の処理の
流れを示すフローチャートである。
流れを示すフローチャートである。
【図6】 目抽出領域設定手段により設定された目抽出
領域を示す図である。
領域を示す図である。
【図7】 画像検索手段により検索された目画像及び目
上画像、目下画像を示す図である。
上画像、目下画像を示す図である。
【図8】 目抽出領域内において作成されたXヒストグ
ラム及びYヒストグラムを示す図である。
ラム及びYヒストグラムを示す図である。
【図9】 画像検索手段の処理の流れを示すフローチャ
ートである。
ートである。
【図10】 顔要素ブロック化手段によりブロック化さ
れた画像を示す図である。
れた画像を示す図である。
【図11】 実施の形態1における位置対応付け手段の
処理の流れを示すフローチャートである。
処理の流れを示すフローチャートである。
【図12】 対応付けによる重複例を示す図である。
【図13】 重複解消手段の重複ピーク検索部の処理の
流れを示すフローチャートである。
流れを示すフローチャートである。
【図14】 重複解消手段の重複解消部の処理の流れを
示すフローチャートである。
示すフローチャートである。
【図15】 再対応付け手段の現画面ピーク数が2以上
の場合の処理の流れを示すフローチャートである。
の場合の処理の流れを示すフローチャートである。
【図16】 再対応付け手段の現画面ピーク数が1の場
合の処理の流れを示すフローチャートである。
合の処理の流れを示すフローチャートである。
【図17】 画像復帰手段の説明図である。
【図18】 実施の形態2による眼画像追跡装置の機能
的構成を示すブロック図である。
的構成を示すブロック図である。
【図19】 実施の形態2における目確定手段の処理の
流れを示すフローチャートである。
流れを示すフローチャートである。
【図20】 実施の形態3における位置対応付け手段の
処理の流れを示すフローチャートである。
処理の流れを示すフローチャートである。
【図21】 実施の形態3における位置対応付け手段の
説明図である。
説明図である。
【図22】 従来例の装置全体の構成を示す図である。
【図23】 従来例の動作の流れを示すフローチャート
である。
である。
1 撮像装置、2 画像メモリ、3 プロセッサ、4
顔画像入力手段、52値化手段、6 画像検索手段、7
画像追跡手段、9 第1眼抽出領域設定手段、10
第1画像候補抽出手段、11 画像対応付け手段、12
第2眼抽出領域設定手段、13 第2画像候補抽出手
段、31 画像対応付け手段、32画像復帰手段、33
位置対応付け手段、34 重複解消手段、35 再対
応付け手段、42 眼確定手段、43 眼候補ペア検索
手段。
顔画像入力手段、52値化手段、6 画像検索手段、7
画像追跡手段、9 第1眼抽出領域設定手段、10
第1画像候補抽出手段、11 画像対応付け手段、12
第2眼抽出領域設定手段、13 第2画像候補抽出手
段、31 画像対応付け手段、32画像復帰手段、33
位置対応付け手段、34 重複解消手段、35 再対
応付け手段、42 眼確定手段、43 眼候補ペア検索
手段。
Claims (7)
- 【請求項1】 顔画像を入力する顔画像入力手段と、 入力した顔画像を2値化する2値化手段と、 2値化された画像内で目画像及び目周辺画像を検索する
画像検索手段と、 検索した目画像及び目周辺画像を追跡する画像追跡手段
と、 を備えることを特徴とする目画像追跡装置。 - 【請求項2】 前記画像検索手段は、 2値化された画像内の目抽出領域を設定する第1目抽出
領域設定手段と、 前記目抽出領域における目画像候補及び目周辺画像候補
を抽出する第1画像候補抽出手段と、 前記目画像候補及び目周辺画像候補内で目画像及び目周
辺画像を確定する候補確定手段と、 を備えることを特徴とする請求項1に記載の目画像追跡
装置。 - 【請求項3】 前記画像追跡手段は、 2値化された画像内の目抽出領域を設定する第2目抽出
領域設定手段と、 前記目抽出領域における目画像候補及び目周辺画像候補
を抽出する第2画像候補抽出手段と、 抽出された候補画像と前画面の像との対応付けを行う画
像対応付け手段と、 喪失後また再度出現した画像を画像候補復帰させる画像
復帰手段と、 を備えることを特徴とする請求項1に記載の目画像追跡
装置。 - 【請求項4】 前記画像追跡手段は、 前記画像対応付け手段による対応付け結果からさらに目
画像を正確に追跡するための目確定手段を、 さらに備えることを特徴とする請求項3に記載の目画像
追跡装置。 - 【請求項5】 前記画像対応付け手段は、 前記画像候補抽出手段により抽出された目画像候補を前
画面の鼻孔との相対位置・目位置情報を基に前画面の像
との対応付けを行う位置対応付け手段と、 対応付けの重複を解消する重複解消手段と、 未対応の候補に対し再度対応するものを検討する再対応
付け手段と、 を備えることを特徴とする請求項3又は4に記載の目画
像追跡装置。 - 【請求項6】 前記画像対応付け手段は、 前記画像候補抽出手段により抽出された目画像候補を前
画面の目抽出領域内形状ヒストグラム・目位置情報を基
に前画面の像との対応付けを行う位置対応付け手段と、 対応付けの重複を解消する重複解消手段と、 未対応の候補に対し再度対応するものを検討する再対応
付け手段と、 を備えることを特徴とする前記請求項3又は4に記載の
目画像追跡装置。 - 【請求項7】 前記目確定手段は、 目を左右ペアで検索する目候補ペア検索手段を備え、前
記画像対応付け手段により対応付けされた結果と前記目
候補ペア検索手段により検索された目との対応から目を
確定することを特徴とする請求項4に記載の目画像追跡
装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9217709A JPH1166320A (ja) | 1997-08-12 | 1997-08-12 | 目画像追跡装置 |
US09/002,350 US5926251A (en) | 1997-08-12 | 1998-01-02 | Eye image tracking apparatus |
KR1019980003375A KR100296215B1 (ko) | 1997-08-12 | 1998-02-06 | 눈화상추적장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9217709A JPH1166320A (ja) | 1997-08-12 | 1997-08-12 | 目画像追跡装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1166320A true JPH1166320A (ja) | 1999-03-09 |
Family
ID=16708515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9217709A Pending JPH1166320A (ja) | 1997-08-12 | 1997-08-12 | 目画像追跡装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5926251A (ja) |
JP (1) | JPH1166320A (ja) |
KR (1) | KR100296215B1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100380957B1 (ko) * | 2000-08-12 | 2003-04-23 | 학교법인 인하학원 | 눈의 특징 추출방법 |
JP2007042072A (ja) * | 2005-07-05 | 2007-02-15 | Omron Corp | 追跡装置 |
JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
US8224035B2 (en) | 2006-12-06 | 2012-07-17 | Aisin Seiki Kabushiki Kaisha | Device, method and program for detecting eye |
US8498449B2 (en) | 2006-12-04 | 2013-07-30 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002007096A1 (fr) * | 2000-07-17 | 2002-01-24 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de recherche d'un point caracteristique sur un visage |
US6792134B2 (en) * | 2000-12-19 | 2004-09-14 | Eastman Kodak Company | Multi-mode digital image processing method for detecting eyes |
CA2487411C (en) | 2002-05-30 | 2011-06-14 | Visx, Inc. | Tracking torsional eye orientation and position |
US6842670B2 (en) * | 2003-05-02 | 2005-01-11 | Chung Shan Institute Of Science And Technology | Eye-tracking driving system |
DE10339314B3 (de) * | 2003-08-27 | 2005-04-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit |
US7331671B2 (en) * | 2004-03-29 | 2008-02-19 | Delphi Technologies, Inc. | Eye tracking method based on correlation and detected eye movement |
US7676063B2 (en) * | 2005-03-22 | 2010-03-09 | Microsoft Corp. | System and method for eye-tracking and blink detection |
US7650034B2 (en) * | 2005-12-14 | 2010-01-19 | Delphi Technologies, Inc. | Method of locating a human eye in a video image |
US7620216B2 (en) * | 2006-06-14 | 2009-11-17 | Delphi Technologies, Inc. | Method of tracking a human eye in a video image |
KR101571331B1 (ko) * | 2008-11-20 | 2015-11-24 | 삼성전자주식회사 | 휘도 표시 방법 및 장치, 및 이를 이용한 디지털 촬영 장치 |
SE533876C2 (sv) * | 2009-05-05 | 2011-02-15 | Styr- och kontrollsystem för ett rörligt handikapphjälpmedel | |
US8885882B1 (en) | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
TWI466070B (zh) * | 2012-09-14 | 2014-12-21 | Utechzone Co Ltd | 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置 |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US20170032172A1 (en) * | 2015-07-29 | 2017-02-02 | Hon Hai Precision Industry Co., Ltd. | Electronic device and method for splicing images of electronic device |
US10016130B2 (en) | 2015-09-04 | 2018-07-10 | University Of Massachusetts | Eye tracker system and methods for detecting eye parameters |
US10477827B2 (en) | 2016-08-17 | 2019-11-19 | Technologies Holdings Corp. | Vision system for teat detection |
US9807971B1 (en) | 2016-08-17 | 2017-11-07 | Technologies Holdings Corp. | Vision system with automatic teat detection |
US9980457B2 (en) | 2016-08-17 | 2018-05-29 | Technologies Holdings Corp. | Vision system with teat candidate identification |
JP6809262B2 (ja) * | 2017-02-08 | 2021-01-06 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
KR102261175B1 (ko) * | 2019-06-13 | 2021-06-07 | 주식회사 파이리코 | 동물 인식 장치 및 동물 인식 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4856891A (en) * | 1987-02-17 | 1989-08-15 | Eye Research Institute Of Retina Foundation | Eye fundus tracker/stabilizer |
US5016282A (en) * | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
JP2822799B2 (ja) * | 1992-07-18 | 1998-11-11 | 日産自動車株式会社 | 運転者の状態検出装置 |
-
1997
- 1997-08-12 JP JP9217709A patent/JPH1166320A/ja active Pending
-
1998
- 1998-01-02 US US09/002,350 patent/US5926251A/en not_active Expired - Lifetime
- 1998-02-06 KR KR1019980003375A patent/KR100296215B1/ko not_active IP Right Cessation
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100380957B1 (ko) * | 2000-08-12 | 2003-04-23 | 학교법인 인하학원 | 눈의 특징 추출방법 |
JP2007042072A (ja) * | 2005-07-05 | 2007-02-15 | Omron Corp | 追跡装置 |
US8498449B2 (en) | 2006-12-04 | 2013-07-30 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
US8224035B2 (en) | 2006-12-06 | 2012-07-17 | Aisin Seiki Kabushiki Kaisha | Device, method and program for detecting eye |
US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
US5926251A (en) | 1999-07-20 |
KR19990023061A (ko) | 1999-03-25 |
KR100296215B1 (ko) | 2001-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH1166320A (ja) | 目画像追跡装置 | |
KR100362328B1 (ko) | 안화상 처리장치 | |
US20120269405A1 (en) | Information processing apparatus, processing method for the same, non-transitory computer-readable storage medium and image capturing apparatus | |
US6865289B1 (en) | Detection and removal of image occlusion errors | |
KR101971866B1 (ko) | 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 | |
JP3695990B2 (ja) | 顔画像処理装置 | |
US20090244364A1 (en) | Moving image separating apparatus, moving image uniting apparatus, and moving image separating-uniting system | |
CN112037245B (zh) | 一种确定追踪目标相似度的方法和系统 | |
KR19990013317A (ko) | 얼굴 화상 처리 장치 | |
US8948452B2 (en) | Image processing apparatus and control method thereof | |
US20080013837A1 (en) | Image Comparison | |
JP6941966B2 (ja) | 人物認証装置 | |
JP6688975B2 (ja) | 監視装置及び監視システム | |
KR101821144B1 (ko) | 깊이정보 기반의 안면인식 출입통제시스템 | |
JP2006236255A (ja) | 人物追跡装置および人物追跡システム | |
US5905563A (en) | Blink detection face image processing apparatus utilizing retinal reflection image | |
KR100347058B1 (ko) | 얼굴 촬영/인식방법 | |
US20090016577A1 (en) | Collation sytem and computer readable medium storing thereon program | |
CN111626086A (zh) | 活体检测方法、装置及系统、电子设备和存储介质 | |
JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
US20070013866A1 (en) | Pupil detection device and iris suthentication apparatus | |
CN109299696A (zh) | 一种基于双摄像头的人脸检测方法及装置 | |
JP2000123186A (ja) | 被写体認識装置 | |
JP2000163564A (ja) | 目の追跡装置および瞬き検出装置 | |
CN115346155A (zh) | 一种面向视觉特征非连续性干扰的船舶图像航迹提取方法 |