JP3057996B2 - 車両運転者の眼球位置検出装置 - Google Patents
車両運転者の眼球位置検出装置Info
- Publication number
- JP3057996B2 JP3057996B2 JP1792194A JP1792194A JP3057996B2 JP 3057996 B2 JP3057996 B2 JP 3057996B2 JP 1792194 A JP1792194 A JP 1792194A JP 1792194 A JP1792194 A JP 1792194A JP 3057996 B2 JP3057996 B2 JP 3057996B2
- Authority
- JP
- Japan
- Prior art keywords
- local area
- eyeball position
- binarization threshold
- position detecting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、車両運転者の眼球位置
検出装置に関する。
検出装置に関する。
【０００２】
【従来の技術】従来から、車両運転者の顔面像より、居
眠りやわき見を検出する装置に利用するための車両運転
者の眼球位置検出装置が知られており、例えば特開昭６
０−１６６８０７号公報、特開昭６０−１６８００５号
公報に記載されたようなものがある。これらは、運転者
の眼の位置や状態等を精度良く検出するために、とくに
発光手段の光量を制御したり、撮像機に入射する光量を
制御するなどして、車両内の明るさにかかわらず常に鮮
明の画像を得るようにすることを狙いとしている。
眠りやわき見を検出する装置に利用するための車両運転
者の眼球位置検出装置が知られており、例えば特開昭６
０−１６６８０７号公報、特開昭６０−１６８００５号
公報に記載されたようなものがある。これらは、運転者
の眼の位置や状態等を精度良く検出するために、とくに
発光手段の光量を制御したり、撮像機に入射する光量を
制御するなどして、車両内の明るさにかかわらず常に鮮
明の画像を得るようにすることを狙いとしている。
【０００３】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像処理による車両運転者の眼球位置検出装
置にあっては、入力画像全体での濃淡画像情報の補正を
行うことを目的として、上述のように発光手段の光量の
制御や、撮像機に入射する光量の制御を行っていたた
め、例えば、発光手段より遥かに大きい光量を持つ自然
光が入力画像の一部分に入ってきた場合には、適切な画
像処理が行われない場合があるという問題があった。
うな従来の画像処理による車両運転者の眼球位置検出装
置にあっては、入力画像全体での濃淡画像情報の補正を
行うことを目的として、上述のように発光手段の光量の
制御や、撮像機に入射する光量の制御を行っていたた
め、例えば、発光手段より遥かに大きい光量を持つ自然
光が入力画像の一部分に入ってきた場合には、適切な画
像処理が行われない場合があるという問題があった。
【０００４】運転者の眼球位置検出においては、画像情
報を２値化したとき、眼、眉、髪等は黒画素に、額、
頬、鼻、あるいは顎等は白画素に変換されるように処理
することを前提とする。この画像の２値化には、微分ヒ
ストグラム法、判別分析法等いろいろな処理方法があ
る。しかし、これらの方法は、全ての入力画素の濃淡情
報を対象に数学的な計算を行って２値化のしきい値を設
定するものであるため、例えば上記のように、発光手段
より遥かに大きい光量を持つ自然光が入力画像に混入し
てきた場合には、眼の部分が白画素に変換されてしまっ
たり、顔にできる影の部分が黒画素に変換されてしま
い、本当の眼の黒画素と区別できなくなることがあっ
た。
報を２値化したとき、眼、眉、髪等は黒画素に、額、
頬、鼻、あるいは顎等は白画素に変換されるように処理
することを前提とする。この画像の２値化には、微分ヒ
ストグラム法、判別分析法等いろいろな処理方法があ
る。しかし、これらの方法は、全ての入力画素の濃淡情
報を対象に数学的な計算を行って２値化のしきい値を設
定するものであるため、例えば上記のように、発光手段
より遥かに大きい光量を持つ自然光が入力画像に混入し
てきた場合には、眼の部分が白画素に変換されてしまっ
たり、顔にできる影の部分が黒画素に変換されてしま
い、本当の眼の黒画素と区別できなくなることがあっ
た。
【０００５】そのため、車室内のように刻々と変わる照
度環境では、運転者の眼球の位置や状態等を常時正確に
捉えることができないという問題があった。本発明は、
このような従来の問題点に着目してなされたものであ
り、外来光等光環境に影響されることなく、運転者の眼
球の位置や状態等を正確に検出することのできる車両運
転者の眼球位置検出装置を提供することを目的としてい
る。
度環境では、運転者の眼球の位置や状態等を常時正確に
捉えることができないという問題があった。本発明は、
このような従来の問題点に着目してなされたものであ
り、外来光等光環境に影響されることなく、運転者の眼
球の位置や状態等を正確に検出することのできる車両運
転者の眼球位置検出装置を提供することを目的としてい
る。
【０００６】
【課題を解決するための手段】このため本発明は、図１
に示すように、運転者の顔を含む画像を入力する顔画像
入力手段１と、入力画像データを画像処理して眼球位置
を検出する眼球位置検出手段４を備える車両運転者の眼
球位置検出装置において、画像フレーム内の外光の影響
の低い局所領域において濃度情報を計測する局所領域の
濃度情報計測手段２と、前記濃度情報を基に２値化しき
い値を設定する２値化しきい値設定手段３を有し、前記
眼球位置検出手段４が前記２値化しきい値設定手段３で
設定された２値化しきい値を用いて画像処理するように
構成されたものとした。
に示すように、運転者の顔を含む画像を入力する顔画像
入力手段１と、入力画像データを画像処理して眼球位置
を検出する眼球位置検出手段４を備える車両運転者の眼
球位置検出装置において、画像フレーム内の外光の影響
の低い局所領域において濃度情報を計測する局所領域の
濃度情報計測手段２と、前記濃度情報を基に２値化しき
い値を設定する２値化しきい値設定手段３を有し、前記
眼球位置検出手段４が前記２値化しきい値設定手段３で
設定された２値化しきい値を用いて画像処理するように
構成されたものとした。
【０００７】
【作用】局所領域の濃度情報計測手段２が外光等の光環
境の影響が少ない領域を局所領域としてその領域の濃度
情報を計測する。そして２値化しきい値設定手段３で
は、その濃度情報に基づいて画像データ２値化のための
２値化しきい値を設定する。これにより、眼球位置検出
手段４では外光により車室内の光環境が大きく変化して
も、これに影響されることなく眼球部とその他の部位と
が確実に識別され、運転者の眼球位置が精度良く検出さ
れる。
境の影響が少ない領域を局所領域としてその領域の濃度
情報を計測する。そして２値化しきい値設定手段３で
は、その濃度情報に基づいて画像データ２値化のための
２値化しきい値を設定する。これにより、眼球位置検出
手段４では外光により車室内の光環境が大きく変化して
も、これに影響されることなく眼球部とその他の部位と
が確実に識別され、運転者の眼球位置が精度良く検出さ
れる。
【０００８】
【実施例】以下、本発明を図面に基づいて説明する。図
２は本発明を運転者の覚醒度警報装置に適用した第１の
実施例の構成を示す。運転者２１の顔部分を撮影するＴ
Ｖカメラ１１が、運転者２１の前方に設置されている。
ＴＶカメラ１１で撮影された入力画像データは、Ａ／Ｄ
変換器１３でデジタル量に変換されて、画像メモリ１４
に保持される。入力画像データの局所領域の状態を基
に、光環境状態を計測する光環境計測回路１５が設けら
れ、光環境計測回路１５には、計測値に基ずき適切な２
値化しきい値を設定する２値化しきい値設定回路１６が
接続されている。
２は本発明を運転者の覚醒度警報装置に適用した第１の
実施例の構成を示す。運転者２１の顔部分を撮影するＴ
Ｖカメラ１１が、運転者２１の前方に設置されている。
ＴＶカメラ１１で撮影された入力画像データは、Ａ／Ｄ
変換器１３でデジタル量に変換されて、画像メモリ１４
に保持される。入力画像データの局所領域の状態を基
に、光環境状態を計測する光環境計測回路１５が設けら
れ、光環境計測回路１５には、計測値に基ずき適切な２
値化しきい値を設定する２値化しきい値設定回路１６が
接続されている。
【０００９】この２値化しきい値設定回路１６で設定さ
れたしきい値を用いて、画像データを２値化処理し、眼
球部の位置検出を行なう眼球位置検出回路１７が設けら
れ、これに、眼の開閉度合い状態検出を行なう開閉眼検
出回路１８が接続されている。そして、覚醒度判定回路
１９が開閉眼検出回路１８の出力信号によって覚醒度を
判定し、これより覚醒度の低下状態を示す信号を受けた
とき警報を発する警報装置２０が設けられている。な
お、夜間あるいはトンネル内で運転者２１に眩惑を与え
ることなく運転者２１の顔を撮影するために、赤外線ラ
ンプ１２が運転者２１の前方に設置され、顔面を照射す
るようになっている。
れたしきい値を用いて、画像データを２値化処理し、眼
球部の位置検出を行なう眼球位置検出回路１７が設けら
れ、これに、眼の開閉度合い状態検出を行なう開閉眼検
出回路１８が接続されている。そして、覚醒度判定回路
１９が開閉眼検出回路１８の出力信号によって覚醒度を
判定し、これより覚醒度の低下状態を示す信号を受けた
とき警報を発する警報装置２０が設けられている。な
お、夜間あるいはトンネル内で運転者２１に眩惑を与え
ることなく運転者２１の顔を撮影するために、赤外線ラ
ンプ１２が運転者２１の前方に設置され、顔面を照射す
るようになっている。
【００１０】次に図３のフローチャートに従って、制御
動作を説明する。まず、ステップ１０１において、ＴＶ
カメラ１１によって運転者２１の顔部分が撮影され、ス
テップ１０２で１フレーム分の入力画像データがＡ／Ｄ
変換器１３でデジタル信号に変換されて画像メモリ１４
に格納される。ステップ１０１が発明の顔画像入力手段
を構成している。
動作を説明する。まず、ステップ１０１において、ＴＶ
カメラ１１によって運転者２１の顔部分が撮影され、ス
テップ１０２で１フレーム分の入力画像データがＡ／Ｄ
変換器１３でデジタル信号に変換されて画像メモリ１４
に格納される。ステップ１０１が発明の顔画像入力手段
を構成している。
【００１１】ステップ１０３では、光環境計測回路１５
において、図４に局所領域Ａとして示すような、画像フ
レームの上方、右部に限定された局所領域の濃度情報と
して、平均濃度階調の演算により平均濃度値が求められ
る。局所領域Ａは、窓からの外来光の影響を受けにくい
上方部かつ車室中央側部分が選定され、本実施例では右
ハンドル車を想定して上半部、右半部に設定されている
ものとするが、左ハンドル車の場所は上半部、左半部が
局所領域となる。したがってこの局所領域内の平均濃度
値を求めれば、運転者２１の左眼がおかれている光環境
状態を客観的に捉えることができるとともに、昼間の外
光による影響が極力抑えられ、後のステップで画像デー
タを２値化したとき、少なくとも運転者２１の左眼を容
易に黒画素として抽出することができる。ステップ１０
３が発明の局所領域の濃度情報計測手段を構成してい
る。
において、図４に局所領域Ａとして示すような、画像フ
レームの上方、右部に限定された局所領域の濃度情報と
して、平均濃度階調の演算により平均濃度値が求められ
る。局所領域Ａは、窓からの外来光の影響を受けにくい
上方部かつ車室中央側部分が選定され、本実施例では右
ハンドル車を想定して上半部、右半部に設定されている
ものとするが、左ハンドル車の場所は上半部、左半部が
局所領域となる。したがってこの局所領域内の平均濃度
値を求めれば、運転者２１の左眼がおかれている光環境
状態を客観的に捉えることができるとともに、昼間の外
光による影響が極力抑えられ、後のステップで画像デー
タを２値化したとき、少なくとも運転者２１の左眼を容
易に黒画素として抽出することができる。ステップ１０
３が発明の局所領域の濃度情報計測手段を構成してい
る。
【００１２】ステップ１０４では、２値化しきい値設定
回路１６において、局所領域Ａ内の上記平均濃度値を受
けてこれを２値化しきい値に設定する。ステップ１０５
で、画像データの前処理として、上記２値化しきい値を
用いた２値化処理、およびノイズ除去処理が行なわれ
て、以降の処理に適した２値化画像データが準備され
る。
回路１６において、局所領域Ａ内の上記平均濃度値を受
けてこれを２値化しきい値に設定する。ステップ１０５
で、画像データの前処理として、上記２値化しきい値を
用いた２値化処理、およびノイズ除去処理が行なわれ
て、以降の処理に適した２値化画像データが準備され
る。
【００１３】ステップ１０６では、眼球位置検出回路１
７において、顔幅の設定が行なわれ、続いてステップ１
０７で眼の存在領域が設定される。この２ステップで
は、まず画像フレームのなかで顔の中央部が位置すると
考えられる領域で画像を走査して、連続白画素数の状態
から顔幅部分が抽出される。そしてこの顔幅内でさらに
走査して、眼球部とその上方にある眉とに対応する黒画
素領域２点の検索を行なうことにより眼の存在領域が求
められる。ステップ１０４が発明の２値化しきい値設定
手段を構成し、ステップ１０５〜１０７が眼球位置検出
手段を構成している。
７において、顔幅の設定が行なわれ、続いてステップ１
０７で眼の存在領域が設定される。この２ステップで
は、まず画像フレームのなかで顔の中央部が位置すると
考えられる領域で画像を走査して、連続白画素数の状態
から顔幅部分が抽出される。そしてこの顔幅内でさらに
走査して、眼球部とその上方にある眉とに対応する黒画
素領域２点の検索を行なうことにより眼の存在領域が求
められる。ステップ１０４が発明の２値化しきい値設定
手段を構成し、ステップ１０５〜１０７が眼球位置検出
手段を構成している。
【００１４】次いで、ステップ１０８では、開閉眼検出
回路１８により、眼の開き度合いの状態が検出され、ス
テップ１０９で、上記眼の開き度合いを基に開閉眼を判
定する。そしてステップ１１０において、覚醒度判定回
路１９で、開閉眼の発生パターンに基づいて運転者の覚
醒度の判定が行なわれる。
回路１８により、眼の開き度合いの状態が検出され、ス
テップ１０９で、上記眼の開き度合いを基に開閉眼を判
定する。そしてステップ１１０において、覚醒度判定回
路１９で、開閉眼の発生パターンに基づいて運転者の覚
醒度の判定が行なわれる。
【００１５】ここで、覚醒度の低下した状態にあるもの
と判定されたときは、ステップ１１１に進んで、警報装
置２０により警報が発せられる。このあとは続けて眼の
状態の監視を続けるため、ステップ１０１に戻る。ま
た、ステップ１１０での判定結果として覚醒度の低下が
認められないときも、同様にステップ１０１に戻る。上
記ステップ１０６以降の顔幅の設定、眼の存在領域の設
定、眼の開き度合い検出、開閉眼の判定、ならびに覚醒
度の判定等の詳細は、特願平５−３９５６２に詳しい。
と判定されたときは、ステップ１１１に進んで、警報装
置２０により警報が発せられる。このあとは続けて眼の
状態の監視を続けるため、ステップ１０１に戻る。ま
た、ステップ１１０での判定結果として覚醒度の低下が
認められないときも、同様にステップ１０１に戻る。上
記ステップ１０６以降の顔幅の設定、眼の存在領域の設
定、眼の開き度合い検出、開閉眼の判定、ならびに覚醒
度の判定等の詳細は、特願平５−３９５６２に詳しい。
【００１６】この実施例は以上のように構成され、光環
境計測回路が外光の影響の少ない部位を局所領域とし
て、顔画像データにおけるこの局所領域の平均濃度値を
求め、この平均濃度値を基に２値化しきい値設定回路が
２値化しきい値を設定するようにしたので、外光が前面
や側面から差し込む車室内で撮影した顔画像でも、眼球
位置や眼の状態を正確に検出することができるという効
果を有する。
境計測回路が外光の影響の少ない部位を局所領域とし
て、顔画像データにおけるこの局所領域の平均濃度値を
求め、この平均濃度値を基に２値化しきい値設定回路が
２値化しきい値を設定するようにしたので、外光が前面
や側面から差し込む車室内で撮影した顔画像でも、眼球
位置や眼の状態を正確に検出することができるという効
果を有する。
【００１７】次に図５は、昼間・夜間の変化に対応して
局所領域を切り換えて２値化しきい値を設定するように
した第２の実施例を示す。右ハンドル車を例にとれば、
昼間時は図４に示すような画像データの上半部、右半部
の局所領域Ａが外光による影響が小さく、運転者の少な
くとも左眼を抽出するのに適しているが、夜間時には、
運転者が受ける光はその顔部に照射される赤外線ランプ
による光だけとなる。このとき、昼間時と同じ局所領域
Ａを用いると、運転者の顔の動きによって、局所領域内
の光が当たっている部分の面積が変化する。この結果、
照明による光環境状態は変わっていなくても、局所領域
内の濃度情報は変化して２値化しきい値にも影響を受け
るおそれがある。この第２の実施例はこれに対処するも
のである。
局所領域を切り換えて２値化しきい値を設定するように
した第２の実施例を示す。右ハンドル車を例にとれば、
昼間時は図４に示すような画像データの上半部、右半部
の局所領域Ａが外光による影響が小さく、運転者の少な
くとも左眼を抽出するのに適しているが、夜間時には、
運転者が受ける光はその顔部に照射される赤外線ランプ
による光だけとなる。このとき、昼間時と同じ局所領域
Ａを用いると、運転者の顔の動きによって、局所領域内
の光が当たっている部分の面積が変化する。この結果、
照明による光環境状態は変わっていなくても、局所領域
内の濃度情報は変化して２値化しきい値にも影響を受け
るおそれがある。この第２の実施例はこれに対処するも
のである。
【００１８】図５において、画像メモリ１４に接続され
た光環境計測回路２５には、昼・夜判定回路２２が接続
されている。昼・夜判定回路２２は、例えば照度センサ
を備えて照度センサ出力値が所定値以上（＝昼）か否か
に基づいて昼間であるか夜間であるかを判定する。光環
境計測回路２５は、昼・夜判定回路２２から受ける判定
結果により、光環境状態を示す濃度情報を入手すべき局
所領域を切り換えるようになっている。そしてその切り
換えた局所領域の濃度情報、すなわち平均濃度値を求め
て２値化しきい値設定回路１６へ出力する。その他の構
成は第１の実施例と同様である。
た光環境計測回路２５には、昼・夜判定回路２２が接続
されている。昼・夜判定回路２２は、例えば照度センサ
を備えて照度センサ出力値が所定値以上（＝昼）か否か
に基づいて昼間であるか夜間であるかを判定する。光環
境計測回路２５は、昼・夜判定回路２２から受ける判定
結果により、光環境状態を示す濃度情報を入手すべき局
所領域を切り換えるようになっている。そしてその切り
換えた局所領域の濃度情報、すなわち平均濃度値を求め
て２値化しきい値設定回路１６へ出力する。その他の構
成は第１の実施例と同様である。
【００１９】上記構成のおける動作の流れを、図６のフ
ローチャートに基づいて説明する。ステップ１０２で１
フレーム分のデジタル入力画像が画像メモリ１４に格納
されると、ステップ２０１において、昼・夜判定回路２
２により、昼間か夜間かの判定が行なわれる。判定結果
が昼間であればステップ１０３に進んで、光環境計測回
路２５において、画像メモリ１４に格納された画像デー
タによる画像フレームについて、先の図４に示されたよ
うに上半部、右半部を範囲とする局所領域Ａの平均濃度
階調の演算が行なわれる。判定結果が夜間であるときに
は、ステップ２０３へ進み、赤外線ランプ１２が点灯さ
れ運転者の顔を照射する。
ローチャートに基づいて説明する。ステップ１０２で１
フレーム分のデジタル入力画像が画像メモリ１４に格納
されると、ステップ２０１において、昼・夜判定回路２
２により、昼間か夜間かの判定が行なわれる。判定結果
が昼間であればステップ１０３に進んで、光環境計測回
路２５において、画像メモリ１４に格納された画像デー
タによる画像フレームについて、先の図４に示されたよ
うに上半部、右半部を範囲とする局所領域Ａの平均濃度
階調の演算が行なわれる。判定結果が夜間であるときに
は、ステップ２０３へ進み、赤外線ランプ１２が点灯さ
れ運転者の顔を照射する。
【００２０】そして、ステップ２０４において、光環境
計測回路２５では図７に示されるような画像フレームの
下半部を範囲とする局所領域Ｂの平均濃度階調の演算が
行なわれる。上記局所領域Ｂは、顔の顎から首部に相当
する範囲であり、運転者の顔が動いても明かるさの変化
が小さい領域である。ステップ１０４では、ステップ１
０３またはステップ２０４の演算結果を光環境計測回路
２５から受けて、２値化しきい値設定回路１６により、
昼間・夜間に対応したいずれかの局所領域の平均濃度値
を基に、２値化しきい値が設定される。その他のステッ
プは図３のフローチャートと同じである。
計測回路２５では図７に示されるような画像フレームの
下半部を範囲とする局所領域Ｂの平均濃度階調の演算が
行なわれる。上記局所領域Ｂは、顔の顎から首部に相当
する範囲であり、運転者の顔が動いても明かるさの変化
が小さい領域である。ステップ１０４では、ステップ１
０３またはステップ２０４の演算結果を光環境計測回路
２５から受けて、２値化しきい値設定回路１６により、
昼間・夜間に対応したいずれかの局所領域の平均濃度値
を基に、２値化しきい値が設定される。その他のステッ
プは図３のフローチャートと同じである。
【００２１】この実施例によれば、昼間・夜間で画像処
理のための２値化しきい値の基礎となる濃度情報を取得
する局所領域を切り替えるようにし、とくに夜間におけ
る局所領域Ｂを画像フレームの下半部としたから、赤外
線ランプによる照射の下で、運転者の顔が動いても明か
るさに影響を受けず、常に安定した２値化画像データを
得ることができる。
理のための２値化しきい値の基礎となる濃度情報を取得
する局所領域を切り替えるようにし、とくに夜間におけ
る局所領域Ｂを画像フレームの下半部としたから、赤外
線ランプによる照射の下で、運転者の顔が動いても明か
るさに影響を受けず、常に安定した２値化画像データを
得ることができる。
【００２２】なお、本実施例では、夜間においても、流
れの各サイクルごとに２値化しきい値を設定するように
したが、夜間では光環境状態が安定するので、夜間であ
ることの判定後、局所領域Ｂの濃度情報計測を所定時間
行なったあとは、２値化しきい値を固定しても的確に顔
幅や眼の存在領域の設定を行なうことができる。また、
昼・夜判定回路２２としては、照度センサを備える例を
示したが、このほか例えばヘッドライトなど車両ライト
のライトスイッチセンサや画像データの濃度情報出力回
路などを用い、ライトスイッチがオン（点灯＝夜）かオ
フか、また画像データの濃度情報が所定値以上（＝昼）
か否かに基づいて、昼間であるか夜間であるかを判定す
るようにしてもよい。
れの各サイクルごとに２値化しきい値を設定するように
したが、夜間では光環境状態が安定するので、夜間であ
ることの判定後、局所領域Ｂの濃度情報計測を所定時間
行なったあとは、２値化しきい値を固定しても的確に顔
幅や眼の存在領域の設定を行なうことができる。また、
昼・夜判定回路２２としては、照度センサを備える例を
示したが、このほか例えばヘッドライトなど車両ライト
のライトスイッチセンサや画像データの濃度情報出力回
路などを用い、ライトスイッチがオン（点灯＝夜）かオ
フか、また画像データの濃度情報が所定値以上（＝昼）
か否かに基づいて、昼間であるか夜間であるかを判定す
るようにしてもよい。
【００２３】
【発明の効果】以上のとおり、本発明は顔画像を画像処
理して眼球位置を検出する車両運転者の眼球位置検出装
置において、外光等の光環境の影響が少ない領域を局所
領域としてその領域の濃度情報を計測し、その濃度情報
に基づいて画像データ２値化のための２値化しきい値を
設定するようにしたので、外光により車室内の光環境が
大きく変化しても、画像処理上これに影響されることな
く眼球部とその他の部位とが確実に識別され、運転者の
眼球位置が精度良く検出されるという効果を有する。ま
た、昼間と夜間とで局所領域を切り換えることにより、
夜間やトンネル内での顔画像でも的確に安定して眼球位
置検出や眼の状態を検出することができる。
理して眼球位置を検出する車両運転者の眼球位置検出装
置において、外光等の光環境の影響が少ない領域を局所
領域としてその領域の濃度情報を計測し、その濃度情報
に基づいて画像データ２値化のための２値化しきい値を
設定するようにしたので、外光により車室内の光環境が
大きく変化しても、画像処理上これに影響されることな
く眼球部とその他の部位とが確実に識別され、運転者の
眼球位置が精度良く検出されるという効果を有する。ま
た、昼間と夜間とで局所領域を切り換えることにより、
夜間やトンネル内での顔画像でも的確に安定して眼球位
置検出や眼の状態を検出することができる。
【図１】本発明の構成を示すブロック図である。
【図２】本発明の第１の実施例の構成を示すブロック図
である。
である。
【図３】第１の実施例における動作の流れを示すフロー
チャートである。
チャートである。
【図４】局所領域を説明する図である。
【図５】第２の実施例の構成を示すブロック図である。
【図６】第２の実施例における動作の流れを示すフロー
チャートである。
チャートである。
【図７】夜間時の局所領域を説明する図である。
１ 顔画像入力手段 ２ 局所領域の濃度情報計測手段 ３ ２値化しきい値設定手段 ４ 眼球位置検出手段 １１ ＴＶカメラ １２ 赤外線ランプ １３ Ａ／Ｄ変換器 １４ 画像メモリ １５、２５ 光環境計測回路 １６ ２値化しきい値設定回路 １７ 眼球位置検出回路 １８ 開閉眼検出回路 １９ 覚醒度判定回路 ２０ 警報装置 ２１ 運転者 ２２ 昼・夜判定回路 Ａ、Ｂ 局所領域
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０６Ｔ 5/00 Ｇ０６Ｆ 15/62 ３８０ Ｇ０８Ｇ 1/16 15/68 ３２０Ｚ (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 G06T 1/00 - 7/00 G01N 21/17 - 21/61 G02B 27/00 G08G 1/16
Claims (4)
- 【請求項１】 運転者の顔を含む画像を入力する顔画像
入力手段と、入力画像データを画像処理して眼球位置を
検出する眼球位置検出手段を備える車両運転者の眼球位
置検出装置において、画像フレーム内の外光の影響の低
い局所領域において濃度情報を計測する局所領域の濃度
情報計測手段と、前記濃度情報を基に２値化しきい値を
設定する２値化しきい値設定手段を有し、前記眼球位置
検出手段が前記２値化しきい値設定手段で設定された２
値化しきい値を用いて画像処理するように構成されたこ
とを特徴とする車両運転者の眼球位置検出装置。 - 【請求項２】前記局所領域の濃度情報計測手段は、画像
フレームの上方部で、かつ車室中央側部分を前記局所領
域とするものであることを特徴とする請求項１記載の車
両運転者の眼球位置検出装置。 - 【請求項３】前記局所領域の濃度情報計測手段は、昼間
は画像フレームの上方部で、かつ車室中央側部分を前記
局所領域とし、夜間は画像フレームの下方部を前記局所
領域とするものであることを特徴とする請求項１記載の
車両運転者の眼球位置検出装置。 - 【請求項４】前記２値化しきい値設定手段は、前記局所
領域の濃度階調の平均値を前記２値化しきい値として設
定するものであることを特徴とする請求項１、２または
３記載の車両運転者の眼球位置検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1792194A JP3057996B2 (ja) | 1994-01-18 | 1994-01-18 | 車両運転者の眼球位置検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1792194A JP3057996B2 (ja) | 1994-01-18 | 1994-01-18 | 車両運転者の眼球位置検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07208927A JPH07208927A (ja) | 1995-08-11 |
| JP3057996B2 true JP3057996B2 (ja) | 2000-07-04 |
Family
ID=11957238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1792194A Expired - Lifetime JP3057996B2 (ja) | 1994-01-18 | 1994-01-18 | 車両運転者の眼球位置検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3057996B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| JP3577882B2 (ja) * | 1997-03-31 | 2004-10-20 | 日産自動車株式会社 | 居眠り状態検出装置 |
| JP3414331B2 (ja) * | 1998-10-19 | 2003-06-09 | 株式会社豊田中央研究所 | 眼の位置検出装置 |
| KR100447268B1 (ko) * | 2001-12-18 | 2004-09-07 | 한국전자통신연구원 | 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출방법 |
-
1994
- 1994-01-18 JP JP1792194A patent/JP3057996B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07208927A (ja) | 1995-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4309926B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
| JP3143819B2 (ja) | まぶたの開度検出装置 | |
| JP3969894B2 (ja) | 顔画像処理装置 | |
| CN102197418A (zh) | 车辆周围监测装置 | |
| KR100617777B1 (ko) | 졸음운전 경고 장치에서 운전자의 눈 영상 검출 장치 및 방법 | |
| JPH07181012A (ja) | 画像データの特徴量検出装置 | |
| CN104008518B (zh) | 对象检测设备 | |
| JPH09282452A (ja) | 監視装置 | |
| JP2004301708A (ja) | 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム | |
| JP2803313B2 (ja) | 指紋照合装置 | |
| JP3057996B2 (ja) | 車両運転者の眼球位置検出装置 | |
| JP3036319B2 (ja) | 運転者状態監視装置 | |
| JP2007025758A (ja) | 人の顔画像抽出方法及び同装置 | |
| JP2008041017A (ja) | 監視システムおよび監視装置 | |
| JP3746916B2 (ja) | 瞬目状態検出方法 | |
| JPH11219493A (ja) | 交通情報処理方法 | |
| JPH1166490A (ja) | 車両検出方法 | |
| JP3671460B2 (ja) | ランプ点灯検出方法およびストップランプ点灯検出装置 | |
| JP2007257242A (ja) | 白線認識装置 | |
| JPH11175882A (ja) | 車番読取装置 | |
| JP2541689B2 (ja) | 眼位置検出装置及び被検者状態検出装置 | |
| US20230230344A1 (en) | Signal color determination device and signal color determination method | |
| JP2001126183A (ja) | 交通流検出装置 | |
| JPH0933217A (ja) | 車両運転者の眼球位置検出装置 | |
| EP3611655A1 (en) | Object detection based on analysis of a sequence of images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000321 |