JP4793269B2 - 眠気検知装置 - Google Patents
眠気検知装置 Download PDFInfo
- Publication number
- JP4793269B2 JP4793269B2 JP2007001410A JP2007001410A JP4793269B2 JP 4793269 B2 JP4793269 B2 JP 4793269B2 JP 2007001410 A JP2007001410 A JP 2007001410A JP 2007001410 A JP2007001410 A JP 2007001410A JP 4793269 B2 JP4793269 B2 JP 4793269B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- detection device
- drowsiness detection
- drowsiness
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 206010041349 Somnolence Diseases 0.000 title claims description 97
- 238000001514 detection method Methods 0.000 title claims description 82
- 208000032140 Sleepiness Diseases 0.000 title description 19
- 230000037321 sleepiness Effects 0.000 title description 19
- 210000000744 eyelid Anatomy 0.000 claims description 65
- 210000001508 eye Anatomy 0.000 claims description 41
- 210000005252 bulbus oculi Anatomy 0.000 claims description 37
- 230000037007 arousal Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 claims description 3
- 238000000034 method Methods 0.000 description 33
- 206010062519 Poor quality sleep Diseases 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000004397 blinking Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Description
これらの問題を解決するために、下方視の際の運転者のまぶたの形状と、眠気が発生した際の運転者のまぶたの形状とが異なることに基づき、下方視を検知する方法についての研究が進められている。そして、この方法では、運転者のまぶたの形状を正確に認識する必要がある。
このような本発明の眠気検知装置によれば、照射手段から照射光が照射されることで、運転者の眼球内に投影された下まぶたと眼球との境界における影、即ち、運転者の下まぶたの輪郭形状がより鮮明となった状態の運転者の顔面を撮影画像として撮影することができる。
また、本発明の眠気検知装置における第二配置位置は、請求項7に記載のように、運転者が注視点へと視線を向けている時の運転者の目じり、及び下まぶたの最も低い位置を、車両の全長方向及び高さ方向を含む断面上で結んだ直線である下方軸よりも下方であることが望ましい。
図1は、本発明が適用され、車両に搭載される眠気検知装置の概略構成を示すブロック図である。なお、以下では、眠気検知装置が搭載された車両を搭載車両とする。
〈装置構成〉
眠気検知装置1は、搭載車両の運転者の顔面を含む照射領域に照射光を照射する光源13と、光源13からの照射光が照射された運転者の顔面を含む画像を撮影するカメラ12と、カメラ12で撮影された画像に基づき、運転者の眠気を検知する画像処理プロセッサ10と、画像処理プロセッサ10からの音声信号により音声を出力するスピーカ11とを備えている。
光源13は、画像処理プロセッサ10からの発光信号に従って発光する発光ダイオードを中心に構成され、予め規定された広がり角で照射光を照射するものである。
また、画像処理プロセッサ10は、各種処理を実行するためのプログラムや、データを記憶するROM10aと、データを一時的に記憶するRAM10bと、ROM10aに記憶されたプログラム等に従って処理を実行するCPU10cとを備えている。
〈眠気警告処理〉
次に、画像処理プロセッサ10のCPU10cが実行する眠気警告処理について説明する。
この眠気警告処理は、搭載搭載車両の運転が開始された時(本実施形態では、エンジンが始動された時)に起動されるものである。
具体的に、本実施形態では、S130で目の周辺領域が抽出される毎に、図7(A)に示すように、目の周辺領域中(即ち、撮影画像中)の眼球とまぶたとの輝度差に基づき、上まぶた(即ち、上まぶたの最高点(頭頂部に最も近い位置))と下まぶた(即ち、下まぶたの最下点(路面に最も近い位置))との距離(以下、この距離を目の開度とする)を算出する。そして、その算出された目の開度を、運転開始からの経過時間と共にRAM10bに記憶する。
続くS150では、S140でRAM10bに記憶された目の開度の時間変化に基づき、運転者の眠気を推定、即ち、運転者の覚醒状態を表す覚醒度を算出する。
続くS170では、S160で二値化された目の周辺領域に基づき、運転者の視線の方
向を検出する下方視検出処理を実行する。
そのS190では、先のS150にて、運転者が下方視であることにより低下した状態で算出された覚醒度を、その低下分が相殺されるように補正(以下、補正された覚醒度を補正覚醒度とする)し、S200へと進む。具体的に、本実施形態では、S150で算出された覚醒レベルを二段階上昇させる(即ち、覚醒度が高くなるように補正する)。
〈下方視検出処理〉
次に、先の眠気警告処理にて実行される下方視検出処理について説明する。
下方視検出処理は、先の眠気警告処理におけるS170で起動されると、まず、S310にて、先のS160で二値化された目の周辺領域から、運転者の下まぶたと眼球との境界における下まぶたの輪郭形状を示す近似曲線(fd)を算出する。
また、S320での判定の結果、S310で算出された近似曲線(fd)が下に凸以外(即ち、直線、もしくは上に凸)であるものと判断された場合、S340へと進み、そのS340では、運転者の視線の方向が、下方視以外の通常視(即ち、注視点へと視線を向けている場合や、搭載車両内のミラーを視認している場合等)であることを示す通常視フラグを設定し、眠気警告処理のS180へと戻る。
[実施形態の効果]
以上説明したように、運転者の下まぶたと眼球との境界により形成され、運転者の眼球内に映り込んだ影を、第一配置位置に配置されたカメラ12により撮影する本実施形態の眠気検知装置1によれば、カメラ12で撮影した撮影画像を、運転者の下まぶたと眼球との境界における輝度差、即ち、運転者の下まぶたの輪郭形状が鮮明なものとすることができる。
ここで、図4は、眠気が発生した時の目(即ち、上まぶた、及び下まぶたに囲まれた領域)の形状と、下方視の時の目(まぶた)の形状との違いを示した実験結果である。本発明の発明者らは、図4に示すように、下方視である場合には、眠気が発生した場合に比べて、下まぶたの輪郭形状が下向き(即ち、近似曲線(fd)が下に凸)になるという結果を得た。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
インストルメントパネル上であっても良い。つまり、第一配置位置は、運転者の下まぶたと眼球との境界に形成される影を撮影可能な位置であり、かつ注視軸と下方軸とに挟まれた範囲内であればどのような位置であっても良い。
また、上記実施形態におけるカメラ12は、画像処理プロセッサ10から撮像信号を受信して撮影画像を撮影していたが、撮像信号を受信することなく撮影画像を撮影しても良い。ただし、この場合、カメラ12内に撮影画像を蓄積し、その蓄積された撮影画像を画像処理プロセッサ10が取得する必要がある。
Claims (8)
- 車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、
前記撮影手段で撮影した撮影画像に基づき、前記運転者の下まぶたの輪郭形状を抽出する輪郭形状抽出手段と、
前記輪郭形状抽出手段で抽出された輪郭形状に基づき、前記車両の前方に予め設定された注視点への視線よりも下方に前記運転者が視線を向ける下方視を検知する下方視検知手段と、
前記撮影手段で撮影した撮影画像から推定される前記運転者の覚醒度に基づき、前記下方視検知手段で下方視が検知された場合、前記下方視であることによる覚醒度の低下分が相殺されるように前記覚醒度を補正し、その覚醒度に基づき前記運転者の眠気を検知する眠気検知手段と
を備えた眠気検知装置であって、
前記撮影手段は、
前記運転者の下まぶたと眼球との境界により形成され、前記運転者の眼球内に映り込んだ影を撮影可能な第一配置位置に配置されることを特徴とする眠気検知装置。 - 前記撮影手段が配置される第一配置位置は、
前記注視点への前記運転者の視線の方向である運転視線軸と、前記運転者が前記注視点へと視線を向けている時の前記運転者の目じり、及び下まぶたの最も低い位置を、前記車両の全長方向及び高さ方向を含む断面上で結んだ直線である下方軸とに挟まれた前記車両内の領域である規定領域内に位置することを特徴とする請求項1に記載の眠気検知装置。 - 前記撮影手段が配置される第一配置位置は、
前記車両のインストルメントパネル、もしくはメータの内部であることを特徴とする請求項1または請求項2に記載の眠気検知装置。 - 前記運転者の顔面に向けて照射光を照射する照射手段を備え、
前記照射手段は、
前記照射光を照射することで、前記運転者の下まぶたと眼球との境界により形成される影が前記眼球内に投影されるような第二配置位置に配置されることを特徴とする請求項1ないし請求項3に記載の眠気検知装置。 - 前記照射手段が配置される第二配置位置は、前記撮影手段が配置される第一配置位置よりも下方であることを特徴とする請求項4に記載の眠気検知装置。
- 前記運転者の顔面に向けて照射光を照射する照射手段と、
前記運転者の顔面で反射された光に基づき、前記運転者の下まぶたの輪郭形状を抽出する輪郭形状抽出手段と、
前記輪郭形状抽出手段で抽出された輪郭形状に基づき、前記車両の前方に予め設定された注視点への視線よりも下方に前記運転者が視線を向ける下方視を検知する下方視検知手段と、
前記撮影手段で撮影した撮影画像から推定される前記運転者の覚醒度に基づき、前記下方視検知手段で下方視が検知された場合、前記下方視であることによる覚醒度の低下分が相殺されるように前記覚醒度を補正し、その覚醒度に基づき前記運転者の眠気を検知する眠気検知手段と
を備えた眠気検知装置であって、
前記照射手段は、
前記照射光を照射することで、前記運転者の下まぶたと眼球との境界に形成される影が前記眼球内に投影されるような第二配置位置に配置されることを特徴とする眠気検知装置
。 - 前記照射手段が配置される第二配置位置は、
前記運転者が前記注視点へと視線を向けている時の前記運転者の目じり、及び下まぶたの最も低い位置を、前記車両の全長方向及び高さ方向を含む断面上で結んだ直線である下方軸よりも下方であることを特徴とする請求項4ないし請求項6のいずれかに記載の眠気検知装置。 - 前記照射手段が配置される第二配置位置は、
前記車両に備えられたステアリングホイールにおけるステアリングコラムの延長線上であることを特徴とする請求項4ないし請求項7のいずれかに記載の眠気検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007001410A JP4793269B2 (ja) | 2007-01-09 | 2007-01-09 | 眠気検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007001410A JP4793269B2 (ja) | 2007-01-09 | 2007-01-09 | 眠気検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008167806A JP2008167806A (ja) | 2008-07-24 |
JP4793269B2 true JP4793269B2 (ja) | 2011-10-12 |
Family
ID=39696466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007001410A Expired - Fee Related JP4793269B2 (ja) | 2007-01-09 | 2007-01-09 | 眠気検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4793269B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5493593B2 (ja) * | 2009-08-26 | 2014-05-14 | アイシン精機株式会社 | 眠気検出装置、眠気検出方法、及びプログラム |
JP5644414B2 (ja) * | 2010-11-22 | 2014-12-24 | アイシン精機株式会社 | 覚醒度判定装置、覚醒度判定方法及びプログラム |
EP2701122B1 (en) | 2011-04-19 | 2020-02-26 | Aisin Seiki Kabushiki Kaisha | Eyelid detection device, eyelid detection method, and program |
JP5573820B2 (ja) * | 2011-11-10 | 2014-08-20 | 株式会社デンソー | 状態監視装置 |
WO2013183144A1 (ja) * | 2012-06-07 | 2013-12-12 | パイオニア株式会社 | 乗り物用発光装置 |
JP6047318B2 (ja) | 2012-07-06 | 2016-12-21 | 矢崎総業株式会社 | ドライバ状態検出装置及びドライバ状態報知装置 |
CN105701445A (zh) * | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
JP6572538B2 (ja) * | 2014-12-15 | 2019-09-11 | アイシン精機株式会社 | 下方視判定装置および下方視判定方法 |
DE102015211444A1 (de) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite |
US9786189B2 (en) * | 2016-01-25 | 2017-10-10 | Sikorsky Aircraft Corp. | Aircraft control systems |
JP6825903B2 (ja) | 2016-12-27 | 2021-02-03 | 矢崎総業株式会社 | ドライバー撮像装置 |
JP2019104450A (ja) | 2017-12-14 | 2019-06-27 | 矢崎総業株式会社 | 車載撮影装置、及び車載撮影方法 |
WO2020174601A1 (ja) * | 2019-02-27 | 2020-09-03 | 三菱電機株式会社 | 覚醒度推定装置、自動運転支援装置および覚醒度推定方法 |
-
2007
- 2007-01-09 JP JP2007001410A patent/JP4793269B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008167806A (ja) | 2008-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4793269B2 (ja) | 眠気検知装置 | |
JP4840146B2 (ja) | 眠気検知装置 | |
WO2016038784A1 (ja) | ドライバ状態判定装置 | |
JP5761074B2 (ja) | 撮像制御装置及びプログラム | |
US8538044B2 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
JP4888838B2 (ja) | 運転者撮像装置および運転者撮像方法 | |
JP5109922B2 (ja) | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム | |
JP2008186263A (ja) | 覚醒度算出装置 | |
WO2013157466A1 (ja) | 喫煙検出装置、方法及びプログラム | |
JP6651911B2 (ja) | 顔画像処理装置 | |
JP7240910B2 (ja) | 乗員観察装置 | |
JP2008246013A (ja) | 眠気検知装置 | |
JP2009219555A (ja) | 眠気検知装置、運転支援装置、眠気検知方法 | |
WO2018051681A1 (ja) | 視線計測装置 | |
JP4623172B2 (ja) | 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法 | |
JP4313717B2 (ja) | 視線検出装置 | |
JP6747493B2 (ja) | ドライバ状態判定装置 | |
JP2007004448A (ja) | 視線検出装置 | |
JP2009125518A (ja) | ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置 | |
JP2019028640A (ja) | 視線検出装置 | |
JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
JP4623171B2 (ja) | 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法 | |
JP2010026657A (ja) | 運転者状態検出装置 | |
JP2022100538A (ja) | 生体情報取得装置 | |
JP2008065705A (ja) | 居眠り検知装置、居眠り検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110628 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110711 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4793269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |