JP3480483B2 - 覚醒度推定装置 - Google Patents
覚醒度推定装置Info
- Publication number
- JP3480483B2 JP3480483B2 JP08144197A JP8144197A JP3480483B2 JP 3480483 B2 JP3480483 B2 JP 3480483B2 JP 08144197 A JP08144197 A JP 08144197A JP 8144197 A JP8144197 A JP 8144197A JP 3480483 B2 JP3480483 B2 JP 3480483B2
- Authority
- JP
- Japan
- Prior art keywords
- blink
- time
- driver
- long
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は運転者の瞬きの時間
に着目して該運転者の覚醒度、ひいては覚醒度低下を簡
易にして確実に検出して警告を発し、運転注意力を喚起
するに好適な覚醒度推定装置に関する。
に着目して該運転者の覚醒度、ひいては覚醒度低下を簡
易にして確実に検出して警告を発し、運転注意力を喚起
するに好適な覚醒度推定装置に関する。
【０００２】
【関連する背景技術】近時、種々の情報に基づいて運転
者の覚醒度を推定し、覚醒度の低下が検出されたときに
警報を発する等して運転注意力を喚起するシステムが種
々開発されている。この種の覚醒度を推定する手法の１
つに、運転者の瞬きを評価の指標としたものがあり、例
えば特開昭６１−１７５１２９号公報には単位時間当た
りの瞬き回数を計数して覚醒度の低下を判定する手法が
開示されている。しかし単位時間当たりの瞬き回数を覚
醒度評価の指標とした場合、瞬きの個人差に起因する誤
差が生じ易く、その推定精度を高めることができないと
言う問題があった。
者の覚醒度を推定し、覚醒度の低下が検出されたときに
警報を発する等して運転注意力を喚起するシステムが種
々開発されている。この種の覚醒度を推定する手法の１
つに、運転者の瞬きを評価の指標としたものがあり、例
えば特開昭６１−１７５１２９号公報には単位時間当た
りの瞬き回数を計数して覚醒度の低下を判定する手法が
開示されている。しかし単位時間当たりの瞬き回数を覚
醒度評価の指標とした場合、瞬きの個人差に起因する誤
差が生じ易く、その推定精度を高めることができないと
言う問題があった。
【０００３】そこで本出願人は、先に特願平８−９１３
２４号にて出願し、また社団法人自動車技術会発行の学
術講演会前刷集９６１（1996-5）において論文［５２．
自動車運転時の覚醒度評価手法（9632415）］として発
表したように、運転者の瞬き時間に着目して、覚醒度の
低下を推定する手法を提唱した。この瞬き時間に着目し
た覚醒度の推定手法は、瞬き時間の頻度分布に基づい
て、標準的な瞬きの分布時間幅とその分布幅の中心時間
とから長い瞬きを判定する為の閾値（瞬き時間）を設定
し、所定の期間内における瞬きの総数と上記閾値を越え
る長い瞬きの発生回数との比率を求め、この比率を評価
することで覚醒度の低下を判定するものである。
２４号にて出願し、また社団法人自動車技術会発行の学
術講演会前刷集９６１（1996-5）において論文［５２．
自動車運転時の覚醒度評価手法（9632415）］として発
表したように、運転者の瞬き時間に着目して、覚醒度の
低下を推定する手法を提唱した。この瞬き時間に着目し
た覚醒度の推定手法は、瞬き時間の頻度分布に基づい
て、標準的な瞬きの分布時間幅とその分布幅の中心時間
とから長い瞬きを判定する為の閾値（瞬き時間）を設定
し、所定の期間内における瞬きの総数と上記閾値を越え
る長い瞬きの発生回数との比率を求め、この比率を評価
することで覚醒度の低下を判定するものである。
【０００４】このような手法によれば、瞬き時間や瞬き
の頻度等の個人差を吸収して、その覚醒度を精度良く評
価することができると言う利点がある。
の頻度等の個人差を吸収して、その覚醒度を精度良く評
価することができると言う利点がある。
【０００５】
【発明が解決しようとする課題】しかしながら瞬き時間
の頻度分布を求め、その頻度分布に従って長い瞬きに対
する判定閾値を設定して上述した如く覚醒度を推定する
に際しては、仮え同一人であると雖も、体調や周囲環境
等によって瞬きの頻度等が変化するので、その推定精度
を高めるには或る程度の長い期間に亘って瞬きの情報を
収集する必要がある。しかも収集した瞬きの情報からそ
の頻度分布を求め、これを解析する上での処理負担が大
きいことが否めない。この為、より簡単に、しかも高精
度に覚醒度を推定することができ、自動車に搭載するシ
ステム（覚醒度推定装置）の簡素化を図ることが強く望
まれている。
の頻度分布を求め、その頻度分布に従って長い瞬きに対
する判定閾値を設定して上述した如く覚醒度を推定する
に際しては、仮え同一人であると雖も、体調や周囲環境
等によって瞬きの頻度等が変化するので、その推定精度
を高めるには或る程度の長い期間に亘って瞬きの情報を
収集する必要がある。しかも収集した瞬きの情報からそ
の頻度分布を求め、これを解析する上での処理負担が大
きいことが否めない。この為、より簡単に、しかも高精
度に覚醒度を推定することができ、自動車に搭載するシ
ステム（覚醒度推定装置）の簡素化を図ることが強く望
まれている。
【０００６】本発明はこのような事情を考慮してなされ
たもので、その目的は、簡易にして効率良く、しかも確
実に覚醒度の低下を検出して運転注意力を喚起すること
ができ、しかもシステム構成の簡素化を図ることのでき
る覚醒度推定装置を提供することにある。
たもので、その目的は、簡易にして効率良く、しかも確
実に覚醒度の低下を検出して運転注意力を喚起すること
ができ、しかもシステム構成の簡素化を図ることのでき
る覚醒度推定装置を提供することにある。
【０００７】
【課題を解決するための手段】上述した目的を達成する
べく本発明に係る覚醒度推定装置は、例えばカメラによ
って撮像される運転者の顔面画像から該運転者の瞬きの
時間（瞬目持続時間；ｔ）を検出する瞬き時間検出手段
と、運転者の覚醒時に検出される上記瞬き時間［ｔ］に
基づいて該運転者に固有な瞬きの基準時間［Ｔo］を求
める基準時間算出手段と、この基準時間［Ｔo］を所定
の割合［ｒ％］だけ増大させて長い瞬きを評価するため
の瞬き評価時間［Ｔs］を設定する評価時間設定手段
と、設定された瞬き評価時間［Ｔs］に従って前記瞬き
時間［ｔ］から長い瞬きを検出する長い瞬き検出手段
と、所定の時間内における瞬きの総数［Ｎtotal］と長
い瞬きの回数［Ｎlong］とから長い瞬きの生起比率［Ｌ
rate］を求める生起比率算出手段と、上記長い瞬きの生
起比率［Ｌrate］に基づいて運転者の覚醒度［Ｙ1］を
評価する生起比率覚醒度判定手段とを具備したことを特
徴としている。
べく本発明に係る覚醒度推定装置は、例えばカメラによ
って撮像される運転者の顔面画像から該運転者の瞬きの
時間（瞬目持続時間；ｔ）を検出する瞬き時間検出手段
と、運転者の覚醒時に検出される上記瞬き時間［ｔ］に
基づいて該運転者に固有な瞬きの基準時間［Ｔo］を求
める基準時間算出手段と、この基準時間［Ｔo］を所定
の割合［ｒ％］だけ増大させて長い瞬きを評価するため
の瞬き評価時間［Ｔs］を設定する評価時間設定手段
と、設定された瞬き評価時間［Ｔs］に従って前記瞬き
時間［ｔ］から長い瞬きを検出する長い瞬き検出手段
と、所定の時間内における瞬きの総数［Ｎtotal］と長
い瞬きの回数［Ｎlong］とから長い瞬きの生起比率［Ｌ
rate］を求める生起比率算出手段と、上記長い瞬きの生
起比率［Ｌrate］に基づいて運転者の覚醒度［Ｙ1］を
評価する生起比率覚醒度判定手段とを具備したことを特
徴としている。
【０００８】特に生起比率覚醒度判定手段においては、
覚醒度［Ｙ1］と長い瞬きの生起比率［Ｌrate］との関
係を示す眠気予測モデルを回帰分析して求められる次の
予測式 Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate （Ａ1,Ｂ1は予測係数） に基づいて眠気予測値［Ｙ1］を算出し、この眠気予測
値を所定の閾値で弁別して覚醒度を評価することを特徴
としている。
覚醒度［Ｙ1］と長い瞬きの生起比率［Ｌrate］との関
係を示す眠気予測モデルを回帰分析して求められる次の
予測式 Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate （Ａ1,Ｂ1は予測係数） に基づいて眠気予測値［Ｙ1］を算出し、この眠気予測
値を所定の閾値で弁別して覚醒度を評価することを特徴
としている。
【０００９】また本発明に係る覚醒度推定装置は、上述
した構成に加えて、更に所定の時間内における前記瞬き
時間の平均［ＢＬdur］を求める瞬き平均時間算出手段
と、この瞬きの平均時間［ＢＬdur］に基づいて運転者
の覚醒度［Ｙ2］を評価する平均時間覚醒度判定手段
と、この平均時間覚醒度判定手段および前記生起比率覚
醒度判定手段の各判定結果を総合判定して前記運転者の
覚醒度低下を検出する覚醒度低下検出手段とを具備した
ことを特徴としている。
した構成に加えて、更に所定の時間内における前記瞬き
時間の平均［ＢＬdur］を求める瞬き平均時間算出手段
と、この瞬きの平均時間［ＢＬdur］に基づいて運転者
の覚醒度［Ｙ2］を評価する平均時間覚醒度判定手段
と、この平均時間覚醒度判定手段および前記生起比率覚
醒度判定手段の各判定結果を総合判定して前記運転者の
覚醒度低下を検出する覚醒度低下検出手段とを具備した
ことを特徴としている。
【００１０】特に平均時間覚醒度判定手段においては、
眠気予測モデルを用いた回帰分析により求められる覚醒
度と瞬き時間の平均［ＢＬdur］との関係を示す予測式 Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur （Ａ2,Ｂ2は予測係数） に基づいて眠気予測値［Ｙ2］を算出し、この眠気予測
値を所定の閾値で弁別して覚醒度を評価するようにし、
覚醒度低下検出手段においては、上記眠気予測値［Ｙ
1］,［Ｙ2］を総合的に評価することで運転者の覚醒度
低下を精度良く（信頼性良く）推定するようにしたこと
を特徴としている。
眠気予測モデルを用いた回帰分析により求められる覚醒
度と瞬き時間の平均［ＢＬdur］との関係を示す予測式 Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur （Ａ2,Ｂ2は予測係数） に基づいて眠気予測値［Ｙ2］を算出し、この眠気予測
値を所定の閾値で弁別して覚醒度を評価するようにし、
覚醒度低下検出手段においては、上記眠気予測値［Ｙ
1］,［Ｙ2］を総合的に評価することで運転者の覚醒度
低下を精度良く（信頼性良く）推定するようにしたこと
を特徴としている。
【００１１】
【発明の実施の形態】以下、図面を参照して本発明に係
る覚醒度推定装置の一実施形態について説明する。図１
は車両１に搭載される実施例装置の構成を概念的に示す
もので、図中２は運転者Ｄの顔面、特に目の領域を撮像
するＴＶカメラである。また図中３は種々の情報を画像
として表示して運転者Ｄに提示するディスプレイ（多重
情報表示装置）、４は音声メッセージや警報音等を出力
するスピーカである。これらのＴＶカメラ２，ディスプ
レイ３，スピーカ４は、例えば運転席前方のインストル
メントパネルに組み込まれる。
る覚醒度推定装置の一実施形態について説明する。図１
は車両１に搭載される実施例装置の構成を概念的に示す
もので、図中２は運転者Ｄの顔面、特に目の領域を撮像
するＴＶカメラである。また図中３は種々の情報を画像
として表示して運転者Ｄに提示するディスプレイ（多重
情報表示装置）、４は音声メッセージや警報音等を出力
するスピーカである。これらのＴＶカメラ２，ディスプ
レイ３，スピーカ４は、例えば運転席前方のインストル
メントパネルに組み込まれる。
【００１２】この実施例に係る覚醒度推定装置は、ＴＶ
カメラ２により撮像される運転者の顔面画像から該運転
者の瞬きを検出して運転者の覚醒度を推定し、覚醒度の
低下時に前記ディスプレイ３を介してメッセージを表示
し、またスピーカ４から警報を発して運転注意力の喚起
を促す役割を担う。この装置は、例えばマイクロプロセ
ッサを主体とする電子制御ユニット（ＥＣＵ）により実
現され、概略的には図２に示すように構成される。
カメラ２により撮像される運転者の顔面画像から該運転
者の瞬きを検出して運転者の覚醒度を推定し、覚醒度の
低下時に前記ディスプレイ３を介してメッセージを表示
し、またスピーカ４から警報を発して運転注意力の喚起
を促す役割を担う。この装置は、例えばマイクロプロセ
ッサを主体とする電子制御ユニット（ＥＣＵ）により実
現され、概略的には図２に示すように構成される。
【００１３】即ち、実施例装置は図２にその機能的なブ
ロック構成を示すように、ＴＶカメラ２にて撮像入力さ
れる運転者の顔面画像を画像処理部１０にて認識処理
し、例えば所定の周期で目の領域の部分画像を抽出して
いる。瞬き検出部１１は上記画像の経時的変化から、特
に瞼の開閉を検出することで瞬きを検出している。瞬き
時間計算部１２は、上記瞬き検出部１１にて瞬きが検出
される都度、その閉眼開始から終了までの閉眼時間で示
される瞬きの時間（瞬目時間）［ｔ］を計測している
（瞬き時間検出手段）。このような瞬き時間の検出処理
は、タイマ１３の管理の下で、所定の期間に亘って繰り
返し実行される。
ロック構成を示すように、ＴＶカメラ２にて撮像入力さ
れる運転者の顔面画像を画像処理部１０にて認識処理
し、例えば所定の周期で目の領域の部分画像を抽出して
いる。瞬き検出部１１は上記画像の経時的変化から、特
に瞼の開閉を検出することで瞬きを検出している。瞬き
時間計算部１２は、上記瞬き検出部１１にて瞬きが検出
される都度、その閉眼開始から終了までの閉眼時間で示
される瞬きの時間（瞬目時間）［ｔ］を計測している
（瞬き時間検出手段）。このような瞬き時間の検出処理
は、タイマ１３の管理の下で、所定の期間に亘って繰り
返し実行される。
【００１４】瞬き基準時間計算部１４は、例えば運転開
始初期時のように「運転を開始する（開始した）」と言
う意識が強く働いており、運転者Ｄが十分に覚醒状態に
あると看做し得るときに、前記瞬き時間検出手段（瞬き
時間計算部１２）により所定の期間に亘って求められる
瞬き時間［ｔ］に基づいて、その運転者Ｄに固有な覚醒
時における瞬きの基準時間［Ｔo］を求めている（基準
時間算出手段）。この基準時間［Ｔo］は、前記所定の
期間、例えば運転開始時の５分間における瞬き時間
［ｔ］の平均値等として算出される。
始初期時のように「運転を開始する（開始した）」と言
う意識が強く働いており、運転者Ｄが十分に覚醒状態に
あると看做し得るときに、前記瞬き時間検出手段（瞬き
時間計算部１２）により所定の期間に亘って求められる
瞬き時間［ｔ］に基づいて、その運転者Ｄに固有な覚醒
時における瞬きの基準時間［Ｔo］を求めている（基準
時間算出手段）。この基準時間［Ｔo］は、前記所定の
期間、例えば運転開始時の５分間における瞬き時間
［ｔ］の平均値等として算出される。
【００１５】長い瞬きの時間設定部１５は、運転者Ｄの
瞬きの中から、特に覚醒度の低下に伴う長い瞬きを検出
する為の瞬き評価時間［Ｔs］を設定するもので、前記
基準時間［Ｔo］を所定の割合［ｒ(％)］だけ増大させ
ることで、 Ｔs ＝ Ｔo ＋ Ｔo・ｒ／１００ として上記評価時間［Ｔs］を定めている（評価時間設
定手段）。上記割合は、例えば５％,１０％,１５％,２
０％として与えられるもので、実際には後述するシミュ
レーション実験結果等に基づいて１０％等に選択設定さ
れる。即ち、この長い瞬きの時間設定部１５では、覚醒
度が低下すると、一般的には時間の長い瞬きが発生し易
くなることに鑑み、この長い瞬きを覚醒度低下の判定指
標として用いるべく、長い瞬きを検出するための瞬き評
価時間［Ｔs］を設定している。
瞬きの中から、特に覚醒度の低下に伴う長い瞬きを検出
する為の瞬き評価時間［Ｔs］を設定するもので、前記
基準時間［Ｔo］を所定の割合［ｒ(％)］だけ増大させ
ることで、 Ｔs ＝ Ｔo ＋ Ｔo・ｒ／１００ として上記評価時間［Ｔs］を定めている（評価時間設
定手段）。上記割合は、例えば５％,１０％,１５％,２
０％として与えられるもので、実際には後述するシミュ
レーション実験結果等に基づいて１０％等に選択設定さ
れる。即ち、この長い瞬きの時間設定部１５では、覚醒
度が低下すると、一般的には時間の長い瞬きが発生し易
くなることに鑑み、この長い瞬きを覚醒度低下の判定指
標として用いるべく、長い瞬きを検出するための瞬き評
価時間［Ｔs］を設定している。
【００１６】長い瞬き検出部１６は、上述した如く設定
された瞬き評価時間［Ｔs］に従って、前記瞬き時間検
出手段によって順次検出される運転者Ｄの瞬きの時間
［ｔ］から、上記瞬き評価時間［Ｔs］を越える瞬きを
長い瞬きとして検出している。そして長い瞬き生起比率
計算部１７では、例えば前記長い瞬き検出部１６にて評
価された瞬きの全回数［Ｎtotal］と、該長い瞬き検出
部１６による検出結果として求められる長い瞬きの数
［Ｎlong］とをそれぞれ計数している。そして所定の期
間における上記瞬きの総数［Ｎtotal］と、その瞬きの
中の長い瞬きの回数［Ｎlong］とから、長い瞬きの生起
比率［Ｌrate(％)］を Ｌrate ＝ １００・Ｎlong ／ Ｎtotal として求めている。
された瞬き評価時間［Ｔs］に従って、前記瞬き時間検
出手段によって順次検出される運転者Ｄの瞬きの時間
［ｔ］から、上記瞬き評価時間［Ｔs］を越える瞬きを
長い瞬きとして検出している。そして長い瞬き生起比率
計算部１７では、例えば前記長い瞬き検出部１６にて評
価された瞬きの全回数［Ｎtotal］と、該長い瞬き検出
部１６による検出結果として求められる長い瞬きの数
［Ｎlong］とをそれぞれ計数している。そして所定の期
間における上記瞬きの総数［Ｎtotal］と、その瞬きの
中の長い瞬きの回数［Ｎlong］とから、長い瞬きの生起
比率［Ｌrate(％)］を Ｌrate ＝ １００・Ｎlong ／ Ｎtotal として求めている。
【００１７】尚、長い瞬きの数［Ｎlong］と、それ以外
の標準的な瞬きの回数［Ｎnormal］とをそれぞれ計数
し、 Ｌrate ＝ １００・Ｎlong ／（Ｎlong ＋ Ｎnormal） として長い瞬きの生起比率［Ｌrate］を求めるようにし
ても良いことは言うまでもない。
の標準的な瞬きの回数［Ｎnormal］とをそれぞれ計数
し、 Ｌrate ＝ １００・Ｎlong ／（Ｎlong ＋ Ｎnormal） として長い瞬きの生起比率［Ｌrate］を求めるようにし
ても良いことは言うまでもない。
【００１８】さて生起比率覚醒度判定部１８は、後述す
るように眠気予測モデルを用いた回帰分析により求めら
れる、覚醒度と上記長い瞬きの生起比率［Ｌrate(％)］
との関係を示す予測式 Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate （Ａ1,Ｂ1は予測係数） に基づいて眠気予測値［Ｙ1］を算出するものである。
上記予測係数Ａ1,Ｂ1は、例えば覚醒度のレベルを次の
ように５段階に定義し、種々のシミュレーション実験結
果に基づいて前述した瞬き評価時間［Ｔs］を設定する
上での増大割合［ｒ％］を、後述するように１０％とし
た場合、例えば Ａ1 ＝ １.２３８ , Ｂ1 ＝ ０.０４６ として与えられる。つまり前記予測式は、 Ｙ1 ＝ [１.２３８] ＋ [０.０４６] Ｌrate として与えられ、運転者Ｄの瞬き中における長い瞬きの
生起比率［Ｌrate(％)］を前述した如く算出して上記予
測式を演算することで眠気予測値［Ｙ1］が求められ
る。
るように眠気予測モデルを用いた回帰分析により求めら
れる、覚醒度と上記長い瞬きの生起比率［Ｌrate(％)］
との関係を示す予測式 Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate （Ａ1,Ｂ1は予測係数） に基づいて眠気予測値［Ｙ1］を算出するものである。
上記予測係数Ａ1,Ｂ1は、例えば覚醒度のレベルを次の
ように５段階に定義し、種々のシミュレーション実験結
果に基づいて前述した瞬き評価時間［Ｔs］を設定する
上での増大割合［ｒ％］を、後述するように１０％とし
た場合、例えば Ａ1 ＝ １.２３８ , Ｂ1 ＝ ０.０４６ として与えられる。つまり前記予測式は、 Ｙ1 ＝ [１.２３８] ＋ [０.０４６] Ｌrate として与えられ、運転者Ｄの瞬き中における長い瞬きの
生起比率［Ｌrate(％)］を前述した如く算出して上記予
測式を演算することで眠気予測値［Ｙ1］が求められ
る。
【００１９】尚、上記覚醒度の５段階レベルは、例えば
レベル１…全く眠くなさそう（視線の動きが早く頻繁で
ある。瞬きが安定し、動きが活発。） レベル２…やや眠そう（視線の動きが遅い。唇が開
く。） レベル３…眠そう（瞬きがゆっくりで頻繁。口の動きが
ある。） レベル４…かなり眠そう（意識的な瞬きがあり、瞬きも
視線の動きも遅い。） レベル５…非常に眠そう（瞼を閉じる。頭が前後に傾
く。） として設定される。従って眠気予測値［Ｙ1］が、例え
ば［３］を越えるような場合、以下に示すように覚醒度
が低く、眠そうであると推定（判定）される。
ある。瞬きが安定し、動きが活発。） レベル２…やや眠そう（視線の動きが遅い。唇が開
く。） レベル３…眠そう（瞬きがゆっくりで頻繁。口の動きが
ある。） レベル４…かなり眠そう（意識的な瞬きがあり、瞬きも
視線の動きも遅い。） レベル５…非常に眠そう（瞼を閉じる。頭が前後に傾
く。） として設定される。従って眠気予測値［Ｙ1］が、例え
ば［３］を越えるような場合、以下に示すように覚醒度
が低く、眠そうであると推定（判定）される。
【００２０】しかして前記生起比率覚醒度判定部１８に
て、長い瞬きの生起比率［Ｌrate］に基づいて求められ
た眠気予測値［Ｙ1］は、覚醒度低下判定部１９に与え
られて覚醒度低下の判定に供される。そしてこの覚醒度
低下判定部１９にて覚醒度の低下が検出された場合、前
述したディスプレイ３やスピーカ４を用いた警告が発せ
られ、運転者Ｄに対して運転注意力の喚起が行われるこ
とになる。
て、長い瞬きの生起比率［Ｌrate］に基づいて求められ
た眠気予測値［Ｙ1］は、覚醒度低下判定部１９に与え
られて覚醒度低下の判定に供される。そしてこの覚醒度
低下判定部１９にて覚醒度の低下が検出された場合、前
述したディスプレイ３やスピーカ４を用いた警告が発せ
られ、運転者Ｄに対して運転注意力の喚起が行われるこ
とになる。
【００２１】一方、瞬き平均時間計算部２１は、前記瞬
き時間検出手段によって順次検出される運転者Ｄの瞬き
時間［ｔ］に基づき、所定期間における上記瞬き時間
［ｔ］の平均値、つまり平均瞬き時間［ＢＬdur］を求
めている。尚、この瞬き平均時間計算部２１は、前記瞬
き基準時間計算部１４と実質的に同じ演算を実行するも
のであるから、瞬き基準時間計算部１４が持つ機能とし
て実現することも可能である。
き時間検出手段によって順次検出される運転者Ｄの瞬き
時間［ｔ］に基づき、所定期間における上記瞬き時間
［ｔ］の平均値、つまり平均瞬き時間［ＢＬdur］を求
めている。尚、この瞬き平均時間計算部２１は、前記瞬
き基準時間計算部１４と実質的に同じ演算を実行するも
のであるから、瞬き基準時間計算部１４が持つ機能とし
て実現することも可能である。
【００２２】しかして瞬き平均時間計算部２１にて求め
られた平均瞬き時間［ＢＬdur］を入力する平均時間覚
醒度判定部２２は、後述するように眠気予測モデルを用
いた回帰分析により求められる、覚醒度と平均瞬き時間
［ＢＬdur(sec／回)］との関係を示す予測式 Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur （Ａ２,Ｂ２は予測係数） に基づいて眠気予測値［Ｙ２］を算出している。上記予
測係数Ａ2,Ｂ2は、例えば覚醒度のレベルが前述した５
段階に定義されているとき、種々のシミュレーション実
験結果に基づいて、例えば Ａ2 ＝ −１.３７８ , Ｂ2 ＝ ０.０２９ として与えられる。
られた平均瞬き時間［ＢＬdur］を入力する平均時間覚
醒度判定部２２は、後述するように眠気予測モデルを用
いた回帰分析により求められる、覚醒度と平均瞬き時間
［ＢＬdur(sec／回)］との関係を示す予測式 Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur （Ａ２,Ｂ２は予測係数） に基づいて眠気予測値［Ｙ２］を算出している。上記予
測係数Ａ2,Ｂ2は、例えば覚醒度のレベルが前述した５
段階に定義されているとき、種々のシミュレーション実
験結果に基づいて、例えば Ａ2 ＝ −１.３７８ , Ｂ2 ＝ ０.０２９ として与えられる。
【００２３】このようにして平均時間覚醒度判定部２２
にて平均瞬き時間［ＢＬdur］に基づいて求められた眠
気予測値［Ｙ2］もまた、前記覚醒度低下判定部１９に
与えられて覚醒度低下の判定に供される。そしてこの覚
醒度低下判定部１９にて覚醒度の低下が検出された場
合、前述したディスプレイ３やスピーカ４を用いた警告
が発せられ、運転者Ｄに対して運転注意力の喚起が行わ
れることになる。
にて平均瞬き時間［ＢＬdur］に基づいて求められた眠
気予測値［Ｙ2］もまた、前記覚醒度低下判定部１９に
与えられて覚醒度低下の判定に供される。そしてこの覚
醒度低下判定部１９にて覚醒度の低下が検出された場
合、前述したディスプレイ３やスピーカ４を用いた警告
が発せられ、運転者Ｄに対して運転注意力の喚起が行わ
れることになる。
【００２４】特にこの覚醒度低下判定部１９では、前述
した長い瞬きの生起比率［Ｌrate］に基づいて求められ
た眠気予測値［Ｙ1］と、瞬き時間の平均値［ＢＬdur］
に基づいて求められた眠気予測値［Ｙ2］とを後述する
ように総合判定することで運転者Ｄの覚醒度の低下を検
出し、その検出結果に基づいて警告を発するものとなっ
ている。
した長い瞬きの生起比率［Ｌrate］に基づいて求められ
た眠気予測値［Ｙ1］と、瞬き時間の平均値［ＢＬdur］
に基づいて求められた眠気予測値［Ｙ2］とを後述する
ように総合判定することで運転者Ｄの覚醒度の低下を検
出し、その検出結果に基づいて警告を発するものとなっ
ている。
【００２５】尚、上述した機能ブロックに示される覚醒
度低下の判定処理は、実際的にはマイクロプロセッサの
下で、図３に示す制御ルーチンに従って実行される。即
ち、運転開始初期時に、例えば５分間に亘って瞬きの時
間［ｔ］を計測し（ステップＳ１,Ｓ２,Ｓ３）、その瞬
き時間の平均を基準時間［Ｔo］として算出する（ステ
ップＳ４）。しかる後、１単位の計測対象期間を５分間
として、その後の瞬きの時間［ｔ］を計測する（ステッ
プＳ５,Ｓ６）。
度低下の判定処理は、実際的にはマイクロプロセッサの
下で、図３に示す制御ルーチンに従って実行される。即
ち、運転開始初期時に、例えば５分間に亘って瞬きの時
間［ｔ］を計測し（ステップＳ１,Ｓ２,Ｓ３）、その瞬
き時間の平均を基準時間［Ｔo］として算出する（ステ
ップＳ４）。しかる後、１単位の計測対象期間を５分間
として、その後の瞬きの時間［ｔ］を計測する（ステッ
プＳ５,Ｓ６）。
【００２６】その後、上述した如く５分間ずつ検出され
る瞬き時間［ｔ］に従って、前記基準時間［Ｔo］を１
０％長くして設定した瞬き評価時間［Ｔs］の下で検出
される長い瞬き［Long10］の生起比率［Ｌrate］を計算
し（ステップＳ８）、更にそのときの平均瞬き時間［Ｂ
Ｌdur］を計算する（ステップＳ９）。そして生起比率
［Ｌrate］と平均瞬き時間［ＢＬdur］とが得られたな
らば、次に前述した予測式に従って眠気予測値［Ｙ1］,
［Ｙ2］とをそれぞれ計算し（ステップＳ１０,Ｓ１
１）、例えばこれによって求められる眠気予測値（覚醒
度）をディスプレイ３に表示する（ステップＳ１２）。
この眠気予測値（覚醒度）のディスプレイ表示は、例え
ば前述した如く５段階に設定したレベルに従って、その
覚醒度を棒グラフ表示したり、更にはその情報の表示色
を変更する等して行われる。
る瞬き時間［ｔ］に従って、前記基準時間［Ｔo］を１
０％長くして設定した瞬き評価時間［Ｔs］の下で検出
される長い瞬き［Long10］の生起比率［Ｌrate］を計算
し（ステップＳ８）、更にそのときの平均瞬き時間［Ｂ
Ｌdur］を計算する（ステップＳ９）。そして生起比率
［Ｌrate］と平均瞬き時間［ＢＬdur］とが得られたな
らば、次に前述した予測式に従って眠気予測値［Ｙ1］,
［Ｙ2］とをそれぞれ計算し（ステップＳ１０,Ｓ１
１）、例えばこれによって求められる眠気予測値（覚醒
度）をディスプレイ３に表示する（ステップＳ１２）。
この眠気予測値（覚醒度）のディスプレイ表示は、例え
ば前述した如く５段階に設定したレベルに従って、その
覚醒度を棒グラフ表示したり、更にはその情報の表示色
を変更する等して行われる。
【００２７】その上で、上述した如く求められた眠気予
測値［Ｙ1］,［Ｙ2］を評価し（ステップＳ１３）、例
えばそのレベル（予測値）が［３］を越える場合には、
運転者Ｄを覚醒させて運転注意力を促すべく警報を発す
る（ステップＳ１４）。また覚醒度のレベルが［３］以
下の場合には、前述したステップＳ５からの処理を繰り
返し実行することで、次の５分間における瞬きの情報に
基づく覚醒度の推定処理を再度実行する。
測値［Ｙ1］,［Ｙ2］を評価し（ステップＳ１３）、例
えばそのレベル（予測値）が［３］を越える場合には、
運転者Ｄを覚醒させて運転注意力を促すべく警報を発す
る（ステップＳ１４）。また覚醒度のレベルが［３］以
下の場合には、前述したステップＳ５からの処理を繰り
返し実行することで、次の５分間における瞬きの情報に
基づく覚醒度の推定処理を再度実行する。
【００２８】さて上述した長い瞬き［Long10］の生起比
率［Ｌrate］、および平均瞬き時間［ＢＬdur］に基づ
く眠気予測値［Ｙ1］,［Ｙ2］の算出と、その評価につ
いて今少し詳しく説明する。覚醒度の評価指標として
は、例えば脳波や心電，呼吸等の生理的指標の経時的変
化、ハンドル角によって示されるステアリング操作特性
等のパフォーマンス指標の経時的変化が用いられる。そ
こでこれらの各指標と、そのときに第三者によって客観
的に評価された運転者Ｄの眠気との関係を調べたとこ
ろ、図４に示す如きシミュレーション実験結果が得られ
た。
率［Ｌrate］、および平均瞬き時間［ＢＬdur］に基づ
く眠気予測値［Ｙ1］,［Ｙ2］の算出と、その評価につ
いて今少し詳しく説明する。覚醒度の評価指標として
は、例えば脳波や心電，呼吸等の生理的指標の経時的変
化、ハンドル角によって示されるステアリング操作特性
等のパフォーマンス指標の経時的変化が用いられる。そ
こでこれらの各指標と、そのときに第三者によって客観
的に評価された運転者Ｄの眠気との関係を調べたとこ
ろ、図４に示す如きシミュレーション実験結果が得られ
た。
【００２９】図４においてＣz(α/β)およびＰz(α/β)
は、運転者Ｄの頭頂Ｃz部位およびＰz部位において求め
られる脳波のα波とβ波のスペクトルパワー値の比率で
ある。またBlink-Noは運転者Ｄの眼球運動から求められ
る、例えば５秒間における瞬き数であり、Blink-Dur は
平均瞬き時間、またＨＲは運転者Ｄの１分間当たりの心
拍数、Resp は呼吸数である。更にSpeed は車両の走行
速度、Steer はハンドル角の平均値、Steer-SD はハン
ドル角の偏差である。またSleepiness は第三者によっ
て評価される運転者Ｄの眠気、ＭＷＳは運転者Ｄ自身に
よる眠気の主観評価である。
は、運転者Ｄの頭頂Ｃz部位およびＰz部位において求め
られる脳波のα波とβ波のスペクトルパワー値の比率で
ある。またBlink-Noは運転者Ｄの眼球運動から求められ
る、例えば５秒間における瞬き数であり、Blink-Dur は
平均瞬き時間、またＨＲは運転者Ｄの１分間当たりの心
拍数、Resp は呼吸数である。更にSpeed は車両の走行
速度、Steer はハンドル角の平均値、Steer-SD はハン
ドル角の偏差である。またSleepiness は第三者によっ
て評価される運転者Ｄの眠気、ＭＷＳは運転者Ｄ自身に
よる眠気の主観評価である。
【００３０】この図４に例示されるシミュレーション実
験結果に現れているように、運転者Ｄの眠気（Sleepine
ss）は運転時間の経過に伴って増大すること、そして眠
気が瞬きの回数（Blink-No）と瞬き時間（Blink-Dur）
との間に強い関係を持っていることが示される。つまり
時間の経過に伴って眠気が増すに従って瞬き回数が少な
くなり、また瞬き時間が増大化する傾向にある。ちなみ
に運転時間の経過に伴って前記Ｃz(α/β)，Ｐz(α/β)
も増加の傾向を示し、逆にＨＲやRespは減少の傾向を示
す。尚、時間経過に伴う運転者Ｄの眠気の増大は、一般
的には運転操作の単調さや慣れ、更には疲労に起因する
ものである。
験結果に現れているように、運転者Ｄの眠気（Sleepine
ss）は運転時間の経過に伴って増大すること、そして眠
気が瞬きの回数（Blink-No）と瞬き時間（Blink-Dur）
との間に強い関係を持っていることが示される。つまり
時間の経過に伴って眠気が増すに従って瞬き回数が少な
くなり、また瞬き時間が増大化する傾向にある。ちなみ
に運転時間の経過に伴って前記Ｃz(α/β)，Ｐz(α/β)
も増加の傾向を示し、逆にＨＲやRespは減少の傾向を示
す。尚、時間経過に伴う運転者Ｄの眠気の増大は、一般
的には運転操作の単調さや慣れ、更には疲労に起因する
ものである。
【００３１】そこで本発明では、運転者Ｄと非接触に覚
醒度（眠気変動）を評価することを目的として、特に瞬
きの時間に着目し、その予測精度を向上させ、且つ個人
差を低減するべく検討を進めた。具体的には覚醒度の低
下に伴って増加する長い瞬きに着目し、所定期間におけ
る長い瞬きの生起比率と覚醒度との関係について調べ
た。特にその前処理として長い瞬きを判定する上での瞬
き評価時間［Ｔs］を、覚醒時における平均的な瞬き時
間を基準時間［Ｔo］とし、この基準時間［Ｔo］に対す
る瞬き時間の増大割合を５％,１０％,１５％,２０％に
それぞれ設定して前記瞬き評価時間［Ｔs］を定めた。
醒度（眠気変動）を評価することを目的として、特に瞬
きの時間に着目し、その予測精度を向上させ、且つ個人
差を低減するべく検討を進めた。具体的には覚醒度の低
下に伴って増加する長い瞬きに着目し、所定期間におけ
る長い瞬きの生起比率と覚醒度との関係について調べ
た。特にその前処理として長い瞬きを判定する上での瞬
き評価時間［Ｔs］を、覚醒時における平均的な瞬き時
間を基準時間［Ｔo］とし、この基準時間［Ｔo］に対す
る瞬き時間の増大割合を５％,１０％,１５％,２０％に
それぞれ設定して前記瞬き評価時間［Ｔs］を定めた。
【００３２】そしてこれらの各瞬き評価時間［Ｔs］の
下で所定時間（例えば５分間）における複数の運転者Ｄ
（被検者：Subj.1,〜12）の長い瞬きの生起比率［Ｌrat
e］を［Long5］,［Long10］,［Long15］,［Long20］と
してそれぞれ求めた。更に各運転者Ｄの前記所定時間に
おける平均瞬き時間［ＢＬdur］も同時に求めた。そし
て長い瞬きの生起比率［Long5］,［Long10］,［Long1
5］,［Long20］と、平均瞬き時間［ＢＬdur］とについ
て、そのサンプル中心時間を、例えば６０秒周期として
与えられるＬag値に従ってずらしながら眠気（覚醒度）
との関係分析を行い、その関係係数が最も大きくなる条
件での関係係数Ｒを求めたところ、図５に示すような結
果が得られた。
下で所定時間（例えば５分間）における複数の運転者Ｄ
（被検者：Subj.1,〜12）の長い瞬きの生起比率［Ｌrat
e］を［Long5］,［Long10］,［Long15］,［Long20］と
してそれぞれ求めた。更に各運転者Ｄの前記所定時間に
おける平均瞬き時間［ＢＬdur］も同時に求めた。そし
て長い瞬きの生起比率［Long5］,［Long10］,［Long1
5］,［Long20］と、平均瞬き時間［ＢＬdur］とについ
て、そのサンプル中心時間を、例えば６０秒周期として
与えられるＬag値に従ってずらしながら眠気（覚醒度）
との関係分析を行い、その関係係数が最も大きくなる条
件での関係係数Ｒを求めたところ、図５に示すような結
果が得られた。
【００３３】この図５に示す関係係数Ｒに関する分散分
析の結果によれば、上記瞬き評価時間の異なる４種類の
長い瞬きの生起比率と平均瞬き時間とからなる５つの指
標の間で、複数の運転者Ｄ（Subj）に亘る平均値に有意
な差が認められる。特に長い瞬きの生起比率［Long20］
における関係係数Ｒが小さく、またＬag値に関する分散
分析では、上記各指標間で格別有意な差が生じないこと
が確認できた。但し、これらの各指標は、生理学的には
意味の異なるデータである。
析の結果によれば、上記瞬き評価時間の異なる４種類の
長い瞬きの生起比率と平均瞬き時間とからなる５つの指
標の間で、複数の運転者Ｄ（Subj）に亘る平均値に有意
な差が認められる。特に長い瞬きの生起比率［Long20］
における関係係数Ｒが小さく、またＬag値に関する分散
分析では、上記各指標間で格別有意な差が生じないこと
が確認できた。但し、これらの各指標は、生理学的には
意味の異なるデータである。
【００３４】ちなみに図５に示す分散分析結果は、各指
標（長い瞬きの生起比率）を３００秒間の平均として求
め、また眠気の表情を６０秒間の平均として求めた場合
のものである。従ってこの分散分析結果は、眠気予測の
時間特性に関して、例えば０秒から３００秒における指
標の平均にて、１２０秒から１８０秒時点での眠気の平
均を予測していることを意味し、その予想遅れが１２０
秒であることを示している。従って周期６０秒で示され
るＬag値が［−１］で与えられる場合、実際には３００
秒の指標が得られた時点で、２４０秒の時点における眠
気を予測していることになり、その予測遅れは６０秒で
あることが示される。しかし実際の眠気の平均周期１５
０秒の半分以下の遅れなので、実用的には眠気の変動を
ほぼリアルタイムに予測し得ることになる。
標（長い瞬きの生起比率）を３００秒間の平均として求
め、また眠気の表情を６０秒間の平均として求めた場合
のものである。従ってこの分散分析結果は、眠気予測の
時間特性に関して、例えば０秒から３００秒における指
標の平均にて、１２０秒から１８０秒時点での眠気の平
均を予測していることを意味し、その予想遅れが１２０
秒であることを示している。従って周期６０秒で示され
るＬag値が［−１］で与えられる場合、実際には３００
秒の指標が得られた時点で、２４０秒の時点における眠
気を予測していることになり、その予測遅れは６０秒で
あることが示される。しかし実際の眠気の平均周期１５
０秒の半分以下の遅れなので、実用的には眠気の変動を
ほぼリアルタイムに予測し得ることになる。
【００３５】さて図５に示す分析結果とその考察結果に
基づいて、長い瞬きの生起比率（指標）と覚醒度（眠
気）とを予測モデル化し、シミュレーションによって得
られた複数の運転者Ｄからのサンプルデータから、その
関係を示す予測式を Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur なる１次式で近似し、その関係が最も高くなるときの予
測係数Ａ1,Ｂ1,Ａ2,Ｂ2と、そのときの関係係数Ｒの平
均、および ＡＩＣ ＝ ２ｎ logｅσ ＋ ２ｐ （但し、ｎはデータ数，ｐは回帰係数の数である） で示される赤池の情報量基準ＡＩＣの平均を求めたとこ
ろ、例えば図６に示す結果が得られた。
基づいて、長い瞬きの生起比率（指標）と覚醒度（眠
気）とを予測モデル化し、シミュレーションによって得
られた複数の運転者Ｄからのサンプルデータから、その
関係を示す予測式を Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur なる１次式で近似し、その関係が最も高くなるときの予
測係数Ａ1,Ｂ1,Ａ2,Ｂ2と、そのときの関係係数Ｒの平
均、および ＡＩＣ ＝ ２ｎ logｅσ ＋ ２ｐ （但し、ｎはデータ数，ｐは回帰係数の数である） で示される赤池の情報量基準ＡＩＣの平均を求めたとこ
ろ、例えば図６に示す結果が得られた。
【００３６】即ち、予測モデルを用いた回帰分析により
求められる覚醒度と長い瞬きの生起比率［Ｌrate］との
関係を Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate （Ａ1,Ｂ1は予測係数） なる予測式で表現し、また覚醒度と瞬き時間との関係を Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur （Ａ2,Ｂ2は予測係数） なる予測式で表現し、シミュレーションによって求めら
れた複数のサンプルデータに基づいて、その関係係数Ｒ
が最も高くなるときの予測係数Ａ1,Ｂ1,Ａ2,Ｂ2をそれ
ぞれ求め、そのときの関係係数Ｒと情報量基準ＡＩＣと
を求めた。この結果、この例においては情報量基準ＡＩ
Ｃが最も小さくなる予測モデルは、瞬き評価時間［Ｔ
s］を基準時間［Ｔo］の１０％増大として設定したとき
の長い瞬きの生起比率［Long10］であることが確認でき
た。また最も大きな関係係数Ｒが得られる予測モデル
は、瞬き時間［Blink-Dur］に着目したときであること
が確認できた。
求められる覚醒度と長い瞬きの生起比率［Ｌrate］との
関係を Ｙ1 ＝ Ａ1 ＋ Ｂ1・Ｌrate （Ａ1,Ｂ1は予測係数） なる予測式で表現し、また覚醒度と瞬き時間との関係を Ｙ2 ＝ Ａ2 ＋ Ｂ2・ＢＬdur （Ａ2,Ｂ2は予測係数） なる予測式で表現し、シミュレーションによって求めら
れた複数のサンプルデータに基づいて、その関係係数Ｒ
が最も高くなるときの予測係数Ａ1,Ｂ1,Ａ2,Ｂ2をそれ
ぞれ求め、そのときの関係係数Ｒと情報量基準ＡＩＣと
を求めた。この結果、この例においては情報量基準ＡＩ
Ｃが最も小さくなる予測モデルは、瞬き評価時間［Ｔ
s］を基準時間［Ｔo］の１０％増大として設定したとき
の長い瞬きの生起比率［Long10］であることが確認でき
た。また最も大きな関係係数Ｒが得られる予測モデル
は、瞬き時間［Blink-Dur］に着目したときであること
が確認できた。
【００３７】そこで本発明では上述した知見に基づき、
前述したように運転者Ｄの長い瞬きの生起比率［Ｌrat
e］を求め、覚醒度と生起比率との関係を示す予測モデ
ルに基づく予測式に従って上記生起比率［Ｌrate］に相
当する眠気予測値［Ｙ1］を求めている。そしてこの眠
気予測値［Ｙ1］を評価することで、運転者Ｄの覚醒度
の低下を判定している。更に運転者Ｄの平均瞬き時間
［ＢＬdur］を求め、覚醒度と平均瞬き時間との関係を
示す予測モデルに基づく予測式に従って上記平均瞬き時
間［ＢＬdur］に相当する眠気予測値［Ｙ2］を求めてい
る。そしてこの眠気予測値［Ｙ1］を評価することで、
運転者Ｄの覚醒度の低下を判定している。
前述したように運転者Ｄの長い瞬きの生起比率［Ｌrat
e］を求め、覚醒度と生起比率との関係を示す予測モデ
ルに基づく予測式に従って上記生起比率［Ｌrate］に相
当する眠気予測値［Ｙ1］を求めている。そしてこの眠
気予測値［Ｙ1］を評価することで、運転者Ｄの覚醒度
の低下を判定している。更に運転者Ｄの平均瞬き時間
［ＢＬdur］を求め、覚醒度と平均瞬き時間との関係を
示す予測モデルに基づく予測式に従って上記平均瞬き時
間［ＢＬdur］に相当する眠気予測値［Ｙ2］を求めてい
る。そしてこの眠気予測値［Ｙ1］を評価することで、
運転者Ｄの覚醒度の低下を判定している。
【００３８】図７は複数の運転者Ｄ（被検者：Subj.1,
〜12）の眠気表情からから求められる眠気の実測値と、
上述した如く長い瞬きの生起比率［Ｌrate］から求めら
れる眠気予測値［Ｙ1］との関係を対比して示したもの
である。尚、図７において太線で示す特性は眠気予測値
［Ｙ1］を示しており、細線で示される特性は実際の眠
気の変動を示している。この図７に示されるように、前
述した如く求められる眠気予測値［Ｙ1］は、実際の眠
気を先取りしてその眠気（覚醒度）の変化を良好に予測
していることが分かる。しかも運転者Ｄの個人性をほぼ
良好に吸収して眠気を予測していると言える。
〜12）の眠気表情からから求められる眠気の実測値と、
上述した如く長い瞬きの生起比率［Ｌrate］から求めら
れる眠気予測値［Ｙ1］との関係を対比して示したもの
である。尚、図７において太線で示す特性は眠気予測値
［Ｙ1］を示しており、細線で示される特性は実際の眠
気の変動を示している。この図７に示されるように、前
述した如く求められる眠気予測値［Ｙ1］は、実際の眠
気を先取りしてその眠気（覚醒度）の変化を良好に予測
していることが分かる。しかも運転者Ｄの個人性をほぼ
良好に吸収して眠気を予測していると言える。
【００３９】また図８は上記複数の運転者Ｄ（被検者：
Subj.1,〜12）における眠気の実測値と、前述した如く
平均瞬き時間［ＢＬdur］から求められる眠気予測値
［Ｙ2］との関係を対比して示している。この図８にお
いても、太線で示す特性は眠気予測値［Ｙ2］を示して
おり、細線で示される特性は実際の眠気の変動を示して
いる。そしてこの図７に示されるように、平均瞬き時間
［ＢＬdur］に基づいて求められる眠気予測値［Ｙ2］に
ついては、前述した眠気予測値［Ｙ1］に比較して若干
予測精度が劣るものの、或る程度、実際の眠気を先取り
してその眠気（覚醒度）の変化を良好に予測しているこ
とが分かる。
Subj.1,〜12）における眠気の実測値と、前述した如く
平均瞬き時間［ＢＬdur］から求められる眠気予測値
［Ｙ2］との関係を対比して示している。この図８にお
いても、太線で示す特性は眠気予測値［Ｙ2］を示して
おり、細線で示される特性は実際の眠気の変動を示して
いる。そしてこの図７に示されるように、平均瞬き時間
［ＢＬdur］に基づいて求められる眠気予測値［Ｙ2］に
ついては、前述した眠気予測値［Ｙ1］に比較して若干
予測精度が劣るものの、或る程度、実際の眠気を先取り
してその眠気（覚醒度）の変化を良好に予測しているこ
とが分かる。
【００４０】しかしながら図７および図８に示されるよ
うに、前述した如く求められる眠気予測値［Ｙ1］,［Ｙ
2］は、全体的にはその覚醒度の低下を予測し得ると雖
も、特定の運転者Ｄ（個人）については、予測精度が不
十分なことがある。具体的には図７に示す比較例ではSu
bj.1 で示される運転者Ｄと、Subj.8 で示される運転者
Ｄとにおいて、長い瞬きの生起比率［Ｌrate］から求め
られる眠気予測値［Ｙ1］は実際の眠気を十分に予測し
ていない。また図８に示す比較例では、Subj.5，Subj.
7，Subj.10，Subj.11 で示される運転者Ｄにおいて、平
均瞬き時間［ＢＬdur］から求められる眠気予測値［Ｙ
2］は、実際の眠気を十分に予測していない。
うに、前述した如く求められる眠気予測値［Ｙ1］,［Ｙ
2］は、全体的にはその覚醒度の低下を予測し得ると雖
も、特定の運転者Ｄ（個人）については、予測精度が不
十分なことがある。具体的には図７に示す比較例ではSu
bj.1 で示される運転者Ｄと、Subj.8 で示される運転者
Ｄとにおいて、長い瞬きの生起比率［Ｌrate］から求め
られる眠気予測値［Ｙ1］は実際の眠気を十分に予測し
ていない。また図８に示す比較例では、Subj.5，Subj.
7，Subj.10，Subj.11 で示される運転者Ｄにおいて、平
均瞬き時間［ＢＬdur］から求められる眠気予測値［Ｙ
2］は、実際の眠気を十分に予測していない。
【００４１】このような特定の運転者Ｄに対する予測不
十分性は、その運転者Ｄの瞬きの特異性によるものであ
り、この特異性は長い瞬きの生起比率［Ｌrate］から求
められる眠気予測値［Ｙ1］と、平均瞬き時間［ＢＬdu
r］から求められる眠気予測値［Ｙ2］とで逆の傾向を示
す。換言すれば瞬きの特異性は、長い瞬きの生起比率
［Ｌrate］に基づく眠気の予測精度と、平均瞬き時間
［ＢＬdur］に基づく眠気の予測精度に対して逆に作用
しており、むしろ一方の予測精度が悪い場合には、他方
の予測精度を高める傾向を示している。
十分性は、その運転者Ｄの瞬きの特異性によるものであ
り、この特異性は長い瞬きの生起比率［Ｌrate］から求
められる眠気予測値［Ｙ1］と、平均瞬き時間［ＢＬdu
r］から求められる眠気予測値［Ｙ2］とで逆の傾向を示
す。換言すれば瞬きの特異性は、長い瞬きの生起比率
［Ｌrate］に基づく眠気の予測精度と、平均瞬き時間
［ＢＬdur］に基づく眠気の予測精度に対して逆に作用
しており、むしろ一方の予測精度が悪い場合には、他方
の予測精度を高める傾向を示している。
【００４２】従って前述した如く、運転者Ｄの長い瞬き
の生起比率［Ｌrate］と平均瞬き時間［ＢＬdur］とか
らそれぞれ求められる眠気予測値［Ｙ1］,［Ｙ2］を総
合的に判定してその覚醒度の低下（眠気）を予測する本
装置によれば、非常に高い予測精度で、しかも種々の個
人性を効果的に吸収して運転者Ｄの覚醒度低下を判定す
ることが可能となる。特に前述した如く簡単な処理によ
って、物理的な意味を異にする長い瞬きの生起比率［Ｌ
rate］と平均瞬き時間［ＢＬdur］とを求め、しかも１
次式で示される予測式に従って簡単に眠気予測値［Ｙ
1］,［Ｙ2］を算出することができるので、その処理負
担が軽く、システム構成の簡素化を図ることも可能とな
る。しかも処理速度の高速化を図ることも可能となり、
検出の時間遅れも少なく押さえることができる。
の生起比率［Ｌrate］と平均瞬き時間［ＢＬdur］とか
らそれぞれ求められる眠気予測値［Ｙ1］,［Ｙ2］を総
合的に判定してその覚醒度の低下（眠気）を予測する本
装置によれば、非常に高い予測精度で、しかも種々の個
人性を効果的に吸収して運転者Ｄの覚醒度低下を判定す
ることが可能となる。特に前述した如く簡単な処理によ
って、物理的な意味を異にする長い瞬きの生起比率［Ｌ
rate］と平均瞬き時間［ＢＬdur］とを求め、しかも１
次式で示される予測式に従って簡単に眠気予測値［Ｙ
1］,［Ｙ2］を算出することができるので、その処理負
担が軽く、システム構成の簡素化を図ることも可能とな
る。しかも処理速度の高速化を図ることも可能となり、
検出の時間遅れも少なく押さえることができる。
【００４３】つまり個人性を吸収しながら予測精度を高
め、その上で処理の単純化と処理速度の高速化を図り、
更にシステム構成の簡素化とコストの低減を図ることが
できる。従って個々の車両に搭載される覚醒度推定装置
として実用上多大なる利点がある。尚、本発明は上述し
た実施例に限定されるものではない。例えば長い瞬きを
検出する上での瞬き評価時間［Ｔs］の基準時間［Ｔo］
に対する増大割合［ｒ％］は、更に多くのシミュレーシ
ョン実験結果等に基づいて設定すれば良いものであり、
前述した例に限定されない。即ち、より高い関係が得ら
れるように上記瞬き評価時間［Ｔs］を設定すれば良
い。また簡易型の覚醒度推定装置を実現する場合には、
前述した平均瞬き時間［ＢＬdur］に基づく覚醒度の推
定を省略することも可能である。
め、その上で処理の単純化と処理速度の高速化を図り、
更にシステム構成の簡素化とコストの低減を図ることが
できる。従って個々の車両に搭載される覚醒度推定装置
として実用上多大なる利点がある。尚、本発明は上述し
た実施例に限定されるものではない。例えば長い瞬きを
検出する上での瞬き評価時間［Ｔs］の基準時間［Ｔo］
に対する増大割合［ｒ％］は、更に多くのシミュレーシ
ョン実験結果等に基づいて設定すれば良いものであり、
前述した例に限定されない。即ち、より高い関係が得ら
れるように上記瞬き評価時間［Ｔs］を設定すれば良
い。また簡易型の覚醒度推定装置を実現する場合には、
前述した平均瞬き時間［ＢＬdur］に基づく覚醒度の推
定を省略することも可能である。
【００４４】また平均瞬き時間［ＢＬdur］に代えて運
転者の他の行動的特徴、例えば視線の移動を示す眼球の
水平移動や、頭部の後傾・前傾、更にはあくびやため
息、唇の弛緩等の挙動を検出し、これらの情報に基づく
予測モデルから覚醒度を推定して前述した長い瞬きの生
起比率に基づく覚醒度の評価結果と総合判定するように
しても良い。更には上述した覚醒度低下の推定結果を用
いて、車両のブレーキ機構を作動させて減速させたり、
道路上の白線認識や他車との車間距離制御等に基づく自
動走行モードを起動することも可能である。その他、本
発明はその要旨を逸脱しない範囲で種々変形して実施す
ることができる。
転者の他の行動的特徴、例えば視線の移動を示す眼球の
水平移動や、頭部の後傾・前傾、更にはあくびやため
息、唇の弛緩等の挙動を検出し、これらの情報に基づく
予測モデルから覚醒度を推定して前述した長い瞬きの生
起比率に基づく覚醒度の評価結果と総合判定するように
しても良い。更には上述した覚醒度低下の推定結果を用
いて、車両のブレーキ機構を作動させて減速させたり、
道路上の白線認識や他車との車間距離制御等に基づく自
動走行モードを起動することも可能である。その他、本
発明はその要旨を逸脱しない範囲で種々変形して実施す
ることができる。
【００４５】
【発明の効果】以上説明したように本発明によれば、運
転者の瞬き時間を検出し、覚醒時における瞬き時間に基
づいて該運転者に固有な瞬きの基準時間を求め、この基
準時間を所定の割合だけ増大させて設定した瞬き評価時
間に従って前記運転者の長い瞬きを検出し、所定の時間
内における瞬きの総数と長い瞬きの回数とから求められ
る長い瞬きの生起比率に基づいて前記運転者の覚醒度を
評価するので、簡易にして効果的に個人性を吸収して、
その覚醒度を高精度の推定することができる。
転者の瞬き時間を検出し、覚醒時における瞬き時間に基
づいて該運転者に固有な瞬きの基準時間を求め、この基
準時間を所定の割合だけ増大させて設定した瞬き評価時
間に従って前記運転者の長い瞬きを検出し、所定の時間
内における瞬きの総数と長い瞬きの回数とから求められ
る長い瞬きの生起比率に基づいて前記運転者の覚醒度を
評価するので、簡易にして効果的に個人性を吸収して、
その覚醒度を高精度の推定することができる。
【００４６】特に覚醒度と長い瞬きの生起比率との関係
を示す眠気予測モデルによる予測式の回帰分析に基づい
て眠気予測値を算出し、この眠気予測値を所定の閾値で
弁別して覚醒度を評価するので、その推定精度を十分に
高めながらシステム構成の簡略化と、その処理速度の高
速化を図り得る。更には請求項３に記載するように、更
に所定の時間内における瞬き時間の平均を求め、平均瞬
き時間に基づいて運転者の覚醒度を評価する手段を備
え、この平均瞬き時間から求められた覚醒度と、前記長
い瞬きの生起比率から求められた覚醒度とを総合判定し
て前記運転者の覚醒度低下を検出するので、物理的意味
の異なる２種類の指標を用いた高精度な覚醒度推定を、
簡単に行いうる等の実用上多大なる効果が奏せられる。
を示す眠気予測モデルによる予測式の回帰分析に基づい
て眠気予測値を算出し、この眠気予測値を所定の閾値で
弁別して覚醒度を評価するので、その推定精度を十分に
高めながらシステム構成の簡略化と、その処理速度の高
速化を図り得る。更には請求項３に記載するように、更
に所定の時間内における瞬き時間の平均を求め、平均瞬
き時間に基づいて運転者の覚醒度を評価する手段を備
え、この平均瞬き時間から求められた覚醒度と、前記長
い瞬きの生起比率から求められた覚醒度とを総合判定し
て前記運転者の覚醒度低下を検出するので、物理的意味
の異なる２種類の指標を用いた高精度な覚醒度推定を、
簡単に行いうる等の実用上多大なる効果が奏せられる。
【図１】本発明の一実施形態に係る覚醒度推定装置を搭
載した車両の構成を概念的に示す図。
載した車両の構成を概念的に示す図。
【図２】図１に示す覚醒度推定装置の機能的なブロック
構成を示す図。
構成を示す図。
【図３】図２に示す覚醒度推定装置における覚醒度推定
処理の流れを示す図。
処理の流れを示す図。
【図４】物理的意味の異なる複数の覚醒度の指標と、客
観的に評価された眠気との関係とのシミュレーション実
験結果を示す図。
観的に評価された眠気との関係とのシミュレーション実
験結果を示す図。
【図５】複数の運転者（被検者：Subj.1,〜12）におけ
る長い瞬きの生起比率および平均瞬き時間と眠気（覚醒
度）との関係係数が最も大きくなるときの関係係数Ｒを
示す図。
る長い瞬きの生起比率および平均瞬き時間と眠気（覚醒
度）との関係係数が最も大きくなるときの関係係数Ｒを
示す図。
【図６】長い瞬きの生起比率（指標）と覚醒度（眠気）
とを予測モデル化したときの予測式と、関係係数Ｒの平
均、情報量基準ＡＩＣとの関係を示す図。
とを予測モデル化したときの予測式と、関係係数Ｒの平
均、情報量基準ＡＩＣとの関係を示す図。
【図７】複数の運転者Ｄ（被検者：Subj.1,〜12）の眠
気の実測値と長い瞬きの生起比率から求められる眠気予
測値との関係を対比して示す図。
気の実測値と長い瞬きの生起比率から求められる眠気予
測値との関係を対比して示す図。
【図８】複数の運転者Ｄ（被検者：Subj.1,〜12）の眠
気の実測値と平均瞬き時間から求められる眠気予測値と
の関係を対比して示す図。
気の実測値と平均瞬き時間から求められる眠気予測値と
の関係を対比して示す図。
１ 車両
２ ＴＶカメラ
３ ディスプレイ
４ スピーカ
１０ 画像処理部
１１ 瞬き検出部
１２ 瞬き時間計算部
１３ タイマ
１４ 瞬き基準時間計算部
１５ 長い瞬きの時間設定部
１６ 長い瞬き検出部
１７ 長い瞬き生起比率計算部
１８ 生起比率覚醒度判定部
１９ 覚醒度低下判定部
２１ 瞬き平均時間計算部
２２ 平均時間覚醒度判定部
フロントページの続き
(56)参考文献 特開 平６−333183（ＪＰ，Ａ)
特開 平７−156682（ＪＰ，Ａ)
特開 平６−219181（ＪＰ，Ａ)
特開 平６−270711（ＪＰ，Ａ)
特開 昭63−258226（ＪＰ，Ａ)
特開 昭61−175129（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
B60K 28/00 - 28/16
A61B 5/18
G08B 21/06
G08G 1/16
Claims (3)
- 【請求項１】 運転者の瞬き時間を検出する瞬き時間検
出手段と、運転者の覚醒時における上記瞬き時間に基づ
いて該運転者に固有な瞬きの基準時間を求める基準時間
算出手段と、この基準時間を所定の割合だけ増大させて
長い瞬きを評価するための瞬き評価時間を設定する評価
時間設定手段と、設定された瞬き評価時間に従って前記
瞬き時間から長い瞬きを検出する長い瞬き検出手段と、
所定の時間内における瞬きの総数と長い瞬きの回数とか
ら長い瞬きの生起比率を求める生起比率算出手段と、上
記長い瞬きの生起比率に基づいて前記運転者の覚醒度を
評価する生起比率覚醒度判定手段と、所定の時間内にお
ける前記瞬き時間の平均を求める瞬き平均時間算出手段
と、この瞬きの平均時間に基づいて運転者の覚醒度を評
価する平均時間覚醒度判定手段とを有し、前記生起比率
覚醒度判定手段と前記平均時間覚醒度判定手段とを用い
て運転者の覚醒度の低下を検出する覚醒度低下検出手段
とを備えたことを特徴とする覚醒度推定装置。 - 【請求項２】 前記生起比率覚醒度判定手段は、覚醒度
と長い瞬きの生起比率との関係を示す眠気予測モデルに
よる予測式の回帰分析に基づいて求められる眠気予測値
を所定の閾値で弁別して覚醒度を評価することを特徴と
する請求項１に記載の覚醒度推定装置。 - 【請求項３】 前記平均時間覚醒度判定手段は、覚醒度
と瞬きの平均時間との関係を示す眠気予測モデルによる
予測式の回帰分析に基づいて求められる眠気予測値を所
定の閾値で弁別して覚醒度を評価することを特徴とする
請求項１に記載の覚醒度推定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08144197A JP3480483B2 (ja) | 1997-03-31 | 1997-03-31 | 覚醒度推定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08144197A JP3480483B2 (ja) | 1997-03-31 | 1997-03-31 | 覚醒度推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10272960A JPH10272960A (ja) | 1998-10-13 |
| JP3480483B2 true JP3480483B2 (ja) | 2003-12-22 |
Family
ID=13746492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08144197A Expired - Fee Related JP3480483B2 (ja) | 1997-03-31 | 1997-03-31 | 覚醒度推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3480483B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4514372B2 (ja) * | 2001-08-28 | 2010-07-28 | パイオニア株式会社 | 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置 |
| US7435227B2 (en) * | 2004-09-13 | 2008-10-14 | Biocognisafe (Bcs) Technologies | Method and apparatus for generating an indication of a level of vigilance of an individual |
| JP4797646B2 (ja) * | 2006-01-24 | 2011-10-19 | トヨタ自動車株式会社 | 覚醒度推定装置および覚醒度推定方法 |
| JP4923911B2 (ja) * | 2006-09-25 | 2012-04-25 | トヨタ自動車株式会社 | 人の状態推定装置及び人の状態推定方法 |
| EP2363067B1 (en) * | 2007-01-19 | 2016-01-06 | Asahi Kasei Kabushiki Kaisha | Arousal state classification model generating device, arousal state classifying device, and warning device |
| JP4518083B2 (ja) | 2007-01-29 | 2010-08-04 | 株式会社デンソー | 覚醒維持装置 |
| JP4087891B1 (ja) * | 2007-09-14 | 2008-05-21 | システム・プロダクト株式会社 | 移動体の判別装置とその判別方法、及び移動体の判別プログラム |
| CN102159136B (zh) | 2008-09-18 | 2013-09-04 | 学校法人中部大学 | 困意预兆检测装置 |
| JP4992891B2 (ja) * | 2008-12-18 | 2012-08-08 | トヨタ自動車株式会社 | 覚醒度判定装置 |
| JP5262819B2 (ja) * | 2009-02-20 | 2013-08-14 | 日産自動車株式会社 | 覚醒度推定装置 |
| WO2011118393A1 (ja) * | 2010-03-23 | 2011-09-29 | アイシン精機株式会社 | 覚醒度判定装置、覚醒度判定方法及びプログラム |
| KR101468116B1 (ko) * | 2013-09-11 | 2014-12-08 | 포항공과대학교 산학협력단 | 차량 운전자 피로 경감장치 |
| FR3033303B1 (fr) * | 2015-03-03 | 2017-02-24 | Renault Sas | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile. |
| JP7172968B2 (ja) * | 2019-12-02 | 2022-11-16 | 株式会社デンソー | 運転分析装置、及び運転分析方法 |
| JP7460362B2 (ja) * | 2019-12-19 | 2024-04-02 | 矢崎エナジーシステム株式会社 | ドライバー状態推定装置 |
-
1997
- 1997-03-31 JP JP08144197A patent/JP3480483B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10272960A (ja) | 1998-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3480483B2 (ja) | 覚醒度推定装置 | |
| Doudou et al. | Driver drowsiness measurement technologies: Current research, market solutions, and challenges | |
| KR101078466B1 (ko) | 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체 | |
| JP3183161B2 (ja) | 覚醒度推定装置 | |
| EP2285265B1 (en) | Method and device for the detection of microsleep events | |
| JP5326521B2 (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
| JP4727688B2 (ja) | 覚醒度推定装置 | |
| US7948387B2 (en) | Drowsiness determination apparatus, program, and method | |
| WO2011055505A1 (ja) | 注意状態判定装置、方法およびプログラム | |
| JP5007975B2 (ja) | 居眠り検知装置 | |
| De Rosario et al. | Controlled inducement and measurement of drowsiness in a driving simulator | |
| JP2008531142A (ja) | 覚醒の測定 | |
| JP3509839B2 (ja) | 覚醒度推定装置 | |
| KR20140080727A (ko) | 운전자 감성제어 장치 및 그 방법 | |
| Bittner et al. | Detecting of fatigue states of a car driver | |
| US20220036101A1 (en) | Methods, systems and computer program products for driver monitoring | |
| JPH07156682A (ja) | 覚醒状態検出装置 | |
| Thorslund | Electrooculogram analysis and development of a system for defining stages of drowsiness | |
| Lee et al. | Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving | |
| JP2001245871A (ja) | 動脈血酸素飽和度を居眠り判定法に用いた居眠り判定装置 | |
| Ibe et al. | Development of game-like system using active behavior input for wakefulness-keeping support in driving | |
| CN113598773A (zh) | 数据处理装置以及用于评估用户不适的方法 | |
| Antunes et al. | An intelligent system to detect drowsiness at the wheel | |
| Asirvadam et al. | Fractal dimension and power spectrum of electroencephalography signals of sleep inertia state | |
| John et al. | Driver Drowsiness Detection From Multiple Facial Features Using Mobile Devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030910 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081010 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091010 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091010 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101010 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101010 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |