JP5177102B2 - Driving assistance device - Google Patents
Driving assistance device Download PDFInfo
- Publication number
- JP5177102B2 JP5177102B2 JP2009218045A JP2009218045A JP5177102B2 JP 5177102 B2 JP5177102 B2 JP 5177102B2 JP 2009218045 A JP2009218045 A JP 2009218045A JP 2009218045 A JP2009218045 A JP 2009218045A JP 5177102 B2 JP5177102 B2 JP 5177102B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- state
- level
- driving
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、運転者のパニック行動などの危険の発生を抑制する技術に関する。 The present invention relates to a technique for suppressing the occurrence of danger such as a driver's panic behavior.
従来、自動車の事故の発生の原因としては、乗員が、当該乗員の意図しない操作を行うこと、例えば、後進するべくアクセルを踏み込んだ場合にギヤが前進に設定されていることがある。このような場合であっても事故の発生を抑制するために、運転者の意図に反する運転操作が行われた際に、車両の動作を制御する安全装置を備えることが提案されている。 Conventionally, as a cause of the occurrence of an automobile accident, there is a case where the occupant performs an operation unintended by the occupant, for example, when the accelerator is depressed to move backward, the gear is set to advance. In order to suppress the occurrence of an accident even in such a case, it has been proposed to include a safety device that controls the operation of the vehicle when a driving operation contrary to the driver's intention is performed.
この種の安全装置は、カメラ装置によって撮影した運転者の撮影映像を解析することによって、各時点での運転者の意図を検出する。また、ギヤの位置を検出するギヤ検知部を備えており、ギヤの位置から車両が前進するのか後進するのかを検出する。 This type of safety device detects the driver's intention at each point in time by analyzing the driver's captured image captured by the camera device. A gear detection unit that detects the position of the gear is provided, and detects whether the vehicle moves forward or backward from the position of the gear.
安全装置は、運転者の意図が前進の場合においてギヤの位置が後進にある場合には、運転者による操作が当該運転者の意図とは異なると判断して、アクセル操作を無効にする。同様に、運転者の意図が後進の場合においてギヤの位置が前進にある場合には、アクセル操作を無効する(例えば、特許文献1参照。)。 When the driver's intention is forward and the gear position is in reverse, the safety device determines that the operation by the driver is different from the driver's intention and invalidates the accelerator operation. Similarly, when the driver's intention is reverse, when the gear position is forward, the accelerator operation is invalidated (see, for example, Patent Document 1).
また、自動車の事故の発生原因として、乗員がパニック状態になることによって車両の制御が不安定になることがある。このような場合であっても事故の発生を抑制するために、運転者のパニック状態を判定すると、車両が安全に走行していないとして危険を回避するように車両を制御する走行制御装置が提案されている。 In addition, as a cause of the occurrence of an automobile accident, the control of the vehicle may become unstable due to the occupant panicking. In order to suppress the occurrence of an accident even in such a case, when the driver's panic state is determined, a travel control device is proposed that controls the vehicle so as to avoid danger as the vehicle is not traveling safely. Has been.
この種の走行制御装置では、運転者の腕の動き方やペダルの踏み込み方などの運転者の動作量、および、運転者の発する声の大きさによって、運転者がパニック状態であるか否かを判定する(例えば、特許文献2参照。)。 In this type of travel control device, whether or not the driver is in a panic state depending on the amount of movement of the driver, such as how the driver's arm moves and how the pedal is depressed, and the loudness of the driver's voice. (For example, refer to Patent Document 2).
また、集中状態、居眠り状態、眠気葛藤状態などの運転者の状態を検出するとともに、当該運転者の状態に合わせて警報を発するなどの運転支援を行い、事故の発生を抑制する技術が提案されている。 In addition, a technology has been proposed that suppresses the occurrence of an accident by detecting the driver's state such as concentration state, dozing state, drowsiness conflict state, and providing driving assistance such as issuing an alarm according to the driver's state. ing.
この種の技術では、運転者の状態を検出する技術として、複数のセンサを用いて運転者状態閾値を検出し、当該運転者状態閾値に基づいて運転者状態を検出する。運転者状態閾値を検出するために、運転者の覚醒度を反映した運転者情報と、運転者の注意集中度を反映した運転者情報と、運転者の運転能力を反映した運転者情報との内の少なくともとも2つの情報と、車両の運転状態や外部環境状態を示す車両・運転環境情報とを必要とする。 In this type of technology, as a technology for detecting the driver's state, a driver state threshold is detected using a plurality of sensors, and the driver state is detected based on the driver state threshold. In order to detect the driver state threshold, driver information that reflects the driver's arousal level, driver information that reflects the driver's attention concentration, and driver information that reflects the driver's driving ability And at least two pieces of information, and vehicle / driving environment information indicating the driving state of the vehicle and the external environment state are required.
これら情報を得るために複数のセンサや機器を用いる。例えば運転者の覚醒度が反映された運転者情報を得るためにカメラによって撮影された運転者の顔の映像から運転者が一定時間以上眼を閉じている時間の割合を示す閉眼時間割合を算出する。また、運転者の注意集中度が反映された情報を得るために、撮影された画像から頭部加速度を頭部動揺量として検出する加速度検出器と、シート尻下部の上下加速度を検出する加速度センサを用いる。このように、カメラや複数のセンサを用いる(例えば、特許文献3参照。)。 In order to obtain such information, a plurality of sensors and devices are used. For example, in order to obtain driver information that reflects the driver's arousal level, the eye-closing time ratio indicating the ratio of the time that the driver closes the eyes for a certain time or more is calculated from the image of the driver's face taken by the camera To do. In addition, in order to obtain information reflecting the driver's attention concentration level, an acceleration detector that detects head acceleration from the captured image as the amount of head fluctuation, and an acceleration sensor that detects vertical acceleration at the bottom of the seat bottom Is used. As described above, a camera and a plurality of sensors are used (see, for example, Patent Document 3).
特許文献1は、実際に、運転者の意図と異なる操作が行われたことを検出する技術である。また、特許文献2は、実際に運転者がパニック状態になったことを検出する技術である。
このように、特許文献1,2は、生じた事象(特許文献1の場合は、運転者の意図と異なる操作。特許文献2の場合は、パニック状態の発生)に対して対処をする技術であって、当該事象によって事故が発生することが考えられる。
As described above,
また、運転者の状態を検出し、当該状態に応じて運転支援を行う特許文献3の技術では、運転者の状態を示す各種情報を検出するために、複数のセンサなどを必要とする。つまり、運転者状態判定装置の構造が複雑になり、コストが高くなる傾向にある。コストが高くなると、当該装置の普及が阻害される傾向にある。
Moreover, in the technique of
本発明は、事故の発生を簡素な構造で抑制することができる運転支援装置を提供することを目的とする。 An object of this invention is to provide the driving assistance device which can suppress generation | occurrence | production of an accident with a simple structure.
本願の請求項1に記載の発明の運転支援装置は、運転者のまばたきに基づいて運転者の覚醒度を検出する覚醒度検出手段と、運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、運転者が意図しない操作を行った状態と運転者がパニックになった状態とのうち少なくともいずれか一方の状態である異常状態になる可能性が高い状態を判定する閾値を検出する閾値検出手段と、前記覚醒度検出手段によって検出された運転者の覚醒度および前記認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、前記運転者状態判定値を前記閾値と比較し、運転者が前記異常状態になる可能性が高い状態であるか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、運転者に注意する注意手段とを備える。
The driving support device according to
本願の請求項2に記載の発明の運転支援装置は、請求項1に記載の運転支援装置において、前記認知度と前記覚醒度との組み合わせから求められるパニック発生度数をPとし、車両の過去の走行のうち、所定距離以上走行した回数をnとし、kを1からnまでの変数とした場合、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番目の走行での前記パニック発生度数Pの積算値をPkとし、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番面の走行での走行時間をTkとし、現在の走行の走行時間をTaとし、前記閾値をLとすると、
となり、
前記運転者状態判定値を、現在の走行での前記パニック発生度数の積算値であるIとすると、前記判定手段は、前記運転者状態判定値Iが前記閾値Lより大きくとなると、前記運転者が前記異常状態になる可能性が高い状態であると判定する。
And
Assuming that the driver state determination value is I, which is an integrated value of the panic occurrence frequency in the current travel, the determination means determines that the driver state when the driver state determination value I is greater than the threshold value L. Is determined to be in a state where there is a high possibility of becoming the abnormal state.
本発明によれば、認知度を用いることによって、運転者がパニック状態になる前の状態または意図しない操作を行う前の状態のうち少なくともいずれか一方の状態を検出することができる。このため、事故の発生を抑制することができる。 According to the present invention, by using the degree of recognition, it is possible to detect at least one of a state before the driver enters a panic state or a state before an unintended operation is performed. For this reason, the occurrence of an accident can be suppressed.
また、覚醒度は、運転者のまばたきに基づいて検出され、認知度は運転者の視線の動きに基づいて検出される。このため、覚醒度と認知度とは、運転者の目の動き(まばたき、視線の動き)を検出すればよい。例えば、カメラによって運転者の目を撮影すればよい。このため、運転支援装置の構造を簡素にすることができる。 The arousal level is detected based on the driver's blink, and the recognition level is detected based on the driver's line of sight. For this reason, the degree of arousal and the degree of recognition only need to detect the driver's eye movements (blinks, eye movements). For example, the eyes of the driver may be photographed with a camera. For this reason, the structure of a driving assistance device can be simplified.
このように、本発明は、事故の発生を簡素な構造で抑制することができる運転支援装置を提供できる。 Thus, the present invention can provide a driving assistance device that can suppress the occurrence of an accident with a simple structure.
本発明の第1の実施形態に係る運転支援装置を、図1〜14を用いて説明する。図1は、運転者支援装置10を示す概略図である。運転者支援装置10は、一例として、エンジンによって走行可能となる自動車に搭載されている。自動車1は、本発明で言う車両の一例である。なお、これに限定されず、例えば電気自動車などに搭載されてもよい。
A driving support apparatus according to a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic diagram showing a
図1に示すように、運転者支援装置10は、運転者20の目21を撮影する赤外線カメラ30と、判定装置40と、情報表示装置50と、警報装置60と、香りを放出可能な放香装置70とを備えている。なお、図1は、自動車内において運転席に着座する運転者20の近傍を概略的に示している。
As shown in FIG. 1, the
赤外線カメラ30は、赤外線を運転者20の目21に照射し、目21で反射された赤外線を撮影する。判定装置40は、表情検出部41と、運転者状態検出部42と、パニック予兆判定部43とを備えている。
The
表情検出部41は、赤外線カメラ30によって撮影された運転者20の目21の画像から、運転者20のまばたきを検出する。具体的には、表情検出部41は、赤外線カメラ30によって撮影された運転者20の目21の映像の経時的変化からまぶたの開閉を検出することでまばたきを検出する。
The facial
本発明では、一回のまばたきにかかる時間を、まばたき閉じ時間とする。なお、図1中の範囲F1内に示すように、まぶた22が閉じ始めてから、まぶた22が閉じ、再びまぶた22が開くまでを一回のまばたきとする。まぶた22が開くとは、通常位置まで開く状態であって、開動作が停止するまでである。表情検出部41は、上記のように検出される各まばたき閉じ時間を検出し、保存している。
In the present invention, the time required for one blink is defined as the blink closing time. In addition, as shown in the range F1 in FIG. 1, after the
また、表情検出部41は、運転者20の視線の動きを検出する。具体的には、赤外線カメラ30によって撮影された運転者20の黒目23の位置の動きの軌跡を検出し、保存する。
In addition, the facial
運転者状態検出部42は、運転者20の覚醒度と、運転者20の認知度と、運転者20の状態を示す運転者状態判定値Iとを検出する。
The driver
まず、覚醒度について説明する。本発明で言う覚醒度とは、運転者20の覚醒の度合いを示す。覚醒度が低い状態は、運転者が眠い状態を示す。覚醒度が高い状態は、運転者がしっかり覚醒している状態を示す。覚醒度は、まばたきに基づいて検出される。
First, the arousal level will be described. The awakening level referred to in the present invention indicates the degree of awakening of the
人間のまばたき閉じ時間は個人差があるが、一般に覚醒度が低下すると(低い状態では)長くなる傾向にある。図2は、覚醒度が高い状態の一例である状態B1と、覚醒度が低い状態の一例である状態B2との、各々でのまばたき閉じ時間の頻度分布α,βを概略的に示している。図2中の横軸は、時間を示しており、図中右側に進むにつれて時間が長くなることを示す。図2中の縦軸は、頻度を示しており、図中上側に進むにつれて頻度が高くなることを示す
図2に示すように、状態B1の分布αでは、短いまばたき閉じ時間の頻度が高くなる。状態B2の分布βでは、時間の長いまばたき閉じ時間の頻度が高くなる。このように、覚醒度が低下するにしたがって、分布αから分布βに変化する傾向にある。つまり、覚醒度の低下にともなって、頻度の高いまばたき閉じ時間が、図中aからbに変化し、時間が長くなる。この際、一般的には頻度分布の形状も変化する。なお、まばたき閉じ時間の頻度分布の形状や、覚醒度の変化に伴う頻度分布の形状変化には個人差がある。
The blinking time of humans varies from person to person, but generally tends to increase as the degree of arousal decreases (in a low state). FIG. 2 schematically shows the frequency distributions α and β of the blink closing time in each of the state B1 which is an example of a state with a high arousal level and the state B2 which is an example of a state with a low arousal level. . The horizontal axis in FIG. 2 indicates time, and indicates that the time becomes longer as proceeding to the right side in the figure. The vertical axis in FIG. 2 indicates the frequency, and indicates that the frequency increases as it progresses upward in the figure. As shown in FIG. 2, in the distribution α of the state B1, the frequency of the short blink closing time increases. . In the distribution β of the state B2, the frequency of the blink closing time having a long time is increased. Thus, the distribution α tends to change to the distribution β as the arousal level decreases. In other words, as the awakening level decreases, the frequent blinking closing time changes from a to b in the figure, and the time becomes longer. At this time, generally, the shape of the frequency distribution also changes. Note that there are individual differences in the shape of the frequency distribution of the blink closing time and the shape change of the frequency distribution accompanying the change in the arousal level.
本実施形態では、長いまばたきを判定する判定時間をTs(閾値)とし、この判定時間Tsよりも長いまばたき閉じ時間を有するまばたきを、長いまばたきと判定する。そして、本実施形態では、運転を予め設定される所定時間ごとに区切り、当該所定時間ごとに所定時間内に検出される全まばたき回数N1に対する上記長いまばたきの回数N2の割合R(R=N2/N1)に基づいて、運転者の覚醒度を第1〜5のレベルに分類する。 In this embodiment, the determination time for determining a long blink is Ts (threshold), and a blink having a blink closing time longer than the determination time Ts is determined to be a long blink. In the present embodiment, the operation is divided at predetermined time intervals, and the ratio R (R = N2 / R) of the long blink number N2 to the total blink number N1 detected within the predetermined time every predetermined time. Based on N1), the driver's arousal level is classified into first to fifth levels.
長いまばたきについて説明する。運転者20の覚醒度は、通常では運転初期期間には充分高いと考えられる。運転初期期間では、運転者20の運転に対する緊張感や運転を開始するという意識が強く作用するので、運転者20の覚醒度が充分に高い状態となる。しかし、運転時間が長くなるにつれて、運転に対する慣れや運転に対する疲労によって、覚醒度が低下すると考えられる。このため、運転開始時から所定時間が経過するまでの運転初期期間内での運転者20のまばたきの傾向を調べれば、運転者20に固有の標準的な情報を得ることができる。
Explain long blinks. The awakening level of the
ここで、運転開始と、走行とについて定義する。運転開始は、運転者がイグニッションキーをスタート位置まで回すなどしてエンジンが駆動を開始した時点である。また、エンジンが駆動を開始した時点を走行開始時とする。運転者がイグニッションキーをオフ位置まで回してエンジンが駆動を停止すると、走行が終了したとする。運転初期期間とは、運転開始時から所定期間である。 Here, operation start and travel are defined. The start of operation is when the engine starts to drive, for example, when the driver turns the ignition key to the start position. Also, the time when the engine starts to drive is defined as the start of travel. It is assumed that the driving is finished when the driver turns the ignition key to the off position and the engine stops driving. The operation initial period is a predetermined period from the start of operation.
電気自動車の場合は、運転開始時および走行開始時は、モータがオンとなった時点、つまり回転可能となった時点(アクセルを踏むとモータが回転する状態)である。走行の終了は、モータがオフとなった時点(アクセルを踏んでもモータが回転しない状態)である。走行は、モータがオンからオフとなるまでの期間であwる。 In the case of an electric vehicle, the start of driving and the start of traveling are the time when the motor is turned on, that is, the time when the motor can rotate (the state where the motor rotates when the accelerator is depressed). The end of traveling is when the motor is turned off (the motor does not rotate even if the accelerator is depressed). The running is a period from when the motor is turned on to when it is turned off.
図3は、運転者20の運転開始時から運転初期期間に検出されたまばたきの分布を示している。図3に示すように、覚醒度が高い状態(運転初期期間)でのまばたき閉じ時間の頻度のピーク(Tm)を含む主要な頻度の分布領域、つまり、標準的なまばたき閉じ時間の範囲は、時間の短い領域に位置する。
FIG. 3 shows the distribution of blinks detected during the initial driving period from the start of driving by the
したがって、上記標準的なまばたき閉じ時間の範囲に基づいて、運転者20の覚醒度の低下に伴う時間の長いまばたきを判定するための判定時間Tsを設定すれば、運転者20に固有の長いまばたきを検出することができる。
Therefore, if the determination time Ts for determining a long blink associated with a decrease in the arousal level of the
本実施形態では、高覚醒度におけるまばたき閉じ時間の頻度分布から、その最頻値Tmに対してX%となる位置で頻度分布をスライスしたときの時間範囲を、運転者20に固有な標準的なまばたき閉じ時間の範囲、つまり標準的なまばたき閉じ時間の分布領域の時間幅Aとして求めている。さらに、時間幅Aの中心値を標準的なまばたき閉じ時間Tcとする。長いまばたきを判定する判定時間Tsは、標準的なまばたき閉じ時間Tcよりも時間幅AのY%長い時間とする。このため、Ts=Tc+A×Y/100となる。スライス率X%と、時間のスライド率Y%については、後で詳細に説明する。
In the present embodiment, the time range when the frequency distribution is sliced at a position that is X% of the mode Tm from the frequency distribution of the blink closing time in the high arousal level is a standard characteristic unique to the
つぎに、覚醒度の第1〜5のレベルについて説明する。第1〜5のレベルは、レベルが上がるにつれて覚醒度が高くなる。言い換えると、レベルが下がるにつれて覚醒度が下がり、つまり、運転者20が有する眠気が大きくなることを示す。
Next, the first to fifth levels of wakefulness will be described. In the first to fifth levels, the awakening level increases as the level increases. In other words, the arousal level decreases as the level decreases, that is, the drowsiness of the
図5は、第1〜5のレベルの状態を示す表である。図5に示すように、第5のレベルは、完全に起きており、眠気が全くない状態である。第4のレベルは、やや眠気を有している状態である。第3のレベルは、明らかに眠いのがわかる状態である。第2のレベルは、周期的に居眠りをしている状態である。第1のレベルは、ほぼ居眠りをしている状態である。 FIG. 5 is a table showing the states of the first to fifth levels. As shown in FIG. 5, the fifth level is a state in which the patient is completely awake and has no sleepiness. The fourth level is a state of having a little drowsiness. The third level is a state in which it is obvious that you are sleepy. The second level is a state of periodically taking a nap. The first level is a state of being almost asleep.
つぎに、所定時間内での全まばたき回数N1に対する長いまばたき回数N2の割合Rと覚醒度のレベルとの関係について説明する。本実施形態では、一例として、割合Rが0≦R<15%場合は、第5のレベルとする。割合Rが、15%≦R<30%の場合は、第4のレベルとする。割合Rが30%≦R<45%の場合は、第3のレベルとする。割合Rが、45%≦R<60%の場合は、第4のレベルとする。割合Rが、60%≦Rの場合は、第1のレベルとする。 Next, the relationship between the ratio R of the long blink number N2 with respect to the total blink number N1 within a predetermined time and the arousal level will be described. In the present embodiment, as an example, when the ratio R is 0 ≦ R <15%, the fifth level is set. When the ratio R is 15% ≦ R <30%, the fourth level is set. When the ratio R is 30% ≦ R <45%, the third level is set. When the ratio R is 45% ≦ R <60%, the fourth level is set. When the ratio R is 60% ≦ R, the first level is set.
つぎに、スライス率X%と、スライド率Y%について説明する。スライス率X%とスライド率Y%とは、上記されたまばたき閉じ時間によって分類される覚醒度と、顔の表情に基づいて分類される覚醒度とを比較する実験から求めた。 Next, the slice rate X% and the slide rate Y% will be described. The slice rate X% and the slide rate Y% were obtained from an experiment comparing the arousal level classified according to the above blink closing time and the arousal level classified based on facial expressions.
まず、カメラで運転者(実際の自動車の運転者ではなく、本実験のための運転者である)の顔の表情を撮影し、この表情を分析して、運転者の顔の表情から覚醒度のレベル(第1〜5のレベルのいずれか)を推定する。これは、図5に示すように、顔の表情から集中していると判定されると第5のレベルとであると判定される。顔の表情から時々あくびが出る状態であると判定されると、第4のレベルと判定される。顔の表情から頻繁にあくびが出ると状態判定されると、第3のレベルと判定される。顔の表情からと時々目が閉じる状態であると判定されると、第2のレベルと判定される。顔の表情から目が閉じている状態と判定されると、第1のレベルと判定される。 First of all, the facial expression of the driver (not the driver of the actual car but the driver for this experiment) is photographed with a camera, this facial expression is analyzed, and the arousal level is calculated from the facial expression of the driver. Level (any of the first to fifth levels) is estimated. As shown in FIG. 5, when it is determined that the face is concentrated, it is determined to be the fifth level. If it is determined that the expression of the face is sometimes yawning, it is determined as the fourth level. If it is determined that the yawning frequently occurs from the facial expression, it is determined as the third level. If it is determined from the facial expression that the eyes are sometimes closed, the second level is determined. When it is determined from the facial expression that the eyes are closed, the first level is determined.
図4は、スライス率(X%)と時間のスライド率(Y%)とを変えながら判定時間Tsを設定したときの、判定時間Tsよりも長いと判定されるまばたきの比率(R)から得られる運転者の覚醒度と、上記の顔の表情から推定された覚醒度との相関についてシミュレーションしたものである。このシミュレーション結果から、スライス率40%、スライド比70%としたとき、その相関が最も大きくなる。このため、本実施形態では、X=40とし、Y=70とする。 FIG. 4 is obtained from the blink rate (R) determined to be longer than the determination time Ts when the determination time Ts is set while changing the slice rate (X%) and the time slide rate (Y%). This is a simulation of the correlation between the driver's alertness and the alertness estimated from the facial expression. From this simulation result, when the slice rate is 40% and the slide ratio is 70%, the correlation becomes the largest. Therefore, in this embodiment, X = 40 and Y = 70.
赤外線カメラ30と、表情検出部41と、運転者状態検出部42とは、本発明で言う、覚醒度検出手段の一例を構成している。なお、覚醒度検出手段として、運転者の目を撮影する手段(装置)は、赤外線カメラに限定されるものではない。要するに、運転者の目21を撮影できればよい。
The
また、上記に説明される覚醒度の求め方、また、覚醒度のレベルの分類は一例である。覚醒度の求め方は、まばたきに基づいて他の方法が用いられてもよい。また、覚醒度のレベルの分類も、第1〜5のレベルの5段階ではなく、例えば第1〜10のレベルの10段階に分けられてもよい。 Further, the method for obtaining the arousal level and the classification of the level of the arousal level described above are examples. Other methods may be used to determine the degree of arousal based on blinking. Also, the level of arousal level may be divided into 10 levels of the 1st to 10th levels, for example, instead of 5 levels of the 1st to 5th levels.
ついで、認知度について説明する。認知度は、運転者20の運転への集中の度合いを示す。運転者状態検出部42は、表情検出部41が検出した運転者20の視線の動き(軌跡)に基づいて、認知度を判定する。
Next, the degree of recognition will be explained. The degree of recognition indicates the degree of concentration of the
具体的には、運転者が運転中によく見る場所である、例えば速度計、ルームミラー、ドアミラーなどの視認対象を運転者が見ている状態での運転者の視線の動きを分析する。運転者の視線の動きは、リターンマップで表される。 Specifically, the movement of the driver's line of sight in a state where the driver is viewing a visual target such as a speedometer, a room mirror, a door mirror, or the like, which is a place that the driver often sees during driving, is analyzed. The movement of the driver's line of sight is represented by a return map.
図6,7は、運転者の認知度が通常状態の場合での、所定期間の運転者の視線の動きを示すリターンマップである。通常状態とは、運転初期期間などの、認知度が十分に高い状態である。 6 and 7 are return maps showing the movement of the driver's line of sight during a predetermined period when the driver's recognition is in a normal state. The normal state is a state where the degree of recognition is sufficiently high, such as an initial driving period.
図7は、所定期間内の運転者の視線の位置のうち、運転者の上下方向であるy軸方向に沿う視線の位置がプロットされている。このため、図7は、所定期間内の運転者のy軸方向に沿う視線の動きを表す。図6は、所定期間内の運転者の視線の位置のうち、運転者の上下方向を横切る左右方向であるx軸方向に沿う視線の位置がプロットされている。このため、図6は、所定期間内の運転者のx軸方向に沿う視線の動きを示している。 FIG. 7 plots the position of the line of sight along the y-axis direction, which is the vertical direction of the driver, among the positions of the line of sight of the driver within a predetermined period. For this reason, FIG. 7 represents the movement of the line of sight along the y-axis direction of the driver within a predetermined period. FIG. 6 plots the position of the line of sight along the x-axis direction, which is the left-right direction crossing the vertical direction of the driver, among the positions of the driver's line of sight within a predetermined period. For this reason, FIG. 6 shows the movement of the line of sight along the x-axis direction of the driver within a predetermined period.
図6,7において横軸は、時間t(変数)での視線の位置を示しており、縦軸は、時間t+0.1秒での視線の位置を示している。グラフ中の中心位置である(0,0)の位置は、運転者の両目の中心位置である。運転者の右側を正とし、左側を負としている。横軸、縦軸の単位は、メートル(m)である。 6 and 7, the horizontal axis indicates the position of the line of sight at time t (variable), and the vertical axis indicates the position of the line of sight at time t + 0.1 seconds. The position (0, 0), which is the center position in the graph, is the center position of both eyes of the driver. The right side of the driver is positive and the left side is negative. The unit of the horizontal axis and the vertical axis is meter (m).
図6,7のようなリターンマップは、運転者がよく見る例えば速度計、ルームミラー、ドアミラー(視認対象)ごとに、単位時間毎に形成される。言い換えると、各視認対象に設定されるリターンマップ上に、運転者の視線の位置を示す点がプロットされる。この視線の位置を示す点の集合によって、運転者の視線の動きが表される。なお、図6,7は、例えばルームミラーに設定されるリターンマップを示している。 The return maps as shown in FIGS. 6 and 7 are formed for each unit time for each speedometer, room mirror, and door mirror (viewing object) that the driver often sees. In other words, points indicating the position of the driver's line of sight are plotted on the return map set for each visual recognition target. The movement of the driver's line of sight is represented by a set of points indicating the position of the line of sight. 6 and 7 show return maps set in, for example, a room mirror.
速度計、ルームミラー、ドアミラーなどの運転者がよく見る視認対象の各々で形成されるリターンマップは、略同じものになる。運転者が速度計、ルームミラー、ドアミラーを見ている状態は、例えば、運手者の視線の向きから判断される。 The return maps formed by each of the visual objects that the driver often sees such as a speedometer, a room mirror, and a door mirror are substantially the same. The state in which the driver is looking at the speedometer, the room mirror, and the door mirror is determined from, for example, the direction of the driver's line of sight.
なお、本実施形態では、リターンマップが形成される視認対象として、速度計、ルームミラー、ドアミラーを一例として用いた。視認対象としては、他のものが用いられてもよい。要するに、運転者がよく見る場所でリターンマップが形成されればよい。 In the present embodiment, a speedometer, a room mirror, and a door mirror are used as examples of visual recognition targets on which a return map is formed. Other objects may be used as the visual recognition target. In short, it is only necessary that the return map is formed at a place that is often viewed by the driver.
認知度が低くなると、運転者の視線の動く範囲が小さくなる傾向と、視線の動きのばらつきが大きくなり規則的なパターンではなくなる傾向とがあらわれる。 When the degree of recognition is low, there is a tendency that the range of movement of the driver's line of sight is reduced, and a variation in the movement of the line of sight is increased and the pattern is not regular.
図8,9は、運転者の認知度が小さくなったある状態での所定期間内の運転者の視線の動きを示すリターンマップである。図8,9は、例えば、ルームミラーに設定されるリターンマップを示している。なお、他の視認対象である速度計や、ドアミラーに設定されるリターンマップにおいても、同様のリターンマップが形成される。 FIGS. 8 and 9 are return maps showing the movement of the driver's line of sight within a predetermined period in a state where the driver's recognition level is reduced. 8 and 9 show return maps set in the room mirror, for example. A similar return map is also formed in a speed map that is another visual target and a return map set for a door mirror.
図8は、y軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図7と同じである。図9は、x軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図6と同じである。図8,9は、認知度が小さくなったことによって、図6,7に示される通常状態に対して、運転者の視線の動きのばらつきが大きくなり規則的なパターンではなくなったことを示している。 FIG. 8 shows the movement of the line of sight along the y-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIG. 9 shows the movement of the line of sight along the x-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIGS. 8 and 9 show that the fluctuation of the driver's line of sight increases and the regular pattern is not regular with respect to the normal state shown in FIGS. Yes.
図10,11は、運転者の認知度が小さくなったある状態での運転者の視線の動きを示すリターンマップである。図10,11は、例えばルームミラーに設定されるリターンマップを示している。なお、図10,11は、図8,9が示す状態とは、異なる時点での運転者の視線の動きを示している。図10は、x軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図6と同じである。図11は、y軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図7と同じである。図10,11は、認知度が小さくなったことによって、図6,7に示される通常状態に対して、運転者の視線の動く範囲が小さくなったことを示している。 10 and 11 are return maps showing the movement of the driver's line of sight in a state where the degree of recognition of the driver has decreased. 10 and 11 show return maps set in, for example, a room mirror. 10 and 11 show the movement of the driver's line of sight at a time different from the state shown in FIGS. FIG. 10 shows the movement of the line of sight along the x-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIG. 11 shows the movement of the line of sight along the y-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIGS. 10 and 11 show that the range of movement of the driver's line of sight is reduced with respect to the normal state shown in FIGS.
本実施形態では、認知度は、高レベル、中レベル、低レベルの3つのレベルに分けられる。高レベル状態は、運転に対する集中度が充分高い状態である。低レベル状態は、運転に対する集中度が低い状態である。中レベル状態は、運転に対する集中度が、高状態と低状態との中間である状態である。 In this embodiment, the degree of recognition is divided into three levels: a high level, a medium level, and a low level. The high level state is a state where the degree of concentration with respect to driving is sufficiently high. The low level state is a state where the degree of concentration on driving is low. The middle level state is a state in which the degree of concentration with respect to driving is intermediate between the high state and the low state.
本実施形態では、認知度は、運転の初期期間で得られる運転者の視線の動きを示すリターンマップから得られるカオス性指標値との比較によって、高レベル状態、中レベル状態、低レベル状態に分類される。具体的には、運転中の各所定期間で得られるリターンマップを解析することによって得られるカオス性指標値を、運転初期期間(運転開始から所定の期間)に得られるリターンマップを解析することによって得られるカオス性指標値と比較する。 In this embodiment, the degree of recognition is divided into a high level state, a medium level state, and a low level state by comparison with a chaotic index value obtained from a return map indicating the movement of the driver's line of sight obtained in the initial period of driving. being classified. Specifically, by analyzing the return map obtained by analyzing the return map obtained in each predetermined period during operation, by analyzing the return map obtained in the initial operation period (predetermined period from the start of operation) Compare with the obtained chaotic index value.
運転初期期間で得られるカオス性指標値に対する変化量が小さい場合は、認知度が高レベル状態である。これは、運転初期期間では、運転に対する集中度を示す認知度が充分に高いため、変化量が小さいということは、充分に認知度が高い状態であることを示すためである。運転初期期間で得られるカオス性指標値に対する変化量が中程度である場合は、認知度が中レベル状態であるとする。運転初期期間で得られるカオス性指標値に対する変化量が大きい場合は、認知度が低レベル状態であるとする。 When the amount of change with respect to the chaotic index value obtained in the initial driving period is small, the degree of recognition is high. This is because, in the initial driving period, the degree of recognition indicating the degree of concentration with respect to driving is sufficiently high, so that the small amount of change indicates that the degree of recognition is sufficiently high. When the amount of change with respect to the chaotic index value obtained in the initial driving period is medium, it is assumed that the degree of recognition is in a medium level state. When the amount of change with respect to the chaotic index value obtained in the initial driving period is large, it is assumed that the degree of recognition is in a low level state.
運転初期期間で得られるカオス性指標値に対する変化量の、大、中、小を区切る閾値は、任意に設定される。本実施形態では、予め設定される閾値に基づいて、変化量を、大、中、小に分類している。そして、変化量の大、中、小に基づいて、運転者の認知度を、高レベル状態、中レベル状態、低レベル状態に分類する。 The threshold for dividing the change amount with respect to the chaotic index value obtained during the initial operation period into large, medium and small is arbitrarily set. In the present embodiment, the amount of change is classified into large, medium, and small based on a preset threshold value. Then, the driver's recognition level is classified into a high level state, a medium level state, and a low level state based on the large, medium, and small amount of change.
つぎに、運転者20の状態を示す運転者状態判定値Iを説明する。運転者状態判定値Iとは、運転者が異常状態になる可能性が高い状態であるか否かを判定する際に用いられる。異常状態とは、運転者が意図しない操作を行った状態と、運転者がパニックになった状態とのうち、少なくともいずれか一方の状態である。このため、異常状態になる可能性が高い状態とは、運転者が意図しない操作を行う可能性が高い状態と、運転者がパニックになる可能性が高い状態とのうち少なくともいずれか一方の状態である。
Next, a driver state determination value I indicating the state of the
運転者状態判定値Iは、上記された覚醒度と認知度とによって求められるパニック発生度数Pの積算値Peである(I=Pe)。より具体的には、運転者が運転を開始してから(自動車が走行を開始してから)得られる覚醒度と認知度とに基づいて、図12で示されるマップから、運転者のパニック発生度数が求められる。 The driver state determination value I is an integrated value Pe of the panic occurrence frequency P obtained from the above-described degree of arousal and recognition (I = Pe). More specifically, the driver panics from the map shown in FIG. 12 based on the arousal level and the degree of recognition obtained after the driver starts driving (after the car starts driving). The frequency is required.
図12に示すように、パニック発生度数は、覚醒度と認知度との組み合わせによって求められる。パニック発生度数について、具体的に説明する。 As shown in FIG. 12, the panic occurrence frequency is obtained by a combination of the arousal level and the recognition level. The panic occurrence frequency will be specifically described.
覚醒度が第1のレベルである場合では、認知度が高レベル、中レベル、低レベルのいずれの場合であっても、パニック発生度数は、0(零)となる。これは、覚醒度が第1のレベルでは覚醒度が極端に低い状態であるので、パニック状態になることや意図しない操作をしないということが発生しないためである。 When the arousal level is the first level, the panic occurrence frequency is 0 (zero) regardless of whether the recognition level is a high level, a medium level, or a low level. This is because when the arousal level is the first level, the awakening level is extremely low, so that a panic state or an unintended operation does not occur.
覚醒度が第2〜4のレベルである状態では、認知度が低レベルであるとパニック発生度数を3とし、認知度が中レベルであるとパニック発生度数を2とし、認知度が高レベルであるとパニック発生度数を1とする。これは、覚醒度が充分に高くない状態(本実施形態では、第2〜4のレベルの状態)では、認知度によって、パニックが発生する可能性や意図しない操作をする可能性が変化するためである。 In a state where the arousal level is the second to fourth levels, if the recognition level is low, the panic generation frequency is 3, and if the recognition level is medium, the panic generation frequency is 2, and the recognition level is high. If there is, the panic occurrence frequency is set to 1. This is because, in a state where the arousal level is not sufficiently high (the second to fourth level states in this embodiment), the possibility of a panic or an unintended operation changes depending on the degree of recognition. It is.
覚醒度が第の5レベルである場合では、認知度が低レベルであるとパニック発生度数を2とし、認知度が中レベルであるとパニック発生度数1とし、認知度が高レベルであるとパニック発生度数を0(零)とする。これは、認知度が高レベルの状態は認知度が充分に高い状態であり、それゆえ、パニックが発生する可能性が小さく、または、意図しない操作をする可能性が小さいためである。 When the arousal level is the fifth level, the panic occurrence frequency is 2 when the recognition level is low, the panic generation frequency is 1 when the recognition level is medium, and the panic is when the recognition level is high. The occurrence frequency is set to 0 (zero). This is because a state in which the degree of recognition is high is a state in which the degree of recognition is sufficiently high, and therefore there is a low possibility of a panic or an unintended operation.
また、運転者状態検出部42は、運転者の過去の走行の情報を記憶している。運転者の情報とは、過去の走行のうち走行距離が所定距離以上のものの各々の走行時間Tkと、過去の走行のうち走行距離が所定距離以上のものの各々のパニック発生度数Pの積算値Pkと、過去の走行の各々の判定時間Tsである。なお、運転者状態検出部42は、撮影された運転者20の目の形状、大きさなどから運転者を個人ごとに分類し、当該個人別に上記情報を保存している。ここで用いた所定距離について説明する。走行距離が充分に確保されていないと、カオス性指標値を得ることが難しくなり、それゆえ認知度を判定することができなくなる。また、走行距離が充分に確保されていないと、長いまばたきを判定する判定時間Tsを決定することも難しくなる。このため、走行距離が十分に確保されていないとパニック発生度数を算出することができなくなる。所定距離は、パニック発生度数を算出するのに必要な距離である。言い換えると、カオス性指標値を得るとともに認知度を検出することができ、かつ、長いまばたきを判定する判定時間Tsを算出することができるのに必要な距離である。この所定距離は、予め実験などによって得ることができる。
In addition, the driver
つまり、複数の運転者が、運転者支援装置10が搭載された1つの自動車を共有する場合では、運転者状態検出部42は、撮影された目の情報から運転者を特定し、運転者の走行に係る上記情報を運転者別に保存する。
That is, in the case where a plurality of drivers share a single vehicle on which the
また、運転者状態検出部42は、情報呈示閾値Lを求めるとともに、上記のように得られる運転者状態判定値Iと情報呈示閾値Lとを比較し、運転者状態判定値Iが情報呈示閾値Lよりも大きくなると、異常状態になる可能性が高いと判定する。
Further, the driver
情報呈示閾値Lを具体的に説明する。まず、運転者状態検出部42に保存されている運転者ごとの情報の内、現在自動車を運転している運転者(現在赤外線カメラ41で撮影されている運転者)の情報を用いる。なお、運転者20は、現在自動車1を運転している運転者を示す。
The information presentation threshold L will be specifically described. First, of the information for each driver stored in the driver
具体的には、現在自動車1を運転している運転者20の過去の走行のうち、走行距離が予め設定される所定距離以上のものの数(走行数)をnとする。現在自動車1を運転している運転者20の過去の走行のうち、走行距離が予め設定される所定距離以上の各走行の各々の走行時間をTkとする。現在自動車を運転している運転者の過去の走行のうち、走行距離が予め設定される所定距離以上の各走行の各々のパニック発生度数Pの積算値をPkとする。なお、kは、1からnまでの変数である。kは、n個ある走行距離が予め設定される所定距離以上の走行のうちの各々の番号を示す。
Specifically, the number (the number of traveling) of the past traveling of the
つまり、k=1のときは、n個ある走行距離が予め設定される所定距離以上の走行のうちのある1つの走行を示し、走行時間T1は、当該1つの走行での走行時間を示す。k=2のとき、つまり、走行時間T2は、走行距離が予め設定される所定距離以上のもののうち2つ目の走行での走行時間を示す。パニック発生度数Pの積算値Pkについても同様である。k=1のとき、つまり、積算値P1は、走行距離が予め設定される所定距離以上のもののうち、ある1つの走行でのパニック発生度数Pの積算値を示す。k=2のとき、つまり、積算値P2は、走行距離が予め設定される所定距離以上のもののうち、2つの目の走行でのパニック発生度数Pの積算値を示す。このように、TkとPkとは、n個ある走行のうちk番目の走行時間とパニック判定度数Pの積算値を示す。 In other words, when k = 1, n represents a certain one of the travelings in which the traveling distance is equal to or greater than a predetermined distance, and the traveling time T1 represents the traveling time for the one traveling. When k = 2, that is, the travel time T2 indicates the travel time in the second travel among the travel distances equal to or greater than a predetermined distance set in advance. The same applies to the integrated value Pk of the panic occurrence frequency P. When k = 1, that is, the integrated value P1 indicates the integrated value of the panic occurrence frequency P in a certain traveling out of the traveling distances equal to or greater than a predetermined distance set in advance. When k = 2, that is, the integrated value P2 indicates an integrated value of the panic occurrence frequency P in the second traveling among the traveling distances equal to or greater than a predetermined distance set in advance. Thus, Tk and Pk indicate the integrated values of the kth travel time and the panic determination frequency P among the n travels.
現在自動車1を運転している運転者20の過去の走行のうち走行距離が予め設定される所定距離以上の各走行でのパニック発生度数Pの積算値Pkの合計を、当該各走行の走行時間Tkの合計値で割って得られる単位時間値の平均値Aは、
となる。 It becomes.
現在の走行での走行時間をTaとすると、情報呈示閾値Lは、平均値Aに現在の走行の走行時間Taをかけた値である。情報呈示閾値Lは、
となる。 It becomes.
パニック予兆判定部43は、情報呈示閾値Lと運転者状態判定値I(現在の走行でのパニック発生度数Pの積算値Pe)とを比較し、情報呈示閾値Lが、現在の走行での運転者状態判定値Iよりも大きくなると(I>L)、運転者20が異常状態になる可能性が高い状態であると判定する。運転者状態検出部42は、本発明で言う運転者状態検出手段の一例である。パニック予兆判定部43は、本発明で言う判定手段の一例である。
The panic
また、パニック予兆判定部43は、覚醒度が第1のレベルであるか否かを判定する。パニック予兆判定部43は、覚醒度が第1のレベルである場合には、運転者20が眠気を有しているので、運転者20の覚醒度を向上するべく、警報装置60を制御し、警報を発する。また、運転者20の覚醒度を向上するべく、放香装置70を制御して覚醒度を向上する効果を有する香りを放出する。
In addition, the panic
なお、ここで用いる警報装置60と放香装置70とオーディオ装置とは、運転者20の覚醒度を向上するために用いられる手段の一例であるので、他の装置や方法が用いられてもよい。例えば、放香装置70が用いられずに警報装置60とオーディ装置だけであってもよい。要するに、運転者20の覚醒度を向上する効果を有する装置や方法が用いられればよい。
Note that the
情報表示装置50は、運転者20が確認しやすい位置に設けられている。情報表示装置50は、例えばモニターなどである。情報表示装置50は、パニック予兆判定部43によって制御される。パニック予兆判定部43が、運転者20が異常状態になる可能性が高い状態であると判定すると、情報表示装置50は、パニック予兆判定部43の制御によって、意図しない操作が行われる可能性が高い状態であること、パニックになる可能性が高い状態であることを表示する。表示方法としては、例えば、文字や絵などであってもよい。または、色であってもよい。情報表示装置50は、本発明で言う注意手段の一例である。なお、注意手段の他の例としては、例えば、音で運転者に注意を呼びかける構造であってもよい。
The
つぎに、運転者支援装置10の動作を説明する。まず、運転者20が乗車してイグニッションキーをスタートまで回す。すると、エンジンが駆動されて、自動車が走行可能な状態になるとともに運転者支援装置10が動作を開始する。
Next, the operation of the
運転者支援装置10は、動作が開始されると(自動車の走行が開始すると)、まず、運転者20の長いまばたきを検出するための判定時間Tsを検出する。図13は、運転初期期間の運転者支援装置10の動作を示すフローチャートであって、運転者の長いまばたきを判定する判定時間Tsを算出する動作を示す。ここで言う運転初期期間とは、自動車の走行可開始から後述される所定時間が経過するまでの期間である。
When the operation is started (when the vehicle starts to travel), the
図13に示すように、運転者支援装置10は、動作が開始されると、ステップST1にて赤外線カメラ30によって運転者20の目21を所定時間撮影する。本実施形態では、この所定時間の一例として5分とする。表情検出部41は、赤外線カメラ30によって撮影された運転者20の目21の映像から、運転者20のまばたきの回数および各まばたきの時間(まばたき閉じ時間)を検出する。また、運転者20の視線の動き(軌跡)を検出する。運転者20の目21を所定時間(五分間)撮影すると、ついで、ステップST2に進む。
As shown in FIG. 13, when the operation is started, the
ステップST2では、撮影された映像から、運転者20の個人認証を行う。運転者20は、過去自動車を走行しており、運転者状態検出部42は、運転者20の過去の走行の情報を記憶している。
In step ST2, personal authentication of the
運転者の情報は、一例として、運転者20の走行距離が予め設定された所定距離以上のものの数nと、運転者20の判定時間Tsと、運転者20の過去の走行のうち走行距離が所定距離以上の各走行の走行時間Tkや、過去の走行のうち所定距離以上走行した各走行のパニック発生度数Pの積算値Pkである。ここで用いた所定距離は、互いに同じ距離であってよく、任意に決定できる。
The driver information includes, as an example, the number n of the driving distances of the
ステップST2で運転者20の個人認証が行われると、運転者状態検出部42は、本ステップST2で認証された運転者20の過去の走行に係る情報をみる。
When personal authentication of the
ついで、ステップST3に進む。ステップST3では、運転者状態検出部42は、ステップST1で検出したまばたきに基づいて、図3に示すグラフを作成する。ついで、運転者状態検出部42は、運転者20の判定時間Tsを算出する。
Then, the process proceeds to step ST3. In step ST3, the driver
また、運転者状態検出部42は、運転者20の過去の走行の際に算出された判定時間Tsの平均値と、今回ステップST3で算出された判定時間Tsとを比較する。比較の結果、過去の走行で算出された判定時間Tsの平均値に対して、今回算出された判定時間Tsが大きく離れている場合は、今回ステップST3で算出された判定時間Tsは用いられず、過去の走行の判定時間Tsの平均値が用いられる。そして、今回ステップST3で算出された判定時間Tsは、運転者20の情報として記憶されない。
In addition, the driver
また、ステップST3では、運転者状態検出部42は、ステップST1で撮影された運転者20の目21の映像から、速度計、ルームミラー、ドアミラーなどの運転者20がよく見る視認対象での視線の動きを表す図6,7に示されるようなリターンマップを作成し、当該リターンマップから運転者20のカオス性指標値を検出する。
Further, in step ST3, the driver
運転初期期間は、運転者20は、充分に覚醒しており、かつ、認知度が充分高い状態である。このため、ステップST3で検出される運転者20のカオス性指標値は、運転者20の認知度を算出する際の基準値として用いられる。
During the initial driving period, the
運転者20の判定時間Tsが算出され、かつ、運転初期期間でのカオス性指標値が算出されると、ついで、図14に示される動作が開始される。図14は、運転初期期間経過以降での運転者支援装置10の動作を示すフローチャートである。図14を用いて運転初期期間以降の運転者支援装置10の動作を説明する。
When the determination time Ts of the
まず、運転初期期間が経過した直後(例えば、自動車の走行開始10分後など)について説明する。この状態を、第1の運転状態O1とする。第1の運転状態O1は、運転開始から間もないので、運転者20に眠気がなく、かつ、認知度も充分高い状態である。このため、異常状態になる可能性が低い状態である
図14に示すように、ステップST21では、赤外線カメラ30によって、運転者20の目21を所定時間撮影する。表情検出部41は、撮影された運転者20の目21の映像から、運転者20のまばたきの回数と各まばたきの時間とを検出する。なお、ここで言う所定時間は、運転初期期間のステップST1での運転者の画像取得の際の所定時間と同じであってよく、本実施形態では、一例として5分とする。なお、運転初期期間のステップST1での運転者の画像取得の際の所定時間と異なってもよい。所定時間の運転者20の目21の映像が取得されると、ついで、ステップST22に進む。
First, a description will be given immediately after the initial driving period has elapsed (for example, 10 minutes after the start of traveling of the automobile). This state is referred to as a first operation state O1. Since the first driving state O1 is shortly after the start of driving, the
ステップST22では、運転者20の覚醒度を検出する。まず、運転者状態検出部42は、運転初期期間に検出された判定時間Tsを用いて、長いまばたきを検出する。ついで、ステップST21での所定時間内の全まばたきの回数N1に対するステップST21の所定時間内の長いまばたきの回数N2の割合Rを検出する。割合Rが検出されると、当該割合Rに基づいて、運転者20の覚醒度のレベルを判定する。第1の運転状態O1では、運転者20は眠気を有しておらず、それゆえ、覚醒度は、第5のレベルであるとする。覚醒度が検出されると、ついで、ステップST23に進む。
In step ST22, the awakening level of the
ステップST23では、パニック予兆判定部43は、ステップST22で検出された覚醒度が第1のレベルであるか否かを判定する。第1の運転状態O1では、覚醒度は、第5のレベルであるので、ついで、ステップST24に進む。
In step ST23, the panic
ステップST24では、運転者状態検出部42は、運転者20の認知度を検出する。具体的には、ステップST21で検出された運転者20の目21の映像から、図6,7に示されるようなリターンマップを作成し、ステップST21で検出された運転者20の目21の視線の動きから現時点の運転者20のカオス性指標値を算出する。運転者20がよく見る視認対象ごとに形成されるリターンマップのいずれかが用いられればよい。
In step ST24, the driver
ついで、ここで得られたカオス性指標値と、運転初期期間のステップST4で算出された運転初期の運転者20のカオス性指標値とを比較する。第1の運転状態O1では、運転者20の認知度は充分に高い状態であるので、運転初期期間でのカオス性指標値に対する変化量が小さい。このため、運転者20の認知度は、高レベル状態であると判定される。運転者20の認知度が算出されると、ついでステップST25に進む。
Next, the chaotic index value obtained here is compared with the chaotic index value of the
ステップST25では、運転者状態検出部42は、図12に示されるマップを用いて、ステップST22,ST23で算出された覚醒度と認知度とに基づいて、運転者20のパニック発生度数Pを算出する。
In step ST25, the driver
第1の運転状態O1では、覚醒度が第5のレベルであり、認知度が高状態である。このため、パニック発生度数Pkは、0(零)となる。パニック発生度数Pが算出されると、ついで、ステップST26に進む。 In the first driving state O1, the arousal level is the fifth level and the degree of recognition is high. For this reason, the panic occurrence frequency Pk is 0 (zero). When the panic occurrence frequency P is calculated, the process proceeds to step ST26.
ステップST26では、運転者状態検出部42は、運転者状態判定値Iである現在の走行でのパニック発生度数Pの積算値Peを算出する。現在の走行でのパニック発生度数Pの積算値Peとは、走行が開示されてから現時点までに算出されたパニック発生度数Pの積算値である。現在の走行でのパニック発生度数の積算値が算出されると、ついで、ステップST27に進む。
In step ST26, the driver
ステップST27では、運転者状態検出部42は、情報呈示閾値Lを算出する。具体的には、情報呈示閾値Lは、上記したように、運転者20の過去の走行のうち予め設定される所定距離以上走行した各走行のパニック発生度数の積算値の合計値を、予め設定される所定距離以上走行した各走行の各々の走行時間の合計値でわって得られる、過去の積算値の単位時間当たりの平均値Aに、現在の走行の走行時間Taをかけた値である。
In step ST27, the driver
このため、運転者状態検出部42は、現在の走行での走行時間Taを算出し、運転者20の過去の走行でのパニック発生度数の積算値の単位時間当たりの平均値Aを算出し、これら走行時間Taと平均値Aとから、情報呈示閾値Lを算出する。情報呈示閾値Lが算出されると、ついで、ステップST28に進む。
Therefore, the driver
ステップST28では、パニック予兆判定部43は、ステップST27で算出された運転者の情報呈示閾値Lと、現在の走行でのパニック発生度数Pの積算値Peとを比較する。第1の状態では、運転者20が充分に覚醒しており、かつ、運転者20の認知度も十分に高い状態である。このため、第1の運転状態O1では、パニック発生度数Pの積算値Peは、大きな値とはならず、それゆえ、情報呈示閾値L以下となる(L≦Pe、つまりL≦I)。
In step ST28, the panic
ついで、ステップST21に戻る。そして、再びステップST21から動作が開始される。第1の運転状態O1のように運転者20が充分に覚醒しており(例えば、覚醒度が第5のレベル)、かつ、運転者20の認知度が充分に高い状態(例えば、認知度が高状態)
では、上記と同様に、ステップST21〜ST28の動作が繰り返される。
Then, the process returns to step ST21. Then, the operation is started again from step ST21. As in the first driving state O1, the
Then, similarly to the above, the operations of steps ST21 to ST28 are repeated.
なお、ステップST21に戻ると、前回のステップST21で所定時間内に検出されたまばたきの全回数N1と長いまばたきの回数N2とは消去され、新たに所定時間内に検出されたまばたきの全回数N1と長いまばたきの回数N2とが保存される。そして、以降の動作(ステップ)では、新たに検出されたまばたきの全回数N1と長いまばたきの回数N2とが用いられる。そして、再びステップST21に戻ると、同様にN1,N2がリセットされる。 When returning to step ST21, the total number N1 of blinks detected within a predetermined time in the previous step ST21 and the number N2 of long blinks are deleted, and the total number N1 of blinks newly detected within a predetermined time is deleted. And the number N2 of long blinks are stored. In the subsequent operation (step), the newly detected total number N1 of blinks and the long number N2 of blinks are used. Then, when returning to step ST21 again, N1 and N2 are similarly reset.
つぎに、第1の運転状態O1を経て、運転状態が長時間となり、それゆえ、運転者20が眠気を有している状態での運転者支援装置10の動作を説明する。この状態を第2の運転状態O2とする。
Next, the operation of the
ステップST21の動作は、第1の運転状態O1と同じである。ステップST22では、判定時間Tsを用いて、ステップST21で検出された運転者20のまばたきのうちの長いまばたきを検出するとともに、ステップST21で検出された全まばたき回数N1に対するステップST21で検出された長いまばたきの回数N2の割合Rを検出する。第2の運転状態O2では、運転者20が眠気を有しており、それゆえ、覚醒度は、第1のレベルとする。ついで、ステップST23に進む。
The operation in step ST21 is the same as that in the first operating state O1. In step ST22, using the determination time Ts, a long blink among the blinks of the
ステップST23では、運転者20の覚醒度が第1のレベルであると判定され、ついで、ステップST29に進む。 In step ST23, it is determined that the driver's arousal level is the first level, and then the process proceeds to step ST29.
ステップST29では、覚醒度を向上するための刺激が運転者20に供給される。覚醒度を向上するための刺激としては、視覚、聴覚、触覚、嗅覚に対する刺激がある。本実施形態では、一例として、警報装置60から警報が発せられる。また、放香装置70から覚醒度を向上する効果を有する香りが発せられる。また、オーディオ装置から覚醒度を向上する効果を有する音楽が流れる。覚醒度向上のための刺激が運転者20に供給されると、ついで、ステップST24に進む。
In step ST29, a stimulus for improving the arousal level is supplied to the
なお、ここで一例として用いた第2の運転状態O2では、現在の走行でのパニック発生度数Pの積算値Peは、情報呈示閾値L以下としている。 Note that, in the second driving state O2 used as an example here, the integrated value Pe of the panic occurrence frequency P in the current travel is set to the information presentation threshold value L or less.
つぎに、運転時間が長くなり、運転者20の覚醒度が低下し、かつ、運転者20の認知度が低下した状態での運転者支援装置10の動作を説明する。この状態を第3の運転状態O3とする。第3の運転状態O3では、運転に対する集中度である認知度が低下している状態である。このため、運転者20は、パニックになる可能性が高い状態または意図しない操作を行う可能性が高い状態のうち少なくともいずれか一方の状態、つまり、異常状態になる可能性が高い状態意である。
Next, the operation of the
ステップST28では、現在の走行でのパニック発生度数Pの積算値Peと情報呈示閾値Lとが比較される。第3の運転状態O3では、覚醒度が低下し、かつ、認知度が低下しており、それゆえ、現在の走行のパニック発生度数Pの積算値Peは、情報呈示閾値Lより大きくなる(Pe>L、つまりI>L)。ついで、ステップST30に進む。 In step ST28, the integrated value Pe of the panic occurrence frequency P in the current travel is compared with the information presentation threshold value L. In the third driving state O3, the arousal level is decreased and the recognition level is decreased. Therefore, the integrated value Pe of the panic occurrence frequency P of the current driving is larger than the information presentation threshold L (Pe). > L, ie I> L). Then, the process proceeds to step ST30.
ステップST30では、パニック予兆判定部43は、現在の走行でのパニック発生度数Pの積算値Peが情報呈示閾値Lより大きいことから、運転者20が異常状態になる可能性が高い状態であると判定する。ついで、情報表示装置50が、意図しない操作が行われる可能性が高い状態またはパニック状態になる可能性が高い状態であることを表示する。
In step ST30, the panic
情報表示装置50が情報を呈示すると、再びステップST21から動作か開始される。なお、情報表示装置50は、現在の走行でのパニック発生度数Pの積算値Peが、情報呈示閾値L以下とならない状態では、情報を呈示し続ける。
When the
このように、運転者支援装置10によれば、覚醒度と認知度とを用いてパニック発生度数を検出する。認知度は、運転者の運転に対する集中度を示す。運転者20が意図しない操作をする状態およびパニック状態は、運転者20の運転に対する集中度が低下している状態で発生する傾向にある。このため、認知度を用いることによって、運転者20が異常状態になる可能性が高い状態を判定することができる。
Thus, according to the
この結果、運転者20が意図しない操作が行われる前、または、運転者20がパニック状態になる前に、運転者20にその予兆を知られるせることができるので、事故の発生を抑制することができる。
As a result, before the
また、覚醒度を運転者20のまばたきに基づいて検出し、認知度を運転者20の視線の動きに基づいて検出する。このように、覚醒度と認知度とは、運転者20の目21の状態を検出するだけでよい。本実施形態では、運転者20の目21の状態を検出する手段の一例として、赤外線カメラ30が用いられる。このように、運転者支援装置10の構造を簡素にすることができるので、運転者支援装置10のコストが高くなることを抑制することができる。
Further, the degree of arousal is detected based on the blink of the
このように、運転者支援装置10は、事故の発生を簡素な構造で抑制することができる。
Thus, the
つぎに、本発明の第2の実施形態に係る運転者支援装置を、図15〜18を用いて説明する。なお、第1の実施形態と同様の機能を有する構成は、第1の実施形態と同一の符号を付して説明省略する。本実施形態では、運転者支援装置10では、情報呈示閾値Lが用いられず、現在の走行でのパニック発生度数Pの積算値Peを情報表示装置50が表示する。このため、本実施形態では、第1の実施形態に対して、情報呈示閾値Lに係る動作が行われない点が異なる。他の点は第1の実施形態と同様であってよい。上記異なる点について、具体的に説明する。
Next, a driver assistance apparatus according to a second embodiment of the present invention will be described with reference to FIGS. In addition, the structure which has the same function as 1st Embodiment attaches | subjects the code | symbol same as 1st Embodiment, and abbreviate | omits description. In the present embodiment, in the
図15は、本実施形態の運転者支援装置10を示す概略図である。本実施形態では、上記したように情報呈示閾値Lを用いない。このため、運転者支援装置10は、パニック予兆判定部43を備えていない。また、運転者状態検出部42は、情報呈示閾値Lを算出しない。警報装置60と放香装置70と情報表示装置50の動作は、運転者状態検出部42によって制御される。
FIG. 15 is a schematic diagram showing the
本実施の運転者支援装置10の運転初期期間の動作では、図13に示されるステップST3において、情報呈示閾値Lが算出されない。運転初期期間の動作は、上記点を除いて、第1の実施形態と同様であってよい。
In the operation in the initial driving period of the
図16は、本実施形態の運転者支援装置10において、運転初期期間以降の動作を示すフローチャートである。図15に示されるステップにおいて、第1の実施形態の図14で説明されたステップと同様の動作内容のステップは、図14に示されるステップと同じ符号を付して説明を省略する。図15に示すように、本実施形態の運転者支援装置10では、ステップST27,ST28,ST30に代えて、ステップST31で示される動作を備えている。
FIG. 16 is a flowchart showing an operation after the initial driving period in the
ステップST26についで、ステップST31に進む。ステップST31では、情報表示装置50は、運転者状態検出部42の制御によって、ステップST26で算出された現在の走行でのパニック発生度数Pの積算値Peを示す。本実施形態では、情報表示装置50は、本発明で言う表示装置の一例である。
After step ST26, the process proceeds to step ST31. In step ST31, the
パニック発生度数の積算値Peの表示方法の一例として、グラフが用いられる。図17は、現在の走行でのパニック発生度数の積算値Peを示す棒グラフである。図18は、表示方法の他の例である。図18は、現在の走行でのパニック発生度数の積算値Peを示す時系列グラフである。 A graph is used as an example of a method of displaying the integrated value Pe of the panic occurrence frequency. FIG. 17 is a bar graph showing the integrated value Pe of the panic occurrence frequency in the current travel. FIG. 18 is another example of the display method. FIG. 18 is a time-series graph showing the integrated value Pe of the panic occurrence frequency in the current travel.
本実施形態では、運転者20は、現在の走行でのパニック発生度数の積算値Peを見ることができるので、運転者20の現在の状態を把握することができる。例えば、パニック発生度数の積算値Peが高くなれば、異常状態になる可能性が高くなっていることを把握することができる。
In the present embodiment, since the
このため、本実施形態であっても、第1の実施形態と同様の効果を得ることができる。 For this reason, even in the present embodiment, the same effect as in the first embodiment can be obtained.
なお、本実施形態では、運転者支援装置10は、パニック予兆判定部43を備えていない。しかしながら、例えば、第1の実施形態で用いられた、パニック予兆判定部43を備える運転者支援装置10が、第2の実施形態で説明されたように、パニック発生度数の積算値Peを表示するようにしてもよい。または、第1の実施形態で説明された運転者支援装置10が、第1の実施形態で説明された情報呈示閾値Lとの比較を行う動作と、第2の実施形態で説明されたパニック発生度数の積算値Peを表示する動作とを切換えて行えるようにしてもよい。
Note that in the present embodiment, the
この発明は、上述した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述した実施の形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。更に、異なる実施の形態に亘る構成要素を適宜組み合わせてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[付記1]
運転者のまばたきに基づいて運転者の覚醒度を検出する覚醒度検出手段と、
運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、
運転者が意図しない操作を行った状態と運転者がパニックになった状態とのうち少なくともいずれか一方の状態である異常状態になる可能性が高い状態を判定する閾値を検出する閾値検出手段と、
前記覚醒度検出手段によって検出された運転者の覚醒度および前記認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、
前記運転者状態判定値を前記閾値と比較し、運転者が前記異常状態になる可能性が高い状態であるか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、運転者に注意する注意手段と
を具備することを特徴とする運転支援装置。
[付記2]
前記認知度と前記覚醒度との組み合わせから求められるパニック発生度数をPとし、
車両の過去の走行のうち、所定距離以上走行した回数をnとし、
kを1からnまでの変数とした場合、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番目の走行での前記パニック発生度数Pの積算値をPkとし、
前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番面の走行での走行時間をTkとし、
現在の走行の走行時間をTaとし、
前記閾値をLとすると、
前記運転者状態判定値を、現在の走行での前記パニック発生度数の積算値であるIとすると、
前記判定手段は、前記運転者状態判定値Iが前記閾値Lより大きくとなると、前記運転者が前記異常状態になる可能性が高い状態であると判定する
ことを特徴とする付記1に記載の運転支援装置。
[付記3]
運転者のまばたきに基づいて運転者の覚醒度を検出する覚醒度検出手段と、
運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、
前記覚醒度検出手段によって検出された運転者の覚醒度および前認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、
現在の走行の前記運転者状態判定値を表示する表示装置と
を具備することを特徴とする運転支援装置。
The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. Furthermore, you may combine the component covering different embodiment suitably.
Hereinafter, the invention described in the scope of claims of the present application will be appended.
[Appendix 1]
Wakefulness detection means for detecting the driver's wakefulness based on the driver's blink,
A degree of recognition detecting means for detecting a degree of recognition indicating the degree of concentration of the driver with respect to driving based on the movement of the driver's line of sight;
Threshold detection means for detecting a threshold for determining a state that is likely to be an abnormal state that is at least one of a state in which the driver performs an unintended operation and a state in which the driver panics; ,
A driver that detects a driver state determination value indicating a driving state of the driver based on the driver's arousal level detected by the arousal level detection unit and the driver's level of recognition detected by the recognition level detection unit. State determination value detection means;
A determination unit that compares the driver state determination value with the threshold value and determines whether or not the driver is likely to be in the abnormal state.
Attention means for paying attention to the driver based on the determination result of the determination means;
A driving support apparatus comprising:
[Appendix 2]
The panic occurrence frequency obtained from the combination of the degree of recognition and the degree of arousal is P,
Of the past driving of the vehicle, n is the number of times the vehicle has traveled more than a predetermined distance,
When k is a variable from 1 to n, among the past travels of the vehicle, the integrated value of the panic occurrence frequency P in the kth travel out of travels that have traveled more than the predetermined distance is defined as Pk,
Of the past travels of the vehicle, the travel time on the kth travel out of travels that have traveled more than the predetermined distance is Tk,
Let Ta be the running time of the current run,
If the threshold is L,
When the driver state determination value is I, which is an integrated value of the panic occurrence frequency in the current travel,
When the driver state determination value I is greater than the threshold value L, the determination unit determines that the driver is highly likely to be in the abnormal state.
The driving support apparatus according to
[Appendix 3]
Wakefulness detection means for detecting the driver's wakefulness based on the driver's blink,
A degree of recognition detecting means for detecting a degree of recognition indicating the degree of concentration of the driver with respect to driving based on the movement of the driver's line of sight;
A driver that detects a driver state determination value indicating a driving state of the driver based on the driver's arousal level detected by the arousal level detection unit and the driver's level of recognition detected by the previous recognition level detection unit. State determination value detection means;
A display device for displaying the driver state determination value of the current travel;
A driving support apparatus comprising:
10…運転支援装置、20…運転者、30…赤外線カメラ(覚醒度検出手段、認知度検出手段)、41…表情検出部(覚醒度検出手段、認知度検出手段)、42…運転者状態検出部(覚醒度検出手段、認知度検出手段、運転者状態判定値検出手段)、43…パニック予兆判定部(判定手段)、50…情報表示装置(注意手段、表示装置)。
DESCRIPTION OF
Claims (2)
運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、
運転者が意図しない操作を行った状態と運転者がパニックになった状態とのうち少なくともいずれか一方の状態である異常状態になる可能性が高い状態を判定する閾値を検出する閾値検出手段と、
前記覚醒度検出手段によって検出された運転者の覚醒度および前記認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、
前記運転者状態判定値を前記閾値と比較し、運転者が前記異常状態になる可能性が高い状態であるか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、運転者に注意する注意手段と
を具備することを特徴とする運転支援装置。 Wakefulness detection means for detecting the driver's wakefulness based on the driver's blink,
A degree of recognition detecting means for detecting a degree of recognition indicating the degree of concentration of the driver with respect to driving based on the movement of the driver's line of sight;
Threshold detection means for detecting a threshold for determining a state that is likely to be an abnormal state that is at least one of a state in which the driver performs an unintended operation and a state in which the driver panics; ,
A driver that detects a driver state determination value indicating a driving state of the driver based on the driver's arousal level detected by the arousal level detection unit and the driver's level of recognition detected by the recognition level detection unit. State determination value detection means;
A determination unit that compares the driver state determination value with the threshold value and determines whether or not the driver is likely to be in the abnormal state.
A driving support device comprising: a caution unit that pays attention to a driver based on a determination result of the determination unit.
車両の過去の走行のうち、所定距離以上走行した回数をnとし、
kを1からnまでの変数とした場合、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番目の走行での前記パニック発生度数Pの積算値をPkとし、
前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番面の走行での走行時間をTkとし、
現在の走行の走行時間をTaとし、
前記閾値をLとすると、
前記運転者状態判定値を、現在の走行での前記パニック発生度数の積算値であるIとすると、
前記判定手段は、前記運転者状態判定値Iが前記閾値Lより大きくとなると、前記運転者が前記異常状態になる可能性が高い状態であると判定する
ことを特徴とする請求項1に記載の運転支援装置。 The panic occurrence frequency obtained from the combination of the degree of recognition and the degree of arousal is P,
Of the past driving of the vehicle, n is the number of times the vehicle has traveled over a predetermined distance
When k is a variable from 1 to n, among the past travels of the vehicle, the integrated value of the panic occurrence frequency P in the kth travel out of travels that have traveled more than the predetermined distance is defined as Pk,
Of the past travels of the vehicle, the travel time on the kth travel out of travels that have traveled more than the predetermined distance is Tk,
Let Ta be the running time of the current run,
If the threshold is L,
When the driver state determination value is I, which is an integrated value of the panic occurrence frequency in the current travel,
2. The determination unit according to claim 1, wherein when the driver state determination value I is greater than the threshold L, the determination unit determines that the driver is highly likely to be in the abnormal state. Driving assistance device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218045A JP5177102B2 (en) | 2009-09-18 | 2009-09-18 | Driving assistance device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218045A JP5177102B2 (en) | 2009-09-18 | 2009-09-18 | Driving assistance device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011062465A JP2011062465A (en) | 2011-03-31 |
JP5177102B2 true JP5177102B2 (en) | 2013-04-03 |
Family
ID=43949354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009218045A Expired - Fee Related JP5177102B2 (en) | 2009-09-18 | 2009-09-18 | Driving assistance device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5177102B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10901504B2 (en) | 2018-10-05 | 2021-01-26 | Hyundai Motor Company | Gaze detection apparatus and congestion control method thereof |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012219979A (en) * | 2011-04-13 | 2012-11-12 | Denso Corp | Shift control device for vehicle |
JP6281238B2 (en) * | 2013-10-22 | 2018-02-21 | 三菱自動車工業株式会社 | Recognition degree estimation device and recognition degree estimation method |
CN103770733B (en) * | 2014-01-15 | 2017-01-11 | 中国人民解放军国防科学技术大学 | Method and device for detecting safety driving states of driver |
CN106448088A (en) * | 2016-10-15 | 2017-02-22 | 成都育芽科技有限公司 | Intelligent wearable eyesight protecting device and method |
JP6811834B2 (en) * | 2017-02-15 | 2021-01-13 | 三菱電機株式会社 | Operating condition determination device and operating condition determination method |
JP6841713B2 (en) * | 2017-04-24 | 2021-03-10 | アルパイン株式会社 | Drowsiness judgment device |
JP6678147B2 (en) * | 2017-10-20 | 2020-04-08 | オムロン株式会社 | Danger sign determination device, danger sign determination system, vehicle, and program |
DE112017008148B4 (en) * | 2017-11-21 | 2021-12-16 | Mitsubishi Electric Corporation | Anomaly detection device and anomaly detection method |
CN108198553B (en) | 2018-01-23 | 2021-08-06 | 北京百度网讯科技有限公司 | Voice interaction method, device, equipment and computer readable storage medium |
CN116849660B (en) * | 2023-06-20 | 2024-04-02 | 中公高远(北京)汽车检测技术有限公司 | Automatic auxiliary driving test method, system, storage medium and electronic equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06127286A (en) * | 1992-10-20 | 1994-05-10 | Toyota Motor Corp | Vehicle control device |
JP3183161B2 (en) * | 1996-04-12 | 2001-07-03 | 三菱自動車工業株式会社 | Arousal level estimation device |
JPH11276461A (en) * | 1998-03-27 | 1999-10-12 | Suzuki Motor Corp | Attention measuring device and information presenting device using the same |
JP3895615B2 (en) * | 2002-03-01 | 2007-03-22 | あいおい損害保険株式会社 | Traffic safety support device, traffic safety support system, and traffic safety support program |
JP2007265377A (en) * | 2006-03-01 | 2007-10-11 | Toyota Central Res & Dev Lab Inc | Driver state determining device and driving support device |
-
2009
- 2009-09-18 JP JP2009218045A patent/JP5177102B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10901504B2 (en) | 2018-10-05 | 2021-01-26 | Hyundai Motor Company | Gaze detection apparatus and congestion control method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2011062465A (en) | 2011-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5177102B2 (en) | Driving assistance device | |
JP5326521B2 (en) | Arousal state determination device and arousal state determination method | |
US9873437B2 (en) | Coordinated vehicle response system and method for driver behavior | |
CN111492420B (en) | Doze alarm device | |
JP4811255B2 (en) | State estimation device | |
US20150379362A1 (en) | Imaging device based occupant monitoring system supporting multiple functions | |
WO2014068892A1 (en) | Passenger monitoring device | |
WO2014149657A1 (en) | Coordinated vehicle response system and method for driver behavior | |
JP2008013004A (en) | Driving support system by generating flavor | |
Varma et al. | Accident prevention using eye blinking and head movement | |
JP2019195377A (en) | Data processing device, monitoring system, awakening system, data processing method, and data processing program | |
US20220036101A1 (en) | Methods, systems and computer program products for driver monitoring | |
JP2002254956A (en) | Device for detecting falling-off awakened condition | |
JP2018013811A (en) | Driver state determination device and driver state determination program | |
JPH07156682A (en) | Awakening condition detecting device | |
JP2008197916A (en) | Sleep preventing device for vehicle driver | |
JP6701951B2 (en) | Driving support device | |
JP2005329800A (en) | In-vehicle equipment control device | |
US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
JP2012093867A (en) | Notification system | |
JPH08290726A (en) | Doze alarm device | |
US10945651B2 (en) | Arousal level determination device | |
CN113879319B (en) | Drowsiness sign notification system | |
JP7192668B2 (en) | Arousal level determination device | |
Abdullah et al. | Driver fatigue detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5177102 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160118 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |