[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5177102B2 - Driving assistance device - Google Patents

Driving assistance device Download PDF

Info

Publication number
JP5177102B2
JP5177102B2 JP2009218045A JP2009218045A JP5177102B2 JP 5177102 B2 JP5177102 B2 JP 5177102B2 JP 2009218045 A JP2009218045 A JP 2009218045A JP 2009218045 A JP2009218045 A JP 2009218045A JP 5177102 B2 JP5177102 B2 JP 5177102B2
Authority
JP
Japan
Prior art keywords
driver
state
level
driving
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009218045A
Other languages
Japanese (ja)
Other versions
JP2011062465A (en
Inventor
真吾 入方
有宏 磯村
学 黒田
富治 大和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP2009218045A priority Critical patent/JP5177102B2/en
Publication of JP2011062465A publication Critical patent/JP2011062465A/en
Application granted granted Critical
Publication of JP5177102B2 publication Critical patent/JP5177102B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、運転者のパニック行動などの危険の発生を抑制する技術に関する。   The present invention relates to a technique for suppressing the occurrence of danger such as a driver's panic behavior.

従来、自動車の事故の発生の原因としては、乗員が、当該乗員の意図しない操作を行うこと、例えば、後進するべくアクセルを踏み込んだ場合にギヤが前進に設定されていることがある。このような場合であっても事故の発生を抑制するために、運転者の意図に反する運転操作が行われた際に、車両の動作を制御する安全装置を備えることが提案されている。   Conventionally, as a cause of the occurrence of an automobile accident, there is a case where the occupant performs an operation unintended by the occupant, for example, when the accelerator is depressed to move backward, the gear is set to advance. In order to suppress the occurrence of an accident even in such a case, it has been proposed to include a safety device that controls the operation of the vehicle when a driving operation contrary to the driver's intention is performed.

この種の安全装置は、カメラ装置によって撮影した運転者の撮影映像を解析することによって、各時点での運転者の意図を検出する。また、ギヤの位置を検出するギヤ検知部を備えており、ギヤの位置から車両が前進するのか後進するのかを検出する。   This type of safety device detects the driver's intention at each point in time by analyzing the driver's captured image captured by the camera device. A gear detection unit that detects the position of the gear is provided, and detects whether the vehicle moves forward or backward from the position of the gear.

安全装置は、運転者の意図が前進の場合においてギヤの位置が後進にある場合には、運転者による操作が当該運転者の意図とは異なると判断して、アクセル操作を無効にする。同様に、運転者の意図が後進の場合においてギヤの位置が前進にある場合には、アクセル操作を無効する(例えば、特許文献1参照。)。   When the driver's intention is forward and the gear position is in reverse, the safety device determines that the operation by the driver is different from the driver's intention and invalidates the accelerator operation. Similarly, when the driver's intention is reverse, when the gear position is forward, the accelerator operation is invalidated (see, for example, Patent Document 1).

また、自動車の事故の発生原因として、乗員がパニック状態になることによって車両の制御が不安定になることがある。このような場合であっても事故の発生を抑制するために、運転者のパニック状態を判定すると、車両が安全に走行していないとして危険を回避するように車両を制御する走行制御装置が提案されている。   In addition, as a cause of the occurrence of an automobile accident, the control of the vehicle may become unstable due to the occupant panicking. In order to suppress the occurrence of an accident even in such a case, when the driver's panic state is determined, a travel control device is proposed that controls the vehicle so as to avoid danger as the vehicle is not traveling safely. Has been.

この種の走行制御装置では、運転者の腕の動き方やペダルの踏み込み方などの運転者の動作量、および、運転者の発する声の大きさによって、運転者がパニック状態であるか否かを判定する(例えば、特許文献2参照。)。   In this type of travel control device, whether or not the driver is in a panic state depending on the amount of movement of the driver, such as how the driver's arm moves and how the pedal is depressed, and the loudness of the driver's voice. (For example, refer to Patent Document 2).

また、集中状態、居眠り状態、眠気葛藤状態などの運転者の状態を検出するとともに、当該運転者の状態に合わせて警報を発するなどの運転支援を行い、事故の発生を抑制する技術が提案されている。   In addition, a technology has been proposed that suppresses the occurrence of an accident by detecting the driver's state such as concentration state, dozing state, drowsiness conflict state, and providing driving assistance such as issuing an alarm according to the driver's state. ing.

この種の技術では、運転者の状態を検出する技術として、複数のセンサを用いて運転者状態閾値を検出し、当該運転者状態閾値に基づいて運転者状態を検出する。運転者状態閾値を検出するために、運転者の覚醒度を反映した運転者情報と、運転者の注意集中度を反映した運転者情報と、運転者の運転能力を反映した運転者情報との内の少なくともとも2つの情報と、車両の運転状態や外部環境状態を示す車両・運転環境情報とを必要とする。   In this type of technology, as a technology for detecting the driver's state, a driver state threshold is detected using a plurality of sensors, and the driver state is detected based on the driver state threshold. In order to detect the driver state threshold, driver information that reflects the driver's arousal level, driver information that reflects the driver's attention concentration, and driver information that reflects the driver's driving ability And at least two pieces of information, and vehicle / driving environment information indicating the driving state of the vehicle and the external environment state are required.

これら情報を得るために複数のセンサや機器を用いる。例えば運転者の覚醒度が反映された運転者情報を得るためにカメラによって撮影された運転者の顔の映像から運転者が一定時間以上眼を閉じている時間の割合を示す閉眼時間割合を算出する。また、運転者の注意集中度が反映された情報を得るために、撮影された画像から頭部加速度を頭部動揺量として検出する加速度検出器と、シート尻下部の上下加速度を検出する加速度センサを用いる。このように、カメラや複数のセンサを用いる(例えば、特許文献3参照。)。   In order to obtain such information, a plurality of sensors and devices are used. For example, in order to obtain driver information that reflects the driver's arousal level, the eye-closing time ratio indicating the ratio of the time that the driver closes the eyes for a certain time or more is calculated from the image of the driver's face taken by the camera To do. In addition, in order to obtain information reflecting the driver's attention concentration level, an acceleration detector that detects head acceleration from the captured image as the amount of head fluctuation, and an acceleration sensor that detects vertical acceleration at the bottom of the seat bottom Is used. As described above, a camera and a plurality of sensors are used (see, for example, Patent Document 3).

特開2005−14752号公報Japanese Patent Laying-Open No. 2005-14752 特開2007−269310号公報JP 2007-269310 A 特開2007−265377号公報JP 2007-265377 A

特許文献1は、実際に、運転者の意図と異なる操作が行われたことを検出する技術である。また、特許文献2は、実際に運転者がパニック状態になったことを検出する技術である。   Patent Document 1 is a technique for actually detecting that an operation different from the driver's intention has been performed. Patent Document 2 is a technique for detecting that the driver has actually panicked.

このように、特許文献1,2は、生じた事象(特許文献1の場合は、運転者の意図と異なる操作。特許文献2の場合は、パニック状態の発生)に対して対処をする技術であって、当該事象によって事故が発生することが考えられる。   As described above, Patent Documents 1 and 2 are techniques for dealing with an event that has occurred (in the case of Patent Document 1, an operation different from the driver's intention; in the case of Patent Document 2, the occurrence of a panic state). Therefore, an accident may occur due to the event.

また、運転者の状態を検出し、当該状態に応じて運転支援を行う特許文献3の技術では、運転者の状態を示す各種情報を検出するために、複数のセンサなどを必要とする。つまり、運転者状態判定装置の構造が複雑になり、コストが高くなる傾向にある。コストが高くなると、当該装置の普及が阻害される傾向にある。   Moreover, in the technique of Patent Document 3 that detects a driver's state and assists driving according to the state, a plurality of sensors are required to detect various types of information indicating the driver's state. That is, the structure of the driver state determination device is complicated, and the cost tends to increase. When the cost increases, the spread of the device tends to be hindered.

本発明は、事故の発生を簡素な構造で抑制することができる運転支援装置を提供することを目的とする。   An object of this invention is to provide the driving assistance device which can suppress generation | occurrence | production of an accident with a simple structure.

本願の請求項1に記載の発明の運転支援装置は、運転者のまばたきに基づいて運転者の覚醒度を検出する覚醒度検出手段と、運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、運転者が意図しない操作を行った状態と運転者がパニックになった状態とのうち少なくともいずれか一方の状態である異常状態になる可能性が高い状態を判定する閾値を検出する閾値検出手段と、前記覚醒度検出手段によって検出された運転者の覚醒度および前記認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、前記運転者状態判定値を前記閾値と比較し、運転者が前記異常状態になる可能性が高い状態であるか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、運転者に注意する注意手段とを備える。   The driving support device according to claim 1 of the present application is based on the awakening degree detecting means for detecting the awakening degree of the driver based on the blinking of the driver and the movement of the driver's line of sight. An abnormal state that is at least one of a state of detecting the degree of recognition indicating the degree of concentration with respect to driving, a state in which the driver has not intended to operate, and a state in which the driver has panicked Based on threshold detection means for detecting a threshold for determining a state that is likely to become, a driver's arousal level detected by the arousal level detection means and a driver's level of recognition detected by the recognition level detection means The driver state determination value detecting means for detecting the driver state determination value indicating the driving state of the driver, the driver state determination value is compared with the threshold value, and the driver may be in the abnormal state. high Determination means for determining whether a state, based on a determination result of said determination means, and a care unit for attention to the driver.

本願の請求項2に記載の発明の運転支援装置は、請求項1に記載の運転支援装置において、前記認知度と前記覚醒度との組み合わせから求められるパニック発生度数をPとし、車両の過去の走行のうち、所定距離以上走行した回数をnとし、kを1からnまでの変数とした場合、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番目の走行での前記パニック発生度数Pの積算値をPkとし、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番面の走行での走行時間をTkとし、現在の走行の走行時間をTaとし、前記閾値をLとすると、

Figure 0005177102
The driving support apparatus according to claim 2 of the present application is the driving support apparatus according to claim 1, wherein P is a panic occurrence frequency obtained from a combination of the recognition degree and the arousal degree, and the past of the vehicle. Of the travels, when the number of travels over a predetermined distance is n and k is a variable from 1 to n, the kth travel out of travels that traveled more than the predetermined distance among the past travels of the vehicle. The cumulative value of the panic occurrence frequency P is Pk, and the travel time of the k-th travel out of the past travels of the vehicle that has traveled more than the predetermined distance is Tk, and the travel time of the current travel is Let Ta be L and the threshold is L
Figure 0005177102

となり、
前記運転者状態判定値を、現在の走行での前記パニック発生度数の積算値であるIとすると、前記判定手段は、前記運転者状態判定値Iが前記閾値Lより大きくとなると、前記運転者が前記異常状態になる可能性が高い状態であると判定する。
And
Assuming that the driver state determination value is I, which is an integrated value of the panic occurrence frequency in the current travel, the determination means determines that the driver state when the driver state determination value I is greater than the threshold value L. Is determined to be in a state where there is a high possibility of becoming the abnormal state.

本発明によれば、認知度を用いることによって、運転者がパニック状態になる前の状態または意図しない操作を行う前の状態のうち少なくともいずれか一方の状態を検出することができる。このため、事故の発生を抑制することができる。   According to the present invention, by using the degree of recognition, it is possible to detect at least one of a state before the driver enters a panic state or a state before an unintended operation is performed. For this reason, the occurrence of an accident can be suppressed.

また、覚醒度は、運転者のまばたきに基づいて検出され、認知度は運転者の視線の動きに基づいて検出される。このため、覚醒度と認知度とは、運転者の目の動き(まばたき、視線の動き)を検出すればよい。例えば、カメラによって運転者の目を撮影すればよい。このため、運転支援装置の構造を簡素にすることができる。   The arousal level is detected based on the driver's blink, and the recognition level is detected based on the driver's line of sight. For this reason, the degree of arousal and the degree of recognition only need to detect the driver's eye movements (blinks, eye movements). For example, the eyes of the driver may be photographed with a camera. For this reason, the structure of a driving assistance device can be simplified.

このように、本発明は、事故の発生を簡素な構造で抑制することができる運転支援装置を提供できる。   Thus, the present invention can provide a driving assistance device that can suppress the occurrence of an accident with a simple structure.

本発明の第1の実施形態に係る運転支援装置を示す概略図。Schematic which shows the driving assistance device which concerns on the 1st Embodiment of this invention. 覚醒度が低い状態の一例である状態と、覚醒度が高い状態の一例である状態との、各々でのまばたきの時間の頻度分布を示すグラフ。The graph which shows frequency distribution of the time of blink in each of the state which is an example of a state with a low arousal level, and the state which is an example of a state with a high arousal level. 運転初期期間に検出されたまばたきの分布を示すグラフ。The graph which shows distribution of the blink detected in the driving | operation initial period. 判定時間から得られる覚醒度と、顔の表情から得られる覚醒度との相関のシミュレーション結果を示すグラフ。The graph which shows the simulation result of the correlation with the arousal degree obtained from determination time, and the arousal degree obtained from facial expression. 覚醒度の第1〜5のレベルの状態を示す表。The table | surface which shows the state of the 1st-5th level of arousal level. 運転者の認知度が通常状態の場合での、所定期間の運転者のx軸方向の視線の動きを示すリターンマップ。The return map which shows a driver | operator's gaze movement of the x-axis direction of a predetermined period in case a driver | operator's recognition is a normal state. 運転者の認知度が通常状態の場合での、所定期間の運転者のy軸方向の視線の動きを示すリターンマップ。The return map which shows a driver | operator's gaze movement of the y-axis direction of a predetermined period in case a driver | operator's recognition is a normal state. 運転者の認知度が小さくなった状態での所定期間内の運転者のy軸方向の視線の動きを示すリターンマップ。The return map which shows the motion of the eyes | visual_axis of a driver | operator in the y-axis direction within the predetermined period in the state in which the driver's recognition became small. 運転者の認知度が小さくなった状態での所定期間内の運転者のx軸方向の視線の動きを示すリターンマップ。The return map which shows the motion of the eyes | visual_axis of a driver | operator in the x-axis direction in the predetermined period in the state in which the driver | operator's recognition became small. 運転者の認知度が小さくなった状態での運転者のx軸方向の視線の動きを示すリターンマップ。The return map which shows a driver | operator's gaze movement of the x-axis direction in the state in which the driver's recognition became small. 運転者の認知度が小さくなった状態での運転者のy軸方向の視線の動きを示すリターンマップ。The return map which shows a driver | operator's gaze movement of the y-axis direction in the state in which the driver's recognition became small. 覚醒度と認知度とに基づいて運転者のパニック発生度数が求めるマップ。A map that determines the driver's panic frequency based on the degree of arousal and recognition. 図1に示された運転支援装置の運転初期期間の動作を示すフローチャート。The flowchart which shows the operation | movement of the driving | operation initial period of the driving assistance apparatus shown by FIG. 図1に示された運転支援装置の運転初期期間経過以降での動作を示すフローチャート。The flowchart which shows operation | movement after the driving | operation initial period progress of the driving assistance apparatus shown by FIG. 本発明の第2の実施形態に係る運転支援装置を示す概略図。Schematic which shows the driving assistance device which concerns on the 2nd Embodiment of this invention. 図15に示された運転支援装置の、運転初期期間以降の動作を示すフローチャート。The flowchart which shows operation | movement after the driving | operation initial period of the driving assistance apparatus shown by FIG. 図15に示された運転支援装置が検出した、現在の走行でのパニック発生度数の積算値を示す棒グラフ。The bar graph which shows the integrated value of the panic generation frequency in the present driving | running | working which the driving assistance apparatus shown by FIG. 15 detected. 図15に示された運転支援装置が検出した、現在の走行でのパニック発生度数の積算値を示す時系列グラフ。The time series graph which shows the integrated value of the panic generation frequency in the present driving | running | working detected by the driving assistance apparatus shown by FIG.

本発明の第1の実施形態に係る運転支援装置を、図1〜14を用いて説明する。図1は、運転者支援装置10を示す概略図である。運転者支援装置10は、一例として、エンジンによって走行可能となる自動車に搭載されている。自動車1は、本発明で言う車両の一例である。なお、これに限定されず、例えば電気自動車などに搭載されてもよい。   A driving support apparatus according to a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic diagram showing a driver assistance device 10. As an example, the driver assistance device 10 is mounted on an automobile that can be driven by an engine. The automobile 1 is an example of a vehicle referred to in the present invention. In addition, it is not limited to this, For example, you may mount in an electric vehicle etc.

図1に示すように、運転者支援装置10は、運転者20の目21を撮影する赤外線カメラ30と、判定装置40と、情報表示装置50と、警報装置60と、香りを放出可能な放香装置70とを備えている。なお、図1は、自動車内において運転席に着座する運転者20の近傍を概略的に示している。   As shown in FIG. 1, the driver assistance device 10 includes an infrared camera 30 that captures the eyes 21 of the driver 20, a determination device 40, an information display device 50, an alarm device 60, and a release that can release a scent. An incense device 70 is provided. FIG. 1 schematically shows the vicinity of a driver 20 sitting in a driver's seat in an automobile.

赤外線カメラ30は、赤外線を運転者20の目21に照射し、目21で反射された赤外線を撮影する。判定装置40は、表情検出部41と、運転者状態検出部42と、パニック予兆判定部43とを備えている。   The infrared camera 30 irradiates the eyes 21 of the driver 20 with infrared rays and captures the infrared rays reflected by the eyes 21. The determination device 40 includes a facial expression detection unit 41, a driver state detection unit 42, and a panic sign determination unit 43.

表情検出部41は、赤外線カメラ30によって撮影された運転者20の目21の画像から、運転者20のまばたきを検出する。具体的には、表情検出部41は、赤外線カメラ30によって撮影された運転者20の目21の映像の経時的変化からまぶたの開閉を検出することでまばたきを検出する。   The facial expression detection unit 41 detects the blink of the driver 20 from the image of the eye 21 of the driver 20 taken by the infrared camera 30. Specifically, the facial expression detection unit 41 detects blinking by detecting the opening and closing of the eyelid from the temporal change in the image of the eye 21 of the driver 20 taken by the infrared camera 30.

本発明では、一回のまばたきにかかる時間を、まばたき閉じ時間とする。なお、図1中の範囲F1内に示すように、まぶた22が閉じ始めてから、まぶた22が閉じ、再びまぶた22が開くまでを一回のまばたきとする。まぶた22が開くとは、通常位置まで開く状態であって、開動作が停止するまでである。表情検出部41は、上記のように検出される各まばたき閉じ時間を検出し、保存している。   In the present invention, the time required for one blink is defined as the blink closing time. In addition, as shown in the range F1 in FIG. 1, after the eyelid 22 starts to be closed, the eyelid 22 is closed and the eyelid 22 is opened again. The opening of the eyelid 22 is a state where the eyelid 22 is opened to the normal position until the opening operation is stopped. The facial expression detection unit 41 detects and stores each blink closing time detected as described above.

また、表情検出部41は、運転者20の視線の動きを検出する。具体的には、赤外線カメラ30によって撮影された運転者20の黒目23の位置の動きの軌跡を検出し、保存する。   In addition, the facial expression detection unit 41 detects the movement of the driver 20's line of sight. Specifically, the locus of movement of the position of the black eye 23 of the driver 20 photographed by the infrared camera 30 is detected and stored.

運転者状態検出部42は、運転者20の覚醒度と、運転者20の認知度と、運転者20の状態を示す運転者状態判定値Iとを検出する。   The driver state detection unit 42 detects the awakening level of the driver 20, the degree of recognition of the driver 20, and a driver state determination value I indicating the state of the driver 20.

まず、覚醒度について説明する。本発明で言う覚醒度とは、運転者20の覚醒の度合いを示す。覚醒度が低い状態は、運転者が眠い状態を示す。覚醒度が高い状態は、運転者がしっかり覚醒している状態を示す。覚醒度は、まばたきに基づいて検出される。   First, the arousal level will be described. The awakening level referred to in the present invention indicates the degree of awakening of the driver 20. A state where the arousal level is low indicates that the driver is sleepy. A state where the degree of arousal is high indicates a state where the driver is firmly awakened. The arousal level is detected based on blinking.

人間のまばたき閉じ時間は個人差があるが、一般に覚醒度が低下すると(低い状態では)長くなる傾向にある。図2は、覚醒度が高い状態の一例である状態B1と、覚醒度が低い状態の一例である状態B2との、各々でのまばたき閉じ時間の頻度分布α,βを概略的に示している。図2中の横軸は、時間を示しており、図中右側に進むにつれて時間が長くなることを示す。図2中の縦軸は、頻度を示しており、図中上側に進むにつれて頻度が高くなることを示す
図2に示すように、状態B1の分布αでは、短いまばたき閉じ時間の頻度が高くなる。状態B2の分布βでは、時間の長いまばたき閉じ時間の頻度が高くなる。このように、覚醒度が低下するにしたがって、分布αから分布βに変化する傾向にある。つまり、覚醒度の低下にともなって、頻度の高いまばたき閉じ時間が、図中aからbに変化し、時間が長くなる。この際、一般的には頻度分布の形状も変化する。なお、まばたき閉じ時間の頻度分布の形状や、覚醒度の変化に伴う頻度分布の形状変化には個人差がある。
The blinking time of humans varies from person to person, but generally tends to increase as the degree of arousal decreases (in a low state). FIG. 2 schematically shows the frequency distributions α and β of the blink closing time in each of the state B1 which is an example of a state with a high arousal level and the state B2 which is an example of a state with a low arousal level. . The horizontal axis in FIG. 2 indicates time, and indicates that the time becomes longer as proceeding to the right side in the figure. The vertical axis in FIG. 2 indicates the frequency, and indicates that the frequency increases as it progresses upward in the figure. As shown in FIG. 2, in the distribution α of the state B1, the frequency of the short blink closing time increases. . In the distribution β of the state B2, the frequency of the blink closing time having a long time is increased. Thus, the distribution α tends to change to the distribution β as the arousal level decreases. In other words, as the awakening level decreases, the frequent blinking closing time changes from a to b in the figure, and the time becomes longer. At this time, generally, the shape of the frequency distribution also changes. Note that there are individual differences in the shape of the frequency distribution of the blink closing time and the shape change of the frequency distribution accompanying the change in the arousal level.

本実施形態では、長いまばたきを判定する判定時間をTs(閾値)とし、この判定時間Tsよりも長いまばたき閉じ時間を有するまばたきを、長いまばたきと判定する。そして、本実施形態では、運転を予め設定される所定時間ごとに区切り、当該所定時間ごとに所定時間内に検出される全まばたき回数N1に対する上記長いまばたきの回数N2の割合R(R=N2/N1)に基づいて、運転者の覚醒度を第1〜5のレベルに分類する。   In this embodiment, the determination time for determining a long blink is Ts (threshold), and a blink having a blink closing time longer than the determination time Ts is determined to be a long blink. In the present embodiment, the operation is divided at predetermined time intervals, and the ratio R (R = N2 / R) of the long blink number N2 to the total blink number N1 detected within the predetermined time every predetermined time. Based on N1), the driver's arousal level is classified into first to fifth levels.

長いまばたきについて説明する。運転者20の覚醒度は、通常では運転初期期間には充分高いと考えられる。運転初期期間では、運転者20の運転に対する緊張感や運転を開始するという意識が強く作用するので、運転者20の覚醒度が充分に高い状態となる。しかし、運転時間が長くなるにつれて、運転に対する慣れや運転に対する疲労によって、覚醒度が低下すると考えられる。このため、運転開始時から所定時間が経過するまでの運転初期期間内での運転者20のまばたきの傾向を調べれば、運転者20に固有の標準的な情報を得ることができる。   Explain long blinks. The awakening level of the driver 20 is normally considered to be sufficiently high during the initial driving period. In the initial driving period, the driver 20 feels nervous about driving and the consciousness of starting driving strongly, so that the driver's 20 arousal level is sufficiently high. However, as the driving time becomes longer, it is considered that the arousal level is lowered due to the familiarity with driving and fatigue with respect to driving. For this reason, the standard information unique to the driver 20 can be obtained by examining the blinking tendency of the driver 20 within the initial driving period until the predetermined time elapses from the start of driving.

ここで、運転開始と、走行とについて定義する。運転開始は、運転者がイグニッションキーをスタート位置まで回すなどしてエンジンが駆動を開始した時点である。また、エンジンが駆動を開始した時点を走行開始時とする。運転者がイグニッションキーをオフ位置まで回してエンジンが駆動を停止すると、走行が終了したとする。運転初期期間とは、運転開始時から所定期間である。   Here, operation start and travel are defined. The start of operation is when the engine starts to drive, for example, when the driver turns the ignition key to the start position. Also, the time when the engine starts to drive is defined as the start of travel. It is assumed that the driving is finished when the driver turns the ignition key to the off position and the engine stops driving. The operation initial period is a predetermined period from the start of operation.

電気自動車の場合は、運転開始時および走行開始時は、モータがオンとなった時点、つまり回転可能となった時点(アクセルを踏むとモータが回転する状態)である。走行の終了は、モータがオフとなった時点(アクセルを踏んでもモータが回転しない状態)である。走行は、モータがオンからオフとなるまでの期間であwる。   In the case of an electric vehicle, the start of driving and the start of traveling are the time when the motor is turned on, that is, the time when the motor can rotate (the state where the motor rotates when the accelerator is depressed). The end of traveling is when the motor is turned off (the motor does not rotate even if the accelerator is depressed). The running is a period from when the motor is turned on to when it is turned off.

図3は、運転者20の運転開始時から運転初期期間に検出されたまばたきの分布を示している。図3に示すように、覚醒度が高い状態(運転初期期間)でのまばたき閉じ時間の頻度のピーク(Tm)を含む主要な頻度の分布領域、つまり、標準的なまばたき閉じ時間の範囲は、時間の短い領域に位置する。   FIG. 3 shows the distribution of blinks detected during the initial driving period from the start of driving by the driver 20. As shown in FIG. 3, the distribution range of the main frequency including the peak (Tm) of the blink closing time frequency in the state of high arousal (initial driving period), that is, the standard blink closing time range is: Located in a short time zone.

したがって、上記標準的なまばたき閉じ時間の範囲に基づいて、運転者20の覚醒度の低下に伴う時間の長いまばたきを判定するための判定時間Tsを設定すれば、運転者20に固有の長いまばたきを検出することができる。   Therefore, if the determination time Ts for determining a long blink associated with a decrease in the arousal level of the driver 20 is set based on the standard blink closing time range, the long blink unique to the driver 20 is set. Can be detected.

本実施形態では、高覚醒度におけるまばたき閉じ時間の頻度分布から、その最頻値Tmに対してX%となる位置で頻度分布をスライスしたときの時間範囲を、運転者20に固有な標準的なまばたき閉じ時間の範囲、つまり標準的なまばたき閉じ時間の分布領域の時間幅Aとして求めている。さらに、時間幅Aの中心値を標準的なまばたき閉じ時間Tcとする。長いまばたきを判定する判定時間Tsは、標準的なまばたき閉じ時間Tcよりも時間幅AのY%長い時間とする。このため、Ts=Tc+A×Y/100となる。スライス率X%と、時間のスライド率Y%については、後で詳細に説明する。   In the present embodiment, the time range when the frequency distribution is sliced at a position that is X% of the mode Tm from the frequency distribution of the blink closing time in the high arousal level is a standard characteristic unique to the driver 20. It is obtained as the range of the blinking closing time, that is, the time width A of the standard distribution region of the blinking closing time. Further, the center value of the time width A is set as a standard blink closing time Tc. The determination time Ts for determining a long blink is a time longer by Y% of the time width A than the standard blink closing time Tc. Therefore, Ts = Tc + A × Y / 100. The slice rate X% and the time slide rate Y% will be described in detail later.

つぎに、覚醒度の第1〜5のレベルについて説明する。第1〜5のレベルは、レベルが上がるにつれて覚醒度が高くなる。言い換えると、レベルが下がるにつれて覚醒度が下がり、つまり、運転者20が有する眠気が大きくなることを示す。   Next, the first to fifth levels of wakefulness will be described. In the first to fifth levels, the awakening level increases as the level increases. In other words, the arousal level decreases as the level decreases, that is, the drowsiness of the driver 20 increases.

図5は、第1〜5のレベルの状態を示す表である。図5に示すように、第5のレベルは、完全に起きており、眠気が全くない状態である。第4のレベルは、やや眠気を有している状態である。第3のレベルは、明らかに眠いのがわかる状態である。第2のレベルは、周期的に居眠りをしている状態である。第1のレベルは、ほぼ居眠りをしている状態である。   FIG. 5 is a table showing the states of the first to fifth levels. As shown in FIG. 5, the fifth level is a state in which the patient is completely awake and has no sleepiness. The fourth level is a state of having a little drowsiness. The third level is a state in which it is obvious that you are sleepy. The second level is a state of periodically taking a nap. The first level is a state of being almost asleep.

つぎに、所定時間内での全まばたき回数N1に対する長いまばたき回数N2の割合Rと覚醒度のレベルとの関係について説明する。本実施形態では、一例として、割合Rが0≦R<15%場合は、第5のレベルとする。割合Rが、15%≦R<30%の場合は、第4のレベルとする。割合Rが30%≦R<45%の場合は、第3のレベルとする。割合Rが、45%≦R<60%の場合は、第4のレベルとする。割合Rが、60%≦Rの場合は、第1のレベルとする。   Next, the relationship between the ratio R of the long blink number N2 with respect to the total blink number N1 within a predetermined time and the arousal level will be described. In the present embodiment, as an example, when the ratio R is 0 ≦ R <15%, the fifth level is set. When the ratio R is 15% ≦ R <30%, the fourth level is set. When the ratio R is 30% ≦ R <45%, the third level is set. When the ratio R is 45% ≦ R <60%, the fourth level is set. When the ratio R is 60% ≦ R, the first level is set.

つぎに、スライス率X%と、スライド率Y%について説明する。スライス率X%とスライド率Y%とは、上記されたまばたき閉じ時間によって分類される覚醒度と、顔の表情に基づいて分類される覚醒度とを比較する実験から求めた。   Next, the slice rate X% and the slide rate Y% will be described. The slice rate X% and the slide rate Y% were obtained from an experiment comparing the arousal level classified according to the above blink closing time and the arousal level classified based on facial expressions.

まず、カメラで運転者(実際の自動車の運転者ではなく、本実験のための運転者である)の顔の表情を撮影し、この表情を分析して、運転者の顔の表情から覚醒度のレベル(第1〜5のレベルのいずれか)を推定する。これは、図5に示すように、顔の表情から集中していると判定されると第5のレベルとであると判定される。顔の表情から時々あくびが出る状態であると判定されると、第4のレベルと判定される。顔の表情から頻繁にあくびが出ると状態判定されると、第3のレベルと判定される。顔の表情からと時々目が閉じる状態であると判定されると、第2のレベルと判定される。顔の表情から目が閉じている状態と判定されると、第1のレベルと判定される。   First of all, the facial expression of the driver (not the driver of the actual car but the driver for this experiment) is photographed with a camera, this facial expression is analyzed, and the arousal level is calculated from the facial expression of the driver. Level (any of the first to fifth levels) is estimated. As shown in FIG. 5, when it is determined that the face is concentrated, it is determined to be the fifth level. If it is determined that the expression of the face is sometimes yawning, it is determined as the fourth level. If it is determined that the yawning frequently occurs from the facial expression, it is determined as the third level. If it is determined from the facial expression that the eyes are sometimes closed, the second level is determined. When it is determined from the facial expression that the eyes are closed, the first level is determined.

図4は、スライス率(X%)と時間のスライド率(Y%)とを変えながら判定時間Tsを設定したときの、判定時間Tsよりも長いと判定されるまばたきの比率(R)から得られる運転者の覚醒度と、上記の顔の表情から推定された覚醒度との相関についてシミュレーションしたものである。このシミュレーション結果から、スライス率40%、スライド比70%としたとき、その相関が最も大きくなる。このため、本実施形態では、X=40とし、Y=70とする。   FIG. 4 is obtained from the blink rate (R) determined to be longer than the determination time Ts when the determination time Ts is set while changing the slice rate (X%) and the time slide rate (Y%). This is a simulation of the correlation between the driver's alertness and the alertness estimated from the facial expression. From this simulation result, when the slice rate is 40% and the slide ratio is 70%, the correlation becomes the largest. Therefore, in this embodiment, X = 40 and Y = 70.

赤外線カメラ30と、表情検出部41と、運転者状態検出部42とは、本発明で言う、覚醒度検出手段の一例を構成している。なお、覚醒度検出手段として、運転者の目を撮影する手段(装置)は、赤外線カメラに限定されるものではない。要するに、運転者の目21を撮影できればよい。   The infrared camera 30, the facial expression detection unit 41, and the driver state detection unit 42 constitute an example of the arousal level detection means referred to in the present invention. Note that the means (device) for photographing the eyes of the driver as the arousal level detection means is not limited to the infrared camera. In short, it is only necessary to photograph the driver's eyes 21.

また、上記に説明される覚醒度の求め方、また、覚醒度のレベルの分類は一例である。覚醒度の求め方は、まばたきに基づいて他の方法が用いられてもよい。また、覚醒度のレベルの分類も、第1〜5のレベルの5段階ではなく、例えば第1〜10のレベルの10段階に分けられてもよい。   Further, the method for obtaining the arousal level and the classification of the level of the arousal level described above are examples. Other methods may be used to determine the degree of arousal based on blinking. Also, the level of arousal level may be divided into 10 levels of the 1st to 10th levels, for example, instead of 5 levels of the 1st to 5th levels.

ついで、認知度について説明する。認知度は、運転者20の運転への集中の度合いを示す。運転者状態検出部42は、表情検出部41が検出した運転者20の視線の動き(軌跡)に基づいて、認知度を判定する。   Next, the degree of recognition will be explained. The degree of recognition indicates the degree of concentration of the driver 20 on driving. The driver state detection unit 42 determines the degree of recognition based on the movement (trajectory) of the line of sight of the driver 20 detected by the facial expression detection unit 41.

具体的には、運転者が運転中によく見る場所である、例えば速度計、ルームミラー、ドアミラーなどの視認対象を運転者が見ている状態での運転者の視線の動きを分析する。運転者の視線の動きは、リターンマップで表される。   Specifically, the movement of the driver's line of sight in a state where the driver is viewing a visual target such as a speedometer, a room mirror, a door mirror, or the like, which is a place that the driver often sees during driving, is analyzed. The movement of the driver's line of sight is represented by a return map.

図6,7は、運転者の認知度が通常状態の場合での、所定期間の運転者の視線の動きを示すリターンマップである。通常状態とは、運転初期期間などの、認知度が十分に高い状態である。   6 and 7 are return maps showing the movement of the driver's line of sight during a predetermined period when the driver's recognition is in a normal state. The normal state is a state where the degree of recognition is sufficiently high, such as an initial driving period.

図7は、所定期間内の運転者の視線の位置のうち、運転者の上下方向であるy軸方向に沿う視線の位置がプロットされている。このため、図7は、所定期間内の運転者のy軸方向に沿う視線の動きを表す。図6は、所定期間内の運転者の視線の位置のうち、運転者の上下方向を横切る左右方向であるx軸方向に沿う視線の位置がプロットされている。このため、図6は、所定期間内の運転者のx軸方向に沿う視線の動きを示している。   FIG. 7 plots the position of the line of sight along the y-axis direction, which is the vertical direction of the driver, among the positions of the line of sight of the driver within a predetermined period. For this reason, FIG. 7 represents the movement of the line of sight along the y-axis direction of the driver within a predetermined period. FIG. 6 plots the position of the line of sight along the x-axis direction, which is the left-right direction crossing the vertical direction of the driver, among the positions of the driver's line of sight within a predetermined period. For this reason, FIG. 6 shows the movement of the line of sight along the x-axis direction of the driver within a predetermined period.

図6,7において横軸は、時間t(変数)での視線の位置を示しており、縦軸は、時間t+0.1秒での視線の位置を示している。グラフ中の中心位置である(0,0)の位置は、運転者の両目の中心位置である。運転者の右側を正とし、左側を負としている。横軸、縦軸の単位は、メートル(m)である。   6 and 7, the horizontal axis indicates the position of the line of sight at time t (variable), and the vertical axis indicates the position of the line of sight at time t + 0.1 seconds. The position (0, 0), which is the center position in the graph, is the center position of both eyes of the driver. The right side of the driver is positive and the left side is negative. The unit of the horizontal axis and the vertical axis is meter (m).

図6,7のようなリターンマップは、運転者がよく見る例えば速度計、ルームミラー、ドアミラー(視認対象)ごとに、単位時間毎に形成される。言い換えると、各視認対象に設定されるリターンマップ上に、運転者の視線の位置を示す点がプロットされる。この視線の位置を示す点の集合によって、運転者の視線の動きが表される。なお、図6,7は、例えばルームミラーに設定されるリターンマップを示している。   The return maps as shown in FIGS. 6 and 7 are formed for each unit time for each speedometer, room mirror, and door mirror (viewing object) that the driver often sees. In other words, points indicating the position of the driver's line of sight are plotted on the return map set for each visual recognition target. The movement of the driver's line of sight is represented by a set of points indicating the position of the line of sight. 6 and 7 show return maps set in, for example, a room mirror.

速度計、ルームミラー、ドアミラーなどの運転者がよく見る視認対象の各々で形成されるリターンマップは、略同じものになる。運転者が速度計、ルームミラー、ドアミラーを見ている状態は、例えば、運手者の視線の向きから判断される。   The return maps formed by each of the visual objects that the driver often sees such as a speedometer, a room mirror, and a door mirror are substantially the same. The state in which the driver is looking at the speedometer, the room mirror, and the door mirror is determined from, for example, the direction of the driver's line of sight.

なお、本実施形態では、リターンマップが形成される視認対象として、速度計、ルームミラー、ドアミラーを一例として用いた。視認対象としては、他のものが用いられてもよい。要するに、運転者がよく見る場所でリターンマップが形成されればよい。   In the present embodiment, a speedometer, a room mirror, and a door mirror are used as examples of visual recognition targets on which a return map is formed. Other objects may be used as the visual recognition target. In short, it is only necessary that the return map is formed at a place that is often viewed by the driver.

認知度が低くなると、運転者の視線の動く範囲が小さくなる傾向と、視線の動きのばらつきが大きくなり規則的なパターンではなくなる傾向とがあらわれる。   When the degree of recognition is low, there is a tendency that the range of movement of the driver's line of sight is reduced, and a variation in the movement of the line of sight is increased and the pattern is not regular.

図8,9は、運転者の認知度が小さくなったある状態での所定期間内の運転者の視線の動きを示すリターンマップである。図8,9は、例えば、ルームミラーに設定されるリターンマップを示している。なお、他の視認対象である速度計や、ドアミラーに設定されるリターンマップにおいても、同様のリターンマップが形成される。   FIGS. 8 and 9 are return maps showing the movement of the driver's line of sight within a predetermined period in a state where the driver's recognition level is reduced. 8 and 9 show return maps set in the room mirror, for example. A similar return map is also formed in a speed map that is another visual target and a return map set for a door mirror.

図8は、y軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図7と同じである。図9は、x軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図6と同じである。図8,9は、認知度が小さくなったことによって、図6,7に示される通常状態に対して、運転者の視線の動きのばらつきが大きくなり規則的なパターンではなくなったことを示している。   FIG. 8 shows the movement of the line of sight along the y-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIG. 9 shows the movement of the line of sight along the x-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIGS. 8 and 9 show that the fluctuation of the driver's line of sight increases and the regular pattern is not regular with respect to the normal state shown in FIGS. Yes.

図10,11は、運転者の認知度が小さくなったある状態での運転者の視線の動きを示すリターンマップである。図10,11は、例えばルームミラーに設定されるリターンマップを示している。なお、図10,11は、図8,9が示す状態とは、異なる時点での運転者の視線の動きを示している。図10は、x軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図6と同じである。図11は、y軸方向に沿う視線の動きを示しており、横軸と縦軸とは、図7と同じである。図10,11は、認知度が小さくなったことによって、図6,7に示される通常状態に対して、運転者の視線の動く範囲が小さくなったことを示している。   10 and 11 are return maps showing the movement of the driver's line of sight in a state where the degree of recognition of the driver has decreased. 10 and 11 show return maps set in, for example, a room mirror. 10 and 11 show the movement of the driver's line of sight at a time different from the state shown in FIGS. FIG. 10 shows the movement of the line of sight along the x-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIG. 11 shows the movement of the line of sight along the y-axis direction, and the horizontal axis and the vertical axis are the same as those in FIG. FIGS. 10 and 11 show that the range of movement of the driver's line of sight is reduced with respect to the normal state shown in FIGS.

本実施形態では、認知度は、高レベル、中レベル、低レベルの3つのレベルに分けられる。高レベル状態は、運転に対する集中度が充分高い状態である。低レベル状態は、運転に対する集中度が低い状態である。中レベル状態は、運転に対する集中度が、高状態と低状態との中間である状態である。   In this embodiment, the degree of recognition is divided into three levels: a high level, a medium level, and a low level. The high level state is a state where the degree of concentration with respect to driving is sufficiently high. The low level state is a state where the degree of concentration on driving is low. The middle level state is a state in which the degree of concentration with respect to driving is intermediate between the high state and the low state.

本実施形態では、認知度は、運転の初期期間で得られる運転者の視線の動きを示すリターンマップから得られるカオス性指標値との比較によって、高レベル状態、中レベル状態、低レベル状態に分類される。具体的には、運転中の各所定期間で得られるリターンマップを解析することによって得られるカオス性指標値を、運転初期期間(運転開始から所定の期間)に得られるリターンマップを解析することによって得られるカオス性指標値と比較する。   In this embodiment, the degree of recognition is divided into a high level state, a medium level state, and a low level state by comparison with a chaotic index value obtained from a return map indicating the movement of the driver's line of sight obtained in the initial period of driving. being classified. Specifically, by analyzing the return map obtained by analyzing the return map obtained in each predetermined period during operation, by analyzing the return map obtained in the initial operation period (predetermined period from the start of operation) Compare with the obtained chaotic index value.

運転初期期間で得られるカオス性指標値に対する変化量が小さい場合は、認知度が高レベル状態である。これは、運転初期期間では、運転に対する集中度を示す認知度が充分に高いため、変化量が小さいということは、充分に認知度が高い状態であることを示すためである。運転初期期間で得られるカオス性指標値に対する変化量が中程度である場合は、認知度が中レベル状態であるとする。運転初期期間で得られるカオス性指標値に対する変化量が大きい場合は、認知度が低レベル状態であるとする。   When the amount of change with respect to the chaotic index value obtained in the initial driving period is small, the degree of recognition is high. This is because, in the initial driving period, the degree of recognition indicating the degree of concentration with respect to driving is sufficiently high, so that the small amount of change indicates that the degree of recognition is sufficiently high. When the amount of change with respect to the chaotic index value obtained in the initial driving period is medium, it is assumed that the degree of recognition is in a medium level state. When the amount of change with respect to the chaotic index value obtained in the initial driving period is large, it is assumed that the degree of recognition is in a low level state.

運転初期期間で得られるカオス性指標値に対する変化量の、大、中、小を区切る閾値は、任意に設定される。本実施形態では、予め設定される閾値に基づいて、変化量を、大、中、小に分類している。そして、変化量の大、中、小に基づいて、運転者の認知度を、高レベル状態、中レベル状態、低レベル状態に分類する。   The threshold for dividing the change amount with respect to the chaotic index value obtained during the initial operation period into large, medium and small is arbitrarily set. In the present embodiment, the amount of change is classified into large, medium, and small based on a preset threshold value. Then, the driver's recognition level is classified into a high level state, a medium level state, and a low level state based on the large, medium, and small amount of change.

つぎに、運転者20の状態を示す運転者状態判定値Iを説明する。運転者状態判定値Iとは、運転者が異常状態になる可能性が高い状態であるか否かを判定する際に用いられる。異常状態とは、運転者が意図しない操作を行った状態と、運転者がパニックになった状態とのうち、少なくともいずれか一方の状態である。このため、異常状態になる可能性が高い状態とは、運転者が意図しない操作を行う可能性が高い状態と、運転者がパニックになる可能性が高い状態とのうち少なくともいずれか一方の状態である。   Next, a driver state determination value I indicating the state of the driver 20 will be described. The driver state determination value I is used when determining whether or not the driver is likely to be in an abnormal state. The abnormal state is at least one of a state in which the driver performs an unintended operation and a state in which the driver panics. For this reason, the state that is likely to become an abnormal state is a state that is highly likely to perform an unintended operation by the driver and a state that is highly likely to cause the driver to panic. It is.

運転者状態判定値Iは、上記された覚醒度と認知度とによって求められるパニック発生度数Pの積算値Peである(I=Pe)。より具体的には、運転者が運転を開始してから(自動車が走行を開始してから)得られる覚醒度と認知度とに基づいて、図12で示されるマップから、運転者のパニック発生度数が求められる。   The driver state determination value I is an integrated value Pe of the panic occurrence frequency P obtained from the above-described degree of arousal and recognition (I = Pe). More specifically, the driver panics from the map shown in FIG. 12 based on the arousal level and the degree of recognition obtained after the driver starts driving (after the car starts driving). The frequency is required.

図12に示すように、パニック発生度数は、覚醒度と認知度との組み合わせによって求められる。パニック発生度数について、具体的に説明する。   As shown in FIG. 12, the panic occurrence frequency is obtained by a combination of the arousal level and the recognition level. The panic occurrence frequency will be specifically described.

覚醒度が第1のレベルである場合では、認知度が高レベル、中レベル、低レベルのいずれの場合であっても、パニック発生度数は、0(零)となる。これは、覚醒度が第1のレベルでは覚醒度が極端に低い状態であるので、パニック状態になることや意図しない操作をしないということが発生しないためである。   When the arousal level is the first level, the panic occurrence frequency is 0 (zero) regardless of whether the recognition level is a high level, a medium level, or a low level. This is because when the arousal level is the first level, the awakening level is extremely low, so that a panic state or an unintended operation does not occur.

覚醒度が第2〜4のレベルである状態では、認知度が低レベルであるとパニック発生度数を3とし、認知度が中レベルであるとパニック発生度数を2とし、認知度が高レベルであるとパニック発生度数を1とする。これは、覚醒度が充分に高くない状態(本実施形態では、第2〜4のレベルの状態)では、認知度によって、パニックが発生する可能性や意図しない操作をする可能性が変化するためである。   In a state where the arousal level is the second to fourth levels, if the recognition level is low, the panic generation frequency is 3, and if the recognition level is medium, the panic generation frequency is 2, and the recognition level is high. If there is, the panic occurrence frequency is set to 1. This is because, in a state where the arousal level is not sufficiently high (the second to fourth level states in this embodiment), the possibility of a panic or an unintended operation changes depending on the degree of recognition. It is.

覚醒度が第の5レベルである場合では、認知度が低レベルであるとパニック発生度数を2とし、認知度が中レベルであるとパニック発生度数1とし、認知度が高レベルであるとパニック発生度数を0(零)とする。これは、認知度が高レベルの状態は認知度が充分に高い状態であり、それゆえ、パニックが発生する可能性が小さく、または、意図しない操作をする可能性が小さいためである。   When the arousal level is the fifth level, the panic occurrence frequency is 2 when the recognition level is low, the panic generation frequency is 1 when the recognition level is medium, and the panic is when the recognition level is high. The occurrence frequency is set to 0 (zero). This is because a state in which the degree of recognition is high is a state in which the degree of recognition is sufficiently high, and therefore there is a low possibility of a panic or an unintended operation.

また、運転者状態検出部42は、運転者の過去の走行の情報を記憶している。運転者の情報とは、過去の走行のうち走行距離が所定距離以上のものの各々の走行時間Tkと、過去の走行のうち走行距離が所定距離以上のものの各々のパニック発生度数Pの積算値Pkと、過去の走行の各々の判定時間Tsである。なお、運転者状態検出部42は、撮影された運転者20の目の形状、大きさなどから運転者を個人ごとに分類し、当該個人別に上記情報を保存している。ここで用いた所定距離について説明する。走行距離が充分に確保されていないと、カオス性指標値を得ることが難しくなり、それゆえ認知度を判定することができなくなる。また、走行距離が充分に確保されていないと、長いまばたきを判定する判定時間Tsを決定することも難しくなる。このため、走行距離が十分に確保されていないとパニック発生度数を算出することができなくなる。所定距離は、パニック発生度数を算出するのに必要な距離である。言い換えると、カオス性指標値を得るとともに認知度を検出することができ、かつ、長いまばたきを判定する判定時間Tsを算出することができるのに必要な距離である。この所定距離は、予め実験などによって得ることができる。   In addition, the driver state detection unit 42 stores information on the past driving of the driver. The information on the driver includes the travel time Tk of each past travel having a travel distance of a predetermined distance or more and the integrated value Pk of the panic occurrence frequency P of each past travel having a travel distance of the predetermined distance or more. And the determination time Ts of each past run. The driver state detection unit 42 classifies the driver for each person based on the shape and size of the photographed eye of the driver 20, and stores the information for each individual. The predetermined distance used here will be described. If the travel distance is not sufficiently secured, it becomes difficult to obtain the chaotic index value, and therefore the recognition level cannot be determined. Further, if the travel distance is not sufficiently secured, it is difficult to determine the determination time Ts for determining a long blink. For this reason, if the travel distance is not sufficiently secured, the panic occurrence frequency cannot be calculated. The predetermined distance is a distance necessary to calculate the panic occurrence frequency. In other words, the distance is necessary for obtaining the chaotic index value and detecting the degree of recognition, and calculating the determination time Ts for determining a long blink. This predetermined distance can be obtained in advance by experiments or the like.

つまり、複数の運転者が、運転者支援装置10が搭載された1つの自動車を共有する場合では、運転者状態検出部42は、撮影された目の情報から運転者を特定し、運転者の走行に係る上記情報を運転者別に保存する。   That is, in the case where a plurality of drivers share a single vehicle on which the driver support device 10 is mounted, the driver state detection unit 42 identifies the driver from the captured eye information, and The above information relating to driving is stored for each driver.

また、運転者状態検出部42は、情報呈示閾値Lを求めるとともに、上記のように得られる運転者状態判定値Iと情報呈示閾値Lとを比較し、運転者状態判定値Iが情報呈示閾値Lよりも大きくなると、異常状態になる可能性が高いと判定する。   Further, the driver state detection unit 42 obtains the information presentation threshold value L, compares the driver state determination value I obtained as described above with the information presentation threshold value L, and the driver state determination value I is the information presentation threshold value. If it is greater than L, it is determined that there is a high possibility of an abnormal state.

情報呈示閾値Lを具体的に説明する。まず、運転者状態検出部42に保存されている運転者ごとの情報の内、現在自動車を運転している運転者(現在赤外線カメラ41で撮影されている運転者)の情報を用いる。なお、運転者20は、現在自動車1を運転している運転者を示す。   The information presentation threshold L will be specifically described. First, of the information for each driver stored in the driver state detection unit 42, the information of the driver currently driving the vehicle (the driver currently photographed by the infrared camera 41) is used. The driver 20 indicates a driver who is currently driving the automobile 1.

具体的には、現在自動車1を運転している運転者20の過去の走行のうち、走行距離が予め設定される所定距離以上のものの数(走行数)をnとする。現在自動車1を運転している運転者20の過去の走行のうち、走行距離が予め設定される所定距離以上の各走行の各々の走行時間をTkとする。現在自動車を運転している運転者の過去の走行のうち、走行距離が予め設定される所定距離以上の各走行の各々のパニック発生度数Pの積算値をPkとする。なお、kは、1からnまでの変数である。kは、n個ある走行距離が予め設定される所定距離以上の走行のうちの各々の番号を示す。   Specifically, the number (the number of traveling) of the past traveling of the driver 20 who is currently driving the automobile 1 whose traveling distance is equal to or more than a predetermined distance is defined as n. Of the past travels of the driver 20 who is currently driving the automobile 1, the travel time of each travel with a travel distance equal to or greater than a predetermined distance is set as Tk. Of the past travels of the driver who is currently driving the automobile, the integrated value of the panic occurrence frequency P of each travel of which the travel distance is equal to or greater than a predetermined distance is set as Pk. Note that k is a variable from 1 to n. k indicates the number of each of the travelings in which n traveling distances are greater than or equal to a predetermined distance set in advance.

つまり、k=1のときは、n個ある走行距離が予め設定される所定距離以上の走行のうちのある1つの走行を示し、走行時間T1は、当該1つの走行での走行時間を示す。k=2のとき、つまり、走行時間T2は、走行距離が予め設定される所定距離以上のもののうち2つ目の走行での走行時間を示す。パニック発生度数Pの積算値Pkについても同様である。k=1のとき、つまり、積算値P1は、走行距離が予め設定される所定距離以上のもののうち、ある1つの走行でのパニック発生度数Pの積算値を示す。k=2のとき、つまり、積算値P2は、走行距離が予め設定される所定距離以上のもののうち、2つの目の走行でのパニック発生度数Pの積算値を示す。このように、TkとPkとは、n個ある走行のうちk番目の走行時間とパニック判定度数Pの積算値を示す。   In other words, when k = 1, n represents a certain one of the travelings in which the traveling distance is equal to or greater than a predetermined distance, and the traveling time T1 represents the traveling time for the one traveling. When k = 2, that is, the travel time T2 indicates the travel time in the second travel among the travel distances equal to or greater than a predetermined distance set in advance. The same applies to the integrated value Pk of the panic occurrence frequency P. When k = 1, that is, the integrated value P1 indicates the integrated value of the panic occurrence frequency P in a certain traveling out of the traveling distances equal to or greater than a predetermined distance set in advance. When k = 2, that is, the integrated value P2 indicates an integrated value of the panic occurrence frequency P in the second traveling among the traveling distances equal to or greater than a predetermined distance set in advance. Thus, Tk and Pk indicate the integrated values of the kth travel time and the panic determination frequency P among the n travels.

現在自動車1を運転している運転者20の過去の走行のうち走行距離が予め設定される所定距離以上の各走行でのパニック発生度数Pの積算値Pkの合計を、当該各走行の走行時間Tkの合計値で割って得られる単位時間値の平均値Aは、

Figure 0005177102
Of the past travels of the driver 20 who is currently driving the automobile 1, the total of the integrated values Pk of the panic occurrence frequency P in each travel of which the travel distance is equal to or greater than a predetermined distance is set as the travel time of each travel. The average value A of unit time values obtained by dividing by the total value of Tk is
Figure 0005177102

となる。   It becomes.

現在の走行での走行時間をTaとすると、情報呈示閾値Lは、平均値Aに現在の走行の走行時間Taをかけた値である。情報呈示閾値Lは、

Figure 0005177102
When the travel time in the current travel is Ta, the information presentation threshold L is a value obtained by multiplying the average value A by the travel time Ta of the current travel. The information presentation threshold L is
Figure 0005177102

となる。 It becomes.

パニック予兆判定部43は、情報呈示閾値Lと運転者状態判定値I(現在の走行でのパニック発生度数Pの積算値Pe)とを比較し、情報呈示閾値Lが、現在の走行での運転者状態判定値Iよりも大きくなると(I>L)、運転者20が異常状態になる可能性が高い状態であると判定する。運転者状態検出部42は、本発明で言う運転者状態検出手段の一例である。パニック予兆判定部43は、本発明で言う判定手段の一例である。   The panic sign determination unit 43 compares the information presentation threshold value L with the driver state determination value I (integrated value Pe of the panic occurrence frequency P in the current travel), and the information presentation threshold value L is the driving in the current travel. When it becomes larger than the driver state determination value I (I> L), it is determined that the driver 20 is highly likely to be in an abnormal state. The driver state detection unit 42 is an example of a driver state detection unit referred to in the present invention. The panic sign determination unit 43 is an example of determination means in the present invention.

また、パニック予兆判定部43は、覚醒度が第1のレベルであるか否かを判定する。パニック予兆判定部43は、覚醒度が第1のレベルである場合には、運転者20が眠気を有しているので、運転者20の覚醒度を向上するべく、警報装置60を制御し、警報を発する。また、運転者20の覚醒度を向上するべく、放香装置70を制御して覚醒度を向上する効果を有する香りを放出する。   In addition, the panic sign determination unit 43 determines whether or not the arousal level is the first level. When the arousal level is the first level, the panic sign determination unit 43 controls the alarm device 60 in order to improve the awakening level of the driver 20 because the driver 20 has drowsiness. Raise an alarm. Moreover, in order to improve the arousal level of the driver | operator 20, the scent which has the effect which controls the aroma release apparatus 70 and improves arousal level is discharge | released.

なお、ここで用いる警報装置60と放香装置70とオーディオ装置とは、運転者20の覚醒度を向上するために用いられる手段の一例であるので、他の装置や方法が用いられてもよい。例えば、放香装置70が用いられずに警報装置60とオーディ装置だけであってもよい。要するに、運転者20の覚醒度を向上する効果を有する装置や方法が用いられればよい。   Note that the alarm device 60, the scenting device 70, and the audio device used here are examples of means used to improve the arousal level of the driver 20, and therefore other devices and methods may be used. . For example, only the alarm device 60 and the audio device may be used without using the fragrance device 70. In short, an apparatus or a method that has an effect of improving the arousal level of the driver 20 may be used.

情報表示装置50は、運転者20が確認しやすい位置に設けられている。情報表示装置50は、例えばモニターなどである。情報表示装置50は、パニック予兆判定部43によって制御される。パニック予兆判定部43が、運転者20が異常状態になる可能性が高い状態であると判定すると、情報表示装置50は、パニック予兆判定部43の制御によって、意図しない操作が行われる可能性が高い状態であること、パニックになる可能性が高い状態であることを表示する。表示方法としては、例えば、文字や絵などであってもよい。または、色であってもよい。情報表示装置50は、本発明で言う注意手段の一例である。なお、注意手段の他の例としては、例えば、音で運転者に注意を呼びかける構造であってもよい。   The information display device 50 is provided at a position where the driver 20 can easily check. The information display device 50 is, for example, a monitor. The information display device 50 is controlled by the panic sign determination unit 43. If the panic sign determination unit 43 determines that the driver 20 is likely to be in an abnormal state, the information display device 50 may be subjected to an unintended operation under the control of the panic sign determination unit 43. It is displayed that it is in a high state and a state that is highly likely to panic. As a display method, for example, characters or pictures may be used. Or it may be a color. The information display device 50 is an example of the attention means referred to in the present invention. In addition, as another example of the attention means, for example, a structure that calls the driver's attention with sound may be used.

つぎに、運転者支援装置10の動作を説明する。まず、運転者20が乗車してイグニッションキーをスタートまで回す。すると、エンジンが駆動されて、自動車が走行可能な状態になるとともに運転者支援装置10が動作を開始する。   Next, the operation of the driver assistance device 10 will be described. First, the driver 20 gets on and turns the ignition key to the start. Then, the engine is driven and the vehicle can run, and the driver assistance device 10 starts operating.

運転者支援装置10は、動作が開始されると(自動車の走行が開始すると)、まず、運転者20の長いまばたきを検出するための判定時間Tsを検出する。図13は、運転初期期間の運転者支援装置10の動作を示すフローチャートであって、運転者の長いまばたきを判定する判定時間Tsを算出する動作を示す。ここで言う運転初期期間とは、自動車の走行可開始から後述される所定時間が経過するまでの期間である。   When the operation is started (when the vehicle starts to travel), the driver assistance device 10 first detects a determination time Ts for detecting a long blink of the driver 20. FIG. 13 is a flowchart showing the operation of the driver assistance apparatus 10 during the initial driving period, and shows an operation for calculating a determination time Ts for determining a long blink of the driver. The initial driving period referred to here is a period from the start of traveling of the automobile until a predetermined time described later elapses.

図13に示すように、運転者支援装置10は、動作が開始されると、ステップST1にて赤外線カメラ30によって運転者20の目21を所定時間撮影する。本実施形態では、この所定時間の一例として5分とする。表情検出部41は、赤外線カメラ30によって撮影された運転者20の目21の映像から、運転者20のまばたきの回数および各まばたきの時間(まばたき閉じ時間)を検出する。また、運転者20の視線の動き(軌跡)を検出する。運転者20の目21を所定時間(五分間)撮影すると、ついで、ステップST2に進む。   As shown in FIG. 13, when the operation is started, the driver assistance device 10 photographs the eyes 21 of the driver 20 with the infrared camera 30 for a predetermined time in step ST1. In this embodiment, it is set as 5 minutes as an example of this predetermined time. The facial expression detection unit 41 detects the number of blinks of the driver 20 and the time of each blink (blink closing time) from the image of the eyes 21 of the driver 20 taken by the infrared camera 30. Further, the movement (trajectory) of the line of sight of the driver 20 is detected. When the eyes 21 of the driver 20 are photographed for a predetermined time (five minutes), the process proceeds to step ST2.

ステップST2では、撮影された映像から、運転者20の個人認証を行う。運転者20は、過去自動車を走行しており、運転者状態検出部42は、運転者20の過去の走行の情報を記憶している。   In step ST2, personal authentication of the driver 20 is performed from the captured video. The driver 20 has traveled a past car, and the driver state detection unit 42 stores information on past travel of the driver 20.

運転者の情報は、一例として、運転者20の走行距離が予め設定された所定距離以上のものの数nと、運転者20の判定時間Tsと、運転者20の過去の走行のうち走行距離が所定距離以上の各走行の走行時間Tkや、過去の走行のうち所定距離以上走行した各走行のパニック発生度数Pの積算値Pkである。ここで用いた所定距離は、互いに同じ距離であってよく、任意に決定できる。   The driver information includes, as an example, the number n of the driving distances of the driver 20 equal to or greater than a predetermined distance, the determination time Ts of the driver 20, and the driving distance of the past driving of the driver 20. The travel time Tk of each travel over a predetermined distance and the integrated value Pk of the panic occurrence frequency P of each travel that traveled over a predetermined distance among past travels. The predetermined distance used here may be the same distance as each other and can be arbitrarily determined.

ステップST2で運転者20の個人認証が行われると、運転者状態検出部42は、本ステップST2で認証された運転者20の過去の走行に係る情報をみる。   When personal authentication of the driver 20 is performed in step ST2, the driver state detection unit 42 looks at information related to the past travel of the driver 20 authenticated in step ST2.

ついで、ステップST3に進む。ステップST3では、運転者状態検出部42は、ステップST1で検出したまばたきに基づいて、図3に示すグラフを作成する。ついで、運転者状態検出部42は、運転者20の判定時間Tsを算出する。   Then, the process proceeds to step ST3. In step ST3, the driver state detection unit 42 creates the graph shown in FIG. 3 based on the blink detected in step ST1. Next, the driver state detection unit 42 calculates the determination time Ts of the driver 20.

また、運転者状態検出部42は、運転者20の過去の走行の際に算出された判定時間Tsの平均値と、今回ステップST3で算出された判定時間Tsとを比較する。比較の結果、過去の走行で算出された判定時間Tsの平均値に対して、今回算出された判定時間Tsが大きく離れている場合は、今回ステップST3で算出された判定時間Tsは用いられず、過去の走行の判定時間Tsの平均値が用いられる。そして、今回ステップST3で算出された判定時間Tsは、運転者20の情報として記憶されない。   In addition, the driver state detection unit 42 compares the average value of the determination time Ts calculated during the past driving of the driver 20 with the determination time Ts calculated in step ST3. As a result of comparison, when the determination time Ts calculated this time is far from the average value of the determination times Ts calculated in the past travel, the determination time Ts calculated in step ST3 is not used. The average value of the determination times Ts of past travel is used. The determination time Ts calculated at step ST3 is not stored as information about the driver 20.

また、ステップST3では、運転者状態検出部42は、ステップST1で撮影された運転者20の目21の映像から、速度計、ルームミラー、ドアミラーなどの運転者20がよく見る視認対象での視線の動きを表す図6,7に示されるようなリターンマップを作成し、当該リターンマップから運転者20のカオス性指標値を検出する。   Further, in step ST3, the driver state detection unit 42 looks at a visual target that the driver 20 often sees, such as a speedometer, a room mirror, and a door mirror, from the image of the eye 21 of the driver 20 taken in step ST1. 6 and 7 representing the movement of the vehicle, a chaotic index value of the driver 20 is detected from the return map.

運転初期期間は、運転者20は、充分に覚醒しており、かつ、認知度が充分高い状態である。このため、ステップST3で検出される運転者20のカオス性指標値は、運転者20の認知度を算出する際の基準値として用いられる。   During the initial driving period, the driver 20 is sufficiently awake and has a sufficiently high degree of recognition. For this reason, the chaotic index value of the driver 20 detected in step ST3 is used as a reference value for calculating the driver 20's degree of recognition.

運転者20の判定時間Tsが算出され、かつ、運転初期期間でのカオス性指標値が算出されると、ついで、図14に示される動作が開始される。図14は、運転初期期間経過以降での運転者支援装置10の動作を示すフローチャートである。図14を用いて運転初期期間以降の運転者支援装置10の動作を説明する。   When the determination time Ts of the driver 20 is calculated and the chaotic index value in the initial driving period is calculated, the operation shown in FIG. 14 is then started. FIG. 14 is a flowchart showing the operation of the driver assistance apparatus 10 after the initial driving period has elapsed. The operation of the driver assistance apparatus 10 after the initial driving period will be described with reference to FIG.

まず、運転初期期間が経過した直後(例えば、自動車の走行開始10分後など)について説明する。この状態を、第1の運転状態O1とする。第1の運転状態O1は、運転開始から間もないので、運転者20に眠気がなく、かつ、認知度も充分高い状態である。このため、異常状態になる可能性が低い状態である
図14に示すように、ステップST21では、赤外線カメラ30によって、運転者20の目21を所定時間撮影する。表情検出部41は、撮影された運転者20の目21の映像から、運転者20のまばたきの回数と各まばたきの時間とを検出する。なお、ここで言う所定時間は、運転初期期間のステップST1での運転者の画像取得の際の所定時間と同じであってよく、本実施形態では、一例として5分とする。なお、運転初期期間のステップST1での運転者の画像取得の際の所定時間と異なってもよい。所定時間の運転者20の目21の映像が取得されると、ついで、ステップST22に進む。
First, a description will be given immediately after the initial driving period has elapsed (for example, 10 minutes after the start of traveling of the automobile). This state is referred to as a first operation state O1. Since the first driving state O1 is shortly after the start of driving, the driver 20 is not drowsy and has a sufficiently high degree of recognition. For this reason, as shown in FIG. 14, which is a state in which the possibility of becoming an abnormal state is low, the eye 21 of the driver 20 is photographed for a predetermined time by the infrared camera 30 in step ST21. The expression detection unit 41 detects the number of blinks of the driver 20 and the time of each blink from the photographed image of the eyes 21 of the driver 20. Note that the predetermined time referred to here may be the same as the predetermined time at the time of driver image acquisition in step ST1 of the initial driving period, and in the present embodiment, it is set to 5 minutes as an example. In addition, you may differ from the predetermined time at the time of the driver | operator's image acquisition in step ST1 of a driving | operation initial period. When the image of the eye 21 of the driver 20 for a predetermined time is acquired, the process proceeds to step ST22.

ステップST22では、運転者20の覚醒度を検出する。まず、運転者状態検出部42は、運転初期期間に検出された判定時間Tsを用いて、長いまばたきを検出する。ついで、ステップST21での所定時間内の全まばたきの回数N1に対するステップST21の所定時間内の長いまばたきの回数N2の割合Rを検出する。割合Rが検出されると、当該割合Rに基づいて、運転者20の覚醒度のレベルを判定する。第1の運転状態O1では、運転者20は眠気を有しておらず、それゆえ、覚醒度は、第5のレベルであるとする。覚醒度が検出されると、ついで、ステップST23に進む。   In step ST22, the awakening level of the driver 20 is detected. First, the driver state detection unit 42 detects a long blink using the determination time Ts detected in the initial driving period. Next, the ratio R of the number N2 of long blinks within the predetermined time in step ST21 to the total number N1 of blinks within the predetermined time in step ST21 is detected. When the ratio R is detected, the level of arousal level of the driver 20 is determined based on the ratio R. In the first driving state O1, it is assumed that the driver 20 does not have drowsiness, and therefore the arousal level is the fifth level. When the arousal level is detected, the process proceeds to step ST23.

ステップST23では、パニック予兆判定部43は、ステップST22で検出された覚醒度が第1のレベルであるか否かを判定する。第1の運転状態O1では、覚醒度は、第5のレベルであるので、ついで、ステップST24に進む。   In step ST23, the panic sign determination unit 43 determines whether or not the arousal level detected in step ST22 is the first level. In the first driving state O1, since the arousal level is the fifth level, the process proceeds to step ST24.

ステップST24では、運転者状態検出部42は、運転者20の認知度を検出する。具体的には、ステップST21で検出された運転者20の目21の映像から、図6,7に示されるようなリターンマップを作成し、ステップST21で検出された運転者20の目21の視線の動きから現時点の運転者20のカオス性指標値を算出する。運転者20がよく見る視認対象ごとに形成されるリターンマップのいずれかが用いられればよい。   In step ST24, the driver state detection unit 42 detects the degree of recognition of the driver 20. Specifically, a return map as shown in FIGS. 6 and 7 is created from the image of the eye 20 of the driver 20 detected in step ST21, and the line of sight of the eye 21 of the driver 20 detected in step ST21. The chaotic index value of the current driver 20 is calculated from the movement of Any of the return maps formed for each visual target that the driver 20 often sees may be used.

ついで、ここで得られたカオス性指標値と、運転初期期間のステップST4で算出された運転初期の運転者20のカオス性指標値とを比較する。第1の運転状態O1では、運転者20の認知度は充分に高い状態であるので、運転初期期間でのカオス性指標値に対する変化量が小さい。このため、運転者20の認知度は、高レベル状態であると判定される。運転者20の認知度が算出されると、ついでステップST25に進む。   Next, the chaotic index value obtained here is compared with the chaotic index value of the driver 20 in the initial driving period calculated in step ST4 in the initial driving period. In the first driving state O1, the degree of recognition of the driver 20 is sufficiently high, so that the amount of change with respect to the chaotic index value in the initial driving period is small. For this reason, it is determined that the degree of recognition of the driver 20 is in a high level state. When the degree of recognition of the driver 20 is calculated, the process proceeds to step ST25.

ステップST25では、運転者状態検出部42は、図12に示されるマップを用いて、ステップST22,ST23で算出された覚醒度と認知度とに基づいて、運転者20のパニック発生度数Pを算出する。   In step ST25, the driver state detection unit 42 calculates the panic occurrence frequency P of the driver 20 based on the arousal level and the recognition level calculated in steps ST22 and ST23, using the map shown in FIG. To do.

第1の運転状態O1では、覚醒度が第5のレベルであり、認知度が高状態である。このため、パニック発生度数Pkは、0(零)となる。パニック発生度数Pが算出されると、ついで、ステップST26に進む。   In the first driving state O1, the arousal level is the fifth level and the degree of recognition is high. For this reason, the panic occurrence frequency Pk is 0 (zero). When the panic occurrence frequency P is calculated, the process proceeds to step ST26.

ステップST26では、運転者状態検出部42は、運転者状態判定値Iである現在の走行でのパニック発生度数Pの積算値Peを算出する。現在の走行でのパニック発生度数Pの積算値Peとは、走行が開示されてから現時点までに算出されたパニック発生度数Pの積算値である。現在の走行でのパニック発生度数の積算値が算出されると、ついで、ステップST27に進む。   In step ST26, the driver state detection unit 42 calculates the integrated value Pe of the panic occurrence frequency P in the current travel, which is the driver state determination value I. The integrated value Pe of the panic occurrence frequency P in the current traveling is an integrated value of the panic occurrence frequency P calculated up to the present time after the traveling is disclosed. When the integrated value of the panic occurrence frequency in the current travel is calculated, the process proceeds to step ST27.

ステップST27では、運転者状態検出部42は、情報呈示閾値Lを算出する。具体的には、情報呈示閾値Lは、上記したように、運転者20の過去の走行のうち予め設定される所定距離以上走行した各走行のパニック発生度数の積算値の合計値を、予め設定される所定距離以上走行した各走行の各々の走行時間の合計値でわって得られる、過去の積算値の単位時間当たりの平均値Aに、現在の走行の走行時間Taをかけた値である。   In step ST27, the driver state detection unit 42 calculates an information presentation threshold L. Specifically, as described above, the information presentation threshold L is set in advance as the total value of the integrated values of the panic occurrence frequency of each run that has traveled more than a predetermined distance set in advance among the past runs of the driver 20. It is a value obtained by multiplying the average value A per unit time of the past integrated value by the travel time Ta of the current travel obtained by the total value of the travel time of each travel that has traveled over a predetermined distance. .

このため、運転者状態検出部42は、現在の走行での走行時間Taを算出し、運転者20の過去の走行でのパニック発生度数の積算値の単位時間当たりの平均値Aを算出し、これら走行時間Taと平均値Aとから、情報呈示閾値Lを算出する。情報呈示閾値Lが算出されると、ついで、ステップST28に進む。   Therefore, the driver state detection unit 42 calculates the travel time Ta in the current travel, calculates the average value A per unit time of the integrated value of the panic occurrence frequency in the past travel of the driver 20, An information presentation threshold value L is calculated from the travel time Ta and the average value A. When the information presentation threshold L is calculated, the process proceeds to step ST28.

ステップST28では、パニック予兆判定部43は、ステップST27で算出された運転者の情報呈示閾値Lと、現在の走行でのパニック発生度数Pの積算値Peとを比較する。第1の状態では、運転者20が充分に覚醒しており、かつ、運転者20の認知度も十分に高い状態である。このため、第1の運転状態O1では、パニック発生度数Pの積算値Peは、大きな値とはならず、それゆえ、情報呈示閾値L以下となる(L≦Pe、つまりL≦I)。   In step ST28, the panic sign determination unit 43 compares the driver's information presentation threshold L calculated in step ST27 with the integrated value Pe of the panic occurrence frequency P in the current travel. In the first state, the driver 20 is sufficiently awakened, and the driver's 20 recognition level is sufficiently high. For this reason, in the first operating state O1, the integrated value Pe of the panic occurrence frequency P does not become a large value, and is therefore not more than the information presentation threshold L (L ≦ Pe, that is, L ≦ I).

ついで、ステップST21に戻る。そして、再びステップST21から動作が開始される。第1の運転状態O1のように運転者20が充分に覚醒しており(例えば、覚醒度が第5のレベル)、かつ、運転者20の認知度が充分に高い状態(例えば、認知度が高状態)
では、上記と同様に、ステップST21〜ST28の動作が繰り返される。
Then, the process returns to step ST21. Then, the operation is started again from step ST21. As in the first driving state O1, the driver 20 is sufficiently awake (for example, the arousal level is the fifth level) and the driver 20 has a sufficiently high level of recognition (for example, the level of recognition is High state)
Then, similarly to the above, the operations of steps ST21 to ST28 are repeated.

なお、ステップST21に戻ると、前回のステップST21で所定時間内に検出されたまばたきの全回数N1と長いまばたきの回数N2とは消去され、新たに所定時間内に検出されたまばたきの全回数N1と長いまばたきの回数N2とが保存される。そして、以降の動作(ステップ)では、新たに検出されたまばたきの全回数N1と長いまばたきの回数N2とが用いられる。そして、再びステップST21に戻ると、同様にN1,N2がリセットされる。   When returning to step ST21, the total number N1 of blinks detected within a predetermined time in the previous step ST21 and the number N2 of long blinks are deleted, and the total number N1 of blinks newly detected within a predetermined time is deleted. And the number N2 of long blinks are stored. In the subsequent operation (step), the newly detected total number N1 of blinks and the long number N2 of blinks are used. Then, when returning to step ST21 again, N1 and N2 are similarly reset.

つぎに、第1の運転状態O1を経て、運転状態が長時間となり、それゆえ、運転者20が眠気を有している状態での運転者支援装置10の動作を説明する。この状態を第2の運転状態O2とする。   Next, the operation of the driver assistance apparatus 10 in a state where the driving state becomes a long time through the first driving state O1 and therefore the driver 20 is drowsy will be described. This state is referred to as a second operation state O2.

ステップST21の動作は、第1の運転状態O1と同じである。ステップST22では、判定時間Tsを用いて、ステップST21で検出された運転者20のまばたきのうちの長いまばたきを検出するとともに、ステップST21で検出された全まばたき回数N1に対するステップST21で検出された長いまばたきの回数N2の割合Rを検出する。第2の運転状態O2では、運転者20が眠気を有しており、それゆえ、覚醒度は、第1のレベルとする。ついで、ステップST23に進む。   The operation in step ST21 is the same as that in the first operating state O1. In step ST22, using the determination time Ts, a long blink among the blinks of the driver 20 detected in step ST21 is detected, and the long blink detected in step ST21 with respect to the total number of blinks N1 detected in step ST21. A ratio R of the number of blinks N2 is detected. In the second driving state O2, the driver 20 has drowsiness. Therefore, the arousal level is set to the first level. Then, the process proceeds to step ST23.

ステップST23では、運転者20の覚醒度が第1のレベルであると判定され、ついで、ステップST29に進む。   In step ST23, it is determined that the driver's arousal level is the first level, and then the process proceeds to step ST29.

ステップST29では、覚醒度を向上するための刺激が運転者20に供給される。覚醒度を向上するための刺激としては、視覚、聴覚、触覚、嗅覚に対する刺激がある。本実施形態では、一例として、警報装置60から警報が発せられる。また、放香装置70から覚醒度を向上する効果を有する香りが発せられる。また、オーディオ装置から覚醒度を向上する効果を有する音楽が流れる。覚醒度向上のための刺激が運転者20に供給されると、ついで、ステップST24に進む。   In step ST29, a stimulus for improving the arousal level is supplied to the driver 20. As stimuli for improving the arousal level, there are stimuli for vision, hearing, touch, and smell. In the present embodiment, as an example, an alarm is issued from the alarm device 60. Moreover, the fragrance which has the effect which improves arousal level is emitted from the fragrance | flavor apparatus 70. Also, music having an effect of improving the arousal level flows from the audio device. When the stimulus for improving the arousal level is supplied to the driver 20, the process proceeds to step ST24.

なお、ここで一例として用いた第2の運転状態O2では、現在の走行でのパニック発生度数Pの積算値Peは、情報呈示閾値L以下としている。   Note that, in the second driving state O2 used as an example here, the integrated value Pe of the panic occurrence frequency P in the current travel is set to the information presentation threshold value L or less.

つぎに、運転時間が長くなり、運転者20の覚醒度が低下し、かつ、運転者20の認知度が低下した状態での運転者支援装置10の動作を説明する。この状態を第3の運転状態O3とする。第3の運転状態O3では、運転に対する集中度である認知度が低下している状態である。このため、運転者20は、パニックになる可能性が高い状態または意図しない操作を行う可能性が高い状態のうち少なくともいずれか一方の状態、つまり、異常状態になる可能性が高い状態意である。   Next, the operation of the driver assistance apparatus 10 in a state where the driving time becomes longer, the awakening level of the driver 20 is lowered, and the recognition level of the driver 20 is lowered will be described. This state is referred to as a third operation state O3. In the third driving state O3, the degree of recognition that is the degree of concentration with respect to driving is reduced. For this reason, the driver 20 is in a state where there is a high possibility of becoming a panic or a state where there is a high possibility of performing an unintended operation, that is, a state where there is a high possibility of becoming an abnormal state. .

ステップST28では、現在の走行でのパニック発生度数Pの積算値Peと情報呈示閾値Lとが比較される。第3の運転状態O3では、覚醒度が低下し、かつ、認知度が低下しており、それゆえ、現在の走行のパニック発生度数Pの積算値Peは、情報呈示閾値Lより大きくなる(Pe>L、つまりI>L)。ついで、ステップST30に進む。   In step ST28, the integrated value Pe of the panic occurrence frequency P in the current travel is compared with the information presentation threshold value L. In the third driving state O3, the arousal level is decreased and the recognition level is decreased. Therefore, the integrated value Pe of the panic occurrence frequency P of the current driving is larger than the information presentation threshold L (Pe). > L, ie I> L). Then, the process proceeds to step ST30.

ステップST30では、パニック予兆判定部43は、現在の走行でのパニック発生度数Pの積算値Peが情報呈示閾値Lより大きいことから、運転者20が異常状態になる可能性が高い状態であると判定する。ついで、情報表示装置50が、意図しない操作が行われる可能性が高い状態またはパニック状態になる可能性が高い状態であることを表示する。   In step ST30, the panic sign determining unit 43 is in a state where the driver 20 is likely to be in an abnormal state because the integrated value Pe of the panic occurrence frequency P in the current travel is greater than the information presentation threshold L. judge. Next, the information display device 50 displays a state where there is a high possibility that an unintended operation will be performed or a state where there is a high possibility of a panic state.

情報表示装置50が情報を呈示すると、再びステップST21から動作か開始される。なお、情報表示装置50は、現在の走行でのパニック発生度数Pの積算値Peが、情報呈示閾値L以下とならない状態では、情報を呈示し続ける。   When the information display device 50 presents information, the operation starts again from step ST21. Note that the information display device 50 continues to present information in a state where the integrated value Pe of the panic occurrence frequency P in the current travel does not become the information presentation threshold value L or less.

このように、運転者支援装置10によれば、覚醒度と認知度とを用いてパニック発生度数を検出する。認知度は、運転者の運転に対する集中度を示す。運転者20が意図しない操作をする状態およびパニック状態は、運転者20の運転に対する集中度が低下している状態で発生する傾向にある。このため、認知度を用いることによって、運転者20が異常状態になる可能性が高い状態を判定することができる。   Thus, according to the driver assistance apparatus 10, the panic occurrence frequency is detected using the arousal level and the recognition level. The degree of recognition indicates a driver's degree of concentration with respect to driving. A state in which the driver 20 performs an unintended operation and a panic state tend to occur in a state in which the concentration of the driver 20 with respect to driving is reduced. For this reason, by using the degree of recognition, it is possible to determine a state where the driver 20 is likely to be in an abnormal state.

この結果、運転者20が意図しない操作が行われる前、または、運転者20がパニック状態になる前に、運転者20にその予兆を知られるせることができるので、事故の発生を抑制することができる。   As a result, before the driver 20 performs an unintended operation or before the driver 20 enters a panic state, the driver 20 can be notified of the sign, thereby suppressing the occurrence of an accident. Can do.

また、覚醒度を運転者20のまばたきに基づいて検出し、認知度を運転者20の視線の動きに基づいて検出する。このように、覚醒度と認知度とは、運転者20の目21の状態を検出するだけでよい。本実施形態では、運転者20の目21の状態を検出する手段の一例として、赤外線カメラ30が用いられる。このように、運転者支援装置10の構造を簡素にすることができるので、運転者支援装置10のコストが高くなることを抑制することができる。   Further, the degree of arousal is detected based on the blink of the driver 20, and the degree of recognition is detected based on the movement of the driver 20's line of sight. Thus, the degree of arousal and the degree of recognition need only detect the state of the eyes 21 of the driver 20. In the present embodiment, an infrared camera 30 is used as an example of means for detecting the state of the eyes 21 of the driver 20. Thus, since the structure of the driver assistance apparatus 10 can be simplified, it can suppress that the cost of the driver assistance apparatus 10 becomes high.

このように、運転者支援装置10は、事故の発生を簡素な構造で抑制することができる。   Thus, the driver assistance apparatus 10 can suppress the occurrence of an accident with a simple structure.

つぎに、本発明の第2の実施形態に係る運転者支援装置を、図15〜18を用いて説明する。なお、第1の実施形態と同様の機能を有する構成は、第1の実施形態と同一の符号を付して説明省略する。本実施形態では、運転者支援装置10では、情報呈示閾値Lが用いられず、現在の走行でのパニック発生度数Pの積算値Peを情報表示装置50が表示する。このため、本実施形態では、第1の実施形態に対して、情報呈示閾値Lに係る動作が行われない点が異なる。他の点は第1の実施形態と同様であってよい。上記異なる点について、具体的に説明する。   Next, a driver assistance apparatus according to a second embodiment of the present invention will be described with reference to FIGS. In addition, the structure which has the same function as 1st Embodiment attaches | subjects the code | symbol same as 1st Embodiment, and abbreviate | omits description. In the present embodiment, in the driver assistance device 10, the information display threshold L is not used, and the information display device 50 displays the integrated value Pe of the panic occurrence frequency P in the current travel. For this reason, this embodiment is different from the first embodiment in that the operation related to the information presentation threshold L is not performed. Other points may be the same as in the first embodiment. The above different points will be specifically described.

図15は、本実施形態の運転者支援装置10を示す概略図である。本実施形態では、上記したように情報呈示閾値Lを用いない。このため、運転者支援装置10は、パニック予兆判定部43を備えていない。また、運転者状態検出部42は、情報呈示閾値Lを算出しない。警報装置60と放香装置70と情報表示装置50の動作は、運転者状態検出部42によって制御される。   FIG. 15 is a schematic diagram showing the driver assistance apparatus 10 of the present embodiment. In the present embodiment, the information presentation threshold L is not used as described above. For this reason, the driver assistance apparatus 10 does not include the panic sign determination unit 43. The driver state detection unit 42 does not calculate the information presentation threshold value L. The operations of the alarm device 60, the scenting device 70, and the information display device 50 are controlled by the driver state detection unit 42.

本実施の運転者支援装置10の運転初期期間の動作では、図13に示されるステップST3において、情報呈示閾値Lが算出されない。運転初期期間の動作は、上記点を除いて、第1の実施形態と同様であってよい。   In the operation in the initial driving period of the driver assistance device 10 of the present embodiment, the information presentation threshold L is not calculated in step ST3 shown in FIG. The operation in the initial operation period may be the same as that in the first embodiment except for the above point.

図16は、本実施形態の運転者支援装置10において、運転初期期間以降の動作を示すフローチャートである。図15に示されるステップにおいて、第1の実施形態の図14で説明されたステップと同様の動作内容のステップは、図14に示されるステップと同じ符号を付して説明を省略する。図15に示すように、本実施形態の運転者支援装置10では、ステップST27,ST28,ST30に代えて、ステップST31で示される動作を備えている。   FIG. 16 is a flowchart showing an operation after the initial driving period in the driver assistance device 10 of the present embodiment. In the steps shown in FIG. 15, steps having the same operation content as the steps described in FIG. 14 of the first embodiment are denoted by the same reference numerals as those shown in FIG. 14 and description thereof is omitted. As shown in FIG. 15, the driver assistance apparatus 10 of the present embodiment includes an operation shown in step ST31 instead of steps ST27, ST28, ST30.

ステップST26についで、ステップST31に進む。ステップST31では、情報表示装置50は、運転者状態検出部42の制御によって、ステップST26で算出された現在の走行でのパニック発生度数Pの積算値Peを示す。本実施形態では、情報表示装置50は、本発明で言う表示装置の一例である。   After step ST26, the process proceeds to step ST31. In step ST31, the information display device 50 indicates the integrated value Pe of the panic occurrence frequency P in the current travel calculated in step ST26 under the control of the driver state detection unit 42. In the present embodiment, the information display device 50 is an example of a display device referred to in the present invention.

パニック発生度数の積算値Peの表示方法の一例として、グラフが用いられる。図17は、現在の走行でのパニック発生度数の積算値Peを示す棒グラフである。図18は、表示方法の他の例である。図18は、現在の走行でのパニック発生度数の積算値Peを示す時系列グラフである。   A graph is used as an example of a method of displaying the integrated value Pe of the panic occurrence frequency. FIG. 17 is a bar graph showing the integrated value Pe of the panic occurrence frequency in the current travel. FIG. 18 is another example of the display method. FIG. 18 is a time-series graph showing the integrated value Pe of the panic occurrence frequency in the current travel.

本実施形態では、運転者20は、現在の走行でのパニック発生度数の積算値Peを見ることができるので、運転者20の現在の状態を把握することができる。例えば、パニック発生度数の積算値Peが高くなれば、異常状態になる可能性が高くなっていることを把握することができる。   In the present embodiment, since the driver 20 can see the integrated value Pe of the panic occurrence frequency in the current travel, the driver 20 can grasp the current state of the driver 20. For example, if the integrated value Pe of the panic occurrence frequency is high, it is possible to grasp that the possibility of becoming an abnormal state is high.

このため、本実施形態であっても、第1の実施形態と同様の効果を得ることができる。   For this reason, even in the present embodiment, the same effect as in the first embodiment can be obtained.

なお、本実施形態では、運転者支援装置10は、パニック予兆判定部43を備えていない。しかしながら、例えば、第1の実施形態で用いられた、パニック予兆判定部43を備える運転者支援装置10が、第2の実施形態で説明されたように、パニック発生度数の積算値Peを表示するようにしてもよい。または、第1の実施形態で説明された運転者支援装置10が、第1の実施形態で説明された情報呈示閾値Lとの比較を行う動作と、第2の実施形態で説明されたパニック発生度数の積算値Peを表示する動作とを切換えて行えるようにしてもよい。   Note that in the present embodiment, the driver assistance device 10 does not include the panic sign determination unit 43. However, for example, as described in the second embodiment, the driver assistance device 10 including the panic sign determination unit 43 used in the first embodiment displays the integrated value Pe of the panic occurrence frequency. You may do it. Alternatively, the driver assistance device 10 described in the first embodiment compares the information presentation threshold L described in the first embodiment with the panic occurrence described in the second embodiment. The operation of displaying the integrated value Pe of frequencies may be switched.

この発明は、上述した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述した実施の形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。更に、異なる実施の形態に亘る構成要素を適宜組み合わせてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[付記1]
運転者のまばたきに基づいて運転者の覚醒度を検出する覚醒度検出手段と、
運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、
運転者が意図しない操作を行った状態と運転者がパニックになった状態とのうち少なくともいずれか一方の状態である異常状態になる可能性が高い状態を判定する閾値を検出する閾値検出手段と、
前記覚醒度検出手段によって検出された運転者の覚醒度および前記認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、
前記運転者状態判定値を前記閾値と比較し、運転者が前記異常状態になる可能性が高い状態であるか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、運転者に注意する注意手段と
を具備することを特徴とする運転支援装置。
[付記2]
前記認知度と前記覚醒度との組み合わせから求められるパニック発生度数をPとし、
車両の過去の走行のうち、所定距離以上走行した回数をnとし、
kを1からnまでの変数とした場合、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番目の走行での前記パニック発生度数Pの積算値をPkとし、
前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番面の走行での走行時間をTkとし、
現在の走行の走行時間をTaとし、
前記閾値をLとすると、

Figure 0005177102
となり、
前記運転者状態判定値を、現在の走行での前記パニック発生度数の積算値であるIとすると、
前記判定手段は、前記運転者状態判定値Iが前記閾値Lより大きくとなると、前記運転者が前記異常状態になる可能性が高い状態であると判定する
ことを特徴とする付記1に記載の運転支援装置。
[付記3]
運転者のまばたきに基づいて運転者の覚醒度を検出する覚醒度検出手段と、
運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、
前記覚醒度検出手段によって検出された運転者の覚醒度および前認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、
現在の走行の前記運転者状態判定値を表示する表示装置と
を具備することを特徴とする運転支援装置。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. Furthermore, you may combine the component covering different embodiment suitably.
Hereinafter, the invention described in the scope of claims of the present application will be appended.
[Appendix 1]
Wakefulness detection means for detecting the driver's wakefulness based on the driver's blink,
A degree of recognition detecting means for detecting a degree of recognition indicating the degree of concentration of the driver with respect to driving based on the movement of the driver's line of sight;
Threshold detection means for detecting a threshold for determining a state that is likely to be an abnormal state that is at least one of a state in which the driver performs an unintended operation and a state in which the driver panics; ,
A driver that detects a driver state determination value indicating a driving state of the driver based on the driver's arousal level detected by the arousal level detection unit and the driver's level of recognition detected by the recognition level detection unit. State determination value detection means;
A determination unit that compares the driver state determination value with the threshold value and determines whether or not the driver is likely to be in the abnormal state.
Attention means for paying attention to the driver based on the determination result of the determination means;
A driving support apparatus comprising:
[Appendix 2]
The panic occurrence frequency obtained from the combination of the degree of recognition and the degree of arousal is P,
Of the past driving of the vehicle, n is the number of times the vehicle has traveled more than a predetermined distance,
When k is a variable from 1 to n, among the past travels of the vehicle, the integrated value of the panic occurrence frequency P in the kth travel out of travels that have traveled more than the predetermined distance is defined as Pk,
Of the past travels of the vehicle, the travel time on the kth travel out of travels that have traveled more than the predetermined distance is Tk,
Let Ta be the running time of the current run,
If the threshold is L,
Figure 0005177102
And
When the driver state determination value is I, which is an integrated value of the panic occurrence frequency in the current travel,
When the driver state determination value I is greater than the threshold value L, the determination unit determines that the driver is highly likely to be in the abnormal state.
The driving support apparatus according to Supplementary Note 1, wherein
[Appendix 3]
Wakefulness detection means for detecting the driver's wakefulness based on the driver's blink,
A degree of recognition detecting means for detecting a degree of recognition indicating the degree of concentration of the driver with respect to driving based on the movement of the driver's line of sight;
A driver that detects a driver state determination value indicating a driving state of the driver based on the driver's arousal level detected by the arousal level detection unit and the driver's level of recognition detected by the previous recognition level detection unit. State determination value detection means;
A display device for displaying the driver state determination value of the current travel;
A driving support apparatus comprising:

10…運転支援装置、20…運転者、30…赤外線カメラ(覚醒度検出手段、認知度検出手段)、41…表情検出部(覚醒度検出手段、認知度検出手段)、42…運転者状態検出部(覚醒度検出手段、認知度検出手段、運転者状態判定値検出手段)、43…パニック予兆判定部(判定手段)、50…情報表示装置(注意手段、表示装置)。   DESCRIPTION OF SYMBOLS 10 ... Driving assistance apparatus, 20 ... Driver, 30 ... Infrared camera (wakefulness detection means, recognition degree detection means), 41 ... Facial expression detection part (wakefulness detection means, recognition degree detection means), 42 ... Driver state detection Parts (wakefulness detection means, recognition degree detection means, driver state determination value detection means), 43 ... panic sign determination part (determination means), 50 ... information display device (attention means, display device).

Claims (2)

運転者のまばたきに基づいて運転者の覚醒度を検出する覚醒度検出手段と、
運転者の視線の動きに基づいて、当該運転者の運転に対する集中の度合いを示す認知度を検出する認知度検出手段と、
運転者が意図しない操作を行った状態と運転者がパニックになった状態とのうち少なくともいずれか一方の状態である異常状態になる可能性が高い状態を判定する閾値を検出する閾値検出手段と、
前記覚醒度検出手段によって検出された運転者の覚醒度および前記認知度検出手段によって検出された運転者の認知度に基づいて、運転者の運転状態を示す運転者状態判定値を検出する運転者状態判定値検出手段と、
前記運転者状態判定値を前記閾値と比較し、運転者が前記異常状態になる可能性が高い状態であるか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、運転者に注意する注意手段と
を具備することを特徴とする運転支援装置。
Wakefulness detection means for detecting the driver's wakefulness based on the driver's blink,
A degree of recognition detecting means for detecting a degree of recognition indicating the degree of concentration of the driver with respect to driving based on the movement of the driver's line of sight;
Threshold detection means for detecting a threshold for determining a state that is likely to be an abnormal state that is at least one of a state in which the driver performs an unintended operation and a state in which the driver panics; ,
A driver that detects a driver state determination value indicating a driving state of the driver based on the driver's arousal level detected by the arousal level detection unit and the driver's level of recognition detected by the recognition level detection unit. State determination value detection means;
A determination unit that compares the driver state determination value with the threshold value and determines whether or not the driver is likely to be in the abnormal state.
A driving support device comprising: a caution unit that pays attention to a driver based on a determination result of the determination unit.
前記認知度と前記覚醒度との組み合わせから求められるパニック発生度数をPとし、
車両の過去の走行のうち、所定距離以上走行した回数をnとし、
kを1からnまでの変数とした場合、前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番目の走行での前記パニック発生度数Pの積算値をPkとし、
前記車両の過去の走行のうち、前記所定距離以上走行した走行のうちk番面の走行での走行時間をTkとし、
現在の走行の走行時間をTaとし、
前記閾値をLとすると、
Figure 0005177102
となり、
前記運転者状態判定値を、現在の走行での前記パニック発生度数の積算値であるIとすると、
前記判定手段は、前記運転者状態判定値Iが前記閾値Lより大きくとなると、前記運転者が前記異常状態になる可能性が高い状態であると判定する
ことを特徴とする請求項1に記載の運転支援装置。
The panic occurrence frequency obtained from the combination of the degree of recognition and the degree of arousal is P,
Of the past driving of the vehicle, n is the number of times the vehicle has traveled over a predetermined distance
When k is a variable from 1 to n, among the past travels of the vehicle, the integrated value of the panic occurrence frequency P in the kth travel out of travels that have traveled more than the predetermined distance is defined as Pk,
Of the past travels of the vehicle, the travel time on the kth travel out of travels that have traveled more than the predetermined distance is Tk,
Let Ta be the running time of the current run,
If the threshold is L,
Figure 0005177102
And
When the driver state determination value is I, which is an integrated value of the panic occurrence frequency in the current travel,
2. The determination unit according to claim 1, wherein when the driver state determination value I is greater than the threshold L, the determination unit determines that the driver is highly likely to be in the abnormal state. Driving assistance device.
JP2009218045A 2009-09-18 2009-09-18 Driving assistance device Expired - Fee Related JP5177102B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009218045A JP5177102B2 (en) 2009-09-18 2009-09-18 Driving assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009218045A JP5177102B2 (en) 2009-09-18 2009-09-18 Driving assistance device

Publications (2)

Publication Number Publication Date
JP2011062465A JP2011062465A (en) 2011-03-31
JP5177102B2 true JP5177102B2 (en) 2013-04-03

Family

ID=43949354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009218045A Expired - Fee Related JP5177102B2 (en) 2009-09-18 2009-09-18 Driving assistance device

Country Status (1)

Country Link
JP (1) JP5177102B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901504B2 (en) 2018-10-05 2021-01-26 Hyundai Motor Company Gaze detection apparatus and congestion control method thereof

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012219979A (en) * 2011-04-13 2012-11-12 Denso Corp Shift control device for vehicle
JP6281238B2 (en) * 2013-10-22 2018-02-21 三菱自動車工業株式会社 Recognition degree estimation device and recognition degree estimation method
CN103770733B (en) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 Method and device for detecting safety driving states of driver
CN106448088A (en) * 2016-10-15 2017-02-22 成都育芽科技有限公司 Intelligent wearable eyesight protecting device and method
JP6811834B2 (en) * 2017-02-15 2021-01-13 三菱電機株式会社 Operating condition determination device and operating condition determination method
JP6841713B2 (en) * 2017-04-24 2021-03-10 アルパイン株式会社 Drowsiness judgment device
JP6678147B2 (en) * 2017-10-20 2020-04-08 オムロン株式会社 Danger sign determination device, danger sign determination system, vehicle, and program
DE112017008148B4 (en) * 2017-11-21 2021-12-16 Mitsubishi Electric Corporation Anomaly detection device and anomaly detection method
CN108198553B (en) 2018-01-23 2021-08-06 北京百度网讯科技有限公司 Voice interaction method, device, equipment and computer readable storage medium
CN116849660B (en) * 2023-06-20 2024-04-02 中公高远(北京)汽车检测技术有限公司 Automatic auxiliary driving test method, system, storage medium and electronic equipment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06127286A (en) * 1992-10-20 1994-05-10 Toyota Motor Corp Vehicle control device
JP3183161B2 (en) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 Arousal level estimation device
JPH11276461A (en) * 1998-03-27 1999-10-12 Suzuki Motor Corp Attention measuring device and information presenting device using the same
JP3895615B2 (en) * 2002-03-01 2007-03-22 あいおい損害保険株式会社 Traffic safety support device, traffic safety support system, and traffic safety support program
JP2007265377A (en) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc Driver state determining device and driving support device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901504B2 (en) 2018-10-05 2021-01-26 Hyundai Motor Company Gaze detection apparatus and congestion control method thereof

Also Published As

Publication number Publication date
JP2011062465A (en) 2011-03-31

Similar Documents

Publication Publication Date Title
JP5177102B2 (en) Driving assistance device
JP5326521B2 (en) Arousal state determination device and arousal state determination method
US9873437B2 (en) Coordinated vehicle response system and method for driver behavior
CN111492420B (en) Doze alarm device
JP4811255B2 (en) State estimation device
US20150379362A1 (en) Imaging device based occupant monitoring system supporting multiple functions
WO2014068892A1 (en) Passenger monitoring device
WO2014149657A1 (en) Coordinated vehicle response system and method for driver behavior
JP2008013004A (en) Driving support system by generating flavor
Varma et al. Accident prevention using eye blinking and head movement
JP2019195377A (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
JP2002254956A (en) Device for detecting falling-off awakened condition
JP2018013811A (en) Driver state determination device and driver state determination program
JPH07156682A (en) Awakening condition detecting device
JP2008197916A (en) Sleep preventing device for vehicle driver
JP6701951B2 (en) Driving support device
JP2005329800A (en) In-vehicle equipment control device
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP2012093867A (en) Notification system
JPH08290726A (en) Doze alarm device
US10945651B2 (en) Arousal level determination device
CN113879319B (en) Drowsiness sign notification system
JP7192668B2 (en) Arousal level determination device
Abdullah et al. Driver fatigue detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121224

R151 Written notification of patent or utility model registration

Ref document number: 5177102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160118

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees