[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4297155B2 - In-vehicle warning device - Google Patents

In-vehicle warning device Download PDF

Info

Publication number
JP4297155B2
JP4297155B2 JP2006280367A JP2006280367A JP4297155B2 JP 4297155 B2 JP4297155 B2 JP 4297155B2 JP 2006280367 A JP2006280367 A JP 2006280367A JP 2006280367 A JP2006280367 A JP 2006280367A JP 4297155 B2 JP4297155 B2 JP 4297155B2
Authority
JP
Japan
Prior art keywords
time
state
vehicle
driver
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006280367A
Other languages
Japanese (ja)
Other versions
JP2008097446A (en
Inventor
重康 魚住
健一 大上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006280367A priority Critical patent/JP4297155B2/en
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to EP11180776.4A priority patent/EP2407947B8/en
Priority to AU2007306009A priority patent/AU2007306009B2/en
Priority to EP07825313A priority patent/EP2082383B1/en
Priority to CN2007800377260A priority patent/CN101523455B/en
Priority to PCT/IB2007/002999 priority patent/WO2008044119A2/en
Priority to US12/311,555 priority patent/US8184008B2/en
Priority to CN201010299790XA priority patent/CN101968917B/en
Publication of JP2008097446A publication Critical patent/JP2008097446A/en
Application granted granted Critical
Publication of JP4297155B2 publication Critical patent/JP4297155B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、脇見時間及び居眠り時間又は閉眼時間の測定結果を用いて運転者に警告をする車載警告装置に関する。   The present invention relates to an in-vehicle warning device that warns a driver using measurement results of a look-ahead time and a dozing time or an eye-closing time.

従来から、運転者の脇見状態および居眠り状態を検出する運転者状態検出手段と、運転者の脇見状態および居眠り状態の継続時間を計時する計時手段と、車速を検出する車速検出手段と、先行車との車間距離を検出する車間距離検出手段と、前記車速検出値と前記車間距離検出値とに基づいて先行車との車間時間を演算する車間時間演算手段と、所定の車間時間において許容時間が最大値となるように予め設定した車間時間に対する許容時間のテーブルから、前記車間時間演算値に対応する許容時間を検索して設定する許容時間設定手段と、前記脇見状態または居眠り状態の継続時間が前記許容時間設定値を超えたら、運転者が脇見運転または居眠り運転をしていると判定する判定手段とを備えることを特徴とする脇見運転および居眠り運転警報装置が知られている(例えば、特許文献1参照)。   Conventionally, a driver state detecting means for detecting a driver's looking-aside state and a dozing state, a timing means for measuring the duration of the driver's looking-aside state and a sleeping state, a vehicle speed detecting means for detecting a vehicle speed, and a preceding vehicle An inter-vehicle distance detecting means for detecting an inter-vehicle distance, an inter-vehicle time calculating means for calculating an inter-vehicle time with a preceding vehicle based on the vehicle speed detection value and the inter-vehicle distance detection value, and an allowable time at a predetermined inter-vehicle time. An allowable time setting means for searching and setting an allowable time corresponding to the calculated inter-vehicle time from a table of allowable time for an inter-vehicle time set in advance so as to be the maximum value, and the duration of the aside or doze state A side-by-side driving and dozing driving, characterized by comprising: a determination unit that determines that the driver is performing a side-by-side driving or a dozing driving when the allowable time set value is exceeded Broadcasting device is known (e.g., see Patent Document 1).

また、自車両の運転速度を検出する自車車速検出手段と、先行車両の運転速度を検出する先行車車速検出手段と、自車両と先行車両との間の車間距離を検出する車間距離検出手段と、前記車間距離に対して、先行車に対する自車両の相対速度が予め定めた許容相対速度以上になったとき、前記運転者に警報を発する警報発生手段と、前記運転者のわき見運転や居眠り運転を検出する運転状態検出手段と、を備え、わき見運転や居眠り運転が検出されたときは前記許容相対速度を低く補正し、その補正許容相対速度以上になったとき前記警報を発するようにしたことを特徴とする先行車両接近警報装置が知られている(例えば、特許文献2参照)。
特開2002−219968号公報 特許第2583335号公報
Also, a host vehicle speed detecting means for detecting the driving speed of the host vehicle, a preceding vehicle speed detecting means for detecting the driving speed of the preceding vehicle, and an inter-vehicle distance detecting means for detecting the inter-vehicle distance between the host vehicle and the preceding vehicle. And an alarm generating means for issuing an alarm to the driver when the relative speed of the host vehicle with respect to the preceding vehicle exceeds a predetermined allowable relative speed with respect to the inter-vehicle distance, and the driver's side-view driving and dozing Driving state detecting means for detecting driving, and when the side-by-side driving or dozing operation is detected, the allowable relative speed is corrected to be low, and the warning is issued when the corrected relative relative speed is exceeded. A preceding vehicle approach warning device characterized by this is known (for example, see Patent Document 2).
JP 2002-219968 A Japanese Patent No. 2583335

上記の特許文献1に記載の発明では、脇見状態の継続時間及び居眠り状態の継続時間に対する許容時間設定値を車間時間に応じて決定しているので、脇見状態の継続時間及び居眠り状態の継続時間に対する許容時間設定値が同一値となる。しかしながら、脇見状態及び居眠り状態は、それぞれ特性の異なる状態であるので、それぞれに対して同一の判定基準で警報タイミングを決定する構成では、警報タイミングが適正なものとならない虞がある。   In the invention described in the above-mentioned Patent Document 1, since the allowable time setting value for the duration of the aside state and the duration of the dozing state is determined according to the inter-vehicle time, the duration of the aside state and the duration of the dozing state The permissible time setting value for is the same value. However, since the look-ahead state and the dozing state are states having different characteristics, the alarm timing may not be appropriate in the configuration in which the alarm timing is determined based on the same determination criterion.

また、上記の特許文献2に記載の発明においても、同様に、脇見状態及び居眠り状態のそれぞれの特性を考慮せずに、衝突危険時の警報タイミングを決定しているので、警報タイミングが適正なものとならない虞がある。   Also, in the invention described in Patent Document 2 above, similarly, the alarm timing at the time of collision danger is determined without considering the respective characteristics of the looking-aside state and the dozing state. There is a risk that it will not be.

そこで、運転者の脇見状態及び居眠り状態又は閉眼状態の特性を考慮した適切な警報タイミングで警報を出力することができる車載警告装置の提供を目的とする。   Therefore, an object of the present invention is to provide an in-vehicle warning device capable of outputting an alarm at an appropriate alarm timing in consideration of the characteristics of the driver's looking-aside state and the dozing state or the closed-eye state.

上記目的を達成するため、第1の発明は、車載警告装置に関し、車両前方物体と自車との相対関係を表わすことが可能な少なくとも1種類の物理量と所定閾値との関係に基づいて、車両前方物体と自車との衝突危険状態を検出する衝突危険状態検出装置と、
前記衝突危険状態検出装置により衝突危険状態が検出された場合に、運転者に警告をする警告出力装置と、
運転者の脇見状態の継続時間を計測する脇見時間計測装置と、
運転者の居眠り状態の継続時間を計測する居眠り時間計測装置と、
前記計測された脇見時間若しくは居眠り時間に応じて、前記所定閾値を、前記衝突危険状態検出装置により衝突危険状態が検出され易くなる方向に変化させる閾値変化装置とを有し、
前記閾値変化装置において、前記居眠り時間に対する前記所定閾値の変化量が、前記脇見時間に対する前記所定閾値の変化量よりも大きいことを特徴とする。
In order to achieve the above object, a first invention relates to an in-vehicle warning device and relates to a vehicle based on a relationship between at least one physical quantity capable of representing a relative relationship between an object ahead of the vehicle and the own vehicle and a predetermined threshold. A collision danger state detection device for detecting a collision danger state between a front object and the own vehicle;
A warning output device that warns the driver when a dangerous collision state is detected by the dangerous collision state detection device;
A side-by-side time measuring device that measures the duration of the driver's side-by-side state;
A dozing time measuring device that measures the duration of the driver's dozing state,
A threshold changing device that changes the predetermined threshold in a direction in which a collision danger state is easily detected by the collision danger state detection device according to the measured look-aside time or dozing time;
In the threshold value changing device , the change amount of the predetermined threshold value with respect to the dozing time is larger than the change amount of the predetermined threshold value with respect to the look-aside time.

の発明は、第の発明に係るにおいて、
前記居眠り時間計測装置が、運転者の眼が閉じられた状態の継続時間を、前記居眠り時間として計測することを特徴とする。
The second invention relates to the first invention,
The dozing time measuring device measures a duration time in which the driver's eyes are closed as the dozing time.

第3の発明は、車両前方物体と自車との相対関係を表わすことが可能な少なくとも1種類の物理量と所定閾値との関係に基づいて、車両前方物体と自車との衝突危険状態を検出する衝突危険状態検出装置と、
前記衝突危険状態検出装置により衝突危険状態が検出された場合に、運転者に警告をする警告出力装置と、
運転者の脇見状態の継続時間を計測する脇見時間計測装置と、
運転者の眼の閉じられている時間を計測する閉眼時間計測装置と、
前記計測された脇見時間若しくは閉眼時間に応じて、前記所定閾値を、前記衝突危険状態検出装置により衝突危険状態が検出され易くなる方向に変化させる閾値変化装置とを有し、
前記閾値変化装置において、前記閉眼時間に対する前記所定閾値の変化量が、前記脇見時間に対する前記所定閾値の変化量よりも大きいことを特徴とする。
According to a third aspect of the present invention, a collision risk state between a vehicle front object and the host vehicle is detected based on a relationship between at least one kind of physical quantity capable of representing a relative relationship between the vehicle front object and the host vehicle and a predetermined threshold. A collision risk detection device that
A warning output device that warns the driver when a dangerous collision state is detected by the dangerous collision state detection device;
A side-by-side time measuring device that measures the duration of the driver's side-by-side state;
An eye-closing time measuring device that measures the time when the driver's eyes are closed;
A threshold value changing device that changes the predetermined threshold value in a direction in which a collision danger state is easily detected by the collision danger state detection device according to the measured look-ahead time or eye-closing time;
In the threshold value changing device , the change amount of the predetermined threshold value with respect to the eye closing time is larger than the change amount of the predetermined threshold value with respect to the looking-aside time.

の発明は、第1〜のいずれかの発明に係るにおいて、
前記脇見時間計測装置が、運転者の顔向きが正面に向いていない状態の継続時間を、前記脇見時間として計測することを特徴とする。
The fourth invention relates to any one of the first to third inventions,
The looking-aside time measuring device measures a duration time in which the driver's face is not facing the front as the looking-aside time.

本発明によれば、運転者の脇見状態及び居眠り状態又は閉眼状態の特性を考慮した適切な警報タイミングで警報を出力することができる車載警告装置が得られる。   ADVANTAGE OF THE INVENTION According to this invention, the vehicle-mounted warning apparatus which can output a warning at the appropriate warning timing in consideration of the driver | operator's looking-aside state and the characteristics of a dozing state or a closed eye state is obtained.

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図1は、本発明の実施例1に係る車載警報装置を含む警報システムの主要構成を例示的に示すシステム構成図である。本実施例の車載警報装置は、警報制御ECU110A、ドライバモニターECU210、ドライバモニターカメラ212、警報ECU230、及びブザー240を含む。   FIG. 1 is a system configuration diagram exemplarily showing a main configuration of an alarm system including an in-vehicle alarm device according to Embodiment 1 of the present invention. The vehicle-mounted alarm device according to the present embodiment includes an alarm control ECU 110A, a driver monitor ECU 210, a driver monitor camera 212, an alarm ECU 230, and a buzzer 240.

警報制御ECU110Aは、ハードウェア構成としては、適切なプロセッサないしマイクロコンピューターを中心に構成され、以下で説明する各種処理を行うCPUや、以下で説明する各種処理を行うために用いられるプログラム及びデータが格納されたROM、演算結果等を格納する読書き可能なRAM、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。尚、他のECU210、230についてもハードウェア構成は同様であってよいが、当然ながら、ROMに記憶されるプログラムやデータの内容(ソフトウェア構成)については、処理内容に相違に応じて異なる。   The alarm control ECU 110A has a hardware configuration mainly composed of an appropriate processor or microcomputer, and has a CPU that performs various processes described below, and programs and data used to perform various processes described below. It has a ROM, a readable / writable RAM for storing operation results, a timer, a counter, an input interface, an output interface, and the like. The hardware configurations of the other ECUs 210 and 230 may be the same, but, of course, the contents of the programs and data stored in the ROM (software configuration) differ depending on the processing contents.

警報制御ECU110Aは、主要な機能を実現する機能ブロックとして、脇見トリガカウント部112と、脇見警報要否判定部114と、閉眼トリガカウント部116と、居眠り警報要否判定部118とを備える。   The alarm control ECU 110 </ b> A includes a side-view trigger count unit 112, a side-arm alarm necessity determination unit 114, a closed eye trigger count unit 116, and a doze alarm necessity determination unit 118 as functional blocks that realize main functions.

警報制御ECU110Aには、適切なバスを介してドライバモニターECU210が接続され、ドライバモニターECU210には、ドライバモニターカメラ212が接続される。また、警報制御ECU110Aには、適切なバスを介して白線検知ECU290が接続され、白線検知ECU290には、白線認識カメラ292が接続される。また、警報制御ECU110Aには、適切なバスを介してレーダセンサ280が接続される。また、警報制御ECU110Aには、CAN(controller area network)に準拠したバスを介して、警報ECU230が接続され、警報ECU230には、ブザー240が接続される。また、図示の例では、警報制御ECU110Aには、CANに準拠したバスを介して、ブレーキECU250が接続され、ブレーキECU250には、ブレーキアクチュエータ260及び車輪側センサ270が接続される。また、図示の例では、警報制御ECU110Aには、CANに準拠したバスを介して、ヨーレートセンサ272やステアリングセンサ274が接続されている。尚、これらの接続態様は、必ずしも有線である必要はなく、一部若しくは全部が無線通信路により実現されてもよい。また、各ECU110、210、230は、便宜上別々のユニットに構成されているが、あるECUの機能の一部若しくは全部が他のECUにより実現されてもよいし、あるECUの機能の一部が新たな別のECUにより実現されてもよい。   A driver monitor ECU 210 is connected to the alarm control ECU 110A via an appropriate bus, and a driver monitor camera 212 is connected to the driver monitor ECU 210. Also, a white line detection ECU 290 is connected to the alarm control ECU 110A via an appropriate bus, and a white line recognition camera 292 is connected to the white line detection ECU 290. Further, a radar sensor 280 is connected to the alarm control ECU 110A via an appropriate bus. The alarm control ECU 110 </ b> A is connected to an alarm ECU 230 via a bus compliant with CAN (controller area network), and the alarm ECU 230 is connected to a buzzer 240. In the illustrated example, the brake ECU 250 is connected to the alarm control ECU 110A via a CAN-compliant bus, and the brake actuator 260 and the wheel side sensor 270 are connected to the brake ECU 250. In the illustrated example, the yaw rate sensor 272 and the steering sensor 274 are connected to the alarm control ECU 110A via a CAN-compliant bus. Note that these connection modes are not necessarily wired, and a part or all of them may be realized by a wireless communication path. In addition, each ECU 110, 210, 230 is configured as a separate unit for convenience, but a part or all of the functions of a certain ECU may be realized by another ECU, or a part of the functions of a certain ECU may be realized. It may be realized by another new ECU.

白線認識カメラ292は、車両が走行する道路上に道路区画線(白線)を捕捉可能なように、車両の適切な箇所に設けられる。白線認識カメラ292は、車両前方の道路を撮像するように配置されてもよいし、及び/又は、車両後方の道路を撮像するように配置されてもよい。白線検知ECU290は、白線認識カメラ292からの画像を画像処理して、道路区間線の位置を検出する。道路区間線の検出方法は、多種多様であり、通常的なエッジ処理により道路区間線を検出する方法や、モルフォロジー演算を用いる方法等であってもよい。   The white line recognition camera 292 is provided at an appropriate location of the vehicle so that a road marking line (white line) can be captured on the road on which the vehicle travels. The white line recognition camera 292 may be arranged to image a road ahead of the vehicle and / or may be arranged to image a road behind the vehicle. The white line detection ECU 290 performs image processing on the image from the white line recognition camera 292 and detects the position of the road section line. There are various road section line detection methods, and a method of detecting a road section line by normal edge processing, a method of using a morphological operation, or the like may be used.

レーダセンサ280は、例えば車両のフロントグリル付近に若しくはフロントバンパ内部に車両前方物体を監視するように配設されてよい。レーダセンサ280は、検出波を放射し、その放射された検出波のうち、レーダセンサ280の検出ゾーン内の車両前方物体(典型的には、先行車)によって反射した検出波を受けることにより、車両前方物体の自車からの距離と、車両前方物体の自車に対する相対的な方向とを検知する。また、カーブ路ではヨーレートセンサ272やステアリングセンサ274の出力信号を用いて自車の進路を補正してもよい。レーダセンサ280が放射する検出波としては、光波(例えば、レーザ波)や電波(例えば、ミリ波)、音波(例えば、超音波)であってよい。また、レーダセンサ280は、車両後方及び/又は車両側方を監視するように複数配設されてもよい。また、レーダセンサ280に代えて又はそれに加えて、画像センサ(カメラ)を用いて車両前方及び/又は車両後方及び/又は車両側方を監視してもよい。   The radar sensor 280 may be arranged, for example, to monitor an object ahead of the vehicle in the vicinity of the front grille of the vehicle or inside the front bumper. The radar sensor 280 radiates a detection wave, and receives a detection wave reflected by a vehicle front object (typically, a preceding vehicle) in the detection zone of the radar sensor 280 among the radiated detection waves. The distance of the object ahead of the vehicle from the own vehicle and the relative direction of the object ahead of the vehicle with respect to the own vehicle are detected. Further, on a curved road, the course of the host vehicle may be corrected using output signals from the yaw rate sensor 272 and the steering sensor 274. The detection wave emitted from the radar sensor 280 may be a light wave (for example, a laser wave), a radio wave (for example, a millimeter wave), or a sound wave (for example, an ultrasonic wave). A plurality of radar sensors 280 may be provided to monitor the rear of the vehicle and / or the side of the vehicle. Further, instead of or in addition to the radar sensor 280, the front of the vehicle and / or the rear of the vehicle and / or the side of the vehicle may be monitored using an image sensor (camera).

ドライバモニターカメラ212は、例えばカラー又は赤外線感応CCD(charge-coupled device)センサアレイを備える。ドライバモニターカメラ212は、運転者の前面(例えば運転者の顔部を前方から)を捕捉可能なように、車両の適切な箇所に設けられる。例えば、ドライバモニターカメラ212は、車両のインストルメントパネルのダッシュボード、ステアリングコラムやルームミラー等に設置される。ドライバモニターカメラ212は、車両走行中にリアルタイムに運転者の顔部の画像(以下、「顔画像」という)を取得し、典型的には30fps (frame per second)のストリーム形式で、ドライバモニターECU210に供給するものであってよい。   The driver monitor camera 212 includes, for example, a color or infrared sensitive CCD (charge-coupled device) sensor array. The driver monitor camera 212 is provided at an appropriate position of the vehicle so that the front surface of the driver (for example, the driver's face from the front) can be captured. For example, the driver monitor camera 212 is installed on a dashboard of an instrument panel of a vehicle, a steering column, a room mirror, or the like. The driver monitor camera 212 acquires an image of the driver's face (hereinafter referred to as a “face image”) in real time while the vehicle is running, and is typically in a stream format of 30 fps (frame per second), and the driver monitor ECU 210. It may be that which supplies.

ドライバモニターECU210は、ドライバモニターカメラ212から随時入力される顔画像を画像処理して、運転者の顔向きが正面を向いているか否かを検出する。画像処理に基づいて運転者の顔向きが正面を向いているか否かを検出する手法は、多種多様であり、任意の適切な手法が利用されてよい。例えば上述の如く抽出した顔部の各パーツの位置又は向きと、予め記憶しておいた各姿勢(例えば正面を向いているときの姿勢や、左右上下を見ている姿勢等)における同パーツの位置又は向きとのマッチング度合いを比較することにより、運転者の現在の姿勢(顔の向き)を検出する。顔の向きは、例えば正規の姿勢であるときの顔の正面方向を1軸とする3軸まわりの回転角度で表されてよい。そして、顔の向きが正面に対して所定基準以上ずれた場合には、運転者の顔向きが正面を向いていないと判定する。ドライバモニターECU210は、各画像フレームに対して上記の判定を行い、或いは、所定数の連続した画像フレーム毎に上記の判定を行い、判定周期毎に、判定結果を警報制御ECU110Aに供給する。本例では、ドライバモニターECU210は、運転者の顔向きが正面を向いていないと判定した判定周期毎に、その旨を表すトリガ信号(以下、「脇見トリガ」という)を、警報制御ECU110Aに対して供給するものとする。   The driver monitor ECU 210 performs image processing on the face image input from the driver monitor camera 212 as needed, and detects whether or not the driver's face is facing the front. There are various methods for detecting whether or not the driver's face is facing the front based on image processing, and any appropriate method may be used. For example, the position or orientation of each part of the face extracted as described above and the same part in each of the pre-stored postures (for example, the posture when facing the front, the posture looking left and right, up and down, etc.) By comparing the degree of matching with the position or orientation, the driver's current posture (face orientation) is detected. The orientation of the face may be represented by, for example, a rotation angle about three axes with the front direction of the face in a normal posture as one axis. When the face direction deviates from the front by a predetermined reference or more, it is determined that the driver's face is not facing the front. The driver monitor ECU 210 performs the above determination for each image frame, or performs the above determination for every predetermined number of consecutive image frames, and supplies the determination result to the alarm control ECU 110A for each determination cycle. In this example, the driver monitor ECU 210 sends a trigger signal (hereinafter referred to as “side-arm trigger”) indicating that to the alarm control ECU 110A for each determination cycle in which it is determined that the driver's face is not facing the front. Shall be supplied.

ドライバモニターECU210は、また、ドライバモニターカメラ212から随時入力される顔画像を画像処理して、運転者の瞼の開き量(瞼開度)に基づいて、運転者の眼が閉じられているか否かを検出する。画像処理に基づいて運転者の眼が閉じられているか否かを検出する手法は、多種多様であり、任意の適切な手法が利用されてよい。例えば、顔画像に対して、アファイン変換等のより顔向きや顔大きさを補正し、次いでエッジ処理後、顔部の各パーツ(口、鼻、目)のマッチング処理により、顔部の各パーツが特定される。次いで、目のパーツの特徴量、即ち、本例ではまぶたの境界線の座標列に基づいて、上下の瞼間の最大距離(瞼開度)を得る。そして、瞼開度が所定基準値以下の場合には、運転者の眼が閉じられていると判定する。尚、この場合、所定基準値は運転者毎に適合される値であってよい。即ち、所定基準値は、官能評価を行うことで予め導出しておき、運転者毎にデータベース化しておく。ドライバモニターECU210は、各画像フレームに対して上記の判定を行い、或いは、所定数の連続した画像フレーム毎に上記の判定を行い、判定周期毎に、判定結果を警報制御ECU110Aに供給する。本例では、ドライバモニターECU210は、運転者の眼が閉じられていると判定した判定周期毎に、その旨を表すトリガ信号(以下、「閉眼トリガ」という)を、警報制御ECU110Aに供給するものとする。   The driver monitor ECU 210 also performs image processing on the face image input from the driver monitor camera 212 as needed, and determines whether or not the driver's eyes are closed based on the driver's eyelid opening amount (eyelid opening). To detect. There are various methods for detecting whether or not the driver's eyes are closed based on the image processing, and any appropriate method may be used. For example, for face images, face orientation and face size are corrected by affine transformation, etc., and then after edge processing, each face part is matched by matching processing of the face parts (mouth, nose, eyes). Is identified. Next, the maximum distance between the upper and lower eyelids (the eyelid opening) is obtained based on the feature amount of the eye part, that is, the coordinate sequence of the eyelid boundary line in this example. When the eyelid opening is equal to or less than a predetermined reference value, it is determined that the driver's eyes are closed. In this case, the predetermined reference value may be a value adapted for each driver. That is, the predetermined reference value is derived in advance by performing sensory evaluation, and is stored in a database for each driver. The driver monitor ECU 210 performs the above determination for each image frame, or performs the above determination for every predetermined number of consecutive image frames, and supplies the determination result to the alarm control ECU 110A for each determination cycle. In this example, the driver monitor ECU 210 supplies a trigger signal (hereinafter referred to as “closed eye trigger”) indicating the fact to the alarm control ECU 110A for each determination cycle in which it is determined that the driver's eyes are closed. And

警報制御ECU110Aの脇見トリガカウント部112は、ドライバモニターECU210から入力される脇見トリガに基づいて、運転者の脇見状態の継続時間を計測する。具体的には、脇見トリガカウント部112は、ある判定周期で脇見トリガが入力されると、脇見カウンタ値(初期値ゼロ)をインクリメントし、その後の判定周期で脇見トリガが入力される毎に、脇見カウンタ値をインクリメントしていく。脇見トリガカウント部112は、基本的には、連続した判定周期で入力される脇見トリガをカウントアップしていくが、一定の瞬時的な脇見トリガの不連続が生じた場合にも脇見カウンタ値を保持するフィルタを有していてもよい。脇見カウンタ値は、運転者の脇見状態の継続時間、即ち脇見時間に対応する。   The look-aside trigger counting unit 112 of the alarm control ECU 110 </ b> A measures the duration of the driver's look-ahead state based on the look-aside trigger input from the driver monitor ECU 210. Specifically, the aside look trigger counting unit 112 increments a look aside counter value (initial value zero) when an aside look trigger is input in a certain determination cycle, and every time a look aside trigger is input in a subsequent determination cycle, The counter counter value is incremented. The look-aside trigger counting unit 112 basically counts up the look-aside trigger that is input at a continuous determination cycle. However, even if a certain momentary look-aside trigger discontinuity occurs, You may have the filter to hold | maintain. The look-ahead counter value corresponds to the duration of the driver's look-ahead state, that is, the look-aside time.

警報制御ECU110Aの脇見警報要否判定部114は、ドライバモニターECU210の判定周期に同期した判定周期毎に、現在の脇見時間が第1所定時間Ta[ms]を上回ったか否かを判定する。具体的には、脇見警報要否判定部114は、脇見カウンタ値がインクリメントされる毎に、脇見カウンタ値が、第1所定時間Taに対応する第1所定閾値を上回ったか否かを判定する。脇見カウンタ値が第1所定閾値を上回った場合には、脇見警報要否判定部114は、脇見警報が必要であると判断し、警報ECU230に対して脇見警報を出力するように脇見警報指令を送信する。尚、脇見警報指令を送信する条件としては、他の条件(但し、後述の閉眼時間に関連する条件を除く。)を付加してもよい。例えば、車輪側センサ270に基づいて車速が所定値以上である場合や、白線検知ECU290による道路区間線の画像認識結果やステアリングセンサ274等の出力値に基づいて車両の挙動が不安定の場合(例えば、道路区間線を断続的に跨ぐような態様で蛇行している場合)等を、警報指令を送信するAND条件として用いてもよい。   The armpit alarm necessity determination unit 114 of the alarm control ECU 110A determines whether or not the current armpit alarm time exceeds the first predetermined time Ta [ms] for each determination period synchronized with the determination period of the driver monitor ECU 210. Specifically, the side-viewing alarm necessity determination unit 114 determines whether the side-by-side counter value exceeds a first predetermined threshold corresponding to the first predetermined time Ta each time the side-by-side counter value is incremented. When the look-aside counter value exceeds the first predetermined threshold, the look-ahead alarm necessity determination unit 114 determines that the look-ahead alarm is necessary, and issues a look-ahead warning command to the alarm ECU 230 so as to output a look-ahead alarm. Send. In addition, as conditions for transmitting the armpit warning command, other conditions (however, conditions related to eye closing time described later) may be added. For example, when the vehicle speed is equal to or higher than a predetermined value based on the wheel side sensor 270, or when the behavior of the vehicle is unstable based on the image recognition result of the road section line by the white line detection ECU 290 or the output value of the steering sensor 274 ( For example, it may be used as an AND condition for transmitting a warning command, such as when meandering in a manner that intermittently crosses a road section line.

警報ECU230は、警報制御ECU110Aの脇見警報要否判定部114からの脇見警報指令に応答して、ブザー240を介して脇見警報を出力する。尚、脇見警報の出力形態は、音声に限られず、例えばシートやステアリングハンドルに埋設された振動体を振動させたり、シートやステアリングハンドルに埋設された温度変化手段(例えばヒータやペルチェ素子)により熱的な刺激を付与したり、エアコンの吹き出し口から急激に多量の風量の風を送風したり、運転者に向けて光を自動的に照射して注意を喚起したり、ブレーキECU250によりブレーキアクチュエータ260を駆動させて強制的な制動により注意を喚起したりすることを含んでよい。   The alarm ECU 230 outputs an armpit warning via the buzzer 240 in response to the armpit alarm command from the armpit alarm necessity determination unit 114 of the alarm control ECU 110A. Note that the output form of the armpit warning is not limited to sound, and for example, a vibrating body embedded in the seat or the steering handle is vibrated, or a temperature changing means (such as a heater or a Peltier element) embedded in the seat or the steering handle is used. Or a sudden air blow of a large amount of air from the air outlet of the air conditioner, or automatically irradiating light toward the driver to alert the driver, or the brake ECU 250 causes the brake actuator 260 to Or to call attention by forced braking.

警報制御ECU110Aの閉眼トリガカウント部116は、ドライバモニターECU210から入力される閉眼トリガに基づいて、運転者の居眠り状態の継続時間を計測する。具体的には、閉眼トリガカウント部116は、ある判定周期で閉眼トリガが入力されると、閉眼カウンタ値(初期値ゼロ)をインクリメントし、その後の判定周期で閉眼トリガが入力される毎に、閉眼カウンタ値をインクリメントしていく。閉眼トリガカウント部116は、基本的には、連続した判定周期で入力される閉眼トリガをカウントアップしていくが、一定の瞬時的な閉眼トリガの不連続が生じた場合にも閉眼カウンタ値を保持するフィルタを有していてもよい。閉眼カウンタ値は、運転者の閉眼状態の継続時間、即ち閉眼時間に対応する。   The closed eye trigger count unit 116 of the alarm control ECU 110A measures the duration of the driver's sleep state based on the closed eye trigger input from the driver monitor ECU 210. Specifically, the closed eye trigger count unit 116 increments the closed eye counter value (initial value zero) when the closed eye trigger is input at a certain determination cycle, and each time the closed eye trigger is input at the subsequent determination cycle, The closed eye counter value is incremented. The eye-closing trigger counting unit 116 basically counts up the eye-closing triggers that are input at a continuous determination cycle. However, even when a certain instantaneous eye-closing trigger discontinuity occurs, You may have the filter to hold | maintain. The closed eye counter value corresponds to the duration of the closed eye state of the driver, that is, the closed eye time.

警報制御ECU110Aの居眠り警報要否判定部118は、ドライバモニターECU210の判定周期に同期した判定周期毎に、現在の閉眼時間が第2所定時間Tb[ms]を上回ったか否かを判定する。具体的には、居眠り警報要否判定部118は、閉眼トリガカウント部116により閉眼カウンタ値がインクリメントされる毎に、閉眼カウンタ値が、第2所定時間Tbに対応する第2所定閾値を上回ったか否かを判定する。閉眼カウンタ値が第2所定閾値を上回った場合には、居眠り警報要否判定部118は、居眠り警報が必要であると判断し、警報ECU230に対して居眠り警報を出力するように居眠り警報指令を送信する。尚、警報指令を送信する条件としては、他の条件(但し、上述の脇見時間に関連する条件を除く。)を付加してもよい。   The doze alarm necessity determination unit 118 of the alarm control ECU 110A determines whether or not the current eye closing time exceeds the second predetermined time Tb [ms] for each determination period synchronized with the determination period of the driver monitor ECU 210. Specifically, the dozing alarm necessity determination unit 118 determines whether the closed eye counter value exceeds the second predetermined threshold corresponding to the second predetermined time Tb each time the closed eye counter value is incremented by the closed eye trigger count unit 116. Determine whether or not. When the closed eye counter value exceeds the second predetermined threshold, the dozing alarm necessity determination unit 118 determines that the dozing alarm is necessary, and issues a dozing alarm command to the alarm ECU 230 so as to output the dozing alarm. Send. Note that other conditions (however, the conditions related to the above-mentioned look-aside time are excluded) may be added as conditions for transmitting the alarm command.

警報ECU230は、警報制御ECU110Aの居眠り警報要否判定部118からの居眠り警報指令に応答して、ブザー240を介して居眠り警報を出力する。尚、居眠り警報の出力形態は、脇見警報の出力態様と同様、音声に限られない。また、居眠り警報の出力態様は、上述の脇見警報の出力態様と同一であってもよいし、異なる態様であってもよい。前者を実現する場合には、警報制御ECU110Aからの各警報指令は、同一の信号であってよい。   The alarm ECU 230 outputs a dozing alarm via the buzzer 240 in response to the dozing alarm command from the dozing alarm necessity determination unit 118 of the alarm control ECU 110A. In addition, the output form of a dozing alarm is not restricted to a voice like the output aspect of an awakening alarm. Further, the output mode of the dozing alarm may be the same as or different from the output mode of the above-mentioned armpit alarm. When realizing the former, each warning command from warning control ECU110A may be the same signal.

ここで、本実施例では、上述の閉眼時間に対する閾値として機能する第2所定時間Tbは、脇見時間に対する閾値として機能する第1所定時間Taよりも小さく設定される。これは、居眠り状態にある場合、覚醒状態に至るまでの時間が必要となるためである。即ち、居眠り状態にある場合、かかる覚醒に要する時間がゼロである脇見状態よりも、警報に対する反応が遅れる傾向にあり、その分だけ、早めに警報を出力することが有用であるからである。第1所定時間Taは、例えば、運転者が安全確認やナビゲーション装置の表示の確認に要する時間よりも長い時間に設定されてよい。また、第2所定時間Tbは、瞬きによる不要な警報の頻発が防止されるように、通常的な瞬きの時間よりも長い時間に設定されてよい。例えば、第2所定時間Tbは、通常的な瞬きの時間よりも長く、かつ、運転者の眼が閉じられてから完全に居眠り状態となるまでの時間よりも短く設定されてもよい。即ち、第2所定時間Tbは、居眠り状態といえない程度の時間とされてもよい。このような居眠り状態といえない程度の閉眼状態でも、閉眼により瞳孔が開くため、開眼した際に外部の光に対して瞳孔が順応するまでの間、外部認識が困難となる虞があり、かかる虞のない脇見状態に比べて、早めに警報を出力することが有用であるからである。   Here, in the present embodiment, the second predetermined time Tb that functions as a threshold for the above-mentioned eye closing time is set to be smaller than the first predetermined time Ta that functions as a threshold for the looking-aside time. This is because it takes time to reach an awakening state when the patient is in a dozing state. That is, in the dozing state, the response to the alarm tends to be delayed as compared with the side-viewing state in which the time required for such awakening is zero, and it is useful to output the alarm earlier by that much. For example, the first predetermined time Ta may be set to a time longer than the time required for the driver to confirm safety or confirm the display of the navigation device. Further, the second predetermined time Tb may be set to a time longer than a normal blinking time so that unnecessary alarms frequently occur due to blinking. For example, the second predetermined time Tb may be set to be longer than a normal blinking time and shorter than a time from when the driver's eyes are closed until the driver completely falls asleep. That is, the second predetermined time Tb may be set to a time that cannot be said to be a doze state. Even in such a closed state where it cannot be said that it is a dozing state, the pupil is opened by closing the eye, so there is a possibility that external recognition may be difficult until the pupil adapts to external light when the eye is opened. This is because it is useful to output an alarm earlier than in a state of looking aside without fear.

図2は、第2所定時間Tbと第1所定時間Taの相違を概念的に表すタイミングチャートである。図2において、横軸は時間であり、縦軸は、脇見トリガ及び閉眼トリガの出力状態を示す。図2に示す例では、脇見状態が検出されていることを表す脇見トリガが、時刻t1から連続的に出力されている。また、居眠り状態が検出されていることを表す居眠りトリガが、時刻t2から連続的に出力されている。尚、図2においては、時刻t1と時刻t2とは、第2所定時間Tbと第1所定時間Taの長さを比較しやすくするための便宜上、同一の時刻の位置に合わせられている。   FIG. 2 is a timing chart conceptually showing the difference between the second predetermined time Tb and the first predetermined time Ta. In FIG. 2, the horizontal axis represents time, and the vertical axis represents the output states of the aside trigger and the closed eye trigger. In the example illustrated in FIG. 2, a side-by-side trigger indicating that a side-by-side state is detected is continuously output from time t1. In addition, a dozing trigger indicating that a dozing state is detected is continuously output from time t2. In FIG. 2, the time t1 and the time t2 are set to the same time position for convenience of comparing the lengths of the second predetermined time Tb and the first predetermined time Ta.

本実施例では、上述の如く、脇見時間と閉眼時間に対してそれぞれに対して互いに異なる閾値(第2所定時間Tb、第1所定時間Ta)を設定し、且つ、脇見状態と居眠り状態のそれぞれの特性に応じて、第2所定時間Tbを第1所定時間Taよりも小さく設定される。従って、例えば図2に示すように、居眠り状態が検出され始めた時点から居眠り警報が出力される時点までの時間が、脇見状態が検出され始めた時点から脇見警報が出力される時点までの時間よりも短くなる。即ち、居眠り状態の方が脇見状態よりも直ぐに警報が出力されることになる。   In the present embodiment, as described above, different thresholds (second predetermined time Tb, first predetermined time Ta) are set for the aside look time and the closed eye time, respectively, and each of the look aside state and the dozing state is set. The second predetermined time Tb is set smaller than the first predetermined time Ta according to the characteristics. Therefore, for example, as shown in FIG. 2, the time from the time when the dozing state starts to be detected until the time when the dozing alarm is output is the time from the time when the looking-aside state starts to be detected until the time when the armpit warning is output. Shorter than. That is, the alarm is output more quickly in the dozing state than in the aside state.

このように、本実施例によれば、上述の如く第2所定時間Tbが第1所定時間Taよりも小さく設定されるので、脇見状態と居眠り状態のそれぞれの特性に応じた適切なタイミングで警報を出力することができる。即ち、警報に対する反応が相対的に遅くなる特性の居眠り状態に対しては、警報に対する反応が相対的に早い脇見状態よりも早めに警報が出力されるようになるので、警報の意義が高いタイミングで警報を出力して、安全性を確保することができる。   Thus, according to the present embodiment, since the second predetermined time Tb is set to be smaller than the first predetermined time Ta as described above, the alarm is issued at an appropriate timing according to the respective characteristics of the looking-aside state and the dozing state. Can be output. In other words, for a dozing state where the response to the alarm is relatively slow, the alarm is output earlier than the look-aside state where the response to the alarm is relatively early. The alarm can be output with to ensure safety.

以上説明した実施例1に対しては、以下のような変形例がありうる。   The following modifications can be made to the first embodiment described above.

例えば、上述の実施例では、運転者の閉眼状態の継続時間(閉眼時間)を、運転者の居眠り状態の継続時間(居眠り時間)として計測しているが、居眠り時間は、運転者の閉眼に代えて若しくはそれに加えて、他のパラメータを用いて測定してもよい。例えば、脳波や脳磁図(magnetoencephalography)、心拍や心拍揺らぎ、運転者の体表面の温度及びその変化態様のような、各種生理的な特徴量を用いて測定してもよい。この場合も、居眠り状態の継続時間に対する閾値、即ち第2所定時間Tbを第1所定時間Taよりも小さく設定することで、上述の実施例と同様の効果を得ることができる。   For example, in the above-described embodiment, the duration of the driver's eye closed state (closed eye time) is measured as the duration of the driver's dozing state (sleeping time). Alternatively or in addition, measurements may be made using other parameters. For example, the measurement may be performed using various physiological characteristics such as an electroencephalogram, magnetoencephalography, heartbeat and heartbeat fluctuation, temperature of the driver's body surface, and changes thereof. Also in this case, the same effect as in the above-described embodiment can be obtained by setting the threshold for the duration of the dozing state, that is, the second predetermined time Tb, to be smaller than the first predetermined time Ta.

図3は、本発明の実施例2に係る車載警報装置を含む警報システムの主要構成を例示的に示すシステム構成図である。上述の実施例1と同一の参照符号を付された構成要素については、特に言及しない限り、上述の実施例1と同様の構成であってよい。   FIG. 3 is a system configuration diagram exemplarily showing a main configuration of an alarm system including an in-vehicle alarm device according to Embodiment 2 of the present invention. Constituent elements denoted by the same reference numerals as those in the first embodiment described above may have the same configurations as those in the first embodiment unless otherwise specified.

警報制御ECU110Bは、主要な機能を実現する機能ブロックとして、脇見トリガカウント部112と、閉眼トリガカウント部116と、衝突危険状態検出部120と、閾値変化部122とを備える。   The alarm control ECU 110B includes a side-view trigger count unit 112, an eye-closed trigger count unit 116, a collision danger state detection unit 120, and a threshold value change unit 122 as functional blocks that realize main functions.

衝突危険状態検出部120は、レーダセンサ280から所定周期毎に供給される車両前方物体の情報に基づいて、車両前方物体と自車との相対関係を監視し、車両前方物体と自車との衝突危険状態を検出する。本例では、衝突危険状態検出部120は、所定周期毎に、レーダセンサ280からの車両前方物体の情報に基づいて、車両前方物体と自車との車間時間を算出・監視し、当該算出した車間時間が所定閾値Thを下回った場合に、車両前方物体と自車との衝突危険状態を検出する。ここで、車間時間とは、現時点から車両前方物体と自車との衝突が生じると予測される衝突予測時点までの時間であり、簡易的には、車両前方物体と自車との車間距離を、車両前方物体と自車との相対速度で除算して算出されてよい。所定閾値Thは、後述の如く脇見トリガや居眠りトリガが出力されていない限り、デフォルト値T0が用いられる。デフォルト値T0は、好ましくは、衝突予測時点よりも十分手前であって警報出力の意義が高い時間範囲内に設定され、例えば衝突不可避時点から衝突予測時点までの時間よりも長い時間とされてよい。このデフォルト値T0の設定態様は、衝突不可避状態が検出された時点でブレーキECU250により強制的に急制動や図示しない自動操舵機構により衝突回避操舵を行うような構成に好適である。この場合には、衝突不可避状態を警告により運転者に通知しても、運転者自身により衝突回避操作は意味を成さず、警報出力の意義が少ないためである。但し、デフォルト値T0は、衝突不可避状態に対応する時間であってもよい。   The collision risk state detection unit 120 monitors the relative relationship between the vehicle front object and the host vehicle based on the information on the vehicle front object supplied from the radar sensor 280 every predetermined period, and determines the relationship between the vehicle front object and the host vehicle. Detects a collision risk condition. In this example, the collision risk state detection unit 120 calculates / monitors the inter-vehicle time between the vehicle front object and the own vehicle based on the information of the vehicle front object from the radar sensor 280 for each predetermined period, and calculates the calculated time. When the inter-vehicle time is less than the predetermined threshold Th, a collision risk state between the vehicle front object and the host vehicle is detected. Here, the inter-vehicle time is the time from the current time point to the time when a collision between the object ahead of the vehicle and the host vehicle is predicted to occur. It may be calculated by dividing by the relative speed between the vehicle front object and the own vehicle. As the predetermined threshold Th, a default value T0 is used unless a side-by-side trigger or a dozing trigger is output as described later. The default value T0 is preferably set within a time range that is sufficiently before the predicted collision time and has a high significance of the alarm output, and may be set to a time longer than the time from the collision unavoidable time to the predicted collision time, for example. . This setting mode of the default value T0 is suitable for a configuration in which the brake ECU 250 forcibly performs sudden braking or collision avoidance steering by an automatic steering mechanism (not shown) when a collision inevitable state is detected. In this case, even if the driver is informed of the collision inevitable state by a warning, the collision avoidance operation by the driver himself does not make sense, and the significance of the warning output is small. However, the default value T0 may be a time corresponding to a collision inevitable state.

尚、衝突危険状態の検出条件には、他の条件が付加されてもよい。例えば、車両前方物体と自車との速度ベクトルのなす角度が所定角度以内であることや、自車の速度が所定値以上であること等が、他の条件として付加されてもよい。   It should be noted that other conditions may be added to the detection condition of the collision risk state. For example, other conditions may include that the angle formed by the speed vector between the vehicle front object and the own vehicle is within a predetermined angle, or that the speed of the own vehicle is greater than or equal to a predetermined value.

衝突危険状態検出部120は、車両前方物体と自車との衝突危険状態を検出すると、警報ECU230に対して衝突危険警報を出力するように衝突危険警報指令を送信する。   When the collision danger state detection unit 120 detects a collision danger state between the object ahead of the vehicle and the host vehicle, the collision danger state detection unit 120 transmits a collision danger warning command to the warning ECU 230 so as to output a collision danger warning.

警報ECU230は、警報制御ECU110Bの衝突危険状態検出部120からの衝突危険警報指令に応答して、ブザー240を介して衝突危険警報指令を出力する。尚、衝突危険警報指令の出力形態は、音声に限られず、例えばシートやステアリングハンドルに埋設された振動体を振動させたり、シートやステアリングハンドルに埋設された温度変化手段(例えばヒータやペルチェ素子)により熱的な刺激を付与したり、エアコンの吹き出し口から急激に多量の風量の風を送風したり、運転者に向けて光を自動的に照射して注意を喚起したり、ブレーキECU250によりブレーキアクチュエータ260を駆動させて強制的な制動により注意を喚起したりすることを含んでよい。   The alarm ECU 230 outputs a collision danger warning command via the buzzer 240 in response to the collision danger warning command from the collision danger state detection unit 120 of the warning control ECU 110B. The output form of the collision danger alarm command is not limited to sound, but for example, a vibrating body embedded in the seat or the steering handle is vibrated, or a temperature changing means (such as a heater or a Peltier element) embedded in the seat or the steering handle is used. A thermal stimulus is applied to the air conditioner, a large amount of air is blown suddenly from the air outlet of the air conditioner, light is automatically emitted to the driver to alert the driver, and the brake ECU 250 For example, the actuator 260 may be driven to call attention by forced braking.

閾値変化部122は、現在の脇見時間及び閉眼時間に応じて、所定閾値Thを、デフォルト値T0から、衝突危険状態検出部120により衝突危険状態が検出され易くなる値に変更する。具体的には、閾値変化部122は、現時点の脇見トリガカウント値及び閉眼トリガカウント値に応じた量だけ所定閾値Thを大きくする。   The threshold changing unit 122 changes the predetermined threshold Th from the default value T0 to a value that facilitates detection of a collision risk state by the collision risk state detection unit 120 according to the current look-ahead time and the eye-closing time. Specifically, the threshold changing unit 122 increases the predetermined threshold Th by an amount corresponding to the current look trigger count value and the closed eye trigger count value.

従って、本実施例では、運転者が現在脇見状態若しくは居眠り状態にある場合には、所定閾値Tが脇見時間及び閉眼時間に応じて増加されることになるので、その分だけ、車間時間が所定閾値Thを下回わるタイミングが早くなる。即ち、警報の出力タイミングが早くなり、いわゆる警報の前出しが実現される。   Therefore, in this embodiment, when the driver is currently looking aside or falling asleep, the predetermined threshold T is increased according to the looking-aside time and the eye-closing time. The timing of falling below the threshold Th is earlier. That is, the alarm output timing is advanced, and so-called alarm advancement is realized.

図4(A)は、脇見時間に応じた所定閾値Thの変更態様を示す図であり、図4(B)は、閉眼時間に応じた所定閾値Thの変更態様を示す図である。図4(A)において、横軸は脇見時間を表し、図4(B)において、横軸は閉眼時間を表し、図4(A)及び図4(B)において、縦軸は、所定閾値Thを表す。   FIG. 4A is a diagram showing a change mode of the predetermined threshold Th according to the look-aside time, and FIG. 4B is a diagram showing a change mode of the predetermined threshold Th according to the eye closing time. 4A, the horizontal axis represents the look-ahead time, in FIG. 4B, the horizontal axis represents the closed eye time, and in FIGS. 4A and 4B, the vertical axis represents the predetermined threshold Th. Represents.

所定閾値Thは、図4(A)に示すように、脇見時間の増加に伴って上限値Txに向けて増大する。図示の例では、所定閾値Thは、脇見時間がTa[ms]になると、上限値Txに至り、脇見時間がTa以上になっても、上限値Txを維持する。また、所定閾値Thは、脇見時間がTaに至るまでは、図4(A)に示すように、下に凸の曲線で非線形的に増加する。尚、脇見時間Taの値については、上述の実施例1と同様に考え方で設定される。上限値Txは、運転者の顔向きが脇見状態から警報により正面状態となり、運転者が前方を認識するまでに要する時間である。   As shown in FIG. 4A, the predetermined threshold Th increases toward the upper limit value Tx as the look-aside time increases. In the illustrated example, the predetermined threshold Th reaches the upper limit value Tx when the look-ahead time becomes Ta [ms], and maintains the upper limit value Tx even if the look-ahead time becomes Ta or more. Further, the predetermined threshold Th increases non-linearly with a downwardly convex curve as shown in FIG. 4A until the look-ahead time reaches Ta. Note that the value of the look-ahead time Ta is set in the same way as in the first embodiment. The upper limit value Tx is the time required for the driver's face to change from looking aside to a frontal state by an alarm and for the driver to recognize the front.

所定閾値Thは、図4(B)に示すように、閉眼時間の増加に伴って上限値Tyに向けて増大する。図示の例では、所定閾値Thは、閉眼時間がTb[ms]になると、上限値Txに至り、閉眼時間がTb以上になっても、上限値Tyを維持する。また、所定閾値Thは、閉眼時間がTbに至るまでは、図4(B)に示すように、上に凸の曲線で非線形的に増加する。尚、閉眼時間Tbの値については、上述の実施例1と同様に考え方で設定され、Tb>Taである。上限値Tyは、運転者が居眠り(本例では閉眼)状態から警報により意識が戻り開眼状態となり、前方を認識するまでに要する時間である。ここで、上限値Tyは、上限値Txよりも大きな値に設定される。これは、意識低下状態にある居眠り状態の方が脇見状態に比べて、その特性上、前方を認識するまでに要する時間が長くなる傾向にあるからである。   As shown in FIG. 4B, the predetermined threshold Th increases toward the upper limit value Ty as the eye closure time increases. In the illustrated example, the predetermined threshold value Th reaches the upper limit value Tx when the eye closing time reaches Tb [ms], and maintains the upper limit value Ty even when the eye closing time becomes Tb or more. Further, the predetermined threshold Th increases non-linearly with an upwardly convex curve as shown in FIG. 4B until the closed eye time reaches Tb. The value of the eye closing time Tb is set based on the same concept as in the first embodiment, and Tb> Ta. The upper limit value Ty is the time required for the driver to return to his / her consciousness by an alarm from the dozing state (closed eyes in this example) and to recognize the front. Here, the upper limit value Ty is set to a value larger than the upper limit value Tx. This is because the time required for recognizing the front tends to be longer in the drowsiness state in which the consciousness is lower than in the side-viewing state due to its characteristics.

従って、本実施例では、居眠り状態が検出された場合の方が、脇見状態が検出された場合に比べて、衝突危険状態検出部120により衝突危険状態が検出され易くなる。それに伴って、居眠り状態が検出された場合の方が、脇見状態が検出された場合に比べて、警報の出力タイミングが早くなる。   Therefore, in this embodiment, the collision risk state is more easily detected by the collision risk state detection unit 120 when the dozing state is detected than when the side-by-side state is detected. Accordingly, the alarm output timing is earlier in the case where the dozing state is detected than in the case where the looking-aside state is detected.

このように、本実施例によれば、居眠り状態と脇見状態の特性に相違に着目して、警報の出力タイミングの早め方を居眠り状態と脇見状態とで異ならしめることで、居眠り状態と脇見状態の特性に相違に応じた適切なタイミングで警報を出力することができる。即ち、意識低下状態にある居眠り状態の方が脇見状態に比べて、その特性上、前方を認識するまでに要する時間が長くなる傾向にあるので、その分だけ早く、居眠り状態の場合の警報を出力することができる。   As described above, according to the present embodiment, focusing on the difference between the characteristics of the dozing state and the look-ahead state, by changing the way the alarm is output earlier between the dozing state and the look-ahead state, An alarm can be output at an appropriate timing according to the difference in characteristics. In other words, compared to the look-aside state, the dozing state in a state of reduced consciousness tends to take a longer time to recognize the front, so the warning in the case of the dozing state is earlier that much. Can be output.

また、本実施例では、現在の脇見時間がTa未満の場合や、現在の閉眼時間がTb未満の場合であっても、それぞれ上限値Txや上限値Tyよりも小さいものの、警報の出力タイミングが早められる。これは、かかる状況下においても、運転者が前方不注意状態である可能性が高く、少しずつ警報を前出しすることが有効であるからである。   In this embodiment, even when the current look-ahead time is less than Ta or the current eye-close time is less than Tb, the alarm output timing is less than the upper limit value Tx and the upper limit value Ty, respectively. It is expedited. This is because even under such circumstances, it is highly possible that the driver is in a careless state ahead, and it is effective to issue warnings little by little.

ここで、図4(A)及び図4(B)を対比して理解できるように、本実施例では、横軸0からTbまでの区間の全区間に亘って、脇見時間に対する所定閾値Thの変化量が、閉眼時間に対する所定閾値Thの変化量よりも小さい。これは、図4(A)及び図4(B)に示すように、上限値Ty>上限値Txとし、且つ、上述の曲線の凸の向きの相違によって達成されている。かかる構成によれば、居眠り状態と脇見状態の特性に相違に応じて、居眠り状態のときの警報前出し量を脇見状態の警報前出し量よりも大きくして、それぞれの状態の特性に応じた適切なタイミングで警報を前出しすることができる。   Here, as can be understood by comparing FIG. 4 (A) and FIG. 4 (B), in the present embodiment, the predetermined threshold value Th with respect to the look-aside time over the entire section from the horizontal axis 0 to Tb. The amount of change is smaller than the amount of change of the predetermined threshold Th with respect to the eye closing time. As shown in FIGS. 4A and 4B, this is achieved by setting the upper limit value Ty> the upper limit value Tx and the difference in the convex direction of the curve described above. According to such a configuration, according to the difference between the characteristics of the dozing state and the look-ahead state, the amount of alarm advance in the doze state is larger than the amount of alarm advance in the look-aside state, and according to the characteristics of each state Alarms can be sent out at an appropriate time.

尚、本実施例2においては、特許請求の範囲における「衝突危険状態検出装置」は、レーダセンサ280及び警報制御ECU110Bの衝突危険状態検出部120により協働的に実現され、特許請求の範囲における「警告出力装置」は、警報制御ECU110Bの衝突危険状態検出部120、警報ECU230及びブザー240により協働的に実現され、特許請求の範囲における「脇見時間計測装置」は、ドライバモニターカメラ212、ドライバモニターECU210及び警報制御ECU110Bの脇見トリガカウント部112により協働的に実現され、特許請求の範囲における「居眠り時間計測装置」又は「閉眼時間計測装置」は、ドライバモニターカメラ212、ドライバモニターECU210及び警報制御ECU110Bの閉眼トリガカウント部116により協働的に実現され、特許請求の範囲における「閾値変化装置」は、警報制御ECU110Bの閾値変化部122により実現されている。   In the second embodiment, the “collision danger state detection device” in the claims is realized cooperatively by the radar sensor 280 and the collision danger condition detection unit 120 of the alarm control ECU 110B. The “warning output device” is realized cooperatively by the collision risk state detection unit 120, the warning ECU 230, and the buzzer 240 of the warning control ECU 110B, and the “side-viewing time measuring device” in the claims includes the driver monitor camera 212, the driver The “asleep time measuring device” or the “closed eye time measuring device” in the claims is realized cooperatively by the monitor ECU 210 and the armpit trigger counting unit 112 of the alarm control ECU 110B. Closed eyes of control ECU 110B Be realized cooperatively to the count unit 116, "the threshold change unit" in claims is implemented by the threshold changing unit 122 of the alarm control ECU110B.

以上説明した実施例2に対しては、以下のような変形例がありうる。   The following modifications can be made to the second embodiment described above.

例えば、上述の実施例では、衝突危険状態は、簡易的に車間時間と所定閾値Thの関係に基づいて検出されているが、他の方法で検出されてもよい。例えば車両前方物体と自車との車間距離と、車両前方物体と自車との相対速度とで規定された2次元マップを用いて、検出されてもよい。この場合、2次元マップには、例えば衝突危険状態領域と非衝突危険状態領域とを区分ける閾値曲線が規定され、現在の車間距離と相対速度が、閾値曲線で区分けされた衝突危険状態領域に属した場合に、衝突危険状態が検出されることとしてもよい。また、衝突危険状態は、車間距離や相対速度のような物理量以外にも、加速度(減速度)等のような他の物理量を用いて検出されてもよい。   For example, in the above-described embodiment, the collision risk state is simply detected based on the relationship between the inter-vehicle time and the predetermined threshold Th, but may be detected by another method. For example, it may be detected using a two-dimensional map defined by the inter-vehicle distance between the vehicle front object and the host vehicle and the relative speed between the vehicle front object and the host vehicle. In this case, the two-dimensional map defines, for example, a threshold curve for dividing the collision risk state region and the non-collision risk state region, and the current inter-vehicle distance and the relative speed are set in the collision risk state region divided by the threshold curve. If it belongs, a collision danger state may be detected. Further, the danger state of collision may be detected using other physical quantities such as acceleration (deceleration) in addition to physical quantities such as inter-vehicle distance and relative speed.

また、上述の実施例では、車両前方物体と自車との相対関係を表わす情報を、レーダセンサ280から取得しているが、それに加えて若しくは代えて、画像センサを用いて同様の情報を取得してもよいし、車両前方物体が双方向通信可能な通信機を備えている場合には、当該通信(例えば車車間通信)を介して同様の情報を取得してもよい。   In the above-described embodiment, information representing the relative relationship between the object ahead of the vehicle and the host vehicle is acquired from the radar sensor 280. In addition to or instead of the information, similar information is acquired using an image sensor. Alternatively, when the vehicle front object includes a communication device capable of bidirectional communication, similar information may be acquired through the communication (for example, vehicle-to-vehicle communication).

また、上述の実施例では、例えば、上述の実施例では、閉眼時間を居眠り時間として計測しているが、居眠り時間は、運転者の閉眼に代えて若しくはそれに加えて、他のパラメータを用いて測定してもよい。例えば、脳波等のような、各種生理的な特徴量を用いて測定してもよい。この場合も、居眠り状態の継続時間に対する所定閾値Thの増加量を、脇見状態の継続時間に対する所定閾値Thの増加量よりも大きく設定することで、上述の実施例と同様の効果を得ることができる。   Further, in the above-described embodiment, for example, in the above-described embodiment, the closed eye time is measured as the dozing time. However, the dozing time is measured by using other parameters instead of or in addition to the driver's closed eyes. You may measure. For example, the measurement may be performed using various physiological features such as an electroencephalogram. Also in this case, by setting the increase amount of the predetermined threshold value Th with respect to the duration time of the dozing state to be larger than the increase amount of the predetermined threshold value Th with respect to the duration time of the looking-aside state, the same effect as the above-described embodiment can be obtained. it can.

また、上述の実施例では、好ましい実施例として、脇見状態に係る所定閾値Thの変化曲線を、上限値Txに至るまで下に凸とし、且つ、居眠り状態に係る所定閾値Thの変化曲線を、上限値Tyに至るまで上に凸としているが、何れか一方だけ実現してもよい。例えば、脇見状態に係る所定閾値Thの変化曲線だけを下に凸とし、居眠り状態に係る所定閾値Thの変化曲線を直線としてもよいし、逆に、居眠り状態に係る所定閾値Thの変化曲線だけを上に凸とし、脇見状態に係る所定閾値Thの変化曲線を直線としてもよい。或いは、上限値Ty>上限値Txとするだけであってもよい(即ち、脇見状態及び居眠り状態に係る所定閾値Thの変化特性を共に線形にしてもよい)。   Further, in the above-described embodiment, as a preferred embodiment, the change curve of the predetermined threshold Th related to the aside state is convex downward until reaching the upper limit value Tx, and the change curve of the predetermined threshold Th related to the dozing state is Although convex upward until reaching the upper limit value Ty, only one of them may be realized. For example, only the change curve of the predetermined threshold Th related to the aside state may be convex downward, and the change curve of the predetermined threshold Th related to the dozing state may be a straight line, or conversely, only the change curve of the predetermined threshold Th related to the dozing state May be convex upward, and the change curve of the predetermined threshold Th related to the looking-aside state may be a straight line. Alternatively, the upper limit value Ty> the upper limit value Tx may be satisfied (that is, both the change characteristics of the predetermined threshold Th related to the aside state and the dozing state may be linear).

また、上述の実施例2は、上述の実施例1と組み合わせることも可能である。この場合、例えば脇見については、脇見時間がTa未満の場合には、衝突危険状態の検出による衝突危険警報の出力が実行されうり、脇見時間がTa以上となると、脇見警報が出力されることになる。但し、脇見時間がTa以上となった場合も、脇見警報に加えて、衝突危険状態が検出された場合には衝突危険警報が追加的に出力されてもよい。かかる構成は、衝突危険警報の出力形態が脇見警報の出力形態と異なる場合に特に好適である。   Further, the above-described second embodiment can be combined with the above-described first embodiment. In this case, for example, when looking aside, if the looking-aside time is less than Ta, a collision danger alarm can be output by detecting a collision danger state. Become. However, even when the look-aside time becomes Ta or more, in addition to the look-aside alarm, a collision danger alarm may be additionally output when a collision danger state is detected. Such a configuration is particularly suitable when the output form of the collision danger alarm is different from the output form of the armpit warning.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。尚、上述の実施例1は、本発明の範囲に属さない参考例である。
The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added. The above-described first embodiment is a reference example that does not belong to the scope of the present invention.

本発明の実施例1に係る車載警報装置を含む警報システムの主要構成を例示的に示すシステム構成図である。1 is a system configuration diagram exemplarily showing a main configuration of an alarm system including an in-vehicle alarm device according to Embodiment 1 of the present invention. 第2所定時間Tbと第1所定時間Taの相違を概念的に表すタイミングチャートである。3 is a timing chart conceptually showing a difference between a second predetermined time Tb and a first predetermined time Ta. 本発明の実施例2に係る車載警報装置を含む警報システムの主要構成を例示的に示すシステム構成図である。It is a system block diagram which shows principally the main structure of the alarm system containing the vehicle-mounted alarm device which concerns on Example 2 of this invention. 脇見時間及び閉眼時間に応じた所定閾値Thの変更態様を示す図である。It is a figure which shows the change aspect of predetermined threshold value Th according to the looking-aside time and eye-closing time.

符号の説明Explanation of symbols

110A,B 警報制御ECU
112 脇見トリガカウント部
114 脇見警報要否判定部
116 閉眼トリガカウント部
118 居眠り警報要否判定部
120 衝突危険状態検出部
122 閾値変化部
210 ドライバモニターECU
212 ドライバモニターカメラ
230 警報ECU
240 ブザー
250 ブレーキECU
260 ブレーキアクチュエータ
270 車輪側センサ
272 ヨーレートセンサ
274 ステアリングセンサ
280 レーダセンサ
290 白線検知ECU
292 白線認識カメラ
110A, B Alarm control ECU
112 Aside look trigger count unit 114 Aside look alarm necessity determination unit 116 Eye-closed trigger count unit 118 Dozing alarm necessity determination unit 120 Collision danger state detection unit 122 Threshold change unit 210 Driver monitor ECU
212 Driver monitor camera 230 Alarm ECU
240 buzzer 250 brake ECU
260 Brake actuator 270 Wheel side sensor 272 Yaw rate sensor 274 Steering sensor 280 Radar sensor 290 White line detection ECU
292 White line recognition camera

Claims (4)

車両前方物体と自車との相対関係を表わすことが可能な少なくとも1種類の物理量と所定閾値との関係に基づいて、車両前方物体と自車との衝突危険状態を検出する衝突危険状態検出装置と、
前記衝突危険状態検出装置により衝突危険状態が検出された場合に、運転者に警告をする警告出力装置と、
運転者の脇見状態の継続時間を計測する脇見時間計測装置と、
運転者の居眠り状態の継続時間を計測する居眠り時間計測装置と、
前記計測された脇見時間若しくは居眠り時間に応じて、前記所定閾値を、前記衝突危険状態検出装置により衝突危険状態が検出され易くなる方向に変化させる閾値変化装置とを有し、
前記閾値変化装置において、前記居眠り時間に対する前記所定閾値の変化量が、前記脇見時間に対する前記所定閾値の変化量よりも大きいことを特徴とする、車載警告装置。
A collision risk state detection device for detecting a collision risk state between a vehicle front object and the own vehicle based on a relationship between at least one kind of physical quantity capable of expressing a relative relationship between the vehicle front object and the own vehicle and a predetermined threshold. When,
A warning output device that warns the driver when a dangerous collision state is detected by the dangerous collision state detection device;
A side-by-side time measuring device that measures the duration of the driver's side-by-side state;
A dozing time measuring device that measures the duration of the driver's dozing state,
A threshold changing device that changes the predetermined threshold in a direction in which a collision danger state is easily detected by the collision danger state detection device according to the measured look-aside time or dozing time;
Wherein the threshold changing unit, the change amount of the predetermined threshold for the snooze time, being larger than the change amount of the predetermined threshold for the inattentive time, vehicle warning device.
前記居眠り時間計測装置が、運転者の眼が閉じられた状態の継続時間を、前記居眠り時間として計測する、請求項に記載の車載警告装置。 The in-vehicle warning device according to claim 1 , wherein the dozing time measuring device measures a duration time in which the driver's eyes are closed as the dozing time. 車両前方物体と自車との相対関係を表わすことが可能な少なくとも1種類の物理量と所定閾値との関係に基づいて、車両前方物体と自車との衝突危険状態を検出する衝突危険状態検出装置と、
前記衝突危険状態検出装置により衝突危険状態が検出された場合に、運転者に警告をする警告出力装置と、
運転者の脇見状態の継続時間を計測する脇見時間計測装置と、
運転者の眼の閉じられている時間を計測する閉眼時間計測装置と、
前記計測された脇見時間若しくは閉眼時間に応じて、前記所定閾値を、前記衝突危険状態検出装置により衝突危険状態が検出され易くなる方向に変化させる閾値変化装置とを有し、
前記閾値変化装置において、前記閉眼時間に対する前記所定閾値の変化量が、前記脇見時間に対する前記所定閾値の変化量よりも大きいことを特徴とする、車載警告装置。
A collision risk state detection device for detecting a collision risk state between a vehicle front object and the own vehicle based on a relationship between at least one kind of physical quantity capable of expressing a relative relationship between the vehicle front object and the own vehicle and a predetermined threshold. When,
A warning output device that warns the driver when a dangerous collision state is detected by the dangerous collision state detection device;
A side-by-side time measuring device that measures the duration of the driver's side-by-side state;
An eye-closing time measuring device that measures the time when the driver's eyes are closed;
A threshold value changing device that changes the predetermined threshold value in a direction in which a collision danger state is easily detected by the collision danger state detection device according to the measured look-ahead time or eye-closing time;
Wherein the threshold changing unit, the change amount of the predetermined threshold value for the closing period is characterized by greater than the change amount of the predetermined threshold for the inattentive time, vehicle warning device.
前記脇見時間計測装置が、運転者の顔向きが正面に向いていない状態の継続時間を、前記脇見時間として計測する、請求項1〜3のいずれかに記載の車載警告装置。   The in-vehicle warning device according to any one of claims 1 to 3, wherein the aside time measuring device measures a duration time in which the driver's face is not facing the front as the aside time.
JP2006280367A 2006-10-13 2006-10-13 In-vehicle warning device Active JP4297155B2 (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2006280367A JP4297155B2 (en) 2006-10-13 2006-10-13 In-vehicle warning device
AU2007306009A AU2007306009B2 (en) 2006-10-13 2007-10-10 On-board warning apparatus and warning method
EP07825313A EP2082383B1 (en) 2006-10-13 2007-10-10 On-board warning apparatus and warning method
CN2007800377260A CN101523455B (en) 2006-10-13 2007-10-10 On-board warning apparatus and warning method
EP11180776.4A EP2407947B8 (en) 2006-10-13 2007-10-10 On-board warning apparatus and warning method
PCT/IB2007/002999 WO2008044119A2 (en) 2006-10-13 2007-10-10 On-board warning apparatus and warning method
US12/311,555 US8184008B2 (en) 2006-10-13 2007-10-10 On-board warning apparatus and warning method
CN201010299790XA CN101968917B (en) 2006-10-13 2007-10-10 Vehicle-mounted warning apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006280367A JP4297155B2 (en) 2006-10-13 2006-10-13 In-vehicle warning device

Publications (2)

Publication Number Publication Date
JP2008097446A JP2008097446A (en) 2008-04-24
JP4297155B2 true JP4297155B2 (en) 2009-07-15

Family

ID=39380209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006280367A Active JP4297155B2 (en) 2006-10-13 2006-10-13 In-vehicle warning device

Country Status (1)

Country Link
JP (1) JP4297155B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4941678B2 (en) * 2008-05-30 2012-05-30 トヨタ自動車株式会社 Alarm control device
CN104110816B (en) * 2013-04-19 2017-02-22 珠海格力电器股份有限公司 Courtyard machine and courtyard machine panel thereof
JP6399311B2 (en) * 2015-05-07 2018-10-03 スズキ株式会社 Dozing detection device
US10768617B2 (en) 2015-11-19 2020-09-08 Sony Corporation Drive assistance device and drive assistance method, and moving body
JP7073682B2 (en) * 2017-11-14 2022-05-24 株式会社アイシン In-vehicle alarm device
JP7120260B2 (en) * 2020-01-30 2022-08-17 トヨタ自動車株式会社 vehicle controller

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3638980B2 (en) * 1995-01-27 2005-04-13 富士重工業株式会社 Vehicle alarm device
JP3861600B2 (en) * 2001-01-29 2006-12-20 日産自動車株式会社 Armpit driving and dozing operation alarm device
WO2004102500A1 (en) * 2003-05-16 2004-11-25 Fujitsu Limited Alarm system, alarm control device and alarm control program

Also Published As

Publication number Publication date
JP2008097446A (en) 2008-04-24

Similar Documents

Publication Publication Date Title
JP4274225B2 (en) In-vehicle warning device
EP2407947B1 (en) On-board warning apparatus and warning method
JP4400624B2 (en) Dozing prevention device and method
JP6369487B2 (en) Display device
US20150379362A1 (en) Imaging device based occupant monitoring system supporting multiple functions
JP4297155B2 (en) In-vehicle warning device
JP2001199296A (en) Warning device, driver&#39;s seat having vibrating body, and mobile body equipped with warning device on vehicle
JP2008204107A (en) Carelessness warning device, vehicle equipment control method for the device and program for vehicle control device
KR101938314B1 (en) Apparatus and Method for Warning Rear Side of Vehicle with Learning of Driving Pattern
JP6730096B2 (en) Occupant condition monitoring device
JP2010257293A (en) Driver state monitoring device and vehicle controller
JP2008165348A (en) Unit and method for doze detection
KR101500016B1 (en) Lane Departure Warning System
JP5187215B2 (en) Driver state monitoring device and collision control system
JP5447335B2 (en) Notification system
CN103569084B (en) Drive arrangement for detecting and method thereof
JP4725254B2 (en) Armpit judging device
JP4743278B2 (en) In-vehicle warning device
KR20140036722A (en) Method, apparatus and system for alert approaching vehicular considering driver&#39;s eyes
TWI549100B (en) Driver detection apparatus and method thereof
JP2023072268A (en) Driver state determination method and device
JP2023072270A (en) Driver state determination method and device
JP2023072271A (en) Driver state determination method and device
KR20230130409A (en) Collision avoidance method and apparatus based on occupant position

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090406

R151 Written notification of patent or utility model registration

Ref document number: 4297155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5