[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7342637B2 - Vehicle control device and driver condition determination method - Google Patents

Vehicle control device and driver condition determination method Download PDF

Info

Publication number
JP7342637B2
JP7342637B2 JP2019203766A JP2019203766A JP7342637B2 JP 7342637 B2 JP7342637 B2 JP 7342637B2 JP 2019203766 A JP2019203766 A JP 2019203766A JP 2019203766 A JP2019203766 A JP 2019203766A JP 7342637 B2 JP7342637 B2 JP 7342637B2
Authority
JP
Japan
Prior art keywords
driver
eye movement
attention function
vehicle
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019203766A
Other languages
Japanese (ja)
Other versions
JP2021077135A (en
Inventor
耕二 岩瀬
雅之 渡邊
陽子 星野
亜希子 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2019203766A priority Critical patent/JP7342637B2/en
Publication of JP2021077135A publication Critical patent/JP2021077135A/en
Application granted granted Critical
Publication of JP7342637B2 publication Critical patent/JP7342637B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

ここに開示する技術は、車両制御装置および運転者状態判定方法に関する。 The technology disclosed herein relates to a vehicle control device and a driver state determination method.

特許文献1には、運転者の状態を判定する運転者状態判定装置が開示されている。この運転者状態判定装置は、運転者の視線方向を検出する視線検出手段と、この視線検出手段の検出結果より予め定められた時間内の視線方向の頻度分布を視線頻度分布として計算する視線頻度分布計算手段と、視線頻度分布のパタ-ンを識別することにより運転者の心理的または生理的状態を判断する運転者状態判断手段を備える。 Patent Document 1 discloses a driver condition determination device that determines the condition of a driver. This driver condition determination device includes a line-of-sight detection means for detecting the driver's line-of-sight direction, and a line-of-sight frequency that calculates the frequency distribution of the line-of-sight direction within a predetermined time as a line-of-sight frequency distribution from the detection result of the line-of-sight detection means. The vehicle includes a distribution calculating means and a driver state determining means for determining the psychological or physiological state of the driver by identifying the pattern of the gaze frequency distribution.

特許第3027786号公報Patent No. 3027786

しかしながら、特許文献1のように視線頻度分布のパタ-ンを識別することにより運転者の心理的または生理的状態を判断するだけでは、運転者の異常の種類を詳細に区別することができないので、運転者の異常の種類に応じた動作を適切に行うことができない。 However, simply determining the driver's psychological or physiological state by identifying the pattern of gaze frequency distribution as in Patent Document 1 does not allow detailed differentiation of the types of driver abnormalities. , the driver is unable to perform appropriate actions depending on the type of abnormality.

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、運転者の異常の種類に応じた動作を適切に行うことにある。 The technology disclosed herein has been developed in view of this point, and its purpose is to appropriately perform operations according to the type of abnormality of the driver.

ここに開示する技術は、車両に設けられる車両制御装置に関し、この車両制御装置は、前記車両の運転者の注意機能の状態を検出する注意機能検出部と、前記運転者の眼球運動の状態を検出する眼球運動検出部と、前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備える。 The technology disclosed herein relates to a vehicle control device installed in a vehicle, and the vehicle control device includes an attention function detection section that detects the state of the attention function of the driver of the vehicle, and a state of the eye movement of the driver. Based on the eye movement detection unit to detect, the detection result by the attention function detection unit, and the detection result by the eye movement detection unit, an operation according to the type of abnormality of the driver, including physical abnormality and absentmindedness. and a vehicle control section that performs the following.

前記の構成では、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。 With the above configuration, the operation can be performed more appropriately depending on the type of abnormality of the driver than when the operation is performed based only on the state of the driver's attention function.

前記車両制御装置において、前記車両制御部は、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行うように構成されてもよい。 In the vehicle control device, the vehicle control unit may be configured to perform a control function when the attention function detection unit detects a decline in the driver's attention function and the eye movement detection unit detects an active eye movement of the driver. , the driver's physical condition is abnormal, the driver's attention function detection unit detects a decrease in the driver's attention function, and the eye movement detection unit detects passive eye movement of the driver. In some cases, the vehicle may be configured to perform an operation depending on the driver's absentmindedness.

前記の構成では、運転者の注意機能低下と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 In the above configuration, when a decrease in the driver's attention function and the driver's active eye movements are detected (that is, when the driver can be considered to be in a state of abnormal physical condition), the driver's physical condition is detected as being abnormal. You can perform actions accordingly. When a decline in the driver's attention function and the driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), it is possible to perform actions according to the driver's distracted state. can.

前記車両制御装置は、前記運転者の自律神経の状態を検出する自律神経検出部を備えてもよい。前記運転者の異常の種類は、前記体調異常と、前記漫然状態と、覚醒低下とを含んでもよい。前記車両制御部は、前記注意機能検出部による検出結果と、前記自律神経検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、前記運転者の異常の種類に応じた動作を行うように構成されてもよい。 The vehicle control device may include an autonomic nerve detection section that detects the state of the autonomic nerve of the driver. The type of abnormality of the driver may include the abnormal physical condition, the absentminded state, and decreased alertness. The vehicle control unit operates according to the type of abnormality of the driver based on the detection result by the attention function detection unit, the detection result by the autonomic nerve detection unit, and the detection result by the eye movement detection unit. It may be configured to perform.

前記の構成では、運転者の注意機能の状態と運転者の眼球運動の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。 With the above configuration, the operation can be performed more appropriately depending on the type of abnormality of the driver than when the operation is performed based only on the state of the driver's attention function and the state of the driver's eye movement.

前記車両制御装置において、前記車両制御部は、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の副交感神経の優位が検出された場合に、前記運転者の覚醒低下に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行うように構成されてもよい。 In the vehicle control device, when the attention function detection unit detects a decline in the driver's attention function and the autonomic nerve detection unit detects that the driver's parasympathetic nerves are dominant, the vehicle control unit may perform the following operations: The driver performs an operation according to the driver's decreased arousal, the attention function detection section detects the driver's decrease in the attention function, the autonomic nerve detection section detects the dominance of the driver's sympathetic nerves, and the eyeball When the active eye movement of the driver is detected by the motion detection unit, an action is performed according to the abnormal physical condition of the driver, and the attention function detection unit detects a decline in the attention function of the driver, When the autonomic nerve detection unit detects the dominance of the driver's sympathetic nerves and the eye movement detection unit detects the driver's passive eye movements, the driver performs an action according to the driver's absentminded state. It may be configured to perform.

前記の構成では、運転者の注意機能低下と、運転者の副交感神経の優位とが検出された場合(すなわち運転者が覚醒低下の状態にあるとみなせる場合)に、運転者の覚醒低下に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 In the above configuration, when a decrease in the driver's attention function and a predominance of the driver's parasympathetic nervous system are detected (that is, when the driver can be considered to be in a state of decreased arousal), the system responds to the decrease in the driver's arousal. can perform various movements. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and the driver's active eye movements are detected (in other words, if the driver can be considered to be in a state of abnormal physical condition), the driver's The patient can perform actions according to his or her physical condition. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and a driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), the driver's distracted state is detected. It is possible to perform actions according to the state.

前記車両制御装置において、前記注意機能検出部は、前記車両の外部環境におけるサリエンシーの分布と前記運転者の視線移動とに基づいて、前記運転者の注意機能の状態を検出するように構成されてもよい。 In the vehicle control device, the attention function detection unit is configured to detect a state of the driver's attention function based on a distribution of salience in an external environment of the vehicle and a line of sight movement of the driver. Good too.

前記の構成では、車両の外部環境のうち高サリエンシー領域(サリエンシーが比較的に高い領域)に運転者の視線が誘引される傾向の強さに基づいて、運転者の注意機能の状態を適切に検出することができる。 In the above configuration, the state of the driver's attention function is appropriately determined based on the strength of the tendency for the driver's gaze to be attracted to a high salience region (region with relatively high salience) in the external environment of the vehicle. can be detected.

また、ここに開示する技術は、運転者の状態を判定する運転者状態判定方法に関し、この運転者状態判定方法は、前記運転者の注意機能の状態を検出する注意機能検出ステップと、前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備える。 Further, the technology disclosed herein relates to a driver condition determination method for determining the condition of a driver, and this driver condition determination method includes an attention function detection step of detecting the state of the driver's attention function; An eye movement detection step for detecting the state of the driver's eye movements, a detection result from the attention function detection step, and a detection result from the eye movement detection step, the driver's condition including abnormal physical condition and absentmindedness is detected. and a determination step of determining the type of abnormality.

前記の方法では、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。 With the above method, the type of driver's abnormality can be determined more appropriately than when determining the driver's abnormality based only on the state of the driver's attention function.

ここに開示する技術によれば、運転者の異常の種類に応じた動作を適切に行うことができる。 According to the technology disclosed herein, it is possible to appropriately perform an operation according to the type of abnormality of the driver.

実施形態による車両制御システムの構成を例示するブロック図である。FIG. 1 is a block diagram illustrating the configuration of a vehicle control system according to an embodiment. ヘッドアップディスプレイについて説明するための図である。FIG. 2 is a diagram for explaining a head-up display. 車両制御装置の要部を例示するブロック図である。FIG. 2 is a block diagram illustrating main parts of a vehicle control device. 車両の前方領域を示す前方画像を例示する図である。It is a figure which illustrates the front image which shows the front area of a vehicle. 前方画像に車両の構成部材が重ねられた合成画像を例示する図である。FIG. 3 is a diagram illustrating a composite image in which structural members of a vehicle are superimposed on a front image. サリエンシーマップを例示する図である。FIG. 3 is a diagram illustrating a saliency map. 注視点におけるサリエンシーの変化を例示するグラフである。It is a graph illustrating a change in saliency at a gaze point. ランダム点におけるサリエンシーの変化を例示するグラフである。It is a graph illustrating changes in saliency at random points. 注視点におけるサリエンシーが閾値を超える確率とランダム点におけるサリエンシーが閾値を超える確率との関係を示すグラフである。It is a graph showing the relationship between the probability that saliency at a gaze point exceeds a threshold and the probability that saliency at a random point exceeds a threshold. 車両制御装置の動作を例示するフローチャートである。3 is a flowchart illustrating the operation of the vehicle control device. 車両制御装置の動作の変形例を例示するフローチャートである。7 is a flowchart illustrating a modification of the operation of the vehicle control device.

以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。 Hereinafter, embodiments will be described in detail with reference to the drawings. It should be noted that the same or corresponding parts in the figures are given the same reference numerals, and the description thereof will not be repeated.

(車両制御システム)
図1は、実施形態による車両制御システム10の構成を例示する。車両制御システム10は、車両(具体的には自動四輪車)に設けられる。車両は、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作(例えばアクセルの操作など)に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム10は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム10は、車両に設けられたアクチュエータ11を制御することで車両の動作(特に走行)を制御する。
(vehicle control system)
FIG. 1 illustrates the configuration of a vehicle control system 10 according to an embodiment. The vehicle control system 10 is provided in a vehicle (specifically, a four-wheeled motor vehicle). The vehicle can be switched between manual driving, assisted driving, and automatic driving. Manual driving is driving in response to the driver's operations (for example, accelerator operation). Assisted driving is driving in which the vehicle supports the driver's operations. Autonomous driving is driving without driver input. The vehicle control system 10 controls the vehicle in assisted driving and automatic driving. Specifically, the vehicle control system 10 controls the operation (especially driving) of the vehicle by controlling an actuator 11 provided in the vehicle.

車両制御システム10は、情報取得部20と、車両制御装置30と、通知部40と、ヘッドアップディスプレイ50とを備える。なお、以下の説明では、車両制御システム10が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。 The vehicle control system 10 includes an information acquisition section 20, a vehicle control device 30, a notification section 40, and a head-up display 50. In the following description, the vehicle provided with the vehicle control system 10 will be referred to as the "host vehicle", and other vehicles existing around the host vehicle will be referred to as "other vehicles".

〔アクチュエータ〕
アクチュエータ11は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、モータ、トランスミッションが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。
[Actuator]
The actuator 11 includes a drive system actuator, a steering system actuator, a brake system actuator, and the like. Examples of drive system actuators include engines, motors, and transmissions. An example of a steering system actuator is a steering wheel. An example of a brake system actuator is a brake.

〔情報取得部〕
情報取得部20は、車両の制御(特に走行制御)に用いられる各種情報を取得する。この例では、情報取得部20は、複数のカメラ21と、複数のレーダ22と、位置センサ23と、外部入力部24と、車両状態センサ25と、運転操作センサ26と、運転者状態センサ27とを含む。
[Information acquisition department]
The information acquisition unit 20 acquires various information used for vehicle control (particularly driving control). In this example, the information acquisition section 20 includes a plurality of cameras 21, a plurality of radars 22, a position sensor 23, an external input section 24, a vehicle condition sensor 25, a driving operation sensor 26, and a driver condition sensor 27. including.

〈カメラ〉
複数のカメラ21は、互いに同様の構成を有する。複数のカメラ21は、車両の周囲を囲うように車両に設けられる。複数のカメラ21の各々は、車両の周囲に広がる環境(車両の外部環境)の一部を撮像することで、車両の外部環境の一部を示す画像データを取得する。複数のカメラ21の各々により得られた画像データは、車両制御装置30に送信される。
<camera>
The plurality of cameras 21 have mutually similar configurations. A plurality of cameras 21 are provided on the vehicle so as to surround the vehicle. Each of the plurality of cameras 21 acquires image data representing a part of the external environment of the vehicle by capturing an image of a part of the environment surrounding the vehicle (external environment of the vehicle). Image data obtained by each of the plurality of cameras 21 is transmitted to the vehicle control device 30.

この例では、カメラ21は、広角レンズを有する単眼カメラである。例えば、カメラ21は、CCD(Charge Coupled Device)やCMOS(Complementary metal-oxide-semiconductor)などの固体撮像素子を用いて構成される。なお、カメラ21は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。 In this example, camera 21 is a monocular camera with a wide-angle lens. For example, the camera 21 is configured using a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor). Note that the camera 21 may be a monocular camera with a narrow-angle lens, or may be a stereo camera with a wide-angle lens or a narrow-angle lens.

〈レーダ〉
複数のレーダ22は、互いに同様の構成を有する。複数のレーダ22は、車両の周囲を囲うように車両に設けられる。複数のレーダ22の各々は、車両の外部環境の一部を検出する。具体的には、レーダ22は、車両の外部環境の一部へ向けて電波を送信して車両の外部環境の一部からの反射波を受信することで、車両の外部環境の一部を検出する。複数のレーダ22の検出結果は、車両制御装置30に送信される。
<Radar>
The plurality of radars 22 have mutually similar configurations. The plurality of radars 22 are provided in the vehicle so as to surround the vehicle. Each of the plurality of radars 22 detects a part of the external environment of the vehicle. Specifically, the radar 22 detects a part of the external environment of the vehicle by transmitting radio waves toward a part of the external environment of the vehicle and receiving reflected waves from the part of the external environment of the vehicle. do. The detection results of the plurality of radars 22 are transmitted to the vehicle control device 30.

例えば、レーダ22は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ(Light Detection and Ranging)であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。 For example, the radar 22 may be a millimeter wave radar that transmits millimeter waves, a lidar (Light Detection and Ranging) that transmits laser light, or an infrared radar that transmits infrared light. Alternatively, it may be an ultrasonic sensor that transmits ultrasonic waves.

〈位置センサ〉
位置センサ23は、車両の位置(例えば緯度および経度)を検出する。例えば、位置センサ23は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて車両の位置を検出する。位置センサ23により得られた情報(車両の位置)は、車両制御装置30に送信される。
<Position sensor>
The position sensor 23 detects the position (for example, latitude and longitude) of the vehicle. For example, the position sensor 23 receives GPS information from the global positioning system and detects the position of the vehicle based on the GPS information. Information (vehicle position) obtained by the position sensor 23 is transmitted to the vehicle control device 30.

〈外部入力部〉
外部入力部24は、車両の外部に設けられた車外ネットワーク(例えばインターネットなど)を通じて情報を入力する。例えば、外部入力部24は、車両の周囲に位置する他車両(図示省略)からの通信情報、ナビゲーションシステム(図示省略)からのカーナビゲーションデータ、交通情報、高精度地図情報などを受信する。外部入力部24により得られた情報は、車両制御装置30に送信される。
<External input section>
The external input unit 24 inputs information through an external network (for example, the Internet) provided outside the vehicle. For example, the external input unit 24 receives communication information from other vehicles (not shown) located around the vehicle, car navigation data from a navigation system (not shown), traffic information, high-precision map information, and the like. Information obtained by the external input section 24 is transmitted to the vehicle control device 30.

〈車両状態センサ〉
車両状態センサ25は、車両の状態(例えば速度や加速度やヨーレートなど)を検出する。例えば、車両状態センサ25は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ25により得られた情報(車両の状態)は、車両制御装置30に送信される。
<Vehicle condition sensor>
The vehicle condition sensor 25 detects the condition of the vehicle (for example, speed, acceleration, yaw rate, etc.). For example, the vehicle condition sensor 25 includes a vehicle speed sensor that detects the speed of the vehicle, an acceleration sensor that detects the acceleration of the vehicle, a yaw rate sensor that detects the yaw rate of the vehicle, and the like. Information (vehicle status) obtained by the vehicle status sensor 25 is transmitted to the vehicle control device 30.

〈運転操作センサ〉
運転操作センサ26は、車両に加えられる運転操作を検出する。例えば、運転操作センサ26は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ26により得られた情報(車両の運転操作)は、車両制御装置30に送信される。
<Driving operation sensor>
The driving operation sensor 26 detects a driving operation applied to the vehicle. For example, the driving operation sensor 26 includes an accelerator opening sensor, a steering angle sensor, a brake oil pressure sensor, and the like. The accelerator opening sensor detects the amount of operation of the accelerator of the vehicle. The steering angle sensor detects the steering angle of the steering wheel of the vehicle. The brake oil pressure sensor detects the amount of brake operation of the vehicle. Information (vehicle driving operation) obtained by the driving operation sensor 26 is transmitted to the vehicle control device 30.

〈運転者状態センサ〉
運転者状態センサ27は、車両を運転する運転者の状態(例えば運転者の健康状態や感情や身体挙動など)を検出する。運転者状態センサ27により得られた情報(運転者の状態)は、車両制御装置30に送信される。この例では、運転者状態センサ27は、車内カメラ28と、生体情報センサ29とを含む。
<Driver status sensor>
The driver condition sensor 27 detects the condition of the driver who drives the vehicle (for example, the driver's health condition, emotions, physical behavior, etc.). The information (driver's condition) obtained by the driver condition sensor 27 is transmitted to the vehicle control device 30. In this example, driver condition sensor 27 includes an in-vehicle camera 28 and a biological information sensor 29.

《車内カメラ》
車内カメラ28は、車両の内部に設けられる。車内カメラ28は、運転者の眼球を含む領域を撮像することで運転者の眼球を含む画像データを取得する。車内カメラ28により得られた画像データは、車両制御装置30に送信される。例えば、車内カメラ28は、運転者の前方に配置され、運転者の眼球が撮像範囲内となるように撮像範囲が設定される。なお、車内カメラ28は、運転者に装着されるゴーグル(図示を省略)に設けられてもよい。
《In-vehicle camera》
The in-vehicle camera 28 is provided inside the vehicle. The in-vehicle camera 28 acquires image data including the driver's eyeballs by capturing an image of a region including the driver's eyeballs. Image data obtained by the in-vehicle camera 28 is transmitted to the vehicle control device 30. For example, the in-vehicle camera 28 is placed in front of the driver, and the imaging range is set so that the driver's eyeballs are within the imaging range. Note that the in-vehicle camera 28 may be provided in goggles (not shown) worn by the driver.

《生体情報センサ》
生体情報センサ29は、車両の内部に設けられる。生体情報センサ29は、運転者の生体情報を検出する。なお、運転者の生体情報の例としては、発汗、心拍などが挙げられる。生体情報センサ29により得られた情報(運転者の生体情報)は、車両制御装置30に送信される。例えば、生体情報センサ29は、運転者の発汗を検出する発汗センサであってもよいし、運転者の心拍を検出する心拍センサであってもよい。また、生体情報センサ29は、運転者の手と接触する箇所(例えば後述するステアリングホイール76)に配置されてもよいし、運転者の身体に装着される部材(図示省略)に設けられてもよい。
《Biological information sensor》
The biological information sensor 29 is provided inside the vehicle. The biological information sensor 29 detects the driver's biological information. Note that examples of the driver's biological information include sweating, heartbeat, and the like. Information obtained by the biometric information sensor 29 (driver's biometric information) is transmitted to the vehicle control device 30. For example, the biological information sensor 29 may be a sweat sensor that detects sweating of the driver, or a heartbeat sensor that detects the driver's heartbeat. Furthermore, the biological information sensor 29 may be placed at a location that comes into contact with the driver's hands (for example, the steering wheel 76 described later), or may be provided on a member (not shown) that is attached to the driver's body. good.

〔車両制御装置〕
車両制御装置30は、アクチュエータ11および車両制御システム10の各部(この例では情報取得部20と通知部40とヘッドアップディスプレイ50など)と電気的に接続される。そして、車両制御装置30は、車両制御システム10の各部により得られた情報に基づいてアクチュエータ11および車両制御システム10の各部を制御する。
[Vehicle control device]
The vehicle control device 30 is electrically connected to the actuator 11 and each part of the vehicle control system 10 (in this example, the information acquisition section 20, the notification section 40, the head-up display 50, etc.). Then, the vehicle control device 30 controls the actuator 11 and each part of the vehicle control system 10 based on information obtained by each part of the vehicle control system 10.

例えば、車両制御装置30は、アシスト運転または自動運転において、情報取得部20により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置30は、車両の運動が目標運動となるように、アクチュエータ11の動作を制御する。 For example, in assisted driving or automatic driving, the vehicle control device 30 determines a target route, which is a route on which the vehicle should travel, based on various information acquired by the information acquisition unit 20, and in order to travel on the target route. Determine the target motion that is the required vehicle motion. The vehicle control device 30 then controls the operation of the actuator 11 so that the motion of the vehicle matches the target motion.

車両制御装置30は、例えば、1つまたは複数の電子制御ユニット(ECU)により構成される。電子制御ユニットは、単一のIC(Integrated Circuit)により構成されてもよいし、複数のICにより構成されてもよい。また、IC内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、CPU(プロセッサ)と、CPUを動作させるためのプログラムやCPUでの処理結果などの情報を記憶するメモリとにより構成されてもよい。 Vehicle control device 30 is configured by, for example, one or more electronic control units (ECUs). The electronic control unit may be composed of a single IC (Integrated Circuit) or may be composed of a plurality of ICs. Additionally, an IC may include a single core or die, or multiple cooperating cores or dies. The core or die may be configured of, for example, a CPU (processor) and a memory that stores information such as programs for operating the CPU and processing results by the CPU.

この例では、車両制御装置30は、車両挙動認識部31と、運転操作認識部32と、外部環境認識部33と、運転者挙動認識部34と、車両制御部35とを有する。 In this example, the vehicle control device 30 includes a vehicle behavior recognition section 31 , a driving operation recognition section 32 , an external environment recognition section 33 , a driver behavior recognition section 34 , and a vehicle control section 35 .

〈車両挙動認識部〉
車両挙動認識部31は、車両状態センサ25の出力に基づいて車両の挙動(例えば速度や加速度やヨーレートなど)を認識する。例えば、車両挙動認識部31は、深層学習により生成された学習モデルを用いて、車両状態センサ25の出力から車両の挙動を示すデータを生成する。
<Vehicle behavior recognition unit>
The vehicle behavior recognition unit 31 recognizes vehicle behavior (for example, speed, acceleration, yaw rate, etc.) based on the output of the vehicle state sensor 25. For example, the vehicle behavior recognition unit 31 generates data indicating the behavior of the vehicle from the output of the vehicle state sensor 25 using a learning model generated by deep learning.

〈運転操作認識部〉
運転操作認識部32は、運転操作センサ26の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部32は、深層学習により生成された学習モデルを用いて、運転操作センサ26の出力から車両に加えられる運転操作を示すデータを生成する。
<Driving operation recognition unit>
The driving operation recognition unit 32 recognizes the driving operation applied to the vehicle based on the output of the driving operation sensor 26. For example, the driving operation recognition unit 32 generates data indicating a driving operation applied to the vehicle from the output of the driving operation sensor 26 using a learning model generated by deep learning.

〈外部環境認識部〉
外部環境認識部33は、複数のカメラ21の出力と、複数のレーダ22の出力と、位置センサ23の出力と、外部入力部24の出力と、車両挙動認識部31の出力に基づいて、車両の外部環境を認識する。例えば、外部環境認識部33は、深層学習により生成された学習モデルを用いて、上記の出力から車両の外部環境を示すデータ(例えば三次元マップデータ)を生成する。外部環境認識部33により認識される車両の外部環境には、物体が含まれている。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。
<External environment recognition department>
The external environment recognition unit 33 recognizes the vehicle based on the outputs of the plurality of cameras 21, the outputs of the plurality of radars 22, the outputs of the position sensor 23, the outputs of the external input unit 24, and the outputs of the vehicle behavior recognition unit 31. Recognize the external environment. For example, the external environment recognition unit 33 generates data (for example, three-dimensional map data) indicating the external environment of the vehicle from the above output using a learning model generated by deep learning. The external environment of the vehicle recognized by the external environment recognition unit 33 includes objects. Examples of objects include a moving object that displaces over time and a stationary object that does not displace over time. Examples of moving objects include four-wheeled motor vehicles, motorcycles, bicycles, and pedestrians. Examples of stationary objects include signs, street trees, median strips, center poles, and buildings.

〈運転者挙動認識部〉
運転者挙動認識部34は、運転者状態センサ27の出力に基づいて運転者の挙動(例えば運転者の健康状態や感情や身体挙動など)を認識する。例えば、運転者挙動認識部34は、深層学習により生成された学習モデルを用いて、運転者状態センサ27の出力からドライバの挙動を示すデータを生成する。この例では、運転者挙動認識部34は、運転者状態検出部300を有する。運転者状態検出部300については、後で詳しく説明する。
<Driver behavior recognition unit>
The driver behavior recognition unit 34 recognizes the driver's behavior (for example, the driver's health condition, emotions, physical behavior, etc.) based on the output of the driver condition sensor 27. For example, the driver behavior recognition unit 34 generates data indicating the driver's behavior from the output of the driver condition sensor 27 using a learning model generated by deep learning. In this example, the driver behavior recognition section 34 includes a driver state detection section 300. The driver state detection section 300 will be explained in detail later.

〈車両制御部〉
車両制御部35は、車両挙動認識部31の出力と、運転操作認識部32の出力と、外部環境認識部33の出力と、運転者挙動認識部34の出力に基づいて、アクチュエータ11を制御する。この例では、車両制御部35は、走行制御と、通知制御とを行う。
<Vehicle control section>
The vehicle control unit 35 controls the actuator 11 based on the output of the vehicle behavior recognition unit 31, the output of the driving operation recognition unit 32, the output of the external environment recognition unit 33, and the output of the driver behavior recognition unit 34. . In this example, the vehicle control unit 35 performs travel control and notification control.

《走行制御》
走行制御は、アシスト運転および自動運転において行われる。走行制御では、車両制御部35は、車両の走行を制御する。この例では、車両制御部35は、走行制御において、候補経路生成処理と、目標経路決定処理と、運動制御処理とを行う。
《Driving control》
Driving control is performed in assisted driving and automatic driving. In driving control, the vehicle control unit 35 controls the driving of the vehicle. In this example, the vehicle control unit 35 performs candidate route generation processing, target route determination processing, and movement control processing in travel control.

候補経路生成処理では、車両制御部35は、外部環境認識部33の出力に基づいて1つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。なお、この例では、候補経路生成処理により生成される候補経路には、安全経路が含まれる。安全経路は、安全領域(例えば路肩)へ向かう走行経路である。 In the candidate route generation process, the vehicle control unit 35 generates one or more candidate routes based on the output of the external environment recognition unit 33. A candidate route is a route on which a vehicle can travel, and is a candidate for a target route. Note that in this example, the candidate routes generated by the candidate route generation process include a safe route. The safe route is a travel route that leads to a safe area (for example, the shoulder of the road).

目標経路決定処理では、車両制御部35は、運転操作認識部32の出力と、運転者挙動認識部34の出力に基づいて、候補経路生成処理において生成された1つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、車両制御部35は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。 In the target route determination process, the vehicle control unit 35 selects one or more candidate routes generated in the candidate route generation process based on the output of the driving operation recognition unit 32 and the output of the driver behavior recognition unit 34. A candidate route to be the target route is selected from the list. For example, the vehicle control unit 35 selects the candidate route that the driver feels is most comfortable from among the plurality of candidate routes.

運動制御処理では、車両制御部35は、目標経路決定処理において目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ11を制御する。例えば、車両制御部35は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、車両制御部35は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。 In the motion control process, the vehicle control unit 35 determines a target motion based on the candidate route selected as the target route in the target route determination process, and controls the actuator 11 based on the determined target motion. For example, the vehicle control unit 35 derives a target driving force, a target braking force, and a target steering amount, which are a driving force, a braking force, and a steering amount for achieving the target motion, respectively. Then, the vehicle control unit 35 transmits the drive command value indicating the target driving force, the braking command value indicating the target braking force, and the steering command value indicating the target steering amount to the actuators of the drive system, the actuators of the brake system, and the steering system. and the actuator respectively.

《通知制御》
通知制御では、車両制御部35は、運転者に通知するための各種情報を出力する。この例では、車両制御部35は、運転者に通知するための各種情報を通知部40に出力する。
《Notification control》
In the notification control, the vehicle control unit 35 outputs various information to notify the driver. In this example, the vehicle control unit 35 outputs various information to the notification unit 40 to notify the driver.

〔通知部〕
通知部40は、車両の内部に設けられる。そして、通知部40は、車両の運転者に各種情報を通知する。この例では、通知部40は、表示部41と、スピーカ42とを含む。表示部41は、各種情報を画像で出力する。スピーカ42は、各種情報を音声で出力する。
[Notification Department]
The notification unit 40 is provided inside the vehicle. The notification unit 40 notifies the driver of the vehicle of various information. In this example, the notification section 40 includes a display section 41 and a speaker 42. The display unit 41 outputs various information in the form of images. The speaker 42 outputs various information in the form of audio.

〔ヘッドアップディスプレイ〕
ヘッドアップディスプレイ50は、車両の内部に設けられる。ヘッドアップディスプレイ50は、虚像50aを表示し、虚像50aを運転者に視認させる。これにより、車内に設けられた運転席に着座する運転者は、フロントウィンドウガラス60よりも前方に虚像50aが存在していると視認する。虚像50aの仮想表示位置(運転者により虚像50aが存在していると視認される位置)と運転者との間の仮想距離は、予め定められた距離(例えば2m程度)に設定されている。この例では、虚像50aは、車速と法定速度とを示す。
[Heads up display]
Head-up display 50 is provided inside the vehicle. The head-up display 50 displays a virtual image 50a and allows the driver to visually recognize the virtual image 50a. Thereby, the driver seated in the driver's seat provided in the vehicle visually recognizes that the virtual image 50a exists in front of the front window glass 60. The virtual distance between the virtual display position of the virtual image 50a (the position where the virtual image 50a is visually recognized by the driver) and the driver is set to a predetermined distance (for example, about 2 m). In this example, the virtual image 50a shows the vehicle speed and legal speed.

〔車両の前側の構成(車両構成部材)〕
図2に示すように、車両の前側には、フロントウィンドウガラス60が設けられる。フロントウィンドウガラス60は、2つのフロントピラートリム71と、ルーフトリム72と、インストルメントパネル73とに囲まれる。2つのフロントピラートリム71は、フロントウィンドウガラス60の右側および左側の境界をそれぞれ構成する。2つのフロントピラートリム71は、上側へ向かうに連れて互いに離間するように傾斜している。ルーフトリム72およびインストルメントパネル73は、フロントウィンドウガラス60の上側および下側の境界をそれぞれ構成する。また、フロントウィンドウガラス60の上側中央部には、バックミラー74が設けられる。フロントピラートリム71よりも車幅方向の外側には、サイドミラー75が設けられる。インストルメントパネル73には、表示部41と、ヘッドアップディスプレイ50と、ステアリングホイール76とが設けられる。
[Configuration of the front side of the vehicle (vehicle component parts)]
As shown in FIG. 2, a front window glass 60 is provided on the front side of the vehicle. The front window glass 60 is surrounded by two front pillar trims 71, a roof trim 72, and an instrument panel 73. The two front pillar trims 71 constitute the right and left boundaries of the front window glass 60, respectively. The two front pillar trims 71 are inclined so as to be spaced apart from each other toward the upper side. The roof trim 72 and the instrument panel 73 constitute upper and lower boundaries of the front window glass 60, respectively. Further, a rearview mirror 74 is provided at the upper center of the front window glass 60. A side mirror 75 is provided outside the front pillar trim 71 in the vehicle width direction. The instrument panel 73 is provided with a display section 41, a head-up display 50, and a steering wheel 76.

この例では、2つのフロントピラートリム71と、ルーフトリム72と、インストルメントパネル73と、バックミラー74と、サイドミラー75と、ステアリングホイール76とが車両構成部材70を構成する。車両構成部材70は、車両を構成する部材であり、車内に設けられた運転席に着座する運転者が車外を見る場合に運転者の視線を遮る部材である。 In this example, two front pillar trims 71, a roof trim 72, an instrument panel 73, a rearview mirror 74, a side mirror 75, and a steering wheel 76 constitute the vehicle component 70. The vehicle component 70 is a component that constitutes a vehicle, and is a component that blocks the driver's line of sight when the driver sitting in a driver's seat provided inside the vehicle looks outside the vehicle.

〔サリエンシー〕
次に、以下の説明において用いられる「サリエンシー」について説明する。サリエンシーは、ボトムアップ性注意を誘引する視覚刺激の程度を示す値であり、色、輝度、方向、動きなどの特徴により変化する値である。例えば、画像に含まれる任意の領域とその領域の周囲の領域との間において色、輝度、方向、動きなどの特徴の違いが顕著になるに連れて、ボトムアップ性注意を誘引する視覚刺激が強くなり、その任意の領域におけるサリエンシーが高くなる。画像に含まれる任意の点(または領域)におけるサリエンシーが高くなるほど、その任意の点(または領域)に人の視線が惹きつけられやすくなる。
[Saliency]
Next, "saliency" used in the following explanation will be explained. Salience is a value indicating the degree of visual stimulation that attracts bottom-up attention, and is a value that changes depending on features such as color, brightness, direction, and movement. For example, as differences in features such as color, brightness, direction, and movement become more pronounced between a given region in an image and its surrounding regions, visual stimuli that attract bottom-up attention become more prominent. become stronger and have higher salience in any given area. The higher the saliency at any point (or region) included in an image, the more likely a person's line of sight will be attracted to that arbitrary point (or region).

〔車両制御装置の要部〕
図3は、車両制御装置30の要部の構成を例示する。この例では、運転者状態検出部300は、注意機能検出部301と、自律神経検出部302と、眼球運動検出部303とを有する。
[Main parts of vehicle control device]
FIG. 3 illustrates the configuration of main parts of the vehicle control device 30. In this example, the driver state detection section 300 includes an attention function detection section 301 , an autonomic nerve detection section 302 , and an eye movement detection section 303 .

〈注意機能検出部〉
注意機能検出部301は、車両の運転者の注意機能の状態を検出する。そして、注意機能検出部301は、運転者の注意機能の状態を示す検出結果を出力する。注意機能検出部301の検出結果は、運転者の注意機能が低下していること、または、運転者の注意機能が低下していないこと(運転者の注意機能が正常であること)を示す。この例では、注意機能検出部301は、車両の外部環境におけるサリエンシーの分布と、車両の運転者の視線移動とに基づいて、運転者の注意機能の状態を検出する。具体的には、注意機能検出部301は、サリエンシーマップ生成部311と、視線検出部312と、演算部313とを有する。
<Attention function detection unit>
The attention function detection unit 301 detects the state of the attention function of the driver of the vehicle. Then, the attention function detection unit 301 outputs a detection result indicating the state of the driver's attention function. The detection result of the attention function detection unit 301 indicates that the driver's attention function has deteriorated or that the driver's attention function has not deteriorated (the driver's attention function is normal). In this example, the attention function detection unit 301 detects the state of the driver's attention function based on the distribution of salience in the external environment of the vehicle and the line of sight movement of the driver of the vehicle. Specifically, the attention function detection section 301 includes a saliency map generation section 311, a line of sight detection section 312, and a calculation section 313.

《サリエンシーマップ生成部》
サリエンシーマップ生成部311は、複数のカメラ21のうち車両の前方領域を撮像するカメラ21の出力に基づいて、車両の外部環境におけるサリエンシーの分布を示すサリエンシーマップを生成する。この例では、サリエンシーマップ生成部311は、以下の手順により、サリエンシーマップを生成する。
《Saliency map generation section》
The saliency map generation unit 311 generates a saliency map indicating the distribution of saliency in the external environment of the vehicle, based on the output of the camera 21 that images the area in front of the vehicle among the plurality of cameras 21. In this example, the saliency map generation unit 311 generates a saliency map using the following procedure.

まず、サリエンシーマップ生成部311は、複数のカメラ21のうち車両の前方領域を撮像するカメラ21の出力に基づいて、前方画像D1(画像データ)を取得する。図4に示すように、前方画像D1は、車両の前方領域を示す。図4の例では、前方画像D1に示される車両の外部環境には、車道150が含まれる。車道150には、他車両161が走行する。車道150の右側には、壁162が設けられる。壁162の右側には、樹木163と、丘164とが設けられる。車道150の左側には、森林165が設けられる。樹木163の右側には、建物166が設けられる。車道150と樹木163と丘164と森林165の上側には、空167が広がる。図4の例では、空167は、曇り空であり、ほぼ白色である。 First, the saliency map generation unit 311 obtains a forward image D1 (image data) based on the output of the camera 21 that images the area in front of the vehicle among the plurality of cameras 21. As shown in FIG. 4, the front image D1 shows the area in front of the vehicle. In the example of FIG. 4, the external environment of the vehicle shown in the front image D1 includes a roadway 150. Another vehicle 161 runs on the roadway 150. A wall 162 is provided on the right side of the roadway 150. A tree 163 and a hill 164 are provided on the right side of the wall 162. A forest 165 is provided on the left side of the roadway 150. A building 166 is provided on the right side of the tree 163. Above the road 150, trees 163, hills 164, and forests 165, a sky 167 spreads out. In the example of FIG. 4, the sky 167 is cloudy and approximately white.

次に、サリエンシーマップ生成部311は、前方画像D1に、構成部材画像(画像データ)を合成することにより、合成画像D2(画像データ)を生成する。構成部材画像は、車両構成部材70(車内の運転者が車外を見る場合に運転者の視界を遮る車両の部材)を示す。例えば、車内に設けられた運転席から車両の前側をカメラで撮像することにより、構成部材画像を得ることができる。図5に示すように、合成画像D2では、車両の前方領域を示す前方画像D1に、車両構成部材70が重ねられている。 Next, the saliency map generation unit 311 generates a composite image D2 (image data) by combining the component image (image data) with the front image D1. The component image shows a vehicle component 70 (a vehicle component that blocks the driver's view when the driver inside the vehicle looks outside the vehicle). For example, a component image can be obtained by capturing an image of the front side of the vehicle from a driver's seat provided in the vehicle with a camera. As shown in FIG. 5, in the composite image D2, the vehicle component 70 is superimposed on the front image D1 showing the front area of the vehicle.

次に、サリエンシーマップ生成部311は、合成画像に対してサリエンシーマップ生成処理を行うことにより、サリエンシーマップD3(画像データ)を生成する。なお、サリエンシーマップ生成処理には、サリエンシーディテクションなどの周知の技術を用いることができる。例えば、サリエンシーマップ生成部311は、色、輝度、方向、動きなどの特徴毎にサリエンシーマップを生成し、それらの特徴毎のサリエンシーマップを足し合わせることで、最終的なサリエンシーマップ(すべての特徴が反映されたサリエンシーマップ)を生成する。 Next, the saliency map generation unit 311 generates a saliency map D3 (image data) by performing saliency map generation processing on the composite image. Note that a well-known technique such as saliency detection can be used for the saliency map generation process. For example, the saliency map generation unit 311 generates a saliency map for each feature such as color, brightness, direction, and movement, and adds the saliency maps for each feature to create a final saliency map ( Generate a salience map that reflects all features.

図6に示すように、サリエンシーマップD3は、車両の外部環境におけるサリエンシーの分布を示す。サリエンシーマップD3の画素は、その画素の領域におけるサリエンシーを示す。図6の例では、ハッチングの濃淡によりサリエンシーの高低が示されている。ハッチングが濃くなるに連れて、そのハッチングが付された領域におけるサリエンシーが高くなる。 As shown in FIG. 6, the saliency map D3 shows the distribution of saliency in the external environment of the vehicle. A pixel in the saliency map D3 indicates the saliency in the region of that pixel. In the example of FIG. 6, the level of saliency is indicated by the shade of hatching. The darker the hatching, the higher the salience in the hatched area.

そして、サリエンシーマップ生成部311は、前方画像D1が更新される毎に、上記の手順によりサリエンシーマップD3を生成する。これにより、時系列順に並ぶ複数のサリエンシーマップD3が得られる。 Then, the saliency map generation unit 311 generates the saliency map D3 according to the above procedure every time the front image D1 is updated. As a result, a plurality of saliency maps D3 arranged in chronological order are obtained.

《視線検出部》
視線検出部312は、車内カメラ28の出力に基づいて、運転者の視線を検出する。この例では、視線検出部312は、車内カメラ28により得られた画像データに対して視線検出処理を行うことにより、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル(視線を検出するための学習モデル)を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。例えば、視線検出部312は、車内カメラ28により得られた画像(画像データ)の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。なお、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線および左眼の視線に基づいて導出される視線であってもよい。
《Gaze detection section》
The line of sight detection unit 312 detects the driver's line of sight based on the output of the in-vehicle camera 28. In this example, the line-of-sight detection unit 312 detects the driver's line-of-sight by performing line-of-sight detection processing on image data obtained by the in-vehicle camera 28. Note that this line of sight detection processing may be a process performed using a learning model (a learning model for detecting line of sight) generated by deep learning, or a process performed using a well-known line of sight detection technology. It may be. For example, the line of sight detection unit 312 detects the driver's pupil from the image (image data) obtained by the in-vehicle camera 28, and detects the driver's line of sight based on the detected pupil. Note that the driver's line of sight may be the line of sight of the driver's right eye, the line of sight of the driver's left eye, or the line of sight of the driver's right eye and the line of sight of the left eye. It may also be a line of sight derived by

《演算部》
演算部313は、サリエンシーマップ生成部311により生成されたサリエンシーマップと、視線検出部312により検出された運転者の視線の移動とに基づいて、運転者の注意機能の状態を検出する。
《Calculation section》
The calculation unit 313 detects the state of the driver's attention function based on the saliency map generated by the saliency map generation unit 311 and the movement of the driver's line of sight detected by the line of sight detection unit 312.

具体的には、演算部313は、車両の外部環境のうち高サリエンシー領域に運転者の視線が誘引される傾向(以下では「視線誘引傾向」と記載)の強さに基づいて、運転者の注意機能の状態を示す検出結果を出力する。高サリエンシー領域は、車両の外部環境のうちサリエンシーが比較的に高い領域であり、例えば、サリエンシーが予め定められた基準サリエンシーを上回る領域である。 Specifically, the calculation unit 313 calculates the driver's gaze based on the strength of the tendency for the driver's gaze to be attracted to a high salience region in the external environment of the vehicle (hereinafter referred to as "gazing attraction tendency"). Outputs detection results indicating the status of the attention function. The high saliency area is an area where the saliency is relatively high in the external environment of the vehicle, for example, an area where the saliency exceeds a predetermined reference saliency.

例えば、演算部313は、視線誘引傾向の強さに応じて変化する指標値を求める。そして、演算部313は、指標値が予め定められた基準指標値を上回る場合(すなわち視線誘引傾向が比較的に強い場合)に、運転者の注意機能が低下していることを示す検出結果を出力する。また、演算部313は、指標値が基準指標値を上回らない場合(すなわち視線誘引傾向が比較的に弱い場合)に、運転者の注意機能が低下していないことを示す検出結果を出力する。 For example, the calculation unit 313 calculates an index value that changes depending on the strength of the gaze attraction tendency. Then, when the index value exceeds a predetermined reference index value (that is, when the tendency to attract the gaze is relatively strong), the calculation unit 313 generates a detection result indicating that the driver's attention function is degraded. Output. Furthermore, when the index value does not exceed the reference index value (that is, when the gaze attraction tendency is relatively weak), the calculation unit 313 outputs a detection result indicating that the driver's attention function has not deteriorated.

この例では、演算部313は、以下の手順により運転者の注意機能の状態を検出する。具体的には、演算部313は、予め定められた計測周期毎に、第1処理と、第2処理と、第3処理と、第4の処理と、第5処理を行う。 In this example, the calculation unit 313 detects the state of the driver's attention function using the following procedure. Specifically, the calculation unit 313 performs a first process, a second process, a third process, a fourth process, and a fifth process at each predetermined measurement cycle.

第1処理では、演算部313は、計測周期内に得られる複数のサリエンシーマップD3のうち2つ以上のサリエンシーマップD3の各々において注視点を検出し、注視点におけるサリエンシーを検出する。注視点は、サリエンシーマップD3における運転者の視線の位置(座標)を示す点である。例えば、演算部313は、視線検出部312により検出された運転者の視線の方向に基づいて、サリエンシーマップD3から注視点を検出する。なお、演算部313は、予め定められたサンプリング周期毎に、サリエンシーマップD3から運転者の視線の位置を注視点として検出するように構成されてもよい。または、演算部313は、停滞時間が予め定められた基準時間を上回る運転者の視線の位置を注視点として検出するように構成されてもよい。この第1処理により、所定時刻毎の注視点のサリエンシーが得られる。図7に示すように、注視点のサリエンシーは、時間の経過に応じて変化する。 In the first process, the calculation unit 313 detects a point of interest in each of two or more saliency maps D3 out of the plurality of saliency maps D3 obtained within the measurement period, and detects saliency at the point of interest. The gaze point is a point indicating the position (coordinates) of the driver's line of sight on the saliency map D3. For example, the calculation unit 313 detects the gaze point from the saliency map D3 based on the direction of the driver's line of sight detected by the line of sight detection unit 312. Note that the calculation unit 313 may be configured to detect the position of the driver's line of sight as a gaze point from the saliency map D3 at every predetermined sampling period. Alternatively, the calculation unit 313 may be configured to detect the position of the driver's line of sight as the point of gaze for which the stagnation time exceeds a predetermined reference time. Through this first process, the saliency of the gaze point at each predetermined time is obtained. As shown in FIG. 7, the saliency of the gaze point changes over time.

第2処理では、演算部313は、計測周期内に得られる複数のサリエンシーマップD3のうち2つ以上のサリエンシーマップD3の各々においてランダム点を指定し、ランダム点におけるサリエンシーを検出する。ランダム点は、サリエンシーマップD3においてランダムに指定される位置(座標)を示す点である。なお、ランダム点は、複数のサリエンシーマップD3のうち第1処理により注視点が検出されるサリエンシーマップD3において指定されることが好ましい。すなわち、ランダム点におけるサリエンシーが検出される時刻は、注視点におけるサリエンシーが検出される時刻と一致していることが好ましい。この第2処理により、所定時刻毎のランダム点のサリエンシーが得られる。図8に示すように、ランダム点のサリエンシーは、時間の経過に応じて変化する。 In the second process, the calculation unit 313 specifies a random point in each of two or more saliency maps D3 among the plurality of saliency maps D3 obtained within the measurement period, and detects saliency at the random point. A random point is a point indicating a randomly specified position (coordinates) in the saliency map D3. Note that the random point is preferably specified in the saliency map D3 in which the gaze point is detected by the first process among the plurality of saliency maps D3. That is, it is preferable that the time when saliency is detected at a random point coincides with the time when saliency is detected at a gaze point. Through this second process, the saliency of random points at each predetermined time is obtained. As shown in FIG. 8, the saliency of random points changes over time.

次に、第3処理が行われる。第3処理では、演算部313は、第1処理により得られた計測周期内の所定時刻毎の注視点のサリエンシーと、第2処理により得られた計測周期内の所定時刻毎のランダム点のサリエンシーとに基づいて、「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との関係を示すROC(Receiver Operating Characteristic)曲線を導出する。 Next, a third process is performed. In the third process, the calculation unit 313 calculates the saliency of the gaze point at each predetermined time in the measurement period obtained by the first process, and the saliency of the random point at each predetermined time in the measurement period obtained by the second process. Based on this, an ROC (Receiver Operating Characteristic) curve is derived that shows the relationship between "the probability that the saliency of the gaze point exceeds the threshold" and "the probability that the saliency of the random point exceeds the threshold".

具体的には、演算部313は、サリエンシーに関する閾値を最大値から最小値まで段階的に変更する。そして、演算部313は、閾値を変更する毎に、以下の処理を行う。 Specifically, the calculation unit 313 changes the threshold regarding saliency in stages from the maximum value to the minimum value. Then, the calculation unit 313 performs the following processing every time the threshold value is changed.

まず、演算部313は、計測周期内の所定時刻毎の注視点のサリエンシーのうち閾値を超える注視点のサリエンシーの数を求め、閾値を超える注視点のサリエンシーの数を計測周期内の注視点のサリエンシーの総数で除算することで、注視点のサリエンシーが閾値を超える確率を求める。また、演算部313は、計測周期内の所定時刻毎のランダム点のサリエンシーのうち閾値を超えるランダム点のサリエンシーの数を求め、閾値を超えるランダム点のサリエンシーの数を計測周期内のランダム点のサリエンシーの総数で除算することで、ランダム点のサリエンシーが閾値を超える確率を求める。 First, the calculation unit 313 calculates the number of saliencies of the gaze points that exceed a threshold value among the saliency of the gaze points at each predetermined time within the measurement period, and calculates the number of saliencies of the gaze points that exceed the threshold value among the saliencies of the gaze points within the measurement cycle. By dividing by the total number of saliencies, find the probability that the saliency of the gaze point exceeds the threshold. In addition, the calculation unit 313 calculates the number of saliencies of random points that exceed a threshold value among the saliencies of random points at each predetermined time within the measurement period, and calculates the number of saliencies of random points that exceed the threshold value among the saliencies of random points within the measurement period. By dividing by the total number of saliencies, find the probability that the saliency of a random point exceeds the threshold.

そして、演算部313は、閾値毎に求められた「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との組合せに基づいて、ROC曲線を導出する。図9は、ROC曲線を例示する。このROC曲線は、運転者の視線が高サリエンシー領域に誘引される傾向の強さに応じて変化する。例えば、運転者の視線が高サリエンシー領域を向く傾向がある場合、ROC曲線は、図9の第1曲線C1のように、傾きが1の直線(破線で示す直線)よりも上側に凸の曲線となる。一方、運転者の視線が低サリエンシー領域を向く傾向がある場合、ROC曲線は、図9の第2曲線C2のように、傾きが1の直線(破線で示す直線)よりも下側に凸の曲線となる。なお、低サリエンシー領域は、車両の外部環境のうちサリエンシーが比較的に低い領域であり、例えば、サリエンシーが予め定められた基準サリエンシーを下回る領域である。 Then, the calculation unit 313 derives an ROC curve based on the combination of "probability that the saliency of the gaze point exceeds the threshold" and "probability that the saliency of the random point exceeds the threshold" determined for each threshold. FIG. 9 illustrates an ROC curve. This ROC curve changes depending on the strength of the tendency for the driver's line of sight to be drawn to the high salience region. For example, if the driver's line of sight tends to be directed toward the high salience region, the ROC curve will be a curve that is convex upwards from a straight line with a slope of 1 (the straight line indicated by a broken line), like the first curve C1 in FIG. becomes. On the other hand, if the driver's line of sight tends to be directed towards the low salience region, the ROC curve will be convex downwards from the straight line with a slope of 1 (the straight line indicated by the dashed line), as shown in the second curve C2 in FIG. It becomes a curve. Note that the low saliency area is an area where the saliency is relatively low in the external environment of the vehicle, for example, an area where the saliency is lower than a predetermined reference saliency.

次に、第4処理が行われる。第4処理では、演算部313は、ROC曲線の下側の面積であるAUC(Area Under the Curve)値を求める。例えば、図9の第1曲線C1がROC曲線である場合、AUC値は、図9のハッチングが付された領域の面積に相当する。このAUC値は、視線誘引傾向(車両の外部環境のうち高サリエンシー領域に運転者の視線が誘引される傾向)の強さに応じて変化する指標値である。例えば、運転者の視線が高サリエンシー領域を向く傾向が強くなるほど、AUC値が大きくなり、運転者の視線が低サリエンシー領域を向く傾向が強くなるほど、AUC値が小さくなる。 Next, a fourth process is performed. In the fourth process, the calculation unit 313 calculates an AUC (Area Under the Curve) value, which is the area under the ROC curve. For example, when the first curve C1 in FIG. 9 is an ROC curve, the AUC value corresponds to the area of the hatched region in FIG. This AUC value is an index value that changes depending on the strength of the gaze attraction tendency (the tendency for the driver's gaze to be attracted to a high salience area in the external environment of the vehicle). For example, the stronger the tendency for the driver's line of sight to be directed toward the high salience region, the larger the AUC value becomes, and the stronger the tendency for the driver's line of sight to be directed toward the low saliency region, the smaller the AUC value becomes.

次に、第5処理では、演算部313は、AUC値に基づいて、運転者の注意機能の状態を検出する。例えば、演算部313は、AUC値が予め定められた基準AUC値を上回る場合に、運転者の注意機能が低下していることを示す検出結果を出力する。また、演算部313は、AUC値が予め定められた基準AUC値を上回らない場合に、運転者の注意機能が低下していないことを示す検出結果を出力する。 Next, in the fifth process, the calculation unit 313 detects the state of the driver's attention function based on the AUC value. For example, when the AUC value exceeds a predetermined reference AUC value, the calculation unit 313 outputs a detection result indicating that the driver's attention function is degraded. Furthermore, when the AUC value does not exceed a predetermined reference AUC value, the calculation unit 313 outputs a detection result indicating that the driver's attention function has not deteriorated.

〈自律神経検出部〉
自律神経検出部302は、運転者の自律神経の状態を検出する。そして、自律神経検出部302は、運転者の自律神経の状態を示す検出結果を出力する。自律神経検出部302の検出結果は、運転者の交感神経が優位であること、または、運転者の副交感神経が優位であることを示す。この例では、自律神経検出部302は、生体情報センサ29により得られた運転者の生体情報に基づいて、運転者の状態を検出する。
<Autonomic nerve detection unit>
The autonomic nerve detection unit 302 detects the state of the driver's autonomic nerves. Then, the autonomic nerve detection unit 302 outputs a detection result indicating the state of the driver's autonomic nerves. The detection result of the autonomic nerve detection unit 302 indicates that the driver's sympathetic nerves are dominant or that the driver's parasympathetic nerves are dominant. In this example, the autonomic nerve detection unit 302 detects the driver's condition based on the driver's biological information obtained by the biological information sensor 29.

なお、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の発汗量が多くなる傾向にある。したがって、自律神経検出部302は、生体情報センサ29により得られた運転者の発汗量に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部302は、運転者の発汗量が予め定められた基準発汗量を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の発汗量が基準発汗量を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。 Note that when the driver's sympathetic nerves are dominant, the amount of sweat the driver tends to be greater than when the driver's parasympathetic nerves are dominant. Therefore, the autonomic nerve detection unit 302 may be configured to detect the state of the driver's autonomic nerves based on the amount of sweat of the driver obtained by the biological information sensor 29. For example, when the amount of sweat of the driver exceeds a predetermined reference amount of sweat, the autonomic nerve detection unit 302 outputs a detection result indicating that the driver's sympathetic nerves are dominant, and the amount of sweat of the driver is If the amount of perspiration does not exceed the reference sweat amount, a detection result indicating that the driver's parasympathetic nerves are dominant is output.

また、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の心拍が多くなる傾向にある。したがって、自律神経検出部302は、生体情報センサ29により得られた運転者の心拍に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部302は、運転者の心拍が予め定められた基準心拍を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の心拍が基準心拍を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。 Further, when the driver's sympathetic nerves are dominant, the driver's heart rate tends to be higher than when the driver's parasympathetic nerves are dominant. Therefore, the autonomic nerve detection unit 302 may be configured to detect the state of the driver's autonomic nerves based on the driver's heartbeat obtained by the biological information sensor 29. For example, when the driver's heart rate exceeds a predetermined reference heart rate, the autonomic nerve detection unit 302 outputs a detection result indicating that the driver's sympathetic nerves are dominant, and the driver's heart rate is higher than the reference heart rate. If the driver's parasympathetic nerves do not exceed , a detection result indicating that the driver's parasympathetic nerves are dominant is output.

なお、自律神経検出部302は、生体情報センサ29の出力の代わりに、車内カメラ28の出力に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の瞳孔径が大きくなる傾向にある。したがって、自律神経検出部302は、車内カメラ28により得られた画像データに基づいて、運転者の瞳孔径を検出し、運転者の瞳孔径に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部302は、運転者の瞳孔径が予め定められた基準瞳孔径を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の瞳孔径が基準瞳孔径を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。 Note that the autonomic nerve detection unit 302 may be configured to detect the state of the driver's autonomic nerves based on the output of the in-vehicle camera 28 instead of the output of the biological information sensor 29. For example, when the driver's sympathetic nerves are dominant, the driver's pupil diameter tends to be larger than when the driver's parasympathetic nerves are dominant. Therefore, the autonomic nerve detection unit 302 detects the driver's pupil diameter based on the image data obtained by the in-vehicle camera 28, and detects the state of the driver's autonomic nerve based on the driver's pupil diameter. It may be configured as follows. For example, when the driver's pupil diameter exceeds a predetermined reference pupil diameter, the autonomic nerve detection unit 302 outputs a detection result indicating that the driver's sympathetic nerves are dominant, and the driver's pupil diameter If the diameter of the pupil does not exceed the reference pupil diameter, a detection result indicating that the driver's parasympathetic nerves are dominant is output.

また、自律神経検出部302は、その他の周知の自律神経検出技術(交感神経および副交感神経のどちらが優位であるのかを検出する技術)を用いて、運転者の自律神経の状態を検出するように構成されてもよい。自律神経検出部302は、複数の自律神経検出技術の検出結果に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。 In addition, the autonomic nerve detection unit 302 detects the state of the driver's autonomic nerves using other well-known autonomic nerve detection techniques (techniques for detecting which of the sympathetic nerves and parasympathetic nerves is dominant). may be configured. The autonomic nerve detection unit 302 may be configured to detect the state of the driver's autonomic nerves based on the detection results of a plurality of autonomic nerve detection techniques.

〈眼球運動検出部〉
眼球運動検出部303は、運転者の眼球運動の状態を検出する。そして、眼球運動検出部303は、運転者の眼球運動の状態を示す検出結果を出力する。眼球運動検出部303の検出結果は、運転者の眼球運動が能動的であること、または、運転者の眼球運動が受動的であることを示す。この例では、眼球運動検出部303は、車内カメラ28により得られた画像データに基づいて、運転者の眼球運動の状態を検出する。
<Eye movement detection unit>
The eye movement detection unit 303 detects the state of the driver's eye movement. Then, the eye movement detection unit 303 outputs a detection result indicating the state of the driver's eye movement. The detection result of the eye movement detection unit 303 indicates that the driver's eye movement is active or that the driver's eye movement is passive. In this example, the eyeball movement detection unit 303 detects the state of the driver's eyeball movement based on image data obtained by the in-vehicle camera 28.

なお、運転者の眼球運動が能動的である場合、運転者の眼球運動が受動的である場合よりも、運転者の視線移動の前後における瞳孔径の変化量が大きくなる傾向にある。したがって、眼球運動検出部303は、車内カメラ28により得られた画像データに基づいて、運転者の視線移動と運転者の瞳孔径の変化量を求め、運転者の視線移動の前後における瞳孔径の変化量に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。例えば、眼球運動検出部303は、運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、運転者の眼球運動が能動的であることを示す検出結果を出力し、運転者の視線移動の前後における瞳孔径の変化量が基準変化量を上回らない場合に、運転者の眼球運動が受動的であることを示す検出結果を出力する。 Note that when the driver's eye movements are active, the amount of change in the pupil diameter before and after the driver's line of sight movement tends to be larger than when the driver's eye movements are passive. Therefore, the eye movement detection unit 303 determines the driver's line of sight movement and the amount of change in the driver's pupil diameter based on the image data obtained by the in-vehicle camera 28, and calculates the change in the driver's pupil diameter before and after the driver's line of sight movement. The driver's eye movement state may be detected based on the amount of change. For example, the eye movement detection unit 303 generates a detection result indicating that the driver's eye movement is active when the amount of change in the pupil diameter before and after the driver's line of sight movement exceeds a predetermined reference amount of change. If the amount of change in pupil diameter before and after the driver's line of sight movement does not exceed the reference amount of change, a detection result indicating that the driver's eye movement is passive is output.

また、運転者の眼球運動が能動的である場合、運転者の眼球運動が受動的である場合よりも、ヘッドアップディスプレイ50により表示される虚像50aの仮想表示位置と運転者の両眼の焦点の位置との差が大きくなり、虚像50aの仮想表示位置から求められる運転者の理想的な輻輳角と運転者の実際の輻輳角との差が大きくなる傾向にある。なお、輻輳角は、右眼の視線と左目の視線とがなす角度である。運転者の理想的な輻輳角は、運転者の両眼の焦点位置と虚像50aの仮想表示位置とが一致しているときの運転者の輻輳角である。したがって、眼球運動検出部303は、車内カメラ28により得られた画像データに基づいて、運転者の輻輳角を求め、運転者の輻輳角と予め定められた基準輻輳角との差に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。なお、基準輻輳角は、上記の運転者の理想的な輻輳角である。例えば、眼球運動検出部303は、運転者の輻輳角と基準輻輳角との差が予め定められた基準差を上回る場合に、運転者の眼球運動が能動的であることを示す検出結果を出力し、運転者の輻輳角と基準輻輳角との差が基準差を上回らない場合に、運転者の眼球運動が受動的であることを示す検出結果を出力する。 Furthermore, when the driver's eye movements are active, the virtual display position of the virtual image 50a displayed by the head-up display 50 and the focus of the driver's eyes are more accurate than when the driver's eye movements are passive. The difference between the driver's ideal convergence angle determined from the virtual display position of the virtual image 50a and the driver's actual convergence angle tends to increase. Note that the convergence angle is the angle between the line of sight of the right eye and the line of sight of the left eye. The driver's ideal convergence angle is the driver's convergence angle when the focal position of both eyes of the driver and the virtual display position of the virtual image 50a match. Therefore, the eye movement detection unit 303 determines the convergence angle of the driver based on the image data obtained by the in-vehicle camera 28, and based on the difference between the driver's convergence angle and a predetermined reference convergence angle, It may be configured to detect the state of eye movement of the driver. Note that the reference convergence angle is the ideal convergence angle of the driver. For example, the eye movement detection unit 303 outputs a detection result indicating that the driver's eye movement is active when the difference between the driver's convergence angle and the reference convergence angle exceeds a predetermined reference difference. However, if the difference between the driver's convergence angle and the reference convergence angle does not exceed the reference difference, a detection result indicating that the driver's eye movement is passive is output.

また、眼球運動検出部303は、その他の周知の眼球運動検出技術(眼球運動が能動的および受動的のどちらであるのかを検出する技術)を用いて、運転者の眼球運動の状態を検出するように構成されてもよい。眼球運動検出部303は、複数の眼球運動検出技術の検出結果に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。 In addition, the eye movement detection unit 303 detects the state of the driver's eye movement using other well-known eye movement detection techniques (techniques for detecting whether the eye movement is active or passive). It may be configured as follows. The eye movement detection unit 303 may be configured to detect the state of the driver's eye movement based on the detection results of a plurality of eye movement detection techniques.

〔運転者の異常〕
次に、運転者の異常について説明する。なお、運転者の「異常」な状態とは、車両の運転に適していない運転者の状態のことであり、運転者の「正常」な状態とは、車両の運転に適した運転者の状態のことである。以下では、運転者の異常の例として、体調異常と、覚醒低下と、漫然状態とを挙げている。
[Driver's abnormality]
Next, abnormality of the driver will be explained. Note that the "abnormal" state of the driver refers to the state of the driver that is not suitable for driving the vehicle, and the "normal" state of the driver refers to the state of the driver that is suitable for driving the vehicle. It is about. In the following, abnormal physical condition, decreased alertness, and absentmindedness are listed as examples of driver abnormalities.

体調異常は、疾患により運転機能(特に注意機能)が低下した状態である。体調異常の例としては、脳卒中などの脳疾患、心筋梗塞などの心疾患、癲癇、低血糖などが挙げられる。覚醒低下は、覚醒レベルが低下した状態であり、居眠り状態である。漫然状態は、車両の運転に集中することができず、ぼんやりとしている状態である。 Abnormal physical condition is a state in which the driving function (particularly the attention function) is deteriorated due to a disease. Examples of physical abnormalities include brain diseases such as stroke, heart diseases such as myocardial infarction, epilepsy, and hypoglycemia. Decreased arousal is a state in which the arousal level has decreased, and is a dozing state. The distracted state is a state in which the driver is unable to concentrate on driving the vehicle and is absent-minded.

〔本願発明者らにより得られた知見〕
本願発明者らは、鋭意研究の結果、体調異常、覚醒低下、漫然状態の各々に、次のような特徴があることを見出した。
[Findings obtained by the inventors]
As a result of intensive research, the inventors of the present application found that abnormal physical condition, decreased alertness, and absentmindedness each have the following characteristics.

運転者が体調異常の状態である場合、運転者の注意機能の低下に加えて運転者の能動的な眼球運動が維持される。また、運転者が体調異常の状態である場合、運転者の注意機能の低下に加えて運転者の交感神経が優位になる。具体的には、運転者が体調異常の状態である場合、運転者の注意機能低下、運転者の交感神経の優位、運転者の能動的な眼球運動が観測される。 When the driver is in an abnormal state of physical condition, the driver's attention function is reduced and the driver's active eye movements are maintained. Further, when the driver is in an abnormal state of physical condition, the driver's attentiveness function decreases and the driver's sympathetic nervous system becomes dominant. Specifically, when a driver is in an abnormal state of physical condition, a decrease in the driver's attention function, a predominance of the driver's sympathetic nervous system, and an active eye movement of the driver are observed.

また、運転者が覚醒低下の状態である場合、運転者の注意機能の低下に加えて運転者の副交感神経が優位になる。具体的には、運転者が覚醒低下の状態である場合、運転者の注意機能低下、運転者の副交感神経の優位が観測される。 Furthermore, when the driver is in a state of decreased arousal, the driver's parasympathetic nervous system becomes dominant in addition to the decreased attention function of the driver. Specifically, when a driver is in a state of decreased arousal, a decrease in the driver's attention function and a dominance of the driver's parasympathetic nervous system are observed.

また、運転者が漫然状態である場合、運転者の注意機能の低下に加えて交感神経が優位になる。また、運転者が漫然状態である場合、運転者の注意機能の低下に加えて運転者の眼球運動が受動的となる。具体的には、運転者が漫然状態である場合、運転者の注意機能低下、運転者の交感神経の優位、運転者の受動的な眼球運動が観測される。 Furthermore, when the driver is distracted, the driver's attentiveness decreases and the sympathetic nervous system becomes dominant. Furthermore, when the driver is distracted, the driver's attention function is reduced and the driver's eye movements become passive. Specifically, when a driver is distracted, a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and a passive eye movement of the driver are observed.

〔車両制御部の動作〕
次に、図10を参照して、車両制御部35の動作について説明する。例えば、車両制御部35では、予め定められた周期で、以下の処理が繰り返し行われる。なお、車両制御部35は、注意機能検出部301による検出結果と、自律神経検出部302による検出結果と、眼球運動検出部303による検出結果とを入力する。この車両制御部35の動作は、運転者状態判定方法の判定ステップの一例である。
[Operation of vehicle control unit]
Next, the operation of the vehicle control section 35 will be explained with reference to FIG. For example, the vehicle control unit 35 repeatedly performs the following process at a predetermined period. Note that the vehicle control unit 35 inputs the detection result by the attention function detection unit 301, the detection result by the autonomic nerve detection unit 302, and the detection result by the eye movement detection unit 303. This operation of the vehicle control unit 35 is an example of the determination step of the driver state determination method.

〈ステップST11〉
まず、車両制御部35は、注意機能検出部301(注意機能検出ステップ)により運転者の注意機能低下が検出されたか否かを判定する。運転者の注意機能低下が検出された場合には、ステップST12へ進み、そうでない場合には、ステップST17へ進む。
<Step ST11>
First, the vehicle control unit 35 determines whether the attention function detection unit 301 (attention function detection step) detects a decrease in the driver's attention function. If a decline in the driver's attention function is detected, the process advances to step ST12; otherwise, the process advances to step ST17.

〈ステップST12〉
注意機能検出部301により運転者の注意機能低下が検出された場合、車両制御部35は、自律神経検出部302(自律神経検出ステップ)により運転者の交感神経の優位が検出されたか否かを判定する。運転者の交感神経の優位が検出された場合には、ステップST13へ進み、そうでない場合には、ステップST15へ進む。
<Step ST12>
When the attention function detection unit 301 detects a decline in the driver's attention function, the vehicle control unit 35 determines whether the autonomic nerve detection unit 302 (autonomic nerve detection step) detects the dominance of the driver's sympathetic nerves. judge. If it is detected that the driver's sympathetic nerves are dominant, the process proceeds to step ST13; otherwise, the process proceeds to step ST15.

〈ステップST13〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の交感神経の優位が検出された場合、車両制御部35は、眼球運動検出部303(眼球運動検出ステップ)により運転者の能動的な眼球運動が検出されたか否かを判定する。運転者の能動的な眼球運動が検出された場合には、ステップST14へ進み、そうでない場合には、ステップST16へ進む。
<Step ST13>
When the attention function detection unit 301 detects a decline in the driver's attention function and the autonomic nerve detection unit 302 detects that the driver's sympathetic nerves are dominant, the vehicle control unit 35 controls the eye movement detection unit 303 (eye movement detection In step), it is determined whether active eye movements of the driver are detected. If the driver's active eye movement is detected, the process proceeds to step ST14; otherwise, the process proceeds to step ST16.

〈ステップST14〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の交感神経の優位が検出され、眼球運動検出部303により運転者の能動的な眼球運動が検出された場合、車両制御部35は、運転者が体調異常の状態であると判定する。そして、車両制御部35は、運転者の体調異常に応じた動作を行う。
<Step ST14>
The attention function detection unit 301 detects a decline in the driver's attention function, the autonomic nerve detection unit 302 detects the dominance of the driver's sympathetic nerves, and the eye movement detection unit 303 detects the driver's active eye movements. In this case, the vehicle control unit 35 determines that the driver is in a state of abnormal physical condition. Then, the vehicle control unit 35 performs an operation according to the driver's physical condition abnormality.

なお、運転者の体調異常に応じた動作の例としては、運転者が体調異常の状態であることを示す体調異常情報を出力する動作、運転者が体調異常の状態であることを車両の外部に通知するための動作、車両が安全経路を走行して安全領域で停車するようにアクチュエータ11を制御する動作などが含まれる。体調異常情報を出力する動作の例としては、体調異常情報を通知部40に出力することで運転者が体調異常の状態であることを通知する動作が挙げられる。運転者が体調異常の状態であることを車両の外部に通知するための動作の例としては、車両のハザードランプ(図示省略)を点滅させる動作が挙げられる。 Examples of operations in response to the driver's physical condition include an operation that outputs physical condition information indicating that the driver is in a physical condition, and an operation that outputs physical condition information indicating that the driver is in a physical condition. This includes an operation for notifying the driver, and an operation for controlling the actuator 11 so that the vehicle travels on a safe route and stops in a safe area. An example of the operation of outputting the physical condition information is an operation of outputting the physical condition information to the notification unit 40 to notify that the driver is in a physical condition abnormal state. An example of an operation for notifying the outside of the vehicle that the driver is in an abnormal physical condition is an operation that causes a hazard lamp (not shown) of the vehicle to blink.

〈ステップST15〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の副交感神経の優位が検出された場合、車両制御部35は、運転者が覚醒低下の状態であると判定する。そして、車両制御部35は、運転者の覚醒低下に応じた動作を行う。
<Step ST15>
When the attention function detection unit 301 detects a decline in the driver's attention function and the autonomic nerve detection unit 302 detects the dominance of the driver's parasympathetic nerves, the vehicle control unit 35 determines that the driver is in a state of decreased arousal. It is determined that Then, the vehicle control unit 35 performs an operation according to the decrease in driver's alertness.

なお、運転者の覚醒低下に応じた動作の例としては、運転者が覚醒低下の状態であることを示す覚醒低下情報を出力する動作、運転者の覚醒低下を解消するための動作などが挙げられる。覚醒低下情報を出力する動作の例としては、覚醒低下情報を通知部40に出力することで運転者が覚醒低下の状態であることを通知する動作が挙げられる。運転者の覚醒低下を解消するための動作の例としては、運転者を覚醒させるための音声情報をスピーカ42に出力することで運転者を覚醒させるための音声を出力する動作、休憩をとることを運転者に促すための情報を通知部40に出力することで休憩をとることを運転者に促す動作などが挙げられる。 Examples of actions in response to the driver's reduced arousal include actions that output reduced arousal information indicating that the driver is in a state of reduced arousal, and actions to resolve the driver's reduced arousal. It will be done. An example of the operation of outputting the reduced arousal information is an operation of outputting the reduced arousal information to the notification unit 40 to notify that the driver is in a state of reduced arousal. Examples of actions for resolving the driver's decline in alertness include outputting audio information to wake the driver to the speaker 42 to wake the driver, and taking a break. For example, the driver may be prompted to take a break by outputting information to the notification unit 40 to prompt the driver to take a break.

〈ステップST16〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の交感神経の優位が検出され、眼球運動検出部303により運転者の受動的な眼球運動が検出された場合、車両制御部35は、運転者が漫然状態であると判定する。そして、車両制御部35は、運転者の漫然状態に応じた動作を行う。
<Step ST16>
The attention function detection unit 301 detects a decline in the driver's attention function, the autonomic nerve detection unit 302 detects the dominance of the driver's sympathetic nerves, and the eye movement detection unit 303 detects the driver's passive eye movements. In this case, the vehicle control unit 35 determines that the driver is distracted. Then, the vehicle control unit 35 performs an operation depending on the driver's absentmindedness.

なお、運転者の漫然状態に応じた動作の例としては、運転者が漫然状態であることを示す漫然状態情報を出力する動作、運転者の漫然状態を解消するための動作などが挙げられる。漫然状態情報を出力する動作の例としては、漫然状態情報を通知部40に出力することで運転者の漫然状態を通知する動作が挙げられる。運転者の漫然状態を解消するための動作の例としては、車両の運転に集中すること運転者に促すための情報を通知部40に出力することで車両の運転に集中すること運転者に促す動作、休憩をとることを運転者に促すための情報を通知部40に出力することで休憩をとることを運転者に促す動作などが挙げられる。 Note that examples of actions according to the driver's distracted state include an action to output distracted state information indicating that the driver is distracted, an action to relieve the driver's distracted state, and the like. An example of the operation of outputting the absentminded state information is an operation of notifying the driver of the absentminded state by outputting the absentminded state information to the notification unit 40. An example of an operation for eliminating the driver's distracted state is to output information to the notification unit 40 to urge the driver to concentrate on driving the vehicle, thereby urging the driver to concentrate on driving the vehicle. Examples include actions that prompt the driver to take a break by outputting information to the notification unit 40 to prompt the driver to take a break.

〈ステップST17〉
注意機能検出部301により運転者の注意機能低下が検出されない場合、車両制御部35は、運転者が正常な状態であると判定する。そして、車両制御部35は、運転者の正常に応じた動作を継続する。
<Step ST17>
If the attention function detection unit 301 does not detect a decline in the driver's attention function, the vehicle control unit 35 determines that the driver is in a normal state. Then, the vehicle control unit 35 continues to operate in accordance with the normal behavior of the driver.

なお、運転者の正常に応じた動作の例としては、運転者が正常な状態であることを示す情報を出力する動作、走行制御を継続する動作などが挙げられる。 Note that examples of actions depending on the driver's normal state include an action to output information indicating that the driver is in a normal state, an action to continue driving control, and the like.

〔実施形態の効果〕
以上のように、注意機能検出部301による検出結果と、自律神経検出部302による検出結果と、眼球運動検出部303による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うことにより、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。
[Effects of embodiment]
As described above, based on the detection results by the attention function detection unit 301, the detection results by the autonomic nerve detection unit 302, and the detection results by the eye movement detection unit 303, actions are performed according to the type of abnormality of the driver. By doing so, it is possible to perform an operation more appropriately depending on the type of abnormality of the driver than when the operation is performed based only on the state of the driver's attention function.

具体的には、運転者の注意機能低下と、運転者の副交感神経の優位とが検出された場合(すなわち運転者が覚醒低下の状態にあるとみなせる場合)に、運転者の覚醒低下に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 Specifically, if a decline in the driver's attention function and a predominance of the driver's parasympathetic nervous system are detected (i.e., when the driver can be considered to be in a state of reduced arousal), the system will respond to the driver's reduced arousal. can perform various movements. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and the driver's active eye movements are detected (in other words, if the driver can be considered to be in a state of abnormal physical condition), the driver's The patient can perform actions according to his or her physical condition. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and a driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), the driver's distracted state is detected. It is possible to perform actions according to the state.

また、運転者の注意機能の状態と、運転者の自律神経の状態と、運転者の眼球運動の状態とに基づいて、運転者の異常の種類を判定することにより、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。 Furthermore, by determining the type of driver's abnormality based on the state of the driver's attention function, the state of the driver's autonomic nerves, and the state of the driver's eye movements, the driver's attention function can be improved. The type of abnormality of the driver can be determined more appropriately than when determining the abnormality of the driver based only on the state.

また、車両の外部環境におけるサリエンシーの分布と車両の運転者の視線移動とに基づいて、運転者の注意機能の状態を検出することにより、車両の外部環境のうち高サリエンシー領域(サリエンシーが比較的に高い領域)に運転者の視線が誘引される傾向の強さに基づいて、運転者の注意機能の状態を適切に検出することができる。 In addition, by detecting the state of the driver's attention function based on the distribution of salience in the vehicle's external environment and the vehicle driver's line of sight movement, the system detects the state of the driver's attention function based on the distribution of salience in the vehicle's external environment and the driver's line of sight. The state of the driver's attention function can be appropriately detected based on the strength of the tendency for the driver's line of sight to be attracted to the area (areas where the driver's attention is high).

(車両制御部の動作の変形例)
図11に示すように、車両制御部35は、注意機能検出部301による検出結果と、眼球運動検出部303による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うように構成されてもよい。言い換えると、自律神経検出部302が省略されてもよい。
(Variation example of operation of vehicle control unit)
As shown in FIG. 11, the vehicle control unit 35 performs an operation according to the type of abnormality of the driver based on the detection result by the attention function detection unit 301 and the detection result by the eye movement detection unit 303. may be configured. In other words, the autonomic nerve detection unit 302 may be omitted.

図11の例では、注意機能検出部301により運転者の注意機能低下が検出され、眼球運動検出部303により運転者の能動的な眼球運動が検出された場合に、ステップST14の処理が行われる。ステップST14では、車両制御部35は、運転者が体調異常の状態であると判定し、運転者の体調異常に応じた動作を行う。 In the example of FIG. 11, when the attention function detection unit 301 detects a decline in the driver's attention function and the eye movement detection unit 303 detects the driver's active eye movements, the process of step ST14 is performed. . In step ST14, the vehicle control unit 35 determines that the driver is in a state of abnormal physical condition, and performs an operation according to the abnormal physical condition of the driver.

また、図11の例では、注意機能検出部301により運転者の注意機能低下が検出され、眼球運動検出部303により運転者の能動的な眼球運動が検出された場合に、ステップST16の処理が行われる。ステップST16では、車両制御部35は、運転者が漫然状態であると判定し、運転者の漫然異常に応じた動作を行う。 Further, in the example of FIG. 11, when the attention function detection unit 301 detects a decline in the driver's attention function and the eye movement detection unit 303 detects the driver's active eye movements, the process of step ST16 is performed. It will be done. In step ST16, the vehicle control unit 35 determines that the driver is in a distracted state, and performs an operation corresponding to the driver's absentmindedness.

以上のように、注意機能検出部301による検出結果と、眼球運動検出部303による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うことにより、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。 As described above, the state of the driver's attention function is determined by performing an operation according to the type of abnormality of the driver based on the detection result by the attention function detection unit 301 and the detection result by the eye movement detection unit 303. It is possible to perform an operation more appropriately depending on the type of abnormality of the driver than when the operation is performed based only on the driver's abnormality.

具体的には、運転者の注意機能低下と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 Specifically, when a decline in the driver's attention function and the driver's active eye movements are detected (in other words, when the driver can be considered to be in a state of abnormal physical condition), the driver's physical condition is detected to be abnormal. You can perform actions accordingly. When a decline in the driver's attention function and the driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), it is possible to perform actions according to the driver's distracted state. can.

また、運転者の注意機能の状態と、運転者の眼球運動の状態とに基づいて、運転者の異常の種類を判定することにより、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。 In addition, by determining the type of driver's abnormality based on the state of the driver's attention function and the state of the driver's eye movements, the driver's abnormality can be determined based only on the state of the driver's attention function. The type of abnormality of the driver can be determined more appropriately than when determining the driver's abnormality.

(その他の実施形態)
以上の説明において、基準AUC値などの基準値の設定は、実験などに基づいて行うことが可能である。また、基準発汗量などの基準量の設定は、実験などに基づいて行うことが可能である。
(Other embodiments)
In the above description, reference values such as the reference AUC value can be set based on experiments and the like. Further, the setting of a reference amount such as the reference amount of perspiration can be performed based on experiments or the like.

また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、ここに開示する技術、その適用物、あるいはその用途の範囲を制限することを意図するものではない。 Furthermore, the above embodiments may be combined as appropriate. The above embodiments are essentially preferred examples and are not intended to limit the scope of the technology disclosed herein, its applications, or its uses.

以上説明したように、ここに開示する技術は、車両制御装置として有用である。 As explained above, the technology disclosed herein is useful as a vehicle control device.

10 車両制御システム
11 アクチュエータ
20 情報取得部
21 カメラ
22 レーダ
23 位置センサ
24 外部入力部
25 車両状態センサ
26 運転操作センサ
27 運転者状態センサ
28 車内カメラ
29 生体情報センサ
30 車両制御装置
31 車両挙動認識部
32 運転操作認識部
33 外部環境認識部
34 運転者挙動認識部
35 車両制御部
40 通知部
41 表示部
42 スピーカ
50 ヘッドアップディスプレイ
300 運転者状態検出部
301 注意機能検出部
302 自律神経検出部
303 眼球運動検出部
311 サリエンシーマップ生成部
312 視線検出部
313 演算部
10 Vehicle control system 11 Actuator 20 Information acquisition section 21 Camera 22 Radar 23 Position sensor 24 External input section 25 Vehicle condition sensor 26 Driving operation sensor 27 Driver condition sensor 28 In-vehicle camera 29 Biological information sensor 30 Vehicle control device 31 Vehicle behavior recognition section 32 Driving operation recognition section 33 External environment recognition section 34 Driver behavior recognition section 35 Vehicle control section 40 Notification section 41 Display section 42 Speaker 50 Head-up display 300 Driver state detection section 301 Attention function detection section 302 Autonomic nerve detection section 303 Eyeball Movement detection unit 311 Salience map generation unit 312 Line of sight detection unit 313 Calculation unit

Claims (7)

車両に設けられる車両制御装置であって、
前記車両の運転者の注意機能の状態を検出する注意機能検出部と、
前記運転者の眼球運動の状態を検出する眼球運動検出部と、
前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備え
前記眼球運動検出部は、前記運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の視線移動の前後における瞳孔径の変化量が前記基準変化量を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
前記車両制御部は、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う
ことを特徴とする車両制御装置。
A vehicle control device installed in a vehicle,
an attention function detection unit that detects the state of the attention function of the driver of the vehicle;
an eye movement detection unit that detects the state of eye movement of the driver;
a vehicle control unit that performs an operation according to the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result by the attention function detection unit and the detection result by the eye movement detection unit. ,
The eye movement detection unit detects that the eye movement of the driver is active when the amount of change in pupil diameter before and after the driver's line of sight movement exceeds a predetermined reference amount of change, and detecting that the driver's eye movement is passive when the amount of change in pupil diameter before and after the driver's line of sight movement does not exceed the reference amount of change;
The vehicle control unit includes:
When the attention function detecting section detects a decline in the driver's attention function and the eye movement detecting section detects active eye movements of the driver, an operation according to the physical condition abnormality of the driver is performed. conduct,
When the attention function detection unit detects a decline in the driver's attention function and the eye movement detection unit detects a passive eye movement of the driver, perform an action according to the driver's absentmindedness. conduct
A vehicle control device characterized by:
車両に設けられる車両制御装置であって、 A vehicle control device installed in a vehicle,
前記車両の運転者の注意機能の状態を検出する注意機能検出部と、 an attention function detection unit that detects the state of the attention function of the driver of the vehicle;
前記運転者の眼球運動の状態を検出する眼球運動検出部と、 an eye movement detection unit that detects the state of eye movement of the driver;
前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備え、 a vehicle control unit that performs an operation according to the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result by the attention function detection unit and the detection result by the eye movement detection unit. ,
前記眼球運動検出部は、前記運転者の輻輳角と予め定められた基準輻輳角との差が予め定められた基準差を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の輻輳角と前記基準輻輳角との差が前記基準差を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、 The eye movement detection unit detects that the driver's eye movements are active when the difference between the driver's convergence angle and a predetermined reference convergence angle exceeds a predetermined reference difference. , detecting that the driver's eye movement is passive if the difference between the driver's convergence angle and the reference convergence angle does not exceed the reference difference;
前記車両制御部は、 The vehicle control unit includes:
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、 When the attention function detecting section detects a decline in the driver's attention function and the eye movement detecting section detects active eye movements of the driver, an operation according to the physical condition abnormality of the driver is performed. conduct,
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う When the attention function detection unit detects a decline in the driver's attention function and the eye movement detection unit detects a passive eye movement of the driver, perform an action according to the driver's absentmindedness. conduct
ことを特徴とする車両制御装置。A vehicle control device characterized by:
請求項1または2において、
前記運転者の自律神経の状態を検出する自律神経検出部を備え、
前記運転者の異常の種類は、前記体調異常と、前記漫然状態と、覚醒低下とを含み、
前記車両制御部は、前記注意機能検出部による検出結果と、前記自律神経検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、前記運転者の異常の種類に応じた動作を行う
ことを特徴とする車両制御装置。
In claim 1 or 2,
comprising an autonomic nerve detection unit that detects the state of the autonomic nerve of the driver,
The type of abnormality of the driver includes the physical condition abnormality, the absentminded state, and decreased alertness,
The vehicle control unit operates according to the type of abnormality of the driver based on the detection result by the attention function detection unit, the detection result by the autonomic nerve detection unit, and the detection result by the eye movement detection unit. A vehicle control device characterized by performing the following.
請求項3において、
前記車両制御部は、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の副交感神経の優位が検出された場合に、前記運転者の覚醒低下に応じた動作を行い、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う
ことを特徴とする車両制御装置。
In claim 3,
The vehicle control unit includes:
When the attention function detection section detects a decrease in the driver's attention function, and the autonomic nerve detection section detects the predominance of the driver's parasympathetic nerves, performing an action according to the driver's decrease in arousal. ,
The attention function detection unit detects a decline in the driver's attention function, the autonomic nerve detection unit detects the dominance of the driver's sympathetic nerves, and the eye movement detection unit detects the driver's active eye movement. is detected, performs an action according to the physical condition of the driver,
The attention function detection section detects a decline in the driver's attention function, the autonomic nerve detection section detects the dominance of the driver's sympathetic nerves, and the eye movement detection section detects the driver's passive eye movement. A vehicle control device that performs an operation according to the driver's absentmindedness when the vehicle is detected.
請求項1~4のいずれか1つにおいて、
前記注意機能検出部は、前記車両の外部環境におけるサリエンシーの分布と前記運転者の視線移動とに基づいて、前記運転者の注意機能の状態を検出する
ことを特徴とする車両制御装置。
In any one of claims 1 to 4,
The vehicle control device is characterized in that the attention function detection unit detects a state of the driver's attention function based on a distribution of salience in the external environment of the vehicle and a line of sight movement of the driver.
コンピュータにより運転者の状態を判定する運転者状態判定方法であって、
前記運転者の注意機能の状態を検出する注意機能検出ステップと、
前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、
前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備え
前記眼球運動検出ステップでは、前記運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の視線移動の前後における瞳孔径の変化量が前記基準変化量を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
前記判定ステップでは、
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の能動的な眼球運動が検出された場合に、前記運転者が体調異常の状態であると判定し、
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の受動的な眼球運動が検出された場合に、前記運転者が漫然状態であると判定する
ことを特徴とする運転者状態判定方法。
A method for determining a driver's condition using a computer , the method comprising:
an attention function detection step of detecting the state of the driver's attention function;
an eye movement detection step of detecting the state of eye movement of the driver;
a determination step of determining the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result of the attention function detection step and the detection result of the eye movement detection step ;
In the eye movement detection step, if the amount of change in pupil diameter before and after the driver's line of sight movement exceeds a predetermined reference amount of change, the eye movement of the driver is detected to be active; detecting that the driver's eye movement is passive when the amount of change in pupil diameter before and after the driver's line of sight movement does not exceed the reference amount of change;
In the determination step,
If a decline in the driver's attention function is detected in the attention function detection step and an active eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a state of abnormal physical condition. judge,
If a decline in the driver's attention function is detected in the attention function detection step and a passive eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a distracted state.
A driver condition determination method characterized by:
コンピュータにより運転者の状態を判定する運転者状態判定方法であって、 A method for determining a driver's condition using a computer, the method comprising:
前記運転者の注意機能の状態を検出する注意機能検出ステップと、 an attention function detection step of detecting the state of the driver's attention function;
前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、 an eye movement detection step of detecting the state of eye movement of the driver;
前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備え、 a determination step of determining the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result of the attention function detection step and the detection result of the eye movement detection step;
前記眼球運動検出ステップでは、前記運転者の輻輳角と予め定められた基準輻輳角との差が予め定められた基準差を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の輻輳角と前記基準輻輳角との差が前記基準差を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、 In the eye movement detection step, if the difference between the convergence angle of the driver and a predetermined reference convergence angle exceeds a predetermined reference difference, the eye movement of the driver is detected to be active. , detecting that the driver's eye movement is passive if the difference between the driver's convergence angle and the reference convergence angle does not exceed the reference difference;
前記判定ステップでは、 In the determination step,
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の能動的な眼球運動が検出された場合に、前記運転者が体調異常の状態であると判定し、 If a decline in the driver's attention function is detected in the attention function detection step and an active eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a state of abnormal physical condition. judge,
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の受動的な眼球運動が検出された場合に、前記運転者が漫然状態であると判定する If a decline in the driver's attention function is detected in the attention function detection step and a passive eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a distracted state.
ことを特徴とする運転者状態判定方法。A driver condition determination method characterized by:
JP2019203766A 2019-11-11 2019-11-11 Vehicle control device and driver condition determination method Active JP7342637B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019203766A JP7342637B2 (en) 2019-11-11 2019-11-11 Vehicle control device and driver condition determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019203766A JP7342637B2 (en) 2019-11-11 2019-11-11 Vehicle control device and driver condition determination method

Publications (2)

Publication Number Publication Date
JP2021077135A JP2021077135A (en) 2021-05-20
JP7342637B2 true JP7342637B2 (en) 2023-09-12

Family

ID=75899157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019203766A Active JP7342637B2 (en) 2019-11-11 2019-11-11 Vehicle control device and driver condition determination method

Country Status (1)

Country Link
JP (1) JP7342637B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331728B2 (en) * 2020-02-19 2023-08-23 マツダ株式会社 Driver state estimation device
JP7331729B2 (en) * 2020-02-19 2023-08-23 マツダ株式会社 Driver state estimation device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195405A1 (en) 2016-05-11 2017-11-16 ソニー株式会社 Image processing apparatus, image processing method, and mobile body
JP2018127112A (en) 2017-02-08 2018-08-16 パナソニックIpマネジメント株式会社 Arousal level estimation device and arousal level estimation method
JP2019093175A (en) 2019-02-05 2019-06-20 パイオニア株式会社 Drowsiness calculation device
JP2019105886A (en) 2017-12-08 2019-06-27 株式会社デンソーテン Driving support device, driving support system, and driving support method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195405A1 (en) 2016-05-11 2017-11-16 ソニー株式会社 Image processing apparatus, image processing method, and mobile body
JP2018127112A (en) 2017-02-08 2018-08-16 パナソニックIpマネジメント株式会社 Arousal level estimation device and arousal level estimation method
JP2019105886A (en) 2017-12-08 2019-06-27 株式会社デンソーテン Driving support device, driving support system, and driving support method
JP2019093175A (en) 2019-02-05 2019-06-20 パイオニア株式会社 Drowsiness calculation device

Also Published As

Publication number Publication date
JP2021077135A (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP7226479B2 (en) Image processing device, image processing method, and moving object
JP7459634B2 (en) Driver Abnormality Judgment System
JP7560486B2 (en) Information processing device, information processing system, information processing method, and information processing program
JP7342638B2 (en) Driver status detection device
WO2020145161A1 (en) Information processing device, mobile device, method, and program
JP2019195377A (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
JP7459633B2 (en) Driver abnormality determination device
US20220118985A1 (en) Cognitive tunneling mitigation device for driving
CN113276821B (en) Driver state estimating device
JP7342637B2 (en) Vehicle control device and driver condition determination method
JP7342636B2 (en) Vehicle control device and driver condition determination method
CN113276822B (en) Driver state estimating device
US20240051585A1 (en) Information processing apparatus, information processing method, and information processing program
JP7415459B2 (en) Vehicle control device and driver condition determination method
JP7415460B2 (en) Vehicle control device and driver condition determination method
JP2021167163A (en) Driver abnormality determination device
JP7318560B2 (en) state estimator
JP2023022409A (en) Driver state determination method and driver state determination system
KR20240160803A (en) Method and apparatus for providing digital side mirror 3d image
JP2023035244A (en) vehicle warning system
JP2021133755A (en) State presumption device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R150 Certificate of patent or registration of utility model

Ref document number: 7342637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150