JP7342637B2 - Vehicle control device and driver condition determination method - Google Patents
Vehicle control device and driver condition determination method Download PDFInfo
- Publication number
- JP7342637B2 JP7342637B2 JP2019203766A JP2019203766A JP7342637B2 JP 7342637 B2 JP7342637 B2 JP 7342637B2 JP 2019203766 A JP2019203766 A JP 2019203766A JP 2019203766 A JP2019203766 A JP 2019203766A JP 7342637 B2 JP7342637 B2 JP 7342637B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- eye movement
- attention function
- vehicle
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
ここに開示する技術は、車両制御装置および運転者状態判定方法に関する。 The technology disclosed herein relates to a vehicle control device and a driver state determination method.
特許文献1には、運転者の状態を判定する運転者状態判定装置が開示されている。この運転者状態判定装置は、運転者の視線方向を検出する視線検出手段と、この視線検出手段の検出結果より予め定められた時間内の視線方向の頻度分布を視線頻度分布として計算する視線頻度分布計算手段と、視線頻度分布のパタ-ンを識別することにより運転者の心理的または生理的状態を判断する運転者状態判断手段を備える。 Patent Document 1 discloses a driver condition determination device that determines the condition of a driver. This driver condition determination device includes a line-of-sight detection means for detecting the driver's line-of-sight direction, and a line-of-sight frequency that calculates the frequency distribution of the line-of-sight direction within a predetermined time as a line-of-sight frequency distribution from the detection result of the line-of-sight detection means. The vehicle includes a distribution calculating means and a driver state determining means for determining the psychological or physiological state of the driver by identifying the pattern of the gaze frequency distribution.
しかしながら、特許文献1のように視線頻度分布のパタ-ンを識別することにより運転者の心理的または生理的状態を判断するだけでは、運転者の異常の種類を詳細に区別することができないので、運転者の異常の種類に応じた動作を適切に行うことができない。 However, simply determining the driver's psychological or physiological state by identifying the pattern of gaze frequency distribution as in Patent Document 1 does not allow detailed differentiation of the types of driver abnormalities. , the driver is unable to perform appropriate actions depending on the type of abnormality.
ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、運転者の異常の種類に応じた動作を適切に行うことにある。 The technology disclosed herein has been developed in view of this point, and its purpose is to appropriately perform operations according to the type of abnormality of the driver.
ここに開示する技術は、車両に設けられる車両制御装置に関し、この車両制御装置は、前記車両の運転者の注意機能の状態を検出する注意機能検出部と、前記運転者の眼球運動の状態を検出する眼球運動検出部と、前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備える。 The technology disclosed herein relates to a vehicle control device installed in a vehicle, and the vehicle control device includes an attention function detection section that detects the state of the attention function of the driver of the vehicle, and a state of the eye movement of the driver. Based on the eye movement detection unit to detect, the detection result by the attention function detection unit, and the detection result by the eye movement detection unit, an operation according to the type of abnormality of the driver, including physical abnormality and absentmindedness. and a vehicle control section that performs the following.
前記の構成では、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。 With the above configuration, the operation can be performed more appropriately depending on the type of abnormality of the driver than when the operation is performed based only on the state of the driver's attention function.
前記車両制御装置において、前記車両制御部は、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行うように構成されてもよい。 In the vehicle control device, the vehicle control unit may be configured to perform a control function when the attention function detection unit detects a decline in the driver's attention function and the eye movement detection unit detects an active eye movement of the driver. , the driver's physical condition is abnormal, the driver's attention function detection unit detects a decrease in the driver's attention function, and the eye movement detection unit detects passive eye movement of the driver. In some cases, the vehicle may be configured to perform an operation depending on the driver's absentmindedness.
前記の構成では、運転者の注意機能低下と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 In the above configuration, when a decrease in the driver's attention function and the driver's active eye movements are detected (that is, when the driver can be considered to be in a state of abnormal physical condition), the driver's physical condition is detected as being abnormal. You can perform actions accordingly. When a decline in the driver's attention function and the driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), it is possible to perform actions according to the driver's distracted state. can.
前記車両制御装置は、前記運転者の自律神経の状態を検出する自律神経検出部を備えてもよい。前記運転者の異常の種類は、前記体調異常と、前記漫然状態と、覚醒低下とを含んでもよい。前記車両制御部は、前記注意機能検出部による検出結果と、前記自律神経検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、前記運転者の異常の種類に応じた動作を行うように構成されてもよい。 The vehicle control device may include an autonomic nerve detection section that detects the state of the autonomic nerve of the driver. The type of abnormality of the driver may include the abnormal physical condition, the absentminded state, and decreased alertness. The vehicle control unit operates according to the type of abnormality of the driver based on the detection result by the attention function detection unit, the detection result by the autonomic nerve detection unit, and the detection result by the eye movement detection unit. It may be configured to perform.
前記の構成では、運転者の注意機能の状態と運転者の眼球運動の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。 With the above configuration, the operation can be performed more appropriately depending on the type of abnormality of the driver than when the operation is performed based only on the state of the driver's attention function and the state of the driver's eye movement.
前記車両制御装置において、前記車両制御部は、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の副交感神経の優位が検出された場合に、前記運転者の覚醒低下に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行うように構成されてもよい。 In the vehicle control device, when the attention function detection unit detects a decline in the driver's attention function and the autonomic nerve detection unit detects that the driver's parasympathetic nerves are dominant, the vehicle control unit may perform the following operations: The driver performs an operation according to the driver's decreased arousal, the attention function detection section detects the driver's decrease in the attention function, the autonomic nerve detection section detects the dominance of the driver's sympathetic nerves, and the eyeball When the active eye movement of the driver is detected by the motion detection unit, an action is performed according to the abnormal physical condition of the driver, and the attention function detection unit detects a decline in the attention function of the driver, When the autonomic nerve detection unit detects the dominance of the driver's sympathetic nerves and the eye movement detection unit detects the driver's passive eye movements, the driver performs an action according to the driver's absentminded state. It may be configured to perform.
前記の構成では、運転者の注意機能低下と、運転者の副交感神経の優位とが検出された場合(すなわち運転者が覚醒低下の状態にあるとみなせる場合)に、運転者の覚醒低下に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 In the above configuration, when a decrease in the driver's attention function and a predominance of the driver's parasympathetic nervous system are detected (that is, when the driver can be considered to be in a state of decreased arousal), the system responds to the decrease in the driver's arousal. can perform various movements. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and the driver's active eye movements are detected (in other words, if the driver can be considered to be in a state of abnormal physical condition), the driver's The patient can perform actions according to his or her physical condition. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and a driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), the driver's distracted state is detected. It is possible to perform actions according to the state.
前記車両制御装置において、前記注意機能検出部は、前記車両の外部環境におけるサリエンシーの分布と前記運転者の視線移動とに基づいて、前記運転者の注意機能の状態を検出するように構成されてもよい。 In the vehicle control device, the attention function detection unit is configured to detect a state of the driver's attention function based on a distribution of salience in an external environment of the vehicle and a line of sight movement of the driver. Good too.
前記の構成では、車両の外部環境のうち高サリエンシー領域(サリエンシーが比較的に高い領域)に運転者の視線が誘引される傾向の強さに基づいて、運転者の注意機能の状態を適切に検出することができる。 In the above configuration, the state of the driver's attention function is appropriately determined based on the strength of the tendency for the driver's gaze to be attracted to a high salience region (region with relatively high salience) in the external environment of the vehicle. can be detected.
また、ここに開示する技術は、運転者の状態を判定する運転者状態判定方法に関し、この運転者状態判定方法は、前記運転者の注意機能の状態を検出する注意機能検出ステップと、前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備える。 Further, the technology disclosed herein relates to a driver condition determination method for determining the condition of a driver, and this driver condition determination method includes an attention function detection step of detecting the state of the driver's attention function; An eye movement detection step for detecting the state of the driver's eye movements, a detection result from the attention function detection step, and a detection result from the eye movement detection step, the driver's condition including abnormal physical condition and absentmindedness is detected. and a determination step of determining the type of abnormality.
前記の方法では、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。 With the above method, the type of driver's abnormality can be determined more appropriately than when determining the driver's abnormality based only on the state of the driver's attention function.
ここに開示する技術によれば、運転者の異常の種類に応じた動作を適切に行うことができる。 According to the technology disclosed herein, it is possible to appropriately perform an operation according to the type of abnormality of the driver.
以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。 Hereinafter, embodiments will be described in detail with reference to the drawings. It should be noted that the same or corresponding parts in the figures are given the same reference numerals, and the description thereof will not be repeated.
(車両制御システム)
図1は、実施形態による車両制御システム10の構成を例示する。車両制御システム10は、車両(具体的には自動四輪車)に設けられる。車両は、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作(例えばアクセルの操作など)に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム10は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム10は、車両に設けられたアクチュエータ11を制御することで車両の動作(特に走行)を制御する。
(vehicle control system)
FIG. 1 illustrates the configuration of a
車両制御システム10は、情報取得部20と、車両制御装置30と、通知部40と、ヘッドアップディスプレイ50とを備える。なお、以下の説明では、車両制御システム10が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。
The
〔アクチュエータ〕
アクチュエータ11は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、モータ、トランスミッションが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。
[Actuator]
The actuator 11 includes a drive system actuator, a steering system actuator, a brake system actuator, and the like. Examples of drive system actuators include engines, motors, and transmissions. An example of a steering system actuator is a steering wheel. An example of a brake system actuator is a brake.
〔情報取得部〕
情報取得部20は、車両の制御(特に走行制御)に用いられる各種情報を取得する。この例では、情報取得部20は、複数のカメラ21と、複数のレーダ22と、位置センサ23と、外部入力部24と、車両状態センサ25と、運転操作センサ26と、運転者状態センサ27とを含む。
[Information acquisition department]
The
〈カメラ〉
複数のカメラ21は、互いに同様の構成を有する。複数のカメラ21は、車両の周囲を囲うように車両に設けられる。複数のカメラ21の各々は、車両の周囲に広がる環境(車両の外部環境)の一部を撮像することで、車両の外部環境の一部を示す画像データを取得する。複数のカメラ21の各々により得られた画像データは、車両制御装置30に送信される。
<camera>
The plurality of
この例では、カメラ21は、広角レンズを有する単眼カメラである。例えば、カメラ21は、CCD(Charge Coupled Device)やCMOS(Complementary metal-oxide-semiconductor)などの固体撮像素子を用いて構成される。なお、カメラ21は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。
In this example,
〈レーダ〉
複数のレーダ22は、互いに同様の構成を有する。複数のレーダ22は、車両の周囲を囲うように車両に設けられる。複数のレーダ22の各々は、車両の外部環境の一部を検出する。具体的には、レーダ22は、車両の外部環境の一部へ向けて電波を送信して車両の外部環境の一部からの反射波を受信することで、車両の外部環境の一部を検出する。複数のレーダ22の検出結果は、車両制御装置30に送信される。
<Radar>
The plurality of
例えば、レーダ22は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ(Light Detection and Ranging)であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。
For example, the
〈位置センサ〉
位置センサ23は、車両の位置(例えば緯度および経度)を検出する。例えば、位置センサ23は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて車両の位置を検出する。位置センサ23により得られた情報(車両の位置)は、車両制御装置30に送信される。
<Position sensor>
The
〈外部入力部〉
外部入力部24は、車両の外部に設けられた車外ネットワーク(例えばインターネットなど)を通じて情報を入力する。例えば、外部入力部24は、車両の周囲に位置する他車両(図示省略)からの通信情報、ナビゲーションシステム(図示省略)からのカーナビゲーションデータ、交通情報、高精度地図情報などを受信する。外部入力部24により得られた情報は、車両制御装置30に送信される。
<External input section>
The external input unit 24 inputs information through an external network (for example, the Internet) provided outside the vehicle. For example, the external input unit 24 receives communication information from other vehicles (not shown) located around the vehicle, car navigation data from a navigation system (not shown), traffic information, high-precision map information, and the like. Information obtained by the external input section 24 is transmitted to the
〈車両状態センサ〉
車両状態センサ25は、車両の状態(例えば速度や加速度やヨーレートなど)を検出する。例えば、車両状態センサ25は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ25により得られた情報(車両の状態)は、車両制御装置30に送信される。
<Vehicle condition sensor>
The vehicle condition sensor 25 detects the condition of the vehicle (for example, speed, acceleration, yaw rate, etc.). For example, the vehicle condition sensor 25 includes a vehicle speed sensor that detects the speed of the vehicle, an acceleration sensor that detects the acceleration of the vehicle, a yaw rate sensor that detects the yaw rate of the vehicle, and the like. Information (vehicle status) obtained by the vehicle status sensor 25 is transmitted to the
〈運転操作センサ〉
運転操作センサ26は、車両に加えられる運転操作を検出する。例えば、運転操作センサ26は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ26により得られた情報(車両の運転操作)は、車両制御装置30に送信される。
<Driving operation sensor>
The driving operation sensor 26 detects a driving operation applied to the vehicle. For example, the driving operation sensor 26 includes an accelerator opening sensor, a steering angle sensor, a brake oil pressure sensor, and the like. The accelerator opening sensor detects the amount of operation of the accelerator of the vehicle. The steering angle sensor detects the steering angle of the steering wheel of the vehicle. The brake oil pressure sensor detects the amount of brake operation of the vehicle. Information (vehicle driving operation) obtained by the driving operation sensor 26 is transmitted to the
〈運転者状態センサ〉
運転者状態センサ27は、車両を運転する運転者の状態(例えば運転者の健康状態や感情や身体挙動など)を検出する。運転者状態センサ27により得られた情報(運転者の状態)は、車両制御装置30に送信される。この例では、運転者状態センサ27は、車内カメラ28と、生体情報センサ29とを含む。
<Driver status sensor>
The
《車内カメラ》
車内カメラ28は、車両の内部に設けられる。車内カメラ28は、運転者の眼球を含む領域を撮像することで運転者の眼球を含む画像データを取得する。車内カメラ28により得られた画像データは、車両制御装置30に送信される。例えば、車内カメラ28は、運転者の前方に配置され、運転者の眼球が撮像範囲内となるように撮像範囲が設定される。なお、車内カメラ28は、運転者に装着されるゴーグル(図示を省略)に設けられてもよい。
《In-vehicle camera》
The in-
《生体情報センサ》
生体情報センサ29は、車両の内部に設けられる。生体情報センサ29は、運転者の生体情報を検出する。なお、運転者の生体情報の例としては、発汗、心拍などが挙げられる。生体情報センサ29により得られた情報(運転者の生体情報)は、車両制御装置30に送信される。例えば、生体情報センサ29は、運転者の発汗を検出する発汗センサであってもよいし、運転者の心拍を検出する心拍センサであってもよい。また、生体情報センサ29は、運転者の手と接触する箇所(例えば後述するステアリングホイール76)に配置されてもよいし、運転者の身体に装着される部材(図示省略)に設けられてもよい。
《Biological information sensor》
The
〔車両制御装置〕
車両制御装置30は、アクチュエータ11および車両制御システム10の各部(この例では情報取得部20と通知部40とヘッドアップディスプレイ50など)と電気的に接続される。そして、車両制御装置30は、車両制御システム10の各部により得られた情報に基づいてアクチュエータ11および車両制御システム10の各部を制御する。
[Vehicle control device]
The
例えば、車両制御装置30は、アシスト運転または自動運転において、情報取得部20により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置30は、車両の運動が目標運動となるように、アクチュエータ11の動作を制御する。
For example, in assisted driving or automatic driving, the
車両制御装置30は、例えば、1つまたは複数の電子制御ユニット(ECU)により構成される。電子制御ユニットは、単一のIC(Integrated Circuit)により構成されてもよいし、複数のICにより構成されてもよい。また、IC内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、CPU(プロセッサ)と、CPUを動作させるためのプログラムやCPUでの処理結果などの情報を記憶するメモリとにより構成されてもよい。
この例では、車両制御装置30は、車両挙動認識部31と、運転操作認識部32と、外部環境認識部33と、運転者挙動認識部34と、車両制御部35とを有する。
In this example, the
〈車両挙動認識部〉
車両挙動認識部31は、車両状態センサ25の出力に基づいて車両の挙動(例えば速度や加速度やヨーレートなど)を認識する。例えば、車両挙動認識部31は、深層学習により生成された学習モデルを用いて、車両状態センサ25の出力から車両の挙動を示すデータを生成する。
<Vehicle behavior recognition unit>
The vehicle behavior recognition unit 31 recognizes vehicle behavior (for example, speed, acceleration, yaw rate, etc.) based on the output of the vehicle state sensor 25. For example, the vehicle behavior recognition unit 31 generates data indicating the behavior of the vehicle from the output of the vehicle state sensor 25 using a learning model generated by deep learning.
〈運転操作認識部〉
運転操作認識部32は、運転操作センサ26の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部32は、深層学習により生成された学習モデルを用いて、運転操作センサ26の出力から車両に加えられる運転操作を示すデータを生成する。
<Driving operation recognition unit>
The driving operation recognition unit 32 recognizes the driving operation applied to the vehicle based on the output of the driving operation sensor 26. For example, the driving operation recognition unit 32 generates data indicating a driving operation applied to the vehicle from the output of the driving operation sensor 26 using a learning model generated by deep learning.
〈外部環境認識部〉
外部環境認識部33は、複数のカメラ21の出力と、複数のレーダ22の出力と、位置センサ23の出力と、外部入力部24の出力と、車両挙動認識部31の出力に基づいて、車両の外部環境を認識する。例えば、外部環境認識部33は、深層学習により生成された学習モデルを用いて、上記の出力から車両の外部環境を示すデータ(例えば三次元マップデータ)を生成する。外部環境認識部33により認識される車両の外部環境には、物体が含まれている。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。
<External environment recognition department>
The external environment recognition unit 33 recognizes the vehicle based on the outputs of the plurality of
〈運転者挙動認識部〉
運転者挙動認識部34は、運転者状態センサ27の出力に基づいて運転者の挙動(例えば運転者の健康状態や感情や身体挙動など)を認識する。例えば、運転者挙動認識部34は、深層学習により生成された学習モデルを用いて、運転者状態センサ27の出力からドライバの挙動を示すデータを生成する。この例では、運転者挙動認識部34は、運転者状態検出部300を有する。運転者状態検出部300については、後で詳しく説明する。
<Driver behavior recognition unit>
The driver behavior recognition unit 34 recognizes the driver's behavior (for example, the driver's health condition, emotions, physical behavior, etc.) based on the output of the
〈車両制御部〉
車両制御部35は、車両挙動認識部31の出力と、運転操作認識部32の出力と、外部環境認識部33の出力と、運転者挙動認識部34の出力に基づいて、アクチュエータ11を制御する。この例では、車両制御部35は、走行制御と、通知制御とを行う。
<Vehicle control section>
The
《走行制御》
走行制御は、アシスト運転および自動運転において行われる。走行制御では、車両制御部35は、車両の走行を制御する。この例では、車両制御部35は、走行制御において、候補経路生成処理と、目標経路決定処理と、運動制御処理とを行う。
《Driving control》
Driving control is performed in assisted driving and automatic driving. In driving control, the
候補経路生成処理では、車両制御部35は、外部環境認識部33の出力に基づいて1つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。なお、この例では、候補経路生成処理により生成される候補経路には、安全経路が含まれる。安全経路は、安全領域(例えば路肩)へ向かう走行経路である。
In the candidate route generation process, the
目標経路決定処理では、車両制御部35は、運転操作認識部32の出力と、運転者挙動認識部34の出力に基づいて、候補経路生成処理において生成された1つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、車両制御部35は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。
In the target route determination process, the
運動制御処理では、車両制御部35は、目標経路決定処理において目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ11を制御する。例えば、車両制御部35は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、車両制御部35は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。
In the motion control process, the
《通知制御》
通知制御では、車両制御部35は、運転者に通知するための各種情報を出力する。この例では、車両制御部35は、運転者に通知するための各種情報を通知部40に出力する。
《Notification control》
In the notification control, the
〔通知部〕
通知部40は、車両の内部に設けられる。そして、通知部40は、車両の運転者に各種情報を通知する。この例では、通知部40は、表示部41と、スピーカ42とを含む。表示部41は、各種情報を画像で出力する。スピーカ42は、各種情報を音声で出力する。
[Notification Department]
The
〔ヘッドアップディスプレイ〕
ヘッドアップディスプレイ50は、車両の内部に設けられる。ヘッドアップディスプレイ50は、虚像50aを表示し、虚像50aを運転者に視認させる。これにより、車内に設けられた運転席に着座する運転者は、フロントウィンドウガラス60よりも前方に虚像50aが存在していると視認する。虚像50aの仮想表示位置(運転者により虚像50aが存在していると視認される位置)と運転者との間の仮想距離は、予め定められた距離(例えば2m程度)に設定されている。この例では、虚像50aは、車速と法定速度とを示す。
[Heads up display]
Head-up
〔車両の前側の構成(車両構成部材)〕
図2に示すように、車両の前側には、フロントウィンドウガラス60が設けられる。フロントウィンドウガラス60は、2つのフロントピラートリム71と、ルーフトリム72と、インストルメントパネル73とに囲まれる。2つのフロントピラートリム71は、フロントウィンドウガラス60の右側および左側の境界をそれぞれ構成する。2つのフロントピラートリム71は、上側へ向かうに連れて互いに離間するように傾斜している。ルーフトリム72およびインストルメントパネル73は、フロントウィンドウガラス60の上側および下側の境界をそれぞれ構成する。また、フロントウィンドウガラス60の上側中央部には、バックミラー74が設けられる。フロントピラートリム71よりも車幅方向の外側には、サイドミラー75が設けられる。インストルメントパネル73には、表示部41と、ヘッドアップディスプレイ50と、ステアリングホイール76とが設けられる。
[Configuration of the front side of the vehicle (vehicle component parts)]
As shown in FIG. 2, a
この例では、2つのフロントピラートリム71と、ルーフトリム72と、インストルメントパネル73と、バックミラー74と、サイドミラー75と、ステアリングホイール76とが車両構成部材70を構成する。車両構成部材70は、車両を構成する部材であり、車内に設けられた運転席に着座する運転者が車外を見る場合に運転者の視線を遮る部材である。
In this example, two front pillar trims 71, a
〔サリエンシー〕
次に、以下の説明において用いられる「サリエンシー」について説明する。サリエンシーは、ボトムアップ性注意を誘引する視覚刺激の程度を示す値であり、色、輝度、方向、動きなどの特徴により変化する値である。例えば、画像に含まれる任意の領域とその領域の周囲の領域との間において色、輝度、方向、動きなどの特徴の違いが顕著になるに連れて、ボトムアップ性注意を誘引する視覚刺激が強くなり、その任意の領域におけるサリエンシーが高くなる。画像に含まれる任意の点(または領域)におけるサリエンシーが高くなるほど、その任意の点(または領域)に人の視線が惹きつけられやすくなる。
[Saliency]
Next, "saliency" used in the following explanation will be explained. Salience is a value indicating the degree of visual stimulation that attracts bottom-up attention, and is a value that changes depending on features such as color, brightness, direction, and movement. For example, as differences in features such as color, brightness, direction, and movement become more pronounced between a given region in an image and its surrounding regions, visual stimuli that attract bottom-up attention become more prominent. become stronger and have higher salience in any given area. The higher the saliency at any point (or region) included in an image, the more likely a person's line of sight will be attracted to that arbitrary point (or region).
〔車両制御装置の要部〕
図3は、車両制御装置30の要部の構成を例示する。この例では、運転者状態検出部300は、注意機能検出部301と、自律神経検出部302と、眼球運動検出部303とを有する。
[Main parts of vehicle control device]
FIG. 3 illustrates the configuration of main parts of the
〈注意機能検出部〉
注意機能検出部301は、車両の運転者の注意機能の状態を検出する。そして、注意機能検出部301は、運転者の注意機能の状態を示す検出結果を出力する。注意機能検出部301の検出結果は、運転者の注意機能が低下していること、または、運転者の注意機能が低下していないこと(運転者の注意機能が正常であること)を示す。この例では、注意機能検出部301は、車両の外部環境におけるサリエンシーの分布と、車両の運転者の視線移動とに基づいて、運転者の注意機能の状態を検出する。具体的には、注意機能検出部301は、サリエンシーマップ生成部311と、視線検出部312と、演算部313とを有する。
<Attention function detection unit>
The attention
《サリエンシーマップ生成部》
サリエンシーマップ生成部311は、複数のカメラ21のうち車両の前方領域を撮像するカメラ21の出力に基づいて、車両の外部環境におけるサリエンシーの分布を示すサリエンシーマップを生成する。この例では、サリエンシーマップ生成部311は、以下の手順により、サリエンシーマップを生成する。
《Saliency map generation section》
The saliency
まず、サリエンシーマップ生成部311は、複数のカメラ21のうち車両の前方領域を撮像するカメラ21の出力に基づいて、前方画像D1(画像データ)を取得する。図4に示すように、前方画像D1は、車両の前方領域を示す。図4の例では、前方画像D1に示される車両の外部環境には、車道150が含まれる。車道150には、他車両161が走行する。車道150の右側には、壁162が設けられる。壁162の右側には、樹木163と、丘164とが設けられる。車道150の左側には、森林165が設けられる。樹木163の右側には、建物166が設けられる。車道150と樹木163と丘164と森林165の上側には、空167が広がる。図4の例では、空167は、曇り空であり、ほぼ白色である。
First, the saliency
次に、サリエンシーマップ生成部311は、前方画像D1に、構成部材画像(画像データ)を合成することにより、合成画像D2(画像データ)を生成する。構成部材画像は、車両構成部材70(車内の運転者が車外を見る場合に運転者の視界を遮る車両の部材)を示す。例えば、車内に設けられた運転席から車両の前側をカメラで撮像することにより、構成部材画像を得ることができる。図5に示すように、合成画像D2では、車両の前方領域を示す前方画像D1に、車両構成部材70が重ねられている。
Next, the saliency
次に、サリエンシーマップ生成部311は、合成画像に対してサリエンシーマップ生成処理を行うことにより、サリエンシーマップD3(画像データ)を生成する。なお、サリエンシーマップ生成処理には、サリエンシーディテクションなどの周知の技術を用いることができる。例えば、サリエンシーマップ生成部311は、色、輝度、方向、動きなどの特徴毎にサリエンシーマップを生成し、それらの特徴毎のサリエンシーマップを足し合わせることで、最終的なサリエンシーマップ(すべての特徴が反映されたサリエンシーマップ)を生成する。
Next, the saliency
図6に示すように、サリエンシーマップD3は、車両の外部環境におけるサリエンシーの分布を示す。サリエンシーマップD3の画素は、その画素の領域におけるサリエンシーを示す。図6の例では、ハッチングの濃淡によりサリエンシーの高低が示されている。ハッチングが濃くなるに連れて、そのハッチングが付された領域におけるサリエンシーが高くなる。 As shown in FIG. 6, the saliency map D3 shows the distribution of saliency in the external environment of the vehicle. A pixel in the saliency map D3 indicates the saliency in the region of that pixel. In the example of FIG. 6, the level of saliency is indicated by the shade of hatching. The darker the hatching, the higher the salience in the hatched area.
そして、サリエンシーマップ生成部311は、前方画像D1が更新される毎に、上記の手順によりサリエンシーマップD3を生成する。これにより、時系列順に並ぶ複数のサリエンシーマップD3が得られる。
Then, the saliency
《視線検出部》
視線検出部312は、車内カメラ28の出力に基づいて、運転者の視線を検出する。この例では、視線検出部312は、車内カメラ28により得られた画像データに対して視線検出処理を行うことにより、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル(視線を検出するための学習モデル)を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。例えば、視線検出部312は、車内カメラ28により得られた画像(画像データ)の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。なお、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線および左眼の視線に基づいて導出される視線であってもよい。
《Gaze detection section》
The line of
《演算部》
演算部313は、サリエンシーマップ生成部311により生成されたサリエンシーマップと、視線検出部312により検出された運転者の視線の移動とに基づいて、運転者の注意機能の状態を検出する。
《Calculation section》
The
具体的には、演算部313は、車両の外部環境のうち高サリエンシー領域に運転者の視線が誘引される傾向(以下では「視線誘引傾向」と記載)の強さに基づいて、運転者の注意機能の状態を示す検出結果を出力する。高サリエンシー領域は、車両の外部環境のうちサリエンシーが比較的に高い領域であり、例えば、サリエンシーが予め定められた基準サリエンシーを上回る領域である。
Specifically, the
例えば、演算部313は、視線誘引傾向の強さに応じて変化する指標値を求める。そして、演算部313は、指標値が予め定められた基準指標値を上回る場合(すなわち視線誘引傾向が比較的に強い場合)に、運転者の注意機能が低下していることを示す検出結果を出力する。また、演算部313は、指標値が基準指標値を上回らない場合(すなわち視線誘引傾向が比較的に弱い場合)に、運転者の注意機能が低下していないことを示す検出結果を出力する。
For example, the
この例では、演算部313は、以下の手順により運転者の注意機能の状態を検出する。具体的には、演算部313は、予め定められた計測周期毎に、第1処理と、第2処理と、第3処理と、第4の処理と、第5処理を行う。
In this example, the
第1処理では、演算部313は、計測周期内に得られる複数のサリエンシーマップD3のうち2つ以上のサリエンシーマップD3の各々において注視点を検出し、注視点におけるサリエンシーを検出する。注視点は、サリエンシーマップD3における運転者の視線の位置(座標)を示す点である。例えば、演算部313は、視線検出部312により検出された運転者の視線の方向に基づいて、サリエンシーマップD3から注視点を検出する。なお、演算部313は、予め定められたサンプリング周期毎に、サリエンシーマップD3から運転者の視線の位置を注視点として検出するように構成されてもよい。または、演算部313は、停滞時間が予め定められた基準時間を上回る運転者の視線の位置を注視点として検出するように構成されてもよい。この第1処理により、所定時刻毎の注視点のサリエンシーが得られる。図7に示すように、注視点のサリエンシーは、時間の経過に応じて変化する。
In the first process, the
第2処理では、演算部313は、計測周期内に得られる複数のサリエンシーマップD3のうち2つ以上のサリエンシーマップD3の各々においてランダム点を指定し、ランダム点におけるサリエンシーを検出する。ランダム点は、サリエンシーマップD3においてランダムに指定される位置(座標)を示す点である。なお、ランダム点は、複数のサリエンシーマップD3のうち第1処理により注視点が検出されるサリエンシーマップD3において指定されることが好ましい。すなわち、ランダム点におけるサリエンシーが検出される時刻は、注視点におけるサリエンシーが検出される時刻と一致していることが好ましい。この第2処理により、所定時刻毎のランダム点のサリエンシーが得られる。図8に示すように、ランダム点のサリエンシーは、時間の経過に応じて変化する。
In the second process, the
次に、第3処理が行われる。第3処理では、演算部313は、第1処理により得られた計測周期内の所定時刻毎の注視点のサリエンシーと、第2処理により得られた計測周期内の所定時刻毎のランダム点のサリエンシーとに基づいて、「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との関係を示すROC(Receiver Operating Characteristic)曲線を導出する。
Next, a third process is performed. In the third process, the
具体的には、演算部313は、サリエンシーに関する閾値を最大値から最小値まで段階的に変更する。そして、演算部313は、閾値を変更する毎に、以下の処理を行う。
Specifically, the
まず、演算部313は、計測周期内の所定時刻毎の注視点のサリエンシーのうち閾値を超える注視点のサリエンシーの数を求め、閾値を超える注視点のサリエンシーの数を計測周期内の注視点のサリエンシーの総数で除算することで、注視点のサリエンシーが閾値を超える確率を求める。また、演算部313は、計測周期内の所定時刻毎のランダム点のサリエンシーのうち閾値を超えるランダム点のサリエンシーの数を求め、閾値を超えるランダム点のサリエンシーの数を計測周期内のランダム点のサリエンシーの総数で除算することで、ランダム点のサリエンシーが閾値を超える確率を求める。
First, the
そして、演算部313は、閾値毎に求められた「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との組合せに基づいて、ROC曲線を導出する。図9は、ROC曲線を例示する。このROC曲線は、運転者の視線が高サリエンシー領域に誘引される傾向の強さに応じて変化する。例えば、運転者の視線が高サリエンシー領域を向く傾向がある場合、ROC曲線は、図9の第1曲線C1のように、傾きが1の直線(破線で示す直線)よりも上側に凸の曲線となる。一方、運転者の視線が低サリエンシー領域を向く傾向がある場合、ROC曲線は、図9の第2曲線C2のように、傾きが1の直線(破線で示す直線)よりも下側に凸の曲線となる。なお、低サリエンシー領域は、車両の外部環境のうちサリエンシーが比較的に低い領域であり、例えば、サリエンシーが予め定められた基準サリエンシーを下回る領域である。
Then, the
次に、第4処理が行われる。第4処理では、演算部313は、ROC曲線の下側の面積であるAUC(Area Under the Curve)値を求める。例えば、図9の第1曲線C1がROC曲線である場合、AUC値は、図9のハッチングが付された領域の面積に相当する。このAUC値は、視線誘引傾向(車両の外部環境のうち高サリエンシー領域に運転者の視線が誘引される傾向)の強さに応じて変化する指標値である。例えば、運転者の視線が高サリエンシー領域を向く傾向が強くなるほど、AUC値が大きくなり、運転者の視線が低サリエンシー領域を向く傾向が強くなるほど、AUC値が小さくなる。
Next, a fourth process is performed. In the fourth process, the
次に、第5処理では、演算部313は、AUC値に基づいて、運転者の注意機能の状態を検出する。例えば、演算部313は、AUC値が予め定められた基準AUC値を上回る場合に、運転者の注意機能が低下していることを示す検出結果を出力する。また、演算部313は、AUC値が予め定められた基準AUC値を上回らない場合に、運転者の注意機能が低下していないことを示す検出結果を出力する。
Next, in the fifth process, the
〈自律神経検出部〉
自律神経検出部302は、運転者の自律神経の状態を検出する。そして、自律神経検出部302は、運転者の自律神経の状態を示す検出結果を出力する。自律神経検出部302の検出結果は、運転者の交感神経が優位であること、または、運転者の副交感神経が優位であることを示す。この例では、自律神経検出部302は、生体情報センサ29により得られた運転者の生体情報に基づいて、運転者の状態を検出する。
<Autonomic nerve detection unit>
The autonomic
なお、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の発汗量が多くなる傾向にある。したがって、自律神経検出部302は、生体情報センサ29により得られた運転者の発汗量に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部302は、運転者の発汗量が予め定められた基準発汗量を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の発汗量が基準発汗量を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。
Note that when the driver's sympathetic nerves are dominant, the amount of sweat the driver tends to be greater than when the driver's parasympathetic nerves are dominant. Therefore, the autonomic
また、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の心拍が多くなる傾向にある。したがって、自律神経検出部302は、生体情報センサ29により得られた運転者の心拍に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部302は、運転者の心拍が予め定められた基準心拍を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の心拍が基準心拍を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。
Further, when the driver's sympathetic nerves are dominant, the driver's heart rate tends to be higher than when the driver's parasympathetic nerves are dominant. Therefore, the autonomic
なお、自律神経検出部302は、生体情報センサ29の出力の代わりに、車内カメラ28の出力に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の瞳孔径が大きくなる傾向にある。したがって、自律神経検出部302は、車内カメラ28により得られた画像データに基づいて、運転者の瞳孔径を検出し、運転者の瞳孔径に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部302は、運転者の瞳孔径が予め定められた基準瞳孔径を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の瞳孔径が基準瞳孔径を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。
Note that the autonomic
また、自律神経検出部302は、その他の周知の自律神経検出技術(交感神経および副交感神経のどちらが優位であるのかを検出する技術)を用いて、運転者の自律神経の状態を検出するように構成されてもよい。自律神経検出部302は、複数の自律神経検出技術の検出結果に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。
In addition, the autonomic
〈眼球運動検出部〉
眼球運動検出部303は、運転者の眼球運動の状態を検出する。そして、眼球運動検出部303は、運転者の眼球運動の状態を示す検出結果を出力する。眼球運動検出部303の検出結果は、運転者の眼球運動が能動的であること、または、運転者の眼球運動が受動的であることを示す。この例では、眼球運動検出部303は、車内カメラ28により得られた画像データに基づいて、運転者の眼球運動の状態を検出する。
<Eye movement detection unit>
The eye
なお、運転者の眼球運動が能動的である場合、運転者の眼球運動が受動的である場合よりも、運転者の視線移動の前後における瞳孔径の変化量が大きくなる傾向にある。したがって、眼球運動検出部303は、車内カメラ28により得られた画像データに基づいて、運転者の視線移動と運転者の瞳孔径の変化量を求め、運転者の視線移動の前後における瞳孔径の変化量に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。例えば、眼球運動検出部303は、運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、運転者の眼球運動が能動的であることを示す検出結果を出力し、運転者の視線移動の前後における瞳孔径の変化量が基準変化量を上回らない場合に、運転者の眼球運動が受動的であることを示す検出結果を出力する。
Note that when the driver's eye movements are active, the amount of change in the pupil diameter before and after the driver's line of sight movement tends to be larger than when the driver's eye movements are passive. Therefore, the eye
また、運転者の眼球運動が能動的である場合、運転者の眼球運動が受動的である場合よりも、ヘッドアップディスプレイ50により表示される虚像50aの仮想表示位置と運転者の両眼の焦点の位置との差が大きくなり、虚像50aの仮想表示位置から求められる運転者の理想的な輻輳角と運転者の実際の輻輳角との差が大きくなる傾向にある。なお、輻輳角は、右眼の視線と左目の視線とがなす角度である。運転者の理想的な輻輳角は、運転者の両眼の焦点位置と虚像50aの仮想表示位置とが一致しているときの運転者の輻輳角である。したがって、眼球運動検出部303は、車内カメラ28により得られた画像データに基づいて、運転者の輻輳角を求め、運転者の輻輳角と予め定められた基準輻輳角との差に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。なお、基準輻輳角は、上記の運転者の理想的な輻輳角である。例えば、眼球運動検出部303は、運転者の輻輳角と基準輻輳角との差が予め定められた基準差を上回る場合に、運転者の眼球運動が能動的であることを示す検出結果を出力し、運転者の輻輳角と基準輻輳角との差が基準差を上回らない場合に、運転者の眼球運動が受動的であることを示す検出結果を出力する。
Furthermore, when the driver's eye movements are active, the virtual display position of the
また、眼球運動検出部303は、その他の周知の眼球運動検出技術(眼球運動が能動的および受動的のどちらであるのかを検出する技術)を用いて、運転者の眼球運動の状態を検出するように構成されてもよい。眼球運動検出部303は、複数の眼球運動検出技術の検出結果に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。
In addition, the eye
〔運転者の異常〕
次に、運転者の異常について説明する。なお、運転者の「異常」な状態とは、車両の運転に適していない運転者の状態のことであり、運転者の「正常」な状態とは、車両の運転に適した運転者の状態のことである。以下では、運転者の異常の例として、体調異常と、覚醒低下と、漫然状態とを挙げている。
[Driver's abnormality]
Next, abnormality of the driver will be explained. Note that the "abnormal" state of the driver refers to the state of the driver that is not suitable for driving the vehicle, and the "normal" state of the driver refers to the state of the driver that is suitable for driving the vehicle. It is about. In the following, abnormal physical condition, decreased alertness, and absentmindedness are listed as examples of driver abnormalities.
体調異常は、疾患により運転機能(特に注意機能)が低下した状態である。体調異常の例としては、脳卒中などの脳疾患、心筋梗塞などの心疾患、癲癇、低血糖などが挙げられる。覚醒低下は、覚醒レベルが低下した状態であり、居眠り状態である。漫然状態は、車両の運転に集中することができず、ぼんやりとしている状態である。 Abnormal physical condition is a state in which the driving function (particularly the attention function) is deteriorated due to a disease. Examples of physical abnormalities include brain diseases such as stroke, heart diseases such as myocardial infarction, epilepsy, and hypoglycemia. Decreased arousal is a state in which the arousal level has decreased, and is a dozing state. The distracted state is a state in which the driver is unable to concentrate on driving the vehicle and is absent-minded.
〔本願発明者らにより得られた知見〕
本願発明者らは、鋭意研究の結果、体調異常、覚醒低下、漫然状態の各々に、次のような特徴があることを見出した。
[Findings obtained by the inventors]
As a result of intensive research, the inventors of the present application found that abnormal physical condition, decreased alertness, and absentmindedness each have the following characteristics.
運転者が体調異常の状態である場合、運転者の注意機能の低下に加えて運転者の能動的な眼球運動が維持される。また、運転者が体調異常の状態である場合、運転者の注意機能の低下に加えて運転者の交感神経が優位になる。具体的には、運転者が体調異常の状態である場合、運転者の注意機能低下、運転者の交感神経の優位、運転者の能動的な眼球運動が観測される。 When the driver is in an abnormal state of physical condition, the driver's attention function is reduced and the driver's active eye movements are maintained. Further, when the driver is in an abnormal state of physical condition, the driver's attentiveness function decreases and the driver's sympathetic nervous system becomes dominant. Specifically, when a driver is in an abnormal state of physical condition, a decrease in the driver's attention function, a predominance of the driver's sympathetic nervous system, and an active eye movement of the driver are observed.
また、運転者が覚醒低下の状態である場合、運転者の注意機能の低下に加えて運転者の副交感神経が優位になる。具体的には、運転者が覚醒低下の状態である場合、運転者の注意機能低下、運転者の副交感神経の優位が観測される。 Furthermore, when the driver is in a state of decreased arousal, the driver's parasympathetic nervous system becomes dominant in addition to the decreased attention function of the driver. Specifically, when a driver is in a state of decreased arousal, a decrease in the driver's attention function and a dominance of the driver's parasympathetic nervous system are observed.
また、運転者が漫然状態である場合、運転者の注意機能の低下に加えて交感神経が優位になる。また、運転者が漫然状態である場合、運転者の注意機能の低下に加えて運転者の眼球運動が受動的となる。具体的には、運転者が漫然状態である場合、運転者の注意機能低下、運転者の交感神経の優位、運転者の受動的な眼球運動が観測される。 Furthermore, when the driver is distracted, the driver's attentiveness decreases and the sympathetic nervous system becomes dominant. Furthermore, when the driver is distracted, the driver's attention function is reduced and the driver's eye movements become passive. Specifically, when a driver is distracted, a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and a passive eye movement of the driver are observed.
〔車両制御部の動作〕
次に、図10を参照して、車両制御部35の動作について説明する。例えば、車両制御部35では、予め定められた周期で、以下の処理が繰り返し行われる。なお、車両制御部35は、注意機能検出部301による検出結果と、自律神経検出部302による検出結果と、眼球運動検出部303による検出結果とを入力する。この車両制御部35の動作は、運転者状態判定方法の判定ステップの一例である。
[Operation of vehicle control unit]
Next, the operation of the
〈ステップST11〉
まず、車両制御部35は、注意機能検出部301(注意機能検出ステップ)により運転者の注意機能低下が検出されたか否かを判定する。運転者の注意機能低下が検出された場合には、ステップST12へ進み、そうでない場合には、ステップST17へ進む。
<Step ST11>
First, the
〈ステップST12〉
注意機能検出部301により運転者の注意機能低下が検出された場合、車両制御部35は、自律神経検出部302(自律神経検出ステップ)により運転者の交感神経の優位が検出されたか否かを判定する。運転者の交感神経の優位が検出された場合には、ステップST13へ進み、そうでない場合には、ステップST15へ進む。
<Step ST12>
When the attention
〈ステップST13〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の交感神経の優位が検出された場合、車両制御部35は、眼球運動検出部303(眼球運動検出ステップ)により運転者の能動的な眼球運動が検出されたか否かを判定する。運転者の能動的な眼球運動が検出された場合には、ステップST14へ進み、そうでない場合には、ステップST16へ進む。
<Step ST13>
When the attention
〈ステップST14〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の交感神経の優位が検出され、眼球運動検出部303により運転者の能動的な眼球運動が検出された場合、車両制御部35は、運転者が体調異常の状態であると判定する。そして、車両制御部35は、運転者の体調異常に応じた動作を行う。
<Step ST14>
The attention
なお、運転者の体調異常に応じた動作の例としては、運転者が体調異常の状態であることを示す体調異常情報を出力する動作、運転者が体調異常の状態であることを車両の外部に通知するための動作、車両が安全経路を走行して安全領域で停車するようにアクチュエータ11を制御する動作などが含まれる。体調異常情報を出力する動作の例としては、体調異常情報を通知部40に出力することで運転者が体調異常の状態であることを通知する動作が挙げられる。運転者が体調異常の状態であることを車両の外部に通知するための動作の例としては、車両のハザードランプ(図示省略)を点滅させる動作が挙げられる。
Examples of operations in response to the driver's physical condition include an operation that outputs physical condition information indicating that the driver is in a physical condition, and an operation that outputs physical condition information indicating that the driver is in a physical condition. This includes an operation for notifying the driver, and an operation for controlling the actuator 11 so that the vehicle travels on a safe route and stops in a safe area. An example of the operation of outputting the physical condition information is an operation of outputting the physical condition information to the
〈ステップST15〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の副交感神経の優位が検出された場合、車両制御部35は、運転者が覚醒低下の状態であると判定する。そして、車両制御部35は、運転者の覚醒低下に応じた動作を行う。
<Step ST15>
When the attention
なお、運転者の覚醒低下に応じた動作の例としては、運転者が覚醒低下の状態であることを示す覚醒低下情報を出力する動作、運転者の覚醒低下を解消するための動作などが挙げられる。覚醒低下情報を出力する動作の例としては、覚醒低下情報を通知部40に出力することで運転者が覚醒低下の状態であることを通知する動作が挙げられる。運転者の覚醒低下を解消するための動作の例としては、運転者を覚醒させるための音声情報をスピーカ42に出力することで運転者を覚醒させるための音声を出力する動作、休憩をとることを運転者に促すための情報を通知部40に出力することで休憩をとることを運転者に促す動作などが挙げられる。
Examples of actions in response to the driver's reduced arousal include actions that output reduced arousal information indicating that the driver is in a state of reduced arousal, and actions to resolve the driver's reduced arousal. It will be done. An example of the operation of outputting the reduced arousal information is an operation of outputting the reduced arousal information to the
〈ステップST16〉
注意機能検出部301により運転者の注意機能低下が検出され、自律神経検出部302により運転者の交感神経の優位が検出され、眼球運動検出部303により運転者の受動的な眼球運動が検出された場合、車両制御部35は、運転者が漫然状態であると判定する。そして、車両制御部35は、運転者の漫然状態に応じた動作を行う。
<Step ST16>
The attention
なお、運転者の漫然状態に応じた動作の例としては、運転者が漫然状態であることを示す漫然状態情報を出力する動作、運転者の漫然状態を解消するための動作などが挙げられる。漫然状態情報を出力する動作の例としては、漫然状態情報を通知部40に出力することで運転者の漫然状態を通知する動作が挙げられる。運転者の漫然状態を解消するための動作の例としては、車両の運転に集中すること運転者に促すための情報を通知部40に出力することで車両の運転に集中すること運転者に促す動作、休憩をとることを運転者に促すための情報を通知部40に出力することで休憩をとることを運転者に促す動作などが挙げられる。
Note that examples of actions according to the driver's distracted state include an action to output distracted state information indicating that the driver is distracted, an action to relieve the driver's distracted state, and the like. An example of the operation of outputting the absentminded state information is an operation of notifying the driver of the absentminded state by outputting the absentminded state information to the
〈ステップST17〉
注意機能検出部301により運転者の注意機能低下が検出されない場合、車両制御部35は、運転者が正常な状態であると判定する。そして、車両制御部35は、運転者の正常に応じた動作を継続する。
<Step ST17>
If the attention
なお、運転者の正常に応じた動作の例としては、運転者が正常な状態であることを示す情報を出力する動作、走行制御を継続する動作などが挙げられる。 Note that examples of actions depending on the driver's normal state include an action to output information indicating that the driver is in a normal state, an action to continue driving control, and the like.
〔実施形態の効果〕
以上のように、注意機能検出部301による検出結果と、自律神経検出部302による検出結果と、眼球運動検出部303による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うことにより、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。
[Effects of embodiment]
As described above, based on the detection results by the attention
具体的には、運転者の注意機能低下と、運転者の副交感神経の優位とが検出された場合(すなわち運転者が覚醒低下の状態にあるとみなせる場合)に、運転者の覚醒低下に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 Specifically, if a decline in the driver's attention function and a predominance of the driver's parasympathetic nervous system are detected (i.e., when the driver can be considered to be in a state of reduced arousal), the system will respond to the driver's reduced arousal. can perform various movements. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and the driver's active eye movements are detected (in other words, if the driver can be considered to be in a state of abnormal physical condition), the driver's The patient can perform actions according to his or her physical condition. If a decline in the driver's attention function, a predominance of the driver's sympathetic nervous system, and a driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), the driver's distracted state is detected. It is possible to perform actions according to the state.
また、運転者の注意機能の状態と、運転者の自律神経の状態と、運転者の眼球運動の状態とに基づいて、運転者の異常の種類を判定することにより、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。 Furthermore, by determining the type of driver's abnormality based on the state of the driver's attention function, the state of the driver's autonomic nerves, and the state of the driver's eye movements, the driver's attention function can be improved. The type of abnormality of the driver can be determined more appropriately than when determining the abnormality of the driver based only on the state.
また、車両の外部環境におけるサリエンシーの分布と車両の運転者の視線移動とに基づいて、運転者の注意機能の状態を検出することにより、車両の外部環境のうち高サリエンシー領域(サリエンシーが比較的に高い領域)に運転者の視線が誘引される傾向の強さに基づいて、運転者の注意機能の状態を適切に検出することができる。 In addition, by detecting the state of the driver's attention function based on the distribution of salience in the vehicle's external environment and the vehicle driver's line of sight movement, the system detects the state of the driver's attention function based on the distribution of salience in the vehicle's external environment and the driver's line of sight. The state of the driver's attention function can be appropriately detected based on the strength of the tendency for the driver's line of sight to be attracted to the area (areas where the driver's attention is high).
(車両制御部の動作の変形例)
図11に示すように、車両制御部35は、注意機能検出部301による検出結果と、眼球運動検出部303による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うように構成されてもよい。言い換えると、自律神経検出部302が省略されてもよい。
(Variation example of operation of vehicle control unit)
As shown in FIG. 11, the
図11の例では、注意機能検出部301により運転者の注意機能低下が検出され、眼球運動検出部303により運転者の能動的な眼球運動が検出された場合に、ステップST14の処理が行われる。ステップST14では、車両制御部35は、運転者が体調異常の状態であると判定し、運転者の体調異常に応じた動作を行う。
In the example of FIG. 11, when the attention
また、図11の例では、注意機能検出部301により運転者の注意機能低下が検出され、眼球運動検出部303により運転者の能動的な眼球運動が検出された場合に、ステップST16の処理が行われる。ステップST16では、車両制御部35は、運転者が漫然状態であると判定し、運転者の漫然異常に応じた動作を行う。
Further, in the example of FIG. 11, when the attention
以上のように、注意機能検出部301による検出結果と、眼球運動検出部303による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うことにより、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。
As described above, the state of the driver's attention function is determined by performing an operation according to the type of abnormality of the driver based on the detection result by the attention
具体的には、運転者の注意機能低下と、運転者の能動的な眼球運動とが検出された場合(すなわち運転者が体調異常の状態であるとみなせる場合)に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の受動的な眼球運動とが検出された場合(すなわち運転者が漫然状態であるとみなせる場合)に、運転者の漫然状態に応じた動作を行うことができる。 Specifically, when a decline in the driver's attention function and the driver's active eye movements are detected (in other words, when the driver can be considered to be in a state of abnormal physical condition), the driver's physical condition is detected to be abnormal. You can perform actions accordingly. When a decline in the driver's attention function and the driver's passive eye movements are detected (i.e., when the driver can be considered to be in a distracted state), it is possible to perform actions according to the driver's distracted state. can.
また、運転者の注意機能の状態と、運転者の眼球運動の状態とに基づいて、運転者の異常の種類を判定することにより、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。 In addition, by determining the type of driver's abnormality based on the state of the driver's attention function and the state of the driver's eye movements, the driver's abnormality can be determined based only on the state of the driver's attention function. The type of abnormality of the driver can be determined more appropriately than when determining the driver's abnormality.
(その他の実施形態)
以上の説明において、基準AUC値などの基準値の設定は、実験などに基づいて行うことが可能である。また、基準発汗量などの基準量の設定は、実験などに基づいて行うことが可能である。
(Other embodiments)
In the above description, reference values such as the reference AUC value can be set based on experiments and the like. Further, the setting of a reference amount such as the reference amount of perspiration can be performed based on experiments or the like.
また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、ここに開示する技術、その適用物、あるいはその用途の範囲を制限することを意図するものではない。 Furthermore, the above embodiments may be combined as appropriate. The above embodiments are essentially preferred examples and are not intended to limit the scope of the technology disclosed herein, its applications, or its uses.
以上説明したように、ここに開示する技術は、車両制御装置として有用である。 As explained above, the technology disclosed herein is useful as a vehicle control device.
10 車両制御システム
11 アクチュエータ
20 情報取得部
21 カメラ
22 レーダ
23 位置センサ
24 外部入力部
25 車両状態センサ
26 運転操作センサ
27 運転者状態センサ
28 車内カメラ
29 生体情報センサ
30 車両制御装置
31 車両挙動認識部
32 運転操作認識部
33 外部環境認識部
34 運転者挙動認識部
35 車両制御部
40 通知部
41 表示部
42 スピーカ
50 ヘッドアップディスプレイ
300 運転者状態検出部
301 注意機能検出部
302 自律神経検出部
303 眼球運動検出部
311 サリエンシーマップ生成部
312 視線検出部
313 演算部
10 Vehicle control system 11
Claims (7)
前記車両の運転者の注意機能の状態を検出する注意機能検出部と、
前記運転者の眼球運動の状態を検出する眼球運動検出部と、
前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備え、
前記眼球運動検出部は、前記運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の視線移動の前後における瞳孔径の変化量が前記基準変化量を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
前記車両制御部は、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う
ことを特徴とする車両制御装置。 A vehicle control device installed in a vehicle,
an attention function detection unit that detects the state of the attention function of the driver of the vehicle;
an eye movement detection unit that detects the state of eye movement of the driver;
a vehicle control unit that performs an operation according to the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result by the attention function detection unit and the detection result by the eye movement detection unit. ,
The eye movement detection unit detects that the eye movement of the driver is active when the amount of change in pupil diameter before and after the driver's line of sight movement exceeds a predetermined reference amount of change, and detecting that the driver's eye movement is passive when the amount of change in pupil diameter before and after the driver's line of sight movement does not exceed the reference amount of change;
The vehicle control unit includes:
When the attention function detecting section detects a decline in the driver's attention function and the eye movement detecting section detects active eye movements of the driver, an operation according to the physical condition abnormality of the driver is performed. conduct,
When the attention function detection unit detects a decline in the driver's attention function and the eye movement detection unit detects a passive eye movement of the driver, perform an action according to the driver's absentmindedness. conduct
A vehicle control device characterized by:
前記車両の運転者の注意機能の状態を検出する注意機能検出部と、 an attention function detection unit that detects the state of the attention function of the driver of the vehicle;
前記運転者の眼球運動の状態を検出する眼球運動検出部と、 an eye movement detection unit that detects the state of eye movement of the driver;
前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備え、 a vehicle control unit that performs an operation according to the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result by the attention function detection unit and the detection result by the eye movement detection unit. ,
前記眼球運動検出部は、前記運転者の輻輳角と予め定められた基準輻輳角との差が予め定められた基準差を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の輻輳角と前記基準輻輳角との差が前記基準差を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、 The eye movement detection unit detects that the driver's eye movements are active when the difference between the driver's convergence angle and a predetermined reference convergence angle exceeds a predetermined reference difference. , detecting that the driver's eye movement is passive if the difference between the driver's convergence angle and the reference convergence angle does not exceed the reference difference;
前記車両制御部は、 The vehicle control unit includes:
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、 When the attention function detecting section detects a decline in the driver's attention function and the eye movement detecting section detects active eye movements of the driver, an operation according to the physical condition abnormality of the driver is performed. conduct,
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う When the attention function detection unit detects a decline in the driver's attention function and the eye movement detection unit detects a passive eye movement of the driver, perform an action according to the driver's absentmindedness. conduct
ことを特徴とする車両制御装置。A vehicle control device characterized by:
前記運転者の自律神経の状態を検出する自律神経検出部を備え、
前記運転者の異常の種類は、前記体調異常と、前記漫然状態と、覚醒低下とを含み、
前記車両制御部は、前記注意機能検出部による検出結果と、前記自律神経検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、前記運転者の異常の種類に応じた動作を行う
ことを特徴とする車両制御装置。 In claim 1 or 2,
comprising an autonomic nerve detection unit that detects the state of the autonomic nerve of the driver,
The type of abnormality of the driver includes the physical condition abnormality, the absentminded state, and decreased alertness,
The vehicle control unit operates according to the type of abnormality of the driver based on the detection result by the attention function detection unit, the detection result by the autonomic nerve detection unit, and the detection result by the eye movement detection unit. A vehicle control device characterized by performing the following.
前記車両制御部は、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の副交感神経の優位が検出された場合に、前記運転者の覚醒低下に応じた動作を行い、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、
前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う
ことを特徴とする車両制御装置。 In claim 3,
The vehicle control unit includes:
When the attention function detection section detects a decrease in the driver's attention function, and the autonomic nerve detection section detects the predominance of the driver's parasympathetic nerves, performing an action according to the driver's decrease in arousal. ,
The attention function detection unit detects a decline in the driver's attention function, the autonomic nerve detection unit detects the dominance of the driver's sympathetic nerves, and the eye movement detection unit detects the driver's active eye movement. is detected, performs an action according to the physical condition of the driver,
The attention function detection section detects a decline in the driver's attention function, the autonomic nerve detection section detects the dominance of the driver's sympathetic nerves, and the eye movement detection section detects the driver's passive eye movement. A vehicle control device that performs an operation according to the driver's absentmindedness when the vehicle is detected.
前記注意機能検出部は、前記車両の外部環境におけるサリエンシーの分布と前記運転者の視線移動とに基づいて、前記運転者の注意機能の状態を検出する
ことを特徴とする車両制御装置。 In any one of claims 1 to 4,
The vehicle control device is characterized in that the attention function detection unit detects a state of the driver's attention function based on a distribution of salience in the external environment of the vehicle and a line of sight movement of the driver.
前記運転者の注意機能の状態を検出する注意機能検出ステップと、
前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、
前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備え、
前記眼球運動検出ステップでは、前記運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の視線移動の前後における瞳孔径の変化量が前記基準変化量を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
前記判定ステップでは、
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の能動的な眼球運動が検出された場合に、前記運転者が体調異常の状態であると判定し、
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の受動的な眼球運動が検出された場合に、前記運転者が漫然状態であると判定する
ことを特徴とする運転者状態判定方法。 A method for determining a driver's condition using a computer , the method comprising:
an attention function detection step of detecting the state of the driver's attention function;
an eye movement detection step of detecting the state of eye movement of the driver;
a determination step of determining the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result of the attention function detection step and the detection result of the eye movement detection step ;
In the eye movement detection step, if the amount of change in pupil diameter before and after the driver's line of sight movement exceeds a predetermined reference amount of change, the eye movement of the driver is detected to be active; detecting that the driver's eye movement is passive when the amount of change in pupil diameter before and after the driver's line of sight movement does not exceed the reference amount of change;
In the determination step,
If a decline in the driver's attention function is detected in the attention function detection step and an active eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a state of abnormal physical condition. judge,
If a decline in the driver's attention function is detected in the attention function detection step and a passive eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a distracted state.
A driver condition determination method characterized by:
前記運転者の注意機能の状態を検出する注意機能検出ステップと、 an attention function detection step of detecting the state of the driver's attention function;
前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、 an eye movement detection step of detecting the state of eye movement of the driver;
前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備え、 a determination step of determining the type of abnormality of the driver, including physical abnormality and absentmindedness, based on the detection result of the attention function detection step and the detection result of the eye movement detection step;
前記眼球運動検出ステップでは、前記運転者の輻輳角と予め定められた基準輻輳角との差が予め定められた基準差を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の輻輳角と前記基準輻輳角との差が前記基準差を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、 In the eye movement detection step, if the difference between the convergence angle of the driver and a predetermined reference convergence angle exceeds a predetermined reference difference, the eye movement of the driver is detected to be active. , detecting that the driver's eye movement is passive if the difference between the driver's convergence angle and the reference convergence angle does not exceed the reference difference;
前記判定ステップでは、 In the determination step,
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の能動的な眼球運動が検出された場合に、前記運転者が体調異常の状態であると判定し、 If a decline in the driver's attention function is detected in the attention function detection step and an active eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a state of abnormal physical condition. judge,
前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の受動的な眼球運動が検出された場合に、前記運転者が漫然状態であると判定する If a decline in the driver's attention function is detected in the attention function detection step and a passive eye movement of the driver is detected in the eye movement detection step, it is determined that the driver is in a distracted state.
ことを特徴とする運転者状態判定方法。A driver condition determination method characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019203766A JP7342637B2 (en) | 2019-11-11 | 2019-11-11 | Vehicle control device and driver condition determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019203766A JP7342637B2 (en) | 2019-11-11 | 2019-11-11 | Vehicle control device and driver condition determination method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021077135A JP2021077135A (en) | 2021-05-20 |
JP7342637B2 true JP7342637B2 (en) | 2023-09-12 |
Family
ID=75899157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019203766A Active JP7342637B2 (en) | 2019-11-11 | 2019-11-11 | Vehicle control device and driver condition determination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7342637B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7331728B2 (en) * | 2020-02-19 | 2023-08-23 | マツダ株式会社 | Driver state estimation device |
JP7331729B2 (en) * | 2020-02-19 | 2023-08-23 | マツダ株式会社 | Driver state estimation device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017195405A1 (en) | 2016-05-11 | 2017-11-16 | ソニー株式会社 | Image processing apparatus, image processing method, and mobile body |
JP2018127112A (en) | 2017-02-08 | 2018-08-16 | パナソニックIpマネジメント株式会社 | Arousal level estimation device and arousal level estimation method |
JP2019093175A (en) | 2019-02-05 | 2019-06-20 | パイオニア株式会社 | Drowsiness calculation device |
JP2019105886A (en) | 2017-12-08 | 2019-06-27 | 株式会社デンソーテン | Driving support device, driving support system, and driving support method |
-
2019
- 2019-11-11 JP JP2019203766A patent/JP7342637B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017195405A1 (en) | 2016-05-11 | 2017-11-16 | ソニー株式会社 | Image processing apparatus, image processing method, and mobile body |
JP2018127112A (en) | 2017-02-08 | 2018-08-16 | パナソニックIpマネジメント株式会社 | Arousal level estimation device and arousal level estimation method |
JP2019105886A (en) | 2017-12-08 | 2019-06-27 | 株式会社デンソーテン | Driving support device, driving support system, and driving support method |
JP2019093175A (en) | 2019-02-05 | 2019-06-20 | パイオニア株式会社 | Drowsiness calculation device |
Also Published As
Publication number | Publication date |
---|---|
JP2021077135A (en) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7226479B2 (en) | Image processing device, image processing method, and moving object | |
JP7459634B2 (en) | Driver Abnormality Judgment System | |
JP7560486B2 (en) | Information processing device, information processing system, information processing method, and information processing program | |
JP7342638B2 (en) | Driver status detection device | |
WO2020145161A1 (en) | Information processing device, mobile device, method, and program | |
JP2019195377A (en) | Data processing device, monitoring system, awakening system, data processing method, and data processing program | |
JP7459633B2 (en) | Driver abnormality determination device | |
US20220118985A1 (en) | Cognitive tunneling mitigation device for driving | |
CN113276821B (en) | Driver state estimating device | |
JP7342637B2 (en) | Vehicle control device and driver condition determination method | |
JP7342636B2 (en) | Vehicle control device and driver condition determination method | |
CN113276822B (en) | Driver state estimating device | |
US20240051585A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP7415459B2 (en) | Vehicle control device and driver condition determination method | |
JP7415460B2 (en) | Vehicle control device and driver condition determination method | |
JP2021167163A (en) | Driver abnormality determination device | |
JP7318560B2 (en) | state estimator | |
JP2023022409A (en) | Driver state determination method and driver state determination system | |
KR20240160803A (en) | Method and apparatus for providing digital side mirror 3d image | |
JP2023035244A (en) | vehicle warning system | |
JP2021133755A (en) | State presumption device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7342637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |