JP7342637B2 - 車両制御装置および運転者状態判定方法 - Google Patents

Description

ここに開示する技術は、車両制御装置および運転者状態判定方法に関する。

特許文献１には、運転者の状態を判定する運転者状態判定装置が開示されている。この運転者状態判定装置は、運転者の視線方向を検出する視線検出手段と、この視線検出手段の検出結果より予め定められた時間内の視線方向の頻度分布を視線頻度分布として計算する視線頻度分布計算手段と、視線頻度分布のパタ－ンを識別することにより運転者の心理的または生理的状態を判断する運転者状態判断手段を備える。

特許第３０２７７８６号公報

しかしながら、特許文献１のように視線頻度分布のパタ－ンを識別することにより運転者の心理的または生理的状態を判断するだけでは、運転者の異常の種類を詳細に区別することができないので、運転者の異常の種類に応じた動作を適切に行うことができない。

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、運転者の異常の種類に応じた動作を適切に行うことにある。

ここに開示する技術は、車両に設けられる車両制御装置に関し、この車両制御装置は、前記車両の運転者の注意機能の状態を検出する注意機能検出部と、前記運転者の眼球運動の状態を検出する眼球運動検出部と、前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備える。

前記の構成では、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。

前記車両制御装置において、前記車両制御部は、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行うように構成されてもよい。

前記の構成では、運転者の注意機能低下と、運転者の能動的な眼球運動とが検出された場合（すなわち運転者が体調異常の状態であるとみなせる場合）に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の受動的な眼球運動とが検出された場合（すなわち運転者が漫然状態であるとみなせる場合）に、運転者の漫然状態に応じた動作を行うことができる。

前記車両制御装置は、前記運転者の自律神経の状態を検出する自律神経検出部を備えてもよい。前記運転者の異常の種類は、前記体調異常と、前記漫然状態と、覚醒低下とを含んでもよい。前記車両制御部は、前記注意機能検出部による検出結果と、前記自律神経検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、前記運転者の異常の種類に応じた動作を行うように構成されてもよい。

前記の構成では、運転者の注意機能の状態と運転者の眼球運動の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。

前記車両制御装置において、前記車両制御部は、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の副交感神経の優位が検出された場合に、前記運転者の覚醒低下に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行うように構成されてもよい。

前記の構成では、運転者の注意機能低下と、運転者の副交感神経の優位とが検出された場合（すなわち運転者が覚醒低下の状態にあるとみなせる場合）に、運転者の覚醒低下に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の能動的な眼球運動とが検出された場合（すなわち運転者が体調異常の状態であるとみなせる場合）に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の受動的な眼球運動とが検出された場合（すなわち運転者が漫然状態であるとみなせる場合）に、運転者の漫然状態に応じた動作を行うことができる。

前記車両制御装置において、前記注意機能検出部は、前記車両の外部環境におけるサリエンシーの分布と前記運転者の視線移動とに基づいて、前記運転者の注意機能の状態を検出するように構成されてもよい。

前記の構成では、車両の外部環境のうち高サリエンシー領域（サリエンシーが比較的に高い領域）に運転者の視線が誘引される傾向の強さに基づいて、運転者の注意機能の状態を適切に検出することができる。

また、ここに開示する技術は、運転者の状態を判定する運転者状態判定方法に関し、この運転者状態判定方法は、前記運転者の注意機能の状態を検出する注意機能検出ステップと、前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備える。

前記の方法では、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。

ここに開示する技術によれば、運転者の異常の種類に応じた動作を適切に行うことができる。

実施形態による車両制御システムの構成を例示するブロック図である。 ヘッドアップディスプレイについて説明するための図である。 車両制御装置の要部を例示するブロック図である。 車両の前方領域を示す前方画像を例示する図である。 前方画像に車両の構成部材が重ねられた合成画像を例示する図である。 サリエンシーマップを例示する図である。 注視点におけるサリエンシーの変化を例示するグラフである。 ランダム点におけるサリエンシーの変化を例示するグラフである。 注視点におけるサリエンシーが閾値を超える確率とランダム点におけるサリエンシーが閾値を超える確率との関係を示すグラフである。 車両制御装置の動作を例示するフローチャートである。 車両制御装置の動作の変形例を例示するフローチャートである。

以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。

（車両制御システム）
図１は、実施形態による車両制御システム１０の構成を例示する。車両制御システム１０は、車両（具体的には自動四輪車）に設けられる。車両は、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム１０は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム１０は、車両に設けられたアクチュエータ１１を制御することで車両の動作（特に走行）を制御する。

車両制御システム１０は、情報取得部２０と、車両制御装置３０と、通知部４０と、ヘッドアップディスプレイ５０とを備える。なお、以下の説明では、車両制御システム１０が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。

〔アクチュエータ〕
アクチュエータ１１は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、モータ、トランスミッションが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。

〔情報取得部〕
情報取得部２０は、車両の制御（特に走行制御）に用いられる各種情報を取得する。この例では、情報取得部２０は、複数のカメラ２１と、複数のレーダ２２と、位置センサ２３と、外部入力部２４と、車両状態センサ２５と、運転操作センサ２６と、運転者状態センサ２７とを含む。

〈カメラ〉
複数のカメラ２１は、互いに同様の構成を有する。複数のカメラ２１は、車両の周囲を囲うように車両に設けられる。複数のカメラ２１の各々は、車両の周囲に広がる環境（車両の外部環境）の一部を撮像することで、車両の外部環境の一部を示す画像データを取得する。複数のカメラ２１の各々により得られた画像データは、車両制御装置３０に送信される。

この例では、カメラ２１は、広角レンズを有する単眼カメラである。例えば、カメラ２１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ２１は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。

〈レーダ〉
複数のレーダ２２は、互いに同様の構成を有する。複数のレーダ２２は、車両の周囲を囲うように車両に設けられる。複数のレーダ２２の各々は、車両の外部環境の一部を検出する。具体的には、レーダ２２は、車両の外部環境の一部へ向けて電波を送信して車両の外部環境の一部からの反射波を受信することで、車両の外部環境の一部を検出する。複数のレーダ２２の検出結果は、車両制御装置３０に送信される。

例えば、レーダ２２は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。

〈位置センサ〉
位置センサ２３は、車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ２３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ２３により得られた情報（車両の位置）は、車両制御装置３０に送信される。

〈外部入力部〉
外部入力部２４は、車両の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて情報を入力する。例えば、外部入力部２４は、車両の周囲に位置する他車両（図示省略）からの通信情報、ナビゲーションシステム（図示省略）からのカーナビゲーションデータ、交通情報、高精度地図情報などを受信する。外部入力部２４により得られた情報は、車両制御装置３０に送信される。

〈車両状態センサ〉
車両状態センサ２５は、車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ２５は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ２５により得られた情報（車両の状態）は、車両制御装置３０に送信される。

〈運転操作センサ〉
運転操作センサ２６は、車両に加えられる運転操作を検出する。例えば、運転操作センサ２６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ２６により得られた情報（車両の運転操作）は、車両制御装置３０に送信される。

〈運転者状態センサ〉
運転者状態センサ２７は、車両を運転する運転者の状態（例えば運転者の健康状態や感情や身体挙動など）を検出する。運転者状態センサ２７により得られた情報（運転者の状態）は、車両制御装置３０に送信される。この例では、運転者状態センサ２７は、車内カメラ２８と、生体情報センサ２９とを含む。

《車内カメラ》
車内カメラ２８は、車両の内部に設けられる。車内カメラ２８は、運転者の眼球を含む領域を撮像することで運転者の眼球を含む画像データを取得する。車内カメラ２８により得られた画像データは、車両制御装置３０に送信される。例えば、車内カメラ２８は、運転者の前方に配置され、運転者の眼球が撮像範囲内となるように撮像範囲が設定される。なお、車内カメラ２８は、運転者に装着されるゴーグル（図示を省略）に設けられてもよい。

《生体情報センサ》
生体情報センサ２９は、車両の内部に設けられる。生体情報センサ２９は、運転者の生体情報を検出する。なお、運転者の生体情報の例としては、発汗、心拍などが挙げられる。生体情報センサ２９により得られた情報（運転者の生体情報）は、車両制御装置３０に送信される。例えば、生体情報センサ２９は、運転者の発汗を検出する発汗センサであってもよいし、運転者の心拍を検出する心拍センサであってもよい。また、生体情報センサ２９は、運転者の手と接触する箇所（例えば後述するステアリングホイール７６）に配置されてもよいし、運転者の身体に装着される部材（図示省略）に設けられてもよい。

〔車両制御装置〕
車両制御装置３０は、アクチュエータ１１および車両制御システム１０の各部（この例では情報取得部２０と通知部４０とヘッドアップディスプレイ５０など）と電気的に接続される。そして、車両制御装置３０は、車両制御システム１０の各部により得られた情報に基づいてアクチュエータ１１および車両制御システム１０の各部を制御する。

例えば、車両制御装置３０は、アシスト運転または自動運転において、情報取得部２０により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置３０は、車両の運動が目標運動となるように、アクチュエータ１１の動作を制御する。

車両制御装置３０は、例えば、１つまたは複数の電子制御ユニット（ＥＣＵ）により構成される。電子制御ユニットは、単一のＩＣ（Integrated Circuit）により構成されてもよいし、複数のＩＣにより構成されてもよい。また、ＩＣ内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、ＣＰＵ（プロセッサ）と、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果などの情報を記憶するメモリとにより構成されてもよい。

この例では、車両制御装置３０は、車両挙動認識部３１と、運転操作認識部３２と、外部環境認識部３３と、運転者挙動認識部３４と、車両制御部３５とを有する。

〈車両挙動認識部〉
車両挙動認識部３１は、車両状態センサ２５の出力に基づいて車両の挙動（例えば速度や加速度やヨーレートなど）を認識する。例えば、車両挙動認識部３１は、深層学習により生成された学習モデルを用いて、車両状態センサ２５の出力から車両の挙動を示すデータを生成する。

〈運転操作認識部〉
運転操作認識部３２は、運転操作センサ２６の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部３２は、深層学習により生成された学習モデルを用いて、運転操作センサ２６の出力から車両に加えられる運転操作を示すデータを生成する。

〈外部環境認識部〉
外部環境認識部３３は、複数のカメラ２１の出力と、複数のレーダ２２の出力と、位置センサ２３の出力と、外部入力部２４の出力と、車両挙動認識部３１の出力に基づいて、車両の外部環境を認識する。例えば、外部環境認識部３３は、深層学習により生成された学習モデルを用いて、上記の出力から車両の外部環境を示すデータ（例えば三次元マップデータ）を生成する。外部環境認識部３３により認識される車両の外部環境には、物体が含まれている。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。

〈運転者挙動認識部〉
運転者挙動認識部３４は、運転者状態センサ２７の出力に基づいて運転者の挙動（例えば運転者の健康状態や感情や身体挙動など）を認識する。例えば、運転者挙動認識部３４は、深層学習により生成された学習モデルを用いて、運転者状態センサ２７の出力からドライバの挙動を示すデータを生成する。この例では、運転者挙動認識部３４は、運転者状態検出部３００を有する。運転者状態検出部３００については、後で詳しく説明する。

〈車両制御部〉
車両制御部３５は、車両挙動認識部３１の出力と、運転操作認識部３２の出力と、外部環境認識部３３の出力と、運転者挙動認識部３４の出力に基づいて、アクチュエータ１１を制御する。この例では、車両制御部３５は、走行制御と、通知制御とを行う。

《走行制御》
走行制御は、アシスト運転および自動運転において行われる。走行制御では、車両制御部３５は、車両の走行を制御する。この例では、車両制御部３５は、走行制御において、候補経路生成処理と、目標経路決定処理と、運動制御処理とを行う。

候補経路生成処理では、車両制御部３５は、外部環境認識部３３の出力に基づいて１つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。なお、この例では、候補経路生成処理により生成される候補経路には、安全経路が含まれる。安全経路は、安全領域（例えば路肩）へ向かう走行経路である。

目標経路決定処理では、車両制御部３５は、運転操作認識部３２の出力と、運転者挙動認識部３４の出力に基づいて、候補経路生成処理において生成された１つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、車両制御部３５は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。

運動制御処理では、車両制御部３５は、目標経路決定処理において目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ１１を制御する。例えば、車両制御部３５は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、車両制御部３５は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。

《通知制御》
通知制御では、車両制御部３５は、運転者に通知するための各種情報を出力する。この例では、車両制御部３５は、運転者に通知するための各種情報を通知部４０に出力する。

〔通知部〕
通知部４０は、車両の内部に設けられる。そして、通知部４０は、車両の運転者に各種情報を通知する。この例では、通知部４０は、表示部４１と、スピーカ４２とを含む。表示部４１は、各種情報を画像で出力する。スピーカ４２は、各種情報を音声で出力する。

〔ヘッドアップディスプレイ〕
ヘッドアップディスプレイ５０は、車両の内部に設けられる。ヘッドアップディスプレイ５０は、虚像５０ａを表示し、虚像５０ａを運転者に視認させる。これにより、車内に設けられた運転席に着座する運転者は、フロントウィンドウガラス６０よりも前方に虚像５０ａが存在していると視認する。虚像５０ａの仮想表示位置（運転者により虚像５０ａが存在していると視認される位置）と運転者との間の仮想距離は、予め定められた距離（例えば２ｍ程度）に設定されている。この例では、虚像５０ａは、車速と法定速度とを示す。

〔車両の前側の構成（車両構成部材）〕
図２に示すように、車両の前側には、フロントウィンドウガラス６０が設けられる。フロントウィンドウガラス６０は、２つのフロントピラートリム７１と、ルーフトリム７２と、インストルメントパネル７３とに囲まれる。２つのフロントピラートリム７１は、フロントウィンドウガラス６０の右側および左側の境界をそれぞれ構成する。２つのフロントピラートリム７１は、上側へ向かうに連れて互いに離間するように傾斜している。ルーフトリム７２およびインストルメントパネル７３は、フロントウィンドウガラス６０の上側および下側の境界をそれぞれ構成する。また、フロントウィンドウガラス６０の上側中央部には、バックミラー７４が設けられる。フロントピラートリム７１よりも車幅方向の外側には、サイドミラー７５が設けられる。インストルメントパネル７３には、表示部４１と、ヘッドアップディスプレイ５０と、ステアリングホイール７６とが設けられる。

この例では、２つのフロントピラートリム７１と、ルーフトリム７２と、インストルメントパネル７３と、バックミラー７４と、サイドミラー７５と、ステアリングホイール７６とが車両構成部材７０を構成する。車両構成部材７０は、車両を構成する部材であり、車内に設けられた運転席に着座する運転者が車外を見る場合に運転者の視線を遮る部材である。

〔サリエンシー〕
次に、以下の説明において用いられる「サリエンシー」について説明する。サリエンシーは、ボトムアップ性注意を誘引する視覚刺激の程度を示す値であり、色、輝度、方向、動きなどの特徴により変化する値である。例えば、画像に含まれる任意の領域とその領域の周囲の領域との間において色、輝度、方向、動きなどの特徴の違いが顕著になるに連れて、ボトムアップ性注意を誘引する視覚刺激が強くなり、その任意の領域におけるサリエンシーが高くなる。画像に含まれる任意の点（または領域）におけるサリエンシーが高くなるほど、その任意の点（または領域）に人の視線が惹きつけられやすくなる。

〔車両制御装置の要部〕
図３は、車両制御装置３０の要部の構成を例示する。この例では、運転者状態検出部３００は、注意機能検出部３０１と、自律神経検出部３０２と、眼球運動検出部３０３とを有する。

〈注意機能検出部〉
注意機能検出部３０１は、車両の運転者の注意機能の状態を検出する。そして、注意機能検出部３０１は、運転者の注意機能の状態を示す検出結果を出力する。注意機能検出部３０１の検出結果は、運転者の注意機能が低下していること、または、運転者の注意機能が低下していないこと（運転者の注意機能が正常であること）を示す。この例では、注意機能検出部３０１は、車両の外部環境におけるサリエンシーの分布と、車両の運転者の視線移動とに基づいて、運転者の注意機能の状態を検出する。具体的には、注意機能検出部３０１は、サリエンシーマップ生成部３１１と、視線検出部３１２と、演算部３１３とを有する。

《サリエンシーマップ生成部》
サリエンシーマップ生成部３１１は、複数のカメラ２１のうち車両の前方領域を撮像するカメラ２１の出力に基づいて、車両の外部環境におけるサリエンシーの分布を示すサリエンシーマップを生成する。この例では、サリエンシーマップ生成部３１１は、以下の手順により、サリエンシーマップを生成する。

まず、サリエンシーマップ生成部３１１は、複数のカメラ２１のうち車両の前方領域を撮像するカメラ２１の出力に基づいて、前方画像Ｄ１（画像データ）を取得する。図４に示すように、前方画像Ｄ１は、車両の前方領域を示す。図４の例では、前方画像Ｄ１に示される車両の外部環境には、車道１５０が含まれる。車道１５０には、他車両１６１が走行する。車道１５０の右側には、壁１６２が設けられる。壁１６２の右側には、樹木１６３と、丘１６４とが設けられる。車道１５０の左側には、森林１６５が設けられる。樹木１６３の右側には、建物１６６が設けられる。車道１５０と樹木１６３と丘１６４と森林１６５の上側には、空１６７が広がる。図４の例では、空１６７は、曇り空であり、ほぼ白色である。

次に、サリエンシーマップ生成部３１１は、前方画像Ｄ１に、構成部材画像（画像データ）を合成することにより、合成画像Ｄ２（画像データ）を生成する。構成部材画像は、車両構成部材７０（車内の運転者が車外を見る場合に運転者の視界を遮る車両の部材）を示す。例えば、車内に設けられた運転席から車両の前側をカメラで撮像することにより、構成部材画像を得ることができる。図５に示すように、合成画像Ｄ２では、車両の前方領域を示す前方画像Ｄ１に、車両構成部材７０が重ねられている。

次に、サリエンシーマップ生成部３１１は、合成画像に対してサリエンシーマップ生成処理を行うことにより、サリエンシーマップＤ３（画像データ）を生成する。なお、サリエンシーマップ生成処理には、サリエンシーディテクションなどの周知の技術を用いることができる。例えば、サリエンシーマップ生成部３１１は、色、輝度、方向、動きなどの特徴毎にサリエンシーマップを生成し、それらの特徴毎のサリエンシーマップを足し合わせることで、最終的なサリエンシーマップ（すべての特徴が反映されたサリエンシーマップ）を生成する。

図６に示すように、サリエンシーマップＤ３は、車両の外部環境におけるサリエンシーの分布を示す。サリエンシーマップＤ３の画素は、その画素の領域におけるサリエンシーを示す。図６の例では、ハッチングの濃淡によりサリエンシーの高低が示されている。ハッチングが濃くなるに連れて、そのハッチングが付された領域におけるサリエンシーが高くなる。

そして、サリエンシーマップ生成部３１１は、前方画像Ｄ１が更新される毎に、上記の手順によりサリエンシーマップＤ３を生成する。これにより、時系列順に並ぶ複数のサリエンシーマップＤ３が得られる。

《視線検出部》
視線検出部３１２は、車内カメラ２８の出力に基づいて、運転者の視線を検出する。この例では、視線検出部３１２は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことにより、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。例えば、視線検出部３１２は、車内カメラ２８により得られた画像（画像データ）の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。なお、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線および左眼の視線に基づいて導出される視線であってもよい。

《演算部》
演算部３１３は、サリエンシーマップ生成部３１１により生成されたサリエンシーマップと、視線検出部３１２により検出された運転者の視線の移動とに基づいて、運転者の注意機能の状態を検出する。

具体的には、演算部３１３は、車両の外部環境のうち高サリエンシー領域に運転者の視線が誘引される傾向（以下では「視線誘引傾向」と記載）の強さに基づいて、運転者の注意機能の状態を示す検出結果を出力する。高サリエンシー領域は、車両の外部環境のうちサリエンシーが比較的に高い領域であり、例えば、サリエンシーが予め定められた基準サリエンシーを上回る領域である。

例えば、演算部３１３は、視線誘引傾向の強さに応じて変化する指標値を求める。そして、演算部３１３は、指標値が予め定められた基準指標値を上回る場合（すなわち視線誘引傾向が比較的に強い場合）に、運転者の注意機能が低下していることを示す検出結果を出力する。また、演算部３１３は、指標値が基準指標値を上回らない場合（すなわち視線誘引傾向が比較的に弱い場合）に、運転者の注意機能が低下していないことを示す検出結果を出力する。

この例では、演算部３１３は、以下の手順により運転者の注意機能の状態を検出する。具体的には、演算部３１３は、予め定められた計測周期毎に、第１処理と、第２処理と、第３処理と、第４の処理と、第５処理を行う。

第１処理では、演算部３１３は、計測周期内に得られる複数のサリエンシーマップＤ３のうち２つ以上のサリエンシーマップＤ３の各々において注視点を検出し、注視点におけるサリエンシーを検出する。注視点は、サリエンシーマップＤ３における運転者の視線の位置（座標）を示す点である。例えば、演算部３１３は、視線検出部３１２により検出された運転者の視線の方向に基づいて、サリエンシーマップＤ３から注視点を検出する。なお、演算部３１３は、予め定められたサンプリング周期毎に、サリエンシーマップＤ３から運転者の視線の位置を注視点として検出するように構成されてもよい。または、演算部３１３は、停滞時間が予め定められた基準時間を上回る運転者の視線の位置を注視点として検出するように構成されてもよい。この第１処理により、所定時刻毎の注視点のサリエンシーが得られる。図７に示すように、注視点のサリエンシーは、時間の経過に応じて変化する。

第２処理では、演算部３１３は、計測周期内に得られる複数のサリエンシーマップＤ３のうち２つ以上のサリエンシーマップＤ３の各々においてランダム点を指定し、ランダム点におけるサリエンシーを検出する。ランダム点は、サリエンシーマップＤ３においてランダムに指定される位置（座標）を示す点である。なお、ランダム点は、複数のサリエンシーマップＤ３のうち第１処理により注視点が検出されるサリエンシーマップＤ３において指定されることが好ましい。すなわち、ランダム点におけるサリエンシーが検出される時刻は、注視点におけるサリエンシーが検出される時刻と一致していることが好ましい。この第２処理により、所定時刻毎のランダム点のサリエンシーが得られる。図８に示すように、ランダム点のサリエンシーは、時間の経過に応じて変化する。

次に、第３処理が行われる。第３処理では、演算部３１３は、第１処理により得られた計測周期内の所定時刻毎の注視点のサリエンシーと、第２処理により得られた計測周期内の所定時刻毎のランダム点のサリエンシーとに基づいて、「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との関係を示すＲＯＣ（Receiver Operating Characteristic）曲線を導出する。

具体的には、演算部３１３は、サリエンシーに関する閾値を最大値から最小値まで段階的に変更する。そして、演算部３１３は、閾値を変更する毎に、以下の処理を行う。

まず、演算部３１３は、計測周期内の所定時刻毎の注視点のサリエンシーのうち閾値を超える注視点のサリエンシーの数を求め、閾値を超える注視点のサリエンシーの数を計測周期内の注視点のサリエンシーの総数で除算することで、注視点のサリエンシーが閾値を超える確率を求める。また、演算部３１３は、計測周期内の所定時刻毎のランダム点のサリエンシーのうち閾値を超えるランダム点のサリエンシーの数を求め、閾値を超えるランダム点のサリエンシーの数を計測周期内のランダム点のサリエンシーの総数で除算することで、ランダム点のサリエンシーが閾値を超える確率を求める。

そして、演算部３１３は、閾値毎に求められた「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との組合せに基づいて、ＲＯＣ曲線を導出する。図９は、ＲＯＣ曲線を例示する。このＲＯＣ曲線は、運転者の視線が高サリエンシー領域に誘引される傾向の強さに応じて変化する。例えば、運転者の視線が高サリエンシー領域を向く傾向がある場合、ＲＯＣ曲線は、図９の第１曲線Ｃ１のように、傾きが１の直線（破線で示す直線）よりも上側に凸の曲線となる。一方、運転者の視線が低サリエンシー領域を向く傾向がある場合、ＲＯＣ曲線は、図９の第２曲線Ｃ２のように、傾きが１の直線（破線で示す直線）よりも下側に凸の曲線となる。なお、低サリエンシー領域は、車両の外部環境のうちサリエンシーが比較的に低い領域であり、例えば、サリエンシーが予め定められた基準サリエンシーを下回る領域である。

次に、第４処理が行われる。第４処理では、演算部３１３は、ＲＯＣ曲線の下側の面積であるＡＵＣ（Area Under the Curve）値を求める。例えば、図９の第１曲線Ｃ１がＲＯＣ曲線である場合、ＡＵＣ値は、図９のハッチングが付された領域の面積に相当する。このＡＵＣ値は、視線誘引傾向（車両の外部環境のうち高サリエンシー領域に運転者の視線が誘引される傾向）の強さに応じて変化する指標値である。例えば、運転者の視線が高サリエンシー領域を向く傾向が強くなるほど、ＡＵＣ値が大きくなり、運転者の視線が低サリエンシー領域を向く傾向が強くなるほど、ＡＵＣ値が小さくなる。

次に、第５処理では、演算部３１３は、ＡＵＣ値に基づいて、運転者の注意機能の状態を検出する。例えば、演算部３１３は、ＡＵＣ値が予め定められた基準ＡＵＣ値を上回る場合に、運転者の注意機能が低下していることを示す検出結果を出力する。また、演算部３１３は、ＡＵＣ値が予め定められた基準ＡＵＣ値を上回らない場合に、運転者の注意機能が低下していないことを示す検出結果を出力する。

〈自律神経検出部〉
自律神経検出部３０２は、運転者の自律神経の状態を検出する。そして、自律神経検出部３０２は、運転者の自律神経の状態を示す検出結果を出力する。自律神経検出部３０２の検出結果は、運転者の交感神経が優位であること、または、運転者の副交感神経が優位であることを示す。この例では、自律神経検出部３０２は、生体情報センサ２９により得られた運転者の生体情報に基づいて、運転者の状態を検出する。

なお、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の発汗量が多くなる傾向にある。したがって、自律神経検出部３０２は、生体情報センサ２９により得られた運転者の発汗量に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部３０２は、運転者の発汗量が予め定められた基準発汗量を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の発汗量が基準発汗量を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。

また、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の心拍が多くなる傾向にある。したがって、自律神経検出部３０２は、生体情報センサ２９により得られた運転者の心拍に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部３０２は、運転者の心拍が予め定められた基準心拍を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の心拍が基準心拍を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。

なお、自律神経検出部３０２は、生体情報センサ２９の出力の代わりに、車内カメラ２８の出力に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、運転者の交感神経が優位である場合、運転者の副交感神経が優位である場合よりも、運転者の瞳孔径が大きくなる傾向にある。したがって、自律神経検出部３０２は、車内カメラ２８により得られた画像データに基づいて、運転者の瞳孔径を検出し、運転者の瞳孔径に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。例えば、自律神経検出部３０２は、運転者の瞳孔径が予め定められた基準瞳孔径を上回る場合に、運転者の交感神経が優位であることを示す検出結果を出力し、運転者の瞳孔径が基準瞳孔径を上回らない場合に、運転者の副交感神経が優位であることを示す検出結果を出力する。

また、自律神経検出部３０２は、その他の周知の自律神経検出技術（交感神経および副交感神経のどちらが優位であるのかを検出する技術）を用いて、運転者の自律神経の状態を検出するように構成されてもよい。自律神経検出部３０２は、複数の自律神経検出技術の検出結果に基づいて、運転者の自律神経の状態を検出するように構成されてもよい。

〈眼球運動検出部〉
眼球運動検出部３０３は、運転者の眼球運動の状態を検出する。そして、眼球運動検出部３０３は、運転者の眼球運動の状態を示す検出結果を出力する。眼球運動検出部３０３の検出結果は、運転者の眼球運動が能動的であること、または、運転者の眼球運動が受動的であることを示す。この例では、眼球運動検出部３０３は、車内カメラ２８により得られた画像データに基づいて、運転者の眼球運動の状態を検出する。

なお、運転者の眼球運動が能動的である場合、運転者の眼球運動が受動的である場合よりも、運転者の視線移動の前後における瞳孔径の変化量が大きくなる傾向にある。したがって、眼球運動検出部３０３は、車内カメラ２８により得られた画像データに基づいて、運転者の視線移動と運転者の瞳孔径の変化量を求め、運転者の視線移動の前後における瞳孔径の変化量に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。例えば、眼球運動検出部３０３は、運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、運転者の眼球運動が能動的であることを示す検出結果を出力し、運転者の視線移動の前後における瞳孔径の変化量が基準変化量を上回らない場合に、運転者の眼球運動が受動的であることを示す検出結果を出力する。

また、運転者の眼球運動が能動的である場合、運転者の眼球運動が受動的である場合よりも、ヘッドアップディスプレイ５０により表示される虚像５０ａの仮想表示位置と運転者の両眼の焦点の位置との差が大きくなり、虚像５０ａの仮想表示位置から求められる運転者の理想的な輻輳角と運転者の実際の輻輳角との差が大きくなる傾向にある。なお、輻輳角は、右眼の視線と左目の視線とがなす角度である。運転者の理想的な輻輳角は、運転者の両眼の焦点位置と虚像５０ａの仮想表示位置とが一致しているときの運転者の輻輳角である。したがって、眼球運動検出部３０３は、車内カメラ２８により得られた画像データに基づいて、運転者の輻輳角を求め、運転者の輻輳角と予め定められた基準輻輳角との差に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。なお、基準輻輳角は、上記の運転者の理想的な輻輳角である。例えば、眼球運動検出部３０３は、運転者の輻輳角と基準輻輳角との差が予め定められた基準差を上回る場合に、運転者の眼球運動が能動的であることを示す検出結果を出力し、運転者の輻輳角と基準輻輳角との差が基準差を上回らない場合に、運転者の眼球運動が受動的であることを示す検出結果を出力する。

また、眼球運動検出部３０３は、その他の周知の眼球運動検出技術（眼球運動が能動的および受動的のどちらであるのかを検出する技術）を用いて、運転者の眼球運動の状態を検出するように構成されてもよい。眼球運動検出部３０３は、複数の眼球運動検出技術の検出結果に基づいて、運転者の眼球運動の状態を検出するように構成されてもよい。

〔運転者の異常〕
次に、運転者の異常について説明する。なお、運転者の「異常」な状態とは、車両の運転に適していない運転者の状態のことであり、運転者の「正常」な状態とは、車両の運転に適した運転者の状態のことである。以下では、運転者の異常の例として、体調異常と、覚醒低下と、漫然状態とを挙げている。

体調異常は、疾患により運転機能（特に注意機能）が低下した状態である。体調異常の例としては、脳卒中などの脳疾患、心筋梗塞などの心疾患、癲癇、低血糖などが挙げられる。覚醒低下は、覚醒レベルが低下した状態であり、居眠り状態である。漫然状態は、車両の運転に集中することができず、ぼんやりとしている状態である。

〔本願発明者らにより得られた知見〕
本願発明者らは、鋭意研究の結果、体調異常、覚醒低下、漫然状態の各々に、次のような特徴があることを見出した。

運転者が体調異常の状態である場合、運転者の注意機能の低下に加えて運転者の能動的な眼球運動が維持される。また、運転者が体調異常の状態である場合、運転者の注意機能の低下に加えて運転者の交感神経が優位になる。具体的には、運転者が体調異常の状態である場合、運転者の注意機能低下、運転者の交感神経の優位、運転者の能動的な眼球運動が観測される。

また、運転者が覚醒低下の状態である場合、運転者の注意機能の低下に加えて運転者の副交感神経が優位になる。具体的には、運転者が覚醒低下の状態である場合、運転者の注意機能低下、運転者の副交感神経の優位が観測される。

また、運転者が漫然状態である場合、運転者の注意機能の低下に加えて交感神経が優位になる。また、運転者が漫然状態である場合、運転者の注意機能の低下に加えて運転者の眼球運動が受動的となる。具体的には、運転者が漫然状態である場合、運転者の注意機能低下、運転者の交感神経の優位、運転者の受動的な眼球運動が観測される。

〔車両制御部の動作〕
次に、図１０を参照して、車両制御部３５の動作について説明する。例えば、車両制御部３５では、予め定められた周期で、以下の処理が繰り返し行われる。なお、車両制御部３５は、注意機能検出部３０１による検出結果と、自律神経検出部３０２による検出結果と、眼球運動検出部３０３による検出結果とを入力する。この車両制御部３５の動作は、運転者状態判定方法の判定ステップの一例である。

〈ステップＳＴ１１〉
まず、車両制御部３５は、注意機能検出部３０１（注意機能検出ステップ）により運転者の注意機能低下が検出されたか否かを判定する。運転者の注意機能低下が検出された場合には、ステップＳＴ１２へ進み、そうでない場合には、ステップＳＴ１７へ進む。

〈ステップＳＴ１２〉
注意機能検出部３０１により運転者の注意機能低下が検出された場合、車両制御部３５は、自律神経検出部３０２（自律神経検出ステップ）により運転者の交感神経の優位が検出されたか否かを判定する。運転者の交感神経の優位が検出された場合には、ステップＳＴ１３へ進み、そうでない場合には、ステップＳＴ１５へ進む。

〈ステップＳＴ１３〉
注意機能検出部３０１により運転者の注意機能低下が検出され、自律神経検出部３０２により運転者の交感神経の優位が検出された場合、車両制御部３５は、眼球運動検出部３０３（眼球運動検出ステップ）により運転者の能動的な眼球運動が検出されたか否かを判定する。運転者の能動的な眼球運動が検出された場合には、ステップＳＴ１４へ進み、そうでない場合には、ステップＳＴ１６へ進む。

〈ステップＳＴ１４〉
注意機能検出部３０１により運転者の注意機能低下が検出され、自律神経検出部３０２により運転者の交感神経の優位が検出され、眼球運動検出部３０３により運転者の能動的な眼球運動が検出された場合、車両制御部３５は、運転者が体調異常の状態であると判定する。そして、車両制御部３５は、運転者の体調異常に応じた動作を行う。

なお、運転者の体調異常に応じた動作の例としては、運転者が体調異常の状態であることを示す体調異常情報を出力する動作、運転者が体調異常の状態であることを車両の外部に通知するための動作、車両が安全経路を走行して安全領域で停車するようにアクチュエータ１１を制御する動作などが含まれる。体調異常情報を出力する動作の例としては、体調異常情報を通知部４０に出力することで運転者が体調異常の状態であることを通知する動作が挙げられる。運転者が体調異常の状態であることを車両の外部に通知するための動作の例としては、車両のハザードランプ（図示省略）を点滅させる動作が挙げられる。

〈ステップＳＴ１５〉
注意機能検出部３０１により運転者の注意機能低下が検出され、自律神経検出部３０２により運転者の副交感神経の優位が検出された場合、車両制御部３５は、運転者が覚醒低下の状態であると判定する。そして、車両制御部３５は、運転者の覚醒低下に応じた動作を行う。

なお、運転者の覚醒低下に応じた動作の例としては、運転者が覚醒低下の状態であることを示す覚醒低下情報を出力する動作、運転者の覚醒低下を解消するための動作などが挙げられる。覚醒低下情報を出力する動作の例としては、覚醒低下情報を通知部４０に出力することで運転者が覚醒低下の状態であることを通知する動作が挙げられる。運転者の覚醒低下を解消するための動作の例としては、運転者を覚醒させるための音声情報をスピーカ４２に出力することで運転者を覚醒させるための音声を出力する動作、休憩をとることを運転者に促すための情報を通知部４０に出力することで休憩をとることを運転者に促す動作などが挙げられる。

〈ステップＳＴ１６〉
注意機能検出部３０１により運転者の注意機能低下が検出され、自律神経検出部３０２により運転者の交感神経の優位が検出され、眼球運動検出部３０３により運転者の受動的な眼球運動が検出された場合、車両制御部３５は、運転者が漫然状態であると判定する。そして、車両制御部３５は、運転者の漫然状態に応じた動作を行う。

なお、運転者の漫然状態に応じた動作の例としては、運転者が漫然状態であることを示す漫然状態情報を出力する動作、運転者の漫然状態を解消するための動作などが挙げられる。漫然状態情報を出力する動作の例としては、漫然状態情報を通知部４０に出力することで運転者の漫然状態を通知する動作が挙げられる。運転者の漫然状態を解消するための動作の例としては、車両の運転に集中すること運転者に促すための情報を通知部４０に出力することで車両の運転に集中すること運転者に促す動作、休憩をとることを運転者に促すための情報を通知部４０に出力することで休憩をとることを運転者に促す動作などが挙げられる。

〈ステップＳＴ１７〉
注意機能検出部３０１により運転者の注意機能低下が検出されない場合、車両制御部３５は、運転者が正常な状態であると判定する。そして、車両制御部３５は、運転者の正常に応じた動作を継続する。

なお、運転者の正常に応じた動作の例としては、運転者が正常な状態であることを示す情報を出力する動作、走行制御を継続する動作などが挙げられる。

〔実施形態の効果〕
以上のように、注意機能検出部３０１による検出結果と、自律神経検出部３０２による検出結果と、眼球運動検出部３０３による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うことにより、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。

具体的には、運転者の注意機能低下と、運転者の副交感神経の優位とが検出された場合（すなわち運転者が覚醒低下の状態にあるとみなせる場合）に、運転者の覚醒低下に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の能動的な眼球運動とが検出された場合（すなわち運転者が体調異常の状態であるとみなせる場合）に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の交感神経の優位と、運転者の受動的な眼球運動とが検出された場合（すなわち運転者が漫然状態であるとみなせる場合）に、運転者の漫然状態に応じた動作を行うことができる。

また、運転者の注意機能の状態と、運転者の自律神経の状態と、運転者の眼球運動の状態とに基づいて、運転者の異常の種類を判定することにより、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。

また、車両の外部環境におけるサリエンシーの分布と車両の運転者の視線移動とに基づいて、運転者の注意機能の状態を検出することにより、車両の外部環境のうち高サリエンシー領域（サリエンシーが比較的に高い領域）に運転者の視線が誘引される傾向の強さに基づいて、運転者の注意機能の状態を適切に検出することができる。

（車両制御部の動作の変形例）
図１１に示すように、車両制御部３５は、注意機能検出部３０１による検出結果と、眼球運動検出部３０３による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うように構成されてもよい。言い換えると、自律神経検出部３０２が省略されてもよい。

図１１の例では、注意機能検出部３０１により運転者の注意機能低下が検出され、眼球運動検出部３０３により運転者の能動的な眼球運動が検出された場合に、ステップＳＴ１４の処理が行われる。ステップＳＴ１４では、車両制御部３５は、運転者が体調異常の状態であると判定し、運転者の体調異常に応じた動作を行う。

また、図１１の例では、注意機能検出部３０１により運転者の注意機能低下が検出され、眼球運動検出部３０３により運転者の能動的な眼球運動が検出された場合に、ステップＳＴ１６の処理が行われる。ステップＳＴ１６では、車両制御部３５は、運転者が漫然状態であると判定し、運転者の漫然異常に応じた動作を行う。

以上のように、注意機能検出部３０１による検出結果と、眼球運動検出部３０３による検出結果とに基づいて、運転者の異常の種類に応じた動作を行うことにより、運転者の注意機能の状態のみに基づいて動作を行う場合よりも、運転者の異常の種類に応じた動作を適切に行うことができる。

具体的には、運転者の注意機能低下と、運転者の能動的な眼球運動とが検出された場合（すなわち運転者が体調異常の状態であるとみなせる場合）に、運転者の体調異常に応じた動作を行うことができる。運転者の注意機能低下と、運転者の受動的な眼球運動とが検出された場合（すなわち運転者が漫然状態であるとみなせる場合）に、運転者の漫然状態に応じた動作を行うことができる。

また、運転者の注意機能の状態と、運転者の眼球運動の状態とに基づいて、運転者の異常の種類を判定することにより、運転者の注意機能の状態のみに基づいて運転者の異常を判定する場合よりも、運転者の異常の種類を適切に判定することができる。

（その他の実施形態）
以上の説明において、基準ＡＵＣ値などの基準値の設定は、実験などに基づいて行うことが可能である。また、基準発汗量などの基準量の設定は、実験などに基づいて行うことが可能である。

また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、ここに開示する技術、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

以上説明したように、ここに開示する技術は、車両制御装置として有用である。

１０ 車両制御システム
１１ アクチュエータ
２０ 情報取得部
２１ カメラ
２２ レーダ
２３ 位置センサ
２４ 外部入力部
２５ 車両状態センサ
２６ 運転操作センサ
２７ 運転者状態センサ
２８ 車内カメラ
２９ 生体情報センサ
３０ 車両制御装置
３１ 車両挙動認識部
３２ 運転操作認識部
３３ 外部環境認識部
３４ 運転者挙動認識部
３５ 車両制御部
４０ 通知部
４１ 表示部
４２ スピーカ
５０ ヘッドアップディスプレイ
３００ 運転者状態検出部
３０１ 注意機能検出部
３０２ 自律神経検出部
３０３ 眼球運動検出部
３１１ サリエンシーマップ生成部
３１２ 視線検出部
３１３ 演算部

Claims (7)

1. 車両に設けられる車両制御装置であって、
   前記車両の運転者の注意機能の状態を検出する注意機能検出部と、
   前記運転者の眼球運動の状態を検出する眼球運動検出部と、
   前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備え、
   前記眼球運動検出部は、前記運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の視線移動の前後における瞳孔径の変化量が前記基準変化量を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
   前記車両制御部は、
   前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、
   前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う
   ことを特徴とする車両制御装置。
2. 車両に設けられる車両制御装置であって、
   前記車両の運転者の注意機能の状態を検出する注意機能検出部と、
   前記運転者の眼球運動の状態を検出する眼球運動検出部と、
   前記注意機能検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類に応じた動作を行う車両制御部とを備え、
   前記眼球運動検出部は、前記運転者の輻輳角と予め定められた基準輻輳角との差が予め定められた基準差を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の輻輳角と前記基準輻輳角との差が前記基準差を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
   前記車両制御部は、
   前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、
   前記注意機能検出部により前記運転者の注意機能低下が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う
   ことを特徴とする車両制御装置。
3. 請求項１または２において、
   前記運転者の自律神経の状態を検出する自律神経検出部を備え、
   前記運転者の異常の種類は、前記体調異常と、前記漫然状態と、覚醒低下とを含み、
   前記車両制御部は、前記注意機能検出部による検出結果と、前記自律神経検出部による検出結果と、前記眼球運動検出部による検出結果とに基づいて、前記運転者の異常の種類に応じた動作を行う
   ことを特徴とする車両制御装置。
4. 請求項３において、
   前記車両制御部は、
   前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の副交感神経の優位が検出された場合に、前記運転者の覚醒低下に応じた動作を行い、
   前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の能動的な眼球運動が検出された場合に、前記運転者の体調異常に応じた動作を行い、
   前記注意機能検出部により前記運転者の注意機能低下が検出され、前記自律神経検出部により前記運転者の交感神経の優位が検出され、前記眼球運動検出部により前記運転者の受動的な眼球運動が検出された場合に、前記運転者の漫然状態に応じた動作を行う
   ことを特徴とする車両制御装置。
5. 請求項１～４のいずれか１つにおいて、
   前記注意機能検出部は、前記車両の外部環境におけるサリエンシーの分布と前記運転者の視線移動とに基づいて、前記運転者の注意機能の状態を検出する
   ことを特徴とする車両制御装置。
6. コンピュータにより運転者の状態を判定する運転者状態判定方法であって、
   前記運転者の注意機能の状態を検出する注意機能検出ステップと、
   前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、
   前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備え、
   前記眼球運動検出ステップでは、前記運転者の視線移動の前後における瞳孔径の変化量が予め定められた基準変化量を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の視線移動の前後における瞳孔径の変化量が前記基準変化量を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
   前記判定ステップでは、
   前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の能動的な眼球運動が検出された場合に、前記運転者が体調異常の状態であると判定し、
   前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の受動的な眼球運動が検出された場合に、前記運転者が漫然状態であると判定する
   ことを特徴とする運転者状態判定方法。
7. コンピュータにより運転者の状態を判定する運転者状態判定方法であって、
   前記運転者の注意機能の状態を検出する注意機能検出ステップと、
   前記運転者の眼球運動の状態を検出する眼球運動検出ステップと、
   前記注意機能検出ステップによる検出結果と、前記眼球運動検出ステップによる検出結果とに基づいて、体調異常と漫然状態とを含む前記運転者の異常の種類を判定する判定ステップとを備え、
   前記眼球運動検出ステップでは、前記運転者の輻輳角と予め定められた基準輻輳角との差が予め定められた基準差を上回る場合に、前記運転者の眼球運動が能動的であると検出し、前記運転者の輻輳角と前記基準輻輳角との差が前記基準差を上回らない場合に、前記運転者の眼球運動が受動的であると検出し、
   前記判定ステップでは、
   前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の能動的な眼球運動が検出された場合に、前記運転者が体調異常の状態であると判定し、
   前記注意機能検出ステップにより前記運転者の注意機能低下が検出され、前記眼球運動検出ステップにより前記運転者の受動的な眼球運動が検出された場合に、前記運転者が漫然状態であると判定する
   ことを特徴とする運転者状態判定方法。

Images