JP7331729B2 - 運転者状態推定装置 - Google Patents

Description

ここに開示する技術は、運転者状態推定装置に関する。

特許文献１には、運転者の状態を判定する運転者状態判定装置が開示されている。この運転者状態判定装置は、運転者の視線方向を検出する視線検出手段と、この視線検出手段の検出結果より予め定められた時間内の視線方向の頻度分布を視線頻度分布として計算する視線頻度分布計算手段と、視線頻度分布のパタ－ンを識別することにより運転者の心理的または生理的状態を判断する運転者状態判断手段を備える。

特許第３０２７７８６号公報

特許文献１の運転者状態判定装置では、運転者の視線が一点に集中しているとみなされる場合に、運転者が「ぼんやり状態」であると判定される。なお、前方車両との距離が安全な車間距離ではない場合は、運転者が前方車両を注視しているとみなされ、運転者が「ぼんやり状態」であると判定されない。

しかしながら、特許文献１の装置のように、運転者の視線が一点に集中している度合いと前方車両との距離とに基づいて運転者の状態を推定する手法では、運転者の疾患などに起因する運転者の注意機能低下状態を推定することができない。そのため、運転者の状態の推定精度を向上させることが困難である。

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、運転者の状態の推定精度を向上させることにある。

ここに開示する技術は、移動体に搭乗する運転者の状態を推定する運転者状態推定装置に関し、この運転者状態推定装置は、前記運転者の周囲環境のうち前記運転者のトップダウン注意が支配的となる第１領域において、前記運転者のトップダウン注意に割り当てられる注意資源の量であるトップダウン注意資源量と相関のある第１指標値を計測する第１計測部と、前記運転者の周囲環境のうち前記運転者のボトムアップ注意が支配的となる第２領域において、前記運転者のボトムアップ注意に割り当てられる注意資源の量であるボトムアップ注意資源量と相関のある第２指標値を計測する第２計測部と、前記第１領域における前記第１指標値と、前記第２領域における前記第２指標値とに基づいて、前記運転者の注意機能低下状態を含む前記運転者の状態を推定する推定部とを備える。前記運転者が前記注意機能低下状態であるときの前記運転者の前記トップダウン注意資源量と前記ボトムアップ注意資源量との総量である注意資源総量は、前記運転者が正常状態であるときの前記運転者の前記注意資源総量よりも少ない。前記推定部は、前記第１指標値が予め定められた第１閾値を下回る場合において、前記第２指標値が予め定められた第２閾値を下回る場合に、前記運転者が前記注意機能低下状態であると推定し、前記第２指標値が前記第２閾値を下回らない場合に、前記運転者が前記注意機能低下状態であると推定しない。

前記の構成では、運転者のトップダウン注意が支配的となる第１領域における運転者のトップダウン注意資源量（トップダウン注意に割り当てられる注意資源の量）と、運転者のボトムアップ注意が支配的となる第２領域における運転者のボトムアップ注意資源量（ボトムアップ注意に割り当てられる注意資源の量）とに基づいて、運転者の注意機能低下状態を含む運転者の状態を推定することができる。また、トップダウン注意資源量およびボトムアップ注意資源量の一方のみに基づいて運転者の状態を推定する場合よりも、運転者の状態の推定精度を向上させることができる。

前記運転者状態推定装置において、前記運転者が漫然状態であるときの前記運転者のトップダウン注意資源量は、前記運転者が前記正常状態であるときの前記運転者のトップダウン注意資源量よりも少なくてもよい。前記運転者が前記漫然状態であるときの前記運転者のボトムアップ注意資源量は、前記運転者が前記正常状態であるときの前記運転者のボトムアップ注意資源量よりも多くてもよい。前記推定部は、前記第１指標値が前記第１閾値を下回る場合において、前記第２指標値が前記第２閾値を下回らない場合に、前記運転者が前記漫然状態であると推定してもよい。

前記運転者状態推定装置は、前記運転者の視線を検出する視線検出部を備えてもよい。また、前記第１計測部は、前記運転者の周囲環境における注目箇所を検出する注目箇所検出部と、前記運転者の周囲環境における注目箇所に対する前記運転者の視線の動きに基づいて、前記第１領域における前記第１指標値を導出する第１指標導出部とを有してもよい。前記第２計測部は、前記運転者の周囲環境におけるサリエンシーの分布を検出するサリエンシー検出部と、前記運転者の周囲環境におけるサリエンシーの分布に対する前記運転者の視線の動きに基づいて、前記第２領域における前記第２指標値を導出する第２指標導出部とを有してもよい。

前記の構成では、運転者の周囲環境における注目箇所に対する運転者の視線の動きに基づいて、第１領域における第１指標値を適切に導出することができる。また、運転者の周囲環境におけるサリエンシーの分布に対する運転者の視線の動きに基づいて、第２領域における第２指標値を適切に導出することができる。

前記運転者状態推定装置において、前記第１領域は、前記運転者の周囲環境のうち前記移動体の運転中に前記運転者により注視される頻度が高い領域であってもよい。

前記の構成では、運転者の周囲環境のうち移動体の運転中に運転者により注視される頻度が高い領域を第１領域に設定することにより、運転者のトップダウン注意が支配的となる第１領域を適切に設定することができる。

ここに開示する技術によれば、運転者の状態の推定精度を向上させることができる。

実施形態の車両制御システムの構成を例示するブロック図である。 車両の前側の構成を例示する図である。 運転者状態推定部の構成を例示するブロック図である。 車両の前方領域を示す前方画像を例示する図である。 前方画像に車両の構成部材が重ねられた合成画像を例示する図である。 注目箇所の分布を示す注目箇所マップを例示する図である。 サリエンシーの分布を示すサリエンシーマップを例示する図である。 注視点におけるサリエンシーの変化を例示するグラフである。 ランダム点におけるサリエンシーの変化を例示するグラフである。 注視点におけるサリエンシーが閾値を超える確率とランダム点におけるサリエンシーが閾値を超える確率との関係を示すグラフである。 ドライビングシミュレータを例示する斜視図である。 健常者のサリエンシー指標値の変化を例示するグラフである。 注意障害患者のサリエンシー指標値の変化を例示するグラフである。 トップダウン注意およびボトムアップ注意の各々に割り当てられる注意資源の量の変化について説明するための図である。 トップダウン注意が支配的となる第１領域とボトムアップ注意が支配的となる第２領域とを例示する図である。 運転者状態推定について説明するためのフローチャートである。 運転者状態推定の変形例について説明するためのフローチャートである。

以下、図面を参照して実施の形態を詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。

（車両制御システム）
図１は、実施形態の車両制御システム１０の構成を例示する。この車両制御システム１０は、車両（具体的には自動四輪車）に設けられる。車両は、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム１０は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム１０は、車両に設けられたアクチュエータ１１を制御することで車両の動作（特に走行）を制御する。なお、車両制御システム１０は、移動体に設けられる移動体制御システムの一例である。

この例では、車両制御システム１０は、情報取得部２０と、車両制御装置３０と、通知部４０とを備える。以下の説明では、車両制御システム１０が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。

〔アクチュエータ〕
アクチュエータ１１は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、トランスミッション、モータが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。

〔情報取得部〕
情報取得部２０は、車両の制御に用いられる各種情報を取得する。この例では、情報取得部２０は、複数のカメラ２１と、複数のレーダ２２と、位置センサ２３と、通信部２４と、車両状態センサ２５と、運転操作センサ２６と、運転者状態センサ２７とを含む。

〈カメラ〉
複数のカメラ２１は、互いに同様の構成を有する。複数のカメラ２１は、複数のカメラ２１の撮像エリアが車両の周囲を囲うように車両に設けられる。複数のカメラ２１は、車両の周囲に広がる環境（外部環境）を撮像することで、外部環境を示す画像データを取得する。複数のカメラ２１の各々により得られた画像データは、車両制御装置３０に送信される。

この例では、カメラ２１は、広角レンズを有する単眼カメラである。例えば、カメラ２１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ２１は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。

〈レーダ〉
複数のレーダ２２は、互いに同様の構成を有する。複数のレーダ２２は、複数のレーダ２２の探索エリアが車両の周囲を囲うように車両に設けられる。複数のレーダ２２は、外部環境を検出する。具体的には、レーダ２２は、車両の外部環境へ向けて探索波を送信して外部環境からの反射波を受信することで外部環境を検出する。複数のレーダ２２の検出結果は、車両制御装置３０に送信される。

例えば、レーダ２２は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。

〈位置センサ〉
位置センサ２３は、車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ２３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ２３により得られた情報（車両の位置）は、車両制御装置３０に送信される。

〈通信部〉
通信部２４は、車両の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて情報を受信する。例えば、通信部２４は、車両の周囲に位置する他車両（図示省略）からの通信情報、ナビゲーションシステム（図示省略）からのカーナビゲーションデータ、交通情報、ダイナミックマップなどの高精度地図情報などを受信する。通信部２４により得られた情報は、車両制御装置３０に送信される。

〈車両状態センサ〉
車両状態センサ２５は、車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ２５は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ２５により得られた情報（車両の状態）は、車両制御装置３０に送信される。

〈運転操作センサ〉
運転操作センサ２６は、車両に加えられる運転操作を検出する。例えば、運転操作センサ２６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のステアリングホイールの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ２６により得られた情報（車両の運転操作）は、車両制御装置３０に送信される。

〈運転者状態センサ〉
運転者状態センサ２７は、車両に搭乗する運転者の状態（例えば運転者の身体挙動や生体情報など）を検出する。運転者状態センサ２７により得られた情報（運転者の状態）は、車両制御装置３０に送信される。この例では、運転者状態センサ２７は、車内カメラ２８と、生体情報センサ２９とを含む。

《車内カメラ》
車内カメラ２８は、車両の内部に設けられる。車内カメラ２８は、運転者を含む領域を撮像することで運転者を含む画像データを取得する。車内カメラ２８により得られた画像データは、車両制御装置３０に送信される。この例では、車内カメラ２８は、運転者の前方に配置され、運転者の顔（特に眼球）が撮像範囲内に位置するように撮像範囲が設定される。なお、車内カメラ２８は、運転者に装着されるゴーグル（図示省略）に設けられてもよい。

《生体情報センサ》
生体情報センサ２９は、車両の内部に設けられる。生体情報センサ２９は、運転者の生体情報を検出する。なお、運転者の生体情報の例としては、発汗、心拍、血流量、皮膚温などが挙げられる。生体情報センサ２９により得られた情報（運転者の生体情報）は、車両制御装置３０に送信される。例えば、生体情報センサ２９は、運転者の手と接触する箇所（例えば後述するステアリングホイール７６）に配置されてもよいし、運転者の身体に装着される部材（図示省略）に設けられてもよい。

〔車両制御装置〕
車両制御装置３０は、アクチュエータ１１および車両制御システム１０の各部（この例では情報取得部２０と通知部４０など）と信号伝送可能に接続される。そして、車両制御装置３０は、車両制御システム１０の各部により得られた情報に基づいてアクチュエータ１１および車両制御システム１０の各部を制御する。具体的には、車両制御装置３０は、アシスト運転または自動運転において、情報取得部２０により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置３０は、車両の運動が目標運動となるように、アクチュエータ１１の動作を制御する。なお、車両制御装置３０は、運転者状態推定装置の一例である。

例えば、車両制御装置３０は、１つまたは複数の電子制御ユニット（ＥＣＵ）により構成される。電子制御ユニットは、単一のＩＣ（Integrated Circuit）により構成されてもよいし、複数のＩＣにより構成されてもよい。また、ＩＣ内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、ＣＰＵ（プロセッサ）と、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果などの情報を記憶するメモリとにより構成されてもよい。

この例では、車両制御装置３０は、車両挙動認識部３１と、運転操作認識部３２と、外部環境認識部３３と、運転者状態認識部３４と、車両制御部３５とを有する。

〈車両挙動認識部〉
車両挙動認識部３１は、車両状態センサ２５の出力に基づいて車両の挙動（例えば速度や加速度やヨーレートなど）を推定する。例えば、車両挙動認識部３１は、深層学習により生成された学習モデルを用いて、車両状態センサ２５の出力から車両の挙動を示すデータを生成する。

〈運転操作認識部〉
運転操作認識部３２は、運転操作センサ２６の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部３２は、深層学習により生成された学習モデルを用いて、運転操作センサ２６の出力から車両に加えられる運転操作を示すデータを生成する。

〈外部環境認識部〉
外部環境認識部３３は、複数のカメラ２１の出力と、複数のレーダ２２の出力と、位置センサ２３の出力と、通信部２４の出力と、車両挙動認識部３１の出力に基づいて、車両の外部環境を認識する。

例えば、外部環境認識部３３は、深層学習により生成された学習モデルを用いて、上記の出力から車両の外部環境を示すデータを生成する。深層学習では、多層ニューラルネットワーク（Deep Neural Network）が用いられる。多層ニューラルネットワークの例としては、ＣＮＮ（Convolutional Neural Network）が挙げられる。

具体的には、外部環境認識部３３は、複数のカメラ２１により得られた画像データに対して画像処理を行うことにより、車両が移動可能な道路を表す道路マップデータ（例えば三次元マップデータ）を生成する。また、外部環境認識部３３は、複数のレーダ２２の検出結果に基づいて、車両の周辺に存在する物体に関する情報である物体情報を取得する。物体情報には、物体の位置座標、物体の速度などが含まれる。なお、外部環境認識部３３は、複数のカメラ２１により得られた画像データに基づいて物体情報を取得してもよい。そして、外部環境認識部３３は、道路マップデータと物体情報とを統合することで、外部環境を表す統合マップデータ（三次元マップデータ）を生成する。

道路マップデータには、道路の形状、道路の構造、道路の勾配、区画線、路面標示などに関する情報が含まれる。物体情報には、静的物体情報と、動的物体情報とが含まれる。静的物体情報は、時間経過により変位しない静止体に関する情報である。静的物体情報には、静止体の形状、静止体の位置座標などに関する情報が含まれる。静止体の例としては、道路標識、構造物などが挙げられる。構造物の例としては、信号機、中央分離帯、センターポール、建物、看板、踏切、トンネル、軌道敷、バス停留所などが挙げられる。動的物体情報は、時間経過により変位する可能性がある動体に関する情報である。動的物体情報には、動体の形状、動体の位置座標、動体の速度などに関する情報が含まれる。動体の例としては、他車両、歩行者などが挙げられる。

なお、通信部２４により受信される高精度地図情報に、道路マップデータと物体情報が含まれていてもよい。この場合、外部環境認識部３３は、高精度地図情報に含まれる道路マップデータと物体情報に基づいて統合マップデータを生成し、複数のカメラ２１や複数のレーダ２２などの情報取得部２０の出力に基づいて統合マップデータを適宜補正するように構成されてもよい。例えば、外部環境認識部３３は、複数のカメラ２１の出力および複数のレーダ２２の出力に基づいて認識された物体が統合マップデータに含まれていない場合に、その物体に関する物体情報を統合マップデータに追加してもよい。また、外部環境認識部３３は、統合マップデータに含まれる物体が複数のカメラ２１の出力および複数のレーダ２２の出力に基づいて認識されない場合に、その物体に関する物体情報を統合マップデータから削除してもよい。

〈運転者状態認識部〉
運転者状態認識部３４は、運転者状態センサ２７の出力に基づいて運転者の状態（例えば運転者の健康状態や感情や姿勢など）を認識する。例えば、運転者状態認識部３４は、深層学習により生成された学習モデルを用いて、運転者状態センサ２７の出力から運転者の状態を示すデータを生成する。この例では、運転者状態認識部３４は、運転者状態推定部３００を有する。運転者状態推定部３００については、後で詳しく説明する。

〈車両制御部〉
車両制御部３５は、車両挙動認識部３１の出力と、運転操作認識部３２の出力と、外部環境認識部３３の出力と、運転者状態認識部３４の出力に基づいて、アクチュエータ１１を制御する。この例では、車両制御部３５は、走行制御と、通知制御とを行う。

《走行制御》
走行制御は、アシスト運転および自動運転において行われる。走行制御では、車両制御部３５は、車両の走行を制御する。この例では、車両制御部３５は、走行制御において、候補経路生成処理と、目標経路決定処理と、運動制御処理とを行う。

候補経路生成処理では、車両制御部３５は、外部環境認識部３３の出力に基づいて１つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。なお、この例では、候補経路生成処理により生成される候補経路には、安全経路が含まれる。安全経路は、安全領域（例えば路肩）へ向かう走行経路である。

例えば、候補経路生成処理において、車両制御部３５は、外部環境認識部３３の出力（統合マップデータ）に基づいて、車両の進行方向前方の道路と道路上に存在する物体とを含む走行マップデータ（二次元マップデータ）を生成する。そして、車両制御部３５は、ステートラティス法を用いて候補経路を生成する。具体的には、車両制御部３５は、走行マップデータの道路上に多数のグリッド点からなるグリッド領域を設定し、車両の進行方向へ向けて複数のグリッド点を順に連結することで複数の走行経路を設定する。また、車両制御部３５は、複数の走行経路の各々に経路コストを付与する。例えば、ある走行経路における車両の安全性が高くなるに連れて、その走行経路に付与される経路コストが小さくなる。そして、車両制御部３５は、複数の走行経路の各々に付与された経路コストに基づいて、複数の走行経路の中から１つまたは複数の走行経路を候補経路として選択する。

目標経路決定処理では、車両制御部３５は、運転操作認識部３２の出力と、運転者状態認識部３４の出力に基づいて、候補経路生成処理において生成された１つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、車両制御部３５は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。

運動制御処理では、車両制御部３５は、目標経路決定処理において目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ１１を制御する。例えば、車両制御部３５は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、車両制御部３５は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。

《通知制御》
通知制御では、車両制御部３５は、運転者に通知するための各種情報を出力する。この例では、車両制御部３５は、運転者に通知するための各種情報を通知部４０に出力する。

〔通知部〕
通知部４０は、車両の内部に設けられる。そして、通知部４０は、車両の運転者に各種情報を通知する。この例では、通知部４０は、表示部４１と、スピーカ４２とを含む。表示部４１は、各種情報を画像で出力する。スピーカ４２は、各種情報を音声で出力する。

〔車両の前側の構成（車両構成部材）〕
図２に示すように、車両の前側には、フロントウィンドウガラス６０が設けられる。フロントウィンドウガラス６０は、２つのフロントピラートリム７１と、ルーフトリム７２と、インストルメントパネル７３とに囲まれる。２つのフロントピラートリム７１は、フロントウィンドウガラス６０の右側および左側の境界をそれぞれ構成する。２つのフロントピラートリム７１は、上側へ向かうに連れて互いに離間するように傾斜している。ルーフトリム７２およびインストルメントパネル７３は、フロントウィンドウガラス６０の上側および下側の境界をそれぞれ構成する。また、フロントウィンドウガラス６０の上側中央部には、バックミラー７４が設けられる。フロントピラートリム７１よりも車幅方向の外側には、サイドミラー７５が設けられる。インストルメントパネル７３には、表示部４１と、ステアリングホイール７６と、メータークラスタ７７とが設けられる。

この例では、２つのフロントピラートリム７１と、ルーフトリム７２と、インストルメントパネル７３と、バックミラー７４と、サイドミラー７５と、ステアリングホイール７６とが車両構成部材７０を構成する。車両構成部材７０は、車両を構成する部材であり、車内に設けられた運転席に着座する運転者が車外を見る場合に運転者の視線を遮る部材である。

〔用語の説明〕
次に、以下の説明において用いられる用語について説明する。以下の説明では、注意資源、トップダウン注意、トップダウン注意資源量、トップダウン注意ディマンド量、ボトムアップ注意、ボトムアップ注意資源量、ボトムアップ注意ディマンド量、タスクディマンド、注目箇所、サリエンシーという用語が用いられる。

〈注意資源〉
注意資源は、人（運転者）の注意力を定量的に示す概念である。人の注意力は、有限の資源であると考えることができる。ある対象に対する注意に割り当てられる注意資源の量が不足している場合、その対象に対して人の注意力を十分に発揮することができず、その対象に対する人の注意が不十分となる。

〈トップダウン注意〉
トップダウン注意は、人が意図する箇所に視線を能動的に移動させる注意メカニズムのことである。例えば、選ぶべき刺激について事前知識をもっている場合、人は、能動的にバイアスをかけることによって目的とする刺激を選択することができる。

〈トップダウン注意資源量とトップダウン注意ディマンド量〉
トップダウン注意資源量は、人のトップダウン注意に割り当てられる注意資源の量のことである。トップダウン注意ディマンド量は、人のトップダウン注意に対して要求される注意資源の量のことである。トップダウン注意資源量がトップダウン注意ディマンド量を下回ると、トップダウン注意が不十分となる。

〈ボトムアップ注意〉
ボトムアップ注意は、目立つ箇所に人の視線が受動的に惹きつけられる注意メカニズムのことである。例えば、複数の視覚刺激のうち１つの刺激が周囲の刺激と顕著に異なる場合、視覚刺激が突然出現した場合など、その刺激に対して人の視線が受動的に惹きつけられる。

〈ボトムアップ注意資源量とボトムアップ注意ディマンド量〉
ボトムアップ注意資源量は、人のボトムアップ注意に割り当てられる注意資源の量のことである。ボトムアップ注意ディマンド量は、人のボトムアップ注意に対して要求される注意資源の量のことである。ボトムアップ注意資源量がボトムアップ注意ディマンド量を下回ると、ボトムアップ注意が不十分となる。

〈タスクディマンド〉
タスクディマンドは、運転タスクの難易度のことである。運転タスクの難易度が高くなるに連れて、タスクディマンドが大きくなる。運転タスクは、車両を運転する運転者に課せられる仕事のことである。運転タスクには、車両の外部に関する外部タスクと、車両の内部に関する内部タスクとが含まれる。外部タスクの例としては、状況監視、危険回避、車速保持/調節、車線保持/調節、交通ルール遵守、目的地探索などが挙げられる。状況監視では、運転者の目視による車両の前方の確認、バックミラー７４およびサイドミラー７５を用いた車両の後方の確認が行われる。危険回避では、他車両、歩行者、路側物などの障害物の確認、危険回避のための運転操作が行われる。車速保持/調節では、自車両の前方を走行する他車両、道路勾配、道路線形などの確認、車速保持/調節のための運転操作が行われる。車線保持/調節では、道路線形、区画線、路肩などの確認、車線保持/調節のための運転操作が行われる。交通ルール遵守では、信号機、道路標識、路面標示などの確認が行われる。目的地探索では、目的地を示す看板などの確認が行われる。内部タスクの例としては、メータークラスタ７７などの表示機器の確認、ナビゲーションシステムなどの操作機器の確認などが挙げられる。例えば、高速道路などの確認すべき箇所が少ない単調な運転シーンでは、タスクディマンドが小さくなり、市街地道路などの確認すべき箇所が多い複雑な運転シーンでは、タスクディマンドが大きくなる。

〈注目箇所〉
注目箇所は、車両に搭乗する運転者の周囲に広がる環境（以下では「運転者の周囲環境」と記載）において、運転者が注目すべき箇所のことである。注目箇所は、トップダウン注意において運転者が意図的に視線を向けるべき箇所である。注目箇所は、車両の運転シーン毎に定めることが可能である。注目箇所の例としては、バックミラー７４、サイドミラー７５、メータークラスタ７７、他車両、歩行者、路側物、区画線、路肩、信号機、道路標識、路面標示などが挙げられる。なお、注目箇所は、経験的に定められてもよい。例えば、歩行者の飛び出しが予測される交差点が注目箇所に設定されてもよい。

〈サリエンシー〉
サリエンシーは、ボトムアップ注意を誘引する視覚刺激の度合いを示す値であり、色、輝度、方向、動きなどの特徴により変化する値である。例えば、画像に含まれる任意の領域とその領域の周囲の領域との間において色、輝度、方向、動きなどの特徴の違いが顕著になるに連れて、ボトムアップ注意を誘引する視覚刺激が強くなり、その任意の領域におけるサリエンシーが高くなる。画像に含まれる任意の箇所におけるサリエンシーが高くなるほど、その任意の箇所に人の視線が惹きつけられやすくなる。

〔運転者状態推定部の構成〕
図３は、運転者状態推定部３００の構成を例示する。運転者状態推定部３００は、視線検出部３１０と、第１計測部３２０と、第２計測部３３０と、推定部３４０とを有する。

〈視線検出部〉
視線検出部３１０は、運転者の視線を検出する。この例では、視線検出部３１０は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことにより、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。例えば、視線検出部３１０は、車内カメラ２８により得られた画像（画像データ）の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。なお、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線および左眼の視線に基づいて導出される視線であってもよい。

〈第１計測部〉
第１計測部３２０は、運転者の周囲環境のうち運転者のトップダウン注意が支配的となる第１領域Ｒ１０において、運転者のトップダウン注意資源量と相関のある第１指標値ｉｄ１を計測する。運転者のトップダウン注意資源量が多くなるに連れて、第１領域Ｒ１０における第１指標値ｉｄ１が大きくなる。なお、第１領域Ｒ１０については、後で詳しく説明する。この例では、第１計測部３２０は、注目箇所検出部３２１と、第１指標導出部３２２とを有する。

《注目箇所検出部》
注目箇所検出部３２１は、運転者の周囲環境における注目箇所を検出する。この例では、注目箇所検出部３２１は、複数のカメラ２１のうち車両の前方領域を撮像するカメラ２１の出力に基づいて、運転者の周囲環境における注目箇所を示す注目箇所マップデータＤ３を生成する。具体的には、注目箇所検出部３２１は、以下の手順により、注目箇所マップデータＤ３を生成する。

まず、注目箇所検出部３２１は、複数のカメラ２１のうち車両の前方領域を撮像するカメラ２１の出力に基づいて、前方画像データＤ１を取得する。図４に示すように、前方画像データＤ１は、車両の外部環境のうち前方領域の画像を示す。図４の例では、前方画像データＤ１に示される画像には、車道１５０が含まれる。車道１５０には、他車両１６１が走行する。車道１５０の右側には、壁１６２が設けられる。壁１６２の右側には、樹木１６３と、丘１６４とが設けられる。車道１５０の左側には、森林１６５が設けられる。樹木１６３の右側には、建物１６６が設けられる。車道１５０と樹木１６３と丘１６４と森林１６５の上側には、空１６７が広がる。図４の例では、空１６７は、曇り空であり、ほぼ白色である。

次に、注目箇所検出部３２１は、前方画像データＤ１に、構成部材画像データを合成することにより、合成画像データＤ２を生成する。構成部材画像データは、車両構成部材７０（車内の運転者が車外を見る場合に運転者の視界を遮る車両の部材）の画像を示す。例えば、車内に設けられた運転席から車両の前側をカメラで撮像することにより、構成部材画像データを得ることができる。図５に示すように、合成画像データＤ２に示された画像では、前方画像データＤ１に示された車両の前方領域の画像に、構成部材画像データに示された車両構成部材７０の画像が重ねられている。これにより、運転者の周囲環境を示す合成画像データＤ２が生成される。

次に、注目箇所検出部３２１は、合成画像データＤ２に示された運転者の周囲環境の画像の中から注目箇所を検出する。例えば、注目箇所は、車両の運転シーン毎に予め定められている。注目箇所検出部３２１は、車両の運転シーン毎に定められた注目箇所を示す注目箇所情報を記憶する。そして、注目箇所検出部３２１は、合成画像データＤ２に示された画像に基づいて車両の運転シーンを検出し、その検出された運転シーンに対応する注目箇所を合成画像データＤ２に示された画像の中から検出する。運転シーンの検出は、深層学習により生成された学習モデル（運転シーンを検出するための学習モデル）を用いて行われる処理であってもよいし、周知のシーン判別技術を用いて行われる処理であってもよい。これと同様に、注目箇所の検出は、深層学習により生成された学習モデル（注目箇所を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の特徴検出技術を用いて行われる処理であってもよい。

次に、注目箇所検出部３２１は、注目箇所の検出結果に基づいて、注目箇所マップデータＤ３を生成する。図６に示すように、注目箇所マップデータＤ３は、注目箇所の分布を示す。図６の例では、ハッチングが付された箇所が注目箇所である。具体的には、図６の例では、バックミラー７４、サイドミラー７５、他車両１６１、壁１６２、車道１５０の区画線が注目箇所となる。

そして、注目箇所検出部３２１は、前方画像データＤ１が更新される毎に、上記の手順により注目箇所マップデータＤ３を生成する。これにより、時系列順に並ぶ複数の注目箇所マップデータＤ３が得られる。

《第１指標導出部》
第１指標導出部３２２は、運転者の周囲環境における注目箇所に対する運転者の視線の動きに基づいて、第１領域Ｒ１０における第１指標値ｉｄ１を導出する。具体的には、第１指標導出部３２２は、運転者の周囲環境における注目箇所と運転者の視線との合致度（合致頻度）に基づいて、第１領域Ｒ１０における第１指標値ｉｄ１を導出する。運転者のトップダウン注意資源量が増加すると、第１領域Ｒ１０において運転者の周囲環境における注目箇所と運転者の視線との合致度が増加し、その結果、第１領域Ｒ１０における第１指標値ｉｄ１が増加する。

この例では、第１指標導出部３２２は、注目箇所検出部３２１により生成された注目箇所マップデータＤ３に示された注目箇所と、視線検出部３１０により検出された運転者の視線との第１領域Ｒ１０における合致度に応じた値を、第１領域Ｒ１０における第１指標値ｉｄ１として導出する。具体的には、第１指標導出部３２２は、注目箇所検出部３２１により生成された注目箇所マップデータＤ３のうち第１領域Ｒ１０を対象として、予め定められた計測期間毎に、以下の処理を行う。

まず、第１指標導出部３２２は、時系列順に並ぶ複数の注目箇所マップデータＤ３の中から計測期間内に含まれる２つ以上の注目箇所マップデータＤ３を抽出し、視線検出部３１０により検出された運転者の視線の方向に基づいて、計測期間内に含まれる２つ以上の注目箇所マップデータＤ３の各々において注視点を検出する。注視点は、注目箇所マップデータＤ３における運転者の視線の位置（座標）を示す点である。例えば、第１指標導出部３２２は、予め定められたサンプリング周期毎に、注目箇所マップデータＤ３から運転者の視線の位置を注視点として検出してもよい。または、第１指標導出部３２２は、停滞時間が予め定められた基準時間を上回る運転者の視線の位置を注視点として検出してもよい。

次に、第１指標導出部３２２は、計測期間内に含まれる注目箇所マップデータＤ３から検出された注視点がその注目箇所マップデータＤ３に示された注目箇所と合致するか否かを判定する。

次に、第１指標導出部３２２は、注視点と注目箇所との合致判定の結果に基づいて、第１指標値ｉｄ１を導出する。例えば、第１指標値ｉｄ１は、計測期間内に含まれる注視点の総数に対して注目箇所と合致する注視点の数が占める割合（以下では「注目合致割合」と記載）に応じた値である。この注目合致割合は、運転者の周囲環境における注目箇所と運転者の視線との合致度の一例である。このようにして、計測期間毎に第１領域Ｒ１０における第１指標値ｉｄ１が導出される。

また、第１指標導出部３２２は、運転者の周囲環境のうち車両の運転中に運転者により注視される頻度が高い領域を第１領域Ｒ１０に設定する。例えば、第１指標導出部３２２は、視線検出部３１０により検出された運転者の視線に基づいて、予め定められた監視期間内の注目箇所マップデータＤ３における注視点の分布を検出する。そして、第１指標導出部３２２は、注目箇所マップデータＤ３のうち注視点の密度が予め定められた第１密度閾値を上回る箇所を含む領域を第１領域Ｒ１０に設定する。なお、第１領域Ｒ１０は、周期的に更新されてもよい。

また、第１指標導出部３２２は、車両の移動速度に応じて第１領域Ｒ１０の大きさを変化させる。具体的には、第１指標導出部３２２は、車両の移動速度が高くなるに連れて第１領域Ｒ１０が小さくなるように、第１領域Ｒ１０の大きさを変化させる。

〈第２計測部〉
第２計測部３３０は、運転者の周囲環境のうち運転者のボトムアップ注意が支配的となる第２領域Ｒ２０において、運転者のボトムアップ注意資源量と相関のある第２指標値ｉｄ２を計測する。運転者のボトムアップ注意資源量が多くなるに連れて、第２領域Ｒ２０における第２指標値ｉｄ２が大きくなる。なお、第２領域Ｒ２０については、後で詳しく説明する。この例では、第２計測部３３０は、注目箇所検出部３２１と、第２指標導出部３３２とを有する。

《サリエンシー検出部》
サリエンシー検出部３３１は、運転者の周囲環境におけるサリエンシーの分布を検出する。この例では、サリエンシー検出部３３１は、複数のカメラ２１のうち車両の前方領域を撮像するカメラ２１の出力に基づいて、運転者の周囲環境におけるサリエンシーの分布を示すサリエンシーマップデータＤ４を生成する。具体的には、サリエンシー検出部３３１は、以下の手順により、サリエンシーマップデータＤ４を生成する。

まず、注目箇所検出部３２１と同様に、サリエンシー検出部３３１は、前方画像データＤ１を生成し、前方画像データＤ１に構成部材画像データを合成することにより合成画像データＤ２を生成する。

次に、サリエンシー検出部３３１は、合成画像データＤ２に対してサリエンシーマップ生成処理を行うことにより、サリエンシーマップデータＤ４を生成する。なお、サリエンシーマップ生成処理には、サリエンシーディテクションなどの周知の技術を用いることができる。例えば、サリエンシー検出部３３１は、色、輝度、方向、動きなどの特徴毎にサリエンシーマップデータを生成し、それらの特徴毎のサリエンシーマップを足し合わせることで、最終的なサリエンシーマップデータ（すべての特徴が反映されたサリエンシーマップデータ）を生成する。

図７に示すように、サリエンシーマップデータＤ４は、運転者の周囲環境におけるサリエンシーの分布を示す。サリエンシーマップデータＤ４の画素の値は、その画素の領域におけるサリエンシーを示す。図７の例では、ハッチングの濃淡によりサリエンシーの高低が示されている。ハッチングが濃くなるに連れて、そのハッチングが付された領域におけるサリエンシーが高くなる。

そして、サリエンシー検出部３３１は、前方画像データＤ１が更新される毎に、上記の手順によりサリエンシーマップデータＤ４を生成する。これにより、時系列順に並ぶ複数のサリエンシーマップデータＤ４が得られる。

《第２指標導出部》
第２指標導出部３３２は、運転者の周囲環境におけるサリエンシーの分布に対する運転者の視線の動きに基づいて、第２領域Ｒ２０における第２指標値ｉｄ２を導出する。具体的には、第２指標導出部３３２は、運転者の周囲環境における高サリエンシー箇所と運転者の視線との第２領域Ｒ２０における合致度（合致頻度）に基づいて、第２領域Ｒ２０における第２指標値ｉｄ２を導出する。高サリエンシー箇所は、運転者の周囲環境のうちサリエンシーが比較的に高い箇所である。例えば、高サリエンシー箇所は、サリエンシーが予め定められた基準サリエンシーを上回る箇所である。運転者のボトムアップ注意資源量が増加すると、第２領域Ｒ２０において運転者の周囲環境における高サリエンシー箇所と運転者の視線との合致度が増加し、その結果、第２領域Ｒ２０における第２指標値ｉｄ２が増加する。

この例では、第２指標導出部３３２は、サリエンシー検出部３３１により生成されたサリエンシーマップデータＤ４に示された高サリエンシー箇所と、視線検出部３１０により検出された運転者の視線との合致度に応じた値を、第２指標値ｉｄ２として導出する。具体的には、第２指標導出部３３２は、サリエンシー検出部３３１により生成されたサリエンシーマップデータＤ４のうち第２領域Ｒ２０を対象として、予め定められた演算期間毎に、以下の第１処理と第２処理と第３処理と第４処理とを行う。

第１処理では、第２指標導出部３３２は、時系列順に並ぶ複数のサリエンシーマップデータＤ４の中から演算期間内に含まれる２つ以上のサリエンシーマップデータＤ４を抽出し、視線検出部３１０により検出された運転者の視線の方向に基づいて、計測期間内に含まれる２つ以上のサリエンシーマップデータＤ４の各々において注視点を検出し、注視点におけるサリエンシーを検出する。注視点は、サリエンシーマップデータＤ４における運転者の視線の位置（座標）を示す点である。例えば、第２指標導出部３３２は、予め定められたサンプリング周期毎に、サリエンシーマップデータＤ４から運転者の視線の位置を注視点として検出してもよい。または、第２指標導出部３３２は、停滞時間が予め定められた基準時間を上回る運転者の視線の位置を注視点として検出してもよい。この第１処理により、所定時刻毎の注視点のサリエンシーが得られる。図８に示すように、注視点のサリエンシーは、時間の経過に応じて変化する。

第２処理では、時系列順に並ぶ複数のサリエンシーマップデータＤ４の中から演算期間内に含まれる２つ以上のサリエンシーマップデータＤ４を抽出し、計測期間内に含まれる２つ以上のサリエンシーマップデータＤ４の各々においてランダム点を指定し、ランダム点におけるサリエンシーを検出する。ランダム点は、サリエンシーマップデータＤ４においてランダムに指定される位置（座標）を示す点である。なお、ランダム点は、複数のサリエンシーマップデータＤ４のうち第１処理により注視点が検出されるサリエンシーマップデータＤ４において指定されることが好ましい。すなわち、ランダム点におけるサリエンシーが検出される時刻は、注視点におけるサリエンシーが検出される時刻と一致していることが好ましい。この第２処理により、所定時刻毎のランダム点のサリエンシーが得られる。図９に示すように、ランダム点のサリエンシーは、時間の経過に応じて変化する。

次に、第３処理が行われる。第３処理では、第２指標導出部３３２は、第１処理により得られた演算期間内の所定時刻毎の注視点のサリエンシーと、第２処理により得られた演算期間内の所定時刻毎のランダム点のサリエンシーとに基づいて、「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との関係を示すＲＯＣ（Receiver Operating Characteristic）曲線を導出する。

具体的には、第２指標導出部３３２は、サリエンシーに関する閾値を最大値から最小値まで段階的に変更する。そして、第１指標導出部３２２は、閾値を変更する毎に、以下の処理を行う。

まず、第２指標導出部３３２は、演算期間内の所定時刻毎の注視点のサリエンシーのうち閾値を超える注視点のサリエンシーの数を求め、閾値を超える注視点のサリエンシーの数を演算期間内の注視点のサリエンシーの総数で除算することで、注視点のサリエンシーが閾値を超える確率を求める。また、第２指標導出部３３２は、演算期間内の所定時刻毎のランダム点のサリエンシーのうち閾値を超えるランダム点のサリエンシーの数を求め、閾値を超えるランダム点のサリエンシーの数を演算期間内のランダム点のサリエンシーの総数で除算することで、ランダム点のサリエンシーが閾値を超える確率を求める。

そして、第２指標導出部３３２は、閾値毎に求められた「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との組合せに基づいて、ＲＯＣ曲線を導出する。図１０は、ＲＯＣ曲線を例示する。このＲＯＣ曲線は、運転者の視線が高サリエンシー箇所に誘引される傾向の強さに応じて変化する。例えば、運転者の視線が高サリエンシー箇所を向く傾向がある場合、ＲＯＣ曲線は、図１０の第１曲線Ｃ１のように、傾きが１の直線（破線で示す直線）よりも上側に凸の曲線となる。一方、運転者の視線が低サリエンシー箇所を向く傾向がある場合、ＲＯＣ曲線は、図１０の第２曲線Ｃ２のように、傾きが１の直線（破線で示す直線）よりも下側に凸の曲線となる。なお、低サリエンシー箇所は、運転者の周囲環境のうちサリエンシーが比較的に低い箇所であり、例えば、サリエンシーが予め定められた基準サリエンシーを下回る箇所である。

次に、第４処理が行われる。第４処理では、第２指標導出部３３２は、ＲＯＣ曲線の下側の面積であるＡＵＣ（Area Under the Curve）値をサリエンシー指標値として求める。例えば、図１０の第１曲線Ｃ１がＲＯＣ曲線である場合、ＡＵＣ値は、図１０のハッチングが付された領域の面積に相当する。例えば、運転者の視線が高サリエンシー箇所を向く傾向が強くなるに連れて、サリエンシー指標値であるＡＵＣ値が大きくなり、運転者の視線が低サリエンシー箇所を向く傾向が強くなるに連れて、サリエンシー指標値であるＡＵＣ値が小さくなる。このようにして、演算期間毎にサリエンシー指標値が導出される。

また、第２指標導出部３３２は、予め定められた計測期間毎に、第５処理を行う。計測期間は、演算期間よりも長い。計測期間の各々には、複数の演算期間が含まれる。第５処では、第２指標導出部３３２は、計測期間内に含まれるサリエンシー指標値が予め定められた高サリエンシー閾値を上回るか否かを判定する。そして、第２指標導出部３３２は、サリエンシー指標値の判定結果に基づいて、第２指標値ｉｄ２を導出する。例えば、第２指標値ｉｄ２は、計測期間内に含まれるサリエンシー指標値の総数に対して高サリエンシー閾値を上回るサリエンシー指標値の数が占める割合（以下では「高指標割合」と記載）に応じた値である。この高指標割合は、運転者の周囲環境における高サリエンシー箇所と運転者の視線との合致度の一例である。このようにして、計測期間毎に第２領域Ｒ２０における第２指標値ｉｄ２が導出される。

また、第２指標導出部３３２は、運転者の周囲環境のうち車両の運転中に運転者により注視される頻度が低い領域を第２領域Ｒ２０に設定する。例えば、第２指標導出部３３２は、視線検出部３１０により検出された運転者の視線に基づいて、予め定められた監視期間内のサリエンシーマップデータＤ４における注視点の分布を検出する。そして、第２指標導出部３３２は、サリエンシーマップデータＤ４のうち注視点の密度が予め定められた第２密度閾値を下回る箇所を含む領域を第２領域Ｒ２０に設定する。なお、第２密度閾値は、第１密度閾値よりも低い密度であってもよいし、第１密度閾値と同一の密度であってもよい。また、第２領域Ｒ２０は、周期的に更新されてもよい。

なお、第２指標導出部３３２は、サリエンシーマップデータＤ４のうち第１指標導出部３２２により設定された第１領域Ｒ１０を除く領域を第２領域Ｒ２０に設定してもよい。

〈推定部〉
推定部３４０は、第１領域Ｒ１０における第１指標値ｉｄ１と、第２領域Ｒ２０における第２指標値ｉｄ２とに基づいて、運転者の状態を推定する。具体的には、推定部３４０は、第１領域Ｒ１０における第１指標値ｉｄ１の変化と、第２領域Ｒ２０における第２指標値ｉｄ２の変化とに基づいて、運転者の状態を推定する。なお、運転者の状態の推定については、後で詳しく説明する。

〔運転者の状態〕
この例では、推定部３４０により推定される運転者の状態には、「注意機能低下状態」と「漫然状態」と「正常状態」とが含まれる。

注意機能低下状態は、注意機能が低下している状態のことであり、車両の運転に支障がある状態である。注意機能低下の要因としては、注意機能低下を伴う疾患の発生、覚醒低下などが挙げられる。注意機能の低下を伴う疾患の例としては、心筋梗塞などの心疾患、脳卒中などの脳疾患、癲癇、低血糖などが挙げられる。

漫然状態は、車両の運転に集中しておらず、ぼんやりとしている状態のことであり、車両の運転に支障がある状態である。

正常状態は、上述の注意機能低下状態でも漫然状態でもない状態のことであり、車両の運転を正常に行うことができる状態である。

〔本願発明者により行われた実験〕
本願発明者は、運転者の状態と運転者の挙動（特に視線の動き）との関係を調べるために、下記のような実験を実施した。

まず、運転者の注意機能低下状態における挙動を擬似的に観測するために、注意機能障害を有する患者（以下では「注意障害患者」と記載）を被験者として選出した。また、運転者の正常状態における挙動を擬似的に観測するために、注意機能障害を有さない健常者（以下では単に「健常者」と記載）を被験者として選出した。

次に、図１１に示すように、上記のように選出された被験者に対して、ドライビングシミュレータ８０を用いて車両の運転操作を擬似的に体験させた。具体的には、ドライビングシミュレータ８０により車両の走行中の動画像（車内から見える車両の外部環境を示す動画像）を被験者に視聴させ、その被験者の実験中の挙動を観測することで、被験者の車両運転時の挙動を擬似的に観測した。この実験では、車両の走行中の動画像を視聴する被験者の前方にカメラを設置し、撮像範囲内に被験者の眼球が含まれるようにカメラを設定した。

そして、カメラにより得られた画像データに対して視線検出処理を行うことで被験者の視線を検出した。なお、被験者の視線の検出は、上述の視線検出部３１０において行われる処理と同様である。

また、ドライビングシミュレータ８０により再生される動画像に基づいて、注目箇所の分布を示す注目箇所マップデータＤ３を生成し、注目箇所マップデータＤ３と被験者の視線とに基づいて、トップダウン注意資源量と相関のある第１指標値ｉｄ１を導出した。なお、注目箇所マップデータＤ３の生成は、上述の注目箇所検出部３２１において行われる処理と同様である。第１指標値ｉｄ１の導出は、上述の第１指標導出部３２２において行われる処理と同様である。ただし、この実験では、注目箇所マップデータＤ３の一部の領域だけでなく、注目箇所マップデータＤ３の全域を対象として、第１指標値ｉｄ１の導出が行われた。

また、ドライビングシミュレータ８０により再生される動画像に基づいて、サリエンシーの分布を示すサリエンシーマップデータＤ４を生成し、サリエンシーマップデータＤ４と被験者の視線とに基づいて、ボトムアップ注意資源量と相関のある第２指標値ｉｄ２を導出した。なお、サリエンシーマップデータＤ４の生成は、上述のサリエンシー検出部３３１において行われる処理と同様である。第２指標値ｉｄ２の導出は、上述の第２指標導出部３３２において行われる処理と同様である。ただし、この実験では、サリエンシーマップデータＤ４の一部の領域だけでなく、サリエンシーマップデータＤ４の全域を対象として、第２指標値ｉｄ２の導出が行われた。

そして、第１指標値ｉｄ１に基づいて、被験者のトップダウン注意資源量を推定し、第２指標値ｉｄ２に基づいて、被験者のボトムアップ注意資源量を推定した。

以上の実験を、複数の被験者に対して実施した。

図１２は、健常者のサリエンシー指標値の時間的変化を示す。図１３は、注意障害患者のサリエンシー指標値の時間的変化を示す。これらのサリエンシー指標値は、第２指標値ｉｄ２の導出の過程で得られる。図１２および図１３において、ハッチングが付された部分は、サリエンシー指標値が高サリエンシー閾値（この例では０．６）を上回る部分である。破線の枠で囲まれた部分は、注目箇所と被験者の視線とが合致する部分である。健常者は、注意障害患者よりも、注目箇所と視線とが合致する部分が多く、トップダウン注意が支配的であった。一方、注意障害患者は、サリエンシー指標値が高サリエンシー閾値を上回る部分が多く、ボトムアップ注意が支配的であった。

また、健常者を被験者とし、被験者の状態を漫然状態と正常状態とに区別し、タスクディマンドを変化させて上述の実験を実施した。具体的には、ドライビングシミュレータ８０による実験中に運転操作とは異なるタスク（暗算）を被験者に実施させることで、被験者の漫然状態を擬似的に再現し、ドライビングシミュレータ８０による実験中に運転操作とは異なるタスク（暗算）を被験者に実施させないことで、被験者の正常状態を擬似的に再現した。また、高速道路のような単調な運転シーンの動画像をドライビングシミュレータ８０に再生させることで、タスクディマンドが小さい状況下を擬似的に再現し、市街地道路のような複雑な運転シーンの動画像をドライビングシミュレータ８０に再生させることで、タスクディマンドが大きい状況下を擬似的に再現した。市街地道路の運転シーンには、駐車車両回避、交差点通過、右折、左折、先行車追従、歩行者横断などのイベントが含まれている。

〔本願発明者により得られた知見 その１〕
上述の実験により、本願発明者は、以下の知見を得た。以下の説明では、トップダウン注意資源量とボトムアップ注意資源量との総量を「注意資源総量」と記載する。

（１）注意障害患者の注意資源総量は、健常者の注意資源総量よりも少ない。

（２）健常者のトップダウン注意資源量およびボトムアップ注意資源量は、健常者の漫然状態と正常状態とで異なる。具体的には、健常者のトップダウン注意資源量は、漫然状態では、トップダウン注意ディマンド量を下回り、正常状態では、トップダウン注意ディマンド量を下回らない。また、健常者の漫然状態のトップダウン注意資源量は、健常者の正常状態のトップダウン注意資源量よりも少なく、健常者の漫然状態のボトムアップ注意資源量は、健常者の正常状態のボトムアップ注意資源量よりも多い。なお、健常者の注意資源総量は、健常者の正常状態の注意資源総量と同等である。

（３）健常者のトップダウン注意資源量およびボトムアップ注意資源量は、タスクディマンドに応じて変化する。具体的には、タスクディマンドの減少によりトップダウン注意ディマンド量が減少すると、トップダウン注意資源量が減少し、その分、ボトムアップ注意資源量が増加する。逆に、タスクディマンドの増加によりトップダウン注意ディマンド量が増加すると、トップダウン注意資源量が増加し、その分、ボトムアップ注意資源量が減少する。

〔運転者の状態およびタスクディマンドと注意資源との関係〕
そして、以上の知見から、本願発明者は、図１４に示すように、運転者の状態およびタスクディマンドに応じて運転者のトップダウン注意資源量およびボトムアップ注意資源量が変化することを見出した。図１４の例において、右上がりの斜線のハッチングが付された上向きの三角形の高さは、運転者のトップダウン注意資源量を示す。破線の上向きの三角形の高さは、運転者のトップダウン注意ディマンド量を示す。左上がりの斜線のハッチングが付された下向きの三角形の高さは、運転者のボトムアップ注意資源量を示す。図１４には、他の参考例として、歩行者のトップダウン注意資源量およびボトムアップ注意資源量と、運転者の意識喪失時のトップダウン注意資源量およびボトムアップ注意資源量とが図示されている。図１４の例において、運転者の意識喪失時のトップダウン注意資源量およびボトムアップ注意資源量は、ゼロである。

具体的には、本願発明者は、以上の知見から、以下のことを見出した。

（１）運転者の状態が正常状態から注意機能低下状態になると、運転者の注意資源総量が減少する。具体的には、トップダウン注意資源量が減少し、トップダウン注意資源量がトップダウン注意ディマンド量を下回る。一方、ボトムアップ注意資源量も減少する。

（２）運転者のトップダウン注意資源量およびボトムアップ注意資源量は、運転者の状態に応じて変化する。具体的には、運転者の状態が正常状態から漫然状態になると、トップダウン注意資源量が減少し、トップダウン注意資源量がトップダウン注意ディマンド量を下回る。一方、トップダウン注意資源量が減少した分、ボトムアップ注意資源量が増加する。逆に、運転者の状態が漫然状態から正常状態になると、トップダウン注意資源量が増加し、トップダウン注意資源量がトップダウン注意ディマンド量に到達する。一方、トップダウン注意資源量が増加した分、ボトムアップ注意資源量が減少する。なお、運転者の漫然状態時の注意資源総量は、運転者の正常状態時の注意資源総量と同等である。

（３）運転者のトップダウン注意資源量およびボトムアップ注意資源量は、タスクディマンドに応じて変化する。具体的には、タスクディマンドが増加すると、トップダウン注意ディマンド量が増加する。その結果、トップダウン注意資源量が増加し、トップダウン注意資源量がトップダウン注意ディマンド量に到達する。一方、トップダウン注意資源量が増加した分、ボトムアップ注意資源量が減少する。逆に、タスクディマンドが減少すると、トップダウン注意ディマンド量が減少する。その結果、トップダウン注意資源量が減少し、トップダウン注意資源量がトップダウン注意ディマンド量に到達する。一方、トップダウン注意資源量が減少した分、ボトムアップ注意資源量が増加する。

さらに、本願発明者は、以上の知見から、以下のことを見出した。

（４）運転者のトップダウン注意資源量と相関のある第１指標値ｉｄ１と予め定められた第１閾値ｈｔ１とを比較することで、運転者のトップダウン注意資源量を評価することができる。第１閾値ｔｈ１は、運転者のトップダウン注意ディマンド量に応じた値に設定される。トップダウン注意ディマンド量が多くなるに連れて、第１閾値ｔｈ１が大きくなる。例えば、第１閾値ｔｈ１は、トップダウン注意資源量がトップダウン注意ディマンド量と一致するときの第１指標値ｉｄ１に設定される。なお、トップダウン注意ディマンド量は、タスクディマンドに応じて変化する。具体的には、タスクディマンドが大きくなるに連れて、トップダウン注意ディマンド量が多くなる。

（５）運転者のボトムアップ注意資源量と相関のある第２指標値ｉｄ２と予め定められた第２閾値ｔｈ２とを比較することで、運転者のボトムアップ注意資源量を評価することができる。第２閾値ｔｈ２は、運転者のボトムアップ注意ディマンド量に応じた値に設定される。運転者のボトムアップ注意ディマンド量が多くなるに連れて、第２閾値ｔｈ２が大きくなる。例えば、第２閾値ｔｈ２は、ボトムアップ注意資源量がボトムアップ注意ディマンド量と一致するときの第２指標値ｉｄ２に設定される。なお、運転者のボトムアップ注意ディマンド量は、タスクディマンドに応じて変化する。具体的には、タスクディマンドが大きくなるに連れて、運転者のボトムアップ注意ディマンド量が少なくなる。例えば、ボトムアップ注意ディマンド量は、予め定められた注意ディマンド総量からトップダウン注意ディマンド量を差し引いて得られる量である。注意ディマンド総量は、例えば、正常状態時における注意資源総量である。

〔本願発明者により得られた知見 その２〕
また、本願発明者は、鋭意研究の結果、図１５に示すように、運転者の周囲環境には、運転者のトップダウン注意が支配的となる第１領域Ｒ１０と、運転者のボトムアップ注意が支配的となる第２領域Ｒ２０とが含まれることを見出した。例えば、運転者が正常状態から注意機能低下状態になると、第１領域Ｒ１０では、トップダウン注意資源量の減少が顕著に現れ、第２領域Ｒ２０では、ボトムアップ注意資源量の減少が顕著に現れる。

〈第１領域〉
第１領域Ｒ１０は、運転者の周囲環境のうち車両の運転中に運転者により意識的に注視される頻度が高い領域である。第１領域Ｒ１０の例としては、前方中央領域Ｒ１１、メータークラスタ７７を含むメータークラスタ領域Ｒ１２、ヘッドアップディスプレイ（図示省略）を含む領域などが挙げられる。前方中央領域Ｒ１１は、車両に搭乗する運転者の前方中央に位置する円形状の領域である。

なお、第１領域Ｒ１０の大きさは、車両の移動速度に応じて変化する。具体的には、車両の移動速度が高くなるに連れて、第１領域Ｒ１０が小さくなる。例えば、車両の移動速度が高くなるに連れて、前方中央領域Ｒ１１の径が小さくなる。

〈第２領域〉
第２領域Ｒ２０は、運転者の周囲環境のうち車両の運転中に運転者により意識的に注視される頻度が低い領域である。第２領域Ｒ２０の例としては、バックミラー７４を含む領域、サイドミラー７５を含む領域、空や雲などの車両の周囲の景色を含む領域、リアビークルモニタリングシステム（ＲＶＭ）により点灯される表示灯（図示省略）などの点灯部を含む領域などが挙げられる。例えば、第２領域Ｒ２０は、運転者の周囲環境のうち第１領域Ｒ１０を除く領域であってもよい。

〔運転者状態推定〕
次に、図１６を参照して、運転者の状態の推定について説明する。推定部３４０は、予め定められた推定周期毎に、以下の処理を行う。

〈ステップＳＴ１１〉
推定部３４０は、第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回るか否かを判定する。第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回る場合には、ステップＳＴ１１の処理が行われ、そうでない場合には、ステップＳＴ１５の処理が行われる。

〈ステップＳＴ１２〉
推定部３４０は、第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回るか否かを判定する。第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回る場合には、ステップＳＴ１３の処理が行われ、そうでない場合には、ステップＳＴ１４の処理が行われる。

〈ステップＳＴ１３〉
第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回り、且つ、第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回る場合、推定部３４０は、運転者が注意機能低下状態であると推定する。この例では、推定部３４０は、注意機能低下状態であることを示すフラグを立てる。注意機能低下状態であることを示すフラグが立つと、車両制御部３５は、注意機能低下状態に応じた動作を行う。注意機能低下状態に応じた動作の例としては、運転者の状態が注意機能低下状態（例えば疾患）であることを示す異常情報を出力する動作、運転者の状態が注意機能低下状態であることを車両の外部に通知するための動作、車両が安全経路を走行して安全領域で停車するようにアクチュエータ１１を制御する動作などが挙げられる。異常情報を出力する動作の例としては、異常情報を通知部４０に出力することで運転者の注意機能低下状態を車内に通知する動作が挙げられる。運転者が注意機能低下状態であることを車両の外部に通知するための動作の例としては、車両のハザードランプ（図示省略）を点滅させる動作が挙げられる。

〈ステップＳＴ１４〉
一方、第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回り、且つ、第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回らない場合、推定部３４０は、運転者が注意機能低下状態であると推定せず、運転者が漫然状態であると推定する。この例では、推定部３４０は、漫然状態であることを示すフラグを立てる。漫然状態であることを示すフラグが立つと、車両制御部３５は、漫然状態に応じた動作を行う。漫然状態に応じた動作の例としては、運転者の状態が漫然状態であることを示す漫然状態情報を出力する動作、運転者の漫然状態を解消するための動作などが挙げられる。漫然状態情報を出力する動作の例としては、漫然状態情報を通知部４０に出力することで運転者の漫然状態を車内に通知する動作が挙げられる。運転者の漫然状態を解消するための動作の例としては、車両の運転に集中すること運転者に促すための情報を通知部４０に出力する動作、休憩をとることを運転者に促すための情報を通知部４０に出力する動作などが挙げられる。

〈ステップＳＴ１５〉
また、第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回らない場合、推定部３４０は、運転者が正常状態であると推定する。この例では、推定部３４０は、正常状態であることを示すフラグを立てる。正常状態であることを示すフラグが立つと、車両制御部３５は、正常状態に応じた動作を行う。正常状態に応じた動作の例としては、運転者の状態が正常状態であることを示す情報を出力する動作、走行制御を継続する動作などが挙げられる。

〔実施形態の効果〕
以上のように、第１領域Ｒ１０における第１指標値ｉｄ１と、第２領域Ｒ２０における運転者のボトムアップ注意資源量と相関のある第２指標値ｉｄ２とを用いることにより、運転者のトップダウン注意が支配的である第１領域Ｒ１０における運転者のトップダウン注意資源量と、運転者のボトムアップ注意が支配的である第２領域Ｒ２０における運転者のボトムアップ注意資源量とに基づいて、運転者の注意機能低下状態を含む運転者の状態を推定することができる。

例えば、第１領域Ｒ１０における第１指標値ｉｄ１（トップダウン注意資源量と相関のある値）が第１閾値ｔｈ１を下回る場合に、第２領域Ｒ２０における第２指標値ｉｄ２（ボトムアップ注意資源量と相関のある値）と第２閾値ｔｈ２とを比較することで、運転者が注意機能低下状態であるか否かを推定することができる。

また、トップダウン注意資源量およびボトムアップ注意資源量の一方のみに基づいて運転者の状態を推定する場合よりも、運転者の状態の推定精度を向上させることができる。

また、視線検出部３１０と注目箇所検出部３２１と第１指標導出部３２２とを設けることにより、運転者の周囲環境における注目箇所に対する運転者の視線の動きに基づいて、第１領域Ｒ１０における第１指標値ｉｄ１を適切に導出することができる。また、視線検出部３１０とサリエンシー検出部３３１と第２指標導出部３３２とを設けることにより、運転者の周囲環境におけるサリエンシーの分布に対する運転者の視線の動きに基づいて、第２領域Ｒ２０における第２指標値ｉｄ２を適切に導出することができる。

また、第１閾値ｔｈ１を運転者のトップダウン注意ディマンド量に応じた値に設定することにより、運転者のトップダウン注意資源量の評価に利用される第１閾値ｔｈ１を適切に設定することができる。

また、第２閾値ｔｈ２を運転者のボトムアップ注意ディマンド量に応じた値に設定することにより、運転者のボトムアップ注意資源量の評価に利用される第２閾値ｔｈ２を適切に設定することができる。

また、第１領域Ｒ１０における第１指標値ｉｄ１と第２領域Ｒ２０における第２指標値ｉｄ２とを用いて運転者の状態を推定することにより、運転者の周囲環境の全域における第１指標値ｉｄ１および第２指標値ｉｄ２を用いる場合よりも、第１指標値ｉｄ１および第２指標値ｉｄ２の導出に要する処理負荷（例えば注視点の検出に要する処理負荷）を軽減することができる。

また、運転者の周囲環境のうち車両の運転中に運転者により注視される頻度が高い領域を第１領域Ｒ１０に設定することにより、運転者のトップダウン注意が支配的となる第１領域Ｒ１０を適切に設定することができる。

（第２指標導出部の変形例）
なお、第２指標導出部３３２は、次のようにして、予め定められた計測期間毎に、第２領域Ｒ２０における第２指標値ｉｄ２を導出してもよい。第２指標導出部３３２による処理（第２指標値ｉｄ２の導出）は、サリエンシー検出部３３１により生成されたサリエンシーマップデータＤ４のうち第２領域Ｒ２０を対象として行われる。

まず、第２指標導出部３３２は、時系列順に並ぶ複数のサリエンシーマップデータＤ４の中から計測期間内に含まれる２つ以上のサリエンシーマップデータＤ４を抽出し、視線検出部３１０により検出された運転者の視線の方向に基づいて、計測期間内に含まれる２つ以上のサリエンシーマップデータＤ４の各々において注視点を検出する。

次に、第２指標導出部３３２は、計測期間内に含まれるサリエンシーマップデータＤ４から検出された注視点がそのサリエンシーマップデータＤ４に示された高サリエンシー箇所と一致するか否かを判定する。

次に、第２指標導出部３３２は、注視点と高サリエンシー箇所との合致判定の結果に基づいて、第２指標値ｉｄ２を導出する。例えば、第２指標値ｉｄ２は、計測期間内に含まれる注視点の総数に対して高サリエンシー箇所と合致する注視点の数が占める割合（以下では「高サリエンシー合致割合」と記載）に応じた値である。この高サリエンシー合致割合は、運転者の周囲環境における高サリエンシー箇所と運転者の視線との合致度の一例である。

（実施形態の変形例１）
次に、実施形態の変形例１による車両制御システム１０について説明する。実施形態の変形例１による車両制御システム１０は、推定部３４０の動作が実施形態による車両制御システム１０と異なる。なお、実施形態の変形例１による車両制御システム１０のその他の構成は、実施形態による車両制御システム１０の構成と同様である。

〔本願発明者により得られた知見〕
本願発明者は、鋭意研究の結果、運転者が注意機能低下状態（例えば疾患）であったとして、運転者が注目箇所を見ようと頑張ることで、運転者のトップダウン注意資源量の減少が顕著に現れない場合があることを見出した。また、本願発明者は、このような場合であっても、運転者の状態が正常状態から注意機能低下状態になることで、運転者の注意資源総量が減少することを見出した。

〔運転者状態推定〕
実施形態の変形例１による車両制御システム１０では、図１６に示した処理に代えて、図１７に示す処理が行われる。図１７に示す処理では、図１６に示したステップＳＴ１５の処理に代えて、ステップＳＴ２１～ＳＴ２３の処理が行われる。

〈ステップＳＴ２１〉
ステップＳＴ１１において第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回らない場合、推定部３４０は、第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回るか否かを判定する。第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回る場合には、ステップＳＴ２２の処理が行われ、そうでない場合には、ステップＳＴ２３の処理が行われる。

〈ステップＳＴ２２〉
第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回らず、且つ、第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回る場合、推定部３４０は、運転者が注意機能低下状態であると推定する。この例では、推定部３４０は、注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ２３〉
一方、第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回らず、且つ、第２領域Ｒ２０における第２指標値ｉｄ２が第２閾値ｔｈ２を下回らない場合、推定部３４０は、運転者が正常状態であると推定する。この例では、推定部３４０は、正常状態であることを示すフラグを立てる。

〔実施形態の変形例１の効果〕
以上のように、第１領域Ｒ１０における第１指標値ｉｄ１が第１閾値ｔｈ１を下回らない場合に、第２領域Ｒ２０における第２指標値ｉｄ２と第２閾値ｔｈ２との比較結果に基づいて運転者の状態を推定することにより、運転者が注意機能低下状態（例えば疾患）であるが運転者のトップダウン注意資源量の減少が顕著に現れない場合であっても、運転者が注意機能低下状態であると推定することができる。これにより、運転者の状態の推定精度を向上させることができる。

（実施形態の変形例２）
次に、実施形態の変形例２による車両制御システム１０について説明する。実施形態の変形例２による車両制御システム１０は、第１指標導出部３２２および第２指標導出部３３２の動作が実施形態による車両制御システム１０と異なる。なお、実施形態の変形例１による車両制御システム１０のその他の構成は、実施形態による車両制御システム１０の構成と同様である。

〔運転者の視線〕
視線検出部３１０により検出される運転者の視線の中には、運転者の周囲環境における注目箇所および高サリエンシー箇所のいずれにも合致しない運転者の視線が含まれる。このような運転者の視線は、第１指標値ｉｄ１および第２指標値ｉｄ２の導出においてノイズとして作用する可能性が高い。したがって、運転者の周囲環境における注目箇所および高サリエンシー箇所のいずれにも合致しない運転者の視線は、第１指標値ｉｄ１および第２指標値ｉｄ２の導出に利用されないことが好ましい。

実施形態の変形例２による車両制御システム１０では、第１指標導出部３２２および第２指標導出部３３２は、視線検出部３１０により検出された運転者の視線のうち運転者の周囲環境における注目箇所および高サリエンシー箇所のいずれにも合致しない運転者の視線を、第１領域Ｒ１０における第１指標値ｉｄ１および第２領域Ｒ２０における第２指標値ｉｄ２の導出のために使用しないように構成される。例えば、第１指標導出部３２２および第２指標導出部３３２は、次のような処理を行うように構成されてもよい。

なお、実施形態の変形例２では、第１指標導出部３２２における注目箇所と注視点との合致判定は、注目箇所マップデータＤ３の第１領域Ｒ１０と第２領域Ｒ２０において行われる。第２指標導出部３３２における高サリエンシー箇所と注視点との合致判定は、サリエンシーマップデータＤ４の第１領域Ｒ１０と第２領域Ｒ２０において行われる。

第１指標導出部３２２は、第１指標導出部３２２における注目箇所と注視点との合致判定の結果と、第２指標導出部３３２における高サリエンシー箇所と注視点との合致判定の結果とに基づいて、計測期間内に含まれる第１領域Ｒ１０内の注視点の中から注目箇所および高サリエンシー箇所のいずれにも合致しない第１領域Ｒ１０内の注視点を検出する。次に、第１指標導出部３２２は、計測期間内に含まれる第１領域Ｒ１０内の注視点の総数から注目箇所および高サリエンシー箇所のいずれにも合致しない第１領域Ｒ１０内の注視点の数を減算し、その減算により得られた数を計測期間内に含まれる第１領域Ｒ１０内の注視点の母数とする。そして、第１指標導出部３２２は、計測期間内に含まれる第１領域Ｒ１０内の注視点の母数に対して注目箇所と合致する第１領域Ｒ１０内の注視点の数が占める割合に応じた値を、第１領域Ｒ１０における第１指標値ｉｄ１として導出する。

第２指標導出部３３２は、第１指標導出部３２２における注目箇所と注視点との合致判定の結果と、第２指標導出部３３２における高サリエンシー箇所と注視点との合致判定の結果とに基づいて、計測期間内に含まれる第２領域Ｒ２０内の注視点の中から注目箇所および高サリエンシー箇所のいずれにも合致しない第２領域Ｒ２０内の注視点を検出する。次に、第２指標導出部３３２は、計測期間内に含まれる第２領域Ｒ２０内の注視点の総数から注目箇所および高サリエンシー箇所のいずれにも合致しない第２領域Ｒ２０内の注視点の数を減算し、その減算により得られた数を計測期間内に含まれる第２領域Ｒ２０内の注視点の母数とする。そして、第２指標導出部３３２は、計測期間内に含まれる第２領域Ｒ２０内の注視点の母数に対して高サリエンシー箇所と合致する第２領域Ｒ２０内の注視点の数が占める割合に応じた値を、第２領域Ｒ２０における第２指標値ｉｄ２として導出する。

〔実施形態の変形例２の効果〕
以上のように、視線検出部３１０により検出された運転者の視線のうち運転者の周囲環境における注目箇所および高サリエンシー箇所のいずれにも合致しない運転者の視線（すなわちノイズとなる運転者の視線）を、第１領域Ｒ１０における第１指標値ｉｄ１の導出および第２領域Ｒ２０における第２指標値ｉｄ２の導出から排除することができる。これにより、運転者の状態の推定精度を向上させることができる。

（その他の実施形態）
以上の説明では、第１領域Ｒ１０における第１指標値ｉｄ１が注目合致割合（計測期間内に含まれる注視点の総数に対して注目箇所と合致する注視点の数が占める割合）に応じた値である場合を例に挙げたが、これに限定されない。これと同様に、第２領域Ｒ２０における第２指標値ｉｄ２が高指標割合（計測期間内に含まれるサリエンシー指標値の総数に対して高サリエンシー閾値を上回るサリエンシー指標値の数が占める割合）または高サリエンシー合致割合（計測期間内に含まれる注視点の総数に対して高サリエンシー箇所と合致する注視点の数が占める割合）に応じた値である場合を例に挙げたが、これに限定されない。

また、以上の説明では、移動体の一例として車両を挙げたが、これに限定されない。例えば、移動体の他の例としては、船舶、飛行機などが挙げられる。

また、以上の説明では、注目箇所検出部３２１およびサリエンシー検出部３３１がカメラ２１の出力に基づいて前方画像データＤ１を取得する場合を例に挙げたが、これに限定されない。例えば、注目箇所検出部３２１およびサリエンシー検出部３３１は、外部環境認識部３３の出力に基づいて前方画像データＤ１を取得するように構成されてもよい。また、注目箇所検出部３２１およびサリエンシー検出部３３１の両方において前方画像データＤ１および合成画像データＤ２が生成される場合を例に挙げたが、注目箇所検出部３２１およびサリエンシー検出部３３１の一方において生成された前方画像データＤ１および合成画像データＤ２が注目箇所検出部３２１およびサリエンシー検出部３３１の他方において利用されるようになっていてもよい。

以上の説明では、推定部３４０が推定周期毎に運転者の状態を推定する場合を例に挙げたが、これに限定されない。例えば、推定部３４０は、上記のように運転者の短期的な状態を推定するように構成されてもよいし、運転者の長期的な状態を推定するように構成されてもよい。なお、運転者の短期的な状態は、車両の運転の開始から終了までの期間（１回の運転の期間）内における運転者の状態のことである。運転者の長期的な状態は、車両の運転を複数回行うことが可能な期間（例えば年単位）内における運転者の状態のことである。運転者の長期的な状態の例としては、症状が緩やかに進行する疾患の状態、加齢による機能低下の状態などが挙げられる。

また、以上の説明では、推定部３４０が注意機能低下状態と漫然状態と正常状態とを推定する場合を例に挙げたが、これに限定されない。例えば、推定部３４０は、上記の注意機能低下状態や漫然状態のような運転者のネガティブな状態を推定するように構成されてもよいし、運転者のポジティブな状態を推定するように構成されてもよい。運転者のポジティブな状態の例としては、注意機能低下状態や漫然状態などの車両の運転に適さない状態から正常状態へ回復した状態、正常状態が維持されている状態などが挙げられる。

また、以上の説明では、車両制御装置３０がカメラ２１により得られた画像データと車内カメラ２８により得られた画像データとを利用する場合を例に挙げたが、これに限定されない。例えば、車両制御装置３０は、表示機器に入力される画像データと、その表示機器に表示された画像を見る対象者（運転者となり得る対象者）を撮像するカメラにより得られた画像データとを利用するように構成されてもよい。表示機器の例としては、スマートフォン、パーソナルコンピュータ、テレビ受像機などが挙げられる。また、車両制御装置３０は、監視カメラにより得られた画像データと、監視カメラにより撮像される環境を見る対象者を撮像するカメラにより得られた画像データとを利用するように構成されてもよい。監視カメラは、病院の待合室、警備員の監視室、店舗のレジ、建物内、街頭などに設けられる。

また、以上の説明において、第１閾値ｔｈ１や第２閾値ｔｈ２などの判定の基準となる基準値は、運転者毎に設定されてもよい。具体的には、上記の基準値は、運転者の経験、運転者の普段の挙動などの運転者に特有の情報の学習結果に基づいて設定または調節されてもよい。運転者の経験の例としては、道路の通行頻度などが挙げられる。例えば、車両が走行している道路が通り慣れた道路であるのか初めて通行する道路であるのかに基づいて、上記の基準値が設定または調節されてもよい。運転者の普段の挙動の例としては、１週間や１ヶ月などの長期間における平均的な運転者の挙動、他の手法により正常状態であると推定されている期間における運転者の挙動などが挙げられる。運転者の挙動の例としては、高サリエンシー箇所および/または注目箇所に対する運転者の視線移動の感度などが挙げられる。

また、以上の説明において、上記の基準値は、人に関する様々なデータが記憶されたデータベースに基づいて設定されてもよい。このようなデータベースには、人の年齢、身体特徴、身体機能、性格、文化、生活スタイル、運転経験、運転スキル、運転スタイルなどが互いに関連付けられて記憶されている。例えば、データベースに記憶されたデータ群の中から特定の特性を有する人に関するデータ群が抽出され、その抽出されたデータ群に基づいて上記の基準値が設定されてもよい。なお、データベースに記憶されたデータ群の中から抽出されるデータ群の例としては、健常者に関連するデータ群、特定の疾患を有する人に関連するデータ群、交通事故を起こしたことがある人に関連するデータ群などが挙げられる。

また、以上の説明において、上記の基準値は、車両制御装置３０とは異なる他の機器（例えばスマートフォン）により得られた情報に基づいて設定されてもよい。

また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、この発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

以上説明したように、ここに開示する技術は、運転者状態推定装置として有用である。

１０ 車両制御システム（移動体制御システム）
１１ アクチュエータ
２０ 情報取得部
２１ カメラ
２２ レーダ
２３ 位置センサ
２４ 通信部
２５ 車両状態センサ
２６ 運転操作センサ
２７ 運転者状態センサ
２８ 車内カメラ
２９ 生体情報センサ
３０ 車両制御装置（運転者状態推定装置）
３１ 車両挙動認識部
３２ 運転操作認識部
３３ 外部環境認識部
３４ 運転者状態認識部
３５ 車両制御部
３００ 運転者状態推定部
３１０ 視線検出部
３２０ 第１計測部
３２１ 注目箇所検出部
３２２ 第１指標導出部
３３０ 第２計測部
３３１ サリエンシー検出部
３３２ 第２指標導出部
３４０ 推定部
Ｒ１０ 第１領域
Ｒ１１ 前方中央領域
Ｒ１２ メータークラスタ領域
Ｒ２０ 第２領域

Claims (4)

1. 移動体に搭乗する運転者の状態を推定する運転者状態推定装置であって、
   前記運転者の周囲環境のうち前記運転者のトップダウン注意が支配的となる第１領域において、前記運転者のトップダウン注意に割り当てられる注意資源の量であるトップダウン注意資源量と相関のある第１指標値を計測する第１計測部と、
   前記運転者の周囲環境のうち前記運転者のボトムアップ注意が支配的となる第２領域において、前記運転者のボトムアップ注意に割り当てられる注意資源の量であるボトムアップ注意資源量と相関のある第２指標値を計測する第２計測部と、
   前記第１領域における前記第１指標値と、前記第２領域における前記第２指標値とに基づいて、前記運転者の注意機能低下状態を含む前記運転者の状態を推定する推定部とを備え、
   前記運転者が前記注意機能低下状態であるときの前記運転者の前記トップダウン注意資源量と前記ボトムアップ注意資源量との総量である注意資源総量は、前記運転者が正常状態であるときの前記運転者の前記注意資源総量よりも少なく、
   前記推定部は、前記第１指標値が予め定められた第１閾値を下回る場合において、前記第２指標値が予め定められた第２閾値を下回る場合に、前記運転者が前記注意機能低下状態であると推定し、前記第２指標値が前記第２閾値を下回らない場合に、前記運転者が前記注意機能低下状態であると推定しない
   ことを特徴とする運転者状態推定装置。
2. 請求項１において、
   前記運転者が漫然状態であるときの前記運転者のトップダウン注意資源量は、前記運転者が前記正常状態であるときの前記運転者のトップダウン注意資源量よりも少なく、
   前記運転者が前記漫然状態であるときの前記運転者のボトムアップ注意資源量は、前記運転者が前記正常状態であるときの前記運転者のボトムアップ注意資源量よりも多く、
   前記推定部は、前記第１指標値が前記第１閾値を下回る場合において、前記第２指標値が前記第２閾値を下回らない場合に、前記運転者が前記漫然状態であると推定する
   ことを特徴とする運転者状態推定装置。
3. 請求項１または２において、
   前記運転者の視線を検出する視線検出部を備え、
   前記第１計測部は、前記運転者の周囲環境における注目箇所を検出する注目箇所検出部と、前記運転者の周囲環境における注目箇所に対する前記運転者の視線の動きに基づいて前記第１領域における前記第１指標値を導出する第１指標導出部とを有し、
   前記第２計測部は、前記運転者の周囲環境におけるサリエンシーの分布を検出するサリエンシー検出部と、前記運転者の周囲環境におけるサリエンシーの分布に対する前記運転者の視線の動きに基づいて前記第２領域における前記第２指標値を導出する第２指標導出部とを有する
   ことを特徴とする運転者状態推定装置。
4. 請求項１～３のいずれか１つにおいて、
   前記第１領域は、前記運転者の周囲環境のうち前記移動体の運転中に前記運転者により注視される頻度が高い領域である
   ことを特徴とする運転者状態推定装置。

Images