JP7298510B2 - 状態推定装置 - Google Patents
状態推定装置 Download PDFInfo
- Publication number
- JP7298510B2 JP7298510B2 JP2020030011A JP2020030011A JP7298510B2 JP 7298510 B2 JP7298510 B2 JP 7298510B2 JP 2020030011 A JP2020030011 A JP 2020030011A JP 2020030011 A JP2020030011 A JP 2020030011A JP 7298510 B2 JP7298510 B2 JP 7298510B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- vehicle
- driver
- visual field
- saccade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
ここに開示する技術は、対象者の状態を推定する状態推定装置に関する。
特許文献１には、車両の運転者の異常を検出する車両制御装置が開示されている。この車両制御装置は、車両の運転者の体温を計測する体温計測部と、車両の走行状態が異常であるか否かを判定する走行状態判定部と、体温計測部の計測結果および走行状態判定部の判定結果に基づいて、車両を制御する車両制御部とを有する。
しかしながら、特許文献１の装置では、発熱を伴わない異常状態を推定することができない。そのため、同名半盲などの視野の左右の片側が異常となる視野異常状態を推定することができない。
ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、視野の左右の片側が異常となる視野異常状態を推定することにある。
ここに開示する技術は、対象者の状態を推定する状態推定装置に関する。この状態推定装置は、前記対象者のサッケードを検出するサッケード検出部と、予め定められた推定期間内における前記対象者の右視野内のサッケードの振幅と左視野内のサッケードの振幅との差が予め定められた振幅差閾値以上であるという第１条件および前記推定期間内における前記対象者の右視野内のサッケードの頻度と左視野内のサッケードの頻度との差が予め定められた頻度差閾値以上であるという第２条件の両方が成立する場合に、前記対象者の状態が視野の左右の片側が異常となる視野異常状態であると推定する推定部とを備える。
本願発明者は、鋭意研究の結果、対象者の状態が視野異常状態になると、推定期間内における対象者の右視野内のサッケードの振幅と左視野内のサッケードの振幅との差が正常時よりも大きくなり、且つ、推定期間内における対象者の右視野内のサッケードの頻度と左視野内のサッケードの頻度との差が正常時よりも大きくなることを見出した。したがって、第１条件および第２条件の両方の成立に基づいて、視野の左右の片側が異常となる視野異常状態を推定することができる。
前記状態推定装置において、前記推定部は、前記第１条件および前記第２条件の少なくとも一方が成立せず、前記推定期間内における前記対象者の全視野内のサッケードの振幅が予め定められた振幅閾値以下であるという第３条件および前記推定期間内における前記対象者の全視野内のサッケードの頻度が予め定められた頻度閾値以下であるという第４条件の少なくとも一方が成立する場合に、前記対象者の状態が注意機能低下状態であると推定するように構成されてもよい。
本願発明者は、鋭意研究の結果、対象者の状態が注意低下状態になると、推定期間内における対象者の全視野内のサッケードの振幅および頻度の少なくとも一方が正常時よりも低くなることを見出した。したがって、第１条件および第２条件の成立の可否と、第３条件および第４条件の成立の可否とに基づいて、突発性異常状態と注意機能低下状態とを区別して推定することができる。
前記状態推定装置は、前記対象者の状態が前記視野異常状態であると推定された場合に、前記視野異常状態に応じた第１動作を行い、前記対象者の状態が前記注意機能低下状態であると推定された場合に、前記注意機能低下状態に応じた第２動作を行う制御部を備えてもよい。
前記の構成では、推定部により推定された対象者の状態に応じた動作を適切に行うことができる。
前記状態推定装置において、前記対象者は、車両を運転する運転者であってもよい。前記第１動作は、前記車両が安全領域に退避するように前記車両の走行を制御する動作を含んでもよい。前記第２動作は、前記運転者に休憩をとることを促すための情報を出力する動作を含んでもよい。
前記の構成では、運転者の状態が視野異常状態であると推定される場合に、車両を安全領域に停車させることができる。これにより、自車両（運転者が運転する車両）および自車両の周囲にいる他車両の安全を確保することができる。また、運転者の状態が注意機能低下状態であると推定される場合に、運転者に休憩をとることを促すことができる。これにより、運転者の状態を注意機能低下状態から正常状態に回復させることができ、車両の走行安全性を確保することができる。
前記状態推定装置において、前記対象者は、車両を運転する運転者であってもよい。前記振幅差閾値および前記頻度差閾値は、前記車両の走行シーンが予め定められた走行シーンであるときの前記サッケードの振幅および頻度に基づいて設定されてもよい。
前記の構成では、運転者の特性を考慮して振幅差閾値および頻度差閾値を適切に設定することができる。これにより、運転者の状態推定の精度を向上させることができる。
ここに開示する技術によれば、視野の左右の片側が異常となる視野異常状態を推定することができる。
以下、図面を参照して実施の形態を詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
（実施形態１）
図１は、実施形態１の車両制御システム１０の構成を例示する。車両制御システム１０は、車両（具体的には自動四輪車）に設けられる。車両は、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム１０は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム１０は、車両に設けられたアクチュエータ１１を制御することで車両の動作（特に走行）を制御する。なお、車両制御システム１０は、移動体に設けられる移動体制御システムの一例である。
図１は、実施形態１の車両制御システム１０の構成を例示する。車両制御システム１０は、車両（具体的には自動四輪車）に設けられる。車両は、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム１０は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム１０は、車両に設けられたアクチュエータ１１を制御することで車両の動作（特に走行）を制御する。なお、車両制御システム１０は、移動体に設けられる移動体制御システムの一例である。
この例では、車両制御システム１０は、情報取得部２０と、車両制御装置３０と、通知部４０とを備える。以下の説明では、車両制御システム１０が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。
〔アクチュエータ〕
アクチュエータ１１は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、トランスミッション、モータが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。
アクチュエータ１１は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、トランスミッション、モータが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。
〔情報取得部〕
情報取得部２０は、車両の制御に用いられる各種情報を取得する。この例では、情報取得部２０は、複数のカメラ２１と、複数のレーダ２２と、位置センサ２３と、通信部２４と、車両状態センサ２５と、運転操作センサ２６と、運転者状態センサ２７とを含む。
情報取得部２０は、車両の制御に用いられる各種情報を取得する。この例では、情報取得部２０は、複数のカメラ２１と、複数のレーダ２２と、位置センサ２３と、通信部２４と、車両状態センサ２５と、運転操作センサ２６と、運転者状態センサ２７とを含む。
〈カメラ〉
複数のカメラ２１は、互いに同様の構成を有する。複数のカメラ２１は、複数のカメラ２１の撮像エリアが車両の周囲を囲うように車両に設けられる。複数のカメラ２１は、車両の周囲に広がる環境（外部環境）を撮像することで、外部環境を示す画像データを取得する。複数のカメラ２１の各々により得られた画像データは、車両制御装置３０に送信される。
複数のカメラ２１は、互いに同様の構成を有する。複数のカメラ２１は、複数のカメラ２１の撮像エリアが車両の周囲を囲うように車両に設けられる。複数のカメラ２１は、車両の周囲に広がる環境（外部環境）を撮像することで、外部環境を示す画像データを取得する。複数のカメラ２１の各々により得られた画像データは、車両制御装置３０に送信される。
この例では、カメラ２１は、広角レンズを有する単眼カメラである。例えば、カメラ２１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ２１は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。
〈レーダ〉
複数のレーダ２２は、互いに同様の構成を有する。複数のレーダ２２は、複数のレーダ２２の探索エリアが車両の周囲を囲うように車両に設けられる。複数のレーダ２２は、外部環境を検出する。具体的には、レーダ２２は、車両の外部環境へ向けて探索波を送信して外部環境からの反射波を受信することで外部環境を検出する。複数のレーダ２２の検出結果は、車両制御装置３０に送信される。
複数のレーダ２２は、互いに同様の構成を有する。複数のレーダ２２は、複数のレーダ２２の探索エリアが車両の周囲を囲うように車両に設けられる。複数のレーダ２２は、外部環境を検出する。具体的には、レーダ２２は、車両の外部環境へ向けて探索波を送信して外部環境からの反射波を受信することで外部環境を検出する。複数のレーダ２２の検出結果は、車両制御装置３０に送信される。
例えば、レーダ２２は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。
〈位置センサ〉
位置センサ２３は、車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ２３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ２３により得られた情報（車両の位置）は、車両制御装置３０に送信される。
位置センサ２３は、車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ２３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ２３により得られた情報（車両の位置）は、車両制御装置３０に送信される。
〈通信部〉
通信部２４は、車両の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて情報を受信する。例えば、通信部２４は、車両の周囲に位置する他車両（図示省略）からの通信情報、ナビゲーションシステム（図示省略）からのカーナビゲーションデータ、交通情報、ダイナミックマップなどの高精度地図情報などを受信する。通信部２４により得られた情報は、車両制御装置３０に送信される。
通信部２４は、車両の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて情報を受信する。例えば、通信部２４は、車両の周囲に位置する他車両（図示省略）からの通信情報、ナビゲーションシステム（図示省略）からのカーナビゲーションデータ、交通情報、ダイナミックマップなどの高精度地図情報などを受信する。通信部２４により得られた情報は、車両制御装置３０に送信される。
〈車両状態センサ〉
車両状態センサ２５は、車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ２５は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ２５により得られた情報（車両の状態）は、車両制御装置３０に送信される。
車両状態センサ２５は、車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ２５は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ２５により得られた情報（車両の状態）は、車両制御装置３０に送信される。
〈運転操作センサ〉
運転操作センサ２６は、車両に加えられる運転操作を検出する。例えば、運転操作センサ２６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ２６により得られた情報（車両の運転操作）は、車両制御装置３０に送信される。
運転操作センサ２６は、車両に加えられる運転操作を検出する。例えば、運転操作センサ２６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ２６により得られた情報（車両の運転操作）は、車両制御装置３０に送信される。
〈運転者状態センサ〉
運転者状態センサ２７は、車両に搭乗する運転者の状態（例えば運転者の身体挙動や生体情報など）を検出する。運転者状態センサ２７により得られた情報（運転者の状態）は、車両制御装置３０に送信される。この例では、運転者状態センサ２７は、車内カメラ２８と、生体情報センサ２９とを含む。
運転者状態センサ２７は、車両に搭乗する運転者の状態（例えば運転者の身体挙動や生体情報など）を検出する。運転者状態センサ２７により得られた情報（運転者の状態）は、車両制御装置３０に送信される。この例では、運転者状態センサ２７は、車内カメラ２８と、生体情報センサ２９とを含む。
《車内カメラ》
車内カメラ２８は、車両の内部に設けられる。車内カメラ２８は、運転者を含む領域を撮像することで運転者を含む画像データを取得する。車内カメラ２８により得られた画像データは、車両制御装置３０に送信される。この例では、車内カメラ２８は、運転者の前方に配置され、運転者の顔（特に眼球）が撮像範囲内に位置するように撮像範囲が設定される。なお、車内カメラ２８は、運転者に装着されるゴーグル（図示省略）に設けられてもよい。
車内カメラ２８は、車両の内部に設けられる。車内カメラ２８は、運転者を含む領域を撮像することで運転者を含む画像データを取得する。車内カメラ２８により得られた画像データは、車両制御装置３０に送信される。この例では、車内カメラ２８は、運転者の前方に配置され、運転者の顔（特に眼球）が撮像範囲内に位置するように撮像範囲が設定される。なお、車内カメラ２８は、運転者に装着されるゴーグル（図示省略）に設けられてもよい。
《生体情報センサ》
生体情報センサ２９は、車両の内部に設けられる。生体情報センサ２９は、運転者の生体情報を検出する。なお、運転者の生体情報の例としては、発汗、心拍、血流量、皮膚温などが挙げられる。生体情報センサ２９により得られた情報（運転者の生体情報）は、車両制御装置３０に送信される。例えば、生体情報センサ２９は、運転者の手と接触する箇所に配置されてもよいし、運転者の身体に装着される部材（図示省略）に設けられてもよい。
生体情報センサ２９は、車両の内部に設けられる。生体情報センサ２９は、運転者の生体情報を検出する。なお、運転者の生体情報の例としては、発汗、心拍、血流量、皮膚温などが挙げられる。生体情報センサ２９により得られた情報（運転者の生体情報）は、車両制御装置３０に送信される。例えば、生体情報センサ２９は、運転者の手と接触する箇所に配置されてもよいし、運転者の身体に装着される部材（図示省略）に設けられてもよい。
〔車両制御装置〕
車両制御装置３０は、アクチュエータ１１および車両制御システム１０の各部（この例では情報取得部２０と通知部４０など）と信号伝送可能に接続される。そして、車両制御装置３０は、車両制御システム１０の各部により得られた情報に基づいてアクチュエータ１１および車両制御システム１０の各部を制御する。具体的には、車両制御装置３０は、アシスト運転または自動運転において、情報取得部２０により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置３０は、車両の運動が目標運動となるように、アクチュエータ１１の動作を制御する。なお、車両制御装置３０は、状態推定装置の一例である。
車両制御装置３０は、アクチュエータ１１および車両制御システム１０の各部（この例では情報取得部２０と通知部４０など）と信号伝送可能に接続される。そして、車両制御装置３０は、車両制御システム１０の各部により得られた情報に基づいてアクチュエータ１１および車両制御システム１０の各部を制御する。具体的には、車両制御装置３０は、アシスト運転または自動運転において、情報取得部２０により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置３０は、車両の運動が目標運動となるように、アクチュエータ１１の動作を制御する。なお、車両制御装置３０は、状態推定装置の一例である。
例えば、車両制御装置３０は、１つまたは複数の電子制御ユニット（ＥＣＵ）により構成される。電子制御ユニットは、単一のＩＣ（Integrated Circuit）により構成されてもよいし、複数のＩＣにより構成されてもよい。また、ＩＣ内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、ＣＰＵ（プロセッサ）と、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果などの情報を記憶するメモリとにより構成されてもよい。
この例では、車両制御装置３０は、車両挙動認識部３１と、運転操作認識部３２と、外部環境認識部３３と、運転者状態認識部３４と、車両制御部３５とを有する。車両制御部３５は、運転者（対象者）の状態に応じた動作を行う制御部の一例である。
〈車両挙動認識部〉
車両挙動認識部３１は、車両状態センサ２５の出力に基づいて車両の挙動（例えば速度や加速度やヨーレートなど）を推定する。例えば、車両挙動認識部３１は、深層学習により生成された学習モデルを用いて、車両状態センサ２５の出力から車両の挙動を示すデータを生成する。
車両挙動認識部３１は、車両状態センサ２５の出力に基づいて車両の挙動（例えば速度や加速度やヨーレートなど）を推定する。例えば、車両挙動認識部３１は、深層学習により生成された学習モデルを用いて、車両状態センサ２５の出力から車両の挙動を示すデータを生成する。
〈運転操作認識部〉
運転操作認識部３２は、運転操作センサ２６の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部３２は、深層学習により生成された学習モデルを用いて、運転操作センサ２６の出力から車両に加えられる運転操作を示すデータを生成する。
運転操作認識部３２は、運転操作センサ２６の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部３２は、深層学習により生成された学習モデルを用いて、運転操作センサ２６の出力から車両に加えられる運転操作を示すデータを生成する。
〈外部環境認識部〉
外部環境認識部３３は、複数のカメラ２１の出力と、複数のレーダ２２の出力と、位置センサ２３の出力と、通信部２４の出力と、車両挙動認識部３１の出力に基づいて、車両の外部環境を認識する。
外部環境認識部３３は、複数のカメラ２１の出力と、複数のレーダ２２の出力と、位置センサ２３の出力と、通信部２４の出力と、車両挙動認識部３１の出力に基づいて、車両の外部環境を認識する。
例えば、外部環境認識部３３は、深層学習により生成された学習モデルを用いて、上記の出力から車両の外部環境を示すデータを生成する。深層学習では、多層ニューラルネットワーク（Deep Neural Network）が用いられる。多層ニューラルネットワークの例としては、ＣＮＮ（Convolutional Neural Network）が挙げられる。
具体的には、外部環境認識部３３は、複数のカメラ２１により得られた画像データに対して画像処理を行うことにより、車両が移動可能な道路を表す道路マップデータ（例えば三次元マップデータ）を生成する。また、外部環境認識部３３は、複数のレーダ２２の検出結果に基づいて、車両の周辺に存在する物体に関する情報である物体情報を取得する。物体情報には、物体の位置座標、物体の速度などが含まれる。なお、外部環境認識部３３は、複数のカメラ２１により得られた画像データに基づいて物体情報を取得してもよい。そして、外部環境認識部３３は、道路マップデータと物体情報とを統合することで、外部環境を表す統合マップデータ（三次元マップデータ）を生成する。
道路マップデータには、道路の形状、道路の構造、道路の勾配、区画線、路面標示などに関する情報が含まれる。物体情報には、静的物体情報と、動的物体情報とが含まれる。静的物体情報は、時間経過により変位しない静止体に関する情報である。静的物体情報には、静止体の形状、静止体の位置座標などに関する情報が含まれる。静止体の例としては、道路標識、構造物などが挙げられる。構造物の例としては、信号機、中央分離帯、センターポール、建物、看板、踏切、トンネル、軌道敷、バス停留所などが挙げられる。動的物体情報は、時間経過により変位する可能性がある動体に関する情報である。動的物体情報には、動体の形状、動体の位置座標、動体の速度などに関する情報が含まれる。動体の例としては、他車両、歩行者などが挙げられる。
なお、通信部２４により受信される高精度地図情報に、道路マップデータと物体情報が含まれていてもよい。この場合、外部環境認識部３３は、高精度地図情報に含まれる道路マップデータと物体情報に基づいて統合マップデータを生成し、複数のカメラ２１や複数のレーダ２２などの情報取得部２０の出力に基づいて統合マップデータを適宜補正するように構成されてもよい。例えば、外部環境認識部３３は、複数のカメラ２１の出力および複数のレーダ２２の出力に基づいて認識された物体が統合マップデータに含まれていない場合に、その物体に関する物体情報を統合マップデータに追加してもよい。また、外部環境認識部３３は、統合マップデータに含まれる物体が複数のカメラ２１の出力および複数のレーダ２２の出力に基づいて認識されない場合に、その物体に関する物体情報を統合マップデータから削除してもよい。
〈運転者状態認識部〉
運転者状態認識部３４は、運転者状態センサ２７の出力に基づいて運転者の状態（例えば運転者の健康状態や感情や姿勢など）を認識する。例えば、運転者状態認識部３４は、深層学習により生成された学習モデルを用いて、運転者状態センサ２７の出力から運転者の状態を示すデータを生成する。この例では、運転者状態認識部３４は、状態推定部３００を有する。状態推定部３００については、後で詳しく説明する。
運転者状態認識部３４は、運転者状態センサ２７の出力に基づいて運転者の状態（例えば運転者の健康状態や感情や姿勢など）を認識する。例えば、運転者状態認識部３４は、深層学習により生成された学習モデルを用いて、運転者状態センサ２７の出力から運転者の状態を示すデータを生成する。この例では、運転者状態認識部３４は、状態推定部３００を有する。状態推定部３００については、後で詳しく説明する。
〈車両制御部〉
車両制御部３５は、車両挙動認識部３１の出力と、運転操作認識部３２の出力と、外部環境認識部３３の出力と、運転者状態認識部３４の出力に基づいて、アクチュエータ１１を制御する。この例では、車両制御部３５は、走行制御と、通知制御とを行う。
車両制御部３５は、車両挙動認識部３１の出力と、運転操作認識部３２の出力と、外部環境認識部３３の出力と、運転者状態認識部３４の出力に基づいて、アクチュエータ１１を制御する。この例では、車両制御部３５は、走行制御と、通知制御とを行う。
《走行制御》
走行制御は、アシスト運転および自動運転において行われる。走行制御では、車両制御部３５は、車両の走行を制御する。この例では、車両制御部３５は、走行制御において、候補経路生成処理と、目標経路決定処理と、運動制御処理とを行う。
走行制御は、アシスト運転および自動運転において行われる。走行制御では、車両制御部３５は、車両の走行を制御する。この例では、車両制御部３５は、走行制御において、候補経路生成処理と、目標経路決定処理と、運動制御処理とを行う。
候補経路生成処理では、車両制御部３５は、外部環境認識部３３の出力に基づいて１つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。なお、この例では、候補経路生成処理により生成される候補経路には、安全経路が含まれる。安全経路は、安全領域（例えば路肩）へ向かう走行経路である。
例えば、候補経路生成処理において、車両制御部３５は、外部環境認識部３３の出力（統合マップデータ）に基づいて、車両の進行方向前方の道路と道路上に存在する物体とを含む走行マップデータ（二次元マップデータ）を生成する。そして、車両制御部３５は、ステートラティス法を用いて候補経路を生成する。具体的には、車両制御部３５は、走行マップデータの道路上に多数のグリッド点からなるグリッド領域を設定し、車両の進行方向へ向けて複数のグリッド点を順に連結することで複数の走行経路を設定する。また、車両制御部３５は、複数の走行経路の各々に経路コストを付与する。例えば、ある走行経路における車両の安全性が高くなるに連れて、その走行経路に付与される経路コストが小さくなる。そして、車両制御部３５は、複数の走行経路の各々に付与された経路コストに基づいて、複数の走行経路の中から１つまたは複数の走行経路を候補経路として選択する。
目標経路決定処理では、車両制御部３５は、運転操作認識部３２の出力と、運転者状態認識部３４の出力に基づいて、候補経路生成処理において生成された１つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、車両制御部３５は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。
運動制御処理では、車両制御部３５は、目標経路決定処理において目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ１１を制御する。例えば、車両制御部３５は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、車両制御部３５は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。
《通知制御》
通知制御では、車両制御部３５は、運転者に通知するための各種情報を出力する。この例では、車両制御部３５は、運転者に通知するための各種情報を通知部４０に出力する。
通知制御では、車両制御部３５は、運転者に通知するための各種情報を出力する。この例では、車両制御部３５は、運転者に通知するための各種情報を通知部４０に出力する。
〔通知部〕
通知部４０は、車両の内部に設けられる。そして、通知部４０は、車両の運転者に各種情報を通知する。この例では、通知部４０は、表示部４１と、スピーカ４２とを含む。表示部４１は、各種情報を画像で出力する。スピーカ４２は、各種情報を音声で出力する。
通知部４０は、車両の内部に設けられる。そして、通知部４０は、車両の運転者に各種情報を通知する。この例では、通知部４０は、表示部４１と、スピーカ４２とを含む。表示部４１は、各種情報を画像で出力する。スピーカ４２は、各種情報を音声で出力する。
〔用語の説明〕
次に、以下において用いられる用語について説明する。以下の説明では、サッケード、全視野、右視野、左視野、視野異常状態、注意機能低下状態、正常状態という用語が用いられる。
次に、以下において用いられる用語について説明する。以下の説明では、サッケード、全視野、右視野、左視野、視野異常状態、注意機能低下状態、正常状態という用語が用いられる。
〈サッケード〉
サッケードは、人（例えば運転者）が意図的に視線を移動させる跳躍性眼球運動のことである。具体的には、サッケードは、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。図２は、人の視線の位置（角度）の時間的変化を示す。図２に示すように、隣り合う２つの注視期間の間に挟まれた期間がサッケード期間となる。なお、注視期間は、視線が停滞しているとみなされる期間である。サッケードの振幅ｄｓは、サッケード期間における視線の移動距離である。
サッケードは、人（例えば運転者）が意図的に視線を移動させる跳躍性眼球運動のことである。具体的には、サッケードは、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。図２は、人の視線の位置（角度）の時間的変化を示す。図２に示すように、隣り合う２つの注視期間の間に挟まれた期間がサッケード期間となる。なお、注視期間は、視線が停滞しているとみなされる期間である。サッケードの振幅ｄｓは、サッケード期間における視線の移動距離である。
例えば、視線の移動距離の変化に基づいて視線の移動速度を算出し、視線の移動速度が予め定められた速度閾値（例えば４０deg/s）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」として抽出してもよい。そして、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０deg/s）以上であり、且つ、移動距離が予め定められ距離閾値（例えば３deg）以上である視線移動を「サッケード」として抽出してもよい。
〈全視野と右視野と左視野〉
全視野は、視野の左右方向の全領域のことである。図３に示すように、右視野ＶＲは、全視野のうち左右の中心線よりも右側の視野領域のことである。左視野ＶＬは、全視野のうち左右の中心線よりも左側の視野領域のことである。視野の左右の中心線は、運転者の両眼の中心点（例えば鼻の位置）から顔の真正面へ向けて延びる仮想線であり、運転者の顔の向きに基づいて導出することが可能である。
全視野は、視野の左右方向の全領域のことである。図３に示すように、右視野ＶＲは、全視野のうち左右の中心線よりも右側の視野領域のことである。左視野ＶＬは、全視野のうち左右の中心線よりも左側の視野領域のことである。視野の左右の中心線は、運転者の両眼の中心点（例えば鼻の位置）から顔の真正面へ向けて延びる仮想線であり、運転者の顔の向きに基づいて導出することが可能である。
〈視野異常状態〉
視野異常状態は、視野の左右の片側が異常となる異常状態のことである。視野異常状態では、運転者による車両の運転操作の継続が困難となる。また、視野異常状態は、休憩などにより正常状態に回復することが困難である。視野異常状態の例としては、同名半盲が挙げられる。
視野異常状態は、視野の左右の片側が異常となる異常状態のことである。視野異常状態では、運転者による車両の運転操作の継続が困難となる。また、視野異常状態は、休憩などにより正常状態に回復することが困難である。視野異常状態の例としては、同名半盲が挙げられる。
〈注意機能低下状態〉
注意機能低下状態は、上記の視野異常状態とは異なる要因により人の注意機能が低下している状態のことである。注意機能低下状態では、運転者による車両の運転操作に支障がある。また、注意機能低下状態は、休憩などにより正常状態に回復することが可能である。注意機能低下状態の例としては、覚醒低下、疲労、漫然状態などが挙げられる。
注意機能低下状態は、上記の視野異常状態とは異なる要因により人の注意機能が低下している状態のことである。注意機能低下状態では、運転者による車両の運転操作に支障がある。また、注意機能低下状態は、休憩などにより正常状態に回復することが可能である。注意機能低下状態の例としては、覚醒低下、疲労、漫然状態などが挙げられる。
〈正常状態〉
正常状態は、上記の視野異常状態でも注意機能低下状態でもない状態であり、人が行うべき操作を正常に行うことが可能な状態のことである。正常状態では、運転者による車両の運転操作が正常に行われる。
正常状態は、上記の視野異常状態でも注意機能低下状態でもない状態であり、人が行うべき操作を正常に行うことが可能な状態のことである。正常状態では、運転者による車両の運転操作が正常に行われる。
〔状態推定部の構成〕
図４は、状態推定部３００の構成を例示する。状態推定部３００は、サッケード検出部３０１と、推定部３０２と、注意度検出部３０３と、設定部３０４とを有する。
図４は、状態推定部３００の構成を例示する。状態推定部３００は、サッケード検出部３０１と、推定部３０２と、注意度検出部３０３と、設定部３０４とを有する。
〔サッケード検出部〕
サッケード検出部３０１は、車両の運転者（対象者）のサッケードを検出する。この例では、サッケード検出部３０１は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。また、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線と左眼の視線とに基づいて導出される視線であってもよい。そして、サッケード検出部３０１は、運転者の視線の移動に基づいて運転者のサッケードを検出する。
サッケード検出部３０１は、車両の運転者（対象者）のサッケードを検出する。この例では、サッケード検出部３０１は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。また、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線と左眼の視線とに基づいて導出される視線であってもよい。そして、サッケード検出部３０１は、運転者の視線の移動に基づいて運転者のサッケードを検出する。
また、サッケード検出部３０１は、予め定められた推定期間Ｐ１内におけるサッケードの振幅ｄｓおよび頻度ｆｓを算出する。
〔サッケード検出処理〕
次に、図５および図６を参照して、サッケード検出部３０１において行われるサッケード処理について説明する。まず、図５に示すように、サッケード検出部３０１は、推定期間Ｐ１を設定する。具体的には、サッケード検出部３０１は、推定期間Ｐ１が所定時間ずつシフトするように推定期間Ｐ１を設定する。図５の例では、推定期間Ｐ１の長さは「３０秒」であり、所定時間は「５秒」である。
次に、図５および図６を参照して、サッケード検出部３０１において行われるサッケード処理について説明する。まず、図５に示すように、サッケード検出部３０１は、推定期間Ｐ１を設定する。具体的には、サッケード検出部３０１は、推定期間Ｐ１が所定時間ずつシフトするように推定期間Ｐ１を設定する。図５の例では、推定期間Ｐ１の長さは「３０秒」であり、所定時間は「５秒」である。
また、サッケード検出部３０１は、周知の視野設定技術を用いて、運転者の右視野と左視野とを設定する。例えば、サッケード検出部３０１は、周知の顔向き検出技術を用いて運転者の顔の向きを検出し、運転者の両眼の中心点から顔の真正面へ向けて延びる仮想線を運転者の視野の左右の中心線に設定する。そして、サッケード検出部３０１は、運転者の顔の向きに基づいて運転者の全視野を設定し、運転者の全視野のうち運転者の視野の左右の中心線よりも右側の視野領域を右視野に設定し、運転者の全視野のうち運転者の視野の左右の中心線よりも左側の視野領域を左視野に設定する。この全視野と右視野と左視野の設定は、指定期間Ｐ１が設定される毎に行われてもよいし、予め定められた周期毎に行われてもよい。
そして、サッケード検出部３０１は、推定期間Ｐ１が設定される毎に、図６に示した処理（ステップＳＴ１１～ＳＴ１４）を行う。
〈ステップＳＴ１１〉
まず、サッケード検出部３０１は、運転者（対象者）の視線を検出する。この例では、サッケード検出部３０１は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。例えば、サッケード検出部３０１は、車内カメラ２８により得られた画像（画像データ）の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。次に、サッケード検出部３０１は、運転者の視線の移動距離を算出する。そして、サッケード検出部３０１は、運転者の視線の移動距離の時間的変化に基づいて、運転者の視線の速度を算出する。例えば、サッケード検出部３０１は、時間経過に応じて変化する視線の移動距離を微分することにより、運転者の視線の速度を算出する。
まず、サッケード検出部３０１は、運転者（対象者）の視線を検出する。この例では、サッケード検出部３０１は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。例えば、サッケード検出部３０１は、車内カメラ２８により得られた画像（画像データ）の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。次に、サッケード検出部３０１は、運転者の視線の移動距離を算出する。そして、サッケード検出部３０１は、運転者の視線の移動距離の時間的変化に基づいて、運転者の視線の速度を算出する。例えば、サッケード検出部３０１は、時間経過に応じて変化する視線の移動距離を微分することにより、運転者の視線の速度を算出する。
〈ステップＳＴ１２〉
次に、サッケード検出部３０１は、視線の移動速度に基づいて、サッケードの候補となるサッケード候補を抽出する。例えば、サッケード検出部３０１は、視線の移動速度が予め定められた速度閾値（例えば４０deg/s）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」（図２参照）として抽出する。そして、サッケード検出部３０１は、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０deg/s）以上であり、且つ、移動距離が予め定められ距離閾値（例えば３deg）以上である視線移動を「サッケード候補」として抽出する。
次に、サッケード検出部３０１は、視線の移動速度に基づいて、サッケードの候補となるサッケード候補を抽出する。例えば、サッケード検出部３０１は、視線の移動速度が予め定められた速度閾値（例えば４０deg/s）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」（図２参照）として抽出する。そして、サッケード検出部３０１は、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０deg/s）以上であり、且つ、移動距離が予め定められ距離閾値（例えば３deg）以上である視線移動を「サッケード候補」として抽出する。
〈ステップＳＴ１３〉
次に、サッケード検出部３０１は、回帰曲線Ｌ１０を基準とするサッケード範囲Ｒ１０（図７参照）を読み込む。
次に、サッケード検出部３０１は、回帰曲線Ｌ１０を基準とするサッケード範囲Ｒ１０（図７参照）を読み込む。
例えば、サッケード範囲Ｒ１０は、下記のように導出される。まず、サッケード検出部３０１は、複数のサッケード候補に基づいて回帰曲線Ｌ１０を導出する。具体的には、サッケード検出部３０１は、最小自乗法により複数のサッケード候補から回帰曲線Ｌ１０を導出する。次に、サッケード検出部３０１は、回帰曲線Ｌ１０を移動速度が増加する方向（図７の縦軸における増加方向）に所定量だけシフトさせることで第１基準曲線Ｌ１１を導出し、回帰曲線Ｌ１０を移動速度が減少する方向（図７の縦軸における減少方向）に所定量だけシフトさせることで第２基準曲線Ｌ１２を導出する。そして、サッケード検出部３０１は、第１基準曲線Ｌ１１と第２基準曲線Ｌ１２との間をサッケード範囲Ｒ１０とする。なお、サッケード範囲Ｒ１０の導出は、定期的に行われてもよい。
そして、サッケード検出部３０１は、複数のサッケード候補の各々とサッケード範囲Ｒ１０とを比較してサッケードを抽出する。具体的には、サッケード検出部３０１は、複数のサッケード候補のうちサッケード範囲Ｒ１０内に含まれるサッケード候補をサッケードとして抽出する。なお、サッケード検出部３０１は、複数のサッケード候補のうちサッケード範囲Ｒ１０内に含まれないサッケード候補をサッケードとして抽出しない。
〈ステップＳＴ１４〉
次に、サッケード検出部３０１は、推定期間Ｐ１内における運転者の全視野内のサッケードの振幅ｄｓおよび頻度ｆｓを算出する。以下では、運転者の全視野内のサッケードを「全サッケード」と記載する。具体的には、サッケード検出部３０１は、推定期間Ｐ１内に含まれる全サッケードの振幅ｄｓの平均値を「推定期間Ｐ１内における全サッケードの振幅ｄｓ」として算出し、推定期間Ｐ１内に含まれる全サッケードの数を推定期間Ｐ１の時間で除算して得られる値を「推定期間Ｐ１内における全サッケードの頻度ｆｓ」として算出する。
次に、サッケード検出部３０１は、推定期間Ｐ１内における運転者の全視野内のサッケードの振幅ｄｓおよび頻度ｆｓを算出する。以下では、運転者の全視野内のサッケードを「全サッケード」と記載する。具体的には、サッケード検出部３０１は、推定期間Ｐ１内に含まれる全サッケードの振幅ｄｓの平均値を「推定期間Ｐ１内における全サッケードの振幅ｄｓ」として算出し、推定期間Ｐ１内に含まれる全サッケードの数を推定期間Ｐ１の時間で除算して得られる値を「推定期間Ｐ１内における全サッケードの頻度ｆｓ」として算出する。
また、サッケード検出部３０１は、推定期間Ｐ１内における運転者の全視野内のサッケードを、推定期間Ｐ１内における運転者の右視野内のサッケードと、推定期間Ｐ１内における運転者の左視野内のサッケードと分類する。以下では、運転者の右視野内のサッケードを「右サッケード」と記載し、運転者の左視野内のサッケードを「左サッケード」と記載する。例えば、サッケード検出部３０１は、サッケードの注視点における運転者の視線が右視野を向く場合に、そのサッケードを右サッケードに分類し、サッケードの注視点における運転者の視線が左視野を向く場合に、そのサッケードを左サッケードに分類する。
そして、サッケード検出部３０１は、推定期間Ｐ１内における右サッケードの振幅ｄｓおよび頻度ｆｓを算出する。なお、推定期間Ｐ１内における右サッケードの振幅ｄｓおよび頻度ｆｓの算出は、推定期間Ｐ１内における全サッケードの振幅ｄｓおよび頻度ｆｓの算出と同様である。また、サッケード検出部３０１は、推定期間Ｐ１内における左サッケードの振幅ｄｓおよび頻度ｆｓを算出する。なお、推定期間Ｐ１内における左サッケードの振幅ｄｓおよび頻度ｆｓの算出は、推定期間Ｐ１内における全サッケードの振幅ｄｓおよび頻度ｆｓの算出と同様である。
〔推定部〕
推定部３０２は、車両の運転者（対象者）の状態を推定する。この例では、推定部３０２は、サッケード検出部３０１により検出された運転者のサッケードに基づいて、運転者の状態を推定する。なお、推定部３０２の動作については、後で詳しく説明する。
推定部３０２は、車両の運転者（対象者）の状態を推定する。この例では、推定部３０２は、サッケード検出部３０１により検出された運転者のサッケードに基づいて、運転者の状態を推定する。なお、推定部３０２の動作については、後で詳しく説明する。
〔注意度検出部〕
注意度検出部３０３は、車両の外部環境における注意度を検出する。注意度は、車両の外部環境における注意箇所（車両の運転者が走行中に確認すべき注意箇所）の多さを示す指標である。車両の外部環境において注意箇所が多くなるに連れて、車両の外部環境における注意度が高くなる。注意度検出部３０３により検出結果は、設定部３０４に供給される。注意箇所の例としては、動体の飛び出しが予測される箇所、自車両の障害物となり得る物体が存在する箇所などが挙げられる。
注意度検出部３０３は、車両の外部環境における注意度を検出する。注意度は、車両の外部環境における注意箇所（車両の運転者が走行中に確認すべき注意箇所）の多さを示す指標である。車両の外部環境において注意箇所が多くなるに連れて、車両の外部環境における注意度が高くなる。注意度検出部３０３により検出結果は、設定部３０４に供給される。注意箇所の例としては、動体の飛び出しが予測される箇所、自車両の障害物となり得る物体が存在する箇所などが挙げられる。
例えば、注意度検出部３０３は、次のように車両の外部環境における注意度を検出してもよい。まず、注意度検出部３０３は、通信部２４により得られた情報（高精度地図情報）を入力し、高精度地図情報の中から高注意度領域を検出する。高注意度領域とは、車両の運転者が走行中に確認すべき注意箇所が比較的に多い領域（例えば注意箇所の数が予め定められた閾値以上である領域）のことである。高注意度領域の例としては、Ｔ字路などの見通しの悪い道路環境を含む領域や、交差点などの障害物（例えば他車両）により自車両の走行が遮られる可能性がある道路環境を含む領域などが挙げられる。また、注意度検出部３０３は、位置センサ２３により得られた情報（車両の位置）を入力する。そして、注意度検出部３０３は、車両の位置が高注意度領域に含まれている場合に、車両の外部環境における注意度が高注意度であることを検出し、車両の位置が高注意度領域に含まれていない場合に、車両の外部環境における注意度が低注意度であることを検出する。
または、注意度検出部３０３は、次のように車両の外部環境における注意度を検出してもよい。まず、注意度検出部３０３は、外部環境認識部３３により認識された車両の外部環境に中から注意箇所を検出する。そして、注意度検出部３０３は、車両の外部環境に含まれる注意箇所が比較的に多い場合（例えば注意箇所の数が予め定められた閾値以上である場合）に、車両の外部環境における注意度が高注意度であることを検出し、車両の外部環境に含まれる注意箇所が比較的に少ない場合（例えば注意箇所の数が予め定められた閾値よりも少ない場合）に、車両の外部環境における注意度が低注意度であることを検出する。
なお、車両の外部環境における注意度が高注意度である走行シーンは、顕在化された注意箇所が比較的に多く、それらの注意箇所に視線を広範囲に向けることが要求される走行シーンであるといえる。また、車両の外部環境における注意度が低注意度である走行シーンは、顕在化された注意箇所が比較的に少なく、視線を頻繁に移動させて潜在的な注意箇所を探索することが要求される走行シーンであるといえる。以下では、車両の外部環境における注意度が高注意度である走行シーンを「危険確認シーン」と記載し、車両の外部環境における注意度が低注意度である走行シーンを「危険探索シーン」と記載する。
〔設定部〕
設定部３０４は、推定部３０２における運転者（対象者）の状態の推定に用いられる異常条件を設定する。この例では、設定部３０４は、サッケード検出部３０１により検出された運転者のサッケードに基づいて、異常条件に含まれる閾値を設定する。なお、設定部３０４の動作については、後で詳しく説明する。
設定部３０４は、推定部３０２における運転者（対象者）の状態の推定に用いられる異常条件を設定する。この例では、設定部３０４は、サッケード検出部３０１により検出された運転者のサッケードに基づいて、異常条件に含まれる閾値を設定する。なお、設定部３０４の動作については、後で詳しく説明する。
〔本願発明者により行われた実験〕
本願発明者は、運転者の状態と運転者の挙動（特に視線の動き）との関係を調べるために、下記のような実験を実施した。
本願発明者は、運転者の状態と運転者の挙動（特に視線の動き）との関係を調べるために、下記のような実験を実施した。
まず、視野異常状態に関するデータを収集するために、同名半盲の症状を有する患者（以下では「同名半盲患者」と記載）を被験者として選出した。また、注意機能低下状態に関するデータを収集するために、注意機能障害を有する患者（以下では「注意障害患者」と記載）を被験者として選出した。また、正常状態に関するデータを収集するために、上記の症状を有さない健常者（以下では単に「健常者」と記載）を被験者として選出した。
そして、図８に示すように、ドライビングシミュレータ６０を用いて車両の運転操作を被験者に擬似的に体験させた。具体的には、ドライビングシミュレータ６０により車両の走行中の動画像（車内から見える車両の外部環境を示す動画像）を被験者に視聴させ、その被験者の実験中の挙動を観測することで、被験者の車両運転時の挙動を擬似的に観測した。この実験では、車両の走行中の動画像を視聴する被験者の前方にカメラを設置し、撮像範囲内に被験者の眼球が含まれるようにカメラを設定した。
そして、カメラにより得られた画像データに対して視線検出処理を行うことで、被験者の視線を検出した。また、視線検出処理により得られた被験者の視線に対してサッケード検出処理を行うことで、被験者のサッケードを検出し、所定期間内におけるサッケードの振幅および頻度を算出した。これらの処理は、サッケード検出部３０１において行われる処理（図６参照）と同様である。
以上の実験を複数の被験者に対して実施した。
図９は、健常者および同名半盲患者の各々の右視野および左視野のサッケードの振幅を示し、図１０は、健常者および同名半盲患者の各々の右視野と左視野とのサッケードの振幅の差を示す。図１１は、健常者および同名半盲患者の各々の右視野および左視野のサッケードの頻度を示し、図１２は、健常者および同名半盲患者の各々の右視野と左視野とのサッケードの頻度の差を示す。以下では、被験者の右サッケードと左サッケードとの振幅の差を「サッケード振幅左右差」と記載し、被験者の右サッケードと左サッケードとの頻度の差を「サッケード頻度左右差」と記載する。
図１０に示すように、同名半盲患者のサッケード振幅左右差は、健常者のサッケード振幅左右差よりも大きい。図１２に示すように、同名半盲患者のサッケード頻度左右差は、健常者のサッケード頻度左右差よりも大きい。これは、右視野および左視野のうち異常により見えていないところを補おうとする補償行動と推測される。
また、注意障害患者は、全視野内のサッケードの振幅および頻度の少なくとも一方が健常者よりも少なくなる傾向があった。
〔本願発明者により得られた知見〕
上述の実験により、本願発明者は、以下の知見を得た。
上述の実験により、本願発明者は、以下の知見を得た。
（１）同名半盲患者のサッケード振幅左右差は、健常者のサッケード振幅左右差よりも大きく、且つ、同名半盲患者のサッケード頻度左右差は、健常者のサッケード頻度左右差よりも大きい。
（２）注意機能低下患者は、全視野内のサッケードの振幅および頻度の少なくとも一方が健常者よりも少なくなる。
そして、本願発明者は、以上の知見から、以下のことを見出した。
（１）運転者の状態が視野異常状態になると、運転者のサッケード振幅左右差（右サッケードの振幅と左サッケードの振幅との差）が正常時よりも大きくなり、且つ、運転者のサッケード頻度左右差（右サッケードの頻度と左サッケードの頻度との差）が正常時よりも大きくなる。
（２）運転者の状態が注意低下状態になると、運転者の全視野内のサッケードの振幅および頻度の少なくとも一方が正常時よりも低くなる。
〔状態推定処理〕
次に、図１３を参照して、推定部３０２の動作（状態推定処理）について説明する。推定部３０２は、予め定められた周期毎に、以下のステップＳＴ２１～ＳＴ２３の処理を行う。例えば、推定部３０２は、サッケード検出部３０１により推定期間Ｐ１内のサッケードの振幅ｄｓおよび頻度ｆｓが算出される毎に、以下の処理を行う。
次に、図１３を参照して、推定部３０２の動作（状態推定処理）について説明する。推定部３０２は、予め定められた周期毎に、以下のステップＳＴ２１～ＳＴ２３の処理を行う。例えば、推定部３０２は、サッケード検出部３０１により推定期間Ｐ１内のサッケードの振幅ｄｓおよび頻度ｆｓが算出される毎に、以下の処理を行う。
〈ステップＳＴ２１〉
推定部３０２は、推定期間Ｐ１内の右サッケードの振幅と推定期間Ｐ１内の左サッケードの振幅との差であるサッケード振幅左右差ｄＬＲが予め定められた振幅差閾値ｄＬＲｔｈ以上であるか否かを判定する。また、推定部３０２は、推定期間Ｐ１内の右サッケードの頻度と推定期間Ｐ１内の左サッケードの頻度との差であるサッケード頻度左右差ｆＬＲが予め定められた頻度差閾値ｆＬＲｔｈ以上であるか否かを判定する。
推定部３０２は、推定期間Ｐ１内の右サッケードの振幅と推定期間Ｐ１内の左サッケードの振幅との差であるサッケード振幅左右差ｄＬＲが予め定められた振幅差閾値ｄＬＲｔｈ以上であるか否かを判定する。また、推定部３０２は、推定期間Ｐ１内の右サッケードの頻度と推定期間Ｐ１内の左サッケードの頻度との差であるサッケード頻度左右差ｆＬＲが予め定められた頻度差閾値ｆＬＲｔｈ以上であるか否かを判定する。
例えば、振幅差閾値ｄＬＲｔは、運転者の状態が視野異常状態であるとみなせるときのサッケード振幅左右差ｄＬＲに設定される。具体的には、振幅差閾値ｄＬＲｔは、０．８degに設定されてもよい。頻度差閾値ｆＬＲｔｈは、運転者の状態が視野異常状態であるとみなせるときのサッケード頻度左右差ｆＬＲに設定される。具体的には、頻度差閾値ｆＬＲｔｈは、０．２１回/sに設定されてもよい。
「サッケード振幅左右差ｄＬＲが振幅差閾値ｄＬＲｔｈ以上である」という第１条件および「サッケード頻度左右差ｆＬＲが頻度差閾値ｆＬＲｔｈ以上である」という第２条件の両方が成立する場合には、ステップＳＴ２２の処理が行われ、そうでない場合には、ステップＳＴ２３の処理が行われる。
〈ステップＳＴ２２〉
第１条件および第２条件の両方が成立する場合、推定部３０２は、運転者の状態が視野異常状態であると推定する。この例では、推定部３０２は、視野異常状態であることを示すフラグを立てる。
第１条件および第２条件の両方が成立する場合、推定部３０２は、運転者の状態が視野異常状態であると推定する。この例では、推定部３０２は、視野異常状態であることを示すフラグを立てる。
〈ステップＳＴ２３〉
第１条件および第２条件の少なくとも一方が成立しない場合、推定部３０２は、運転者の状態が視野異常状態であると推定しない。この例では、推定部３０２は、視野異常状態であることを示すフラグを立てない。
第１条件および第２条件の少なくとも一方が成立しない場合、推定部３０２は、運転者の状態が視野異常状態であると推定しない。この例では、推定部３０２は、視野異常状態であることを示すフラグを立てない。
〔実施形態１の効果〕
以上のように、第１条件および第２条件の両方の成立に基づいて、視野の左右の片側が異常となる視野異常状態を推定することができる。
以上のように、第１条件および第２条件の両方の成立に基づいて、視野の左右の片側が異常となる視野異常状態を推定することができる。
（状態推定処理の変形例）
なお、推定部３０２は、図１４に示した状態推定処理を行うように構成されてもよい。図１４に示した状態推定処理では、図１３に示したステップＳＴ２３に代えて、ステップＳＴ３１～ＳＴ３３の処理が行われる。
なお、推定部３０２は、図１４に示した状態推定処理を行うように構成されてもよい。図１４に示した状態推定処理では、図１３に示したステップＳＴ２３に代えて、ステップＳＴ３１～ＳＴ３３の処理が行われる。
〈ステップＳＴ３１〉
ステップＳＴ２１において第１条件および第２条件の少なくとも一方が成立しない場合、推定部３０２は、運転者の全視野内のサッケードの振幅ｄｓが予め定められた振幅閾値ｄｔｈ１以下であるか否かを判定する。また、推定部３０２は、運転者の全視野内のサッケードの頻度ｆｓが予め定められた頻度閾値ｆｔｈ１以下であるか否かを判定する。
ステップＳＴ２１において第１条件および第２条件の少なくとも一方が成立しない場合、推定部３０２は、運転者の全視野内のサッケードの振幅ｄｓが予め定められた振幅閾値ｄｔｈ１以下であるか否かを判定する。また、推定部３０２は、運転者の全視野内のサッケードの頻度ｆｓが予め定められた頻度閾値ｆｔｈ１以下であるか否かを判定する。
例えば，振幅閾値ｄｔｈ１は、運転者の状態が注意機能低下状態であるとみなせるときの運転者の全視野内のサッケードの振幅ｄｓに設定される。頻度閾値ｆｔｈ１は、運転者の状態が注意機能低下状態であるとみなせるときの運転者の全視野内のサッケードの頻度ｆｓに設定される。
「運転者の全視野内のサッケードの振幅ｄｓが振幅閾値ｄｔｈ１以下である」という第３条件および「運転者の全視野内のサッケードの頻度ｆｓが頻度閾値ｆｔｈ１以下である」という第４条件の少なくとも一方が成立する場合には、ステップＳＴ３２へ進み、そうでない場合には、ステップＳＴ３３へ進む。
〈ステップＳＴ３２〉
ステップＳＴ２１において第１条件および第２条件の少なくとも一方が成立せず、ステップＳＴ３１において第３条件および第４条件の少なくとも一方が成立する場合、推定部３０２は、運転者の状態が注意機能低下状態であると推定する。この例では、推定部３０２は、注意機能低下状態を示すフラグを立てる。
ステップＳＴ２１において第１条件および第２条件の少なくとも一方が成立せず、ステップＳＴ３１において第３条件および第４条件の少なくとも一方が成立する場合、推定部３０２は、運転者の状態が注意機能低下状態であると推定する。この例では、推定部３０２は、注意機能低下状態を示すフラグを立てる。
〈ステップＳＴ３３〉
ステップＳＴ２１において第１条件および第２条件の少なくとも一方が成立せず、ステップＳＴ３１において第３条件および第４条件の両方が成立しない場合、推定部３０２は、運転者の状態が正常状態であると推定する。
ステップＳＴ２１において第１条件および第２条件の少なくとも一方が成立せず、ステップＳＴ３１において第３条件および第４条件の両方が成立しない場合、推定部３０２は、運転者の状態が正常状態であると推定する。
〔効果〕
以上のように、第１条件および第２条件の成立の可否と、第３条件および第４条件の成立の可否とに基づいて、突発性異常状態と注意機能低下状態とを区別して推定することができる。
以上のように、第１条件および第２条件の成立の可否と、第３条件および第４条件の成立の可否とに基づいて、突発性異常状態と注意機能低下状態とを区別して推定することができる。
（車両制御部の動作）
車両制御部３５は、推定部３０２により運転者の状態が視野異常状態であると推定されると、視野異常状態に応じた第１動作を行う。この例では、車両制御部３５は、視野異常状態を示すフラグが立つと、第１動作を行う。第１動作の例としては、車両が安全領域で停車するように車両の走行を制御する動作、運転者の状態が視野異常状態であることを通知するための第１通知情報を出力する動作、運転者の状態が視野異常状態であることを車両の周囲に通知するための動作などが挙げられる。第１通知情報を出力する動作の例としては、第１通知情報を通知部４０に出力する動作、通信部２４を経由して第１通知情報を車外の情報端末（図示省略）に出力する動作などが挙げられる。運転者の状態が視野異常状態であることを車両の周囲に通知するための動作の例としては、車両のハザードランプ（図示省略）を点滅させる動作が挙げられる。
車両制御部３５は、推定部３０２により運転者の状態が視野異常状態であると推定されると、視野異常状態に応じた第１動作を行う。この例では、車両制御部３５は、視野異常状態を示すフラグが立つと、第１動作を行う。第１動作の例としては、車両が安全領域で停車するように車両の走行を制御する動作、運転者の状態が視野異常状態であることを通知するための第１通知情報を出力する動作、運転者の状態が視野異常状態であることを車両の周囲に通知するための動作などが挙げられる。第１通知情報を出力する動作の例としては、第１通知情報を通知部４０に出力する動作、通信部２４を経由して第１通知情報を車外の情報端末（図示省略）に出力する動作などが挙げられる。運転者の状態が視野異常状態であることを車両の周囲に通知するための動作の例としては、車両のハザードランプ（図示省略）を点滅させる動作が挙げられる。
車両制御部３５は、推定部３０２により運転者の状態が注意機能低下状態であると推定されると、注意機能低下状態に応じた第２動作を行う。この例では、車両制御部３５は、注意機能低下状態を示すフラグが立つと、第２動作を行う。第２動作の例としては、運転者の注意機能低下状態を解消するための動作、運転者の状態が注意機能低下状態であることを通知するための第２通知情報を出力する動作などが挙げられる。運転者の注意機能低下状態を解消するための動作の例としては、運転者に休憩をとることを促すための警報情報を出力する動作、車両の運転に集中することを運転者に促すための注意喚起情報を出力する動作などが挙げられる。通知部４０は、車両制御部３５から出力された警報情報および/または注意喚起情報を入力する。これにより、通知部４０は、警報情報および/または注意喚起情報を画像および/または音声で車内に出力する。第２通知情報を出力する動作の例としては、第２通知情報を通知部４０に出力する動作、通信部２４を経由して第２通知情報を車外の情報端末（図示省略）に出力する動作などが挙げられる。
〔第１動作〕
次に、図１５を参照して、第１動作の一例について説明する。例えば、車両制御部３５は、視野異常状態を示すフラグが立つと、以下のステップＳＴ１０１～ＳＴ１０３の処理を行う。
次に、図１５を参照して、第１動作の一例について説明する。例えば、車両制御部３５は、視野異常状態を示すフラグが立つと、以下のステップＳＴ１０１～ＳＴ１０３の処理を行う。
〈ステップＳＴ１０１〉
車両制御部３５は、退避走行制御を行う。退避走行制御では、車両制御部３５は、車両の進行方向前方の道路と道路上に存在する物体とを含む走行マップデータにおいて安全領域を設定し、その安全領域を目標位置とする走行経路（退避経路）を生成する。そして、車両制御部３５は、車両が退避経路を走行して安全領域に停車するように、車両の走行を制御する。
車両制御部３５は、退避走行制御を行う。退避走行制御では、車両制御部３５は、車両の進行方向前方の道路と道路上に存在する物体とを含む走行マップデータにおいて安全領域を設定し、その安全領域を目標位置とする走行経路（退避経路）を生成する。そして、車両制御部３５は、車両が退避経路を走行して安全領域に停車するように、車両の走行を制御する。
〈ステップＳＴ１０２〉
車両制御部３５は、車両が安全領域に停車したか否かを判定する。車両が安全領域に停車している場合には、ステップＳＴ１０３の処理が行われ、そうでない場合には、ステップＳＴ１０１の処理が継続される。
車両制御部３５は、車両が安全領域に停車したか否かを判定する。車両が安全領域に停車している場合には、ステップＳＴ１０３の処理が行われ、そうでない場合には、ステップＳＴ１０１の処理が継続される。
〈ステップＳＴ１０３〉
車両が安全領域に停車すると、車両制御部３５は、運転者の状態が視野異常状態であることを示す第１通知情報を通信部２４に出力する。通信部２４は、第１通知情報を医療機関の情報端末（図示省略）に送信する。この第１通知情報には、安全領域に停車している車両の位置を示す位置情報が含まれていてもよい。
車両が安全領域に停車すると、車両制御部３５は、運転者の状態が視野異常状態であることを示す第１通知情報を通信部２４に出力する。通信部２４は、第１通知情報を医療機関の情報端末（図示省略）に送信する。この第１通知情報には、安全領域に停車している車両の位置を示す位置情報が含まれていてもよい。
〔第２動作〕
次に、図１６を参照して、第２動作の一例について説明する。例えば、車両制御部３５は、注意機能低下状態を示すフラグが立つと、以下のステップＳＴ２０１～ＳＴ２０３の処理を行う。
次に、図１６を参照して、第２動作の一例について説明する。例えば、車両制御部３５は、注意機能低下状態を示すフラグが立つと、以下のステップＳＴ２０１～ＳＴ２０３の処理を行う。
〈ステップＳＴ２０１〉
車両制御部３５は、車両を停車させて休憩をとることを運転者に促すための警報情報を通知部４０に出力する。通知部４０は、警報情報を画像および/または音声で出力する。具体的には、表示部４１は、警報情報を表示する。スピーカ４２は、警報情報を音声で再生する。これにより、運転者は、車両を停車させるための運転操作を行う。
車両制御部３５は、車両を停車させて休憩をとることを運転者に促すための警報情報を通知部４０に出力する。通知部４０は、警報情報を画像および/または音声で出力する。具体的には、表示部４１は、警報情報を表示する。スピーカ４２は、警報情報を音声で再生する。これにより、運転者は、車両を停車させるための運転操作を行う。
〈ステップＳＴ２０２〉
車両制御部３５は、車両が停車したか否かを判定する。車両が停車している場合には、ステップＳＴ２０３の処理が行われ、そうでない場合には、ステップＳＴ２０１の処理が継続される。
車両制御部３５は、車両が停車したか否かを判定する。車両が停車している場合には、ステップＳＴ２０３の処理が行われ、そうでない場合には、ステップＳＴ２０１の処理が継続される。
〈ステップＳＴ２０３〉
車両が停車すると、車両制御部３５は、通知部４０による警報情報の出力が停止するように通知部４０を制御する。
車両が停車すると、車両制御部３５は、通知部４０による警報情報の出力が停止するように通知部４０を制御する。
〔効果〕
以上のように、推定部３０２により推定された運転者の状態に応じた動作を適切に行うことができる。具体的には、運転者の状態が視野異常状態であると推定される場合に、車両を安全領域に停車させることができる。これにより、自車両（運転者が運転する車両）および自車両の周囲にいる他車両の安全を確保することができる。また、運転者の状態が注意機能低下状態であると推定される場合に、運転者に休憩をとることを促すことができる。これにより、運転者の状態を注意機能低下状態から正常状態に回復させることができ、車両の走行安全性を確保することができる。
以上のように、推定部３０２により推定された運転者の状態に応じた動作を適切に行うことができる。具体的には、運転者の状態が視野異常状態であると推定される場合に、車両を安全領域に停車させることができる。これにより、自車両（運転者が運転する車両）および自車両の周囲にいる他車両の安全を確保することができる。また、運転者の状態が注意機能低下状態であると推定される場合に、運転者に休憩をとることを促すことができる。これにより、運転者の状態を注意機能低下状態から正常状態に回復させることができ、車両の走行安全性を確保することができる。
（設定部の動作）
設定部３０４は、閾値設定処理を行う。閾値設定処理では、推定部３０２における運転者（対象者）の状態の推定に用いられる異常条件が設定される。この例では、振幅差閾値ｄＬＲｔｈおよび頻度差閾値ｆＬＲｔｈが設定される。具体的には、振幅差閾値ｄＬＲｔｈおよび頻度差閾値ｆＬＲｔｈは、車両の走行シーンが予め定められた走行シーンであるときのサッケードの振幅ｄｓおよび頻度ｆｓに基づいて設定される。
設定部３０４は、閾値設定処理を行う。閾値設定処理では、推定部３０２における運転者（対象者）の状態の推定に用いられる異常条件が設定される。この例では、振幅差閾値ｄＬＲｔｈおよび頻度差閾値ｆＬＲｔｈが設定される。具体的には、振幅差閾値ｄＬＲｔｈおよび頻度差閾値ｆＬＲｔｈは、車両の走行シーンが予め定められた走行シーンであるときのサッケードの振幅ｄｓおよび頻度ｆｓに基づいて設定される。
〔閾値設定処理〕
次に，図１７を参照して、閾値設定処理について説明する。設定部３０４は、予め定められた周期毎に、以下のステップＳＴ３０１～ＳＴ３０３の処理を行う。なお、設定部３０４は、運転者の指示に応答して以下の処理を行うように構成されてもよい。
次に，図１７を参照して、閾値設定処理について説明する。設定部３０４は、予め定められた周期毎に、以下のステップＳＴ３０１～ＳＴ３０３の処理を行う。なお、設定部３０４は、運転者の指示に応答して以下の処理を行うように構成されてもよい。
〈ステップＳＴ３０１〉
設定部３０４は、車両の走行シーンが予め定められた走行シーンに該当するか否かを判定する。この例では、予め定められた走行シーンは、危険探索シーンである。設定部３０４は、注意度検出部３０３により検出された車両の外部環境における注意度に基づいて、車両の走行シーンが危険探索シーンに該当するか否かを判定する。車両の走行シーンが予め定められた走行シーンに該当すると、ステップＳＴ３０２の処理が行われる。
設定部３０４は、車両の走行シーンが予め定められた走行シーンに該当するか否かを判定する。この例では、予め定められた走行シーンは、危険探索シーンである。設定部３０４は、注意度検出部３０３により検出された車両の外部環境における注意度に基づいて、車両の走行シーンが危険探索シーンに該当するか否かを判定する。車両の走行シーンが予め定められた走行シーンに該当すると、ステップＳＴ３０２の処理が行われる。
〈ステップＳＴ３０２〉
設定部３０４は、サッケード検出部３０１により検出されたサッケードの振幅ｄｓおよび頻度ｆｓを収集する。なお、ステップＳＴ３０２において収集されるサッケードの振幅ｄｓおよび頻度ｆｓは、運転者が正常状態であるとみなせる場合のサッケードの振幅ｄｓおよび頻度ｆｓであることが好ましい。
設定部３０４は、サッケード検出部３０１により検出されたサッケードの振幅ｄｓおよび頻度ｆｓを収集する。なお、ステップＳＴ３０２において収集されるサッケードの振幅ｄｓおよび頻度ｆｓは、運転者が正常状態であるとみなせる場合のサッケードの振幅ｄｓおよび頻度ｆｓであることが好ましい。
〈ステップＳＴ３０３〉
次に、設定部３０４は、サッケードの振幅ｄｓに基づいて、振幅差閾値ｄＬＲｔｈを設定する。また、設定部３０４は、サッケードの頻度ｆｓに基づいて、頻度差閾値ｆＬＲｔｈを設定する。例えば、設定部３０４は、振幅差閾値ｄＬＲｔｈを「ステップＳＴ３０２において収集されたサッケードの振幅ｄｓの平均値の５０％」に設定し、頻度差閾値ｆＬＲｔｈを「ステップＳＴ３０２において収集されたサッケードの頻度ｆｓの平均値の７５％」に設定する。
次に、設定部３０４は、サッケードの振幅ｄｓに基づいて、振幅差閾値ｄＬＲｔｈを設定する。また、設定部３０４は、サッケードの頻度ｆｓに基づいて、頻度差閾値ｆＬＲｔｈを設定する。例えば、設定部３０４は、振幅差閾値ｄＬＲｔｈを「ステップＳＴ３０２において収集されたサッケードの振幅ｄｓの平均値の５０％」に設定し、頻度差閾値ｆＬＲｔｈを「ステップＳＴ３０２において収集されたサッケードの頻度ｆｓの平均値の７５％」に設定する。
〔効果〕
以上のように、運転者の特性を考慮して振幅差閾値ｄＬＲｔｈおよび頻度差閾値ｆＬＲｔｈを適切に設定することができる。これにより、運転者の状態推定の精度を向上させることができる。
以上のように、運転者の特性を考慮して振幅差閾値ｄＬＲｔｈおよび頻度差閾値ｆＬＲｔｈを適切に設定することができる。これにより、運転者の状態推定の精度を向上させることができる。
（実施形態２）
図１８および図１９は、実施形態２の表示機器１００の外観および構成を例示する。この例では、表示機器１００は、スマートフォンを構成する。具体的には、表示機器１００は、筐体１００ａと、表示部１１０と、スピーカ１１１と、記憶部１１２と、情報取得部１２０と、制御装置１３０とを備える。
図１８および図１９は、実施形態２の表示機器１００の外観および構成を例示する。この例では、表示機器１００は、スマートフォンを構成する。具体的には、表示機器１００は、筐体１００ａと、表示部１１０と、スピーカ１１１と、記憶部１１２と、情報取得部１２０と、制御装置１３０とを備える。
〔筐体〕
筐体１００ａは、扁平な直方体型の箱状に形成される。筐体１００ａには、表示機器１００の構成部品が収納される。
筐体１００ａは、扁平な直方体型の箱状に形成される。筐体１００ａには、表示機器１００の構成部品が収納される。
〔表示部とスピーカと記憶部〕
表示部１１０は、画像を表示する。図１８に示すように、表示部１１０は、矩形状に形成され、筐体１００ａの前面に設けられる。スピーカ１１１は、音を再生する。記憶部１１２は、各種の情報およびデータを記憶する。
表示部１１０は、画像を表示する。図１８に示すように、表示部１１０は、矩形状に形成され、筐体１００ａの前面に設けられる。スピーカ１１１は、音を再生する。記憶部１１２は、各種の情報およびデータを記憶する。
〔情報取得部〕
情報取得部１２０は、表示機器１００において用いられる各種情報を取得する。この例では、情報取得部１２０は、フロントカメラ１２１と、リアカメラ１２２と、操作部１２３と、通信部１２４と、マイクロフォン１２５と、位置センサ１２６と、状態センサ１２７と、環境センサ１２８とを含む。
情報取得部１２０は、表示機器１００において用いられる各種情報を取得する。この例では、情報取得部１２０は、フロントカメラ１２１と、リアカメラ１２２と、操作部１２３と、通信部１２４と、マイクロフォン１２５と、位置センサ１２６と、状態センサ１２７と、環境センサ１２８とを含む。
〈フロントカメラとリアカメラ〉
フロントカメラ１２１は、筐体１００ａの前面に設けられ、リアカメラ１２２は、筐体１００ａの後面に設けられる。フロントカメラ１２１は、表示機器１００の前方に広がる領域（前方領域）を撮像することで、表示機器１００の前方領域を示す画像データを取得する。リアカメラ１２２は、表示機器１００の後方に広がる領域（後方領域）を撮像することで、表示機器１００の後方領域を示す画像データを取得する。フロントカメラ１２１およびリアカメラ１２２の各々により得られた画像データは、制御装置１３０に送信される。例えば、フロントカメラ１２１およびリアカメラ１２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。
フロントカメラ１２１は、筐体１００ａの前面に設けられ、リアカメラ１２２は、筐体１００ａの後面に設けられる。フロントカメラ１２１は、表示機器１００の前方に広がる領域（前方領域）を撮像することで、表示機器１００の前方領域を示す画像データを取得する。リアカメラ１２２は、表示機器１００の後方に広がる領域（後方領域）を撮像することで、表示機器１００の後方領域を示す画像データを取得する。フロントカメラ１２１およびリアカメラ１２２の各々により得られた画像データは、制御装置１３０に送信される。例えば、フロントカメラ１２１およびリアカメラ１２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。
〈操作部〉
操作部１２３は、表示機器の利用者により操作される。操作部１２３は、利用者により与えられた操作に応じた信号を出力する。このような構成により、利用者は、操作部１２３を操作して情報を入力することができる。操作部１２３の出力は、制御装置１３０に送信される。この例では、操作部１２３は、表示部１１０とともにタッチパネルを構成するタッチパネル操作部を含む。なお、操作部１２３は、タッチパネル操作部の他に、操作ダイヤル、操作ボタンなどを含んでもよい。
操作部１２３は、表示機器の利用者により操作される。操作部１２３は、利用者により与えられた操作に応じた信号を出力する。このような構成により、利用者は、操作部１２３を操作して情報を入力することができる。操作部１２３の出力は、制御装置１３０に送信される。この例では、操作部１２３は、表示部１１０とともにタッチパネルを構成するタッチパネル操作部を含む。なお、操作部１２３は、タッチパネル操作部の他に、操作ダイヤル、操作ボタンなどを含んでもよい。
〈通信部〉
通信部１２４は、表示機器１００の外部に設けられた通信ネットワーク（例えばインターネットや携帯電話回線など）を通じて情報およびデータを受信する。例えば、通信部１２４は、他の情報端末（図示省略）からの音声データ、画像データ、地図情報などを受信する。通信部１２４により得られた情報およびデータは、制御装置１３０に送信される。
通信部１２４は、表示機器１００の外部に設けられた通信ネットワーク（例えばインターネットや携帯電話回線など）を通じて情報およびデータを受信する。例えば、通信部１２４は、他の情報端末（図示省略）からの音声データ、画像データ、地図情報などを受信する。通信部１２４により得られた情報およびデータは、制御装置１３０に送信される。
〈マイクロフォン〉
マイクロフォン１２５は、音声を電気信号に変換する。マイクロフォン１２５により得られた電気信号（音声データ）は、制御装置１３０に送信される。
マイクロフォン１２５は、音声を電気信号に変換する。マイクロフォン１２５により得られた電気信号（音声データ）は、制御装置１３０に送信される。
〈位置センサ〉
位置センサ１２６は、表示機器１００の位置（例えば緯度および経度）を検出する。例えば、位置センサ１２６は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて表示機器１００の位置を検出する。位置センサ１２６により得られた情報（表示機器１００の位置）は、制御装置１３０に送信される。
位置センサ１２６は、表示機器１００の位置（例えば緯度および経度）を検出する。例えば、位置センサ１２６は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて表示機器１００の位置を検出する。位置センサ１２６により得られた情報（表示機器１００の位置）は、制御装置１３０に送信される。
〈状態センサ〉
状態センサ１２７は、表示機器１００の状態（例えば加速度や角速度や姿勢など）を検出する。例えば、状態センサ１２７は、加速度センサ、ジャイロセンサなどを含む。状態センサ１２７により得られた情報（表示機器１００の状態）は、制御装置１３０に送信される。
状態センサ１２７は、表示機器１００の状態（例えば加速度や角速度や姿勢など）を検出する。例えば、状態センサ１２７は、加速度センサ、ジャイロセンサなどを含む。状態センサ１２７により得られた情報（表示機器１００の状態）は、制御装置１３０に送信される。
〈環境センサ〉
環境センサ１２８は、表示機器１００の周囲に広がる環境に関する情報（例えば光や磁気など）を検出する。例えば、環境センサ１２８は、光センサ、磁気センサ、近接センサなどを含む。環境センサ１２８により得られた情報（表示機器１００の周囲環境に関する情報）は、制御装置１３０に送信される。
環境センサ１２８は、表示機器１００の周囲に広がる環境に関する情報（例えば光や磁気など）を検出する。例えば、環境センサ１２８は、光センサ、磁気センサ、近接センサなどを含む。環境センサ１２８により得られた情報（表示機器１００の周囲環境に関する情報）は、制御装置１３０に送信される。
〔制御装置〕
制御装置１３０は、表示機器１００の各部（この例では表示部１１０とスピーカ１１１と記憶部１１２と情報取得部１２０）と信号伝送可能に接続される。そして、制御装置１３０は、表示機器１００の各部により得られた情報に基づいて表示機器１００の各部を制御する。なお、制御装置１３０は、状態推定装置の一例である。
制御装置１３０は、表示機器１００の各部（この例では表示部１１０とスピーカ１１１と記憶部１１２と情報取得部１２０）と信号伝送可能に接続される。そして、制御装置１３０は、表示機器１００の各部により得られた情報に基づいて表示機器１００の各部を制御する。なお、制御装置１３０は、状態推定装置の一例である。
例えば、制御装置１３０は、１つまたは複数のＩＣ（Integrated Circuit）により構成される。ＩＣ内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、ＣＰＵ（プロセッサ）と、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果などの情報を記憶するメモリとにより構成されてもよい。
この例では、制御装置１３０は、制御部１３１と、状態推定部３００とを含む。制御部１３１は、利用者（対象者）の状態に応じた動作を行う制御部の一例である。
〈制御部〉
制御部１３１は、表示機器１００の各部により得られた情報に基づいて表示機器１００の各部を制御する。例えば、制御部１３１は、情報取得部１２０により得られた情報およびデータを記憶部１１２に記憶する。
制御部１３１は、表示機器１００の各部により得られた情報に基づいて表示機器１００の各部を制御する。例えば、制御部１３１は、情報取得部１２０により得られた情報およびデータを記憶部１１２に記憶する。
この例では、制御部１３１は、表示制御、通話制御などを行う。表示制御では、制御部１３１は、画像データを表示部１１０に出力する。表示部１１０は、画像データに示された画像を再生する。通話制御では、制御部１３１は、通信部１２４により得られた音声データをスピーカ１１１に出力する。スピーカ１１１は、音声データに示された音声を再生する。また、制御部１３１は、マイクロフォン１２５により得られた音声データを、通信部１２４を経由して通信ネットワークに送信する。
〈状態推定部〉
実施形態２における状態推定部３００の構成は、実施形態１における状態推定部３００の構成と同様である。状態推定部３００は、利用者（対象者）の状態を推定する。
実施形態２における状態推定部３００の構成は、実施形態１における状態推定部３００の構成と同様である。状態推定部３００は、利用者（対象者）の状態を推定する。
実施形態２では、フロントカメラ１２１は、表示機器１００の利用者の顔（特に眼球）を含む画像データを取得することが可能である。サッケード検出部３０１は、フロントカメラ１２１により得られた画像データに対して視線検出処理を行うことで、利用者の視線を検出する。推定部３０２は、サッケード検出部３０１により検出された利用者のサッケードに基づいて、利用者の状態を推定する。なお、実施形態２の推定部３０２の動作は、実施形態１の推定部３０２の動作（図１３，図１４参照）と同様である。
また、実施形態２では、制御部１３１は、推定部３０２により運転者の状態が視野異常状態であると推定されると、視野異常状態に応じた第１動作を行う。第１動作の例としては、利用者の状態が視野異常状態であることを通知するための第１通知情報を出力する動作、利用者の状態が視野異常状態であることを表示機器１００の周囲に通知するための動作などが挙げられる。第１通知情報を出力する動作の例としては、第１通知情報を表示部１１０および/またはスピーカ１１１に出力する動作、通信部１２４を経由して第１通知情報を他の情報端末（図示省略）に出力する動作などが挙げられる。利用者の状態が視野異常状態であることを表示機器１００の周囲に通知するための動作の例としては、表示機器１００のライト（図示省略）を点滅させる動作が挙げられる。
また、実施形態２では、制御部１３１は、推定部３０２により運転者の状態が注意機能低下状態であると推定されると、注意機能低下状態に応じた第２動作を行う。第２動作の例としては、利用者の注意機能低下状態を解消するための動作、利用者の状態が注意機能低下状態であることを通知するための第２通知情報を出力する動作などが挙げられる。利用者の注意機能低下状態を解消するための動作の例としては、利用者に休憩をとることを促すための警報情報を出力する動作、表示機器１００の操作に集中することを利用者に促すための注意喚起情報を出力する動作などが挙げられる。表示部１１０および/またはスピーカ１１１は、制御部１３１から出力された警報情報および注意喚起情報を入力する。これにより、警報情報および注意喚起情報が画像および/または音声で利用者に出力される。第２通知情報を出力する動作の例としては、第２通知情報を表示部１１０および/またはスピーカ１１１に出力する動作、通信部１２４を経由して第２通知情報を他の情報端末（図示省略）に出力する動作などが挙げられる。
〔実施形態２の効果〕
実施形態２の表示機器１００では、実施形態１の効果と同様の効果を得ることが可能である。例えば、身体機能が急低下する視野異常状態を推定することができる。
実施形態２の表示機器１００では、実施形態１の効果と同様の効果を得ることが可能である。例えば、身体機能が急低下する視野異常状態を推定することができる。
（その他の実施形態）
なお、以上の説明では、移動体の一例として車両を挙げたが、これに限定されない。例えば、移動体の他の例としては、船舶、飛行機などが挙げられる。
なお、以上の説明では、移動体の一例として車両を挙げたが、これに限定されない。例えば、移動体の他の例としては、船舶、飛行機などが挙げられる。
また、以上の説明では、表示機器１００がスマートフォンである場合を例に挙げたが、これに限定されない。例えば、表示機器１００は、テレビ受像機であってもよいし、ゲーム機であってもよいし、その他の機器であってもよい。
また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、この発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
以上説明したように、ここに開示する技術は、状態推定装置として有用である。
１０ 車両制御システム
１１ アクチュエータ
２０ 情報取得部
２７ 運転者状態センサ
２８ 車内カメラ（撮像部）
３０ 車両制御装置（状態推定装置）
３５ 車両制御部（制御部）
３００ 状態推定部
３０１ サッケード検出部
３０２ 推定部
３０３ 注意度検出部
３０４ 設定部
４０ 通知部
４１ 表示部
４２ スピーカ
１００ 表示機器
１１０ 表示部
１２０ 情報取得部
１２１ フロントカメラ（撮像部）
１３０ 制御装置（状態推定装置）
１３１ 制御部
１１ アクチュエータ
２０ 情報取得部
２７ 運転者状態センサ
２８ 車内カメラ（撮像部）
３０ 車両制御装置（状態推定装置）
３５ 車両制御部（制御部）
３００ 状態推定部
３０１ サッケード検出部
３０２ 推定部
３０３ 注意度検出部
３０４ 設定部
４０ 通知部
４１ 表示部
４２ スピーカ
１００ 表示機器
１１０ 表示部
１２０ 情報取得部
１２１ フロントカメラ（撮像部）
１３０ 制御装置（状態推定装置）
１３１ 制御部
Claims (5)
- 車両を運転する運転者である対象者の状態を推定する状態推定装置であって、
前記対象者の意図的に視線を移動させる跳躍性眼球運動であるサッケードを検出するサッケード検出部と、
前記対象者による前記車両の運転中に、予め定められた推定期間内における前記対象者の右視野内のサッケードの振幅と左視野内のサッケードの振幅との差が予め定められた振幅差閾値以上であるという第１条件および前記推定期間内における前記対象者の右視野内のサッケードの頻度と左視野内のサッケードの頻度との差が予め定められた頻度差閾値以上であるという第２条件の両方が成立する場合に、前記対象者の状態が視野の左右の片側が異常となる視野異常状態であると推定する推定部とを備える
ことを特徴とする状態推定装置。 - 請求項１において、
前記推定部は、前記第１条件および前記第２条件の少なくとも一方が成立せず、前記推定期間内における前記対象者の全視野内のサッケードの振幅が予め定められた振幅閾値以下であるという第３条件および前記推定期間内における前記対象者の全視野内のサッケードの頻度が予め定められた頻度閾値以下であるという第４条件の少なくとも一方が成立する場合に、前記対象者の状態が注意機能低下状態であると推定する
ことを特徴とする状態推定装置。 - 請求項２において、
前記対象者の状態が前記視野異常状態であると推定された場合に、前記視野異常状態に応じた第１動作を行い、前記対象者の状態が前記注意機能低下状態であると推定された場合に、前記注意機能低下状態に応じた第２動作を行う制御部を備える
ことを特徴とする状態推定装置。 - 請求項３において、
前記第１動作は、前記車両が安全領域に退避するように前記車両の走行を制御する動作を含み、
前記第２動作は、前記運転者に休憩をとることを促すための情報を出力する動作を含む
ことを特徴とする状態推定装置。 - 請求項１～４のいずれか１つにおいて、
前記振幅差閾値および前記頻度差閾値は、前記車両の走行シーンが予め定められた走行シーンであるときの前記サッケードの振幅および頻度に基づいて設定される
ことを特徴とする状態推定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020030011A JP7298510B2 (ja) | 2020-02-26 | 2020-02-26 | 状態推定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020030011A JP7298510B2 (ja) | 2020-02-26 | 2020-02-26 | 状態推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021133755A JP2021133755A (ja) | 2021-09-13 |
| JP7298510B2 true JP7298510B2 (ja) | 2023-06-27 |
Family
ID=77659919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020030011A Active JP7298510B2 (ja) | 2020-02-26 | 2020-02-26 | 状態推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7298510B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140152792A1 (en) | 2011-05-16 | 2014-06-05 | Wesley W. O. Krueger | Physiological biosensor system and method for controlling a vehicle or powered equipment |
| JP2016523112A (ja) | 2013-05-31 | 2016-08-08 | ディグニティー ヘルス | 神経疾患を検出するためのシステムおよび方法 |
| JP2017023519A (ja) | 2015-07-24 | 2017-02-02 | 株式会社デンソー | 状態推定装置および状態推定プログラム |
| US20170215784A1 (en) | 2016-02-02 | 2017-08-03 | Robert Bosch Gmbh | Method and apparatus for recognizing fatigue affecting a driver |
| JP2017224066A (ja) | 2016-06-14 | 2017-12-21 | 大学共同利用機関法人自然科学研究機構 | わき見状態判定装置 |
| JP2019195377A (ja) | 2018-05-07 | 2019-11-14 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
| JP2021077136A (ja) | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 運転者状態検出装置 |
-
2020
- 2020-02-26 JP JP2020030011A patent/JP7298510B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140152792A1 (en) | 2011-05-16 | 2014-06-05 | Wesley W. O. Krueger | Physiological biosensor system and method for controlling a vehicle or powered equipment |
| JP2016523112A (ja) | 2013-05-31 | 2016-08-08 | ディグニティー ヘルス | 神経疾患を検出するためのシステムおよび方法 |
| JP2017023519A (ja) | 2015-07-24 | 2017-02-02 | 株式会社デンソー | 状態推定装置および状態推定プログラム |
| US20170215784A1 (en) | 2016-02-02 | 2017-08-03 | Robert Bosch Gmbh | Method and apparatus for recognizing fatigue affecting a driver |
| JP2017224066A (ja) | 2016-06-14 | 2017-12-21 | 大学共同利用機関法人自然科学研究機構 | わき見状態判定装置 |
| JP2019195377A (ja) | 2018-05-07 | 2019-11-14 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
| JP2021077136A (ja) | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 運転者状態検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021133755A (ja) | 2021-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7459634B2 (ja) | ドライバ異常判定システム | |
| JP5179686B2 (ja) | 運転行動危険度演算装置 | |
| JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
| JPWO2017195405A1 (ja) | 画像処理装置及び画像処理方法、並びに移動体 | |
| JP7342638B2 (ja) | 運転者状態検出装置 | |
| JP7459633B2 (ja) | ドライバ異常判定装置 | |
| JP2020142652A (ja) | 車両の運転制御システム | |
| JP6418341B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
| JP7210929B2 (ja) | 運転意識推定装置 | |
| JP7331728B2 (ja) | 運転者状態推定装置 | |
| JP2020131843A (ja) | 車両の運転制御システム | |
| WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
| JP7099036B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
| JP7331729B2 (ja) | 運転者状態推定装置 | |
| JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
| JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
| JP7298510B2 (ja) | 状態推定装置 | |
| JP7298508B2 (ja) | 状態推定装置 | |
| JP7298509B2 (ja) | 状態推定装置 | |
| JP7318560B2 (ja) | 状態推定装置 | |
| US20210316736A1 (en) | Driver abnormality determination apparatus, method and computer program | |
| JP7384051B2 (ja) | 車両の走行制御装置及び走行制御方法 | |
| JP2021077140A (ja) | 車両制御装置及び運転者状態判定方法 | |
| JP2022142984A (ja) | 運転支援装置及びコンピュータプログラム | |
| JP2023022410A (ja) | 運転者状態判定方法及びその判定システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7298510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |