JP7459634B2 - ドライバ異常判定システム - Google Patents

Description

ここに開示する技術は、例えば車両を運転するドライバ（以下、単にドライバという）の異常を判定するドライバ異常判定システムに関する。

ドライバの異常検出手段として、運転操作のばらつきの拡大や運転操作の精度低下、ドライバの運転姿勢・頭部挙動・眼球挙動のようなドライバの生体情報を用いたものが知られている。

例えば、特許文献１には、先行者の検出時におけるアクセルペダルの操作量に基づいてドライバの異常の予兆を検出する技術が示されている。特許文献２には、車両の運転が単調となる単調区間において検出された運転者の頭部の挙動に基づいて運転者の覚醒状態を判断する技術が示されている。特許文献３には、自動車が影響を受ける障害に対する人の頭部運動および／または人の頭部運動反応を検出して評価することで、ドライバの異常を検出する技術が示されている。また、非特許文献１には、運転中に意識障害発作を発症した症例の検討がなされている。

特開２０１９－１２３４３４号公報 特開２０１０－１２８６４９号公報 特許第４７１１８２６号公報

篠原一彰、他７名、"運転中に意識障害発作を発症した症例の検討"、車両技術会論文集、2014年11月, Vol.45, No.6, p1105-1110 T. Nakamura, et al., "Multiscale Analysis of Intensive Longitudinal Biomedical Signals and its Clinical Applications", Proceedings of the IEEE, Institute of Electrical and Electronics Engineers, 2016, vol.104, pp.242-261 水田他、「重心動揺に対するフラクタル解析」、Equilibrium Research、日本めまい平衡医学会、2016，Vol.75(3), pp.154-161

しかしながら、ドライバの生体情報を車両に設置された各種のセンサの出力に基づいてドライバの異常を判定する場合に、実際の車両の運転シーンにおいて、有意な判定ができない場合が多いという問題がある。具体的に、例えば、車両のコーナリング中における、頭部揺動の自己周期性の検出によるドライバの異常判定は、ノイズが多く実用的ではない。そうすると、運転シーンによってドライバの異常検知で精度よくできる場合と、精度よく検知できない場合とがある。

ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、運転シーンが変化してもドライバの異常を精度よく判定することにある。

前記課題を解決するために、ここに開示された技術では、車両を運転するドライバの異常を判定するドライバ異常判定システムを対象として、ドライバの運転操作を検出するための１又は複数の運転操作センサと、ドライバの頭部の挙動、ドライバの眼球運動及び／又は視線の移動を検出するための１又は複数のドライバ状態センサと、を含むセンサ群と、前記車両が運転されている運転シーンの認知が可能な運転シーン認知部と、前記運転シーン認知部で認知された車両の運転シーンと、前記センサ群に含まれかつドライバの異常判定に採用する異常判定用センサとの関係を表すセンサテーブルが記憶された記憶部と、前記センサテーブルを参照して、前記運転シーン認知部で認知された車両の運転シーンに応じた異常判定用センサの出力に基づいてドライバの異常を判定する異常判定部とを備える、構成とした。

このような構成にすることにより、運転シーンごとにあらかじめ定めたドライバの身体対象部位を選んで、その対象部位についての検出データに基づいてドライバの異常判定を行うことができる。このときの身体対象部位は、例えば、運転シーンごとにノイズとなる要素が少ないような部位が選ばれる。これにより、運転シーンが変化してもドライバの異常または異常の予兆（以下、まとめてドライバ異常という）を精度よく判定することができる。

以上説明したように、ここに開示された技術によると、ドライバの異常判定の早期化と異常判定精度の向上とを両立することができる。

運転者主体型の自動運転システムについて説明するための概念図である。 本開示に係る技術の位置づけを表す概念図である。 ドライバの運転行動の階層分けについて説明するための図である。 運転中におけるドライバの各機能の判定可能なタイミングを示した図である。 車両用演算装置の機能構成を示すブロック図である。 測定指標と運転機能との関係を示すテーブルである。 測定指標と運転機能との関係を示すテーブルである。 不随意機能レベルの検知動作について説明するためのブロック図である。 頭部のピッチ角およびロール角の時系列データの例である。 頭部挙動の恒常性と疾患との関係を示す図であり、（ａ）は正常状態、（ｂ）は臨界減速状態、（ｃ）は疾患状態の図である。 自己相関指標の時系列変動パターンの分類結果を示すグラフである。 不随意機能レベルの検知動作について説明するためのブロック図である。 サッケード検出処理について説明するためのフローチャートである。 癲癇患者の発作時の視線移動を示すグラフである。 運転シーンに対して評価可能な指標を紐づけたテーブルである。 ベース機能レベルの検知動作について説明するためのブロック図である。 健常者と疾患者のステア操作を比較した図である。 疾患の発現順序について説明するための図である。 健常者のサリエンシー指標値の変化を例示するグラフである。 注意障害患者のサリエンシー指標値の変化を例示するグラフである。 ドライビングシミュレータによる実験結果の一例を示す図である。 ドライビングシミュレータによる実験結果の一例を示す図である。 ドライビングシミュレータによる実験結果の一例を示す図である。 ドライバの異常判定動作を示すフローチャートである。 ドライバの異常判定に使用する判定基準と判定結果の一例を示す図である。

－概要－
図１に示すように、ドライバ主体型の自動運転システムが搭載された車両Ａでは、普段（平常状態）は、ドライバが車両Ａを運転し、自動運転システムは、その裏側で、自車両、外部環境、ドライバの状態を把握して仮想運転を実行する。換言すると、自動運転システムは、バックアップシステムとして動作する。自動運転システムは、ドライバと同じように走行環境情報を認識するとともに、自車両情報の状態やドライバの状態を認識する。自動運転システムは、上記の認識結果を基に、車両Ａをどのように動かすかを判断し、車両Ａの目標運動を決定するところまでを、ドライバの運転と並行して実行する。そして、自動運転システムは、ドライバに機能障害や疾患が発生したと判断した場合、ドライバに変わって周囲を含めた安全を確保するように自車両を動作させたり、ドライバの認知・判断・操作のうちで劣っている機能を補完したりする。

ドライバ主体型の自動運転システムでは、上記のような動作を前提としているため、ドライバに機能低下や機能障害、疾患等の異常（以下、ドライバ異常という）が発生したことをいかに早期にかつ精度よく発見できるが極めて重要となる。

〔本願発明の前提となる知見〕
ところで、ドライバの状態は、健康な正常状態と、機能障害や疾患が発生した異常状態とに大別される。正常状態には、覚醒の度合いが高い状態から順に記載すると、運転に最大限に集中しているフロー状態、運転集中状態、リラックス運転状態、脇見運転状態、漫然運転状態、覚醒低下状態、居眠り状態が含まれる。疾患には、様々な疾患が存在するが、非特許文献１の知見を基にすると、運転中に意識障害発作が発症したことが明らかな症例の代表的なものとして、てんかん、脳卒中、心筋梗塞、低血糖が挙げられる。

発明者らは、ドライバが正常状態（健康状態）から、意識障害発作に至る原因となるような疾患が発症してから運転不能な状態に至るまでのドライバの状態変化が、３つのパターンに集約されるとの知見を得た。ケースＡは、知覚、判断、運動のうち一部機能から低下するパターン、ケースＢは、全般機能が徐々に低下するパターン、ケースＣは急に意識を喪失するパターンである。このうち、ケースＡ，Ｂの場合は、図２に示すように、疾患が発症してから、ドライバの運転能力レベルが徐々に低下していき、やがて運転不能状態に至る。したがって、この運転能力の低下状態を検知できれば、ドライバの運転不能の予兆を検知することができる。

ケースＡ～Ｃの３つのパターンのいずれにおいても言えることであるが、一般的な車両に搭載可能なレベルの範囲内でドライバの状態検知をするための現時点における技術水準では、運転不能状態まで来て初めて疾患であることが認識できるという状況である。これは、ドライバが、健康な状態ではあるが漫然とした状態であったり疲労が蓄積しているような状態であるのか、疾患が発症した状態にあるのか、を判別するのが困難なためである。また、ドライバが健康状態であっても目を閉じたり姿勢が崩れることはあることから、ドライバ異常の判定は、所定の条件に合致する異常動作が、一定時間継続したことをもって判断する必要がある。すなわち、従来技術では、疾患の発見の確度を高めようとすると判定に時間がかかり、疾患の判定時間を短縮しようとすると、疾患の誤判定が増えて、精度よく判定できなくなるという問題がある。また、前述のとおり、運転シーンによってドライバの異常検知で精度よくできる場合と、精度よく検知できない場合とがある。そして、車両の運転シーンは刻々と変化するため、ドライバの疾患を発見するために一定時間を要する場合に、同じ運転シーンがその一定時間継続しているとも限らないという問題がある。そこで、本願発明者らは、鋭意検討を重ね、運転シーンが変化してもドライバの異常を精度よく判定する方法を見出した。

〔ドライバの異常判定〕
〈ドライバの機能による分類〉
一般的に、ドライバ異常を判定する方法、すなわち、運転能力レベルが低下し運転不能状態となったことを判定する方法として、ドライバの意思とは関係なく成立している機能である、いわゆる不随意機能に異常が発生していることを検知する技術が知られている。不随意機能の異常検出方法として、例えば、撮像部が撮像した映像を基に、ドライバの運転姿勢崩れやドライバの開眼度を解析し、ドライバの疾患を判断する方法がある。

不随意機能には、例えば、手足の運動機能、頭部や眼球の運動機能、自律神経の反応などの自律神経機能、前庭機能などが含まれる。

また、脳の機能に着目して考えた場合に、不随意機能に対するものとして、人の随意的な機能である随意機能がある。ここでは、運転に関連するドライバの随意機能を「運転機能」と呼ぶものとする。近年では、この運転機能を検知する個々の技術開発が行われている。

本願発明者らは、この運転機能について脳の機能に着目して分類することを検討した。具体的には、運転機能を、相対的に低次の機能（以下、低次機能ともいう）であるベース機能と、相対的に高次の機能（以下、高次機能ともいう）である予測機能とに分類分けをした。

ベース機能とは、運転操作のベース（基礎、土台）となる運転機能であり、無意識に近い領域で処理される運転機能である。ベース機能には、例えば、位置や運動の知覚機能、視野の範囲、手足の運動機能、頭部や眼球の運動機能、空間認識に関連する機能などが含まれる。より具体的には、例えば、車線に沿って車両を走行させるための運転機能、前車との車間距離を取りながら走行するための運転機能、赤信号や横断歩道の手前で停車させるための運転機能等が含まれる。

予測機能とは、将来の運転シーンを予測する機能であり、いわゆる「○○かもしれない運転」ができるか否かに影響を与える運転機能である。予測機能には、例えば、運転中のリスクを予測するリスク予測機能、運転行動に関する判断機能、運転中の注意機能などが含まれる。リスク予測機能には、潜在リスクを予測する機能、顕在化したリスクの接近を予測する機能、道路の形状などの走行環境に基づいたリスクを予測する機能などが含まれる。運転中の注意機能は、集中すべきところに注意を集中させる機能、注意配分を適切におこなう機能、空間的な注意機能などが含まれる。

以上をまとめると、発明者らは、図３に示すように、ドライバの運転行動を、前述の不随意機能が発揮される不随意行動、ベース機能が発揮されるベース行動、予測機能が発揮される予測行動の３つの階層に分けることを検討した。そして、不随意機能が正常に機能している程度を示す不随意機能レベルと、ベース機能が正常に機能している程度を示すベース機能レベルと、予測機能が正常に機能している程度を示す予測機能レベルとを用いてドライバの異常を判定することを検討した。具体的手法として、健常者と疾患者について、ドライビングシミュレータ７０（図２０参照）を用いて運転シーンや運転状況を変化させながらの走行試験を行い、その結果について鋭意検討を行った。その結果、ドライバに疾患が発症した場合、高次行動から機能低下が生じ、その後、徐々に、ベース行動の機能低下、不随意行動の機能低下へと変容していくという知見を得た。

さらに、発明者らは、不随意機能レベル、ベース機能レベル及び／または予測機能レベルを組み合わせてドライバの異常を判定することによりドライバの異常判定の精度を向上させることについて鋭意検討を行った。そして、発明者らは、運転能力の基礎となる各機能を、不随意機能、低次機能及び高次機能に分類した場合に、車両の運転シーン（交通状況を含む）に応じて、それぞれの機能について、ドライバの異常を検知するのに適した場合と、適さない場合があるという知見を得た。すなわち、不随意機能レベル、ベース機能レベル及び／または予測機能レベルの組み合わせに際し、車両の運転シーンと上記の各機能の異常検知に適したタイミングとの関係に着目することで、ドライバの異常判定の早期化及び判定精度の向上が図れることがわかった。

〈機能検知の組み合わせ〉
図４は、予測機能、ベース機能、不随意機能の各機能について、運転シーンごとの判定に適したタイミングについて一例を示した図である。

図４において、期間Ｔ１０（Ｔ１１～Ｔ１３を含む）の運転シーンでは、車両Ａ（自車両）は、歩行者や駐車車両などが存在するような街道を走行している。期間Ｔ１１，Ｔ１３では車両は所定の速度で街道を走行し、期間Ｔ１２では車両は信号や横断歩道などで停車しているものとする。なお、本開示において、「運転シーン」とは、車両が運転されているシーンを指すものとする。より具体的に、「運転シーン」との用語は、車両の走行シーンに加えて、車両が一時停止や、信号待ちなどで所定時間停車しているシーンも含む概念として用いる。

期間Ｔ１１，Ｔ１３では、街道を走行しているので、駐車車両の回避や歩行者の飛び出しの予測などといった予測機能の発揮が必要な状況である。また、前方車両との車間距離を一定に保ったり、カーブなどで車線に沿って走行したりといったベース機能の発揮が必要な状況でもある。前方を見る、運転姿勢を保つなどといった不随意機能の発揮も必要である。すなわち、期間Ｔ１１，Ｔ１３は、不随意機能、ベース機能レベル及び予測機能の発揮が必要な状況であり、不随意機能、ベース機能レベル及び予測機能に係るドライバの異常または異常予兆（以下、まとめて単に「ドライバ異常」ともいう）の検知に適した運転シーンである。したがって、異常判定装置は、期間Ｔ１１，Ｔ１３のような運転シーンでは、（１）不随意機能レベルを検知する不随意機能検知部、（２）予測機能レベルを検知する予測機能検知部、及び、（３）ベース機能レベルを検知するベース機能検知部、で検知されたドライバの機能レベルの結果について、それらの組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常を判定する。不随意機能検知部、予測機能検知部及びベース機能検知部については、後ほど実施形態で説明する。

期間Ｔ１２では、車両Ａは、停車しているので、不随意機能が発揮される必要があるが、ベース機能及び予測機能については、それぞれの機能の発揮が必要でない場面も多く含まれる。このような場面では、ドライバの行動に対するベース機能及び予測機能の発揮状況を検知しても、有意なデータが得られない場合があり、ドライバの異常推定においてはノイズになる可能性がある。そこで、異常判定装置は、期間Ｔ１２のような運転シーンでは、不随意機能検知部の検知結果に基づいてドライバの異常を判定する。

期間Ｔ２０（Ｔ２１～Ｔ２５を含む）の運転シーンでは、車両Ａ（自車両）は、高速道路や有料道路のような信号等のない車両専用道路（図４では「高速道路」と記載）を走行している。例えば、期間Ｔ２１は車両Ａが料金所に進入してから走行レーンに合流するまでの期間、期間Ｔ２２～Ｔ２４は車両Ａが走行レーンを走行する期間、期間Ｔ２５は車両Ａが走行レーンから側道に入り料金所を出るまでの期間、をそれぞれ示しているものとする。また、期間Ｔ２３は、自車両の周囲に車両がおらず、かつ、長い直線道路を直進するような運転シーンであるものとする。すなわち、期間Ｔ２３では、ドライバは周囲の状況をほとんど気にする必要もなく、ただまっすぐに車両を走行させればいいような状況であるものとする。

期間Ｔ２１，Ｔ２５では、料金所での左右からの車両の接近についてのリスク予測、合流時における他車両の振る舞いに対するリスク予測などといった予測機能の発揮が必要な状況である。また、前方車両との車間距離を一定に保ったり、カーブなどで車線に沿って走行したりといったベース機能の発揮が必要な状況である。前方を見る、運転姿勢を保つなどといった不随意機能の発揮が必要な状況でもある。すなわち、期間Ｔ２１，Ｔ２５は、不随意機能、ベース機能レベル及び予測機能の発揮が必要な状況であり、不随意機能、ベース機能レベル及び予測機能の異常の検知に適した運転シーンである。したがって、異常判定装置は、期間Ｔ２１，Ｔ２５のような運転シーンでは、Ｔ１１の場合と同様に、不随意機能検知部、予測機能検知部、及び、ベース機能検知部で検知されたドライバの機能レベルの結果について、それらの組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常を判定する。

期間Ｔ２２，Ｔ２４では、前方車両との車間距離を一定に保ったり、カーブなどで車線に沿って走行したりといったベース機能の発揮が必要な状況である。前方を見る、運転姿勢を保つなどといった不随意機能の発揮が必要な状況でもある。一方で、周囲の他車両との距離が離れていたり、単独走行をしているようなときに、リスク予測機能や注意機能といった予測機能の発揮が必要ではないような状況も発生し得る。このような運転シーンでは、ドライバの予測機能の発揮状況を検知しても、有意なデータが得られない場合があり、ドライバの異常推定においてはノイズになる可能性がある。そこで、異常判定装置は、期間Ｔ２２，Ｔ２４のような運転シーンでは、少なくとも不随意機能及びベース機能の発揮が必要な状況であるので、不随意機能及びベース機能を異常の検知に適していると判断し、不随意機能検知部、及び、ベース機能検知部で検知されたドライバの機能レベルの結果について、それらの組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常を判定する。

期間Ｔ２３では、車線に沿って走行するというベース機能の発揮が必要な状況であるが、一方で、ベース機能が十分に働いていない状況においても、車両を走行させることに影響が出にくい。換言すると、ドライバは、期間Ｔ２３のような運転シーンでは、ベース機能を十分に発揮させる必要がない。そうすると、このような運転シーンでは、ドライバの行動に対するベース機能の発揮状況を検知しても、有意なデータが得られない場合があり、ドライバの異常推定においてはノイズになる可能性がある。予測機能についても、同様である。そこで、異常判定装置は、期間Ｔ２３のような運転シーンでは、少なくとも不随意機能の発揮が必要な状況であるので、不随意機能が異常の検知に適していると判断し、不随意機能検知部の検知結果に基づいてドライバの異常を判定する。

期間Ｔ３０（Ｔ３１～Ｔ３３を含む）の運転シーンでは、車両Ａ（自車両）は、郊外の道路を走行している。特に、期間Ｔ３２では、歩行者や自転車などがおらず、車両Ａは、比較的単調な形状の道路を所定速度で走行しているものとする。

期間Ｔ３１，Ｔ３３では、駐車車両の回避や歩行者の呼び出し予測などといった予測機能の発揮が必要な状況である。したがって、前述の期間Ｔ１１の場合と同様に、異常判定装置は、不随意機能検知部と、予測機能検知部と、ベース機能検知部とで検知されたドライバの機能レベルの結果について、それらの組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常を判定する。

尚、本発明の装置における運転機能（高次・低次の随意機能）や不随意機能が機能しているか否かを検知するとは、ドライバの異常判定の早期化による救命及び安全の確保をなすという意義での検知であって、装置ハードウェアにおいては推定や判断といった態様も含むものである。また、本発明の装置における検知とは、医療従事者が人体を診察してこれらが機能しているか否かを判断することとは、異なる概念である。

以下の実施形態において、異常検知装置の構成例及び動作例について、より具体的に説明する。

－実施形態－
（車両制御システム）
図５は、実施形態に係る車両制御システム１の構成を例示する。車両制御システム１は、車両Ａに設けられる。車両制御システム１は、車両制御装置１０と、情報取得装置６０と、アクチュエータ８０と、周辺機器Ｄとを備える。車両Ａは、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する運転である。

〔車両制御装置〕
車両制御装置１０は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御装置１０は、車両に設けられたアクチュエータ８０を制御することで車両の動作（特に走行）を制御する。

〔情報取得装置〕
情報取得装置６０は、少なくとも、車両Ａの運転シーンを特定するための情報、ドライバの状態を特定するための情報を取得する。車両Ａの運転シーンとは、車両の走行シーン及び停車シーンを含む。情報取得装置６０は、複数の車外カメラ６１と、複数のレーダ６２と、位置センサ６３と、車両状態センサ６４と、車外通信装置６５と、運転操作センサ６６と、ドライバ状態センサ６７とを含む。

〈車外カメラ〉
複数の車外カメラ６１は、例えば、車両Ａの周囲に広がる環境（路上障害物を含む。以下、車外環境という）が撮影できるように車両に設けられ、車外環境を撮影する。複数の車外カメラ６１の各々による撮影データは、車両制御装置１０に送信される。車外カメラ６１は、車両Ａの車外環境情報を取得する車外環境取得装置（以下、単に車外環境取得装置という）の一例である。また、車外カメラ６１の撮影データは、車両Ａの運転シーンを特定するための車外環境情報（以下、単に車外環境情報という）の一例である。なお、車外カメラ６１は、車外環境を撮影するためのカメラ全般を指すものとし、車室内に設けられて車外を撮影するためのカメラを含む。

複数の車外カメラ６１は、広角レンズを有する単眼カメラである。例えば、車外カメラ６１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。尚、車外カメラ６１は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。

〈レーダ〉
複数のレーダ６２は、車外環境にある物体（路上障害物を含む）が検出できるように、すなわち、車外に向かって物体検出用の電波を出射させることができるように車両Ａのボディ等に取り付けられる。複数レーダ６２の各々で撮影された画像データは、車両制御装置１０に送信される。

レーダ６２の種類は、特に限定されないが、例えば、ミリ波を用いたミリ波レーダ、レーザ光を用いたライダ（Light Detection and Ranging）、赤外線を用いた赤外線レーダ、超音波を用いた超音波レーダが例示される。レーダ６２の検出結果は、車外情報取得装置の一例である。

〈位置センサ〉
位置センサ６３は、車両の位置（例えば緯度および経度）を検出する。位置センサ６３は、例えば、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ６３により得られた情報（車両の位置）は、車両制御装置１０に送信される。位置センサ６３で検出された車両の位置情報は、車両の運転シーンを特定するために使用することができる。すなわち、位置センサ６３は、車外情報取得装置の一例であり、位置センサ６３で検出された車両Ａの位置情報は、車外環境情報の一例である。

〈車両状態センサ〉
車両状態センサ６４は、車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ６４は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ６４により得られた情報（車両の状態）は、車両制御装置１０に送信される。

〈車外通信装置〉
車外通信装置６５は、車両の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて各種情報を受信する。例えば、車外通信装置６５は、車両の周囲に位置する他車両からその他車両に関する情報を受信したり、ナビゲーションシステム（図示を省略）からカーナビゲーションデータ、交通情報、高精度地図情報などを受信したりする。車外通信装置６５により得られた情報は、車両制御装置１０に送信される。車外通信装置６５により車外ネットワークから取得された交通情報、高精度地図情報などの情報には、車両Ａの運転シーンを特定するための情報が含まれる。すなわち、車外通信装置６５は、車外情報取得装置の一例であり、車外通信装置６５で受信された情報は、車外環境情報の一例である。

〈運転操作センサ〉
運転操作センサ６６は、車両に加えられる運転操作を検出する。例えば、運転操作センサ６６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。

アクセル開度センサは、車両Ａのアクセルの操作量を検出する。操舵角センサは、車両Ａのハンドルの操舵角を検出する。ブレーキ油圧センサは、車両Ａのブレーキの操作量を検出する。運転操作センサ６６により得られた情報（車両の運転操作）は、車両制御装置１０に送信される。運転操作センサ６６は、運転操作からドライバの状態を検出することができる。すなわち、運転操作センサ６６は、ドライバ状態センサとして兼用することもできる。運転操作センサ６６は、センサ群を構成するセンサの一例である。

〈ドライバ状態センサ〉
ドライバ状態センサ６７は、車両を運転するドライバの状態を（例えば、ドライバの身体挙動や生体情報など）を検出する。具体的には、ドライバ状態センサ６７は、例えば、ドライバの頭部の挙動、ドライバの眼球運動及び視線の移動のうちの１又は複数の状態を検出する。ドライバ状態センサ６７により得られた情報（ドライバの状態）は、車両制御装置１０に送信される。ドライバ状態センサ６７は、例えば、車内カメラ６８、生体情報センサ６９を含む。ドライバ状態センサ６７は、センサ群を構成するセンサの一例である。

《車内カメラ》
車内カメラ６８は、車両１内に、１又は複数設置される。車内カメラ６８は、例えば、ドライバの前方において、ドライバの眼球が撮影範囲内となるように設置される。また、車内カメラ６８は、例えば、ドライバの前上方からドライバの頭部の挙動が撮影できるように設置される。そして、このように設置された１又は複数の車内カメラ６８は、ドライバの頭部及びドライバの眼球を含む画像データを取得する。車内カメラ２８の撮影データは、車両制御装置１０に送信される。車内カメラ６８の情報は、車両制御装置１０において、例えば、ドライバの眼球運動及び／又は視線の移動を検出するために用いられたり、ドライバの頭部の挙動を検出するために用いられる。尚、眼球を含む画像データを取得する車内カメラ６８を、運転者が装着するゴーグル（図示省略）に設けてもよい。

《生体情報センサ》
生体情報センサ６９は、運転者の生体情報（例えば、発汗、心拍、血流量、皮膚温など）を検出する。生体情報センサ６９により得られた情報（運転者の生体情報）は、車両制御装置１０に送信される。

〔車両制御装置〕
車両制御装置１０は、演算処理部１００と、記憶部３００とを備える。演算処理部１００は、運転シーン認知部２１０と、運転操作認知部２２０と、車両挙動推定部２３０と、走行制御部５００と、ドライバ状態推定部４００とを有する。

車両制御装置１０は、例えば、プロセッサ（演算処理部１００に相当）とメモリ（記憶部３００に相当）とを備える。メモリは、プロセッサによって実行可能なソフトウェアであるモジュールを格納している。図１に示す車両制御装置１０の各部の機能は、例えば、プロセッサが、メモリに格納された各モジュールを実行することによって実現される。また、メモリは、車両制御装置１０で使用されるモデルのデータを格納している。なお、プロセッサ及びメモリは、それぞれ、複数個あってもかまわない。また、図１に示す演算処理部１００の各部の機能の一部が、ハードウェア回路で実現されていてもよい。演算処理部１００については、後ほど説明する。

〈認知部〉
認知部２００は、運転シーン認知部２１０と、運転操作認知部２２０と、車両挙動推定部２３０とを備える。

〈車外環境認知部〉
運転シーン認知部２１０は、外部環境取得装置で取得された外部環境情報に基づいて、車両の運転シーンを認知する。具体的には、運転シーン認知部２１０は、車外カメラ６１、レーダ６２、位置センサ６３、車外通信装置６５及び車両挙動推定部２３０のうちの１または複数で取得された車外環境情報を用いて車両の運転シーンを認知する。

運転シーン認知部２１０は、例えば、深層学習により生成された学習モデルに、上記の車外環境情報を入力として与えて、車両の運転シーンを示す運転シーン情報を生成する。深層学習では、多層ニューラルネットワーク（Deep Neural Network）が用いられる。多層ニューラルネットワークの例としては、ＣＮＮ（Convolutional Neural Network）が挙げられる。

運転シーン認知部２１０は、例えば、車外カメラ６１の撮影画像に対して画像処理を行うことで、車両Ａが移動可能な領域を表す二次元マップデータを生成する。また、運転シーン認知部２１０は、レーダ６２の検出結果に基づいて、車両の周辺に存在する物体に関する情報である物体情報を取得する。運転シーン認知部２１０は、前記物体情報を基に、車両の周辺に存在する物体のうち車両の走行及び停車をする過程において障害となり得る路上障害物を認識する。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。また、物体情報には、物体の位置座標、物体の速度などが含まれる。尚、運転シーン認知部２１０は、レーダ６２の検出結果に加えて又は代えて車外カメラ６１により得られた画像に基づいて物体情報を取得してもよい。そして、運転シーン認知部２１０は、二次元マップデータと物体情報とを統合することで、車外環境を表す統合マップデータ（三次元マップデータ）を生成し、そのマップデータを所定時間毎に更新することで車両の運転シーンを認知する。

〈運転操作認知部〉
運転操作認知部２２０は、運転操作センサの出力に基づいてドライバから車両に与えられる運転操作を認知する。具体的には、例えば、ドライバによるアクセルペダル、ブレーキペダル、ステアリング、シフト、方向指示器、電装品のスイッチの操作を検知する。なお、ここでの運転動作センサには、運転操作センサ６６と、ドライバ状態センサ６７とが含まれる。すなわち、運転機能検知部４３０は、運転操作センサ６６で検出されたドライバの運転操作の状況や、ドライバ状態センサ６７（例えば、車内カメラ６８など）で検出されたドライバの状態に基づいて、ドライバの運転機能を検知する。なお、前述のとおり、運転動作センサの検出データの一部または全部は、ドライバ挙動認知部４１０に送信され、そこでドライバの状態が認知される。そこで、運転機能検知部４３０は、ドライバ挙動認知部４１０（例えば、頭部挙動検知部４１１及び／または視線挙動検知部４１２）の認知結果を用いてもよい。また、運転操作認知部２２０は、運転操作センサ６６の入力に加えて、運転シーン認知部２１０の運転シーン情報を参照し、運転操作の認知精度を高めるようにしてもよい。

〈車両挙動推定部〉
車両挙動推定部２３０は、車両状態センサ６４の出力に基づいて車両の挙動（例えば、速度や加速度やヨーレートなど）を推定する。例えば、車両挙動推定部２３０は、深層学習により生成された学習モデルを用いて、車両状態センサ６４の出力に基づいて車両の挙動を示す車両挙動データを生成する。

例えば、車両挙動推定部２３０において用いられる学習モデルは、車両６軸モデルである。車両６軸モデルは、走行中の車両の「前後」「左右」「上下」の３軸方向の加速度と「ピッチ」「ロール」「ヨー」の３軸方向の角速度とをモデル化したものである。すなわち、車両６軸モデルは、車両の動きを古典的な車両運動工学的な平面上のみ（車両の前後左右（Ｘ－Ｙ移動）とヨー運動（Ｚ軸）のみ）で捉えるのではなく、４つの車輪にサスペンションを介して乗っている車体のピッチング（Ｙ軸）およびロール（Ｘ軸）運動とＺ軸の移動（車体の上下動）の、合計６軸を用いて車両の挙動を再現する数値モデルである。

〈走行制御部〉
走行制御部５００は、経路設定部５１０と、運動制御部５２０とを備える。

《経路設定部》
経路設定部５１０は、運転シーン認知部２１０で認知された運転シーンに基づいて、車両の走行目標となる目標位置に車両を走行させるための１または複数の候補経路を生成する。経路設定部５１０は、例えば、複数の候補経路のうちドライバが最も快適であると感じる経路を選択し、車両Ａの走行目標経路として運動制御部５２０に出力する。また、経路設定部５１０は、例えば、後述するドライバ状態推定部４００でドライバの異常が検出された場合のような緊急時には、車両を緊急停車させる停車位置を探索して目標位置に設定し、停車位置までの退避経路を生成する。そして、その退避経路を走行目標経路として運動制御部５２０に出力する。

《運動制御部》
運動制御部５２０は、経路設定部５１０で設定された走行目標経路を走行するために必要となる車両の運動である目標運動を決定し、その決定された目標運動に基づいてアクチュエータ８０を制御する。例えば、運動制御部５２０は、目標運動を達成するための目標駆動力、目標制動力、目標操舵量をそれぞれ導出する。そして、運動制御部５２０は、目標駆動力を示す駆動指令値を駆動系のアクチュエータに、目標制動力を示す制動指令値を制動系のアクチュエータに、目標操舵量を示す操舵指令値を操舵系のアクチュエータに、それぞれ送信する。駆動系のアクチュエータの例としては、エンジンＥ、トランスミッションＴ、モータが挙げられる。制動系のアクチュエータの例としては、ブレーキＢが挙げられる。操舵系のアクチュエータの例としては、ステアリングＳが挙げられる。本開示では、アクチュエータ８０との用語は、駆動系アクチュエータ、制動系アクチュエータ及び操舵系アクチュエータの総称として用いるものとする。また、車両Ａについてアクチュエータ８０以外の搭載機器をまとめて周辺機器Ｄと呼ぶものとする。周辺機器Ｄには、例えば、カーナビのモニタなどの情報表示装置Ｄ１、音声などを再生するためのスピーカＤ２、エンジンスタート用スイッチやドライバの応答用のスイッチなどを含む各種のスイッチＤ３、ドライバの音声を入力するためのマイクＤ４、前照灯や方向指示器などの照明装置（図示省略）などが含まれる。

〈ドライバ状態推定部〉
ドライバ状態推定部４００は、ドライバ挙動認知部４１０と、不随意機能検知部４２０と、運転機能検知部４３０と、応答確認部４５０と、異常判定部４４０とを備える。ドライバ状態推定部４００は、ドライバの体調異常を検出する機能を有する。

《ドライバ挙動認知部》
ドライバ挙動認知部４１０は、ドライバ状態センサの出力に基づいて、ドライバの挙動（頭部挙動、視線挙動を含む）を認知する。ここでのドライバ状態センサには、ドライバ状態センサ６７に加えて、運転操作センサ６６が含まれる。すなわち、運転操作センサ６６を用いてドライバの状態を検出することができる場合があり、その場合、運転操作センサ６６は、本開示の技術におけるドライバ状態センサに包含される。他の情報取得装置６０の構成要素についても同様である。例えば、ドライバ挙動認知部４１０は、車内カメラ６８の撮影データに基づいてドライバの頭部挙動を検知する頭部挙動検知部４１１（図７参照）と、車内カメラ６８の撮影データに基づいてドライバの視線挙動を検知する視線挙動検知部４１２（図１１参照）とを備える。頭部挙動検知部４１１及び視線挙動検知部４１２については、後ほど説明する。

《不随意機能検出部》
不随意機能検知部４２０は、ドライバの状態を検出するドライバ状態センサの検出データに基づいて、不随意機能に基づくドライバ異常を検知する。具体的には、前述のとおり、ドライバ状態センサ６７の検出データがドライバ挙動認知部４１０に送信される。そこで、不随意機能検知部４２０は、ドライバ挙動認知部４１０の出力に基づいて、不随意機能に基づくドライバ異常を検知する。例えば、ドライバの不随意機能が正常に機能している程度である不随意機能レベルを演算する。なお、不随意機能検知部４２０にドライバ挙動認知部４１０の機能を取り込み、ドライバ状態センサ６７の検出データを直接不随意機能検知部４２０に入力して、処理するようにしてもよい。

不随意機能検知部４２０は、例えば、ドライバの運転操作についての不随意機能レベルとして、（１）アクセル開度センサの検出データに基づいて右足の運動機能レベルを検知でき、（２）ブレーキ油圧センサの検出データに基づいて左足の運動機能レベルを検知でき、（３）操舵角センサの検出データに基づいて右手及び／または左手の運動機能レベルを検知できる（図６Ａ下段参照）。ここで、運動機能レベルとは、運動機能が正常に機能している程度を示す指標である。図６Ａ及び図６Ｂは、検知対象項目と、その項目で測定できる機能レベルとの関係を示したテーブルである。例えば、図６Ａ及び図６Ｂのテーブルと、後述するドライバの異常を判定するための判定条件とが対応付けされて記憶部３００に格納されている。

不随意機能検知部４２０は、例えば、ドライバの視線挙動についての不随意機能レベルとして、視線挙動検知部４１２で認知されたドライバの視線挙動に基づいて、（１）マイクロサッケードを演算することで瞳孔反射についての運動機能レベルを検知でき、（２）眼振量を演算することで瞳孔反射についての運動機能レベルを検知でき、（３）眼球回旋を演算することでドライバの交感／副交感の自律神経機能レベルを検知できる。また、不随意機能検知部４２０は、車内カメラ６８による視線の撮影データに基づいて、ドライバの瞳孔径の時間変化を演算することで前庭反射の前庭機能レベルを検知できる（図６Ｂ下段参照）。ここで、前庭機能レベルとは、前庭機能が正常に機能している程度を示す指標である。ここで、自律神経機能レベルとは、自律神経機能が正常に機能している程度を示す指標である。

不随意機能検知部４２０は、例えば、ドライバの頭部挙動についての不随意機能レベルとして、（１）ドライバの頭部挙動に基づいて、頭部挙動の自己相関を演算することで、ドライバの交感／副交感の自律神経機能レベルを検知でき、（２）ドライバの頭部挙動とドライバの視線挙動とに基づいて、頭部と視線の相互相関を演算することで、ドライバの前庭動眼反射の前提機能レベルを検知でき、（３）ドライバの頭部挙動と車両状態センサ６４によるドライバへの外力の推定結果とに基づいて、頭部挙動と外力との相互相関を演算することで、ドライバの交感／副交感の自律神経機能レベルを検知できる（図６Ｂ下段参照）。

《運転機能検知部》
運転機能検知部４３０は、ドライバの運転中の操作（以下、運転操作という）を検出する運転動作センサの検出データに基づいてドライバの運転機能が正常に機能している程度である運転機能レベルを検知する。運転動作センサには、運転操作センサ６６及びドライバ状態センサ６７が含まれる。

運転機能検知部４３０は、前述の予測機能レベルを検知する予測機能検知部４３１と、前述のベース機能レベルを検知するベース機能検知部４３５とを備える。

《予測機能検知部》
予測機能検知部４３１は、例えば、ドライバの運転操作、ドライバの視線挙動、及び／またはドライバの頭部挙動に基づいて予測機能レベルを検知する。

ドライバの運転操作に基づく予測機能レベルは、例えば、運転シーン認知部２１０で認知された運転シーンと、ステアモデルとを用いた演算（以下、ステアモデル演算ともいう）により検知できる。具体的には、例えば、それぞれの運転シーンにおいて、ステアリングのＦＢ（Feed-Back）ゲイン、及び／または、ステアリングのモデル操作と運転操作認知部２２０で認知された実際の操作情報との推定誤差に基づいて空間的な注意機能レベルを検知できる（図６Ａ上段参照）。ここで、ステアモデルとは、例えば、ステアリング及びステアリングの支持構成をモデル化したものであり、ドライバのステア操作に伴う操舵力データが入力されると、この操舵力データに基づいて車両の横方向の遷移力についてのデータを出力するようになっている。

また、例えば、ドライバの運転操作に基づく予測機能レベルは、運転シーン認知部２１０で認知された運転シーンと、リスク予測モデルとを用いた演算（以下、リスクモデル演算ともいう）により検知できる。具体的には、例えば、それぞれの運転シーンにおいて、（１）リスクモデル演算で演算された潜在リスクの大きさに基づいて潜在リスクに対するリスク予測機能レベル及び集中と配分に関する注意機能レベルを検知でき、（２）リスクモデル演算で演算された顕在リスクの大きさに基づいて顕在リスクに対するリスク予測機能レベル、集中と配分に関する注意機能レベル及び空間的な注意機能レベルを検知でき、（３）リスクモデル演算で演算された低リスク状態からの逸脱に基づいて、潜在リスク、顕在リスク及び道路形状に対するリスク予測機能レベル、集中と配分に関する注意機能レベル及び空間的な注意機能レベルを検知できる（図６Ａ上段参照）。ここで、リスク予測モデルの形式や内容は、特に限定されない。例えば、リスク予測モデルは、自車両と前方車両との相対速度および相対距離に基づいて、自車両のリスクポテンシャルと、前方車両のリスクポテンシャルとを設定し、これらのリスクポテンシャルから予測されるリスクをモデル化したものである。ここで、リスク予測機能レベルとは、リスク予測機能が正常に機能している程度を示す指標である。また、注意機能レベルとは、注意機能が正常に機能している程度を示す指標である。「集中と配分に関する注意機能レベル」は、例えば、視線挙動検知部４１２の検知結果に基づいて演算することができる。

また、例えば、ドライバの運転操作に基づく予測機能レベルは、運転シーン認知部２１０で認知された運転シーンと道路形状予測モデルとを用いた演算（以下、道路モデル演算ともいう）により検知できる。具体的には、例えば、それぞれの運転シーンにおいて、（１）道路モデル演算で演算された横方向の予測制御に基づいて道路形状に対するリスク予測機能レベル、集中と配分に関する注意機能レベル及び空間的な注意機能レベルを検知でき、（２）道路モデル演算で演算された縦方向の予測制御に基づいて、潜在リスク及び顕在リスクに対するリスク予測機能レベルと、集中と配分に関する注意機能レベルを検知できる（図６Ａ上段参照）。ここで、道路形状予測モデルは、将来の道路形状を予測したモデルであり、あらかじめ記憶部３００に格納されていてもよいし、演算処理部１００において、車外カメラ６１やレーダ６２による撮影データ（物標データ）と位置センサ６３で検出された位置情報とに基づいて生成するようにしてもよい。

ドライバの視線挙動に基づく予測機能レベルは、例えば、運転シーン認知部２１０で認知された運転シーンと視線挙動検知部４１２で認知されたドライバの視線挙動とを用いた演算により検知できる。具体的には、例えば、（１）それぞれの運転シーンで見るべき箇所とドライバの視線との合致度を演算することで運転中の注意配分に関する注意機能レベルを検知でき、（２）それぞれの運転シーンにおけるサリエンシー指標値としてＡＵＣ（Area Under the Curve）値を演算することで潜在リスク及び顕在リスクに対するリスク予測機能レベルと運転中の注意配分に関する注意機能レベルを検知でき、（３）それぞれの運転シーンにおけるサッケードの振幅を演算することで顕在リスクに対するリスク予測機能レベルを検知でき、（４）それぞれの運転シーンにおけるサッケードの頻度を演算することで潜在リスクに対するリスク予測機能レベルと運転中の注意配分に関する注意機能レベルを検知できる（図６Ｂ上段参照）。

ドライバの頭部挙動に基づく予測機能レベルは、例えば、運転シーン認知部２１０で認知された運転シーンと頭部挙動検知部４１１で認知されたドライバの頭部挙動とを用いた演算により検知できる。具体的には、例えば、（１）それぞれの運転シーンにおけるドライバの頭部挙動と車両状態センサ６４によるドライバへの外力の推定結果とに基づいて、頭部挙動と外力との相互相関を演算することで、運転中の注意配分に関する注意機能レベルを検知でき、（２）それぞれの運転シーンにおける頭部位置の偏心度を演算することで運転中の注意配分に関する注意機能レベルを検知できる（図６Ｂ上段参照）。

《ベース機能検知部》
ベース機能検知部４３５は、例えば、ドライバの運転操作、ドライバの視線挙動、及び／またはドライバの頭部挙動に基づいてベース機能レベルを検知する。

ドライバの運転操作に基づくベース機能レベルは、例えば、運転シーン認知部２１０で認知された運転シーンとペダルモデルとを用いた演算（以下、ペダルモデル演算ともいう）により検知できる。具体的には、例えば、それぞれの運転シーンにおいて、ペダルのＦＢ（Feed-Back）ゲイン、ペダル操作の遅れ、ペダル制御のパフォーマンス、及び／または、ペダルのモデル操作と実際の操作との推定誤差に基づいて、縦方向の知覚機能レベル、及び／または、足の運動機能レベルを検知できる（図６Ａ中段参照）。ここで、ペダルモデルとは、例えば、アクセルペダル／ブレーキペダル及びペダル支持構成をモデル化したものであり、ドライバのアクセル操作／ブレーキ操作に伴う踏力データが入力されると、この踏力データに基づいてオペレーションロッドの推力データを出力するようになっている。

また、例えば、ドライバの運転操作に基づくベース機能レベルは、それぞれの運転シーンにおいて、ステアリングのＦＢ（Feed-Back）ゲイン、走行位置、及び／または、ステアリングのモデル操作と実際の操作との推定誤差に基づいて横方向の知覚機能レベル、及び／または、手の運動機能レベルを検知できる（図６Ａ中段参照）。ここで、知覚機能レベルとは、知覚機能が正常に機能している程度を示す指標である。

ドライバの視線挙動に基づくベース機能レベルは、例えば、運転シーン認知部２１０で認知された運転シーンと視線挙動検知部４１２で認知されたドライバの視線挙動とを用いた演算により検知できる。具体的には、例えば、それぞれの運転シーンにおいて、（１）サッケードの左眼と右眼の左右差、（２）視線分布、（３）眼振量について、（１）～（３）のうちの１つまたは複数を演算することで、視野範囲についての知覚機能レベルを検知できる。また、それぞれの運転シーンにおいて、サッケードの速度を演算することで、眼球運動に関する運動機能レベルを検知できる（図６Ｂ中段参照）。

ドライバの頭部挙動に基づく予測機能レベルは、例えば、運転シーン認知部２１０で認知された運転シーンと、頭部挙動検知部４１１で認知されたドライバの頭部挙動と、視線挙動検知部４１２で認知されたドライバの視線挙動と、運転操作認知部２２０の認知結果を用いた演算により検知できる。具体的には、例えば、（１）それぞれの運転シーンにおけるドライバの頭部挙動と視線挙動との相互相関を演算することで、運転中の視野範囲及び認知反応時間に関する知覚機能レベル、並びに、眼球運動に関する運動機能レベルを検知でき、（２）それぞれの運転シーンにおけるドライバの頭部挙動と手足機能との相互相関を演算することで手足の運動機能レベルを検知できる（図６Ｂ中段参照）。

《異常判定部》
異常判定部４４０は、後述するセンサテーブル（図１４参照）を参照して、運転シーン認知部２１０で認知された車両の運転シーンに応じた異常判定用センサの出力に基づいてドライバの異常を判定する。前述のとおり、異常判定用センサは、運転操作センサ６６及びドライバ状態センサ６７のうちの１または複数を含む。

具体的な処理の流れの一例としては、運転操作センサ６６及び／またはドライバ状態センサ６７の出力が、運転操作認知部２２０に送信され、運転操作認知部２２０によりドライバの運転操作として認知される。また、運転操作センサ６６及び／またはドライバ状態センサ６７の出力が、ドライバ挙動認知部４１０に送信され、ドライバ挙動認知部４１０によりドライバの挙動（頭部挙動、視線挙動を含む）として認知される。そして、不随意機能検知部４２０が、ドライバ挙動認知部４１０の認知結果に基づいて、不随意機能レベルを演算する。また、運転機能検知部４３０が、ドライバ挙動認知部４１０の認知結果に基づいて、予測機能レベル、及び、ベース機能レベルを検出する。異常判定部４４０は、不随意機能検知部４２０で演算された不随意機能レベル、並びに、運転機能検知部４３０演算された予測機能レベル及びベース機能レベルを受信し、これらを総合的に判断して、ドライバの異常を判定する。

異常判定部４４０は、例えば、運転シーン認知部２１０で認知された運転シーンに応じて、上記の不随意機能レベル、予測機能レベル及びベース機能レベルから異常判定に用いる１つまたは複数の機能レベルを選択し、それらの組み合わせも含めて所定の条件に合致する場合に、ドライバに異常があると判定する。なお、説明の便宜上、運転シーンに応じて選択された機能レベルを、対象機能レベルと称する。例えば、図４の例では、期間Ｔ１１，Ｔ１３，Ｔ２１，Ｔ２５，Ｔ３１，Ｔ３３における対象機能レベルは、不随意機能レベル、予測機能レベル及びベース機能レベルである。また、期間Ｔ２２，Ｔ２４，Ｔ３２における対象機能レベルは、不随意機能レベル及びベース機能レベルである。また、期間Ｔ１２，Ｔ２３における対象機能レベルは、不随意機能レベルである。

ドライバの異常判定のための所定の条件の形式は特に限定されない。例えば、演算された機能レベルに対して、所定の閾値を設けてその閾値との比較に基づいて判定するようにしてもよいし、例えば、基準となる指標や標準モデルなどを用意し、その基準や標準モデルとの一致度や乖離度などに基づいてドライバの異常を判定するようにしてもよい。具体例については、後ほど説明する。

なお、上記の所定の条件は、記憶部３００にあらかじめ格納されていてもよいし、車両Ａの外部から設定できるようにしてもよい。また、所定の条件は、対象機能レベルを構成する１または複数の機能レベルのそれぞれに設定されていてもよいし、各機能レベルのレベル値をスコア化して、それらを加算したり、加重平均をとったりするなどして対象機能レベル全体としての総合スコアに対して所定の条件または基準が設定されてもよい。

また、異常判定部４４０は、対象機能レベルが所定の条件に合致した場合に、ドライバの異常の予兆が認識されたと判定するようにし、応答確認部４５０によりドライバの応答を確認した上で、最終的にドライバの異常を判定するようにしてもよい。すなわち、ドライバの異常判定に際して、ドライバへの問いかけといったような段階的なステップを踏んで判定するようにしてもよい。

《応答確認部》
応答確認部４５０は、異常判定部４４０でドライバの異常の予兆が認識されたと判断された場合に、ドライバの応答を確認する機能を有する。応答確認部４５０は、問いかけ部４５１と、応答検出部４５２とを備える。

問いかけ部４５１は、異常判定部４４０からドライバへの問いかけ要求を受けたとき、ドライバに対して問いかけを行う。この問いかけは、車両を自動運転により緊急待避させてよいかどうか、ドライバの意思を確認するためのものである。問いかけは、例えば、スピーカＤ２を介して音声により行ったり、モニタなどの情報表示装置Ｄ１を介した表示により行ったりする。

応答検出部４５２は、問いかけ部４５１による問いかけに対するドライバの応答を検出する。ドライバの応答は、例えば、スイッチＤ３の操作や、マイクＤ４への発声によって行われる。ドライバの緊急停車の意思が確認できたとき、あるいは、ドライバの応答がないとき、異常判定部４４０は、走行制御部５００に対して、車両を自動的に路肩退避させて停止させるよう指示する。

〔記憶部〕
記憶部３００には、運転シーン認知部２１０で認知された車両の運転シーンと、ドライバの異常判定に採用する異常判定用センサとの関係を表すセンサテーブルが記憶されている。図１４は、記憶部３００に格納されているセンサテーブルの一例を示している。

図１４において、左側の列は、運転シーン認知部２１０で認知された車両の運転シーンが記載され、中央の列において、各運転シーンに対応して使用可能な異常判定用センサが示されている。ここでは、異常判定用センサとして、運転操作センサ６６及び車内カメラ６８を例示している。また、右側の列には、具体的な判定項目を例示している。図１４において、「運転操作センサ」、「頭部挙動」、「視線挙動」のそれぞれの指標は、図６Ａ，６Ｂの「操作」、「頭部」、「視線」のそれぞれの項目と対応している。また、図１４において、「○印」は、異常の判定に用いることができる項目を示しており、「－印」は、異常の判定に用いることが困難な項目を示している。また、図１４のＣは、困難な理由毎に符号を分けており、Ｃ１は判定対象となる行動が生じない、Ｃ２は予兆段階では異常時と正常時との差が生じにくい、Ｃ３は外乱が大きい、となっている。

なお、図１４に示すように、一種類のセンサ（例えば、車内カメラ６８）で、複数の項目（例えば、頭部挙動と視線挙動）が測定できるようにしてもよい。また、異常判定用センサとして、運転操作センサ６６、車内カメラ６８以外のセンサを用いるようにしてもよい。すなわち、センサ群に、運転操作センサ６６、車内カメラ６８以外の異常判定用センサが含まれていてもよい。また、センサ群には、異常判定用センサ以外のセンサが含まれていてもよい。

さらに、記憶部３００には、前述のとおり、車両制御装置１０によって実行可能なソフトウェアであるモジュールが格納されている。また、車両制御装置１０で使用されるモデル（例えば、後述する運転操作学習モデル４１５、運転操作推定モデル４１６）のデータが格納されている。

〔各階層における機能レベルの検知処理及び異常判定処理の一例〕
以下において、不随意行動、ベース行動、予測行動のそれぞれの階層（行動）において、機能レベルの検知動作及びその後の異常判定動作について、具体例を示して説明する。なお、以下の説明は、発明の理解を容易にするために各階層の機能レベルの検知動作の一例を示しているものであって、以下の説明の内容に限定する意図はない。すなわち、それぞれの階層の機能レベルの検知について、以下の説明以外の検知方法を用いてもよい。

〈不随意機能レベルの検知処理〉
ここでは、図６Ａ下段及び図６Ｂ下段に示す不随意行動に関する不随意機能レベルの検知項目のうち、頭部挙動及び視線挙動に関する不随意機能レベルの検知動作例について、図面を参照しつつ説明する。

《頭部挙動》
頭部挙動に関する不随意機能レベルの検知動作例について、図７～図９を参照しつつ説明する。図７は、不随意機能レベルの検知動作について説明するためのブロック図であり、図５の構成から説明に用いるブロックを抜粋し、必要に応じて内部ブロックを追加している。

具体的に、図７の例では、運転シーン認知部２１０は、運転シーン判定部２１１を備える。不随意機能検知部４２０は、周期性特徴量演算部４２１と、時系列変動パターン演算部４２２とを備える。応答確認部４５０は、問いかけ部４５１と、応答検出部４５２とを備える。また、前述のとおり、ドライバ挙動認知部４１０は、頭部挙動検知部４１１を備える。

図７において、頭部挙動検知部４１１は、車内カメラ６８によって撮影された画像からドライバの頭部の挙動を検出する。例えば、頭部挙動検知部４１１は、画像からドライバの頭部を認識し、頭部の傾斜角、例えばピッチ角とロール角を求める。頭部挙動検知部４１１における処理は、既存の画像処理技術によって実現することができる。

図８は、頭部挙動の恒常性と疾患との関係を示す図である（非特許文献２，３参照）。図８の各グラフは上方から見た頭部の動きを表しており、（ａ）は恒常性が維持された正常状態、（ｂ）は正常と疾患との間の臨界減速という状態、（ｃ）は疾患状態である。なお、図８（ａ），（ｃ）のグラフは非特許文献２から引用したものである。

人間は、外乱に対して状態を一定に保とうとする恒常性という機能を持っている。頭部挙動の恒常性とは、運転中に頭部姿勢を維持しようとする性質のことをいう。図８（ａ）に示すように、正常状態では、恒常性維持のために、頭部は不規則に変動する。一方、図８（ｃ）に示すように、疾患時には、頭部の変動は小さくなり、挙動が安定する。そして図８（ｂ）に示すように、正常状態から疾患状態に遷移する間の臨界減速状態では、頭部は、周期性（自己相関）を持って変動する、と考えられる（非特許文献３参照）。

そこで、本実施形態では、頭部挙動検知部４１１による処理によって、図８に示すような頭部挙動の時系列データを得るようにしている。頭部挙動の時系列データは、不随意機能検知部４２０に送られる。

運転シーン判定部２１１は、運転シーン認知部２１０で認知された運転シーンと、車両挙動推定部２３０から受信した車両挙動データとに基づいて、車両の走行状態が、図１４のＣ３で示すような走行状態（頭部挙動に対する外乱が大きい状態）にあるかどうかを判定する。例えば、コーナ走行時には、ドライバの異常予兆の検知が困難になる傾向があり、運転シーン判定部２１１は、このようなシーンに該当するか否かを判定する。例えば、車両挙動データが示す車両の左右方向の加速度をドライバの頭部に作用する横加速度として捉え、これが所定値を超えているか否かを判定する。

所定値を超えている場合は、運転シーン判定部２１１は、ドライバの異常予兆の検知が困難になるシーンと判定する。運転シーン判定部２１１の判定結果は、不随意機能検知部４２０に送られる。

周期性特徴量演算部４２１は、頭部挙動検知部４１１によって得られた頭部挙動の時系列データから、周期性特徴量を演算する。具体的には、例えば、ＤＦＡ（Detrended Fluctuation Analysis）により、自己相関指標（スケーリング指数α）を周期性特徴量として求める。また、周期性特徴量演算部４２１は、運転シーン判定部２１１によってドライバの異常予兆の検知が困難になるシーンと判定されたとき、周期性特徴量の演算を行わない。

時系列変動パターン演算部４２２は、周期性特徴量演算部４２１によって得られた周期性特徴量の時系列データを、時間順に切り出し、切り出した時系列データから時系列変動パターンを演算し、パターン分類する。具体的には、例えば、周期性特徴量の時系列データを、非線形次元圧縮手法の１つであるＵＭＡＰを用いて次元削減し、２次元データに変換する。そして、この２次元データ変換によって得られたデータを、記憶部３００に格納された異常判定閾値データベース３１０の閾値と比較し、その比較結果に基づいて不随意機能レベルを算出し、異常判定部４４０に出力する。例えば、図９の２次元マップにおける判定ラインＬＴＨが、異常判定閾値データベース３１０に格納された閾値に相当する。時系列変動パターン演算部４２２は、上記の２次元データ変換によって得られたデータが、２次元マップ上において、判定ラインＬＴＨのどちら側に位置するか、また、その判定ラインＬＴＨからどの程度離れているかに基づいて、不随意機能レベルを算出する。

《視線挙動》
視線挙動に関する不随意機能レベルの検知動作例について、図１１～図１３を参照しつつ説明する。図１１は、不随意機能レベルの検知動作について説明するためのブロック図であり、図５の構成から説明に用いるブロックを抜粋し、必要に応じて内部ブロックを追加している。具体的に、図１１の例では、運転シーン認知部２１０は、注意度検出部２１３を備える。不随意機能検知部４２０は、異常条件設定部４２４を備える。また、前述のとおり、ドライバ挙動認知部４１０は、視線挙動検知部４１２を備える。応答確認部４５０は、問いかけ部４５１と、応答検出部４５２とを備える。

図１０において、視線挙動検知部４１２は、車内カメラ６８によって撮影された画像からドライバの視線の挙動（例えば、サッケード）を演算する。サッケードは、人（例えば運転者）が意図的に視線を移動させる跳躍性眼球運動のことである。具体的には、サッケードは、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。この例では、視線挙動検知部４１２は、車内カメラ６８により得られた画像データに対して視線検出処理を行うことで、ドライバの視線を検出し、ドライバの視線の移動に基づいてドライバのサッケードを検出する。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。

注意度検出部２１３は、車外カメラ６１、レーダ６２、位置センサ６３、車外通信装置６５及び車両挙動推定部２３０のうちの１または複数で取得されたデータを用いて車両の外部環境における注意度を検出する。注意度は、車両の外部環境における注意箇所（車両の運転者が走行中に確認すべき注意箇所）の多さを示す指標である。車両の外部環境において注意箇所が多くなるに連れて、車両の外部環境における注意度が高くなる。注意度検出部２１３の検出結果は、異常条件設定部４２４に送信される。注意箇所の例としては、動体の飛び出しが予測される箇所、自車両の障害物となり得る物体が存在する箇所などが挙げられる。

異常条件設定部４２４は、異常判定部４４０でドライバの異常の判定判定に用いる異常条件を設定する。この例では、異常条件設定部４２４は、視線挙動検知部４１２で検出された運転者のサッケードに基づいて、異常条件に含まれる閾値を設定する。

なお、図１４の視線挙動の欄に記載のとおり、車両の走行状態として「危険回避」をしている場合、視線挙動の検知結果は、ドライバの異常判定に採用されない（図１４のＣ２参照）。これは、発明者らによるドライビングシミュレータ７０を用いた実験から得られた、「車両が危険回避をしているような場合には、異常時と正常時とでドライバの視線挙動（特に、サッケード振幅）に差が生じにくい」という知見に基づいている。なお、図１４は、一例を示しており、後述する図２０，２１に示すように、車両が危険回避をしている運転シーンでも、異常時と正常時とでドライバの視線挙動が異なるという評価項目もあり、そのような評価項目については、ドライバの異常判定に採用してもよい。図１４の他の項目においても同様である。すなわち、図１４は、あくまで例示であり、“図１４において「－」で示したものがドライバの異常判定に採用されない”ということを示す趣旨ではまったくない。

（サッケードの振幅検出処理）
次に、図１２を参照して、ここでの異常判定部４４０の動作について説明する。

まず、視線挙動検知部４１２は、サッケードの振幅を検出する第１期間Ｐ１を設定し、第１期間Ｐ１が設定される毎に、図１２に示した処理（ステップＳＴ１１～ＳＴ１４）を行う。

－ステップＳＴ１１－
視線挙動検知部４１２は、ドライバの視線を検出する。例えば、視線挙動検知部４１２は、車内カメラ６８により得られた画像（画像データ）の中からドライバの瞳孔を検出し、その検出された瞳孔に基づいてドライバの視線を検出する。次に、視線挙動検知部４１２は、ドライバの視線からドライバの視線の移動距離の時間的変化に基づいて、ドライバの視線の速度を算出する。

－ステップＳＴ１２－
次に、視線挙動検知部４１２は、視線の移動速度に基づいて、サッケードの候補となるサッケード候補を抽出する。例えば、視線挙動検知部４１２は、視線の移動速度が予め定められた速度閾値（例えば４０deg/s）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」として抽出する。そして、視線挙動検知部４１２は、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０deg/s）以上であり、且つ、移動距離が予め定められ距離閾値（例えば３deg）以上である視線移動を「サッケード候補」として抽出する。

－ステップＳＴ１３－
次に、視線挙動検知部４１２は、最小自乗法により複数のサッケード候補に基づいた回帰曲線を導出し、その回帰曲線に対して視線の移動速度の増減方向にそれぞれ基準曲線を引いて、その基準曲線間をサッケード範囲とする。そして、視線挙動検知部４１２は、複数のサッケード候補のうち所定のサッケード範囲内に含まれるサッケード候補をサッケードとして抽出し、サッケード範囲内に含まれないサッケード候補をサッケードとして抽出しない。

－ステップＳＴ１４－
次に、視線挙動検知部４１２は、第１期間Ｐ１内におけるサッケードの振幅ｄｓを算出する。具体的には、視線挙動検知部４１２は、第１期間Ｐ１内に含まれるサッケードの振幅ｄｓの平均値を「第１期間Ｐ１内におけるサッケードの振幅ｄｓ」として算出する。

（本願発明者により行われた実験１）
本願発明者は、運転者の状態と運転者の挙動（特に視線の動き）との関係を調べるために、下記のような実験を実施した。

まず、突発性異常状態に関するデータを収集するために、癲癇の症状を有する患者（以下では「癲癇患者」と記載）を被験者として選出した。そして、ドライビングシミュレータ７０（図２０参照）を用いて車両の運転操作を被験者に擬似的に体験させた。具体的には、ドライビングシミュレータ７０により車両の走行中の動画像（車内から見える車両の外部環境を示す動画像）を被験者に視聴させ、その被験者の実験中の挙動を観測することで、被験者の車両運転時の挙動を擬似的に観測した。この実験では、車両の走行中の動画像を視聴する被験者の前方にカメラを設置し、撮像範囲内に被験者の眼球が含まれるようにカメラを設定した。

そして、カメラにより得られた画像データに対して視線検出処理を行うことで、被験者の視線を検出した。また、視線検出処理により得られた被験者の視線に対してサッケード検出処理を行うことで、被験者のサッケードを検出し、所定期間内におけるサッケードの振幅を算出した。これらの処理は、視線挙動検知部４１２において行われる処理と同様である。

以上の実験を複数の被験者に対して実施した。これらの複数の被験者の中には、実験中に癲癇の発作が現れた被験者がいた。そのため、被験者の癲癇発作時のデータを取得することができた。

図１３に示すように、癲癇発作が現れる直前の期間から癲癇発作が現れた時点までの期間（図１３の約3915秒から約3930秒までの期間）では、被験者のサッケードの振幅および頻度がさらに低下してゼロとなっている。この被験者のサッケードの振幅および頻度がゼロである状態は、１０秒以上継続している。

異常判定部４４０では、例えば、運転者の状態が正常状態であるときの第１期間Ｐ１内のサッケードの振幅ｄｓを記憶部３００に記憶させるとともに、正常状態の振幅（例えば、平均値）の５０％にサッケード振幅異常判定のための閾値を設定する。そして、異常判定部４４０は、例えば、ドライバのサッケードの振幅ｄｓが所定期間連続してその閾値以下になるとドライバに異常があると判定する。

《異常判定処理》
前述のとおり、期間Ｔ１２，Ｔ２３における対象機能レベルは、不随意機能レベルのみである。そこで、期間Ｔ１２，Ｔ２３では、異常判定部４４０は、不随意機能検知部４２０から出力された不随意機能レベルに基づいてドライバの異常判定を行う。

そして、ドライバに異常が確認された場合には、走行制御部５００に、車両Ａを自動的に路肩退避させて停止させる制御をするように指示する。なお、前述のとおり、異常判定部４４０は、異常判定に際して、応答確認部４５０を介してドライバの応答を確認した上で、最終的にドライバの異常を判定するようにしてもよい。

〈ベース機能レベルの検知処理〉
ここでは、図６Ａ中段及び図６Ｂ中段に示すベース行動に関するベース機能レベルの検知項目のうち、運転操作に関するベース機能レベルの検知動作例について、図面を参照しつつ説明する。

《運転操作》
図１５は、不随意機能レベルの検知動作について説明するためのブロック図であり、図５の構成から説明に用いるブロックを抜粋し、必要に応じて内部ブロックを追加している。具体的に、図１５の例では、ドライバ挙動認知部４１０は、運転操作推定部４１４と、運転操作学習モデル４１５と、運転操作推定モデル４１６とを備える。ベース機能検知部４３５は、推定誤差算出部４３６を備える。運転操作学習モデル４１５及び運転操作推定モデル４１６は、例えば、記憶部３００に格納される。

図１５において、運転操作推定部４１４は、運転操作認知部２２０で認知された運転操作情報、運転シーン認知部２１０で認識された運転シーン情報、及び、車両挙動推定部２３０で生成された車両挙動データを受信する。運転シーン情報は、例えば、走行車線の情報、制限速度の情報、車両の位置情報を含む。また、前述のとおり、車両挙動データは、車速情報を含む。運転操作推定部４１４は、車両Ａの走行中に、深層学習により生成された運転操作学習モデル４１５を用いて、上記の運転操作情報、運転シーン情報及び車両挙動データから普段のドライバの運転操作についての運転特性を示すモデルパラメータを生成して蓄積する。

さらに、運転操作推定部４１４は、車両Ａの走行中に、深層学習により生成された運転操作推定モデル４１６を用いて、上記の運転操作情報、運転シーン情報、車両挙動データ及びモデルパラメータから、その時々のドライバの運転操作を推定する。すなわち、運転操作推定部４１４は、普段のドライバの運転操作から、その時々の運転シーンにおいて、通常状態（健康状態）であれば、ドライバはどのような運転操作をするかを推定する。運転操作推定部４１４は、運転操作の推定値（以下では操作推定値という）を推定誤差算出部に出力する。

推定誤差算出部４３６では、上記の操作推定値と、実際の運転操作に基づく値（以下では実操作値という）とを比較して、普段の操作からの逸脱度を演算し、操作逸脱度として異常判定部４４０に出力する。図１６では、ステアリング操作について、正常状態におけるステアリング操作と、異常状態におけるステアリング操作とについて、操作推定値と実操作値とを重ねて表示している。図１６は、正常状態及び異常状態のそれぞれの運転シーンにおける３０秒間の運転データを示している。

異常判定部４４０では、推定誤差算出部４３６から受信した操作逸脱度が、所定の基準を満たしているかどうかに基づいて、ドライバに異常の兆候があると判定する。所定の基準の設定方法は特に限定されないが、例えば、ステアリングの操作逸脱度として、所定期間（図１６では３０秒）のステアリングの推定誤差の平均が０．４［ｄｅｇ］以上であればドライバに異常の兆候があると判定するという基準を設ける。また、単純な閾値を設けるのではなく、ステアリングの推定誤差との乖離量に基づいた乖離スコアを演算し、その乖離スコアを基に、ベース機能レベルを算出するようにしてもよい。

《異常判定処理》
前述のとおり、図４の期間Ｔ２２，Ｔ２４，Ｔ３２における対象機能レベルは、ベース機能レベル及び不随意機能レベルである。そこで、期間Ｔ２２，Ｔ２４，Ｔ３２では、異常判定部４４０は、不随意機能検知部４２０から出力された不随意機能レベル及びベース機能検知部４３５から出力されたベース機能レベルについて、組み合わせも含めて所定条件に合致するかどうかを判定する。この場合に、前述の図１４に示すように、走行シーンに応じて、どのような指標を組み合わせるかを判断してもよい。また、各機能レベルのレベル値をスコア化して、それらを加算したり、加重平均をとったりするなどして、ベース機能レベル及び不随意機能レベルから選択された一部または全体としての総合スコアに対して所定の条件が設定されてもよい。

また、図１７に示すように、疾患の種類などに応じて、機能が低下する順番がわかっているものがある。そのような場合には、機能低下の順番を加味して所定の条件を段階的に設定し、その設定した条件に合致するかどうかを判定することでドライバの異常を判定するようにしてもよい。

例えば、図１７のケースＢは、ベース機能が低下してから不随意機能が低下するケースである。このようなケースに該当する例としては、例えば、視床などの梗塞で手足の運動機能障害が現れ、さらに進行して姿勢保持困難状態（例えば、体幹くずれなど）が生じた場合がある。この場合、運転操作についてのベース機能レベルの低下が検知され、その後に、頭部挙動の不安定が現れる、すなわち、不随意機能レベル低下が検知される。そこで、異常判定部４４０が、この順番を加味して、ベース機能レベルが所定の判定基準以下に低下したときに、不随意機能レベルの判定閾値を下げて、不随意機能レベルの異常判定がされやすくするようにしてもよい。

また、例えば、図１７のケースＤは、不随意機能が低下してからベース機能が低下するケースである。このようなケースとして、例えば、図４の期間Ｔ２３～Ｔ２４のような運転シーン（ベース機能レベルよりも不随意機能レベルの判定精度が高そうな状況）において、頭部挙動が不安定になる場合がある。すなわち、発明者らの知見では、ドライバに疾患が発症した場合、高次行動から機能低下が生じ、その後、徐々に、ベース行動の機能低下、不随意行動の機能低下へと変容していく。しかしながら、図４の期間Ｔ２３～Ｔ２４のような運転シーンでは、運転機能よりも不随意機能の異常の予兆が先に検知されるケースがある。そこで、このような場合に、異常判定部４４０では、運転機能検知部４３０において、頭部挙動が不安定になったことが検知された場合に、ベース機能レベルの判定閾値を下げるようにしてもよい。これにより、その後のカーブ路などでベース機能レベルの異常判定がされやすなり、ドライバ異常の早期発見と高精度の判定を両立させることができる。

〈予測機能レベルの検知処理〉
ここでは、図６Ａ上段及び図６Ｂ上段に示すベース行動に関する予測機能レベルの検知項目のうち、視線挙動及び運転操作に関するベース機能レベルの検知動作例について、図面を参照しつつ説明する。

《視線挙動及び運転操作》
視線挙動に関する予測機能レベルの検知動作において、ブロック図としては、図１１と同じような構成を用いることができるので、ここでは不随意機能レベルの検知動作と異なる点を中心に説明する。具体的には、図１１における不随意機能検知部４２０の位置にベース機能検知部４３５が設けられる。

ここでの視線挙動検知部４１２は、車内カメラ６８により撮影された運転者の眼球画像から、運転者の視線方向を算出する。視線挙動検知部４１２は、例えば、運転者が車内カメラ６８のレンズを覗いた状態を基準にして、そこからの運転者の瞳孔の変化を検知することで運転者の視線方向を算出する。視線挙動検知部４１２で算出された視線方向は、予測機能検知部４３１に送信される。同様に、運転シーン認知部２１０で認知された運転シーンが、予測機能検知部４３１に送信される。

予測機能検知部４３１では、運転シーン認知部２１０で認知された運転シーンに、視線挙動検知部４１２で算出された視線を重ねる処理が実行される。

（本願発明者により行われた実験２）
図１８，１９は、ドライビングシミュレータ７０を用いて運転者の視線を検出し、サリエンシー指標の時間変化としてプロットしたものである。図１８は健常者の測定結果であり、図１９は機能障害患者の測定結果である。ただし、走行スピードが互いに異なるので、時間軸と走行場所が必ずしも一致しているわけではない。

サリエンシー指標とは、高サリエンシー領域への誘目度が高いほど数値が高くなる指標となっている。

図１８，１９の例では、異常条件設定部４２４は、例えば、所定の条件として、高サリエンシー領域への誘目度が相対的に高いと判断される０．６に閾値を設定するとともに、所定時間に対する閾値を超えた面積を設定する。そうすると、異常判定部４４０では、サリエンシー指標が０．６を超えた面積（斜線領域の面積）が、所定の閾値を超えた場合に、ドライバに異常がある（例えば、注意機能の障害がある）または異常の予兆があると判定する。すなわち、異常判定部４４０は、ドライバに異常があるまたは異常の兆候があると判定する。

（本願発明者により行われた実験３）
図２０，２１は、ドライビングシミュレータ７０を用いて、運転者の視線を検出し、運転シーンの画像に重ねた結果を示している。予測機能検知部４３１でも同様の処理が実行される。

図２０では、車の影から歩行者が現れた場合における通常時と異常時の視線の動きの一例をプロットしている。図２１において、実線は通常時の視線の動きを示しており、破線は異常時の新線の動きを示している。通常時は、歩行者が出現する数秒前（例えば、２秒前）から歩行者の出現場所にも注意が向いているのに対し、異常時には、前方の道路に注意が集中し、歩行者が現れてから注視するといったことが発生している。そうすると、図２２（ａ）に示すように、疾患者は、健常者と比較して駐車車両などの障害物に近づく傾向があり、図２２（ｂ）に示すように潜在的なリスクが増加する。そこで、予測機能検知部４３１は、例えば、自車両と障害物との距離に応じたリスク値を演算し、そのリスク値に基づいて、ドライバ異常を判定する。

なお、予測機能検知部４３１において、前述の「ベース機能レベルの運転操作の検知処理」の場合と同様の処理を行うようにしてもよい。具体的には、例えば、予測機能検知部４３１は、ドライバの普段の視線挙動についてのモデルパラメータを生成し、運転操作情報、運転シーン情報、車両挙動データ及びモデルパラメータから、その時々の運転シーンにおいて、通常状態（健康状態）であれば、ドライバはどのような視線挙動をするかを推定する。そして、上記の推定された視線挙動と、実際の視線挙動との推定誤差を算出し、異常判定部４４０に出力する。そして、異常判定部４４０では、予測機能検知部４３１から受信した操作逸脱度が、所定の基準を満たしているかどうかに基づいて、ドライバに異常の兆候があると判定する、としてもよい。なお、モデルパラメータとして、一般の正常な運転者のモデルを使用するようにしてもよい。

《異常判定処理》
前述のとおり、図４の期間Ｔ１１，Ｔ１３，Ｔ２１，Ｔ２５，Ｔ３１，Ｔ３３における対象機能レベルは、予測機能レベル、ベース機能レベル及び不随意機能レベルである。そこで、これら期間では、異常判定部４４０は、不随意機能検知部４２０から出力された不随意機能レベル、ベース機能検知部４３５から出力されたベース機能レベル及び予測機能検知部４３１から出力された予測機能レベルについて、組み合わせも含めて所定条件に合致するかどうかを判定する。この場合に、前述の図１４に示すように、走行シーンに応じて、どのような指標を組み合わせるかを判断してもよい。また、各機能レベルのレベル値をスコア化して、それらを加算したり、加重平均をとったりするなどして、ベース機能レベル及び不随意機能レベルから選択された一部または全体としての総合スコアに対して所定の条件が設定されてもよい。

また、前述のとおり、発明者らの知見では、ドライバに疾患が発症した場合、高次行動から機能低下が生じ、その後、徐々に、ベース行動の機能低下、不随意行動の機能低下へと変容していく。そこで、図４の期間Ｔ１１，Ｔ１３，Ｔ２１，Ｔ２５，Ｔ３１，Ｔ３３のように、対象機能レベルが複数ある場合（予測機能レベル、ベース機能レベル及び不随意機能レベル）において、図１４の「追従走行」のように複数の検出手段が使用できるような場合に、異常判定部４４０において、予測機能検知部４３１の出力を優先して異常判定を行うようにしてもよい。また、複数の機能レベルのそれぞれについてスコアを出して、その総合スコア（組み合わせ）により判断するような場合に、予測機能検知部４３１からの出力について、他の機能レベルの検知結果よりも相対的にスコアが高くなるように設定してもよい。

また、図１７に示すように、疾患の種類などに応じて、機能が低下する順番がわかっているものがある。そのような場合に、機能低下の順番を加味して所定の条件を段階的に設定し、その設定した条件に合致するかどうかを判定することでドライバの異常を判定するようにしてもよい。機能低下の順番は、例えば、テーブルとして管理され、あらかじめ記憶部３００などに格納するようにしてもよい。

例えば、図１７のケースＡは、予測機能が低下してからベース機能が低下するケースである。このようなケースに該当する例としては、例えば、前頭葉の梗塞で注意障害を発症し、さらに進行して視床等の障害により手足の運動機能障害が現れた場合で、視線挙動の変化が現れ、次いで運転操作の不安定が現れる場合がある。この場合、視線挙動についての予測機能レベルの低下が検知され、その後、運転操作の不安定が現れる、すなわち、ベース機能レベル低下が検知される。そこで、異常判定部４４０が、この順番を加味して、特定の項目に係る予測機能レベルが所定の判定閾値以下に低下したときに、その予測機能に対応するベース機能レベルの判定閾値を下げて、不随意機能レベルの異常判定がされやすくするようにしてもよい。

例えば、図１７のケースＣは、予測機能が低下してから不随意機能が低下するケースである。このようなケースに該当する例としては、例えば、前頭葉の梗塞で注意障害を発症し、さらに進行して視床等の障害により姿勢保持困難（体幹崩れ等）が生じた場合がある。この場合、視線挙動についての予測機能レベルが低下し、その後、頭部挙動の不安定が現れる、すなわち、不随意機能レベル低下が検知される。そこで、異常判定部４４０が、この順番を加味して、特定の予測機能レベルが所定の判定閾値以下に低下したときに、その予測機能に対応する不随意機能レベルの判定閾値を下げて、不随意機能レベルの異常判定がされやすくするようにしてもよい。

〈異常判定処理〉
ここまでの説明では、車両制御装置１０によるドライバの異常判定処理について、各機能レベルの検知処理と紐づけて説明した。ここでは、図２３を参照しつつ、ドライバの異常判定という観点から、一連のドライバの異常判定動作について説明する。なお、ドライバの異常判定に使用するブロック図は、図５をはじめとして、これまでの説明と共通であり、ここでは構成についての説明を省略する。

－ステップＳＴ２１－
運転シーン認知部２１０は、前述のとおり、外部環境情報取得装置６０で取得された外部環境情報に基づいて、車両の運転シーンを認知する。異常判定部４４０は、記憶部３００のセンサテーブルを参照し、前述のセンサ群の中から運転シーン認知部２１０で認知された車両の運転シーンに対応する異常判定用センサを選定する。

なお、異常判定用センサの選定は、異常判定部４４０以外のブロックで実行されてもよい。そして、異常判定部４４０よりも前のブロックで、異常判定用センサ以外のセンサに係る処理を停止させるようにしてもよい。

－ステップＳＴ２２－
演算処理部１００では、運転シーン認知部２１０で認知された運転シーンが運転機能の発揮が必要な運転シーンか否かを判定する。運転機能の発揮が必要な運転シーンか否かとは、例えば、運転操作センサ６６の出力に基づいて、ドライバの運転操作があるか否かで判定することができる。なお、運転機能の発揮が必要な運転シーンか否かの判定方法は、特に限定されず、例えば、車外カメラ６１の撮影結果や車両状態センサ６４などの情報を基に車両の走行状態（停車状態）から判定してもよいし、車内カメラ６８などのドライバ状態センサ６７を用いてドライバの状態をモニタすることで判定するようにしてもよいし、それらを組み合わせてもよい。

例えば、図４の期間Ｔ１１のような運転シーンの場合、運転シーン認知部２１０では、運転機能の発揮が必要な運転シーン、すなわち、不随意機能、ベース機能レベル及び予測機能の発揮が必要な運転シーンと判定される。そうすると、ステップＳＴ２２では「ＹＥＳ」となり、フローはステップ「ＳＴ２４」に進む。なお、この運転シーンの判定は、認知部２００で実行されてもよいし、ドライバ状態推定部４００で実行されてもよい。

－ステップＳＴ２４－
異常判定部４４０は、不随意機能検知部４２０、予測機能検知部４３１、及び、ベース機能検知部４３５で検知されたドライバの機能レベルの結果について、それらの組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常を判定する。例えば、異常判定部４４０は、図２４に示すように、不随意機能検知部４２０、予測機能検知部４３１、及び、ベース機能検知部４３５の各機能（以下、単に各機能ともいう）ついての判定基準を設け、それぞれの判定基準を満たすかどうかを判定する。図２４の例では、これまで説明した評価項目での判定が実施される例を示している。

図２４では、不随意機能の評価項目の例として、周期性特徴量（頭部挙動）及びサッケード振幅（視線挙動）を示している。ここでは、初期状態（ドライバが正常な状態）として、周期性特徴量の判定基準は、前述の判定ラインＬＴＨ（図１０参照）に基づくものとする。サッケード振幅の判定基準は、ドライバの正常運転時の平均に対して５０％未満の状態が所定時間継続した場合に、サッケード振幅についてドライバ異常があると判定するものとする。ベース機能の評価項目の例として、ステア操作の逸脱度（運転操作）を示している。ここでは、ステア操作の逸脱度の判定基準は、推定誤差が０．４［ｄｅｇ］以上でステア操作についてドライバ異常があると判定するものとする（図１６参照）。予測機能の評価項目の例として、サリエンシー指標（視線挙動）及び障害物との距離（運転操作）を示している。サリエンシー指標では指標が０．６を超える面積がＸ（Ｘは正の数）以上の場合に視線挙動にドライバ異常があり、障害物との距離においてはリスク値がＹ（Ｙは正の数）以上の場合に運転操作にドライバ異常があると判定するものとする。これらの評価項目及び判定基準は、例えば、記憶部３００に格納されている。

図２４の例では、期間Ｔ１１において、すべての項目（機能）が正常に機能しており、異常判定部４４０は、「ＮＧ項目なし」（図２３では「ＮＧなし」と記載）と判定し、フローはステップＳＴ２１に戻る。

例えば、図４の期間Ｔ１１の場合、車両Ａは街道を走行しているので運転シーンは時間の経過とともに変化する。期間Ｔ１１において、ドライバの状態が正常な状態が継続しているとすると、運転シーンに応じて採用される異常判定用センサが随時変更されながら、上記のＳＴ２１，ＳＴ２２，ＳＴ２４の処理が繰り返し実行される。

－ステップＳＴ２１－
フローがステップＳＴ２１に戻ると、運転シーン認知部２１０による車両の運転シーンの認知結果が更新される。また、異常判定部４４０は、記憶部３００のセンサテーブルを参照し、更新された運転シーンに対応する異常判定用センサを選定する。期間Ｔ１２では、車両Ａは停車しているので、運転操作センサ６６は、異常判定用センサとして採用されない（図１４及び図２４参照）。また、図１４には記載していないが、図２４に示すように、予測機能を測定するための測定項目もドライバの異常判定には用いられない。そこで、例えば、サッケード振幅を測定するためのセンサと、サリエンシー指標を測定するためのセンサとが異なる場合に、期間Ｔ１２においてサリエンシー指標を測定するためのセンサを異常判定用センサとして採用しないとしてもよい。

－ステップＳＴ２２－
図２４において、次の期間Ｔ１２では、運転機能の発揮が必要な運転シーンではなく、すなわち、運転機能の検知が困難であり、不随意機能のみが判定対象であるものとする。そうすると、ステップＳＴ２２では「ＮＯ」となり、フローはステップＳＴ３４に進む。

－ステップＳＴ３４－
異常判定部４４０は、不随意機能検知部４２０で検知されたドライバの機能レベルの結果について、不随意機能の各測定項目の組み合わせも含めて、所定の条件や基準と照らし合わせてドライバの異常の予兆があるか否かを判定する。図２４の例では、期間Ｔ１２において、サッケード振幅について判定基準を満たさなくなったものとする。そうすると、ステップＳＴ３４では、「ＮＧ項目あり」（図２３では「ＮＧあり」と記載）となり、フローは次のステップＳＴ３５に進む。

－ステップＳＴ３５－
異常判定部４４０は、不随意機能検知部４２０での測定結果を総合して、ドライバの異常を判定する。すなわち、車両Ａを自動運転に切り替えるか否かを判定する。ここでは、例えば、異常判定部４４０は、周期性特徴量（頭部挙動）及びサッケード振幅（視線挙動）の両方の項目がＮＧの場合に、ドライバに異常が発生したと判定し（ステップＳＴ３５でＮＧ）、自動運転に切り替える制御をするものとする（ステップＳＴ３６）。

図２４の期間Ｔ１２では、サッケード振幅の片方のみがＮＧなので、ステップＳＴ３５では「ＯＫ」となり、フローはステップＳＴ３８に進む。

－ステップＳＴ３８－
異常判定部４４０は、ドライバ異常を判定するための判定基準をドライバの異常が判定されやすい方向に緩和する。すなわち、通常時にはドライバ異常と判断されないような状態においても、早期にドライバ異常と判定されるようにする。どの判定基準を変更するかは特に限定されない。不随意機能についての判定基準を変更してもよいし、運転機能（ベース機能及び／または予測機能）についての判定基準を変更してもよい。ここでは、（１）予測機能について、サリエンシー指標の評価基準を「Ｘ以上でＮＧ」から「Ｘ－α（αは正の数）でＮＧ」に緩和し、（２）ベース機能について、ステア操作の逸脱度を「０．４［ｄｅｇ］以上でＮＧ」から「０．３５［ｄｅｇ］以上でＮＧ」に緩和するものとする。ステップＳＴ３８の処理が終わると、フローはステップＳＴ２１に戻る。

－ステップＳＴ２１－
フローがステップＳＴ２１に戻ると、運転シーン認知部２１０による車両の運転シーンの認知結果が更新される。また、異常判定部４４０は、記憶部３００のセンサテーブルを参照し、更新された運転シーンに対応する異常判定用センサを選定する。ここで、車両の運転シーンは、期間Ｔ１３に移行したものとする。期間Ｔ１３では、車両Ａは再び街道を走行しているので、運転シーンによって、運転操作センサ６６も異常判定用センサとして採用され得る（図１４及び図２４参照）。

－ステップＳＴ２２－
図２４において、期間Ｔ１３は、運転機能の発揮が必要な運転シーンであり、ステップＳＴ２２は「ＹＥＳ」となり、フローはステップＳＴ２４に進む。

－ステップＳＴ２４－
異常判定部４４０は、前述のとおり、図２４の判定項目と判定基準に基づいてドライバの異常を判定する。なお、サリエンシー指標については、判定基準が緩和された状態となっている。そして、期間Ｔ１３では、サリエンシー指標についても、ＮＧ判定となったものとする。ここでは、異常判定部４４０は、「ＮＧ項目あり」（図２３では「ＮＧあり」と記載）と判定するので、フローは次のステップＳＴ２５に進む。

－ステップＳＴ２５－
異常判定部４４０は、不随意機能検知部４２０で検知された不随意機能の発揮レベル、予測機能検知部４３１で検知された予測機能の発揮レベル、及び、ベース機能検知部４３５で検知されたベース機能の発揮レベルの評価結果を総合して、ドライバの異常を判定する。すなわち、車両Ａを自動運転に切り替えるか否かを判定する。ここでは、例えば、異常判定部４４０は、（１）不随意機能において周期性特徴量（頭部挙動）及びサッケード振幅（視線挙動）の両方がＮＧの場合、または、（２）４つ以上の評価項目がＮＧの場合に、ドライバに異常が発生したと判定し（ステップＳＴ２５でＮＧ）、自動運転に切り替える制御をするものとする（ステップＳＴ２６）。

図２４の例では、不随意機能ではサッケード振幅の片方のみがＮＧで、評価項目のうちＮＧの項目が２つなので、ステップＳＴ２５で「ＯＫ」となり、フローはステップＳＴ２８に進む。

－ステップＳＴ２８－
異常判定部４４０は、ドライバ異常を判定するための判定基準をドライバ異常が判定されやすい方向に緩和する。すなわち、通常時にはドライバ異常と判断されないようなドライバの状態においても、早期に異常と判定されるようにする。どの判定基準を変更するかは特に限定されない。不随意機能の発揮レベルについての判定基準を変更してもよいし、運転機能（ベース機能及び／または予測機能）の発揮レベルについての判定基準を変更してもよい。ここでは、上記のステップＳＴ３８での条件緩和に加えて、（１）ベース機能の発揮レベルについて、ステア操作の逸脱度を「０．３５［ｄｅｇ］以上でＮＧ」から「０．３［ｄｅｇ］以上でＮＧ」にさらに緩和し、（２）予測機能の発揮レベルについて、障害物との距離についての評価基準を「リスク値がＹ以上でＮＧ」から「リスク値がＹ－β（βは正の数）以上でＮＧ」に緩和するものとする。ステップＳＴ２８の処理が終わると、フローはステップＳＴ２１に戻る。

－ステップＳＴ２１－
フローがステップＳＴ２１に戻ると、運転シーン認知部２１０による車両の運転シーンの認知結果が更新される。また、異常判定部４４０は、記憶部３００のセンサテーブルを参照し、更新された運転シーンに対応する異常判定用センサを選定する。車両の運転シーンは、期間Ｔ１３のままであるものとする。

－ステップＳＴ２２－
図２４において、期間Ｔ１３は、運転機能の発揮が必要な運転シーンであり、ステップＳＴ２２は継続して「ＹＥＳ」であり、フローはステップＳＴ２４に進む。

－ステップＳＴ２４－
異常判定部４４０は、前述のとおり、図２４の判定項目と判定基準に基づいてドライバ異常を判定する。ここでは、継続して「ＮＧ項目あり」となり、フローは次のステップＳＴ２５に進む。

－ステップＳＴ２５－
異常判定部４４０は、前述のとおり、不随意機能の発揮レベル、予測機能の発揮レベル、及び、ベース機能の発揮レベルの評価結果を総合して、ドライバの異常を判定する。ここでは、ＮＧの評価項目が４つに増えたものとする（図２４の最左の欄参照）。そうすると、ステップＳＴ２５で「ＮＧ」となり、フローはステップＳＴ２６に進む。

－ステップＳＴ２６－
異常判定部４４０は、走行制御部５００に対して、車両を自動的に退避位置（例えば、路肩）に退避させて停車させるよう指示する。これにより、車両Ａは、走行制御部５００の制御を受けて、路肩へ退避走行し、退避位置に停車する。

以上のように、本実施形態によると、車両制御システム１は、異常判定用センサを含むセンサ群（運転操作センサ６６、ドライバ状態センサ６７を含む）と、運転シーン認知部２１０と、運転シーン認知部２１０で認知された車両の運転シーンと異常判定用センサとの関係を表すセンサテーブルが記憶された記憶部３００と、センサテーブルを参照して運転シーン認知部２１０で認知された車両Ａの運転シーンに応じた異常判定用センサの出力に基づいてドライバの異常を判定する異常判定部４４０とを備える。車両制御システム１は、ドライバ異常判定システムの一例である。

なお、上記の実施形態では、異常判定用センサの検出データに基づいて、異常の予兆を検知する不随意機能検知部４２０及び運転機能検知部４３０を設け、異常判定部４４０は、不随意機能検知部４２０及び運転機能検知部４３０の検知結果を総合して、ドライバの異常を判定する例を示した。すなわち、本実施形態では、ドライバの機能ごとにわけて、異常予兆を検知するための検知部を設け、それらを総合してドライバの異常を判定する例を示した。一方で、ドライバの異常を判定する際に、このように機能ごとに分けた方法を用いなくてもよい。すなわち、異常判定部４４０が、運転シーン認知部２１０で認知された車両の運転シーンと、前述のセンサ群を構成する各センサからの検出結果とを受信するように構成してもよい。そして、異常判定部４４０が、記憶部３００のセンサテーブルを参照し、運転シーン認知部２１０で認知された運転シーンに応じてセンサ群の中から選択された異常判定用センサの出力に基づいてドライバの異常を判定するようにしてもよい。この場合においても、上記実施形態と同様の効果が得られる。

ここに開示された技術は、車両に搭載されるドライバ状態判定装置として有用である。

Ａ 車両
１ 車両制御システム（ドライバ異常判定システム）
６６ 運転操作センサ
２１０ 運転シーン認知部
３００ 記憶部
４４０ 異常判定部

Claims (2)

1. 車両を運転するドライバの異常を判定するドライバ異常判定システムであって、
   ドライバの運転操作を検出するための１又は複数の運転操作センサと、ドライバの頭部の挙動、ドライバの眼球運動及び／又は視線の移動を検出するための１又は複数のドライバ状態センサと、を含むセンサ群と、
   前記車両が運転されている運転シーンの認知が可能な運転シーン認知部と、
   前記運転シーン認知部で認知された車両の運転シーンと、前記運転操作センサ及び／又は前記ドライバ状態センサの中でそれぞれの運転シーンごとに設定されたドライバの異常判定に使用する異常判定用センサとの関係を表すセンサテーブルが記憶された記憶部と、
   前記センサテーブルを参照して、前記運転シーン認知部で認知された車両の運転シーンに応じた前記異常判定用センサの出力に基づいてドライバの異常を判定する異常判定部とを備える、
   ことを特徴とするドライバ異常判定システム。
2. 前記センサテーブルでは、
   複数の運転シーンが設定されており、
   前記異常判定用センサとして使用する前記運転操作センサ及び／又は前記ドライバ状態センサと、当該異常判定用センサによって判定する判定項目とが、それぞれの運転シーンに紐づけて設定されている、
   ことを特徴とする請求項１に記載のドライバ異常判定システム。
   

Images