JP2005004414A

JP2005004414A - Drive supporting device for vehicle

Info

Publication number: JP2005004414A
Application number: JP2003166115A
Authority: JP
Inventors: Yasushi Takada; 裕史高田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-06-11
Filing date: 2003-06-11
Publication date: 2005-01-06
Anticipated expiration: 2023-06-11
Also published as: JP4211501B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a drive supporting device for a vehicle by which a driver does not feel physical discomfort by providing information corresponding to the cognitive characteristics of the driver. <P>SOLUTION: The supporting device comprises an environment detection means 12 for detecting the state of an environment in which a vehicle travels, a driving behavior detection means 10 for detecting the driving behavior of the driver, a cognitive state determining means 11 for determining the cognitive state of the driver from the detected driving behavior of the driver, an information presenting means 14 for presenting information to the driver, and a report information determining means 13 for determining information to be presented to the driver by means of the presenting means 14 on the basis of the detected state of the environment and the determined cognitive state of the driver. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の走行進路上に存在する先行車両、歩行者や障害物の存在を認識して運転者に知らしめる機能を備えた車両用運転支援装置の技術分野に属する。
【０００２】
【従来の技術】
この種の従来技術としては、障害物までの距離に応じて運転者に情報提供を行うとき、運転者の視線の方向、技量、天候等によって情報提供を実施する距離に補正を施し、段階的な情報提供を行うものが知られている（特許文献１参照）。例えば、歩行者警報の場合、距離が遠い場合には「歩行者」と表示することで注意を促し、近くになると「ブレーキをかけよ」という指示情報を提供する。これにより、運転者の障害物に対する認識の度合いに応じた情報提供が可能となる。
【０００３】
【特許文献１】
特開２００１−３５７４９８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、段階的な情報提供を距離によってのみ決定しているため、運転者の認知状態に応じた情報が提供されず、運転者に違和感を与えるという問題があった。
【０００５】
本発明は、上記問題に着目してなされたもので、その目的とするところは、運転者の認知特性に応じた情報を提供することにより、運転者に違和感を与えない車両用運転支援装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明では、車両の走行する環境の状態を検出する環境検出手段と、運転者の運転行動を検出する運転行動検出手段と、検出された運転者の運転行動から運転者の認知状態を判定する認知状態判定手段と、情報を運転者に提示する情報提示手段と、検出された環境の状態と判定された運転者の認知状態とに基づいて、前記情報提示手段で運転者に提示する情報を決定する報知情報決定手段と、を備えたことを特徴とする。
【０００７】
【発明の効果】
よって、本発明の車両用運転支援装置にあっては、報知情報決定手段により、環境検出手段が検出した環境の状態と認知状態判定手段が判定した運転者の認知状態とに基づいて、情報提示手段で運転者に提示する情報が決定されるため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となり、違和感のない警報等の情報提示が可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の車両用運転支援装置を実現する実施の形態を、図面に基づいて説明する。
図１は、実施の形態の車両用運転支援装置を示すブロック構成図であり、この車両用運転支援装置は、運転行動検出手段１０と、認知状態判定手段１１と、環境検出手段１２と、報知情報決定手段１３と、情報提示手段１４とから構成されている。
【０００９】
前記運転行動検出手段１０は、運転者の行動を検出する。前記認知状態判定手段１１は、運転行動検出手段１０により検出された運転者の運転行動から運転者の認知状態を判定する。また、前記環境検出手段１２は、車両の走行する環境の状態を検出する。
【００１０】
前記報知情報決定手段１３は、環境検出手段１２により検出された環境の状態と、認知状態判定手段１１により判定された運転者の認知状態とに基づいて、情報提示手段１４が運転者へ提示する情報を決定する。そして、前記情報提示手段１４は、報知情報決定手段１３により決定された情報を運転者に提示する。
【００１１】
（第１実施例）
図２は、第１実施例の車両用運転支援装置を示すブロック構成図であり、環境認識用画像処理装置２０と、運転者認識用画像処理装置２１と、認知状態判定装置２２と、報知情報決定装置２３と、音声情報提示装置２４と、ブザー２５と、ナビゲーション装置２６と、オーディオ装置２７と、空調装置２８とを備えている。
【００１２】
図２において、前記環境認識用画像処理装置２０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８は、運転行動検出手段１０を構成する。認知状態判定装置２２は、認知状態判定手段１１を構成し、報知情報決定装置２３は報知情報決定手段１３を構成する。音声情報提示装置２４およびブザー２５は、情報提示手段１４を構成する。
【００１３】
前記環境認識用画像処理装置２０は、例えば、車両の前方を撮像するカメラ装置、および、そのカメラ装置が撮像した前方画像より、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある対象をリアルタイムに抽出して、自車両との相対的位置および距離を算出する画像処理回路を備えている。なお、本実施例においては、前方画像から抽出する安全な車両運転の障害となる可能性のある対象が、障害物であるか、歩行者であるか、さらには先行車両であるかを判定可能であり、判定された対象までの距離と方向の算出が可能な画像処理回路を備えている。
【００１４】
前記運転者認識用画像処理装置２１は、例えば、運転者を撮像するカメラ装置、およびそのカメラ装置が撮像した運転者の画像から、運転者の視線方向と頭部の左右方向の回転角度を、リアルタイムに算出する画像処理回路を備えている。なお、本実施例においては、運転者の視線が、車室外においては、走行環境もしくはサイドミラーのいずれにあるか、また、車室内においても、ルームミラー、もしくはナビゲーション装置の画面のいずれにあるかを判定可能であり、さらに、運転者頭部の左右方向の回転角度を算出可能な画像処理回路を備えている。
【００１５】
前記認知状態判定装置２２の構成を図３に示す。この認知状態判定装置２２は、入力回路３１と、認知状態判定回路３２と、平均値算出回路３３と、保持回路３４とから構成されている。
【００１６】
前記入力回路３１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者頭部の回転角度と、ナビゲーション装置２６、オーディオ装置２７、空調装置２８の備え付けられたスイッチ類を運転者が操作した情報を、所定時間ごとに取り込む。
【００１７】
前記認知状態判定回路３２は、入力回路３１に取り込まれた各種情報から、運転者の認知状態を判定する。また、平均値算出回路３３は、保持回路３４に保持された運転行動の平均を算出する。
【００１８】
前記保持回路３４は、運転者が過去に行った運転行動の平均、すなわち、本実施例では、運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｆ_１）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｆ_２）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｆ_３）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｆ_４）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均ａｖｅｆ_５）を、平均運転行動として、例えば、図４に示すようなテーブルで保持している。なお、保持回路３４は、保持された運転行動の平均がいくつの運転行動に対する平均であるかを示す数値を、運転行動数Ｎとして併せて保持している。
【００１９】
前記報知情報決定装置２３の構成を図５に示す、この報知情報決定装置２３は、入力回路４１と、情報提供判断回路４２と、提供情報決定回路４３と、保持回路４４とから構成されている。
【００２０】
前記情報提供判断回路４２は、入力回路４１を介して環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００２１】
前記提供情報決定回路４３は、運転者の認知状態とに基づいて、運転者に提供する情報を決定する。また、前記保持回路４４は、図６に示すような情報をテーブルとして保持している。
【００２２】
前記音声情報提示装置２４の構成を図７に示す。報知情報決定装置２３の処理により、運転者に対する情報提示手段として、音声情報提示装置２４が選択された場合に本装置を駆動する。運転者の提供すべき情報は、報知情報として入力回路５１を介して入手する。音声情報提示装置２４には、予め複数の音声メッセージを保持した保持回路５３が備わっており、報知情報に応じて、音声メッセージが選択され、再生される。再生された音声メッセージは、スピーカ５２を介して運転者に提供される。
【００２３】
ブザー２５は、報知情報決定装置２３の処理により、運転者に対する情報提示手段として、ブザー２５が選択された場合に駆動される。運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって周波数を変化させてもよい。
【００２４】
次に、作用を説明する。
［認知状態判定制御処理］
図８は、認知状態判定装置２２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００２５】
ステップＳ１００では、運転者の頭部回転角度とスイッチ類を運転者が操作した情報を取り込み、ステップＳ１０１へ移行する。
【００２６】
ステップＳ１０１では、保持回路３４に保持された平均運転行動を参照し、ステップＳ１０２へ移行する。
【００２７】
ステップＳ１０２では、運転者の認知状態を判定し、ステップＳ１０３へ移行する。この処理は、まず、ステップＳ１００にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度ｆ_１（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度ｆ_２（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度ｆ_３（＝ＭＡＸ｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度（ナビゲーション目視頻度ｆ_４（＝所定時間にナビゲーション画面を注視した回数）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度（装置操作頻度ｆ_５（＝所定時間に装置を操作した回数））と、を運転者の運転行動として算出する。なお、本実施例では、この所定時間分の運転行動を１単位とし、運転行動数１としている。
【００２８】
次に、これら運転者の運転行動のそれぞれと、ステップＳ１０１で参照した保持回路３４に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の大小にて行うものとする。つまり、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、ｆ_ｉ≧ｆ_ｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、ｆ_５≦ａｖｅｆ_５が成り立つとき、認知状態判定回路３２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、ｆ_ｉ＜ａｖｅｆ_ｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、ｆ_５＞ａｖｅｆ_５が成り立つとき、認知状態判定回路３２は運転者の認知状態をスキルベースの状態と判定する。
【００２９】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、装置操作頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって認知状態判定装置２２としての判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、装置操作頻度による判定が知識−ルールベースであった場合、認知状態判定装置２２としての運転者の認知状態の判定は、スキルベースと決定する。
【００３０】
ステップＳ１０３では、保持回路３４に保持されている運転者が過去に行った運転行動の平均を更新し、ステップＳ１００へ移行する。更新は、保持回路３４に保持されている運転者が過去に行った運転行動、すなわちステップＳ１０１で参照して入手した運転行動の平均に対して、ステップＳ１０２にて算出した所定時間の運転者の運転行動を追加することによって行われる。すなわち、

である。
【００３１】
［報知情報決定制御処理］
図９は、報知情報決定装置２３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００３２】
ステップＳ１１０では、環境認識用画像処理装置２０によって認識された環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を、入力回路４１を介して入手し、ステップＳ１１１へ移行する。
【００３３】
ステップＳ１１１では、情報提供判断回路４２において、ステップＳ１１０で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、先行車両に対する接近警報を、本実施例における情報提供の一つとすると、ステップＳ１１０で入手した情報が、先行車両までの距離ｄであった場合で、その先行車両が接近してきている場合、一般的には、
距離Ｄ＝Ｖ_１×Ｔ＋Ｖ_１ ^２／２ａ_１−Ｖ_２ ^２／２ａ_２
Ｖ_１は自車両の速度、Ｖ_２（＝Ｖ_１＋ｄ’）は先行車両の速度、ａ_１は自車両の減速度、ａ_２は先行車両の減速度、Ｔは空走時間
の以内に先行車両が位置した場合に、警報としての情報提供の実施を決定する。また、歩行者に対する警報を、本実施例における情報提供の一つとした場合には、一般的な歩行者警報の報知決定方法を、障害物に対する警報を、本実施例における情報提供の一つとした場合には、一般的な障害物警報の報知決定方法を、適用することが可能である。これら報知決定方法のいずれかによって情報提供が必要であると判断された場合には、ステップＳ１１１へ移行する。一方、いずれの情報提供も不要と判断された場合には、本処理を終了し、ステップＳ１１０に戻る。
【００３４】
ステップＳ１１２では、認知状態判定装置２２は判定した運転者の認知状態を、入力回路４１を介して入手し、ステップＳ１１３へ移行する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベースのいずれかである。
【００３５】
ステップＳ１１３では、ステップＳ１１１で運転者に対して情報提供が必要と判断された先行車両、歩行者、障害物のいずれかの対象と、ステップＳ１１２で入手した運転者の認知状態とに基づき、提供情報決定回路４３において、運転者に提供する情報を決定する。
【００３６】
この際、運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって、また、運転者の認知状態、すなわち、知識−ルールベース、または、スキルベースのいずれかによって、運転者に提供する情報が決定される。
【００３７】
そこで、本実施例における本処理は、保持回路４４に保持された図６に示すテーブルを参照することによって実施する。すなわち、例えば、運転者に情報提供することによって存在を知らしめるべき対象が障害物であり、運転者の認知状態がスキルベースであった場合、情報提示手法としてブザーを用いることを決定する。一方、運転者に情報提供することによって存在を知らしめるべき対象が先行車両であり、運転者の認知状態が知識−ルールベースであった場合、情報提示手法として、音声情報提示装置２４を用いることを決定し、報知情報として、先行車両を回避するための情報提示を決定する。
【００３８】
［運転者の認知特性に応じた情報提供］
運転者の安全な車両運転を実現することを目的として、様々な車両用運転支援装置が発明されている。車両の走行進路上に存在する他車両や歩行者、障害物の存在を運転者に知らしめる、いわゆる、接近警報も車両用運転支援装置の一つである。接近警報等、運転者に情報を提示する装置においては、運転者にいかに違和感を持たせないで情報提示を行うかが課題となっている。
【００３９】
ここで、運転者に求められる情報の内容は、距離によってのみ決定されるものではなく、例えば、障害物までの距離や環境の条件が同一であっても、障害物を回避するための指示情報が効果的な場合もあれば、障害物の存在を運転者に認識させるための注意喚起的な情報提供が効果的な場合もある。また、視野の中に警報対象があったとしても、警報対象の存在を示す情報提供が効果を示す場合もある。
【００４０】
このような情報提供の実現には、人間の「認知」の特性に則した情報提供が必要である。すなわち、ドライバの運転は、２つの状態に大別できる。▲１▼与えられた状況に対して、経験により会得したスキルを駆使し、機械的、反射的に情報を処理しながら運転を行うスキルベースの運転状態、▲２▼経験、学習により会得した知識やルールを適用しながら運転を行う知識−ルールベースの運転状態である。
【００４１】
ドライバの情報収集という面から考察すると、スキルベースの運転状態の場合、環境の全体的な様子を広く浅く把握することで、運転者は運転という作業を達成している。一方、知識−ルールベースの運転状態の場合、環境の局所的な様子を狭く深く把握することで、運転という作業を実現している。事故を予防するための情報提供を行う場合においても、自ずと、それぞれの運転状態に対して提供すべき情報は異なる。
【００４２】
例えば、スキルベースの運転状態の場合、重要事を無意識に意識のルーチンから外したり、対処を無意識に誤ったりする傾向がある。このような場合の事故の予防は、運転者に対して、重要事が意識のルーチンから外れていること、外れる傾向があることを、簡潔に示唆することで達成される。
【００４３】
一方、知識−ルールベースの運転状態の場合、状況に対して、どの知識やルールを使ったらよいかわからなかったり、誤った知識やルールを駆動したりする傾向がある。このような場合の事故の予防は、運転者に対して、正しい情報を与えたり、情報の所在を指示したり、また、対処の優先順位、対処方法を与えたりすることで達成される。
【００４４】
なお、このスキルベースの運転状態と知識−ルールベースの運転状態は、全く同じ走行環境を走行したとしても、運転者によって、必ずしも同一の運転状態によって運転するとは限らず、また、同一の運転者においても、道路の混雑の状態や、歩行者、路上駐車の有無、天候、その他走行環境に関わる諸々の要因によって、瞬時にスキルベースから知識−ルールベースの運転状態に、逆に、知識−ルールベースからスキルベースの運転状態に切り替わるような特性をもつ。
【００４５】
すなわち、運転者に違和感を持たせない情報提供を実現するためには、運転者に与えるべき情報を、車両が存在している環境の状態や、障害物までの距離のみによって決定するのではなく、その時々の運転環境に対する運転者の認知状態に応じても、決定される必要がある。
【００４６】
これに対し、第１実施例の車両用運転支援装置では、運転者の運転行動から、運転者の環境に対する認知状態がスキルベースの状態であるか知識−ルールベースの状態であるかを判定することが可能となる。また、運転者の認知状態がスキルベースの状態であった場合と、知識−ルールベースの状態であった場合と、のそれぞれにおいて、運転者に提示する警報の種類を変えるようにしたので、運転者の認知状態に合致した違和感のない警報提示が可能となる。
【００４７】
次に、効果を説明する。
第１実施例の車両用運転支援装置にあっては、次に列挙する効果を得ることができる。
【００４８】
（１）報知情報決定装置２３は、環境認識用画像処理装置２０により認識された環境の情報に基づいて、運転者に対して必要な情報提供を決定し、認知状態判定装置２２により判定された運転者の認知状態に基づいて情報提供方法を決定するため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となる（請求項１に対応）。
【００４９】
（２）認知状態判定装置２３は、運転者の認知状態を知識−ルールベースの状態と、スキルベースの状態との二段階に分類して判定するため、運転者の認知状態が知識−ルールベースの状態の際には、知識−ルールベースの状態に適した情報提示を実施し、運転者の認知状態がスキルベースの状態の際には、スキルベースの状態に適した情報提示を実施する運転支援が可能となる（請求項２に対応）。
【００５０】
（３）運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｆ_１）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｆ_２）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｆ_３）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｆ_４）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均ａｖｅｆ_５）を、運転者が過去に行った運転行動の平均としたため、運転者がミラーを目視する頻度、運転者が頭部を回転する頻度、運転者の頭部が回転する角度、運転者がナビゲーションを目視する頻度、運転者が発話する頻度、運転者がナビゲーション装置、オーディオ装置、空調制御装置等の装置を操作する頻度に基づいて、運転者の認知状態を判定が可能であり、その判定に基づいた運転支援が可能となる（請求項３に対応）。
【００５１】
（４）認知状態判定装置２２は、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８によって検出された運転行動と、保持回路３４に保持された運転行動統計値とを比較することにより、運転者の認知状態を判定することとしたので、運転者の過去の運転行動に基づいた認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる（請求項４に対応）。
【００５２】
（５）保持回路３４に保持された運転者が過去に行った運転行動の平均を、所定時間の運転者の運転行動を追加することにより更新することとしたため、常時、最新の運転行動の平均に基づいた運転者の認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる（請求項５に対応）。
【００５３】
（６）認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、ｆ_ｉ≧ｆ_ｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、ｆ_５≦ａｖｅｆ_５が成り立つとき、運転者の認知状態を知識−ルールベースの状態と判定するため、認知状態判定装置２２においては、検出された運転者の運転行動と、保持回路３４に保持された運転行動の平均の大小比較という容易な手法によって、運転者の認知状態が知識−ルールベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる（請求項６に対応）。
【００５４】
（７）認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、ｆ_ｉ＜ａｖｅｆ_ｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、ｆ_５＞ａｖｅｆ_５が成り立つとき、運転者の認知状態をスキルベースの状態であると判定することとしたので、認知状態判定装置２２においては、検出された運転者の運転行動と保持回路３４に保持された運転行動の統計値の大小比較という容易な手法によって、運転者の認知状態がスキルベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる（請求項７に対応）。
【００５５】
（８）報知情報決定装置２３は、運転者に情報提供することによって知らしめるべき対象が先行車両であり、かつ、運転者の認知状態が知識−ルールベースの状態であった場合には、情報提示手法として音声情報提示装置２４を用いることとしたため、運転者の認知状態である知識−ルールベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる（請求項８に対応）。
【００５６】
（９）運転者に情報提供することによって知らしめるべき対象が障害物であり、かつ、運転者の認知状態がスキルベースの状態であった場合には、情報提示手法としてブザー２５を用いることとしたため、運転者の認知状態であるスキルベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる（請求項９に対応）。
【００５７】
（第２実施例）
図１０は、第２実施例の車両用運転支援装置を示すブロック構成図である。第２実施例において、基本構成は図２に示した第１実施例のブロック構成図とほぼ同一であり、同符号を付して重複した説明は省略する。
【００５８】
この車両用運転支援装置は、環境認識用レーダ装置６０、運転者認識用画像処理装置２１、発話検出装置６１、認知状態判定装置６２、報知情報決定装置６３、表示装置６４、振動装置６５を備えている。
【００５９】
図１０において、環境認識用レーダ装置６０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１と発話検出装置６１は、運転行動検出手段１０を構成する。認知状態判定装置６２は、認知状態判定手段１１を構成し、報知情報決定装置６３は報知情報決定手段１３を構成する。表示装置６４および振動装置６５は、情報提示手段１４を構成する。
【００６０】
前記環境認識用レーダ装置６０には、例えば、車両の前方に設置されたレーザレーダ装置やミリ波装置を用いる。これらレーダ装置は、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある物体をリアルタイムに抽出して、自車両との距離、相対速度、相対加速度、を算出する処理回路を備えている。
【００６１】
前記発話検出装置６１には、運転者の口元をカメラによって撮像し、画像認識技術によって発話を検出する装置や、運転者の発話等が含まれた車室内の音をマイク装置より入力し、運転者の発話を車室内音からフィルタ処理を施すことによって抽出する装置、等を用いることが可能である。
【００６２】
前記認知状態判定装置６２の構成を図１１に示す。認知状態判定装置６２は、入力回路７１と、認知状態判定回路７２と、保持回路７３とから構成されている。前記入力回路７１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間毎に取り込む。
【００６３】
前記認知状態判定回路７２は、運転者の認知状態を判定する。前記保持回路７３には、一般的な運転者の認知状態に応じた運転行動の平均が保持されている。すなわち、本実施例では、一般的な運転者が、知識−ルールベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｇ_１１）と、一般的な運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｇ_２１）と、一般的な運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｇ_３１）と、一般的な運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｇ_４１）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均ａｖｅｇ_５１）と、スキルベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｇ_１２）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｇ_２２）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｇ_３２）と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｇ_４２）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均ａｖｅｇ_５２）と、を、平均運転行動として、例えば、図１２に示すテーブルで保持している。
【００６４】
前記報知情報決定装置６３の構成を図１３に示す。認知状態判定装置６２は、入力回路７５と、情報提供判断回路７６と、提供情報決定回路７７と、保持回路７８とから構成されている。
【００６５】
前記入力回路７５は、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を取り込む。
【００６６】
前記情報提供判断回路７６は、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００６７】
前記提供情報決定回路７７は、運転者に提供する情報の種類と方法を決定する。また、前記保持回路７８は、図６に示すような情報をテーブルとして保持している。
【００６８】
［認知状態判定制御処理］
図１４は、認知状態判定装置６２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００６９】
ステップＳ２００では、運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間ごとに取り込み、ステップＳ２０１へ移行する。
【００７０】
ステップＳ２０１では、保持回路７３に保持された運転行動の平均を参照して入手し、ステップＳ２０２へ移行する。
【００７１】
ステップＳ２０２では、運転者の認知状態を判定し、ステップＳ２００へ移行する。このステップの処理は、まず、ステップＳ２００にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度ｇ_１（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度ｇ_２（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度ｇ_３（＝ＭＡＸ｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度（ナビゲーション目視頻度ｇ_４（＝所定時間にナビゲーション画面を注視した回数）と、運転者が発話した頻度（発話頻度ｇ_５（＝所定時間に発話した回数））とを運転者の運転行動として算出する。
【００７２】
次に、これら運転者の運転行動のそれぞれと、ステップＳ２０１で参照した保持回路７３に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の遠近にて行うものとする。つまり、運転者の運転行動ｇ_ｉ（ｉ＝１，２，３，４，５）と、保持回路７３に保持された認知状態毎の一般的な運転行動の平均ａｖｅｇ_ｉ１，ａｖｅｇ_ｉ２（ｉ＝１，２，３，４，５）の比較において、知識−ルールベースの認知行動時の運転行動の方が近いとき、すなわち、
ａｖｅｇ_ｉ１−ｇ_ｉ≦ａｖｅｇ_ｉ２−ｇ_ｉ（ｉ＝１，２，３，４，５）
が成り立つとき、認知状態判定回路７２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、スキルベースの認知行動時の運転行動の方が近いとき、すなわち、
ａｖｅｇ_ｉ１−ｇ_ｉ＞ａｖｅｇ_ｉ２−ｇ_ｉ（ｉ＝１，２，３，４，５）
が成り立つとき、認知状態判定回路７２は運転者の認知状態をスキルベースの状態と判定する。
【００７３】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、会話頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、会話頻度による判定が知識−ルールベースであった場合、認知状態判定装置６２としての運転者の認知状態の判定は、スキルベースと決定する。
【００７４】
［報知情報決定制御処理］
図１５は、報知情報決定装置６３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００７５】
ステップＳ２１０では、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を入手し、ステップＳ２１１へ移行する。
【００７６】
ステップＳ２１１では、ステップＳ２１０で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、物体に対する接近警報を、本実施例における情報提供の一つとすると、一般的には、
距離Ｄ＝Ｖ_１×Ｔ＋Ｖ_１ ^２／２ａ_１−Ｖ_２ ^２／２ａ_２
Ｖ_１は自車両の速度、Ｖ_２は物体の速度、ａ_１は物体の減速度、ａ_２は物体の減速度
の以内に物体が位置した場合に、警報としての情報提供の実施を決定する。この接近警報によって情報提供が必要であると判断された場合には、ステップＳ１１１へ移行する。一方、情報提供が不要と判断された場合には、本処理を終了し、ステップＳ２１０に移行する。
【００７７】
ステップＳ２１２では、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベース、のいずれかである。運転者の認知状態が知識−ルールベースの時はステップＳ２１３へ移行し、運転者の認知状態がスキルベースの時はステップＳ２１５へ移行する。
【００７８】
ステップＳ２１３では、入力回路７５から入力された運転者認識用画像処理装置２１からの情報に基づき、運転者の視線方向を特定する。通常、知識−ルールベースの認知状態では、運転者は、環境の狭い領域に対して深く認識することを試みる傾向がある。逆に、運転者の注意が及ばない領域には、視線が配られることはない。
【００７９】
そこで、この特性を鑑み、ステップＳ２１１で検出した接近警報として情報提供が必要な物体に対して、視線が配されているか否かを判定する。判定の結果、物体に視線が配られていた場合には、運転者は物体を認識していると判断できるため、本処理を終了し、ステップＳ２１０に戻る。一方、物体に視線が配されていなかった場合には、運転者は物体を認識できていないと判断できるため、情報を提供が必要である。よって、ステップＳ２１４へ移行する。
【００８０】
ステップＳ２１４では、運転者に提供する情報の種類と方法を決定し、ステップＳ２１０へ移行する。運転者の認知状態が知識−ルールベースの状態であった場合、運転者は環境において注目していない領域以外の領域には意識を払っていない。その意識を払っていない領域に存在する安全な運転を妨げる障害を回避させるためには、詳細かつ指示的な情報を提供することが効果的である。そこで、本実施例においては、モニタやＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）のような表示装置６４を用いて、例えば、図１６に示すような回避情報を提示することを決定する。
【００８１】
ステップＳ２１５では、運転者に提供する情報の種類と方法を決定し、ステップＳ２１０へ移行する。運転者の認知状態がスキルベースの状態であった場合、通常、運転者は、環境の広い領域に対して浅く認識することを試みる傾向がある。浅い把握のため、進路に存在する安全な運転を妨げる障害が存在したとしても、見落とす可能性がある。
【００８２】
そこで、この特性を鑑み、運転者の認知状態がスキルベースの状態であった場合には、運転者の視線の方向にかかわらず、進路に存在する安全な運転を妨げる障害が存在を意識させるために、簡潔な情報を提供することが効果的である。そこで、本実施例においては、モニタのような表示装置６４を用いて、例えば、図１７に示すように情報を点滅表示させたり、座席に埋め込まれた振動装置６５を用いて、運転者に振動を伝達したりする。
【００８３】
次に、効果を説明する。
第２実施例の車両用運転支援装置にあっては、以下に列挙する効果を得ることができる。
【００８４】
（１０）報知情報決定装置６３は、運転者の視線が物体に配られていない場合には、運転者の視線が及ばない領域において存在する安全な車両運転の障害となる可能性のある物体について詳細な情報提供をするようにしたので、通常、わずらわしいと感じる詳細情報を運転者に提示しても違和を感じさせしめることなく運転者に提供することが可能となる。（請求項１０に対応）。
【００８５】
（１１）報知情報決定装置６３は、運転者の視線が物体に配られている場合には、運転者の視線方向にかかわらず、進路に存在する安全な車両運転の障害となる可能性のある物体について簡潔な情報を提供することとしたため、スキルベースの認知状態の特徴である、車両の安全な運転を阻害する可能性のある環境が運転者の視野に入っているにもかかわらず見落とす、といった状況に対して、運転者の注意を喚起する情報を提供するような、スキルベースの認知状態に合致し、違和感の少ない運転者に対する情報提供を実施する運転支援が可能となる（請求項１１に対応）。
【図面の簡単な説明】
【図１】実施の形態の車両用運転支援装置を示すブロック構成図である。
【図２】第１実施例の車両用運転支援装置を示すブロック構成図である。
【図３】認知状態判定装置２２の構成を示す図である。
【図４】保持回路に保持された運転行動のテーブルである。
【図５】報知情報決定装置の構成を示す図である。
【図６】保持回路に保持された認知状態と情報提示手法の関係を示すテーブルである。
【図７】音声情報提示装置の構成を示す図である。
【図８】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図９】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１０】第２実施例の車両用運転支援装置を示すブロック構成図である。
【図１１】認知状態判定装置の構成を示す図である。
【図１２】保持回路に保持された認知状態と運転行動の関係を示すテーブルである。
【図１３】報知情報決定装置の構成を示す図である。
【図１４】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図１５】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１６】表示装置が表示する情報の説明図である。
【図１７】表示装置が表示する情報の説明図である。
【符号の説明】
１０運転行動検出手段
１１認知状態判定手段
１２環境検出手段
１３報知情報決定手段
１４情報提示手段
２０環境認識用画像処理装置
２１運転者認識用画像処理装置
２２認知状態判定装置
２３報知情報決定装置
２４音声情報提示装置
２５ブザー
２６ナビゲーション装置
２７オーディオ装置
２８空調装置
３１入力回路
３２認知状態判定回路
３３平均値算出回路
３４保持回路
４１入力回路
４２情報提供判断回路
４３提供情報決定回路
４４保持回路
５１入力回路
５２スピーカ
５３保持回路
６０環境認識用レーダ装置
６１発話検出装置
６２認知状態判定装置
６３報知情報決定装置
６４表示装置
６５振動装置
７１入力回路
７２認知状態判定回路
７３保持回路
７５入力回路
７６情報提供判断回路
７７提供情報決定回路
７８保持回路[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to the technical field of a vehicle driving support device having a function of recognizing the presence of a preceding vehicle, a pedestrian, or an obstacle existing on a traveling route of a vehicle and informing the driver.
[0002]
[Prior art]
In this type of conventional technology, when providing information to the driver according to the distance to the obstacle, the distance for providing information is corrected according to the direction of the driver's line of sight, skill, weather, etc. There is known a method for providing information (see Patent Document 1). For example, in the case of a pedestrian warning, when the distance is long, “pedestrian” is displayed to alert the user, and when approaching, instruction information “brake the brake” is provided. As a result, it is possible to provide information according to the degree of recognition of the obstacle by the driver.
[0003]
[Patent Document 1]
JP 2001-357498 A
[0004]
[Problems to be solved by the invention]
However, in the above-described prior art, since stepwise information provision is determined only by distance, there is a problem in that information according to the driver's cognitive state is not provided and the driver feels uncomfortable. .
[0005]
The present invention has been made paying attention to the above problems, and an object of the present invention is to provide a vehicle driving support device that does not give the driver a sense of incongruity by providing information corresponding to the driver's cognitive characteristics. It is to provide.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, in the present invention, an environment detection unit that detects a state of an environment in which a vehicle travels, a driving behavior detection unit that detects a driving behavior of a driver, and driving based on the detected driving behavior of the driver. The information presenting means based on the recognition state determining means for determining the driver's cognitive state, the information presenting means for presenting information to the driver, and the recognized state of the driver as the detected environmental state. And a notification information determining means for determining information to be presented to the driver.
[0007]
【The invention's effect】
Therefore, in the vehicle driving support device of the present invention, information is presented based on the environmental state detected by the environment detecting unit and the driver's cognitive state determined by the cognitive state determining unit by the notification information determining unit. Since information to be presented to the driver is determined by the means, when presenting information related to the state of the environment to the driver, it is possible to provide driving support that provides information according to the driver's cognitive state. It is possible to present information such as no alarms.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment for realizing a vehicle driving support device of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a vehicle driving support apparatus according to an embodiment. The vehicle driving support apparatus includes a driving action detection unit 10, a recognition state determination unit 11, an environment detection unit 12, and a notification. The information determination unit 13 and the information presentation unit 14 are configured.
[0009]
The driving behavior detection means 10 detects a driver's behavior. The recognition state determination unit 11 determines the driver's recognition state from the driver's driving behavior detected by the driving behavior detection unit 10. The environment detection means 12 detects the state of the environment in which the vehicle travels.
[0010]
The notification information determination means 13 is presented to the driver by the information presentation means 14 based on the environmental state detected by the environment detection means 12 and the driver's recognition state determined by the recognition state determination means 11. Determine information. The information presenting means 14 presents the information determined by the notification information determining means 13 to the driver.
[0011]
(First embodiment)
FIG. 2 is a block configuration diagram showing the vehicle driving support device of the first embodiment. The environment recognition image processing device 20, the driver recognition image processing device 21, the recognition state determination device 22, and the notification information. The determination apparatus 23, the audio | voice information presentation apparatus 24, the buzzer 25, the navigation apparatus 26, the audio apparatus 27, and the air conditioner 28 are provided.
[0012]
In FIG. 2, the environment recognition image processing apparatus 20 corresponds to the environment detection means 12 of FIG. In addition, the driver recognition image processing device 21, the navigation device 26, the audio device 27, and the air conditioner 28 constitute the driving action detection means 10. The recognition state determination device 22 constitutes the recognition state determination means 11, and the notification information determination device 23 constitutes the notification information determination means 13. The voice information presentation device 24 and the buzzer 25 constitute the information presentation means 14.
[0013]
The environment recognizing image processing device 20 is, for example, a camera device that captures the front of a vehicle, and a vehicle driving obstacle such as an obstacle, a pedestrian, or a preceding vehicle from a front image captured by the camera device. An image processing circuit that extracts a target that may become a real time and calculates a relative position and distance from the host vehicle is provided. In this embodiment, it is possible to determine whether an object that can be an obstacle to safe vehicle driving extracted from the front image is an obstacle, a pedestrian, or a preceding vehicle. And an image processing circuit capable of calculating the distance and direction to the determined object.
[0014]
The image processing device 21 for driver recognition, for example, from a camera device that images a driver and a driver image captured by the camera device, the driver's line-of-sight direction and the rotation angle in the left-right direction of the head, An image processing circuit for calculating in real time is provided. In the present embodiment, whether the driver's line of sight is in the driving environment or the side mirror outside the passenger compartment, and also in the interior of the passenger compartment or on the screen of the navigation device. And an image processing circuit capable of calculating the rotation angle in the left-right direction of the driver's head.
[0015]
The configuration of the recognition state determination device 22 is shown in FIG. The recognition state determination device 22 includes an input circuit 31, a recognition state determination circuit 32, an average value calculation circuit 33, and a holding circuit 34.
[0016]
The input circuit 31 includes a driver's line-of-sight direction and a driver's head rotation angle extracted by the driver recognition image processing device 21 processing the driver's facial image, a navigation device 26, an audio device 27, and an air conditioner. Information obtained by the driver operating the switches provided in the device 28 is taken in every predetermined time.
[0017]
The recognition state determination circuit 32 determines the driver's recognition state from various information captured in the input circuit 31. In addition, the average value calculation circuit 33 calculates an average of driving behaviors held in the holding circuit 34.
[0018]
The holding circuit 34 is an average of driving behavior that the driver has performed in the past, that is, in this embodiment, an average of the frequency at which the driver visually observed the left and right side mirrors and the room mirror (mirror viewing frequency average avef).₁) And the average of the frequency that the driver rotated the head in the left-right direction by a predetermined angle or more (head rotation frequency average avef)₂) And the average of the maximum angles when the driver rotates the head in the left-right direction (average head rotation angle avef)₃) And the average frequency of the driver viewing the screen of the navigation device 26 provided in the passenger compartment (navigation visual frequency average avef)₄) And the average frequency of operation of the navigation device 26, audio device 27, and air conditioner 28 by the driver (device operation frequency average avef)₅) As an average driving action, for example, in a table as shown in FIG. The holding circuit 34 also holds a numerical value indicating how many driving actions the average of the held driving actions is as the driving action number N.
[0019]
The configuration of the notification information determination device 23 is shown in FIG. 5. The notification information determination device 23 includes an input circuit 41, an information provision determination circuit 42, a provision information determination circuit 43, and a holding circuit 44. .
[0020]
The information provision determination circuit 42 obtains environmental information via the input circuit 41, that is, information on the distance and direction to the target of the preceding vehicle, pedestrian, and obstacle, and provides the information to the driver. Determine whether or not is necessary.
[0021]
The provision information determination circuit 43 determines information to be provided to the driver based on the driver's cognitive state. The holding circuit 44 holds information as shown in FIG. 6 as a table.
[0022]
The configuration of the voice information presentation device 24 is shown in FIG. When the voice information presentation device 24 is selected as information presentation means for the driver by the processing of the notification information determination device 23, this device is driven. Information to be provided by the driver is obtained through the input circuit 51 as notification information. The voice information presentation device 24 includes a holding circuit 53 that holds a plurality of voice messages in advance, and a voice message is selected and reproduced according to the notification information. The reproduced voice message is provided to the driver via the speaker 52.
[0023]
The buzzer 25 is driven when the buzzer 25 is selected as information presenting means for the driver by the processing of the notification information determination device 23. The frequency may be changed depending on the type of the object whose presence should be informed by providing information to the driver, that is, the preceding vehicle, the pedestrian, or the obstacle.
[0024]
Next, the operation will be described.
[Cognitive state determination control process]
FIG. 8 is a flowchart showing the flow of the recognition state determination control process performed by the recognition state determination device 22.
[0025]
In step S100, information obtained by the driver operating the head rotation angle and switches of the driver is captured, and the process proceeds to step S101.
[0026]
In step S101, the average driving behavior held in the holding circuit 34 is referred to, and the process proceeds to step S102.
[0027]
In step S102, the recognition state of the driver is determined, and the process proceeds to step S103. In this process, first, the frequency at which the driver looks at the left and right side mirrors and the rear view mirror from the driver's line-of-sight direction and the driver's head rotation angle for a predetermined time taken in step S100 (mirror viewing frequency). f₁(= The number of times the mirror is gazed at a predetermined time) and the frequency at which the driver rotates the head in the left-right direction by a predetermined angle or more (head rotation frequency f₂(= The number of times the head is rotated by a predetermined angle or more in a predetermined time) and the maximum angle when the driver rotates the head in the left-right direction (head rotation angle f₃(= MAX {rotation angle of the head})) and the frequency with which the driver views the screen of the navigation device 26 provided in the passenger compartment (navigation viewing frequency f)₄(= The number of times the navigation screen is watched during a predetermined time) and the frequency with which the driver operates the navigation device 26, the audio device 27, and the air conditioner 28 (device operation frequency f)₅(= Number of times the device is operated during a predetermined time)) is calculated as the driving behavior of the driver. In this embodiment, the driving action for the predetermined time is set as one unit, and the driving action number is one.
[0028]
Next, each of these driving behaviors of the driver is compared with each of the average driving behavior held in the holding circuit 34 referred to in step S101. In addition, the comparison in a present Example shall be performed by the magnitude of a value. That is, in the comparison of the mirror viewing frequency, head rotation frequency, head rotation angle, navigation viewing frequency, and the average of those held in the holding circuit 34, the mirror viewing frequency, head rotation frequency, head rotation angle When the navigation visual frequency is larger, that is, f_i≧ f_iWhen (i = 1, 2, 3, 4) holds, and when the apparatus operation frequency is smaller than the average of the apparatus operation frequency held in the holding circuit 34, that is, f₅≦ avef₅Is established, the recognition state determination circuit 32 determines the driver's recognition state as a knowledge-rule-based state. Conversely, in the comparison of the mirror viewing frequency, head rotation frequency, head rotation angle, navigation viewing frequency, and the average of those held in the holding circuit 34, the mirror viewing frequency, head rotation frequency, head rotation When the angle and navigation visual frequency are smaller, that is, f_i<Avef_iWhen (i = 1, 2, 3, 4) holds, and when the device operation frequency is larger than the average of the device operation frequency and the average of the device operation frequency held in the holding circuit 34, that is, f₅> Avef₅Is established, the recognition state determination circuit 32 determines that the driver's recognition state is a skill-based state.
[0029]
In the determination of the driver's cognitive state by comparing the five types of indicators, the mirror viewing frequency, the head rotation frequency, the head rotation angle, the navigation visual frequency, the device operation frequency, and the total of five types of indicators, When they are not the same, the determination as the cognitive state determination device 22 may be determined by majority vote. For example, when the determination based on the mirror viewing frequency, the head rotation frequency, and the head rotation angle is skill-based, and the determination based on the navigation visual frequency and device operation frequency is knowledge-rule-based, The judgment of the driver's cognitive state is determined to be skill-based.
[0030]
In step S103, the average of the driving behavior performed by the driver held in the holding circuit 34 in the past is updated, and the process proceeds to step S100. The update is performed by the driver of the predetermined time calculated in step S102 with respect to the average driving behavior obtained by referring to the driving behavior previously held by the driver held in the holding circuit 34 in step S101. This is done by adding driving behavior. That is,

It is.
[0031]
[Broadcast Information Determination Control Process]
FIG. 9 is a flowchart showing a flow of notification information determination control processing performed by the notification information determination device 23.
[0032]
In step S110, information on the environment recognized by the environment recognition image processing apparatus 20, that is, information on the distance and direction to the target of the preceding vehicle, pedestrian, and obstacle is obtained via the input circuit 41. The process proceeds to step S111.
[0033]
In step S111, the information provision determination circuit 42 determines whether or not it is necessary to provide information to the driver based on the information obtained in step S110. For example, when the approach warning for the preceding vehicle is one of the information provisions in the present embodiment, the information obtained in step S110 is the distance d to the preceding vehicle, and the preceding vehicle is approaching, In general,
Distance D = V₁× T + V₁ ²/ 2a₁-V₂ ²/ 2a₂
V₁Is the speed of the vehicle, V₂(= V₁+ D ') is the speed of the preceding vehicle, a₁Is the deceleration of the vehicle, a₂Is the deceleration of the preceding vehicle, T is the idle time
When the preceding vehicle is located within the range, it is determined to provide information as an alarm. Moreover, when the warning for pedestrians is one of the information provisions in this embodiment, a general pedestrian warning notification determination method is used, and the warning for obstacles is one of the information provisions in this embodiment. In this case, a general obstacle alarm notification determination method can be applied. If it is determined that information provision is required by any of these notification determination methods, the process proceeds to step S111. On the other hand, if it is determined that any information provision is unnecessary, the present process is terminated and the process returns to step S110.
[0034]
In step S112, the recognition state determination device 22 acquires the determined recognition state of the driver via the input circuit 41, and the process proceeds to step S113. The driver's cognitive state obtained here is either knowledge-rule-based or skill-based.
[0035]
In step S113, provided based on the target vehicle, pedestrian, or obstacle determined to be provided to the driver in step S111, and the driver's cognitive state obtained in step S112. The information determination circuit 43 determines information to be provided to the driver.
[0036]
At this time, by providing information to the driver, the type of the object to be informed of the presence, that is, the preceding vehicle, the pedestrian, or the obstacle, and the cognitive state of the driver, that is, the knowledge-rule base, Alternatively, information to be provided to the driver is determined depending on one of the skill bases.
[0037]
Therefore, this processing in the present embodiment is performed by referring to the table shown in FIG. 6 held in the holding circuit 44. That is, for example, when an object whose presence should be informed by providing information to the driver is an obstacle and the driver's cognitive state is skill-based, it is determined to use a buzzer as an information presentation method. On the other hand, when the subject to be informed of the presence by providing information to the driver is a preceding vehicle and the driver's cognitive state is knowledge-rule-based, the voice information presentation device 24 is used as an information presentation method. And information presentation for avoiding the preceding vehicle is determined as notification information.
[0038]
[Providing information according to the driver's cognitive characteristics]
Various vehicle driving support devices have been invented for the purpose of realizing safe vehicle driving for the driver. A so-called approach warning, which informs the driver of the presence of other vehicles, pedestrians, and obstacles existing on the traveling route of the vehicle, is also one of the vehicle driving support devices. In a device that presents information to the driver, such as an approach warning, how to present information without giving the driver a sense of incongruity is a problem.
[0039]
Here, the content of information required by the driver is not determined only by the distance. For example, even if the distance to the obstacle and the environmental conditions are the same, the instruction information for avoiding the obstacle May be effective, and in some cases it may be effective to provide alert information to make the driver aware of the presence of an obstacle. Even if there is an alarm target in the field of view, provision of information indicating the presence of the alarm target may be effective.
[0040]
In order to realize such information provision, it is necessary to provide information in accordance with the characteristics of human “cognition”. That is, the driving of the driver can be roughly divided into two states. (1) Skill-based driving state in which information is mechanically and reflexively processed by using skills acquired through experience for a given situation, (2) Knowledge acquired through experience and learning This is a knowledge-rule-based driving state in which driving is performed while applying the learned knowledge and rules.
[0041]
Considering from the viewpoint of collecting driver information, in the case of a skill-based driving state, the driver achieves the operation of driving by grasping the overall state of the environment widely and shallowly. On the other hand, in the case of a knowledge-rule-based driving state, the operation of driving is realized by grasping the local state of the environment narrowly and deeply. Even in the case of providing information for preventing an accident, the information to be provided for each driving state is naturally different.
[0042]
For example, in a skill-based driving state, there is a tendency that important matters are unconsciously removed from the routine of consciousness, or the countermeasure is unconsciously mistaken. Prevention of accidents in such cases is achieved by simply suggesting to the driver that the important thing is out of the routine of consciousness and that it tends to deviate.
[0043]
On the other hand, in the case of a knowledge-rule-based driving state, there is a tendency that the user does not know which knowledge or rule should be used for the situation or drives wrong knowledge or rule. Prevention of an accident in such a case is achieved by giving correct information to the driver, instructing the location of the information, and giving a priority order and a countermeasure method.
[0044]
Note that even if the skill-based driving state and the knowledge-rule-based driving state travel in exactly the same driving environment, the driver does not necessarily drive in the same driving state, and the same driver However, depending on the conditions of road congestion, pedestrians, on-the-street parking, weather, and other factors related to the driving environment, the knowledge-rules may be changed from a skill base to a knowledge-rule-based driving state. It has the characteristic of switching from a base to a skill-based driving state.
[0045]
In other words, in order to provide information that does not give the driver a sense of incongruity, the information to be given to the driver is not determined only by the state of the environment in which the vehicle exists and the distance to the obstacle. Also, it needs to be determined according to the driver's cognitive state with respect to the current driving environment.
[0046]
In contrast, in the vehicle driving support device of the first embodiment, it is determined from the driving behavior of the driver whether the driver's cognitive state with respect to the environment is a skill-based state or a knowledge-rule-based state. It becomes possible. In addition, since the driver's cognitive state was a skill-based state and a knowledge-rule-based state, the type of alarm presented to the driver was changed. It is possible to present a warning that is consistent with the person's cognitive state and that does not feel uncomfortable.
[0047]
Next, the effect will be described.
In the vehicle driving support device of the first embodiment, the following effects can be obtained.
[0048]
(1) The notification information determination device 23 determines necessary information provision for the driver based on the environment information recognized by the environment recognition image processing device 20, and is determined by the recognition state determination device 22. Since the information providing method is determined based on the driver's cognitive state, when presenting information on the state of the environment to the driver, it is possible to provide driving support in which information is presented according to the driver's cognitive state. (Corresponding to claim 1).
[0049]
(2) The cognitive state determination device 23 classifies and determines the driver's cognitive state into two stages, a knowledge-rule-based state and a skill-based state. Driving that provides information suitable for knowledge-rule-based conditions when the driver is in a state, and provides information suitable for skill-based conditions when the driver's cognitive state is skill-based Support is possible (corresponding to claim 2).
[0050]
(3) Average frequency of viewing the left and right side mirrors and the rear view mirror by the driver (mirror viewing frequency average avef₁) And the average of the frequency that the driver rotated the head in the left-right direction by a predetermined angle or more (head rotation frequency average avef)₂) And the average of the maximum angles when the driver rotates the head in the left-right direction (average head rotation angle avef)₃) And the average frequency of the driver viewing the screen of the navigation device 26 provided in the passenger compartment (navigation visual frequency average avef)₄) And the average frequency of operation of the navigation device 26, audio device 27, and air conditioner 28 by the driver (device operation frequency average avef)₅) Is the average of the driving behavior that the driver has performed in the past, so the frequency with which the driver looks at the mirror, the frequency with which the driver rotates the head, the angle with which the driver's head rotates, and the navigation with the driver The driver's cognitive state can be determined based on the frequency of visual recognition, the frequency of the driver's utterance, and the frequency of the driver operating the navigation device, audio device, air conditioning control device, etc. Based on this, driving assistance is possible (corresponding to claim 3).
[0051]
(4) The recognition state determination device 22 includes the driving behavior detected by the driver recognition image processing device 21, the navigation device 26, the audio device 27, and the air conditioner 28, and the driving behavior statistical value held in the holding circuit 34. Since the driver's cognitive state is determined by comparing the above, it is possible to determine the cognitive state based on the driver's past driving behavior, and driving support based on the determination becomes possible ( (Corresponding to claim 4).
[0052]
(5) Since the average of the driving behavior that the driver held in the holding circuit 34 has performed in the past is updated by adding the driving behavior of the driver for a predetermined time, the average of the latest driving behavior at all times The driver's cognitive state can be determined based on the above, and driving assistance based on the determination can be made (corresponding to claim 5).
[0053]
(6) The recognition state determination device 22 determines the mirror viewing frequency, the head rotation frequency, the head rotation angle, the navigation viewing frequency, and the average of those held in the holding circuit 34. When the head rotation frequency, the head rotation angle, and the navigation visual frequency are larger, that is, f_i≧ f_iWhen (i = 1, 2, 3, 4) holds, and when the apparatus operation frequency is smaller than the average of the apparatus operation frequency held in the holding circuit 34, that is, f₅≦ avef₅Therefore, in order to determine the driver's cognitive state as a knowledge-rule-based state, the cognitive state determination device 22 averages the detected driving behavior of the driver and the driving behavior held in the holding circuit 34. It is possible to determine in real time whether the driver's cognitive state is knowledge-rule-based by an easy method of comparing the size of the driver, and driving assistance based on the determination becomes possible. Corresponding).
[0054]
(7) The recognition state determination device 22 determines the mirror viewing frequency, the head rotation frequency, the head rotation angle, the navigation viewing frequency, and the average of those held in the holding circuit 34. When the head rotation frequency, head rotation angle, and navigation visual frequency are smaller, that is, f_i<Avef_iWhen (i = 1, 2, 3, 4) holds, and when the device operation frequency is larger than the average of the device operation frequency and the average of the device operation frequency held in the holding circuit 34, that is, f₅> Avef₅Therefore, since the driver's cognitive state is determined to be a skill-based state, in the cognitive state determination device 22, the detected driving behavior of the driver and the driving behavior held in the holding circuit 34 are determined. It is possible to determine in real time whether the driver's cognitive state is skill-based by an easy method of comparing the statistical values of the drivers, and driving assistance based on the determination becomes possible (claims). 7).
[0055]
(8) The notification information determination device 23 provides information when the subject to be informed by providing information to the driver is a preceding vehicle and the driver's recognition state is a knowledge-rule-based state. Since the voice information presentation device 24 is used as the presentation method, it is possible to present information that matches the knowledge-rule-based state that is the driver's cognitive state, and driving based on information presentation that is easier for the driver to understand. Support is possible (corresponding to claim 8).
[0056]
(9) When the object to be informed by providing information to the driver is an obstacle and the driver's cognitive state is a skill-based state, using the buzzer 25 as an information presentation method; Therefore, it is possible to present information that matches the skill-based state, which is the driver's cognitive state, and it is possible to provide driving assistance based on information presentation that is easier for the driver to understand (corresponding to claim 9).
[0057]
(Second embodiment)
FIG. 10 is a block configuration diagram showing the vehicle driving support apparatus of the second embodiment. In the second embodiment, the basic configuration is almost the same as the block configuration diagram of the first embodiment shown in FIG. 2, and the same reference numerals are given and redundant description is omitted.
[0058]
The vehicle driving support device includes an environment recognition radar device 60, a driver recognition image processing device 21, an utterance detection device 61, a recognition state determination device 62, a notification information determination device 63, a display device 64, and a vibration device 65. ing.
[0059]
In FIG. 10, the environment recognition radar device 60 corresponds to the environment detection means 12 of FIG. Further, the driver recognition image processing device 21 and the utterance detection device 61 constitute the driving behavior detection means 10. The recognition state determination device 62 constitutes the recognition state determination means 11, and the notification information determination device 63 constitutes the notification information determination means 13. The display device 64 and the vibration device 65 constitute the information presentation unit 14.
[0060]
As the environment recognition radar device 60, for example, a laser radar device or a millimeter wave device installed in front of the vehicle is used. These radar devices extract objects that may interfere with safe vehicle driving, such as obstacles, pedestrians, and preceding vehicles, in real time, and calculate the distance, relative speed, and relative acceleration from the host vehicle. A processing circuit is provided.
[0061]
The utterance detection device 61 captures the driver's mouth with a camera, detects the utterance by image recognition technology, and inputs the sound in the passenger compartment including the utterance of the driver from the microphone device. It is possible to use a device that extracts a person's utterance by filtering the sound from the passenger compartment.
[0062]
The configuration of the recognition state determination device 62 is shown in FIG. The recognition state determination device 62 includes an input circuit 71, a recognition state determination circuit 72, and a holding circuit 73. The input circuit 71 detects the driver's line-of-sight direction and the driver's head rotation angle extracted by the driver recognition image processing device 21 by processing the driver's face image, and further detected by the speech detection device 61. The driver's utterance is captured every predetermined time.
[0063]
The recognition state determination circuit 72 determines the recognition state of the driver. The holding circuit 73 holds an average of driving behavior according to a general driver's cognitive state. In other words, in this embodiment, the average frequency of the general driver viewing the left and right side mirrors and the rear view mirror in the knowledge-rule base state (mirror viewing frequency average aveg)₁₁) And the average frequency of the general driver rotating the head in the left-right direction by a predetermined angle or more (the head rotation frequency average aveg)₂₁) And the average of the maximum angle when a general driver rotates the head in the left-right direction (average head rotation angle aveg)₃₁) And the average frequency of general drivers viewing the screen of the navigation device provided in the passenger compartment (navigation visual frequency average aveg)₄₁) And the average frequency of utterances by a general driver during driving (speech frequency average aveg)₅₁) And the average frequency of viewing the left and right side mirrors and room mirrors in the skill base state (mirror viewing frequency average aveg)₁₂) And the average of the frequency that the driver rotated the head in the left-right direction by a predetermined angle or more (the head rotation frequency average aveg)₂₂) And the average of the maximum angles when the driver rotates the head in the left-right direction (average head rotation angle aveg)₃₂) And the average frequency of the driver viewing the screen of the navigation device provided in the passenger compartment (navigation visual frequency average aveg)₄₂) And the average frequency of utterances by a general driver during driving (speech frequency average aveg)₅₂) As average driving behavior, for example, in the table shown in FIG.
[0064]
The configuration of the notification information determining device 63 is shown in FIG. The recognition state determination device 62 includes an input circuit 75, an information provision determination circuit 76, a provision information determination circuit 77, and a holding circuit 78.
[0065]
The input circuit 75 captures information on the environment recognized by the environment recognition radar device 60, that is, information on the distance, relative speed, and relative acceleration to the objects existing on the course.
[0066]
The information provision judging circuit 76 obtains the driver's cognitive state determined by the cognitive state judging device 62 via the input circuit 75 and determines whether or not information provision is necessary for the driver.
[0067]
The provided information determination circuit 77 determines the type and method of information provided to the driver. The holding circuit 78 holds information as shown in FIG. 6 as a table.
[0068]
[Cognitive state determination control process]
FIG. 14 is a flowchart showing the flow of the recognition state determination control process performed by the recognition state determination device 62.
[0069]
In step S200, the driver's gaze direction extracted by processing the driver's face image, the driver's head rotation angle, and the driver's utterance detected by the utterance detection device 61 are captured every predetermined time. The process proceeds to step S201.
[0070]
In step S201, the average is obtained with reference to the average driving behavior held in the holding circuit 73, and the process proceeds to step S202.
[0071]
In step S202, the recognition state of the driver is determined, and the process proceeds to step S200. The processing of this step is performed first by the frequency at which the driver visually observed the left and right side mirrors and the rear view mirror based on the driver's line-of-sight direction and the driver's head rotation angle for the predetermined time taken in step S200 (mirror Visual frequency g₁(= The number of times the mirror was gazed at a predetermined time) and the frequency with which the driver rotated the head in the left-right direction by a predetermined angle or more (head rotation frequency g₂(= The number of times the head is rotated by a predetermined angle or more in a predetermined time) and the maximum angle when the driver rotates the head in the left-right direction (head rotation angle g₃(= MAX {rotation angle of the head})) and the frequency with which the driver views the screen of the navigation device provided in the passenger compartment (navigation viewing frequency g₄(= Number of times the navigation screen is watched during a predetermined time) and frequency of utterance by the driver (speech frequency g₅(= Number of utterances during a predetermined time)) is calculated as the driving behavior of the driver.
[0072]
Next, each of these driving behaviors of the driver is compared with each of the average driving behavior held in the holding circuit 73 referred to in step S201. It should be noted that the comparison in the present embodiment is performed in the range of values. In other words, the driving behavior of the driver g_i(I = 1, 2, 3, 4, 5) and the average aveg of general driving behavior for each cognitive state held in the holding circuit 73_i1, Aveg_i2In the comparison of (i = 1, 2, 3, 4, 5), when the driving behavior at the time of knowledge-rule-based cognitive behavior is closer, that is,
aveg_i1-G_i≤aveg_i2-G_i(I = 1, 2, 3, 4, 5)
Is established, the recognition state determination circuit 72 determines the driver's recognition state as a knowledge-rule-based state. Conversely, when the driving behavior during skill-based cognitive behavior is closer, that is,
aveg_i1-G_i> Aveg_i2-G_i(I = 1, 2, 3, 4, 5)
Is established, the recognition state determination circuit 72 determines that the driver's recognition state is a skill-based state.
[0073]
It should be noted that the driver's cognitive state is the same in the determination of the driver's cognitive state by comparing five types of indicators: mirror viewing frequency, head rotation frequency, head rotation angle, navigation viewing frequency, conversation frequency, and a total of five indicators. If not, the decision may be determined by majority vote. For example, when the determination based on the mirror visual frequency, the head rotation frequency, and the head rotation angle is skill-based, and the determination based on the navigation visual frequency and the conversation frequency is knowledge-rule-based, driving as the cognitive state determination device 62 The determination of a person's cognitive state is determined to be skill-based.
[0074]
[Broadcast Information Determination Control Process]
FIG. 15 is a flowchart showing a flow of notification information determination control processing performed by the notification information determination device 63.
[0075]
In step S210, information on the environment recognized by the environment recognizing radar device 60, that is, information on the distance, relative speed, and relative acceleration to the objects existing on the course is obtained, and the process proceeds to step S211. .
[0076]
In step S211, it is determined whether information needs to be provided to the driver based on the information obtained in step S210. For example, if an approach warning for an object is one of the information provisions in this embodiment, in general,
Distance D = V₁× T + V₁ ²/ 2a₁-V₂ ²/ 2a₂
V₁Is the speed of the vehicle, V₂Is the velocity of the object, a₁Is the deceleration of the object, a₂Is the deceleration of the object
When an object is located within the range of, it is decided to provide information as an alarm. If it is determined by the approach warning that information provision is necessary, the process proceeds to step S111. On the other hand, if it is determined that the provision of information is unnecessary, the process is terminated and the process proceeds to step S210.
[0077]
In step S <b> 212, the driver's recognition state determined by the recognition state determination device 62 is obtained via the input circuit 75. The driver's cognitive state obtained here is either knowledge-rule-based or skill-based. When the driver's cognitive state is knowledge-rule-based, the process proceeds to step S213, and when the driver's cognitive state is skill-based, the process proceeds to step S215.
[0078]
In step S 213, the driver's line-of-sight direction is specified based on the information from the driver recognition image processing apparatus 21 input from the input circuit 75. Usually, in a knowledge-rule-based cognitive state, the driver tends to try to recognize deeply in a narrow area of the environment. On the other hand, the line of sight is not distributed to an area where the driver's attention is not reached.
[0079]
Therefore, in view of this characteristic, it is determined whether or not a line of sight has been placed on an object that needs to be provided as an approach warning detected in step S211. As a result of the determination, if the line of sight is distributed to the object, it can be determined that the driver recognizes the object, so the present process ends and the process returns to step S210. On the other hand, when the line of sight is not placed on the object, the driver can determine that the object cannot be recognized, and thus it is necessary to provide information. Therefore, the process proceeds to step S214.
[0080]
In step S214, the type and method of information provided to the driver are determined, and the process proceeds to step S210. When the driver's cognitive state is a knowledge-rule-based state, the driver is not conscious of the area other than the area not focused on in the environment. It is effective to provide detailed and instructive information in order to avoid obstacles that hinder safe driving that exist in areas where the consciousness is not paid. Therefore, in this embodiment, it is determined to use the display device 64 such as a monitor or HUD (Head Up Display) to present avoidance information as shown in FIG. 16, for example.
[0081]
In step S215, the type and method of information provided to the driver are determined, and the process proceeds to step S210. When the driver's cognitive state is a skill-based state, the driver usually tends to try to recognize shallowly in a wide area of the environment. Because of the shallow grasp, even if there are obstacles that hinder safe driving on the way, there is a possibility of oversight.
[0082]
Therefore, in view of this characteristic, when the driver's cognitive state is a skill-based state, regardless of the direction of the driver's line of sight, to make it aware that there is an obstacle that prevents safe driving on the path It is effective to provide concise information. Therefore, in this embodiment, the display device 64 such as a monitor is used to blink information as shown in FIG. 17, for example, or the vibration device 65 embedded in the seat is used to vibrate the driver. To communicate.
[0083]
Next, the effect will be described.
In the vehicle driving support device of the second embodiment, the effects listed below can be obtained.
[0084]
(10) When the driver's line of sight is not distributed to the object, the notification information determination device 63 relates to an object that may be an obstacle to safe vehicle driving that exists in an area where the driver's line of sight does not reach. Since the detailed information is provided, it is possible to provide the driver without making the driver feel uncomfortable even if the detailed information that is usually annoying is presented to the driver. (Corresponding to claim 10).
[0085]
(11) When the driver's line of sight is distributed on an object, the notification information determination device 63 may be an obstacle to safe vehicle driving on the path regardless of the driver's line of sight. Because it was decided to provide concise information about the object, it is overlooked in spite of the driver's view of the environment that could hinder the safe driving of the vehicle, which is characteristic of the skill-based cognitive state, In such a situation, driving support for providing information to a driver with a sense of incongruity that matches the skill-based cognitive state, such as providing information for alerting the driver, is possible. Corresponding).
[Brief description of the drawings]
FIG. 1 is a block configuration diagram showing a vehicle driving support apparatus according to an embodiment.
FIG. 2 is a block configuration diagram showing the vehicle driving support device of the first embodiment.
3 is a diagram showing a configuration of a recognition state determination device 22. FIG.
FIG. 4 is a table of driving actions held in a holding circuit.
FIG. 5 is a diagram illustrating a configuration of a notification information determination device.
FIG. 6 is a table showing a relationship between a recognition state held in a holding circuit and an information presentation method.
FIG. 7 is a diagram illustrating a configuration of an audio information presentation device.
FIG. 8 is a flowchart showing a flow of a recognition state determination control process performed by the recognition state determination device.
FIG. 9 is a flowchart showing a flow of notification information determination control processing performed by the notification information determination device.
FIG. 10 is a block diagram showing a vehicle driving support apparatus according to a second embodiment.
FIG. 11 is a diagram illustrating a configuration of a recognition state determination device.
FIG. 12 is a table showing the relationship between the cognitive state held in the holding circuit and the driving behavior.
FIG. 13 is a diagram illustrating a configuration of a notification information determination device.
FIG. 14 is a flowchart showing a flow of a recognition state determination control process performed by the recognition state determination device.
FIG. 15 is a flowchart showing a flow of notification information determination control processing performed by the notification information determination device.
FIG. 16 is an explanatory diagram of information displayed by the display device.
FIG. 17 is an explanatory diagram of information displayed by the display device.
[Explanation of symbols]
10 Driving behavior detection means
11 Cognitive state determination means
12 Environment detection means
13 Notification information determination means
14 Information presentation means
20 Image processing device for environment recognition
21 Image processing device for driver recognition
22 Cognitive state determination device
23 Notification information determination device
24 Voice information presentation device
25 Buzzer
26 Navigation device
27 Audio equipment
28 Air conditioner
31 Input circuit
32 Cognitive state determination circuit
33 Average value calculation circuit
34 Holding circuit
41 Input circuit
42 Information provision judgment circuit
43 Provided information decision circuit
44 holding circuit
51 Input circuit
52 Speaker
53 Holding circuit
60 Environment recognition radar equipment
61 Utterance detection device
62 Cognitive state determination device
63 Notification information determination device
64 display devices
65 Vibration device
71 Input circuit
72 Cognitive state determination circuit
73 Holding circuit
75 input circuit
76 Information provision judgment circuit
77 Provided information decision circuit
78 Holding circuit

Claims

Environment detection means for detecting the state of the environment in which the vehicle travels;
Driving behavior detecting means for detecting the driving behavior of the driver;
Cognitive state determination means for determining the driver's cognitive state from the detected driving behavior of the driver;
Information presentation means for presenting information to the driver;
Notification information determining means for determining information to be presented to the driver by the information presenting means, based on the detected state of the environment and the recognized state of the driver;
A vehicle driving support apparatus comprising:

The vehicle driving support device according to claim 1,
The vehicle cognitive state determination means classifies and determines the driver's cognitive state in two stages, a knowledge-rule-based state and a skill-based state.

In the vehicle driving support device according to claim 1 or 2,
The driving behavior of the driver detected by the driving behavior detection means is
Mirror viewing frequency indicating the frequency at which the driver visually observed at least one of a side mirror provided in the vehicle and a room mirror provided in the vehicle interior at a predetermined time,
A head rotation frequency indicating the frequency of the driver's head rotating in the left-right direction at a predetermined time; and
A head rotation angle average indicating an average angle when the driver's head rotates in the left-right direction at a predetermined time; and
Navigation visual frequency indicating the frequency with which the driver visually observed the navigation device provided in the passenger compartment at a predetermined time,
An utterance frequency indicating how often the driver uttered during a given time;
A device operation frequency indicating a frequency at which a driver operates at least one of a navigation device, an audio device or an air conditioning control device provided in the passenger compartment in a predetermined time; and
A vehicle driving support apparatus comprising at least one of the following.

In the vehicle driving assistance device according to any one of claims 1 to 3,
A driving behavior statistical value holding means for holding a driving behavior statistical value of a driver or a general driver is provided,
The vehicle driving support device according to claim 1, wherein the recognition state determination means determines the driver's recognition state by comparing the detected driving behavior with the held driving behavior statistical value.

In the vehicle driving assistance device according to any one of claims 1 to 4,
A driving behavior statistic calculating means for calculating a statistical value of each detected driving behavior is provided,
The vehicle driving support apparatus, wherein the driving behavior statistical value held in the driving behavior statistical value holding means is calculated by the driving behavior statistical value calculation means.

In the vehicle driving support device according to claim 4 or 5,
The statistical value of each driving behavior held in the driving behavior statistical value holding means is an average value of each driving behavior,
The cognitive state determination means includes
When the detected mirror viewing frequency is larger than the average of the held mirror viewing frequency,
When the head rotation frequency detected by the driving behavior detection means is larger than the average of the head rotation frequency held,
When the head rotation angle average detected by the driving behavior detection means is larger than the average of the head rotation angle average held,
When the navigation visual frequency detected by the driving behavior detecting means is larger than the average navigation visual frequency held,
When the utterance frequency detected by the driving behavior detection means is small compared to the average of the held utterance frequency,
When the device operation frequency detected by the driving behavior detection means is smaller than the average of the device operation frequency held,
In any of the cases, the vehicle driving support device is characterized in that the recognition state of the driver is determined to be a knowledge-rule-based state.

The vehicle driving support device according to any one of claims 4 to 6,
The cognitive state determination means includes
When the detected mirror viewing frequency is small compared to the average of the held mirror viewing frequency,
When the detected head rotation frequency is small compared to the average of the held head rotation frequency,
When the detected average head rotation angle is small compared to the average of the average head rotation angle held,
When the detected navigation visual frequency is small compared to the average navigation visual frequency retained,
When the detected utterance frequency is large compared to the average of the retained utterance frequencies,
When the detected device operation frequency is larger than the average of the held device operation frequency,
In any of the cases, the vehicle driving support device is characterized in that the recognition state of the driver is determined to be a skill-based state.

In the vehicle driving assistance device according to any one of claims 4 to 7,
The notification information determining means determines whether or not an environment that may hinder safe driving of the vehicle has occurred in the detected environment, and an environment that may hinder safe driving of the vehicle has occurred. If the determined state of recognition of the driver is a knowledge-rule-based state, detailed information indicating the state of the environment in detail and at least one of the actions that the driver should perform in the environment are instructed. The vehicle driving support is characterized in that it is decided to present the action instruction information to the driver, and the information presentation means is instructed to present at least one of the detailed information and the action instruction information. apparatus.

The vehicle driving support device according to any one of claims 4 to 8,
The notification information determining means determines whether or not an environment that may hinder safe driving of the vehicle has occurred in the detected environment, and an environment that may hinder safe driving of the vehicle has occurred. And if the determined driver's cognitive state is a skill-based state, it is determined to present to the driver rough information that roughly represents the state of the environment, and the information presentation A vehicle driving support apparatus that instructs the means to present the outline information.

The vehicle driving support device according to claim 8,
The notification information determination means determines whether or not the detected environmental state is an environmental state that may impede safe driving of the vehicle in the detected driver's line-of-sight direction. The vehicle driving support device is characterized in that the driving assistance device is used for an environment where the line of sight does not reach.

The vehicle driving support device according to claim 9,
The notification information determination means determines whether or not the detected environmental state is an environmental state that may impede safe driving of the vehicle. A driving support apparatus for a vehicle, which is performed for all detectable environments regardless of the direction of the line of sight.