JP6575933B2 - Vehicle driving support system - Google Patents
Vehicle driving support system Download PDFInfo
- Publication number
- JP6575933B2 JP6575933B2 JP2017065081A JP2017065081A JP6575933B2 JP 6575933 B2 JP6575933 B2 JP 6575933B2 JP 2017065081 A JP2017065081 A JP 2017065081A JP 2017065081 A JP2017065081 A JP 2017065081A JP 6575933 B2 JP6575933 B2 JP 6575933B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- data
- driver
- control
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両運転支援システムに係り、特に、ドライバモデルを利用した車両運転支援システムに関する。 The present invention relates to a vehicle driving support system, and more particularly to a vehicle driving support system using a driver model.
近年、車両制御を支援するためドライバモデルの利用が提案されている(例えば、特許文献1参照)。特許文献1は、特に運転操作に関するドライバモデルが記載されている。特許文献1のドライバモデル処理装置では、当該車両用に作成された個人ドライバモデルと、車外のドライバモデルサーバにより作成された最良ドライバモデルとが用いられる。この装置では、多数の車両からのデータに基づいて作成された最良ドライバモデルを基準とし、個人ドライバモデルと最良ドライバモデルとの間に差分が生じる場合に、差分に対応して運転者へアドバイスが提供されるようになっている。 In recent years, use of a driver model has been proposed to support vehicle control (see, for example, Patent Document 1). Patent Document 1 describes a driver model particularly related to driving operation. In the driver model processing apparatus of Patent Document 1, an individual driver model created for the vehicle and a best driver model created by a driver model server outside the vehicle are used. In this device, the best driver model created based on data from a large number of vehicles is used as a reference, and when there is a difference between the individual driver model and the best driver model, advice is given to the driver corresponding to the difference. It has come to be offered.
しかしながら、将来的に、車両内において、人工知能を用いて高精度な個人ドライバモデルを作成しようとした場合、車載プロセッサの演算負荷が非常に高くなり、車両制御に遅れが生じるおそれがある。 However, in the future, if an attempt is made to create a highly accurate personal driver model using artificial intelligence in a vehicle, the computation load of the in-vehicle processor becomes very high, and there is a risk that vehicle control will be delayed.
本発明は、このような課題を解決するためになされたものであり、車両内において個人ドライバモデルを作成しつつ、車両制御の遅れを防止することが可能な車両運転支援システムを提供することを目的とする。 The present invention has been made to solve such a problem, and provides a vehicle driving support system capable of preventing a delay in vehicle control while creating a personal driver model in a vehicle. Objective.
上記の目的を達成するために、本発明の車両運転支援システムは、運転者の運転データに基づいて運転者に固有の個人ドライバモデルを学習する人工知能を有する第1車載演算部と、所定の車両制御処理を実行すると共に、個人ドライバモデルに基づいて車両制御処理を補正する第2車載演算部と、を備え、第1車載演算部と第2車載演算部は、別体に構成されており、車両制御処理は、複数の制御処理を含み、複数の制御処理には、自動アクセル制御,自動ブレーキ制御,及び自動操舵制御のいずれか1つ以上を伴う車両走行安全制御処理が含まれ、第2車載演算部は、個人ドライバモデルに基づいて車両走行安全制御処理を補正しないことを特徴としている。 In order to achieve the above object, a vehicle driving support system according to the present invention includes a first in-vehicle computing unit having artificial intelligence for learning a personal driver model unique to a driver based on driving data of the driver, and executes the vehicle control process, comprising: a second in-vehicle calculator for correcting the vehicle control process based on personal driver model, and a first in-vehicle computing unit and the second vehicle computing unit is configured separately The vehicle control process includes a plurality of control processes, and the plurality of control processes include a vehicle travel safety control process involving any one or more of automatic accelerator control, automatic brake control, and automatic steering control. 2 The vehicle-mounted computing unit is characterized in that the vehicle travel safety control process is not corrected based on the individual driver model .
このように構成された本発明によれば、車両内に個人ドライバモデルを学習する第1車載演算部と、車両制御処理を実行する第2車載演算部とを備えているため、個人ドライバモデルの学習と車両制御処理の実行とを別々の演算部で行うことができる。このため、計算負荷の高い個人ドライバモデルの学習のために車両制御処理に遅れが生じることが防止される。また、第1車載演算部と第2車載演算部が別体に構成されているので、第2車載演算部は使用を継続しつつ、開発の進行が速い人工知能を有する第1車載演算部のみを交換することが容易となる。また、本発明によれば、走る,止まる,及び曲がることに関する制御(例えば、自動アクセル制御,自動ブレーキ制御,及び自動操舵制御)については、個人ドライバモデルに基づいて補正を行わないことにより、人工知能による計算不良に起因した不安全リスクを回避することができる。 According to the present invention configured as described above, the vehicle includes the first in-vehicle operation unit that learns the individual driver model in the vehicle and the second in-vehicle operation unit that executes the vehicle control process. Learning and execution of the vehicle control process can be performed by separate calculation units. For this reason, it is prevented that the vehicle control process is delayed due to the learning of the individual driver model having a high calculation load. In addition, since the first in-vehicle operation unit and the second in-vehicle operation unit are configured separately, the second in-vehicle operation unit continues to be used, and only the first in-vehicle operation unit having artificial intelligence whose development progress is fast. It will be easy to replace. In addition, according to the present invention, the control (for example, automatic accelerator control, automatic brake control, and automatic steering control) related to running, stopping, and turning is not corrected based on the individual driver model. It is possible to avoid unsafe risks due to poor calculation by intelligence.
また、本発明において好ましくは、個人ドライバモデルは、運転者の感情推定モデルを含む。
運転者の感情推定モデルを作成するには、運転者及び車両の状態を示す大量の運転データが必要であるため、計算負荷が高くなる。したがって、本発明のように、感情推定モデルを含む個人ドライバモデルを作成する第1車載演算部を第2車載演算部とは別体に構成することにより、第2車載演算部の処理への悪影響を防止することができる。
In the present invention, it is preferable that the individual driver model includes a driver's emotion estimation model.
In order to create a driver's emotion estimation model, a large amount of driving data indicating the state of the driver and the vehicle is required, which increases the calculation load. Therefore, as in the present invention, the first in-vehicle operation unit that creates the individual driver model including the emotion estimation model is configured separately from the second in-vehicle operation unit, thereby adversely affecting the processing of the second in-vehicle operation unit. Can be prevented.
また、具体的には、車両走行安全制御処理は、障害物との衝突又は走行路逸脱を防止するための危険回避制御処理を含む。 Specifically, the vehicle travel safety control process includes a risk avoidance control process for preventing a collision with an obstacle or a deviation from the travel path.
本発明によれば、車両内において個人ドライバモデルを作成しつつ、車両制御の遅れを防止することが可能な車両運転支援システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the vehicle driving assistance system which can prevent the delay of vehicle control can be provided, creating a personal driver model in a vehicle.
以下、添付図面を参照して、本発明の実施形態による車両運転支援システムについて説明する。まず、図1〜図3を参照して、車両運転支援システムの構成について説明する。図1は車両運転支援システムの構成図、図2は車両運転支援システムの各構成要素の機能ブロック図、図3は車両内の車両制御ブロック内の機能ブロック図である。 Hereinafter, a vehicle driving support system according to an embodiment of the present invention will be described with reference to the accompanying drawings. First, the configuration of the vehicle driving support system will be described with reference to FIGS. FIG. 1 is a configuration diagram of a vehicle driving support system, FIG. 2 is a functional block diagram of each component of the vehicle driving support system, and FIG. 3 is a functional block diagram in a vehicle control block in the vehicle.
図1に示すように、車両運転支援システムSは、共有サーバ1と、車両A内の個人サーバ3と、車両A内の車載コントローラ(ECU)5を備えている。これらは、無線又は有線の通信回線Nによって互いに通信可能に接続されている。
共有サーバ1及び個人サーバ3は、人工知能を構成するコンピュータシステムであり、それぞれ一般ドライバモデル,個人ドライバモデルを学習し逐次更新する。共有サーバ1は、演算部1a,記憶部1b,通信部1c等を有する。同様に、個人サーバ3は、演算部3a,記憶部3b,通信部3c等を有する。
As shown in FIG. 1, the vehicle driving support system S includes a shared server 1, a
The shared server 1 and the
車載コントローラ5も同様に演算部5a(プロセッサ),記憶部5b,通信部5c等を有する。この車載コントローラ5は、車両Aの車両制御処理を実行する。車両制御処理は、運転制御処理に加えて、運転支援処理を含む。
Similarly, the in-
図2に示すように、共有サーバ1では、複数の個人サーバ3から受け取った運転データ,外部情報システム(情報提供サービスセンタ等)7aから受け取った一般データを人工知能からなる学習エンジン11(演算部1a)が学習することにより、一般ドライバモデルMaが構築される。この一般ドライバモデルMaは、新たな運転データ,一般データが学習されることにより、逐次更新される。運転データ,一般データは、記憶部1bに蓄積データDaとして蓄積される。
As shown in FIG. 2, in the shared server 1, a learning engine 11 (computing unit) composed of artificial intelligence receives driving data received from a plurality of
一般データは、例えば、人間(運転者)の音声データ,行動データ,画像データ等である。一般データは、主に一般ドライバモデルMaの一部を構成する感情推定モデルを構築するために用いられる。なお、一般ドライバモデルMaの更新には、複数の個人サーバ3からの運転データ及び外部情報源からの一般データからなるビッグデータの学習が要求される。このため、一般ドライバモデルMaの処理速度(更新間隔)は非常に遅い(例えば、1時間以上)。
The general data is, for example, human (driver) voice data, behavior data, image data, and the like. The general data is mainly used to construct an emotion estimation model that constitutes a part of the general driver model Ma. Note that the update of the general driver model Ma requires learning of big data including driving data from a plurality of
一般ドライバモデルMaは、車両Aを運転する特定運転者ではなく一般運転者に対して適用するためのモデルである。そのため、特定運転者以外の複数の運転者についての運転データ、及び、一般的な人間の特性を表す感情推定用データ(一般データ)が用いられる。一般ドライバモデルMaは、複数のサブモデルを含む。学習エンジン11は、与えられた又は新規に見出された各サブモデルのテーマに対して、運転データや一般データから一般運転者の行動や状態の時間的な変化を学習し、サブモデルを作成及び更新する。サブモデルには、種々の状況における運転者の行動傾向モデル,走行判断基準モデル,感情推定モデル等が含まれる。更に、一般ドライバモデルMaは、一般知識データを有する。一般知識データは、運転データや一般データから取得された種々の一般的な情報であり、例えば特定の道路箇所の注意点,娯楽場所情報(レストラン情報等)である。 The general driver model Ma is a model for application to a general driver rather than a specific driver driving the vehicle A. Therefore, driving data for a plurality of drivers other than the specific driver and emotion estimation data (general data) representing general human characteristics are used. The general driver model Ma includes a plurality of submodels. The learning engine 11 learns changes in the behavior and state of a general driver from driving data and general data for each given submodel theme, or creates a submodel. And update. The sub-model includes a driver behavior tendency model in various situations, a driving judgment reference model, an emotion estimation model, and the like. Furthermore, the general driver model Ma has general knowledge data. General knowledge data is various general information acquired from driving data or general data, such as cautionary points for specific road locations, entertainment location information (restaurant information, etc.).
一般ドライバモデルMaのサブモデルの例を示す。一般運転者の各種感情(喜怒哀楽、特に楽しさを感じているとき)における音声モデル。楽しさの状態モデル(各種状態(運転者,周囲環境,車両)と楽しさとの間の関連性モデル)。地図データや運転者表情データ等に基づいて生成される、わき見や居眠りの発生に関するサブモデル(例えば、発生し易い特定の地点や運転者状態(例えば、走行時間)等を特定)。走行履歴データや操作履歴データ等に基づいて生成される、運転操作特性モデル(例えば、障害物の回避行動開始位置)。 An example of a sub model of the general driver model Ma is shown. A voice model for general driver's emotions (feeling emotional, especially when feeling fun). Fun state model (relationship model between various states (driver, surrounding environment, vehicle) and fun). A sub-model related to the occurrence of a sidewalk or snoozing that is generated based on map data, driver facial expression data, etc. (for example, a specific point or a driver state (for example, travel time) that is likely to occur is specified). A driving operation characteristic model (for example, an obstacle avoidance action start position) generated based on travel history data, operation history data, and the like.
学習エンジン11は、アクセル及びブレーキの操作モデルを学習する場合、運転データに含まれる、運転者,走行場所,周辺環境,時間帯,アクセル開度,ブレーキセンサデータ等に関するデータを一群のデータとして用いて、前方車両や歩行者の位置,速度,数等に応じて、どのようにアクセル及びブレーキの操作が行われるのかを学習しモデルを作成する。 When learning the accelerator and brake operation models, the learning engine 11 uses data relating to the driver, the driving location, the surrounding environment, the time zone, the accelerator opening, the brake sensor data, and the like included in the driving data as a group of data. Thus, a model is created by learning how the accelerator and the brake are operated according to the position, speed, number, etc. of the vehicle ahead and the pedestrian.
また、学習エンジン11は、感情推定モデルに含まれる笑顔判定モデルを学習する場合、一般運転者又は一般人の音声データ及び音声データに関連した画像データを分析し、一般運転者が楽しさを感じているときの顔の表情の特徴を分析する。これにより、外観(即ち、顔の表情)から抽出した特徴部分の変化(口角の角度,目尻の角度等)と笑顔の関連性を示す笑顔判定モデルが生成及び更新される。笑顔判定モデルを用いることにより、特徴部分の情報(口角の角度等)から運転者が笑顔であるか否か(又は楽しいと感じていか否か)を推定することができる。特徴部分は、予め指定された部分であってもよいし、学習エンジン11が新たに検出した部分であってもよい。 In addition, when learning the smile determination model included in the emotion estimation model, the learning engine 11 analyzes voice data of a general driver or a general person and image data related to the voice data, and the general driver feels fun. Analyze the characteristics of facial expressions when you are. As a result, a smile determination model is generated and updated that indicates the relationship between the change in the characteristic portion extracted from the appearance (that is, facial expression) (mouth angle, eye corner angle, etc.) and smile. By using the smile determination model, it is possible to estimate whether or not the driver is smiling (or whether or not he / she feels fun) from the information on the characteristic part (such as the angle of the mouth corner). The characteristic part may be a part designated in advance, or a part newly detected by the learning engine 11.
また、一般ドライバモデルMaは、車両状態と運転者の感情状態との間の関連性モデル(感情生起モデル)を含む。感情状態は、運転者状態データから分析される。学習エンジン11は、感情状態の遷移を分析し、感情状態に影響を及ぼした車両状態(運動状態:車速,横加速度,前後加速度等、車載機器作動状態:空調温度,シート位置,音楽等)を分析し、どのような車両状態が感情状態に影響を与えるのかについて、車両状態と感情状態との間の関連性について学習する。感情状態に影響を与える車両状態(制御因子)は、予め設定されていてもよいし、人工知能が分析により新たな制御因子を見出して追加設定してもよい。 Further, the general driver model Ma includes a relationship model (emotion occurrence model) between the vehicle state and the driver's emotional state. The emotional state is analyzed from the driver state data. The learning engine 11 analyzes the transition of the emotional state and determines the vehicle state (motion state: vehicle speed, lateral acceleration, longitudinal acceleration, etc., on-vehicle equipment operating state: air conditioning temperature, seat position, music, etc.) that affected the emotional state. Analyze and learn about the relationship between the vehicle state and the emotional state as to what kind of vehicle state affects the emotional state. The vehicle state (control factor) that affects the emotional state may be set in advance, or may be additionally set by artificial intelligence finding a new control factor through analysis.
感情状態の分析に用いられる運転者状態データは、音声データ,画像データ,脳波データ等である。感情分析のため、例えば、音声データ(発話音声)を解析して、声帯の不随意運動に基づく音の波の周波数分析が行われる。また、画像データに基づく顔表情分析や、血流の変化のための顔色分析が行われる。また、自律神経系の交感神経/副交感神経の割合分析が行われる。これらの分析の1つ又は複数を用いることにより、例えば、喜怒哀楽を座標上に表現した感情マップやラッセル円環モデル上で感情状態を特定することができる。学習エンジン11は、感情状態の変化(即ち、感情マップや円環モデル上での移動)と車両状態の変化を分析する。 The driver state data used for the analysis of the emotion state is voice data, image data, brain wave data, and the like. For emotion analysis, for example, voice data (uttered voice) is analyzed, and frequency analysis of sound waves based on involuntary movement of the vocal cords is performed. In addition, facial expression analysis based on image data and facial color analysis for blood flow change are performed. In addition, a sympathetic / parasympathetic ratio analysis of the autonomic nervous system is performed. By using one or more of these analyses, for example, it is possible to specify an emotional state on an emotion map or a Russell ring model that expresses emotions on coordinates. The learning engine 11 analyzes changes in emotional state (that is, movement on an emotion map or a ring model) and changes in vehicle state.
学習エンジン11は、例えば、温度環境と感情状態との間の関連性モデルを学習する場合、運転データに含まれる、運転者,感情状態,走行場所,時間帯,車内外温度,天候等に関するデータを一群のデータとして用いて、例えば、車内温度と車外温度の差,天候等の温度環境が感情状態にもたらす影響を学習し当該関連性モデルを更新する。 For example, when learning the relationship model between the temperature environment and the emotional state, the learning engine 11 includes data relating to the driver, emotional state, travel location, time zone, inside / outside temperature, weather, etc. included in the driving data. Are used as a group of data, for example, the influence of temperature environment such as the difference between the temperature inside the vehicle and the temperature outside the vehicle, the weather, etc. on the emotional state is learned and the relevance model is updated.
また、既存の関連性モデルに含まれない新たな制御因子が、感情状態に変化を及ぼすことが学習されると(例えば、車両状態の複数項目が組み合わされたときに楽しく感じる等)、新たな制御因子に基づく新規の関連性モデルが生成される。このようにして、学習エンジン11は、ビッグデータから運転者の感情状態に影響を及ぼす制御因子を検出してモデルを構築する。 In addition, when new control factors that are not included in the existing relevance model are learned to change the emotional state (for example, when a plurality of items of the vehicle state are combined) A new relevance model based on the control factors is generated. In this way, the learning engine 11 constructs a model by detecting control factors that affect the driver's emotional state from the big data.
車両A内に設けられた個人サーバ3では、車両Aから受け取った運転データ(音声データ含む),外部情報システム7bから取得した一般データ,特定運転者の携帯情報端末装置7cから取得した通信データ(通話音声データ,メールテキストデータ,機器設定情報等)を人工知能からなる学習エンジン31(演算部3a)が学習することにより、個人ドライバモデルMbが構築される。この個人ドライバモデルMbも逐次更新される。個人サーバ3は、運転データ等を用いて、運転者の行動,車両挙動,車両性能等の時間的な変化又は履歴を学習する。このため、車両Aでの各種制御処理よりも個人ドライバモデルMbの処理速度は低速である(例えば、1秒以上)。
In the
なお、個人サーバ3が取得する一般データは、運転傾向が共通すると考えられる運転者集団(例えば、同じ車種の車両を有する運転者の集団)に含まれる複数の運転者の音声データ,行動データ,画像データである。また、機器設定情報は、例えば、携帯情報端末装置のインターネットブラウザアプリに登録されたブックマーク情報等である。
The general data acquired by the
また、車両Aのマイクで取得された音声データは、車載コントローラ5の第2同期エンジン60を介して取得される運転データにも含まれるが、通信機器を介して実時間で個人サーバ3へ直接出力される。個人サーバ3では、この音声データが音声認識される。運転データ,一般データ,音声データは、記憶部3bに蓄積データDbとして蓄積される。
また、個人サーバ3の第1同期エンジン40は、記憶部3bに記憶された蓄積データをデータ変換し、共有サーバ1へ送信する。
The voice data acquired by the microphone of the vehicle A is also included in the driving data acquired via the
Further, the
個人ドライバモデルMbは、特定運転者に対して適用するためのモデルである。そのため、車両Aを運転する特定運転者の運転データ、及び、この特定運転者に比較的近い運転特性を有すると考えられる他の運転者の一般データが用いられる。個人ドライバモデルMbも一般ドライバモデルMaと同様に複数のサブモデルを含む。また、個人ドライバモデルMbは、取得した運転データから抽出された周辺環境状態データや車両状態データを有する。学習エンジン31も学習エンジン11と同様の複数のサブモデルを学習する(個人ドライバモデルMbのサブモデルの例は、一般ドライバモデルMaのサブモデルの例を参照)。また、学習エンジン31は、学習エンジン11と同様に運転者の感情状態に影響を及ぼす制御因子を検出してモデルを更新し、また、新たなモデルを構築する。
The personal driver model Mb is a model for applying to a specific driver. Therefore, the driving data of the specific driver who drives the vehicle A and general data of other drivers considered to have driving characteristics relatively close to the specific driver are used. Similarly to the general driver model Ma, the individual driver model Mb also includes a plurality of submodels. The personal driver model Mb has surrounding environment state data and vehicle state data extracted from the acquired driving data. The learning
車載コントローラ5では、車両センサ8のセンサデータに基づいて、車両制御ブロック(演算部)51により所定の車両制御処理が実行される。車両制御ブロック51は、車両制御処理を規定する車両制御アルゴリズム(車両制御プログラム)50を用いて、ルールベースで車両Aの各種車載機器及びシステムを制御する。即ち、センサデータに基づき、予め決められたルール(アルゴリズム)に従って各種制御が実行される(ルールベース処理)。このため、車載コントローラ5による車両制御処理では、速い処理速度が達成される(例えば、10m秒以下)。
In the in-
車両制御処理は、運転制御処理に加えて、運転支援処理を含む。運転支援処理には、自動運転支援処理,支援情報提示処理,車載機器制御処理を含む。
自動運転支援処理では、車両制御システム9d(エンジン,ブレーキ,ステアリング)に指令信号が出力され、アクセル,ブレーキ,ステアリング駆動装置が自動操作される。
支援情報提示処理では、車内の情報提示装置9a(ナビゲーション装置、メータ、スピーカ等)を介して、運転者の運転操作を支援するための各種の支援情報が提供され、また、情報通信装置9c(車載通信部,携帯情報端末装置等)を介して、外部の情報システム,情報端末装置,家電製品等へ情報が提供される。
車載機器制御処理では、運転環境を改善するため、車載機器9b(空調装置、窓、ライト、ドア等)が自動的に作動される。例えば、空調装置の温度設定やオンオフが自動的に行われ、窓の開閉が自動的に行われる。
The vehicle control process includes a driving support process in addition to the driving control process. The driving support processing includes automatic driving support processing, support information presentation processing, and in-vehicle device control processing.
In the automatic driving support process, a command signal is output to the vehicle control system 9d (engine, brake, steering), and the accelerator, brake, and steering driving device are automatically operated.
In the support information presentation process, various support information for assisting the driving operation of the driver is provided via the
In the in-vehicle device control process, the in-
車両センサ8には、車内カメラ,生体センサ,マイク,車外カメラ,レーダ,ナビゲーション装置,車両挙動センサ,運転者操作検知センサ,車車間通信器,車両−インフラ間通信器,リモート制御器等が含まれる。
The
車内カメラは、車両A内の運転者や他の乗員を撮像し、車内画像データを出力する。
生体センサは、運転者の心拍,脈拍,発汗,脳波等を計測し、生体データを出力する。
マイクは、運転者や他の乗員の音声を取集し、音声データを出力する。
車外カメラは、車両Aの前方,側方,後方の画像を撮像し、車外画像データを出力する。
The in-vehicle camera images a driver and other occupants in the vehicle A and outputs in-vehicle image data.
The biometric sensor measures a driver's heartbeat, pulse, sweating, brain waves, and the like, and outputs biometric data.
The microphone collects the voices of the driver and other passengers and outputs voice data.
The vehicle exterior camera captures images of the front, side, and rear of the vehicle A and outputs vehicle exterior image data.
レーダは、車両Aの前方,側方,後方に向けて電波,音波又はレーザ光を照射し、車両Aの周囲の車外物体(先行車,他車両,歩行者,地上固定物,障害物等)からの反射波を受信し、物体の相対位置,相対速度等(例えば、先行車位置,先行車相対速度等)の車外物体データを出力する。
ナビゲーション装置は、車両位置情報を取得し、内部地図情報,外部から取得した交通渋滞情報,入力情報(目的地,経由地等)と組み合わせて、ナビゲーションデータ(複数のルート情報,運転者により選択されたルート情報等)を出力する。
Radar emits radio waves, sound waves, or laser light toward the front, side, and rear of vehicle A, and objects outside the vehicle around vehicle A (preceding vehicles, other vehicles, pedestrians, ground fixed objects, obstacles, etc.) The reflected wave from the vehicle is received, and object data outside the vehicle such as the relative position and relative speed of the object (for example, the position of the preceding vehicle, the relative speed of the preceding vehicle, etc.) is output.
The navigation device acquires vehicle position information and combines navigation data (multiple route information, selected by the driver) with internal map information, traffic congestion information acquired from the outside, and input information (destination, waypoint, etc.). Output route information).
車両挙動センサ及び運転者操作検知センサには、速度センサ,前後加速度センサ,横加速度センサ,ヨーレートセンサ,アクセル開度センサ,エンジン回転数センサ,ATギアポジションセンサ,ブレーキスイッチセンサ,ブレーキ油圧センサ,ステアリング角センサ,ステアリングトルクセンサ,ウインカースイッチ位置センサ,ワイパースイッチ位置センサ,ライトスイッチ位置センサ,車内外温度センサ等が含まれる。 Vehicle behavior sensors and driver operation detection sensors include speed sensors, longitudinal acceleration sensors, lateral acceleration sensors, yaw rate sensors, accelerator opening sensors, engine speed sensors, AT gear position sensors, brake switch sensors, brake oil pressure sensors, steering An angle sensor, a steering torque sensor, a winker switch position sensor, a wiper switch position sensor, a light switch position sensor, a vehicle interior / external temperature sensor, and the like are included.
車車間通信器,車両−インフラ間通信器,リモート制御器は、それぞれ他車両からの通信データ,交通インフラからの交通データ(交通渋滞情報,制限速度情報等),外部からのリモート操作データを取得し、これらを出力する。 Vehicle-to-vehicle communication device, vehicle-infrastructure communication device, and remote controller acquire communication data from other vehicles, traffic data from traffic infrastructure (traffic jam information, speed limit information, etc.), and remote operation data from outside. And output these.
車両センサ8からの出力データは、運転データとして車両制御ブロック51に入力される。また、出力データは、所定の装置(図示せず)により、又は、車載コントローラ5内のデータ処理ブロックにより、車両制御ブロック51での処理の実行に適した種々の物理量を表す運転データにデータ変換された後、車両制御ブロック51に入力される。データ変換により、1つの出力データが1又は複数の情報を表す運転データに変換される。データ変換は、出力データを変換処理しないことも含む。
Output data from the
例えば、車外カメラの車外画像データは、先行車や車線の位置データ,基準ライン(車線中央や設定経路)からのオフセット(ずれ)データ等にデータ変換される。また、ステアリング角センサの操舵角データは、変動データ(ステアリング角のふらつきデータ;変動幅,変動周期等)等にデータ変換される。また、車内カメラの画像データは、個人特定データ(予め登録されていた運転者画像に基づく運転者認証の結果、及び、認証された運転者を特定する個人データ),運転者の笑顔判断等のための表情データ(口角角度,目尻角度等)等にデータ変換される。 For example, the outside image data of the outside camera is converted into position data of a preceding vehicle or lane, offset (deviation) data from a reference line (lane center or set route), and the like. Further, the steering angle data of the steering angle sensor is converted into fluctuation data (steering angle fluctuation data; fluctuation width, fluctuation period, etc.) and the like. In addition, the image data of the in-vehicle camera includes personal identification data (results of driver authentication based on driver images registered in advance and personal data specifying the authenticated driver), smile determination of the driver, etc. Data is converted to facial expression data (mouth angle, eye corner angle, etc.).
運転データは、運転者,周辺環境,車両に関する種々のデータであり、運転者状態データ,周辺環境データ,車両状態データを含む。これらデータは、それぞれ複数の個別データからなる。
運転者状態データは、運転者の身体状態を示すデータであり、車内画像データ(運転者の撮像データを含む),音声データ,生体データ(心拍データを含む)等を含む。
周辺環境データは、車両Aの周辺の他車両,歩行者,障害物や、道路形状や、交通状況等の車外物体の状況を示すデータであり、車外画像データ,車外物体データ,ナビゲーションデータ,車車間データ,車インフラ間データ等を含む。
The driving data is various data related to the driver, the surrounding environment, and the vehicle, and includes the driver state data, the surrounding environment data, and the vehicle state data. Each of these data consists of a plurality of individual data.
The driver state data is data indicating the physical state of the driver, and includes in-vehicle image data (including driver image data), voice data, biological data (including heartbeat data), and the like.
The ambient environment data is data indicating the status of other vehicles around the vehicle A, pedestrians, obstacles, road objects, traffic objects, and other external objects. Image data outside the vehicle, object data outside the vehicle, navigation data, vehicle Includes inter-vehicle data, inter-vehicle infrastructure data, etc.
車両状態データは、車両運動状態や車載機器の作動状態を表すデータであり、車両挙動センサによる測定データ,運転者操作検知センサによる車載機器のスイッチ位置等を表す運転者操作データ,及び個人特定データを含む。具体的には、車両状態データには、一例として、車速,前後加速度,横加速度,ヨーレート,アクセル開度,エンジン回転数,ATギアポジション,ブレーキスイッチ位置,ブレーキ油圧,前方車間距離,先行車との相対速度,ステアリング角,ステアリングトルク,ウインカースイッチ位置,ワイパースイッチ位置,ライトスイッチ位置,車内外温度,個人特定情報等が含まれる。
車載コントローラ5の第2同期エンジン60は、記憶部5bに一旦記憶された運転データをデータ変換し、個人サーバ3へ送信する。
The vehicle state data is data representing the vehicle movement state and the operating state of the in-vehicle device, the measurement data by the vehicle behavior sensor, the driver operation data indicating the switch position of the in-vehicle device by the driver operation detection sensor, and the personal identification data. including. Specifically, the vehicle state data includes, for example, vehicle speed, longitudinal acceleration, lateral acceleration, yaw rate, accelerator opening, engine speed, AT gear position, brake switch position, brake hydraulic pressure, front inter-vehicle distance, preceding vehicle and Relative speed, steering angle, steering torque, turn signal switch position, wiper switch position, light switch position, inside / outside temperature, personal identification information, and the like.
The
図3に示すように、車両制御ブロック51は、現状状態分析ブロック51a,理想状態分析ブロック51b,差分算出ブロック51c,エンターテイメント(エンタメ)制御ブロック52a,セーフティ制御ブロック52bを有する。
現状状態分析ブロック51a、及び、理想状態分析ブロック51bには、運転データが入力される。現状状態分析ブロック51aでは、運転データから現状運転者状態,現状機器操作状態,現状周辺環境状態,現状車両状態が取り出される。一方、理想状態分析ブロック51bでは、多数の制御パラメータPで規定された車両制御モデル(理想モデル)に基づいて、運転データから理想運転者状態,理想機器操作状態,理想周辺環境状態,理想車両状態が計算される。
As shown in FIG. 3, the
Operation data is input to the current
運転者状態は、例えば、運転者の心拍データ,ふらつき分析データ等により特定される。周辺環境状態は、例えば、カメラ画像データ,レーダ測定データ等により特定される。車両状態は、例えば、横加速度データ,エンジンパワーデータ,ブレーキ摩耗量データ等から特定される。 The driver state is specified by, for example, the driver's heartbeat data, wobbling analysis data, and the like. The ambient environment state is specified by camera image data, radar measurement data, and the like, for example. The vehicle state is specified from, for example, lateral acceleration data, engine power data, brake wear amount data, and the like.
差分算出ブロック51cでは、現状状態分析ブロック51aと理想状態分析ブロック51bから出力された現状状態と理想状態(運転者状態,機器操作状態,周辺環境状態,車両状態)の種々の項目について差分を算出し、差分データとして出力する。
エンタメ制御ブロック52a、及び、セーフティ制御ブロック52bは、この差分データに基づいて各種の処理を実行する。
In the
The
セーフティ制御ブロック52bは、車両制御システム9dの作動を伴うセーフティ制御処理を制御し、また、情報提示装置9a,車載機器9b,情報通信装置9cの作動を伴う支援情報提示処理も制御する。一方、エンタメ制御ブロック52aは、情報提示装置9a,車載機器9b,情報通信装置9cの作動を伴うエンタメ制御処理を制御するが、車両制御システム9dの作動を伴う制御処理は実行しない。
The
エンタメ制御ブロック52a、及び、セーフティ制御ブロック52bは、差分データに基づいて、情報提示装置9a,車載機器9b,情報通信装置9cへ作動指示を出力する。また、セーフティ制御ブロック52bは、車両制御システム9dへも作動指示を出力する。なお、情報通信装置9cを介して外部の情報システム7bへ送信されるデータは、情報システム7bにて蓄積され、さらに個人サーバ3へ提供可能である。
The
例えば、現状状態分析ブロック51aが、意識レベルが高い正常な状態で運転者が車両Aを60kmで走行させていると分析したとする。一方、理想状態分析ブロック51bは、この状態で運転者が30m先のカーブを曲がる際の予定走行経路(位置及び速度含む)を車両制御アルゴリズム50の理想モデルに基づいて計算(予想)する。また、現状状態分析ブロック51aは、引き続き状態分析を行うため、車両Aが実際に走行した走行経路を分析結果として出力する。
For example, assume that the current
差分算出ブロック51cは、理想状態分析ブロック51bによる予定走行経路と、現状状態分析ブロック51aによる実際の走行経路との差分を算出する。そして、例えば、セーフティ制御ブロック52bは、予定速度と実速度とがほぼ等しい場合は特段の処理を実行せず、予定速度と実速度との速度差が小さい場合はブレーキ操作警報を発生させる処理を実行し、速度差が大きい場合は自動ブレーキを作動させる処理を実行する。
The
また、予定走行経路で規定されるステアリング操作タイミングよりも、実際のステアリング操作タイミングの方が所定時間以上遅い場合に、ステアリング操作タイミングを早めるように促すメッセージが表示される。
また、所定状況において、理想モデルによる予測心拍数が実際の心拍数よりも所定値以上大きいとき(興奮状態と推定)、エンタメ制御ブロック52aは、休憩を促すメッセージや気分を落ち着かせる音楽を流すことを促すメッセージを表示させる処理を実行する。
In addition, a message that prompts the steering operation timing to be advanced is displayed when the actual steering operation timing is later than a predetermined time than the steering operation timing defined by the planned travel route.
Also, in a predetermined situation, when the predicted heart rate predicted by the ideal model is larger than the actual heart rate by a predetermined value or more (estimated as an excited state), the
次に、図4及び図5を参照して、個人サーバ3の第1同期エンジン40及び車載コントローラ5の第2同期エンジン60について説明する。図4は共有サーバ,個人サーバ,車載コントローラにおけるデータの流れの説明図、図5は同期エンジンの動作の説明図である。
Next, the
図4に示すように、車載コントローラ5は、運転データ(情報量「中」)に基づいてルールベースで認知,判断,行動決定を実行する。このため、車載コントローラ5で目標とされる情報速度は速い(<10m秒)。更に、車両制御システム9dや車載機器9b等は、車載コントローラ5から作動指令(情報量「小」)を受けると、行動決定の指令に従い作動する。このため、情報速度はとても速い(<1m秒)。
As shown in FIG. 4, the in-
一方、個人サーバ3は、車載コントローラ5からの運転データと外部の情報システム7b等からのデータ(情報量「大」)に基づいて学習,成長する。このため、個人サーバ3での情報速度は遅い(>1秒)。更に、共有サーバ1は、複数の個人サーバ3からの運転データと外部の情報システム7a等からのビッグデータ(情報量「極大」)に基づいて学習,成長する。このため、共有サーバ1での情報速度はとても遅い(>1時間)。即ち、下位層よりも上位層の方が、扱う情報量は大きいが、情報速度は遅くなる。共有サーバ1が最も上位であり、車載コントローラ5が最も下位である。
On the other hand, the
このため、各階層においてデータ処理がスムーズに行われるように(即ち、いずれかの階層でデータ処理の流れが悪くならないように)、本実施形態では、情報エントロピーの均一化が図られている。概略的には、各階層で実行される処理の演算負荷(処理プログラムの全ステップ数)及び全処理ステップを実行する際の目標応答時間を既知として、各階層において単位時間当たりに処理されるデータ量を調整することにより、各瞬間(単位時間当たり)における処理負荷の均一化が図られている。 For this reason, in this embodiment, information entropy is made uniform so that data processing is smoothly performed in each layer (that is, the flow of data processing does not deteriorate in any layer). Schematically, the processing load (the total number of steps of the processing program) of the processing executed in each layer and the target response time when executing all the processing steps are known, and the data processed per unit time in each layer By adjusting the amount, the processing load at each moment (per unit time) is made uniform.
本実施形態では、情報エントロピーは、「単位時間当たりのデータ量×処理速度」で定義される。処理速度は、「処理プログラムの全ステップ数(全プログラム行数)×目標応答時間」で定義される。
情報エントロピー=データ量×全ステップ数×目標応答時間
In this embodiment, the information entropy is defined as “data amount per unit time × processing speed”. The processing speed is defined by “the total number of steps of the processing program (total number of program lines) × target response time”.
Information entropy = amount of data x total number of steps x target response time
例えば、車載コントローラ5において、データ量が10MB,ステップ数が1000行,目標応答時間が10m秒である場合、個人サーバ3ではそれぞれ100KB,10000行,1秒に設定され、共有サーバ1ではそれぞれ10B,100000行,1000秒に設定される。
For example, in the in-
このように各階層におけるデータ量を調整するため、下位層から上位層へ運転データを送信する際に、上位層で運転データを処理し易くするように下位層の同期エンジンにより運転データのデータ変換が行われる。このデータ変換により、運転データが量,質,時間に関して変換される。車載コントローラ5は第2同期エンジン60を有し、個人サーバ3は第1同期エンジン40を有する。
In order to adjust the amount of data in each layer in this way, when operating data is transmitted from the lower layer to the upper layer, the data conversion of the operating data is performed by the lower layer synchronization engine so that the upper layer can easily process the operating data. Is done. By this data conversion, the operation data is converted in terms of quantity, quality and time. The in-
図5に示すように、車載コントローラ5は、逐次、車両センサ8の出力データに基づく運転データを受け取り、車両制御処理を実行する。一方、第2同期エンジン60は、運転データに対して第2データ変換処理(量,質,時間)を実行し、データ変換された運転データを個人サーバ3へ送信する。個人サーバ3では、受け取った運転データを運転者の行動履歴データ及び状態履歴データとして記憶部3bに蓄積すると共に、所定の処理に用いる。そして、第1同期エンジン40は、受け取った運転データに対して第1データ変換処理(量,質,時間)を実行し、データ変換された運転データを共有サーバ1へ送信する。共有サーバ1では、受け取った運転データを運転者の行動履歴データ及び状態履歴データとして記憶部1bに蓄積すると共に、所定の処理に用いる。
As shown in FIG. 5, the in-
上位層の同期要求ブロック21,41は、上位層の処理で要求される方式に応じて、下位層の同期エンジン40,60に対して、必要な情報属性の運転データの送信を要求する取得要求指令を出す。この指令を受けて下位層の同期エンジンは、要求される情報属性に応じたデータ変換処理を実行する。下位層の同期エンジンは、同じ下位層の他のデータ処理ブロック(図示せず)へデータ変換指示を出して、データ変換させ、データ変換後の運転データを上位層へ出力する。また、下位層は、上位層を監視する。同期要求ブロック21,41は、それぞれ第1同期エンジン40,第2同期エンジン60に対して、例えば、データ量低減方式,個別データの関連付け及び切り離し方式(複数の個別データの指定),時間軸設定方式(抽出方式,統計処理方式)を規定する取得要求指令を出力する。
The upper layer synchronization request blocks 21 and 41 obtain acquisition requests for requesting transmission of operation data having a necessary information attribute to the lower
データの量に関するデータ変換処理では、運転データのデータ量が低減される。例えば、特徴量の抽出,情報量の変換等によるデータ量低減処理が行われる。第1同期エンジン40,第2同期エンジン60において、それぞれ第1データ量低減処理,第2データ量低減処理が実行される。
In the data conversion process related to the amount of data, the amount of operation data is reduced. For example, data amount reduction processing is performed by feature amount extraction, information amount conversion, and the like. In the
特徴量の抽出では、上位層の処理での必要最小限の情報を含むようにデータサイズが低減される。例えば、画像データは、この画像データから抽出された特徴量のデータに変換される(口角の角度,車線の情報等)。
情報量の変換では、運転データが要約統計量(平均化,時間軸フィルタ等)に変換される。例えば、センタラインからのずれ量(10m秒毎のずれ量データ)が、100秒間隔の平均ずれ量データに変換される。また、10m秒毎の操舵角データが、5秒単位のふらつき度判定データに変換される。
特徴量の抽出や情報量の変換は、同期エンジンが他の処理ブロックに実行させることができる。
In the feature quantity extraction, the data size is reduced so as to include the minimum necessary information in the upper layer processing. For example, the image data is converted into feature value data extracted from the image data (mouth angle, lane information, etc.).
In the information amount conversion, the operation data is converted into summary statistics (average, time axis filter, etc.). For example, a deviation amount from the center line (deviation amount data every 10 milliseconds) is converted into average deviation amount data at intervals of 100 seconds. Further, the steering angle data for every 10 milliseconds is converted into the fluctuation degree determination data in units of 5 seconds.
The feature engine extraction and information amount conversion can be executed by another processing block by the synchronization engine.
データの質に関するデータ変換処理では、運転データに含まれる複数項目の情報間の関連性を変換するデータ関連性変換処理が行われる。第1同期エンジン40,第2同期エンジン60において、それぞれ第1データ関連性変換処理,第2データ関連性変換処理が実行される。
In the data conversion process related to the data quality, a data relevance conversion process is performed to convert the relevance between pieces of information included in the operation data. In the
関連性の変換では、選択的に複数の個別データが紐付けされる。例えば、個人特定データと心拍データ,時間データと心拍データ,位置データと心拍データがそれぞれ関連付けられる。個人特定データ,心拍データ,時間データ,位置データを1つに関連付けてもよい。関連付けにより、ある目的の処理において関連付けデータを一体のデータとして処理することが可能となるので、上位層における処理が軽減される。例えば、笑顔判定モデルの学習用に、口角の角度データ(データ量低減処理により得られた特徴量データ),音声データ,運転操作データ,車内環境データ(空調,音響等)を関連付けることができる。 In relevance conversion, a plurality of individual data are selectively linked. For example, personal identification data and heartbeat data, time data and heartbeat data, position data and heartbeat data are associated with each other. Individual identification data, heart rate data, time data, and position data may be associated with one. The association makes it possible to process the association data as integral data in a certain target process, thereby reducing the processing in the upper layer. For example, mouth angle data (feature data obtained by data amount reduction processing), voice data, driving operation data, and in-vehicle environment data (air conditioning, sound, etc.) can be associated for learning a smile determination model.
また、関連性の変換では、関連付けられた複数の情報から特定情報の削除が行われる。例えば、個人特定データが切り離される。個人サーバ3では、特定の個別データと個人特定データが関連付けられた複合データが用いられるが、共有サーバ1では、この複合データの匿名性を確保するため、複合データから個人特定データが切り離された複合データが用いられる。また、個人特定データが、姓名,年齢,性別,住所等を含む場合、特定項目(姓名,性別)のみを切り離してもよい。
In the conversion of relevance, specific information is deleted from a plurality of pieces of associated information. For example, the personal identification data is separated. In the
データの時間に関するデータ変換処理では、運転データの時間軸加工を行う時間軸変更処理が行われる。第1同期エンジン40,第2同期エンジン60において、それぞれ第1時間軸変更処理,第2時間軸変更処理が実行される。
In the data conversion process related to the time of data, a time axis change process for performing time axis processing of operation data is performed. In the
時間軸加工では、所定の時間変化データが時間軸上で選択的に抽出(サンプリング)される。例えば、データの質が同じ場合は、時間軸方向に情報が間引かれる。例えば、10m秒間隔の心拍データが、100m秒間隔の心拍データに間引かれる。また、例えば、不整脈を検出するために心拍データが用いられる場合、時間軸加工により、有意な数値を示す(所定の閾値を超える)心拍データのみが選択的に抽出される。また、時間軸加工では、統計処理により、運転データの要約統計量への変換(平均化,時間軸フィルタ)や、統計情報(例えば、度数分布等)への変換が行われる。時間軸加工では、時間軸上での選択的な抽出時間間隔(一定又は不定)や統計処理時間間隔が、一般ドライバモデルMa,個人ドライバモデルMbの更新処理時間(目標応答時間)に応じて設定される。したがって、目標応答時間が長いほど、時間軸加工により出力される運転データのデータ間隔が長くなる。 In the time axis processing, predetermined time change data is selectively extracted (sampled) on the time axis. For example, when the data quality is the same, information is thinned out in the time axis direction. For example, heartbeat data at 10 msec intervals is thinned out to heartbeat data at 100 msec intervals. Also, for example, when heart rate data is used to detect arrhythmia, only heart rate data showing a significant numerical value (exceeding a predetermined threshold) is selectively extracted by time axis processing. In the time axis processing, the operation data is converted into summary statistics (averaged, time axis filter) or converted into statistical information (for example, frequency distribution) by statistical processing. In time axis processing, selective extraction time intervals (constant or indefinite) and statistical processing time intervals on the time axis are set according to the update processing time (target response time) of the general driver model Ma and the individual driver model Mb. Is done. Therefore, the longer the target response time, the longer the data interval of operation data output by time axis machining.
なお、本実施形態では、階層間(共有サーバ1,個人サーバ3,車載コントローラ5)においてデータ量の調整が行われるが、これに限らず、各階層内の機能ブロック(例えば、個人サーバ3の学習エンジン31,パラメータ更新エンジン32,リコメンドエンジン33,差分分析エンジン34,結果検証エンジン35をそれぞれ構成するコンピュータ)間においてもデータ量の調整を同様に行ってもよい。
In this embodiment, the amount of data is adjusted between layers (shared server 1,
次に、図6を参照して、パラメータ更新処理について説明する。図6は、パラメータ更新処理の説明図である。個人サーバ3は、パラメータ更新エンジン32を有する。
パラメータ更新エンジン32は、共有サーバ1から一般ドライバモデルMaを取得し、車載コントローラ5から車両制御処理を規定する各種の制御パラメータP,運転データ(音声データ,車両状態データを含む)を取得し、個人ドライバモデルMbを参照して、制御パラメータPを更新する。
Next, parameter update processing will be described with reference to FIG. FIG. 6 is an explanatory diagram of parameter update processing. The
The
パラメータ更新エンジン32は、原則的に学習エンジン31によって行われる個人ドライバモデルMbの更新を判断し、この更新に応じて、更新部分に関連した車両制御アルゴリズム50を更新する。具体的には、車両制御アルゴリズム50に含まれる制御パラメータP(制御パラメータの値、制御パラメータの種類を含む)が変更される。
In principle, the
このためパラメータ更新エンジン32は、更新前の個人ドライバモデルMbと最新の個人ドライバモデルMbを比較し、更新部分を抽出する。そして、パラメータ更新エンジン32は、車両Aから取得した各種の制御パラメータPから、更新部分に対応する制御パラメータPを抽出する。また、パラメータ更新エンジン32は、この制御パラメータPに対応する、個人ドライバモデルMbのドライバモデルパラメータを取得する。
For this reason, the
そして、取得されたドライバモデルパラメータと、対応する制御パラメータPとが比較される(差分分析)。なお、ドライバモデルパラメータが制御パラメータPに関連するが直接は対応しない場合は、これらが直接対応するようにドライバモデルパラメータが変換され、この変換値と制御パラメータPとが比較される。 Then, the acquired driver model parameter is compared with the corresponding control parameter P (difference analysis). If the driver model parameter is related to the control parameter P but does not correspond directly, the driver model parameter is converted so that they correspond directly, and the converted value and the control parameter P are compared.
差分分析の結果、差分が制御パラメータPの種類に応じて設定された閾値を超える場合、ドライバモデルパラメータ(又は、変換値)が更新パラメータに設定される。更に、パラメータ更新エンジン32は、所定の更新条件が満足されたか否かを判定する。更新条件が満足されると、パラメータ更新エンジン32は、その制御パラメータPを更新パラメータに更新するため、制御パラメータ更新指令を出力する。車載コントローラ5は、この制御パラメータ更新指令を受信すると、これに対応する制御パラメータPを新たな更新パラメータに更新する。
As a result of the difference analysis, when the difference exceeds a threshold set according to the type of the control parameter P, the driver model parameter (or conversion value) is set as the update parameter. Further, the
本実施形態では、所定の更新条件として、更新内容と更新時期が規定されている。更新内容については、更新しようとする制御パラメータPが、走る,止まる,及び曲がることに関連する走行安全に関わる車両制御処理(車両走行安全制御処理)の制御パラメータPである場合は、更新が禁止される。車両安全に関わる制御処理の制御パラメータPは、変更されると運転操作時に運転者へ違和感を与えるおそれがあるため更新されない。車両走行安全制御処理は、具体的には、自動アクセル制御,自動ブレーキ制御,自動操舵制御を伴う制御処理である。例えば、車両走行安全制御処理には、障害物との衝突又は走行路逸脱を防止するための危険回避制御処理が含まれる。更に、ふらつき判定処理も走行安全に関わる車両制御処理に含まれる。 In this embodiment, update contents and update time are defined as predetermined update conditions. Regarding the update contents, if the control parameter P to be updated is a control parameter P of vehicle control processing (vehicle driving safety control processing) related to driving safety related to running, stopping, and turning, updating is prohibited. Is done. If the control parameter P of the control process related to vehicle safety is changed, there is a risk of giving the driver a sense of incongruity during the driving operation. The vehicle travel safety control process is specifically a control process involving automatic accelerator control, automatic brake control, and automatic steering control. For example, the vehicle travel safety control process includes a risk avoidance control process for preventing a collision with an obstacle or a deviation from a travel path. Further, the wobble determination process is also included in the vehicle control process related to traveling safety.
なお、更新可能な更新内容であった場合、パラメータ更新エンジン32は、運転データ(車両状態データ)から更新時期(停止時、IGオフ時)を判断し、更新時期条件が満足されると制御パラメータ更新指令を送信する。また、なお、本実施形態では、パラメータ更新エンジン32が更新条件の判断を行っているが、制御パラメータ更新指令を受信した車載コントローラ5が、更新条件の判断を行ってもよい。
If the update content is updatable, the
また、更新時期は、更新内容に応じて規定されている。更新時期には、即時(個人ドライバモデルMbの更新時),車両停止時,イグニッションオフ時(IGオフ時)が含まれる。走行中における変更が許容されている制御パラメータPの更新時期は、「即時」に設定されている。「即時」の例は、例えば、笑顔判定処理における笑顔判定パラメータ(口角の角度),空調装置設定温度,事故情報等である。 In addition, the update time is defined according to the update content. The update time includes immediately (when the individual driver model Mb is updated), when the vehicle is stopped, and when the ignition is off (when the IG is off). The update time of the control parameter P that is allowed to be changed during traveling is set to “immediate”. Examples of “immediately” are, for example, a smile determination parameter (mouth angle), an air conditioner set temperature, accident information, and the like in the smile determination process.
また、車両停止時における更新が適切な制御パラメータの更新時期は、「車両停止時」に設定されている。「車両停止時」の例は、例えば、デッドマン判定処理におけるデッドマン判定パラメータ(運転者画像データにおける運転者の身体の角度等),車両シート位置,ミラー角度である。
また、IGオフ時における更新が適切な制御パラメータの更新時期は、「IGオフ時」に設定されている。「IGオフ時」の例は、例えば、一般地図情報である。
In addition, the update time of the control parameter that is appropriately updated when the vehicle is stopped is set to “when the vehicle is stopped”. Examples of “when the vehicle is stopped” are, for example, a deadman determination parameter (such as an angle of the driver's body in the driver image data), a vehicle seat position, and a mirror angle in the deadman determination process.
Further, the update time of the control parameter that is appropriately updated when the IG is off is set to “when the IG is off”. An example of “when IG is off” is, for example, general map information.
また、更新された個人ドライバモデルMbが新たなサブモデルを生成した場合や、学習エンジン31により既存のサブモデルよりも別のサブモデルの方が所定の処理に対応してより効果的であると判断された場合、これらのサブモデルに対応して新たな制御パラメータPを追加してもよい。例えば、学習の結果、口角の角度よりも目尻の角度の方が運転者の笑顔判定に有効であると分析され、目尻の角度に基づく新たな笑顔判定モデルが生成されたとする。この場合、既存の口角の角度に基づくサブモデルに代えて、又は追加して、制御パラメータPが設定される。具体的には、車両制御処理に含まれる笑顔判定処理における笑顔判定ロジックに用いられる制御パラメータPの種類が、口角の角度から目尻の角度に代えられ、制御パラメータPの値が口角の角度閾値から目尻の角度閾値に変更される。
In addition, when the updated individual driver model Mb generates a new submodel, or when the
また、車両制御処理において、運転者が眠気を有すると判定された場合に所定の処理(走行ルート提案順の変更,ステアリング振動,スピーカ音量アップ等)が実行される例について説明する。学習エンジン31は、眠気判定モデルとして、ステアリングのふらつき角度の大きさに基づくサブモデルを学習している。これに対応して、車両Aにおける眠気判定処理では、ステアリングのふらつき角度(変動幅)が判断閾値を超えると眠気が大きいと判断される。学習エンジン31が、普段でも車両Aはふらつき角度が大きいと学習するとサブモデルが更新され、これに伴い判断閾値(制御パラメータの値)が大きな値に更新されていく。
In addition, an example will be described in which predetermined processing (changing the driving route proposal order, steering vibration, speaker volume increase, etc.) is executed when it is determined that the driver is drowsy in the vehicle control processing. The learning
一方、学習エンジン31が、ステアリングのふらつき角度の大きさよりも変動周期の方が、眠気の判定に有効であると学習した場合、眠気判定モデルとして、ステアリングのふらつき角度の変動周期に基づくサブモデルを追加する。これに伴い、車両Aにおける眠気判定処理において、制御パラメータの種類がふらつき角度の変動周期に変更され、制御パラメータの値(判断閾値;変動周期)も変更される。
また、画像データに基づく眠気判定サブモデルが追加されると、これに伴い、車両Aにおいて制御パラメータの種類が画像データのある特徴量に変更され、制御パラメータの値(判断閾値)も変更される。
On the other hand, when the
When a sleepiness determination submodel based on image data is added, the type of control parameter in vehicle A is changed to a certain feature amount in the image data, and the value of the control parameter (determination threshold) is also changed. .
また、パラメータ更新処理において、一般ドライバモデルMaが考慮される場合の処理について説明する。即ち、車両Aの特定運転者が通常とは異なる極端な運転操作を繰り返すと、個人ドライバモデルMb及び車両制御処理(制御パラメータP)が、これらの安全性が低下するように更新されるおそれがある。このため、個人ドライバモデルMbが一般ドライバモデルMaから大きく乖離する場合は、安全性を担保するため、一般ドライバモデルMaに基づいて制御パラメータPが更新される。 Also, a process when the general driver model Ma is considered in the parameter update process will be described. That is, if the specific driver of the vehicle A repeats extreme driving operations different from normal, the personal driver model Mb and the vehicle control process (control parameter P) may be updated so that their safety is reduced. is there. For this reason, when the individual driver model Mb greatly deviates from the general driver model Ma, the control parameter P is updated based on the general driver model Ma in order to ensure safety.
パラメータ更新エンジン32は、一般ドライバモデルMa,制御パラメータPを取得する。また、個人ドライバモデルMbが更新されると、更新部分を抽出する。そして、この更新部分に対応する制御パラメータPが取得される。さらに、この更新部分における(又は取得した制御パラメータPに対応する)個人ドライバモデルMbの個人ドライバモデルパラメータと、一般ドライバモデルMaの一般ドライバモデルパラメータが取得される。
The
次に、パラメータ更新エンジン32は、取得した個人ドライバモデルパラメータと一般ドライバモデルパラメータとを比較し、差分を算出する。そして、差分が所定値以下の場合、個人ドライバモデルパラメータに基づいて、制御パラメータPを更新するための更新パラメータが演算される。一方、差分が所定値よりも大きい場合、一般ドライバモデルパラメータに基づいて、制御パラメータPを更新するための更新パラメータが演算される。更新パラメータの演算は、上述の実施形態と同様である。
Next, the
このようにして更新パラメータが演算されると、上述の実施形態と同様に、所定の更新条件が満たされた場合に、制御パラメータPを更新パラメータに更新するための制御パラメータ更新指令が出力される。 When the update parameter is calculated in this manner, a control parameter update command for updating the control parameter P to the update parameter is output when a predetermined update condition is satisfied, as in the above-described embodiment. .
また、パラメータ更新処理において、個人ドライバモデルMbに基づいて更新された後、所定条件に応じて、一般ドライバモデルMaに基づいて再更新される場合の処理について説明する。即ち、個人ドライバモデルMbにより制御パラメータPが更新されたが、車両制御処理に改善が認められない場合、更新された制御パラメータPが一般ドライバモデルMaに基づいて再び更新される。 In the parameter update process, a process when updated based on the general driver model Ma according to a predetermined condition after being updated based on the individual driver model Mb will be described. That is, when the control parameter P is updated by the individual driver model Mb, but no improvement is recognized in the vehicle control process, the updated control parameter P is updated again based on the general driver model Ma.
再更新のための所定条件は、更新前後において、運転者の感情状態が改善したか否かである。運転者の感情状態が改善しなかった場合には、制御パラメータPの再更新が行われる。このため、パラメータ更新エンジン32は、運転データ(音声データ)に基づく運転者の感情分析データから、運転者の感情状態を分析する。
The predetermined condition for re-update is whether or not the driver's emotional state has improved before and after the update. If the driver's emotional state does not improve, the control parameter P is updated again. Therefore, the
なお、感情分析は、パラメータ更新エンジン32が逐次実行してもよいし、他の機能ブロック(運転者状態分析部)が継続的に実行し、感情分析履歴として記憶してもよい。なお、感情状態の改善とは、不快な負の感情(悲しみ,嫌悪,怒り,不安,緊張,不満等)から快い正の感情(喜び,楽しさ,安心,リラックス,満足等)へ感情状態が移動することである。
The emotion analysis may be sequentially executed by the
パラメータ更新エンジン32は、制御パラメータPを取得する。また、個人ドライバモデルMbが更新されると、更新部分を抽出する。そして、この更新部分に対応する制御パラメータPが抽出される。さらに、この更新部分における(又は取得した制御パラメータPに対応する)個人ドライバモデルMbの個人ドライバモデルパラメータが取得される。そして、この個人ドライバモデルパラメータに基づいて、制御パラメータPを更新するための更新パラメータが演算される。
The
所定の更新条件が満たされた場合に、制御パラメータPを更新パラメータに更新するための制御パラメータ更新指令が出力される。更に、車載コントローラ5は、この制御パラメータ更新指令を受信すると、これに対応する制御パラメータPを新たな更新パラメータに更新する。
When a predetermined update condition is satisfied, a control parameter update command for updating the control parameter P to the update parameter is output. Further, when receiving the control parameter update command, the in-
パラメータ更新エンジン32は、個人ドライバモデルMbの更新に起因した制御パラメータPの更新の前後において、運転者の感情状態が改善したか否かを判定する。運転者の感情状態が改善していると判定される場合は、制御パラメータPの更新処理を終了する。一方、運転者の感情状態が改善していないと判定される場合は、パラメータ更新エンジン32は、制御パラメータPに対応する一般ドライバモデルMaの一般ドライバモデルパラメータを取得する。
The
そして、この一般ドライバモデルパラメータに基づいて、制御パラメータPを更新するための新たな更新パラメータが演算される。所定の更新条件が満たされた場合に、制御パラメータPを新たな更新パラメータに更新するための制御パラメータ更新指令が出力される。更に、車載コントローラ5は、この制御パラメータ更新指令を受信すると、これに対応する制御パラメータPを新たな更新パラメータに更新する。
Then, a new update parameter for updating the control parameter P is calculated based on the general driver model parameter. When a predetermined update condition is satisfied, a control parameter update command for updating the control parameter P to a new update parameter is output. Further, when receiving the control parameter update command, the in-
例えば、カーブ路走行時におけるステアリング操作タイミングのサブモデルに関し、個人ドライバモデルMbに基づいて車両Aの対応する制御パラメータP(運転支援におけるステアリング操作案内タイミング等)が更新された後、カーブ路を走行した際のストレス(心拍,音声分析等に基づく)が更新前と比べて下がっていない場合には、一般ドライバモデルMaに基づいて同じ制御パラメータPが更新される。 For example, regarding a sub model of the steering operation timing when traveling on a curved road, the vehicle travels on a curved road after the corresponding control parameter P of the vehicle A (such as steering operation guidance timing in driving assistance) is updated based on the individual driver model Mb. When the stress (based on heartbeat, voice analysis, etc.) at the time of the update is not lower than before the update, the same control parameter P is updated based on the general driver model Ma.
次に、図7を参照して、リコメンド処理(制御推奨処理)について説明する。図7は、制御推奨処理の説明図である。個人サーバ3は、リコメンドエンジン(車両制御推奨部)33を有する。
リコメンドエンジン33は、共有サーバ1から取得した一般ドライバモデルMa,車両Aから取得した運転データ(音声データ含む),及び個人ドライバモデルMbを用いて、車載コントローラ5へ推奨処理の実行を指示又は提案する。車載コントローラ5は、所定の条件が満足される場合に推奨処理を実行する。
Next, the recommendation process (control recommendation process) will be described with reference to FIG. FIG. 7 is an explanatory diagram of the control recommendation process. The
The
リコメンドエンジン33は、状態分析ブロック33aとリコメンドブロック33bとを有する。
状態分析ブロック33aは、運転データ(音声データ含む),一般ドライバモデルMa,個人ドライバモデルMbに基づいて、運転者状態,周辺環境状態,車両状態を分析する。分析には、現在の状態の分析と、近い将来(例えば、30分後、1時間後)の状態の分析が含まれる。
The
The
リコメンドブロック33bは、状態分析ブロック33aの分析出力,運転データ,一般ドライバモデルMa,個人ドライバモデルMbに基づいて、運転者に適合した最適な働きかけ(推奨処理)を導出及び出力する。なお、リコメンドエンジン33は、多くの蓄積データを用いた高度な状態分析を行うため、運転者が車両Aから離れている間においても作動し、推奨処理を適宜に導出する。
The
運転者状態は、運転者の心,体,行動の状態を含む。心(感情)状態には、注意状態,覚醒度,感情,ストレス度,運転負荷,運転モチベーション,感動,緊張度,文脈等が含まれる。体(身体)状態には、疲労度,健康状態,温冷感,機器視認性,機器操作性,乗り心地,座り心地,身体情報等が含まれる。行動状態には、注視位置/対象,注意状態,ジェスチャ,機器操作,運転行動/操作/姿勢,対話,癖,生活行動,行動意図等が含まれる。 The driver state includes the state of mind, body and behavior of the driver. The mind (emotion) state includes attention state, arousal level, emotion, stress level, driving load, driving motivation, impression, tension level, context, and the like. The body (body) state includes fatigue level, health condition, thermal sensation, device visibility, device operability, riding comfort, sitting comfort, body information, and the like. The action state includes gaze position / object, attention state, gesture, device operation, driving action / operation / posture, dialogue, habit, living action, action intention, and the like.
心状態(特に感情状態)は、音声データ(例えば、内分泌モデルを用いた感情分析),運転者の画像データ,心拍データから直接分析してもよいし、他の運転データ(運転者の撮像データ,心拍データ含む)から個人ドライバモデルMbを用いて推定してもよい。 The heart state (especially emotional state) may be analyzed directly from voice data (for example, emotion analysis using an endocrine model), driver image data, heartbeat data, or other driving data (driver imaging data). , Including the heartbeat data) using the individual driver model Mb.
周辺環境状態は、車両Aの周辺の環境であり、交通/走行環境,リスク事前把握(渋滞,路面凍結等),通信環境等を含む。
車両状態は、車両Aの走行状態であり、運転難易度,ふらつき等を含む。
The surrounding environment state is an environment around the vehicle A, and includes a traffic / driving environment, risk prior grasp (congestion, road surface freezing, etc.), communication environment, and the like.
The vehicle state is a traveling state of the vehicle A, and includes a driving difficulty level, a wobble, and the like.
リコメンドブロックは、推奨制御として、少なくとも車室空間リコメンド,走行リコメンド,情報提示リコメンドを行う。
車室空間リコメンドは、運転者に適した車室環境を提供しようとする推奨制御であり、シート/ミラー位置・角度,空調,音楽,ウェルカム演出等の提供を含む。
走行リコメンドは、運転者に適した走行ルートを提供しようとする推奨制御であり、推奨ルート,気持ちのいいルート,運転難易度が高いチャレンジルート,危険回避ルート等の提示を含む。
The recommendation block performs at least vehicle room space recommendation, travel recommendation, and information presentation recommendation as recommended control.
The vehicle interior space recommendation is a recommended control for providing a vehicle interior environment suitable for the driver, and includes provision of a seat / mirror position / angle, air conditioning, music, a welcome effect, and the like.
The travel recommendation is recommended control for providing a travel route suitable for the driver, and includes presentation of a recommended route, a pleasant route, a challenge route with high driving difficulty, a danger avoidance route, and the like.
情報提示リコメンドは、適切なタイミングと適切な提示方法による、運転者に役立つ情報の提示,高度な状態推定結果の提示を含む。運転者に役立つ情報の提示には、ルート上の見どころ情報(景色,レストラン,景勝等),道路交通/天気/ニュース,注意喚起(忘れ物,遅刻防止),ToDoリスト,思い出の画像等の情報提示が含まれる。高度な状態推定結果の提示には、高度なデッドマン判定,高度な笑顔判定の情報提示が含まれる。 The information presentation recommendation includes presentation of information useful for the driver and presentation of advanced state estimation results at an appropriate timing and an appropriate presentation method. To present useful information to the driver, information such as highlight information on the route (scenery, restaurants, scenic spots, etc.), road traffic / weather / news, alerts (forgotten things, prevention of late arrival), ToDo list, memory images, etc. Is included. The presentation of advanced state estimation results includes presentation of advanced deadman determination and advanced smile determination information.
リコメンドブロック33bは、状態分析ブロック33aによる分析状態と所定の推奨処理との間の関連性を記述する基本的な関連テーブルを用いて、適切な推奨制御を導出することができる。また、この関連テーブルを個人ドライバモデルMaや一般ドライバモデルMbにより学習し、更新していくこともできる。
車載コントローラ5は、リコメンド信号に応じて、情報提示装置9a,車載機器9b,情報通信装置9c,車両制御システム9dへ指令を出力する。このため、車載コントローラ5は、各リコメンド信号を受けた場合に実行する処理プログラムを記憶していてもよい。
The
The in-
本実施形態では、例えば、状態分析ブロック33aが分析した各運転者状態(疲労度,感情,ストレス,注意状態,覚醒度等)に応じて、周辺環境状態や車両状態を考慮して、リコメンドブロック33bが実現可能で適切な推奨処理を導出し、リコメンド信号を出力する。
In this embodiment, for example, according to each driver state (fatigue level, emotion, stress, attention state, alertness level, etc.) analyzed by the
例えば、状態分析ブロック33aが、体の状態を推定する。ここでは、運転者が疲労度を感じていると分析されたとする。これに応じて、リコメンドブロック33bは、車室空間リコメンド信号,走行ルートリコメンド信号,情報提示リコメンド信号の中から状況に応じて適宜なリコメンド信号を選択して出力する。
For example, the
車室空間リコメンド信号は、例えば、空調装置を作動させる処理,空調温度を再設定(低下)させる処理,所定の音楽チャンネル放送をスピーカから出力させる処理,音楽チャンネルを変更する処理,疲労度に応じたシート位置及びミラー角度に変更させる処理等を指示する信号である。走行ルートリコメンド信号は、例えば、難易度の高い(例えばカーブの多い)現在の設定ルートから難易度の低い(直線道路が多い)新たなルートへの変更を促す処理等を指示する信号である。情報提示リコメンド信号は、休憩や速度低下を勧める所定のメッセージを表示画面に表示させる表示処理等を指示する信号である。また、所定の体の状態,所定の心(感情)の状態が分析されたときに、適宜なリコメンド信号が選択される。 The vehicle space recommendation signal is, for example, a process for operating an air conditioner, a process for resetting (decreasing) the air conditioning temperature, a process for outputting a predetermined music channel broadcast from a speaker, a process for changing a music channel, and a fatigue level. This is a signal for instructing processing to change the sheet position and the mirror angle. The travel route recommendation signal is a signal for instructing, for example, processing for prompting a change from a currently set route having a high degree of difficulty (eg, a lot of curves) to a new route having a low degree of difficulty (a lot of straight roads). The information presentation recommendation signal is a signal for instructing a display process for displaying a predetermined message for recommending a break or speed reduction on the display screen. Further, when a predetermined body state and a predetermined heart (emotion) state are analyzed, an appropriate recommendation signal is selected.
また、個人ドライバモデルMbは、車載機器の設定に対する運転者の好み(空調温度,放送チャンネル,シート位置,ミラー角度等)を表すサブモデルを含む。例えば、運転者が運転を開始したときや、所定の体の状態又は所定の心(感情)の状態が分析されたときに、状態分析ブロック33aが、車載機器の設定が運転者の好みの設定とは異なると分析すると、リコメンドブロック33bは、好みの設定に変更するように指示する車室空間リコメンド信号を出力する。この指示には、作動パラメータ値(好みの設定値)として空調温度,放送チャンネル,シート位置,ミラー角度等が指定される。
The personal driver model Mb includes a sub model that represents the driver's preference (air conditioning temperature, broadcast channel, seat position, mirror angle, etc.) for the setting of the in-vehicle device. For example, when the driver starts driving or when a predetermined body state or a predetermined mind (emotion) state is analyzed, the
情報提示リコメンドの例を説明する。状態分析ブロック33aにより、個人ドライバモデルMbを参照して、車両Aがわき見や眠気を誘発し易い特定場所に接近している(周辺環境状態)と分析されたとする。これに応じて、リコメンドブロック33bは、特定場所の所定距離手前の地点で(適切なタイミングで)音声等による注意喚起処理を実行するようにリコメンド信号を出力する。
An example of information presentation recommendation will be described. It is assumed that the
更に、状態分析ブロック33aは、一般ドライバモデルMaを参照して、上記特定場所が一般運転者にとってもわき見や眠気を誘発し易い場所であると分析すると、リコメンドブロック33bは、特定場所よりも更に手前の地点で(適切なタイミングで)早期の注意喚起処理を実行するようにリコメンド信号を出力する。
Furthermore, when the
また、個人ドライバモデルMbは、携帯情報端末装置7cから取得した通信データ(通話音声データ,メールテキストデータ,機器設定情報等)に基づいて構築された、運転者の好み(食べ物,趣味,スポーツ等)を表すサブモデルを含む。例えば、「食べ物」の好みのサブモデルでは、機器設定情報であるブックマーク等に基づいて、好きな料理の種類(日本料理,仏料理,伊料理等)がランク付けされている。 The personal driver model Mb is a driver's preference (food, hobbies, sports, etc.) constructed based on communication data (call voice data, mail text data, device setting information, etc.) acquired from the portable information terminal device 7c. ) Is included. For example, in a favorite sub-model of “food”, a favorite dish type (Japanese cuisine, French cuisine, Italian cuisine, etc.) is ranked based on a bookmark or the like that is device setting information.
このサブモデルに基づいて、状態分析ブロック33aは、運転者が空腹を感じ始める予想時間を分析すると、リコメンドブロック33bは、その予想時間に合わせて(適切なタイミング)、好きな料理の種類のレストラン情報(料理種類,レストラン名)をナビゲーション地図上に表示させるリコメンド信号を出力する。なお、空腹度に限らず、所定の体の状態が分析されたとき,所定の心(感情)の状態が分析されたときに上記リコメンド信号を選択するように構成することができる。
Based on this sub-model, when the
また、走行ルートリコメンドの例を説明する。状態分析ブロック33aが、個人ドライバモデルMbや一般ドライバモデルMaを参照して、運転データから、運転者の感情状態又は体の状態を推定する。ここでは、運転者が感じている楽しさが低いと推定した場合を仮定する(又は、運転モチベーションの低下に伴い、1時間以内に退屈さを感じることを予測する)。
An example of a travel route recommendation will be described. The
この推定(予測)を表す分析出力を受けて、リコメンドブロック33bは、楽しさを感じさせるための(又は、退屈さを生じさせないための)推奨処理を導出する。例えば、個人ドライバモデルMbや一般ドライバモデルMaに基づいて、現在位置から所定距離範囲内において、一般的な運転者又は車両Aの運転者が楽しさを感じる場所として登録されている場所(海岸線の道路,ビュースポット等)が探索され、この場所を経由地としたルートに変更を促すリコメンド信号が出力される。車載コントローラ5は、このリコメンド信号を受け取ると、リコメンド信号に含まれる経由地をナビゲーション装置に入力する。これにより、ナビゲーション装置が新たなルート計算を行うことにより、表示画面に新たな推奨ルートが表示される。
Receiving the analysis output representing this estimation (prediction), the
また、状態分析ブロック33aが、外気温,天候等から路面凍結を推定すると、リコメンドブロック33bは、路面凍結が推定される場所を回避するようなルートを指示するリコメンド信号を出力する。
When the
車載コントローラ5は、リコメンド信号に基づく推奨処理を実行するか否かを判定するリコメンド判定ブロック53を有する。リコメンド判定ブロック53は、推奨処理がエンタメ制御処理である場合には実行を許可し、推奨処理がセーフティ制御処理である場合には実行を拒否する。車載コントローラ5では、リコメンド判定ブロック53により実行が許可された場合、エンタメ制御ブロック52aがリコメンド信号に応じて推奨処理を実行する。
The in-
なお、本実施形態では、推奨処理がエンタメ制御処理とセーフティ制御処理のいずれであるかに応じて、推奨処理の実行の可否が判断されている。しかしながら、これに限らず、推奨処理がエンタメ制御処理であっても、車両運転が不安全になるおそれがある場合には、推奨処理の実行が拒否されるように構成してもよい。例えば、推奨処理が、ブレーキ操作タイミングが遅れた場合の警報発生タイミングを遅くする処理であった場合には不安全性が増すため拒否されるが、警報発生タイミングを早める処理であった場合には逆に安全性が増すため許可される。 In the present embodiment, whether or not the recommended process can be executed is determined depending on whether the recommended process is the entertainment control process or the safety control process. However, the present invention is not limited to this, and even if the recommended process is an entertainment control process, the execution of the recommended process may be rejected when there is a possibility that the vehicle operation becomes unsafe. For example, if the recommended process is a process that delays the alarm generation timing when the brake operation timing is delayed, it will be rejected due to increased insecurity, but if it is a process that accelerates the alarm generation timing, On the other hand, it is allowed because it increases safety.
また、リコメンド判定ブロック53は、推奨処理が、車載コントローラ5による車両制御処理と矛盾する又は無効にする処理である場合にも推奨処理の実行を拒否する。例えば、車両制御処理では、天候(雨天や視界低下時)に起因して、ブレーキ操作遅れに対する警報発生タイミングを早める処理を実行するが、推奨処理が、警報発生タイミングを遅くする処理であった場合には天候起因の上記処理と矛盾又は無効にすることになるため拒否されるが、警報発生タイミングを早める処理であった場合には天候起因の上記処理と矛盾せず、無効にもしないので許可される。
The
次に、一般ドライバモデルによる個人ドライバモデルの補充処理について説明する。車両Aは、特定の地域や特定の走行動作による走行に限定されるため、個人ドライバモデルMbに用いられる基準データ(運転データ,一般データ)は、一般ドライバモデルMaに用いられる基準データよりも大幅に少ない。このため、このようなデータ量の差に応じて、個人ドライバモデルMbと一般ドライバモデルMaとの間には差が生じる。 Next, the personal driver model supplement process by the general driver model will be described. Since the vehicle A is limited to traveling in a specific region or a specific traveling operation, the reference data (driving data, general data) used for the individual driver model Mb is much larger than the reference data used for the general driver model Ma. Very few. For this reason, a difference occurs between the individual driver model Mb and the general driver model Ma according to such a difference in data amount.
リコメンドエンジン33内の比較ブロック(図示せず)は、個人ドライバモデルMbと一般ドライバモデルMaを取得し、比較処理を行う。この比較処理により、一般ドライバモデルMaには存在するが、個人ドライバモデルMbには存在しないサブモデルや一般知識等が抽出される。抽出された差分データ(サブモデルや一般知識等)は、結果検証エンジン35を経由して、蓄積データとして記憶され、学習エンジン31により学習される。これにより、車両Aに適合可能なサブモデルや一般知識等が個人ドライバモデルMbに付加される。
A comparison block (not shown) in the
次に、図2を参照して、リコメンド指示の検証処理について説明する。個人サーバ3は、理想ドライバモデルMi,差分分析エンジン34,結果検証エンジン35を更に有する。
理想ドライバモデルMiは、エキスパート運転者の運転操作に基づいて作成されており、運転者が有する運転技術と走行難易度とが釣り合った状態で、運転者が運転操作に集中しつつ楽しんでいる状態を表す理想状態のモデルである。
差分分析エンジン34は、この理想ドライバモデルMiにおける運転者状態と、運転者の音声データに基づいて分析された実際の運転者状態とを比較する。
Next, the recommendation instruction verification process will be described with reference to FIG. The
The ideal driver model Mi is created based on the driving operation of an expert driver, and the driver enjoys while concentrating on the driving operation in a state where the driving skill and driving difficulty of the driver are balanced. Is an ideal state model.
The
結果検証エンジン35は、差分分析エンジン34からの差分データを分析することにより、リコメンド信号による推奨処理の実行により、運転者状態がどのような影響を受けたのかを検証し、検証結果を記憶部3bに蓄積する。検証結果は、推奨処理の実行によって、差分がどの程度縮小したのか(理想状態に近づいた)、又は、差分がどの程度増大したのか(理想状態から遠のいた)の評価である。この検証結果を学習エンジン31が学習することにより、特定運転者により適するように個人ドライバモデルMbが更新される。
The
次に、図8を参照して、改変例に係る車両運転支援システムについて説明する。図8は改変例に係る車両運転システムの構成図である。
改変例に係る車両運転支援システムS2は、上記実施形態の車両運転支援システムSと同様、個人サーバ3が車両Aに搭載されている。即ち、車両Aには車載コントローラ5と個人サーバ3とが通信可能に搭載されている。データの流れは、車両運転支援システムSと同様である。
Next, a vehicle driving support system according to a modification will be described with reference to FIG. FIG. 8 is a configuration diagram of a vehicle driving system according to a modified example.
In the vehicle driving support system S2 according to the modified example, the
この車両運転支援システムS2では、車載コントローラ5と個人サーバ3がセキュリティ機能を持ったゲートウェイを介して分割された状態で接続されている。このため、車載コントローラ5と個人サーバ3とは、別体のユニットとして構成されている。
In the vehicle driving support system S2, the in-
車載コントローラ5と個人サーバ3を一体のユニットとして構成した場合、高度な処理が要求される個人ドライバモデルの学習処理のために一時的に演算能力が不足して、車両制御処理が遅れてしまうおそれがある。しかしながら、本改変例では、これらを別体のユニットで構成しているため、車載コントローラ5は、上記実施形態と同様に、車両制御処理のみを実行すればよいため、車両制御処理の遅れは生じない。
When the in-
また、人工知能技術は現在開発が進められている段階であり、進歩の度合いが速い。このため、本改変例では、別体に構成した個人サーバ3を、より高性能なものに容易に更新することができる。
Artificial intelligence technology is currently being developed, and progress is rapid. For this reason, in this modification, the
次に、本実施形態の車両運転支援システムの作用について説明する。
本実施形態の車両運転支援システムは、運転者の運転データに基づいて運転者に固有の個人ドライバモデルMbを学習する人工知能を有する車両内個人サーバ3(第1車載演算部)と、所定の車両制御処理を実行すると共に、個人ドライバモデルMbに基づいて車両制御処理を補正する車両コントローラ5(第2車載演算部)と、を備え、個人サーバ3と車載コントローラ5は、別体に構成されている。
Next, the operation of the vehicle driving support system of this embodiment will be described.
The vehicle driving support system according to the present embodiment includes an in-vehicle personal server 3 (first in-vehicle computing unit) having artificial intelligence that learns a personal driver model Mb unique to the driver based on driving data of the driver, A vehicle controller 5 (second in-vehicle operation unit) that executes the vehicle control process and corrects the vehicle control process based on the individual driver model Mb, and the
これにより、本実施形態では、車両内に個人ドライバモデルMbを学習する個人サーバ3と、車両制御処理を実行する車載コントローラ5とを備えているため、個人ドライバモデルMbの学習と車両制御処理の実行とを別々の演算部で行うことができる。このため、計算負荷の高い個人ドライバモデルMbの学習のために車両制御処理に遅れが生じることが防止される。また、個人サーバ3と車載コントローラ5が別体に構成されているので、車載コントローラ5は使用を継続しつつ、開発の進行が速い人工知能を有する個人サーバ3のみを交換することが容易となる。
Thereby, in this embodiment, since it has the
また、本実施形態では、個人ドライバモデルMbは、運転者の感情推定モデルを含む。運転者の感情推定モデルを作成するには、運転者及び車両の状態を示す大量の運転データが必要であるため、計算負荷が高くなる。したがって、本実施形態のように、感情推定モデルを含む個人ドライバモデルMbを作成する個人サーバ3を車載コントローラ5とは別体に構成することにより、車載コントローラ5の処理への悪影響を防止することができる。
In the present embodiment, the individual driver model Mb includes a driver's emotion estimation model. In order to create a driver's emotion estimation model, a large amount of driving data indicating the state of the driver and the vehicle is required, which increases the calculation load. Therefore, as in this embodiment, the
また、本実施形態では、車両制御処理は、複数の制御処理を含み、複数の制御処理には、自動アクセル制御,自動ブレーキ制御,及び自動操舵制御のいずれか1つ以上を伴う車両走行安全制御処理が含まれ、車載コントローラ5は、個人ドライバモデルMbに基づいて車両走行安全制御処理を補正しない。これにより、本実施形態では、走る,止まる,及び曲がることに関する制御(例えば、自動アクセル制御,自動ブレーキ制御,及び自動操舵制御)については、個人ドライバモデルMbに基づいて補正を行わないことにより、人工知能による計算不良のリスクを回避することができる。また、具体的には、車両走行安全制御処理は、障害物との衝突又は走行路逸脱を防止するための危険回避制御処理を含む。
In the present embodiment, the vehicle control process includes a plurality of control processes, and the plurality of control processes includes a vehicle travel safety control accompanied by any one or more of automatic accelerator control, automatic brake control, and automatic steering control. The process is included, and the in-
1 共有サーバ
3 個人サーバ
5 車載コントローラ
8 車両センサ
9a 情報提示装置
9b 車載機器
9c 情報通信装置
9d 車両制御システム
11 学習エンジン
31 学習エンジン
32 パラメータ更新エンジン
33 リコメンドエンジン
33a 状態分析ブロック
33b リコメンドブロック
34 差分分析エンジン
35 結果検証エンジン
40 第1同期エンジン
51 車両制御ブロック
51a 現状状態分析ブロック
51b 理想状態分析ブロック
51c 差分算出ブロック
52a エンターテイメント制御ブロック
52b セーフティ制御ブロック
53 リコメンド判定ブロック
60 第2同期エンジン
A 車両
Da,Db 蓄積データ
Ma 一般ドライバモデル
Mb 個人ドライバモデル
Mi 理想ドライバモデル
P 制御パラメータ
S,S2 車両運転支援システム
DESCRIPTION OF SYMBOLS 1
Claims (3)
所定の車両制御処理を実行すると共に、前記個人ドライバモデルに基づいて前記車両制御処理を補正する第2車載演算部と、を備え、
前記第1車載演算部と前記第2車載演算部は、別体に構成されており、
前記車両制御処理は、複数の制御処理を含み、
前記複数の制御処理には、自動アクセル制御,自動ブレーキ制御,及び自動操舵制御のいずれか1つ以上を伴う車両走行安全制御処理が含まれ、
前記第2車載演算部は、前記個人ドライバモデルに基づいて前記車両走行安全制御処理を補正しない、車両運転支援システム。 A first in-vehicle computing unit having artificial intelligence for learning a personal driver model unique to the driver based on driving data of the driver;
A second vehicle-mounted arithmetic unit that executes a predetermined vehicle control process and corrects the vehicle control process based on the personal driver model,
Wherein the second in-vehicle computing unit and the first vehicle computing unit is configured separately,
The vehicle control process includes a plurality of control processes,
The plurality of control processes include a vehicle travel safety control process involving any one or more of automatic accelerator control, automatic brake control, and automatic steering control,
The second on-vehicle calculation unit is a vehicle driving support system in which the vehicle travel safety control process is not corrected based on the personal driver model .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017065081A JP6575933B2 (en) | 2017-03-29 | 2017-03-29 | Vehicle driving support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017065081A JP6575933B2 (en) | 2017-03-29 | 2017-03-29 | Vehicle driving support system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018167647A JP2018167647A (en) | 2018-11-01 |
JP6575933B2 true JP6575933B2 (en) | 2019-09-18 |
Family
ID=64019714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017065081A Expired - Fee Related JP6575933B2 (en) | 2017-03-29 | 2017-03-29 | Vehicle driving support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6575933B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110920619B (en) * | 2019-11-25 | 2021-08-31 | 华为技术有限公司 | Vehicle regulation and control method and device and electronic equipment |
US20220324467A1 (en) * | 2019-12-27 | 2022-10-13 | Intel Corporation | Driving safety systems |
KR102532657B1 (en) * | 2020-12-07 | 2023-05-16 | 한국자동차연구원 | System and method for controlling autonomous driving vehicle |
US12116012B2 (en) | 2020-12-07 | 2024-10-15 | Korea Automotive Technology Institute | System and method for autonomous vehicle control based on monitoring driver state |
JP7045760B1 (en) * | 2021-02-25 | 2022-04-01 | 東京海上日動火災保険株式会社 | Detection device, detection method and program |
JP2022140032A (en) | 2021-03-12 | 2022-09-26 | 本田技研工業株式会社 | Driving support device and vehicle |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4791874B2 (en) * | 2006-03-31 | 2011-10-12 | 株式会社エクォス・リサーチ | Driving support device and driving action determination device |
JP6497915B2 (en) * | 2014-12-08 | 2019-04-10 | 株式会社デンソーテン | Driving support system |
-
2017
- 2017-03-29 JP JP2017065081A patent/JP6575933B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2018167647A (en) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6575934B2 (en) | Vehicle driving support system and vehicle driving support method | |
JP6558719B2 (en) | Vehicle driving support system and vehicle driving support method | |
JP6575932B2 (en) | Vehicle driving support system | |
JP6683163B2 (en) | Vehicle driving support system | |
JP6575933B2 (en) | Vehicle driving support system | |
JP6555645B2 (en) | Vehicle driving support system and vehicle driving support method | |
CN108688675B (en) | Vehicle driving support system | |
JP7329755B2 (en) | Support method and support system and support device using the same | |
JP6607223B2 (en) | Vehicle driving support system and vehicle driving support method | |
JP6083441B2 (en) | Vehicle occupant emotion response control device | |
JP6579495B2 (en) | Vehicle driving support system | |
CN113135190A (en) | Automatic driving assistance device | |
JP6579493B2 (en) | Vehicle driving support system | |
JP6579494B2 (en) | Vehicle driving support system | |
CN111731280B (en) | Vehicle control device, vehicle control method, and storage medium | |
WO2020039994A1 (en) | Car sharing system, driving control adjustment device, and vehicle preference matching method | |
JP7439738B2 (en) | Vehicle support device and vehicle support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190204 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6575933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190811 |
|
LAPS | Cancellation because of no payment of annual fees |