JP2002331850A - Driving behavior intention detector - Google Patents
Driving behavior intention detectorInfo
- Publication number
- JP2002331850A JP2002331850A JP2001136628A JP2001136628A JP2002331850A JP 2002331850 A JP2002331850 A JP 2002331850A JP 2001136628 A JP2001136628 A JP 2001136628A JP 2001136628 A JP2001136628 A JP 2001136628A JP 2002331850 A JP2002331850 A JP 2002331850A
- Authority
- JP
- Japan
- Prior art keywords
- driving
- intention
- vehicle
- gaze direction
- driving behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、運転者の視線行動
を用いて運転行動意図を検出する運転行動意図検出装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a driving action intention detecting device for detecting a driving action intention using a driver's gaze behavior.
【０００２】[0002]
【従来の技術】車両を運転する運転者の視線行動を用い
て運転行動意図を認識する装置として、特開平９−０２
０１５７号公報によるものが開示されている。この運転
行動意図検出装置は、視線方向の頻度分布パターンを作
成し、これを覚醒度が低下したときの分布パターンと比
較することによって、運転者の覚醒度低下を検出するも
のである。また、特開平８−１７８７１２号公報に開示
されている運転行動意図検出装置においては、視線検出
範囲を複数の領域に分割し、かつ分割領域における視線
の検出頻度をカウントして比較することにより、漫然運
転か否かを判定する。2. Description of the Related Art As a device for recognizing a driving action intention using a line-of-sight action of a driver driving a vehicle, Japanese Patent Application Laid-Open No. 9-02 / 1990
No. 0157 is disclosed. This driving behavior intention detection device detects a decrease in the driver's arousal level by creating a frequency distribution pattern in the line of sight direction and comparing this with a distribution pattern when the arousal level decreases. Further, in the driving action intention detection device disclosed in Japanese Patent Application Laid-Open No. 8-178712, by dividing the line-of-sight detection range into a plurality of regions, and counting and comparing the frequency of line-of-sight detection in the divided regions, It is determined whether or not the driver is driving at random.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上述し
たような従来装置では、特定の領域での視線の停留頻度
または領域間の停留頻度の比率から漫然運転かどうかを
判定しているため、集中的に特定の方向に注意を配分し
て運転している場合と漫然運転とを認識することが困難
である。例えば、運転に集中した状態で先行車に追従し
ている場合、運転者の注意は集中的に前方へ配分され、
漫然運転でなくても前方への視線の停留頻度は高くな
り、漫然運転をしていると判断してしまう。また、交通
量が少なく、側方や後方にあまり注意を配分しなくても
充分安全に走行できるような交通環境においても、前方
への視線の停留頻度は高くなる。したがって、前方方向
への視線停留頻度分布からだけでは、集中して運転して
いる場合と漫然運転とを認識することは困難である、と
いう問題点があった。However, in the conventional apparatus as described above, since it is determined whether or not the driver is inattentive driving based on the frequency of stop of the line of sight in a specific area or the ratio of the frequency of stop between the areas, a concentrated operation is performed. It is difficult to recognize the case where the driver is driving while paying attention to a specific direction and the case where the driver is driving casually. For example, when following a preceding vehicle while being concentrated on driving, the driver's attention is intensively distributed to the front,
Even if the driver is not driving indiscriminately, the frequency of glances in the forward direction increases, and it is determined that the driver is driving indiscreetly. Further, even in a traffic environment in which the traffic volume is small and the vehicle can run sufficiently safely without paying much attention to the side and the rear, the frequency of glances ahead is high. Therefore, there is a problem that it is difficult to recognize the case where the driver is intensively driving and the case where the driver is indiscriminately driving only from the gaze stop frequency distribution in the forward direction.
【０００４】本発明は、運転者の行動意図を確実に検出
することができる検出性能の優れた運転行動意図検出装
置を提供することを目的とする。[0004] It is an object of the present invention to provide a driving behavior intention detecting device having excellent detection performance capable of reliably detecting a driver's behavior intention.
【０００５】[0005]
【課題を解決するための手段】一実施の形態を示す以下
の図に対応づけて本発明を説明する。 （１）図１において、請求項１に記載された運転行動意
図検出装置は、車両固定投影平面における運転者の視線
方向を検出する視線方向検出手段１と、視線方向検出手
段１で検出された視線方向の、所定時間範囲の視線方向
データを用いて、複数に分割された領域間での視線方向
の遷移頻度に関する分布を算出する視線方向頻度分布算
出手段３と、視線方向頻度分布算出手段３で算出された
視線方向頻度分布に基づいて運転行動意図を推定する運
転行動意図推定手段１１とを有することにより上述した
目的を達成する。 （２）図１より、請求項２の発明は、請求項１の運転行
動意図検出装置において、視線方向頻度分布算出手段３
で算出される視線方向頻度分布は、領域間での視線方向
の遷移頻度に加えて、同一の領域における視線方向の停
留頻度も加味して算出することを特徴とする。 （３）図１より、請求項３の発明は、請求項１または請
求項２に記載の運転行動意図検出装置において、運転行
動意図推定手段１１における運転行動意図の推定は、検
出対象とする複数の運転行動パターンでの、運転者の視
線方向頻度分布に関する統計的特徴に基づいて行うこと
を特徴とする。 （４）図１より、請求項４の発明は、請求項１から請求
項３のいずれかに記載の運転行動意図検出装置におい
て、運転行動意図推定手段１１における運転行動意図の
推定は、かくれマルコフモデルを用いてあらかじめ算出
した、検出対象とする複数の運転行動パターンに関する
パラメータと、視線方向頻度分布とに基づいて行うこと
を特徴とする。 （５）図１５より、請求項５の発明は、請求項４の運転
行動意図検出装置において、かくれマルコフモデルを用
いて算出したパラメータを変更するパラメータ変更手段
４をさらに有し、運転行動意図推定手段１１における運
転行動意図の推定は、パラメータ変更手段４で変更され
たパラメータと視線方向頻度分布とに基づいて行うこと
を特徴とする。 （６）図１より、請求項６の発明は、請求項１から請求
項５のいずれかに記載の運転行動意図検出装置におい
て、運転行動意図推定手段１１で推定される運転行動意
図は、わき見運転、漫然運転、車線変更、制動開始、通
常運転の少なくともいずれかであることを特徴とする。 （７）図１により、請求項７の発明は、請求項１から請
求項６のいずれかに記載の運転行動意図検出装置におい
て、先行車への接近度合または隣接車線の車両との距離
等の自車両周囲の環境情報を計測する環境情報計測手段
５と、自車両の横方向または前後方向の加速度あるいは
ヨーレート等の自車両挙動データを計測する自車両挙動
データ計測手段７と、アクセルペダル操作量やブレーキ
ペダル操作量、操舵角等の運転操作量を計測する運転操
作量計測手段９とのうち少なくともいずれかを有し、少
なくとも前記環境情報計測手段５が設けられたときは環
境情報計測手段５で計測された環境情報を、少なくとも
自車両挙動データ計測手段７が設けられたときは自車両
挙動データ計測手段７で計測された自車両挙動データ
を、少なくとも運転操作量計測手段９が設けられたとき
は運転操作量計測手段９で計測された運転操作量を、視
線方向頻度分布とともに用いて運転行動意図推定手段１
１における運転行動意図の推定を行うことを特徴とす
る。 （８）図７および図８より、請求項８の発明は、請求項
１から請求項７のいずれかに記載の運転行動意図検出装
置において、撮像素子２３１を用いて撮像された自車両
前方画像に二値化等の画像処理を行って検出される走行
車線マーカ間における自車両の横方向偏位量を算出する
自車両横偏位量算出手段２０１と、車室内に設置され、
警報を発生する警報発生手段２０５とを有し、自車両横
偏位量算出手段２０１で算出された横方向偏位量が所定
値以上の場合において、運転行動意図推定手段１１で、
運転者の意図が車線変更であると推定されない場合に
は、警報発生手段２０５による警報の発生を行うことを
特徴とする。 （９）図７および図８より、請求項９の発明は、請求項
８の運転行動意図検出装置において、運転者のステアリ
ング操舵量を検出する操舵量検出手段２０７と、自車両
横偏位量算出手段２０１で算出された車線内の自車両横
偏位量と操舵量検出手段２０７で検出される操舵量とに
応じて、モータ出力指令値を算出して出力するモータ制
御手段２０９と、モータ制御手段２０９から出力される
モータ出力指令値に応じた操舵トルクを操舵装置に選択
的に付加する操舵トルク付与手段２１１とをさらに有
し、算出された横方向偏位量が所定値以上の場合におい
て、運転行動意図推定手段１１で、運転者の意図が車線
変更であると推定されない場合には、警報発生手段２０
５による警報の発生または操舵トルク付与手段２１１に
よる操舵出力を行うことを特徴とする。 （１０）図１１より、請求項１０の発明は、請求項１か
ら請求項７のいずれかに記載の運転行動意図検出装置に
おいて、自車線前方を走行する先行車への接近度合を計
測する先行車接近度合計測手段３０１と、車室内に設置
され、警報を発生する警報発生手段３０５とを有し、計
測された先行車接近度合が所定値以上であって、運転行
動意図推定手段１１で、運転者の意図が制動開始である
と推定されない場合には、警報発生手段２０５による警
報の発生を行うことを特徴とする。 （１１）図１１より、請求項１１の発明は、請求項８ま
たは請求項９に記載の運転行動意図検出装置において、
自車線前方を走行する先行車への接近度合を計測する先
行車接近度合計測手段３０１をさらに有し、計測された
先行車接近度合が所定値以上であって、運転行動意図推
定手段１１で、運転者の意図が制動開始であると推定さ
れない場合には、警報発生手段３０５による警報の発生
を行うことを特徴とする。The present invention will be described with reference to the following drawings showing one embodiment. (1) In FIG. 1, the driving action intention detecting device described in claim 1 is detected by a line-of-sight direction detecting unit 1 that detects a line-of-sight direction of a driver on a vehicle fixed projection plane, and is detected by a line-of-sight direction detecting unit 1. A gaze direction frequency distribution calculating unit 3 that calculates a distribution of a gaze direction transition frequency between a plurality of divided regions using gaze direction data of a predetermined time range of the gaze direction, and a gaze direction frequency distribution calculating unit 3 The above-mentioned object is achieved by having the driving action intention estimating means 11 for estimating the driving action intention based on the gaze direction frequency distribution calculated in (1). (2) According to FIG. 1, a second aspect of the present invention relates to the gaze direction frequency distribution calculating means 3 in the driving action intention detecting apparatus of the first aspect.
The gaze direction frequency distribution calculated in (1) is characterized in that the gaze direction frequency distribution is calculated in consideration of the gaze direction stop frequency in the same region in addition to the gaze direction transition frequency between the regions. (3) According to FIG. 1, the invention of claim 3 is the driving action intention detecting device according to claim 1 or 2, wherein the driving action intention estimation means 11 estimates the driving action intention by a plurality of detection targets. The driving behavior pattern is characterized in that it is performed based on statistical characteristics related to the driver's gaze direction frequency distribution. (4) According to FIG. 1, the invention of claim 4 is the driving action intention detecting device according to any one of claims 1 to 3, wherein the estimation of the driving action intention by the driving action intention estimation means 11 is performed by Hidden Markov. The method is characterized in that the detection is performed based on parameters relating to a plurality of driving behavior patterns to be detected, which are calculated in advance using a model, and a gaze direction frequency distribution. (5) According to FIG. 15, the invention of claim 5 is the driving action intention detecting device of claim 4, further comprising parameter changing means 4 for changing a parameter calculated using a hidden Markov model, and estimating the driving action intention. The estimation of the driving action intention in the means 11 is performed based on the parameters changed by the parameter changing means 4 and the gaze direction frequency distribution. (6) According to FIG. 1, the invention of claim 6 is the driving action intention detecting device according to any one of claims 1 to 5, wherein the driving action intention estimated by the driving action intention estimating means 11 is aside. It is characterized by at least one of driving, lazy driving, lane change, braking start, and normal driving. (7) According to FIG. 1, the invention of claim 7 is the driving action intention detection device according to any one of claims 1 to 6, wherein the degree of approach to a preceding vehicle or the distance from a vehicle in an adjacent lane is determined. Environmental information measuring means 5 for measuring environmental information around the own vehicle; own vehicle behavior data measuring means 7 for measuring own vehicle behavior data such as lateral or longitudinal acceleration or yaw rate of the own vehicle; And at least one of driving operation amount measuring means 9 for measuring a driving operation amount such as a brake pedal operation amount, a steering angle, and the like. When at least the own vehicle behavior data measuring means 7 is provided, at least the own vehicle behavior data measured by the own vehicle behavior data measuring means 7 A driving operation amount measured in the driving operation quantity measurement means 9 when the work amount measuring means 9 is provided, driving intention estimating means used in conjunction with line-of-sight direction frequency distribution 1
1 is characterized by estimating the driving action intention. (8) According to FIGS. 7 and 8, the invention of claim 8 is the driving behavior intention detection device according to any one of claims 1 to 7, and the front image of the own vehicle captured by using the imaging element 231. Own vehicle lateral deviation amount calculating means 201 for calculating the lateral deviation amount of the own vehicle between the driving lane markers detected by performing image processing such as binarization, and installed in the vehicle interior;
A warning generating means 205 for generating a warning, and when the lateral deviation calculated by the host vehicle lateral deviation calculating means 201 is equal to or more than a predetermined value, the driving action intention estimating means 11
When it is not estimated that the driver's intention is to change lanes, an alarm is generated by the alarm generating means 205. (9) According to FIGS. 7 and 8, the invention of claim 9 is the driving action intention detecting device of claim 8, wherein the steering amount detecting means 207 for detecting the steering amount of the driver, and the vehicle lateral deviation amount A motor control means 209 for calculating and outputting a motor output command value in accordance with the lateral displacement of the vehicle in the lane calculated by the calculation means 201 and the steering amount detected by the steering amount detection means 207; A steering torque applying means for selectively adding a steering torque according to a motor output command value output from the control means to the steering device, wherein the calculated lateral deviation amount is equal to or more than a predetermined value. In the case where the driving intention estimating means 11 does not estimate that the driver's intention is to change lanes, the warning generating means 20
5 or a steering output by the steering torque applying means 211 is performed. (10) According to FIG. 11, a tenth aspect of the present invention is a driving behavior intention detecting device according to any one of the first to seventh aspects, wherein the preceding behavior of measuring the degree of approach to a preceding vehicle traveling ahead of the own lane. It has a vehicle approach degree measuring means 301 and an alarm generating means 305 which is installed in the vehicle interior and generates an alarm, and the measured preceding vehicle approach degree is equal to or more than a predetermined value, and the driving action intention estimating means 11 When it is not estimated that the driver's intention is to start braking, an alarm is generated by the alarm generating means 205. (11) According to FIG. 11, the invention according to claim 11 is the driving action intention detection device according to claim 8 or claim 9,
The vehicle further includes a preceding vehicle approach measuring unit 301 that measures the approach to a preceding vehicle traveling ahead of the own lane, and the measured preceding vehicle approach is a predetermined value or more, and the driving action intention estimating unit 11 When the driver's intention is not presumed to be the start of braking, an alarm is generated by the alarm generating means 305.
【０００６】なお、本発明の構成を説明する、上記課題
を解決するための手段の項では、本発明をわかりやすく
説明するために実施の形態の図を用いたが、これにより
本発明が実施の形態に限定されるものではない。In the section of the means for solving the above-mentioned problems, which explains the structure of the present invention, the drawings of the embodiments are used to explain the present invention in an easy-to-understand manner. However, the present invention is not limited to this.
【０００７】[0007]
【発明の効果】本発明によれば、以下のような効果を奏
することができる。 （１）請求項１の発明によれば、運転者の視線方向を検
出する視線方向検出手段と、複数に分割された領域間で
の視線方向の遷移頻度に関する分布を算出する視線方向
遷移頻度算出手段とを有し、算出された視線方向頻度分
布に基づいて運転行動意図を推定するので、漫然状態で
あるかを含めた運転者の運転行動意図を確実に検出する
ことができる。 （２）請求項２の発明によれば、視線方向遷移頻度算出
手段で算出される視線方向頻度分布は、領域間での視線
方向の遷移頻度に加えて同一の領域における視線方向の
停留頻度も加味して算出するので、漫然状態であるかを
含めた運転者の運転行動意図を確実に検出することがで
きる。 （３）請求項３の発明によれば、検出対象とする複数の
運転行動パターンでの、運転者の視線方向頻度分布に関
する統計的特徴に基づいて運転行動意図の推定を行うの
で、漫然状態であるかを含めた運転者の運転行動意図を
確実に検出することができる。 （４）請求項４の発明によれば、時系列データのパター
ン認識に優れたかくれマルコフモデルを用いてあらかじ
め算出した、検出対象とする運転行動パターンに関する
パラメータと、視線方向頻度分布とに基づいて運転行動
意図の推定を行うので、より確実な運転行動意図の検出
が可能である。 （５）請求項５の発明によれば、かくれマルコフモデル
を用いて算出した運転行動パターンに関するパラメータ
を変更するので、個々の運転者に対応した運転行動意図
検出装置を提供することができる。 （６）請求項６の発明によれば、検出対象とする運転行
動意図は、わき見運転、漫然運転、車線変更、制動開
始、通常運転の少なくともいずれかであるので、運転者
のさまざまな運転状況に対応した運転行動意図の検出が
可能である。 （７）請求項７の発明によれば、自車両周辺の環境情報
と自車両挙動データと運転操作量のうち少なくともいず
れか、および視線方向頻度分布とに基づいて運転行動意
図の推定を行うので、車両走行状況に対応した検出精度
の高い運転行動意図検出装置を提供することができる。 （８）請求項８および請求項９の発明によれば、走行車
線マーカ間における自車両の横方向偏位量と、操舵量を
検出し、横方向偏位量が所定値以上の場合において、車
線変更の意図が検出されない場合には、警報の発生また
は操舵トルク付与を行う運転支援機能をさらに備えてい
るので、上述したような効果に加えて、自車両が車線逸
脱しそうな状況において、運転者の行動意図に対応した
的確な運転支援機能を提供することができる。 （９）請求項１０および請求項１１の発明によれば、先
行車への接近度合を検出し、検出された先行車接近度合
が所定値以上で制動開始の意図が検出されない場合に
は、警報を発生させ、先行車への接近を確実に運転者に
知らせることができる。According to the present invention, the following effects can be obtained. (1) According to the first aspect of the present invention, a gaze direction detecting means for detecting a gaze direction of a driver, and a gaze direction transition frequency calculation for calculating a distribution relating to a gaze direction transition frequency among a plurality of divided areas. Means for estimating the driving action intention based on the calculated gaze direction frequency distribution, so that the driver's driving action intention including whether the driver is in a lazy state can be reliably detected. (2) According to the second aspect of the present invention, the gaze direction frequency distribution calculated by the gaze direction transition frequency calculation means includes not only the gaze direction transition frequency between regions but also the gaze direction stationary frequency in the same region. Since the calculation is performed in consideration of this, it is possible to reliably detect the driver's intention to drive, including whether the driver is in a lazy state. (3) According to the third aspect of the present invention, the driving behavior intention is estimated based on the statistical characteristics of the gaze direction frequency distribution of the driver in a plurality of driving behavior patterns to be detected. It is possible to reliably detect the driver's driving intention, including whether the driver is present. (4) According to the invention of claim 4, based on the parameters relating to the driving behavior pattern to be detected and the gaze direction frequency distribution, which are preliminarily calculated using a hidden Markov model that is excellent in pattern recognition of time-series data. Since the driving action intention is estimated, it is possible to more reliably detect the driving action intention. (5) According to the fifth aspect of the present invention, since the parameters related to the driving behavior pattern calculated using the hidden Markov model are changed, it is possible to provide a driving behavior intention detecting device corresponding to each driver. (6) According to the invention of claim 6, since the driving behavior intention to be detected is at least one of driving aside, lazy driving, changing lanes, starting braking, and normal driving, various driving situations of the driver are provided. It is possible to detect a driving action intention corresponding to. (7) According to the invention of claim 7, the driving action intention is estimated based on at least one of the environment information around the own vehicle, the own vehicle behavior data, the driving operation amount, and the gaze direction frequency distribution. In addition, it is possible to provide a driving action intention detecting device with high detection accuracy corresponding to a vehicle running situation. (8) According to the eighth and ninth aspects of the present invention, the lateral deviation amount and the steering amount of the own vehicle between the traveling lane markers are detected, and when the lateral deviation amount is equal to or more than a predetermined value, When the intention of changing lanes is not detected, the vehicle further includes a driving support function of issuing an alarm or applying steering torque.In addition to the above-described effects, driving is performed in a situation where the vehicle is likely to depart from the lane. It is possible to provide an accurate driving support function corresponding to the intention of the driver. (9) According to the tenth and eleventh aspects of the invention, the degree of approach to the preceding vehicle is detected, and if the detected degree of approach to the preceding vehicle is equal to or greater than a predetermined value and the intention to start braking is not detected, an alarm is issued. Is generated, and the driver can be reliably informed of the approach to the preceding vehicle.
【０００８】[0008]
【発明の実施の形態】《第１の実施の形態》本発明によ
る運転行動意図検出装置の第１の実施の形態の概略構成
を図１に示す。この運転行動意図検出装置は、視線方向
検出手段１、視線方向頻度分布算出手段３、環境情報計
測手段５、車両挙動データ計測手段７、運転操作量計測
手段９、運転行動意図推定手段１１とから構成される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS << First Embodiment >> FIG. 1 shows a schematic configuration of a first embodiment of a driving action intention detecting device according to the present invention. The driving behavior intention detecting device includes a gaze direction detecting unit 1, a gaze direction frequency distribution calculating unit 3, an environment information measuring unit 5, a vehicle behavior data measuring unit 7, a driving operation amount measuring unit 9, and a driving behavior intention estimating unit 11. Be composed.
【０００９】図２に、この運転行動意図検出装置の機能
構成のブロック図を示す。運転者の眼球を含む顔画像を
撮像するＣＣＤカメラ２１と、赤外線光を運転者顔面に
照射する赤外線照射器２３は、車室内運転者前方のメー
タクラスタ等に固定設置される（図１７）。ＣＣＤカメ
ラ２１によって撮像された画像データおよび赤外線照射
器２３によるデータは画像処理ユニット２５へ入力さ
れ、瞳孔中心・角膜反射点検出部２７で、運転者の瞳孔
中心および角膜反射点を検出する。FIG. 2 is a block diagram showing a functional configuration of the driving behavior intention detecting device. A CCD camera 21 for capturing a face image including a driver's eyeball and an infrared irradiator 23 for irradiating infrared light to the driver's face are fixedly installed on a meter cluster or the like in front of the driver in the vehicle interior (FIG. 17). The image data captured by the CCD camera 21 and the data from the infrared irradiator 23 are input to the image processing unit 25, and the pupil center / corneal reflection point detection unit 27 detects the driver's pupil center and corneal reflection point.
【００１０】これらの検出結果を用いて、視線方向検出
部２９で視線方向Ｅ（θｕ，θｖ）を求める。この視線
方向Ｅ（θｕ，θｖ）は、基準アイポイントＰ０を原点
とする角度系座標値で表される。算出方法については後
述する。Using these detection results, the line-of-sight direction detection unit 29 determines the line-of-sight direction E (θu, θv). The line-of-sight direction E (θu, θv) is represented by an angle-based coordinate value with the reference eye point P0 as the origin. The calculation method will be described later.
【００１１】検出された視線方向データＥ（θｕ，θ
ｖ）は、電子制御ユニット３１へ送信される。視線方向
領域判定部３３では、受信した視線方向データＥ（θ
ｕ，θｖ）が複数に分割された領域Ｄのどれに存在する
かを判定する。領域Ｄを設定するには、図３に示すよう
に、車両固定投影平面を複数の矩形領域に分割する方法
や、図４に示すように、ミラーやメータなど特定の領域
を定義する方法がある。The detected line-of-sight direction data E (θu, θ
v) is transmitted to the electronic control unit 31. The gaze direction area determination unit 33 receives the gaze direction data E (θ
u, θv) is determined in which of the divided regions D. To set the area D, there are a method of dividing the vehicle fixed projection plane into a plurality of rectangular areas as shown in FIG. 3, and a method of defining a specific area such as a mirror or a meter as shown in FIG. .
【００１２】図４のように領域Ｄを設定すると、抽出し
たい領域が隣接していない場合があるが、設定領域外に
視線方向Ｅ（θｕ，θｖ）が存在する場合には、運転者
の視線が領域間を遷移していると取り扱う。領域間の遷
移は、視線方向データＥ（θｕ，θｖ）を一定時間視線
方向頻度分布算出手段３内のバッファに保持し、直近の
抽出領域内に存在するデータと最新の抽出領域内に存在
するデータとから検出される。When the area D is set as shown in FIG. 4, the area to be extracted may not be adjacent to the area. However, when the line of sight E (θu, θv) exists outside the set area, the driver's line of sight may be detected. Is treated as transitioning between regions. For the transition between the regions, the line-of-sight direction data E (θu, θv) is held in a buffer in the line-of-sight direction frequency distribution calculation means 3 for a certain period of time, and the data exists in the latest extraction region and the latest extraction region. Detected from the data.
【００１３】設定領域Ｄの車両固定投影面上の範囲は、
視線方向領域マップ格納部３５に記憶される。この範囲
は、領域Ｄの要素であるｎ個の領域ｄｉ｛Ｄ∋ｄｉ；ｉ
＝１，…，ｎ｝の角度データによるマップとして設定さ
れている。例えば、図４中の領域ｄ１を設定するために
必要な４点は、ｄ１＿ｐ１（ｄ１＿ｐ１＿ｕ，ｄ１＿ｐ
１＿ｖ）、ｄ１＿ｐ２（ｄ１＿ｐ２＿ｕ，ｄ１＿ｐ２＿
ｖ）、ｄ１＿ｐ３（ｄ１＿ｐ３＿ｕ，ｄ１＿ｐ３＿
ｖ）、ｄ１＿ｐ４（ｄ１＿ｐ４＿ｕ，ｄ１＿ｐ４＿ｖ）
のように表される。これらのデータは、電子制御ユニッ
ト３１起動時にロードされ、視線方向領域マップＤｍと
してメモリ上に常駐する。The range of the setting area D on the vehicle fixed projection plane is:
It is stored in the gaze direction area map storage unit 35. This range includes n regions di ｛D ｛di; i, which are elements of region D.
= 1,..., N}. For example, four points necessary for setting the area d1 in FIG. 4 are d1_p1 (d1_p1_u, d1_p
1_v), d1_p2 (d1_p2_u, d1_p2_
v), d1_p3 (d1_p3_u, d1_p3_
v), d1_p4 (d1_p4_u, d1_p4_v)
It is represented as These data are loaded when the electronic control unit 31 is started, and are resident on the memory as the line-of-sight direction area map Dm.
【００１４】視線方向領域判定部３３で該当領域ｄｉを
判定された視線方向データＥは、視線方向頻度分布行列
の要素ｅ（ｄｉｊ）として扱われる。ここで、ｄｉｊは
視線方向領域ｊから視線方向領域ｉへの遷移を示す。視
線方向頻度分布算出部３７では、視線方向データｅ（ｄ
ｉｊ）から，視線方向頻度分布Ｆを算出する。The gaze direction data E for which the corresponding region di has been determined by the gaze direction region determination section 33 is treated as an element e (dij) of the gaze direction frequency distribution matrix. Here, dij indicates a transition from the line-of-sight direction region j to the line-of-sight direction region i. The gaze direction frequency distribution calculation unit 37 calculates the gaze direction data e (d
ij), the gaze direction frequency distribution F is calculated.
【００１５】運転行動意図推定部３９には、視線方向頻
度分布算出部３７から視線方向頻度分布Ｆ、運転操作量
入力部４３から運転操作量、車両挙動データ入力部４５
から車両挙動データおよび環境情報データ入力部４７か
ら環境情報がそれぞれ入力される。これらの観測データ
の任意の組み合わせを用いて、運転行動意図の推定を行
う。認識対象とする運転行動パターンとして、例えばわ
き見、漫然運転（意図は車線維持だが、意図を遂行する
ことが困難と推測される状態）、車線変更、制動開始、
通常の車線維持が設定される。The driving action intention estimating unit 39 includes a gaze direction frequency distribution F from the gaze direction frequency distribution calculating unit 37, a driving operation amount from the driving operation amount input unit 43, and a vehicle behavior data input unit 45.
The vehicle behavior data and the environment information are input from the environment information data input unit 47 respectively. An arbitrary combination of these observation data is used to estimate a driving action intention. Driving behavior patterns to be recognized include, for example, aside, lazy driving (the intention is to keep the lane, but it is assumed that it is difficult to fulfill the intention), lane change, braking start,
Normal lane keeping is set.
【００１６】それぞれの運転行動パターンに関する観測
データの時系列変化パターンの統計的特徴を運転行動モ
デルλｉ｛ｉ＝１，．．．，ｋ｝として学習しておき、
観測ベクトルＯが運転行動モデルλｉから出力されたと
する尤度Ｐ（Ｏ｜λｉ）を、事後確率として算出する。
算出された尤度Ｐが最も高い運転行動パターンが運転者
の運転行動意図であるとして認識される。あらかじめ学
習された運転行動モデルλｉに関するパラメータは、運
転行動パラメータ格納部４１に記憶され、電子制御ユニ
ット３１起動時に読み出される。推定結果は、推定運転
行動意図出力部４９に出力される。The statistical characteristics of the time-series change pattern of the observation data for each driving behavior pattern are represented by driving behavior models λi ｛i = 1,. . . , K},
The likelihood P (O | λi) that the observation vector O is output from the driving behavior model λi is calculated as the posterior probability.
The driving action pattern having the highest calculated likelihood P is recognized as the driver's driving action intention. The parameters related to the driving behavior model λi learned in advance are stored in the driving behavior parameter storage unit 41 and are read out when the electronic control unit 31 is started. The estimation result is output to the estimated driving action intention output unit 49.
【００１７】ここで、瞳孔中心・角膜反射点検出部２７
で、運転者の視線方向Ｅ（θｕ，θｖ）を算出する方法
を説明する。検出された瞳孔中心および角膜反射点の２
点の画像上の座標位置関係から、視線方向として、車両
前方方向を向いたときの２次元の車両固定投影面角度座
標系における水平方向角度θｕ、および垂直方向角度θ
ｖを算出する。ここで、図３に示すように、車両固定投
影面角度座標系は、基準アイポイントＰ０を原点とし、
ｘ軸を水平方向角度θｕ、ｙ軸を垂直方向角度θｖとす
る。Here, the pupil center / corneal reflection point detection unit 27
Now, a method of calculating the driver's line-of-sight direction E (θu, θv) will be described. 2 of detected pupil center and corneal reflection point
From the coordinate positional relationship of the point on the image, the horizontal direction angle θu and the vertical direction angle θ in the two-dimensional vehicle fixed projection plane angle coordinate system when facing the vehicle forward direction as the line of sight.
Calculate v. Here, as shown in FIG. 3, the vehicle fixed projection plane angle coordinate system has a reference eye point P0 as an origin,
The x-axis is a horizontal angle θu, and the y-axis is a vertical angle θv.
【００１８】上記角膜反射法および画像処理による視線
計測手法では、角膜上に生じる反射点を利用することに
よって頭部移動の補正を行うことができる。この手法
は、「Ｂｅｈａｖｉｏｒ Ｒｅｓｅａｒｃｈ Ｍｅｔｈ
ｏｄｓ＆Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ １９７５，
３９７−４２９，Ｓｕｒｖｅｙ ｏｆ ｅｙｅ ｍｏｖ
ｅｍｅｎｔ ｒｅｃｏｒｄｉｎｇ ｍｅｔｈｏｄｓ」等
に開示されている手法を用いる。車両固定投影面距離座
標系における基準アイポイントＰ０と頭部移動補正後の
アイポイントＰ１を考慮した、水平方向距離ＬＰｕと垂
直方向距離ＬＰｖとから、運転者の視線方向Ｅ（θｕ，
θｖ）は以下の（式１）で示される。In the eye gaze measuring method using the corneal reflection method and the image processing, head movement can be corrected by using a reflection point generated on the cornea. This technique is described in “Behavior Research Meth.
ods & Instrumentation 1975,
397-429, Survey of eye mov
For example, a technique disclosed in “element recording methods” or the like is used. From the horizontal distance LPu and the vertical distance LPv in consideration of the reference eye point P0 and the eye point P1 after the head movement correction in the vehicle fixed projection plane distance coordinate system, the driver's gaze direction E (θu,
θv) is represented by the following (Equation 1).
【数１】 θｕ＝Ｋｕ×ＬＰｕ θｖ＝Ｋｖ×ＬＰｖ （式１） ここで，Ｋｕ、Ｋｖは車両固定投影面距離座標系を角度
座標系へ変換するための、水平方向距離ＬＰｕ、垂直方
向距離ＬＰｖにそれぞれかかる係数である。[Formula 1] θu = Ku × LPu θv = Kv × LPv (Equation 1) where Ku and Kv are a horizontal distance LPu and a vertical distance for converting a vehicle fixed projection plane distance coordinate system into an angular coordinate system. LPv is a coefficient applied to each.
【００１９】つぎに、運転行動意図推定部３９において
運転行動意図を推定するために用いる観測ベクトルＯに
ついて説明する。観測ベクトルＯは、前述した観測デー
タ、すなわち、視線方向頻度分布Ｆ、運転操作量、車両
挙動データおよび環境情報から算出される。視線方向頻
度分布Ｆとして、直前の所定時間区間長の時間窓ＴＷ１
における、視線方向領域ｄｉ間の遷移、あるいは領域ｄ
ｉ間の遷移と同一領域ｄｉにおける停留に関する頻度、
または総フレーム数における存在割合に関する分布を用
いる。この分布Ｆは、分割する領域数をｎ個とすると、
ｎ×ｎの視線方向頻度分布行列として表現できる。行列
の要素ｅ（ｄｉｊ）において、ｉ＝ｊは停留、ｉ≠ｊは
遷移を示す。Next, the observation vector O used for estimating the driving action intention in the driving action intention estimating section 39 will be described. The observation vector O is calculated from the above-described observation data, that is, the gaze direction frequency distribution F, the driving operation amount, the vehicle behavior data, and the environment information. As the gaze direction frequency distribution F, the time window TW1 of the immediately preceding predetermined time section length
At the transition between the line-of-sight direction regions di or the region d
frequency of transition between i and parking in the same area di,
Alternatively, a distribution relating to the existence ratio in the total number of frames is used. This distribution F is as follows, assuming that the number of divided regions is n.
It can be expressed as an n × n gaze direction frequency distribution matrix. In the matrix element e (dij), i = j indicates stationary, and i ≠ j indicates transition.
【００２０】運転操作量としては、アクセルペダル開度
センサで計測されるアクセルペダル開度（アクセルペダ
ル操作量）、踏力計で計測されるブレーキ踏力（ブレー
キペダル操作量）、操舵角センサで計測される操舵角等
を用いる。車両挙動データとしては、車速センサで計測
される自車速度、加速度センサで計測される前後方向・
横方向の加速度、レイトジャイロで計測されるヨーレイ
ト等を用いる。また、環境情報としては、隣接車線の車
両への距離や、車両前方に設置したレーザレーダやミリ
波レーダで計測された車間距離、車間時間（車間距離／
自車速度）、ＴＴＣ（車間距離／相対車速）またはＴＴ
Ｃの逆数（ＴＴＣ-1）などの先行車接近度合を使用する
ことができる。The driving operation amount is measured by an accelerator pedal opening amount (accelerator pedal operation amount) measured by an accelerator pedal opening sensor, a brake pedal force (brake pedal operation amount) measured by a pedal dynamometer, and measured by a steering angle sensor. Steering angle or the like. The vehicle behavior data includes the vehicle speed measured by the vehicle speed sensor, the longitudinal direction measured by the acceleration sensor,
A lateral acceleration, a yaw rate measured by a rate gyro, and the like are used. The environmental information includes a distance to a vehicle in an adjacent lane, a vehicle-to-vehicle distance measured by a laser radar or a millimeter-wave radar installed in front of the vehicle, a vehicle-to-vehicle time (vehicle-to-vehicle distance /
Own vehicle speed), TTC (inter-vehicle distance / relative vehicle speed) or TT
A preceding vehicle approach, such as the reciprocal of C (TTC -1 ), may be used.
【００２１】そして、これらの観測データの時系列デー
タに基づいて観測ベクトルＯを算出する。この観測ベク
トルＯは、分割された視線方向領域ｄｉがｎ個、環境情
報がｂｎ＿ｅｎｖ種類、車両挙動データがｂｎ＿ｖｅｈ
種類、運転操作量がｂｎ＿ｏｐｅ種類とすると、最大ｎ
×ｎ＋ｂｎ＿ｅｎｖ＋ｂｎ＿ｖｅｈ＋ｂｎ＿ｏｐｅ次元
の正規化ベクトルとして表現される。Then, the observation vector O is calculated based on the time series data of these observation data. This observation vector O has n divided line-of-sight direction regions di, bn_env type environmental information, and bn_veh vehicle behavior data.
Assuming that the type and operation amount are bn_op types, the maximum is n
× n + bn_env + bn_veh + bn_ope It is expressed as a normalized vector of dimension.
【００２２】以下、運転行動意図推定部３９における運
転行動意図の推定について説明する。本発明による運転
行動意図検出装置においては、認識対象とする運転行動
パターンでの、視線方向頻度分布Ｆなどの観測データに
関する統計的特徴に基づいて運転行動意図の推定を行
う。例えば、時系列データのパターン認識手法に優れる
かくれマルコフモデルを使用することができる。かくれ
マルコフモデルを用いて認識を行うためには、まず認識
対象とする運転行動パターンのモデルλｉ≡(πｉ，Ａ
ｉ，Ｂｉ)のパラメータを学習しておく必要がある。こ
こで、πｉは初期存在確率，Ａｉは状態間遷移確率，Ｂ
ｉは出力確率をそれぞれ示す。図５は、かくれマルコフ
モデルの構造を示し、ひとつの運転行動モデルλｉを表
す状態Ｓ１〜Ｓ３が、時間の推移に伴って変位していく
様子を示している。Hereinafter, the estimation of the driving action intention in the driving action intention estimating section 39 will be described. In the driving action intention detection device according to the present invention, the driving action intention is estimated based on statistical characteristics of observation data such as the gaze direction frequency distribution F in the driving action pattern to be recognized. For example, it is possible to use a hidden Markov model that is excellent in a pattern recognition method for time-series data. In order to perform recognition using the hidden Markov model, first, a model λi≡ (πi, A
It is necessary to learn the parameters of i, Bi). Here, πi is the initial existence probability, Ai is the transition probability between states, B
i indicates an output probability. FIG. 5 shows the structure of the hidden Markov model, and shows how the states S1 to S3 representing one driving behavior model λi are displaced with time.
【００２３】かくれマルコフモデルのパラメータ推定に
は、一般的にＢａｕｍ−Ｗｅｌｃｈアルゴリズムが用い
られる。なお、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム、お
よび後述するＦｏｒｗａｒｄ−Ｂａｃｋｗａｒｄアルゴ
リズムは、例えば文献『Ｘ．Ｄ．Ｈｕａｎｇ，Ｙ．Ａｒ
ｉｋｉ ａｎｄ Ｍ．Ａ．Ｊａｃｋ． ＨｉｄｄｅｎＭ
ａｒｋｏｖ Ｍｏｄｅｌｓ ｆｏｒ Ｓｐｅｅｃｈ Ｒ
ｅｃｏｇｎｉｔｉｏｎ．Ｅｄｉｎｂｕｒｇｈ Ｕｎｉｖ
ｅｒｓｉｔｙ Ｐｒｅｓｓ，Ｅｄｉｎｂｕｒｇｈ １９
９０』で開示された手法を適用している。For estimating parameters of the hidden Markov model, a Baum-Welch algorithm is generally used. The Baum-Welch algorithm and the Forward-Backward algorithm described later are described in, for example, the document “X. D. Huang, Y .; Ar
iki and M.K. A. Jack. HiddenM
arkov Models for Speech R
ecognition. Edinburgh Univ
ersity Press, Edinburgh 19
90 ”is applied.
【００２４】かくれマルコフモデルのパラメータの推定
は、事前にコンピュータを用いてオフラインで実施す
る。まず、モデル設計として、認識対象とする運転行動
パターンのカテゴリ、観測ベクトルＯとして用いるデー
タ種類の設定、モデル状態数および状態間遷移の定義、
観測ベクトル出力確率を得るための確率密度分布に関す
るモデル構造を決定する。例えば、認識対象とする運転
行動パターンのカテゴリは、わき見，漫然運転，車線変
更，制動開始，通常の車線維持（通常運転）の５種類を
設定する。モデル構造は、図５に示す後ろ向き状態間遷
移および状態間スキップのない状態数３のＬｅｆｔ−ｔ
ｏ−Ｆｏｒｗａｒｄ型、観測ベクトル出力確率分布は単
一ガウス分布とする。The estimation of the parameters of the hidden Markov model is carried out in advance offline using a computer. First, as the model design, the category of the driving behavior pattern to be recognized, the setting of the data type used as the observation vector O, the definition of the number of model states and the transition between states,
The model structure for the probability density distribution for obtaining the observation vector output probability is determined. For example, five categories of driving behavior patterns to be recognized are set aside, inattentive driving, lane change, braking start, and normal lane keeping (normal driving). The model structure is a Left-t with three states without backward transition between states and skip between states shown in FIG.
The o-Forward type, observation vector output probability distribution is a single Gaussian distribution.
【００２５】さらに、観測ベクトルＯとして用いるデー
タ種類は、視線方向頻度分布Ｆ、環境情報、車両挙動デ
ータ、運転操作量を使用する。例えば図４に示した正面
前方ｄ１，隣接車線ｄ２，ルームミラーｄ３，左ドアミ
ラーｄ４，右ドアミラーｄ５，メータクラスタｄ６，セ
ンタークラスタｄ７の７種類の視認対象領域での注視・
遷移頻度分布行列の各要素４７次元を設定する。さらに
先行車への接近度合ＴＴＣ-1、前後加速度、横加速度、
ヨーレイト、操舵角、アクセルレート、ブレーキ踏力を
加え、データ種類は合計５６次元を設定する。The data type used as the observation vector O uses the gaze direction frequency distribution F, environmental information, vehicle behavior data, and driving operation amount. For example, gazing at seven types of viewing target areas of the front front d1, the adjacent lane d2, the room mirror d3, the left door mirror d4, the right door mirror d5, the meter cluster d6, and the center cluster d7 shown in FIG.
47 dimensions of each element of the transition frequency distribution matrix are set. Furthermore, the degree of approach to the preceding vehicle TTC -1 , longitudinal acceleration, lateral acceleration,
The yaw rate, the steering angle, the accelerator rate, and the brake pedal force are added, and the data type is set to a total of 56 dimensions.
【００２６】認識対象とする各運転行動パターンに関す
る観測データは、該当シーンごとに実験走行を行い、別
途用意しておく。これらのデータをパラメータ推定用コ
ンピュータにロードし、コンピュータ上でＢａｕｍ−Ｗ
ｅｌｃｈアルゴリズムを実装した開発プログラムを用い
て推定を行う。かくれマルコフモデルλｉのパラメータ
である、初期存在確率π、状態間遷移確率Ａｉ、出力確
率Ｂｉを各認識対象パターンに対して、それぞれの学習
係数μが収束するまで推定を繰り返す。Ｂａｕｍ−Ｗｅ
ｌｃｈアルゴリズムによる、かくれマルコフモデルλｉ
のパラメータの推定が完了すると、推定されたパラメー
タは運転行動パラメータ格納部４１に記憶される。Observation data relating to each driving behavior pattern to be recognized is prepared separately by conducting an experimental run for each scene. These data are loaded into a computer for parameter estimation, and the Baum-W
Estimation is performed using a development program that implements the elch algorithm. The estimation of the initial existence probability π, the state transition probability Ai, and the output probability Bi, which are the parameters of the hidden Markov model λi, are repeated for each recognition target pattern until the respective learning coefficients μ converge. Baum-We
Hidden Markov model λi by lch algorithm
Are completed, the estimated parameters are stored in the driving behavior parameter storage unit 41.
【００２７】運転行動意図推定部３９で、入力された観
測データから観測ベクトルＯを算出し、これと学習され
たかくれマルコフモデルλｉのパラメータとに基づいて
運転行動意図を推定する。まず、前述した５種類の運転
行動パターンｉ（ｉ＝１，．．．，ｋ：ｋ＝５）のそれ
ぞれについて、観測ベクトルＯが運転行動モデルλｉか
ら出力されたとする事後確率（尤度）Ｐｉ（Ｏ｜λｉ）
を算出する。この算出方法としては、かくれマルコフモ
デルの一般的な出力確率算出アルゴリズムであるＦｏｒ
ｗａｒｄ−Ｂａｃｋｗａｒｄアルゴリズム等を使用す
る。そして、Ｎ−ｂｅｓｔ法により、算出された尤度が
最も高い運転行動パターンｉを推定結果として採用す
る。つまり、漫然運転のモデルから観測ベクトルＯが出
力されたとする事後確率Ｐが最も高い場合は、漫然運転
の運転行動パターンが推定結果として採用される。同様
にして、通常の車線維持のモデルから出力されたとする
事後確率Ｐが最も高い場合は、通常の車線維持の運転行
動パターンが推定結果となる。The driving action intention estimating section 39 calculates an observation vector O from the input observation data, and estimates the driving action intention based on this and the learned hidden Markov model λi parameters. First, for each of the five types of driving behavior patterns i (i = 1,..., K: k = 5), the posterior probability (likelihood) Pi that the observation vector O is output from the driving behavior model λi (O | λi)
Is calculated. For this calculation method, a general output probability calculation algorithm of a hidden Markov model, For
Ward-Backward algorithm or the like is used. Then, the driving behavior pattern i having the highest likelihood calculated by the N-best method is adopted as the estimation result. In other words, when the posterior probability P that the observation vector O is output from the model of the drunk driving is the highest, the driving behavior pattern of the drunk driving is adopted as the estimation result. Similarly, when the posterior probability P that is output from the normal lane keeping model is the highest, the normal lane keeping driving behavior pattern is the estimation result.
【００２８】以上説明した手法で運転行動意図を推定す
るための、電子処理ユニット３１における制御処理手順
を、図６のフローチャートに示す。この制御処理は、所
定のメインプログラムに対する所定時間（例えば１００
ｍｓｅｃ）毎のタイマ割り込み処理として実行する。FIG. 6 is a flowchart showing a control processing procedure in the electronic processing unit 31 for estimating a driving action intention by the method described above. This control processing is performed for a predetermined time (for example, 100
msec) as a timer interrupt process.
【００２９】ステップＳ１０１で、視線方向領域マップ
格納部３５に記憶された視線方向領域マップデータＤｍ
をロードする。ステップＳ１０３では、尤度算出用にあ
らかじめ学習された運転行動モデルλｉのパラメータを
運転行動パラメータ格納部４１からロードする。ステッ
プＳ１０５で、画像処理ユニット２５において算出され
た視線方向データＥを入力する。ステップＳ１０７で
は、入力された視線方向データＥが、複数に分割された
視線方向領域Ｄの要素のどこに存在するか、つまり、視
線方向データＥの該当領域ｄｉを判定する。In step S101, the visual line direction area map data Dm stored in the visual line direction area map storage unit 35
To load. In step S103, the parameters of the driving behavior model λi previously learned for likelihood calculation are loaded from the driving behavior parameter storage unit 41. In step S105, the gaze direction data E calculated by the image processing unit 25 is input. In step S107, it is determined where the input line-of-sight direction data E exists in the elements of the line-of-sight direction region D divided into a plurality, that is, the corresponding region di of the line-of-sight direction data E.
【００３０】つづくステップＳ１０９で、所定時間区間
長ＴＷＬ１における視線方向頻度分布Ｆを算出する。ス
テップＳ１１１では、運転行動意図の推定に使用する、
環境情報、車両挙動データ、運転操作量などの所定時間
区間長ＴＷＬ２のデータを入力する。ステップＳ１１３
では、ステップ１０９およびステップＳ１１１で入力さ
れた観測データの時系列データに基づいて観測ベクトル
Ｏを算出する。In the next step S109, a gaze direction frequency distribution F for a predetermined time section length TWL1 is calculated. In step S111, it is used for estimating the driving action intention.
Data of a predetermined time section length TWL2, such as environmental information, vehicle behavior data, and a driving operation amount, is input. Step S113
Then, the observation vector O is calculated based on the time-series data of the observation data input in step 109 and step S111.
【００３１】ステップＳ１１５で、運転行動モデルλｉ
のパラメータを用いて、算出された観測ベクトルＯがそ
れぞれの運転行動モデルλｉから出力されたとする事後
確率（尤度）Ｐｉ（Ｏ｜λｉ）を算出する。ステップＳ
１１７では、算出された尤度Ｐｉ（Ｏ｜λｉ）が最も高
い運転行動パターンｉを推定する。ステップＳ１１９
で，推定された運転行動パターンｉ（ＭａｘＰｉ（Ｏ｜
λｉ））を、推定結果として推定運動行動意図出力部４
９に出力し、この処理を終了する。In step S115, the driving behavior model λi
The posterior probability (likelihood) Pi (O | λi) that the calculated observation vector O is output from each driving behavior model λi is calculated using the parameters of (i). Step S
At 117, the driving behavior pattern i having the highest calculated likelihood Pi (O | λi) is estimated. Step S119
Then, the estimated driving behavior pattern i (MaxPi (O |
λi)) as an estimation result, an estimated motor action intention output section 4
9 and the process ends.
【００３２】以上述べたように，第１の実施の形態によ
る運転行動意図検出装置では、運転者の視線方向Ｅ（θ
ｕ，θｖ）を検出し、その視線方向が存在する該当領域
ｄｉを判定した。また、視線方向Ｅの領域ｄｉにおける
停留頻度や領域間遷移に関する頻度分布を算出し、これ
と先行車接近度合などの観測データとに基づいて構成さ
れる複数の時系列変動パターンのモデル表現と認識とが
可能な確率統計的手法を用いて、運転行動意図を検出す
るようにした。その結果、注視頻度や運転操作量などの
個々のパラメータの要約統計量では判別が困難であった
通常運転と漫然状態の判別、推定を行うことができ、運
転者の行動意図を確実に検出することができる。また、
かくれマルコフモデルを使用したので、時系列データの
パターン認識に優れた運転行動意図の推定が可能となっ
た。As described above, in the driving action intention detecting device according to the first embodiment, the driver's gaze direction E (θ
u, θv) are detected, and the corresponding area di in which the line-of-sight direction exists is determined. Further, a frequency distribution relating to the stop frequency and the transition between the areas in the area di in the line-of-sight direction E is calculated, and a model expression and recognition of a plurality of time-series variation patterns formed based on the calculated frequency distribution and observation data such as the degree of approach of the preceding vehicle. The probabilistic statistical method that can be used is used to detect the intention of driving behavior. As a result, it is possible to discriminate and estimate normal driving, which is difficult to discriminate based on the summary statistics of individual parameters such as gaze frequency and driving operation amount, and to reliably detect the driver's intention to act. be able to. Also,
The use of the Hidden Markov Model makes it possible to estimate driving intentions excellent in pattern recognition of time-series data.
【００３３】《第２の実施の形態》本発明による運転行
動意図検出装置の第２の実施の形態においては、自車両
の走行車線内の横方向偏位量を算出し、これと第１の実
施の形態における運転行動意図の推定結果との両者を考
慮して運転者の状況に応じた適切な運転支援機能を提供
する。<< Second Embodiment >> In a second embodiment of the driving action intention detecting apparatus according to the present invention, the lateral deviation amount in the traveling lane of the own vehicle is calculated, and the first and second lateral deviation amounts are calculated. An appropriate driving support function according to the situation of the driver is provided in consideration of both the estimation result of the driving action intention in the embodiment.
【００３４】図７に、第２の実施の形態の概略構成を示
す。第１の実施の形態に対して、自車両横偏位量算出手
段２０１，横方向運転支援判断手段２０３，警報発生手
段２０５，操舵量検出手段２０７，モータ制御手段２０
９および操舵トルク付与手段２１１を追加したものであ
る。ここでは、第１の実施の形態との相違点を主に説明
する。FIG. 7 shows a schematic configuration of the second embodiment. Compared to the first embodiment, the vehicle lateral deviation amount calculating means 201, the lateral driving support determining means 203, the alarm generating means 205, the steering amount detecting means 207, and the motor control means 20
9 and a steering torque applying means 211 are added. Here, differences from the first embodiment will be mainly described.
【００３５】図８に、第２の実施の形態の機能構成を示
す。図２に示す第１の実施の形態に対して、前方風景撮
影用ＣＣＤカメラ２３１（撮像素子），横偏位量算出部
２３５を有する前方風景撮影ＣＣＤカメラ用画像処理ユ
ニット２３３，横方向運転支援判断部２３７，スピーカ
２３９，ステアリングコントローラ２４１およびステア
リング２４３を追加したものである。横方向運転支援判
断部２３７は電子制御ユニット３１上に実装される。FIG. 8 shows a functional configuration of the second embodiment. As compared with the first embodiment shown in FIG. 2, a front scene photographing CCD camera image processing unit 233 having a forward scene photographing CCD camera 231 (image pickup device) and a lateral deviation amount calculating unit 235, and lateral driving support are provided. The determination unit 237, the speaker 239, the steering controller 241, and the steering 243 are added. The lateral driving support determination unit 237 is mounted on the electronic control unit 31.
【００３６】前方風景撮影用ＣＣＤカメラ２３１は、図
１６に示すように車室内フロントウィンドウ上部等に設
置され、自車両前方風景を撮像する。撮像された画像
は、前方風景撮影ＣＣＤカメラ用画像処理ユニット２３
３に送信される。画像処理ユニット２３３では、この画
像に二値化等の処理を行って走行中の車線両端のレーン
マーカを検出するとともに、横偏位量算出部２３５で、
走行中の車線内中央から横方向への偏位量ｘｄｉｖを算
出する。車線内横偏位量ｘｄｉｖ、操舵角センサ７１で
計測されたステアリング２４３の操舵角（操舵量）に基
づいて，ステアリングコントローラ２４１は、目標操舵
角が得られるように目標操舵力指令値を計算してモータ
７３を駆動させ、スピーカ３２９（警報発生手段）は，
警報音を発生させる。As shown in FIG. 16, the CCD camera 231 for photographing the front scene is installed at the upper part of the front window of the passenger compartment, and picks up an image of the front scene of the vehicle. The captured image is an image processing unit 23 for a CCD camera for photographing the front scenery.
3 is sent. The image processing unit 233 performs a process such as binarization on the image to detect lane markers at both ends of the traveling lane, and the lateral deviation amount calculation unit 235
The deviation xdiv in the lateral direction from the center in the traveling lane is calculated. The steering controller 241 calculates a target steering force command value based on the in-lane lateral deviation amount xdiv and the steering angle (steering amount) of the steering 243 measured by the steering angle sensor 71 so as to obtain the target steering angle. To drive the motor 73, and the speaker 329 (alarm generating means)
Generates an alarm sound.
【００３７】走行車線内の横方向偏位量ｘｄｉｖに応じ
て、操舵系に組み込んだモータを介して操舵トルクを付
与しての、運転者の運転を支援する技術に関しては、例
えば特開平７−１０４８５０号公報の技術を適用してい
る。For a technique for assisting the driving of a driver by applying a steering torque via a motor incorporated in a steering system according to the lateral deviation xdiv in the traveling lane, see, for example, Japanese Patent Laid-Open No. The technology of Japanese Patent No. 104850 is applied.
【００３８】第２の実施の形態おける、電子制御ユニッ
ト３１での制御処理手順を図９および図１０のフローチ
ャートを用いて説明する。図９中のステップＳ１０１〜
Ｓ１１９は、図６に示した第１の実施の形態の処理手順
と同一である。ステップＳ２５１以降は第２の実施の形
態独自の処理であり、推定された運転行動意図に基づい
て横方向に関する運転をアシストするかどうかを判断す
る処理手順を示している。A control processing procedure in the electronic control unit 31 according to the second embodiment will be described with reference to flowcharts of FIGS. Steps S101 to S101 in FIG.
Step S119 is the same as the processing procedure of the first embodiment shown in FIG. Step S251 and subsequent steps are processing unique to the second embodiment, and show a processing procedure for determining whether to assist driving in the lateral direction based on the estimated driving action intention.
【００３９】ステップＳ２５１で車線内の自車両横方向
偏位量ｘｄｉｖを入力する。ステップＳ２５３では、ス
テップＳ１１９で出力された運転行動意図の推定結果に
基づき、推定結果がわき見または漫然運転のいずれかで
あるかを判定する。ステップＳ２５３が肯定判定される
と、図１０（ａ）に示したステップＳ２５５へ進む。ス
テップＳ２５５では、横方向偏位量ｘｄｉｖの絶対値｜
ｘｄｉｖ｜と、あらかじめ定めたしきい値ｘｄｉｖ１ａ
の絶対値｜ｘｄｉｖ１ａ｜とを比較する。ここで、横方
向偏位量の絶対値｜ｘｄｉｖ｜と、しきい値の絶対値｜
ｘｄｉｖ１ａ｜を用いているため、自車両が走行中の車
線中央から右側および左側のどちらに偏位した場合でも
対応できる。In step S251, the vehicle lateral displacement xdiv in the lane is input. In step S253, based on the estimation result of the driving action intention output in step S119, it is determined whether the estimation result is a look-ahead or a lazy driving. If step S253 is affirmed, the process proceeds to step S255 shown in FIG. In step S255, the absolute value of the lateral deviation amount xdiv |
xdiv | and a predetermined threshold value xdiv1a
Is compared with the absolute value | xdiv1a | Here, the absolute value | xdiv | of the lateral displacement amount and the absolute value |
Since xdiv1a | is used, it is possible to cope with the case where the host vehicle is deviated to either the right side or the left side from the center of the traveling lane.
【００４０】ステップＳ２５５で、横方向偏位量の絶対
値｜ｘｄｉｖ｜がしきい値の絶対値｜ｘｄｉｖ１ａ｜よ
りも大きいと肯定判定され、自車両が車線端に接近して
いる場合には，ステップＳ２５７へ進む。ステップＳ２
５７では、車線逸脱を防止するため、モータ７３による
ステアリング２４３への操舵トルク付与を行い、運転者
への操舵アシストを実行する。一方、ステップＳ２５５
で、横方向偏位量の絶対値｜ｘｄｉｖ｜がしきい値の絶
対値｜ｘｄｉｖ１ａ｜よりも小さいと判定されると、ス
テップＳ２５９へ進む。In step S255, it is determined that the absolute value | xdiv | of the lateral deviation is larger than the absolute value | xdiv1a | of the threshold value, and when the own vehicle is approaching the lane edge, Proceed to step S257. Step S2
At 57, a steering torque is applied to the steering 243 by the motor 73 in order to prevent lane departure, and steering assist for the driver is executed. On the other hand, step S255
When it is determined that the absolute value | xdiv | of the amount of lateral deviation is smaller than the absolute value | xdiv1a | of the threshold value, the process proceeds to step S259.
【００４１】ステップＳ２５９では、横方向偏位量ｘｄ
ｉｖの絶対値｜ｘｄｉｖ｜と、あらかじめ定めたしきい
値ｘｄｉｖ２ａの絶対値｜ｘｄｉｖ２ａ｜とを比較す
る。ステップＳ２５９で横方向偏位量の絶対値｜ｘｄｉ
ｖ｜がしきい値の絶対値｜ｘｄｉｖ２ａ｜よりも大き
く、車線逸脱する可能性があると判断されると、ステッ
プＳ２６１へ進み、車線逸脱警報を発令する。一方、ス
テップＳ２５９で横方向偏位量の絶対値｜ｘｄｉｖ｜が
しきい値の絶対値｜ｘｄｉｖ２ａ｜よりも小さいと判定
されると、直近時間での車両の車線逸脱の可能性は比較
的小さいと判断して、ステップＳ２６３へ進んでわき見
・漫然運転警報を発令する。In step S259, the lateral displacement amount xd
The absolute value | xdiv | of iv is compared with the absolute value | xdiv2a | of the predetermined threshold value xdiv2a. In step S259, the absolute value of the lateral deviation amount | xdi
If it is determined that v | is larger than the absolute value | xdiv2a | of the threshold value and there is a possibility of departure from the lane, the process proceeds to step S261, and a lane departure warning is issued. On the other hand, if it is determined in step S259 that the absolute value | xdiv | of the lateral deviation amount is smaller than the absolute value | xdiv2a | of the threshold value, the possibility of the lane departure of the vehicle in the latest time is relatively small. Then, the process proceeds to step S263 to issue a warning at a glance / attentive driving.
【００４２】一方、ステップＳ２５３で、推定結果がわ
き見でも漫然運転でもないと否定判定されると、ステッ
プＳ２６５へ進む。ここで推定結果が車線維持と判定さ
れた場合には、図１０（ｂ）に示したステップＳ２６７
へ進み、横方向偏位量ｘｄｉｖの絶対値｜ｘｄｉｖ｜
と、あらかじめ定めたしきい値ｘｄｉｖ１ｂの絶対値｜
ｘｄｉｖ１ｂ｜とを比較する。ステップＳ２６７で、横
方向偏位量の絶対値｜ｘｄｉｖ｜がしきい値の絶対値｜
ｘｄｉｖ１ｂ｜よりも大きいと肯定判定されると、ステ
ップＳ２６９へ進み、運転者への操舵アシストを実行す
る。一方、横方向偏位量の絶対値｜ｘｄｉｖ｜がしきい
値の絶対値｜ｘｄｉｖ１ｂ｜よりも小さいと判定される
と、ステップＳ２７１へ進み車線逸脱警報を発令する。
ステップＳ２５３とステップＳ２６５がともに否定判定
されると、自発的な車線変更の意図があると判断し、運
転支援機能の提供は行わない。On the other hand, if it is determined in step S253 that the result of the estimation is neither a look-aside nor a lazy drive, the process proceeds to step S265. Here, if the estimation result is determined to be lane keeping, step S267 shown in FIG.
To the absolute value of the lateral deviation xdiv | xdiv |
And the absolute value of a predetermined threshold value xdiv1b |
xdiv1b |. In step S267, the absolute value of the lateral deviation | xdiv |
If it is determined that the value is larger than xdiv1b |, the process proceeds to step S269 to perform steering assist for the driver. On the other hand, if it is determined that the absolute value | xdiv | of the lateral deviation is smaller than the absolute value | xdiv1b | of the threshold value, the process proceeds to step S271, and a lane departure warning is issued.
If both steps S253 and S265 are negatively determined, it is determined that there is a voluntary lane change intention, and the driving support function is not provided.
【００４３】以上説明したように、第２の実施の形態で
は、運転行動意図の推定結果と車線内の横方向偏位量ｘ
ｄｉｖとに基づいて運転者への運転支援機能を提供する
ので、自車両が車線を逸脱する可能性が高いかどうかを
確実に判断し、それに対応した運転支援機能を提供する
ことができる。As described above, in the second embodiment, the estimation result of the driving action intention and the lateral displacement x in the lane are obtained.
Since the driving support function for the driver is provided based on the div, it is possible to reliably determine whether or not the own vehicle is likely to deviate from the lane, and to provide a driving support function corresponding thereto.
【００４４】《第３の実施の形態》本発明における運転
行動意図検出装置の第３の実施の形態について説明す
る。第３の実施の形態においては、先行車への接近度合
を算出し、これと第１の実施の形態における運転行動意
図の推定結果との両者を考慮して、運転者の状況に応じ
た適切な運転支援機能を提供する。<< Third Embodiment >> A third embodiment of the driving action intention detecting device according to the present invention will be described. In the third embodiment, the degree of approach to the preceding vehicle is calculated, and considering both this and the result of estimating the driving action intention in the first embodiment, an appropriate level according to the situation of the driver is taken. Provide a simple driving support function.
【００４５】図１１に、第３の実施の形態の概略構成を
示す。第１の実施の形態に対して、先行車への接近度合
算出手段３０１，前後方向運転支援判断手段３０３，警
報発生手段３０５を追加したものである。ここでは、第
１の実施の形態との相違点を主に説明する。FIG. 11 shows a schematic configuration of the third embodiment. The first embodiment is different from the first embodiment in that an approach degree calculating means 301 for a preceding vehicle, a longitudinal driving support determining means 303, and an alarm generating means 305 are added. Here, differences from the first embodiment will be mainly described.
【００４６】図１２に、第３の実施の形態の機能構成を
示す。レーダ３１１は、例えばレーザレーダやミリ波レ
ーダを使用して先行車までの車間距離、相対車速を計測
する。車速センサ３１３は、自車両の車速を計測する。
これらの検出結果は、先行車接近度合算出用処理ユニッ
ト３１５の先行車接近度合算出部３１７に入力され、先
行車接近度合ｄｐが算出される。先行車接近度合として
は、例えば車間時間、ＴＴＣ（車間時間／相対車速）ま
たはＴＴＣの逆数（ＴＴＣ-1）のいずれかを用いること
ができる。FIG. 12 shows a functional configuration of the third embodiment. The radar 311 measures an inter-vehicle distance to a preceding vehicle and a relative vehicle speed using, for example, a laser radar or a millimeter-wave radar. The vehicle speed sensor 313 measures the vehicle speed of the own vehicle.
These detection results are input to the preceding vehicle approach degree calculation unit 317 of the preceding vehicle approach degree calculation processing unit 315, and the preceding vehicle approach degree dp is calculated. As the preceding vehicle approaching degree, for example, any of the following time, TTC (inter-vehicle time / relative vehicle speed) or the reciprocal of TTC (TTC -1 ) can be used.
【００４７】第３の実施の形態おける、電子制御ユニッ
ト３１での制御処理手順を図１３および図１４のフロー
チャートを用いて説明する。図１３中のステップＳ１０
１〜Ｓ１１９は、図５に示した第１の実施の形態の処理
手順と同一である。ステップＳ３５１以降は第３の実施
の形態独自の処理であり、推定された運転行動意図に基
づいて前後方向に関する運転をアシストするかどうかを
判断する処理手順を示している。The control processing procedure in the electronic control unit 31 according to the third embodiment will be described with reference to the flowcharts of FIGS. Step S10 in FIG.
Steps 1 to S119 are the same as the processing procedure of the first embodiment shown in FIG. The processing after step S351 is processing unique to the third embodiment, and shows a processing procedure for determining whether to assist driving in the front-rear direction based on the estimated driving action intention.
【００４８】ステップＳ３５１で先行車への接近度合ｄ
ｐ、例えばＴＴＣ-1を入力する。ステップＳ３５３で
は、ステップＳ１１９で出力された運転行動意図の推定
結果に基づき、推定結果がわき見または漫然運転のいず
れかであるかを判定する。ステップＳ３５３が肯定判定
されると、図１４（ａ）に示したステップＳ３５５へ進
む。ステップＳ３５５では、先行車への接近度合ｄｐ
と、あらかじめ定めたしきい値ｄｐ１ａとを比較する。
ここで、先行車への接近度合ｄｐがしきい値ｄｐ１ａよ
りも大きいと肯定判定されると、ステップＳ３５７へ進
み、運転者に先行車への接近を回避するための動作が必
要であることを知らせる接近警報を発令する。At step S351, the degree of approach d to the preceding vehicle
p, for example, TTC- 1 . In step S353, based on the estimation result of the driving action intention output in step S119, it is determined whether the estimation result is a look-ahead or a lazy driving. When step S353 is affirmed, the process proceeds to step S355 shown in FIG. In step S355, the degree of approach dp to the preceding vehicle
And a predetermined threshold value dp1a.
Here, when it is determined that the degree of approach dp to the preceding vehicle is greater than the threshold value dp1a, the process proceeds to step S357, and it is determined that the driver needs to perform an operation to avoid approaching the preceding vehicle. Issue a warning to inform you.
【００４９】一方、ステップＳ３５５で、先行車への接
近度合ｄｐがしきい値ｄｐ１ａよりも小さいと判定され
ると、ステップＳ３５９へ進む。ここで、先行車への接
近度合ｄｐがあらかじめ定めたしきい値ｄｐ２ａよりも
大きい、つまり、先行車への接近度合ｄｐがしきい値ｄ
ｐ２ａ以上、しきい値ｄｐ１ａ以下と判定されると、ス
テップＳ３６１へ進む。そして、運転者に前方への注意
が必要であることを知らせる、わき見・漫然運転警報を
発令する。ステップＳ３５９が否定判定された場合に
は、運転者への運転アシストは行わない。On the other hand, if it is determined in step S355 that the degree of approach dp to the preceding vehicle is smaller than the threshold value dp1a, the flow advances to step S359. Here, the degree of approach dp to the preceding vehicle is greater than a predetermined threshold value dp2a, that is, the degree of approach to the preceding vehicle dp is equal to the threshold value dp.
If it is determined that the value is equal to or more than p2a and equal to or less than the threshold value dp1a, the process proceeds to step S361. Then, the driver issues a warning at a glance / distracted driving to notify the driver that attention to the front is necessary. If a negative determination is made in step S359, the driving assistance to the driver is not performed.
【００５０】一方、ステップＳ３５３が否定判定され、
ステップＳ３６３で推定結果が車線維持であると判定さ
れると、図１４（ｂ）に示したステップＳ３６５へ進
む。ステップＳ３６５では、先行車への接近度合ｄｐと
あらかじめ定めたしきい値ｄｐ１ｂとを比較する。ここ
で、先行車への接近度合ｄｐがしきい値ｄｐ１ｂよりも
大きいと肯定判定されると、ステップＳ３６７へ進み、
運転者に先行車への接近警報を与える。また、ステップ
Ｓ３６５が否定判定されると、運転者への運転アシスト
は行わない。ステップＳ３５３とステップＳ３６３とが
いずれも否定判定されると、運転者に自発的な車線変更
の意図があると判断して、運転支援機能の提供は行わな
い。On the other hand, a negative decision is made in step S353,
When it is determined in step S363 that the estimation result is lane keeping, the process proceeds to step S365 shown in FIG. In step S365, the degree of approach dp to the preceding vehicle is compared with a predetermined threshold value dp1b. Here, if it is determined that the degree of approach dp to the preceding vehicle is greater than the threshold value dp1b, the process proceeds to step S367,
The driver is warned of approaching the preceding vehicle. If a negative determination is made in step S365, the driving assistance to the driver is not performed. If a negative determination is made in both step S353 and step S363, it is determined that the driver intends to change the lane voluntarily, and the driving support function is not provided.
【００５１】以上説明したように、第３の実施の形態で
は、運転行動意図の推定結果と先行車への接近度合ｄｐ
とに基づいて運転者への運転支援機能を提供するので、
自車両が先行車へ接近しているかどうかを確実に判断
し、それに対応した運転支援機能を提供することができ
る。また、運転行動意図の推定結果が制動開始でない場
合に、運転支援機能を提供することができる。As described above, in the third embodiment, the estimation result of the driving action intention and the degree of approach dp to the preceding vehicle are set.
And provide a driver assistance function to the driver based on
It is possible to reliably determine whether the own vehicle is approaching the preceding vehicle, and to provide a driving support function corresponding to the determination. Further, a driving support function can be provided when the estimation result of the driving action intention is not the braking start.
【００５２】《第４の実施の形態》上記第１〜第３の実
施の形態における運転行動意図検出装置では、運転行動
を推定するときの運転行動モデルλｉのパラメータを、
事前にコンピュータを用いて算出した。第４の実施の形
態では、運転行動モデルλｉのパラメータを個々の運転
者の特徴に応じて変更することのできる運転行動意図検
出装置について説明する。<< Fourth Embodiment >> In the driving action intention detecting devices according to the first to third embodiments, the parameters of the driving action model λi when estimating the driving action are defined as follows.
It was calculated in advance using a computer. In the fourth embodiment, a description is given of a driving action intention detection device capable of changing parameters of a driving action model λi according to characteristics of individual drivers.
【００５３】図１５に、第４の実施の形態の概略構成を
示す。視線方向頻度分布算出手段３，環境情報計測手段
５，車両挙動データ計測手段７および運転操作量計測手
段９で得られた観測データは、運転行動意図推定手段１
１だけでなく、データ蓄積手段２にも送信される。所定
量以上のデータが蓄積されると、観測データはパラメー
タ変更手段４に送られる。ここで、かくれマルコフモデ
ルのパラメータの推定を行う。パラメータ変更手段４で
推定されたパラメータは、運転行動意図推定手段１１に
入力され、運転行動モデルλｉのパラメータを更新す
る。更新された運転行動モデルλｉのパラメータに基づ
いて、観測ベクトルＯがモデルλｉから出力されたとす
る事後確率Ｐｉ（Ｏ｜λｉ）を算出し、運転行動意図の
推定を行う。FIG. 15 shows a schematic configuration of the fourth embodiment. The observation data obtained by the gaze direction frequency distribution calculating means 3, the environmental information measuring means 5, the vehicle behavior data measuring means 7 and the driving operation amount measuring means 9 is used as the driving behavior intention estimating means 1.
1 and also transmitted to the data storage means 2. When data of a predetermined amount or more is accumulated, the observation data is sent to the parameter changing means 4. Here, the parameters of the hidden Markov model are estimated. The parameters estimated by the parameter changing means 4 are input to the driving action intention estimating means 11 and update the parameters of the driving action model λi. Based on the updated parameters of the driving behavior model λi, the posterior probability Pi (O | λi) that the observation vector O is output from the model λi is calculated, and the driving behavior intention is estimated.
【００５４】なお、データ蓄積手段２とパラメータ変更
手段４のうち、パラメータ変更手段を省略することもで
きる。ある所定量蓄積された観測データはディーラーな
どへ持ち込まれ、コンピュータ上で運転行動モデルλｉ
のパラメータを推定し、更新してもよい。The parameter changing means of the data storage means 2 and the parameter changing means 4 may be omitted. The observation data accumulated in a certain amount is brought to a dealer or the like, and the driving behavior model λi
May be estimated and updated.
【００５５】また、データ蓄積手段２とパラメータ変更
手段４ともに省略することもできる。この場合は、視線
方向頻度分布算出手段３，環境情報計測手段５，車両挙
動データ計測手段７および運転操作量計測手段９で得ら
れた観測データを車外のある場所へリアルタイムで通信
し、これらを蓄積させる。所定量の観測データが蓄積さ
れると、運転行動モデルλｉのパラメータを推定する。
推定されたパラメータは、リアルタイムで運転行動意図
検出装置に通信され、運転行動モデルλｉのパラメータ
を更新してもよいし、例えばエンジンをスタートさせた
ときに通信され、パラメータを更新してもよい。両者と
も、推定された運転行動モデルλｉのパラメータを運転
者の特徴に応じて変更する点は上記第４の実施の形態と
同様である。Further, both the data storage means 2 and the parameter changing means 4 can be omitted. In this case, the observation data obtained by the gaze direction frequency distribution calculating means 3, the environmental information measuring means 5, the vehicle behavior data measuring means 7, and the driving operation amount measuring means 9 are communicated in real time to a place outside the vehicle, and these are transmitted. Let it accumulate. When a predetermined amount of observation data is accumulated, the parameters of the driving behavior model λi are estimated.
The estimated parameters may be communicated in real time to the driving action intention detection device to update the parameters of the driving action model λi, or may be communicated when the engine is started, for example, to update the parameters. In both cases, the point that the parameters of the estimated driving behavior model λi are changed according to the characteristics of the driver is the same as in the fourth embodiment.
【００５６】以上述べたように、第４の実施の形態で
は、所定量蓄積された観測データから運転行動モデルλ
ｉのパラメータを推定し、さらに更新するようにしたの
で、運転者の運転行動の特徴に対応した運転行動意図検
出装置を提供することができる。また、運転行動モデル
λｉのパラメータの推定を車外で行うようにすれば、運
転行動モデルλｉのパラメータ推定用のコンピュータを
省略することができ、コストを抑えることができる。As described above, in the fourth embodiment, the driving behavior model λ
Since the parameter i is estimated and further updated, it is possible to provide a driving action intention detecting device corresponding to the characteristics of the driving action of the driver. If the parameters of the driving behavior model λi are estimated outside the vehicle, a computer for estimating the parameters of the driving behavior model λi can be omitted, and the cost can be reduced.
【００５７】以上の第１から第４の実施の形態では、観
測データとして、視線方向頻度分布のほかに、運転操作
量と、車両挙動データと、環境情報とを用いたが、少な
くとも視線方向頻度分布を用いていれば、任意の組み合
わせの観測データを用いることができる。In the first to fourth embodiments described above, in addition to the gaze direction frequency distribution, the driving operation amount, the vehicle behavior data, and the environment information are used as the observation data. If the distribution is used, any combination of observation data can be used.
【図１】 本発明による運転行動意図検出装置の第１の
実施の形態における概略構成を示すブロック図FIG. 1 is a block diagram showing a schematic configuration of a driving behavior intention detection device according to a first embodiment of the present invention;
【図２】 第１の実施の形態における機能構成を示すブ
ロック図FIG. 2 is a block diagram illustrating a functional configuration according to the first embodiment;
【図３】 複数個の矩形状に分割された視線方向領域の
例を示す図FIG. 3 is a diagram illustrating an example of a line-of-sight direction area divided into a plurality of rectangular shapes;
【図４】 複数個の特定の車両部位を対象にした視線方
向領域の例を示す図FIG. 4 is a diagram showing an example of a line-of-sight direction area targeting a plurality of specific vehicle parts;
【図５】 かくれマルコフモデルの構造を示す図FIG. 5 is a diagram showing the structure of a hidden Markov model.
【図６】 第１の実施の形態の電子制御ユニット３１に
おける制御処理を示すフローチャートFIG. 6 is a flowchart illustrating a control process in the electronic control unit 31 according to the first embodiment.
【図７】 第２の実施の形態における概略構成を示すブ
ロック図FIG. 7 is a block diagram illustrating a schematic configuration according to a second embodiment;
【図８】 第２の実施の形態における機能構成を示すブ
ロック図FIG. 8 is a block diagram illustrating a functional configuration according to a second embodiment;
【図９】 第２の実施の形態の電子制御ユニット３１に
おける制御処理を示すフローチャートFIG. 9 is a flowchart illustrating control processing in an electronic control unit 31 according to the second embodiment.
【図１０】（ａ），（ｂ） 第２の実施の形態の電子制
御ユニット３１における制御処理を示すフローチャートFIGS. 10A and 10B are flowcharts showing control processing in an electronic control unit 31 according to the second embodiment.
【図１１】 第３の実施の形態における概略構成を示す
ブロック図FIG. 11 is a block diagram showing a schematic configuration according to a third embodiment;
【図１２】 第３の実施の形態における機能構成を示す
ブロック図FIG. 12 is a block diagram illustrating a functional configuration according to a third embodiment;
【図１３】 第３の実施の形態の電子制御ユニット３１
における制御処理を示すフローチャートFIG. 13 shows an electronic control unit 31 according to the third embodiment.
Flowchart showing the control processing in
【図１４】（ａ），（ｂ） 第３の実施の形態の電子制
御ユニット３１における制御処理を示すフローチャート14A and 14B are flowcharts showing control processing in an electronic control unit 31 according to the third embodiment.
【図１５】 第４の実施の形態における概略構成を示す
ブロック図FIG. 15 is a block diagram illustrating a schematic configuration according to a fourth embodiment;
【図１６】 本発明における運転行動意図検出装置を備
えた車両外観を示す図FIG. 16 is a diagram showing the appearance of a vehicle provided with the driving action intention detection device according to the present invention.
【図１７】 本発明における運転行動意図検出装置を備
えた車両の運転席周辺を示す図FIG. 17 is a diagram showing the vicinity of the driver's seat of a vehicle provided with the driving action intention detecting device according to the present invention.
２１：ＣＣＤカメラ ２３：赤外線照射器 ３１：電子制御ユニット ７１：操舵角センサ ７３：電動モータ ７５：電磁クラッチ ７７：ステアリングギアボックス ２３１：前方風景撮影用ＣＣＤカメラユニット ２３３：前方風景撮影ＣＣＤカメラ用画像処理ユニット ２３９：スピーカ ２４１：ステアリングコントローラ ２４３：ステアリングホイール 21: CCD camera 23: Infrared irradiator 31: Electronic control unit 71: Steering angle sensor 73: Electric motor 75: Electromagnetic clutch 77: Steering gear box 231: CCD camera unit for photographing the front scene 233: Image for the CCD camera for photographing the front scene Processing unit 239: Speaker 241: Steering controller 243: Steering wheel
Claims (11)
向を検出する視線方向検出手段と、 前記視線方向検出手段で検出された視線方向の、所定時
間範囲の視線方向データを用いて、複数に分割された領
域間での前記視線方向の遷移頻度に関する分布を算出す
る視線方向頻度分布算出手段と、 前記視線方向頻度分布算出手段で算出された視線方向頻
度分布に基づいて運転行動意図を推定する運転行動意図
推定手段とを有することを特徴とする運転行動意図検出
装置。1. A gaze direction detecting means for detecting a gaze direction of a driver on a vehicle fixed projection plane; and a plurality of gaze direction data of a gaze direction detected by the gaze direction detection means within a predetermined time range. A gaze direction frequency distribution calculating means for calculating a distribution related to the gaze direction transition frequency between the divided areas; and a driving action intention is estimated based on the gaze direction frequency distribution calculated by the gaze direction frequency distribution calculating means. A driving behavior intention detecting device, comprising: a driving behavior intention estimating unit.
おいて、 前記視線方向頻度分布算出手段で算出される視線方向頻
度分布は、前記領域間での前記視線方向の遷移頻度に加
えて、同一の領域における前記視線方向の停留頻度も加
味して算出することを特徴とする運転行動意図検出装
置。2. The driving behavior intention detection device according to claim 1, wherein the gaze direction frequency distribution calculated by the gaze direction frequency distribution calculation means includes, in addition to the transition frequency of the gaze direction between the regions, A driving behavior intention detection device, wherein the calculation is performed in consideration of the frequency of stop in the line of sight in the same area.
意図検出装置において、 前記運転行動意図推定手段における運転行動意図の推定
は、検出対象とする複数の運転行動パターンでの、運転
者の視線方向頻度分布に関する統計的特徴に基づいて行
うことを特徴とする運転行動意図検出装置。3. The driving behavior intention detecting apparatus according to claim 1, wherein the driving behavior intention estimation means in the driving behavior intention estimation means estimates the driving behavior intention in a plurality of driving behavior patterns to be detected. A driving action intention detection device, wherein the detection is performed based on statistical characteristics related to the gaze direction frequency distribution of the vehicle.
運転行動意図検出装置において、 前記運転行動意図推定手段における運転行動意図の推定
は、かくれマルコフモデルを用いてあらかじめ算出し
た、検出対象とする複数の運転行動パターンに関するパ
ラメータと、前記視線方向頻度分布とに基づいて行うこ
とを特徴とする運転行動意図検出装置。4. The driving behavior intention detecting device according to claim 1, wherein the driving behavior intention estimation by the driving behavior intention estimation means is performed by using a hidden Markov model. A driving action intention detection device, wherein the detection is performed based on parameters relating to a plurality of target driving action patterns and the gaze direction frequency distribution.
おいて、 前記かくれマルコフモデルを用いて算出したパラメータ
を変更するパラメータ変更手段をさらに有し、 前記運転行動意図推定手段における運転行動意図の推定
は、前記パラメータ変更手段で変更されたパラメータと
前記視線方向頻度分布とに基づいて行うことを特徴とす
る運転行動意図検出装置。5. The driving action intention detecting device according to claim 4, further comprising parameter changing means for changing a parameter calculated by using the hidden Markov model, The driving behavior intention detecting device is characterized in that the estimation is performed based on the parameters changed by the parameter changing unit and the gaze direction frequency distribution.
運転行動意図検出装置において、 前記運転行動意図推定手段で推定される運転行動意図
は、わき見運転、漫然運転、車線変更、制動開始、通常
運転の少なくともいずれかであることを特徴とする運転
行動意図検出装置。6. The driving action intention detecting device according to claim 1, wherein the driving action intention estimated by the driving action intention estimating means is a look-ahead driving, a lazy driving, a lane change, and a braking. A driving action intention detection device, which is at least one of start and normal driving.
運転行動意図検出装置において、 先行車への接近度合または隣接車線の車両との距離等の
自車両周囲の環境情報を計測する環境情報計測手段と、 自車両の横方向または前後方向の加速度あるいはヨーレ
ート等の自車両挙動データを計測する自車両挙動データ
計測手段と、 アクセルペダル操作量やブレーキペダル操作量、操舵角
等の運転操作量を計測する運転操作量計測手段とのうち
少なくともいずれかを有し、 少なくとも前記環境情報計測手段が設けられたときは前
記環境情報計測手段で計測された環境情報を、少なくと
も前記自車両挙動データ計測手段が設けられたときは前
記自車両挙動データ計測手段で計測された自車両挙動デ
ータを、少なくとも前記運転操作量計測手段が設けられ
たときは前記運転操作量計測手段で計測された運転操作
量を、前記視線方向頻度分布とともに用いて前記運転行
動意図推定手段における運転行動意図の推定を行うこと
を特徴とする運転行動意図検出装置。7. The driving behavior intention detecting device according to claim 1, wherein environmental information around the own vehicle such as a degree of approach to a preceding vehicle or a distance from a vehicle in an adjacent lane is measured. Environmental information measurement means, own vehicle behavior data measurement means for measuring own vehicle behavior data such as lateral or longitudinal acceleration or yaw rate of the own vehicle, operation of accelerator pedal operation amount, brake pedal operation amount, steering angle, etc. And at least one of a driving operation amount measuring means for measuring an operation amount, and when at least the environment information measuring means is provided, the environment information measured by the environment information measuring means is transmitted to at least the own vehicle behavior. When the data measurement means is provided, the own vehicle behavior data measured by the own vehicle behavior data measurement means is provided by at least the driving operation amount measurement means. A driving action intention estimated by the driving action intention estimating means using the driving operation amount measured by the driving operation amount measuring means together with the gaze direction frequency distribution. apparatus.
運転行動意図検出装置において、 撮像素子を用いて撮像された自車両前方画像に二値化等
の画像処理を行って検出される走行車線マーカ間におけ
る自車両の横方向偏位量を算出する自車両横偏位量算出
手段と、 車室内に設置され、警報を発生する警報発生手段とを有
し、 前記自車両横偏位量算出手段で算出された横方向偏位量
が所定値以上の場合において、前記運転行動意図推定手
段で、運転者の意図が車線変更であると推定されない場
合には、前記警報発生手段による警報の発生を行うこと
を特徴とする運転行動意図検出装置。8. The driving behavior intention detecting device according to claim 1, wherein the image is detected by performing image processing such as binarization on a front image of the own vehicle captured by using an image sensor. A vehicle lateral deviation amount calculating means for calculating the lateral deviation amount of the own vehicle between the traveling lane markers, and an alarm generating means installed in the vehicle interior to generate an alarm. When the lateral deviation calculated by the position calculating means is equal to or greater than a predetermined value, if the driving intention estimating means does not estimate that the driver's intention is a lane change, the warning generating means A driving action intention detection device that generates an alarm.
おいて、 運転者のステアリング操舵量を検出する操舵量検出手段
と、 前記自車両横偏位量算出手段で算出された車線内の自車
両横偏位量と、前記操舵量検出手段で検出される操舵量
とに応じて、モータ出力指令値を算出して出力するモー
タ制御手段と、 前記モータ制御手段から出力されるモータ出力指令値に
応じた操舵トルクを操舵装置に選択的に付加する操舵ト
ルク付与手段とをさらに有し、 前記算出された横方向偏位量が所定値以上の場合におい
て、前記運転行動意図推定手段で、運転者の意図が車線
変更であると推定されない場合には、前記警報発生手段
による警報の発生または操舵トルク付与手段による操舵
出力を行うことを特徴とする運転行動意図検出装置。9. The driving action intention detecting device according to claim 8, wherein: a steering amount detecting means for detecting a steering amount of the driver; and a vehicle in a lane calculated by the own vehicle lateral deviation calculating means. Motor control means for calculating and outputting a motor output command value in accordance with a vehicle lateral deviation amount and a steering amount detected by the steering amount detection means; a motor output command value output from the motor control means Steering torque applying means for selectively adding a steering torque according to the steering device to the steering device, wherein when the calculated lateral deviation amount is equal to or more than a predetermined value, the driving action intention estimating means includes: If the intention of the driver is not assumed to be a lane change, a warning is issued by the warning generating means or a steering output is performed by a steering torque applying means, and the driving action intention detecting device is provided.
の運転行動意図検出装置において、 自車線前方を走行する先行車への接近度合を計測する先
行車接近度合計測手段と、 車室内に設置され、警報を発生する警報発生手段とを有
し、 前記計測された先行車接近度合が所定値以上であって、
前記運転行動意図推定手段で、運転者の意図が制動開始
であると推定されない場合には、前記警報発生手段によ
る警報の発生を行うことを特徴とする運転行動意図検出
装置。10. The driving behavior intention detecting device according to claim 1, wherein a preceding vehicle approaching degree measuring means for measuring an approaching degree to a preceding vehicle traveling ahead of the own lane; Is installed in the, has an alarm generating means for generating an alarm, the measured preceding vehicle approaching degree is a predetermined value or more,
The driving behavior intention detecting device, wherein when the driving behavior intention estimating means does not estimate that the driver's intention is to start braking, an alarm is generated by the alarm generating means.
動意図検出装置において、 自車線前方を走行する先行車への接近度合を計測する先
行車接近度合計測手段をさらに有し、 前記計測された先行車接近度合が所定値以上であって、
前記運転行動意図推定手段で、運転者の意図が制動開始
であると推定されない場合には、前記警報発生手段によ
る警報の発生を行うことを特徴とする運転行動意図検出
装置。11. The driving behavior intention detecting device according to claim 8, further comprising a preceding vehicle approaching degree measuring means for measuring an approaching degree to a preceding vehicle traveling ahead of the own lane. The approaching preceding vehicle degree is a predetermined value or more,
The driving behavior intention detecting device, wherein when the driving behavior intention estimating means does not estimate that the driver's intention is to start braking, an alarm is generated by the alarm generating means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001136628A JP2002331850A (en) | 2001-05-07 | 2001-05-07 | Driving behavior intention detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001136628A JP2002331850A (en) | 2001-05-07 | 2001-05-07 | Driving behavior intention detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002331850A true JP2002331850A (en) | 2002-11-19 |
Family
ID=18983870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001136628A Pending JP2002331850A (en) | 2001-05-07 | 2001-05-07 | Driving behavior intention detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002331850A (en) |
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182124A (en) * | 2003-12-16 | 2005-07-07 | Nissan Motor Co Ltd | Device for estimating driving intention, driving operation assist device for vehicle, and vehicle equipped with driving operation assist device for vehicle |
| JP2005238872A (en) * | 2004-02-24 | 2005-09-08 | Japan Science & Technology Agency | Human state estimating system, human state estimating method, and human state estimating program |
| US6982647B2 (en) | 2002-06-20 | 2006-01-03 | Nissan Motor Co., Ltd. | Driving assist system for vehicle |
| EP1657103A1 (en) | 2004-11-12 | 2006-05-17 | Nissan Motor Co., Ltd. | Driving assisting system for a vehicle and vehicle having such system installed thereon |
| JP2006133216A (en) * | 2004-10-06 | 2006-05-25 | Denso Corp | Navigation device |
| EP1661751A1 (en) | 2004-11-26 | 2006-05-31 | Nissan Motor Co., Ltd. | Driving intention estimating system, driver assisting system, and vehicle with the system |
| JP2006137306A (en) * | 2004-11-12 | 2006-06-01 | Nissan Motor Co Ltd | Vehicular driving operation auxiliary device, and vehicle having the same |
| EP1688295A2 (en) | 2005-02-07 | 2006-08-09 | Nissan Motor Co., Ltd. | Driving intention estimation system, vehicle operation assistance system and vehicle equipped therewith |
| JP2006213276A (en) * | 2005-02-07 | 2006-08-17 | Nissan Motor Co Ltd | Driving intention estimation device, vehicular driving operation supporting device, and vehicle having the same |
| JP2007068917A (en) * | 2005-09-09 | 2007-03-22 | Nissan Motor Co Ltd | Visibility situation judgment apparatus, automobile, and visibility situation judgment method |
| WO2007077867A1 (en) * | 2005-12-28 | 2007-07-12 | National University Corporation Nagoya University | Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device |
| JP2007176396A (en) * | 2005-12-28 | 2007-07-12 | Univ Nagoya | Driving behavior estimating device, driving support device, and vehicle evaluation system |
| JP2007253819A (en) * | 2006-03-23 | 2007-10-04 | Toyota Motor Corp | Parking backup device |
| JP2007272834A (en) * | 2006-03-31 | 2007-10-18 | Equos Research Co Ltd | Driver model creation device, drive support device, and drive behavior determination device |
| JP2007312824A (en) * | 2006-05-23 | 2007-12-06 | Asahi Kasei Corp | Instrument for classifying blinking data, arousal evaluation instrument and arousal interpretation instrument |
| US7308839B2 (en) | 2002-06-20 | 2007-12-18 | Nissan Motor Co., Ltd. | Accelerator pedal device |
| US7349767B2 (en) | 2003-12-16 | 2008-03-25 | Nissan Motor Co., Ltd. | Method and system for intention estimation and operation assistance |
| JP2008084318A (en) * | 2007-09-21 | 2008-04-10 | Nissan Motor Co Ltd | Driving intention estimating device, driving operation assisting device for vehicle, and vehicle equipped with driving operation assisting device for vehicle |
| JP2008512153A (en) * | 2004-09-13 | 2008-04-24 | バイオコニセイフ | Method and apparatus for generating personal alert level indications |
| JP2008126908A (en) * | 2006-11-22 | 2008-06-05 | Denso Corp | Driving behavior estimation method and device |
| WO2008088070A1 (en) * | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | Awake state judging model making device, awake state judging device, and warning device |
| US7440823B2 (en) | 2003-12-16 | 2008-10-21 | Nissan Motor Co., Ltd. | Intention estimation method and system with confidence indication |
| JP2009020910A (en) * | 2008-09-29 | 2009-01-29 | Nissan Motor Co Ltd | Device for estimating driving intention, driving operation assist device for vehicle, and vehicle equipped with driving operation assist device for vehicle |
| JP2009073465A (en) * | 2007-08-28 | 2009-04-09 | Fuji Heavy Ind Ltd | Safe driving support system |
| JP2009098900A (en) * | 2007-10-16 | 2009-05-07 | Toyota Motor Corp | Looking aside status determination device |
| US7555367B2 (en) | 2004-06-02 | 2009-06-30 | Nissan Motor Co., Ltd. | Adaptive intention estimation method and system |
| EP1721782A3 (en) * | 2005-05-10 | 2009-07-29 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
| WO2009093726A1 (en) | 2008-01-22 | 2009-07-30 | Advanced Telecommunications Research Institute International | Dangerous drive preventive intention judgment system and dangerous drive preventive intention judgment method |
| DE102008043200A1 (en) | 2008-03-31 | 2009-10-15 | Hyundai Motor Co. | Warning device for warning a driver of the presence of objects |
| WO2009148188A1 (en) | 2008-06-06 | 2009-12-10 | 株式会社山城自動車教習所 | System for automatic evaluation of driving behavior |
| EP2143611A1 (en) * | 2007-05-02 | 2010-01-13 | Toyota Jidosha Kabushiki Kaisha | Vehicle behavior controller |
| JP2010087728A (en) * | 2008-09-30 | 2010-04-15 | Denso Corp | Image display |
| US7778742B2 (en) | 2003-12-16 | 2010-08-17 | Nissan Motor Co., Ltd. | Method and system for intention estimation and operation assistance |
| JP2010211380A (en) * | 2009-03-09 | 2010-09-24 | Nissan Motor Co Ltd | Driving support device and driving support method |
| JP2010221962A (en) * | 2009-03-25 | 2010-10-07 | Denso Corp | Driving behavior prediction device |
| JP2011059855A (en) * | 2009-09-08 | 2011-03-24 | Nissan Motor Co Ltd | Driving status detection device for vehicle, driving status detection method for vehicle, and motor vehicle |
| US8031063B2 (en) | 2003-09-12 | 2011-10-04 | Robert Bosch Gmbh | Method and apparatus for driver assistance |
| EP2263926A3 (en) * | 2009-06-18 | 2012-05-16 | Nissan Motor Co., Ltd. | Vehicle operation supporting device and vehicle operation supporting method |
| US8494741B2 (en) * | 2003-12-12 | 2013-07-23 | Toyota Jidosha Kabushiki Kaisha | Control device for vehicle |
| KR20160001039A (en) * | 2014-06-26 | 2016-01-06 | 현대자동차주식회사 | Vehicle and control method for the same |
| KR101710982B1 (en) * | 2015-10-14 | 2017-02-28 | 국민대학교산학협력단 | Computer excutable driver intention determination method, apparatus performing the same and strorage media storing the same |
| JP2017224254A (en) * | 2016-06-17 | 2017-12-21 | アイシン精機株式会社 | Visual recognition direction estimation device |
| WO2018035531A1 (en) * | 2016-08-19 | 2018-02-22 | Massachusetts Intitute Of Technology | Systems and methods for providing visual allocation management |
| KR20180038316A (en) * | 2016-10-06 | 2018-04-16 | 현대자동차주식회사 | Apparatus and method for determining condition of driver |
| CN107985193A (en) * | 2017-11-30 | 2018-05-04 | 西安科锐盛创新科技有限公司 | Driver fatigue monitor system |
| JP2018081622A (en) * | 2016-11-18 | 2018-05-24 | トヨタ自動車株式会社 | Driving support apparatus and driving support method |
| CN109094568A (en) * | 2017-06-20 | 2018-12-28 | 奥迪股份公司 | It drives energy and pays assessment system and method |
| JP2019528217A (en) * | 2016-08-19 | 2019-10-10 | マサチューセッツ インスティテュート オブ テクノロジー | System and method for using attention buffers to improve resource allocation management |
| GB2582548A (en) * | 2019-03-19 | 2020-09-30 | Jaguar Land Rover Ltd | Vehicle control system and method |
| KR20220095430A (en) * | 2020-12-30 | 2022-07-07 | 한국과학기술원 | Computer system for predicting concentration of driver through real-time analysis of driving data, and method thereof |
-
2001
- 2001-05-07 JP JP2001136628A patent/JP2002331850A/en active Pending
Cited By (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7308839B2 (en) | 2002-06-20 | 2007-12-18 | Nissan Motor Co., Ltd. | Accelerator pedal device |
| US6982647B2 (en) | 2002-06-20 | 2006-01-03 | Nissan Motor Co., Ltd. | Driving assist system for vehicle |
| US8031063B2 (en) | 2003-09-12 | 2011-10-04 | Robert Bosch Gmbh | Method and apparatus for driver assistance |
| US8494741B2 (en) * | 2003-12-12 | 2013-07-23 | Toyota Jidosha Kabushiki Kaisha | Control device for vehicle |
| JP4561092B2 (en) * | 2003-12-16 | 2010-10-13 | 日産自動車株式会社 | VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE HAVING VEHICLE DRIVE OPERATION ASSISTANCE DEVICE |
| US7778742B2 (en) | 2003-12-16 | 2010-08-17 | Nissan Motor Co., Ltd. | Method and system for intention estimation and operation assistance |
| US7440823B2 (en) | 2003-12-16 | 2008-10-21 | Nissan Motor Co., Ltd. | Intention estimation method and system with confidence indication |
| JP2005182124A (en) * | 2003-12-16 | 2005-07-07 | Nissan Motor Co Ltd | Device for estimating driving intention, driving operation assist device for vehicle, and vehicle equipped with driving operation assist device for vehicle |
| US7349767B2 (en) | 2003-12-16 | 2008-03-25 | Nissan Motor Co., Ltd. | Method and system for intention estimation and operation assistance |
| JP2005238872A (en) * | 2004-02-24 | 2005-09-08 | Japan Science & Technology Agency | Human state estimating system, human state estimating method, and human state estimating program |
| US7555367B2 (en) | 2004-06-02 | 2009-06-30 | Nissan Motor Co., Ltd. | Adaptive intention estimation method and system |
| JP4845886B2 (en) * | 2004-09-13 | 2011-12-28 | バイオコニセイフ | Method and apparatus for generating personal alert level indications |
| JP2008512153A (en) * | 2004-09-13 | 2008-04-24 | バイオコニセイフ | Method and apparatus for generating personal alert level indications |
| JP4556794B2 (en) * | 2004-10-06 | 2010-10-06 | 株式会社デンソー | Navigation device |
| US7584050B2 (en) | 2004-10-06 | 2009-09-01 | Denso Corporation | Automobile navigation system |
| JP2006133216A (en) * | 2004-10-06 | 2006-05-25 | Denso Corp | Navigation device |
| JP2006137306A (en) * | 2004-11-12 | 2006-06-01 | Nissan Motor Co Ltd | Vehicular driving operation auxiliary device, and vehicle having the same |
| EP1657103A1 (en) | 2004-11-12 | 2006-05-17 | Nissan Motor Co., Ltd. | Driving assisting system for a vehicle and vehicle having such system installed thereon |
| JP4622465B2 (en) * | 2004-11-12 | 2011-02-02 | 日産自動車株式会社 | VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE WITH VEHICLE DRIVE OPERATION ASSISTANCE DEVICE |
| US7809506B2 (en) | 2004-11-26 | 2010-10-05 | Nissan Motor Co., Ltd. | Driving intention estimation system, driver assisting system, and vehicle with the system |
| EP1661751A1 (en) | 2004-11-26 | 2006-05-31 | Nissan Motor Co., Ltd. | Driving intention estimating system, driver assisting system, and vehicle with the system |
| EP1688295A2 (en) | 2005-02-07 | 2006-08-09 | Nissan Motor Co., Ltd. | Driving intention estimation system, vehicle operation assistance system and vehicle equipped therewith |
| JP2006213276A (en) * | 2005-02-07 | 2006-08-17 | Nissan Motor Co Ltd | Driving intention estimation device, vehicular driving operation supporting device, and vehicle having the same |
| US7634331B2 (en) | 2005-02-07 | 2009-12-15 | Nissan Motor Co., Ltd. | Driving intention estimation system, vehicle operation assistance system, and vehicle equipped therewith |
| EP1977925A2 (en) | 2005-02-07 | 2008-10-08 | Nissan Motor Co., Ltd. | Driving Intention Estimation System, Vehicle Operation Assistance System and Vehicle Equipped Therewith |
| EP1721782A3 (en) * | 2005-05-10 | 2009-07-29 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
| JP2007068917A (en) * | 2005-09-09 | 2007-03-22 | Nissan Motor Co Ltd | Visibility situation judgment apparatus, automobile, and visibility situation judgment method |
| US8140241B2 (en) | 2005-12-28 | 2012-03-20 | National University Corporation Nagoya University | Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device |
| EP1997705A4 (en) * | 2005-12-28 | 2011-03-02 | Univ Nagoya Nat Univ Corp | Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device |
| WO2007077867A1 (en) * | 2005-12-28 | 2007-07-12 | National University Corporation Nagoya University | Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device |
| JP2007176396A (en) * | 2005-12-28 | 2007-07-12 | Univ Nagoya | Driving behavior estimating device, driving support device, and vehicle evaluation system |
| EP1997705A1 (en) * | 2005-12-28 | 2008-12-03 | National University Corporation Nagoya University | Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device |
| JP2007253819A (en) * | 2006-03-23 | 2007-10-04 | Toyota Motor Corp | Parking backup device |
| JP2007272834A (en) * | 2006-03-31 | 2007-10-18 | Equos Research Co Ltd | Driver model creation device, drive support device, and drive behavior determination device |
| JP2007312824A (en) * | 2006-05-23 | 2007-12-06 | Asahi Kasei Corp | Instrument for classifying blinking data, arousal evaluation instrument and arousal interpretation instrument |
| JP2008126908A (en) * | 2006-11-22 | 2008-06-05 | Denso Corp | Driving behavior estimation method and device |
| US7805240B2 (en) | 2006-11-22 | 2010-09-28 | Denso Corporation | Driving behavior prediction method and apparatus |
| WO2008088070A1 (en) * | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | Awake state judging model making device, awake state judging device, and warning device |
| US8400313B2 (en) | 2007-01-19 | 2013-03-19 | Asahi Kasei Kabushiki Kaisha | Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device |
| EP2143611A1 (en) * | 2007-05-02 | 2010-01-13 | Toyota Jidosha Kabushiki Kaisha | Vehicle behavior controller |
| EP2143611A4 (en) * | 2007-05-02 | 2010-10-06 | Toyota Motor Co Ltd | Vehicle behavior controller |
| US8301343B2 (en) | 2007-05-02 | 2012-10-30 | Toyota Jidosha Kabushiki Kaisha | Vehicle behavior control device |
| JP2009073465A (en) * | 2007-08-28 | 2009-04-09 | Fuji Heavy Ind Ltd | Safe driving support system |
| JP2008084318A (en) * | 2007-09-21 | 2008-04-10 | Nissan Motor Co Ltd | Driving intention estimating device, driving operation assisting device for vehicle, and vehicle equipped with driving operation assisting device for vehicle |
| JP4605200B2 (en) * | 2007-09-21 | 2011-01-05 | 日産自動車株式会社 | Driving intention estimation device, vehicle driving assistance device, and vehicle equipped with vehicle driving assistance device |
| US8665099B2 (en) | 2007-10-16 | 2014-03-04 | Toyota Jidosha Kabushiki Kaisha | Inattentive state determination device and method of determining inattentive state |
| JP2009098900A (en) * | 2007-10-16 | 2009-05-07 | Toyota Motor Corp | Looking aside status determination device |
| WO2009093726A1 (en) | 2008-01-22 | 2009-07-30 | Advanced Telecommunications Research Institute International | Dangerous drive preventive intention judgment system and dangerous drive preventive intention judgment method |
| DE102008043200A1 (en) | 2008-03-31 | 2009-10-15 | Hyundai Motor Co. | Warning device for warning a driver of the presence of objects |
| WO2009148188A1 (en) | 2008-06-06 | 2009-12-10 | 株式会社山城自動車教習所 | System for automatic evaluation of driving behavior |
| JP2009020910A (en) * | 2008-09-29 | 2009-01-29 | Nissan Motor Co Ltd | Device for estimating driving intention, driving operation assist device for vehicle, and vehicle equipped with driving operation assist device for vehicle |
| JP2010087728A (en) * | 2008-09-30 | 2010-04-15 | Denso Corp | Image display |
| JP2010211380A (en) * | 2009-03-09 | 2010-09-24 | Nissan Motor Co Ltd | Driving support device and driving support method |
| JP2010221962A (en) * | 2009-03-25 | 2010-10-07 | Denso Corp | Driving behavior prediction device |
| EP2263926A3 (en) * | 2009-06-18 | 2012-05-16 | Nissan Motor Co., Ltd. | Vehicle operation supporting device and vehicle operation supporting method |
| JP2011059855A (en) * | 2009-09-08 | 2011-03-24 | Nissan Motor Co Ltd | Driving status detection device for vehicle, driving status detection method for vehicle, and motor vehicle |
| KR102106892B1 (en) * | 2014-06-26 | 2020-05-06 | 현대자동차주식회사 | Vehicle and control method for the same |
| KR20160001039A (en) * | 2014-06-26 | 2016-01-06 | 현대자동차주식회사 | Vehicle and control method for the same |
| KR101710982B1 (en) * | 2015-10-14 | 2017-02-28 | 국민대학교산학협력단 | Computer excutable driver intention determination method, apparatus performing the same and strorage media storing the same |
| JP2017224254A (en) * | 2016-06-17 | 2017-12-21 | アイシン精機株式会社 | Visual recognition direction estimation device |
| WO2017217044A1 (en) * | 2016-06-17 | 2017-12-21 | アイシン精機株式会社 | Viewing direction estimation device |
| US20190164311A1 (en) * | 2016-06-17 | 2019-05-30 | Aisin Seiki Kabushiki Kaisha | Viewing direction estimation device |
| US20180053103A1 (en) * | 2016-08-19 | 2018-02-22 | Massachusetts Institute Of Technology | Systems and methods for providing visual allocation management |
| US11688203B2 (en) * | 2016-08-19 | 2023-06-27 | Massachusetts Institute Of Technology | Systems and methods for providing visual allocation management |
| JP7139331B2 (en) | 2016-08-19 | 2022-09-20 | マサチューセッツ インスティテュート オブ テクノロジー | Systems and methods for using attention buffers to improve resource allocation management |
| WO2018035531A1 (en) * | 2016-08-19 | 2018-02-22 | Massachusetts Intitute Of Technology | Systems and methods for providing visual allocation management |
| US10902331B2 (en) | 2016-08-19 | 2021-01-26 | Massachusetts Institute Of Technology | Systems and methods for providing visual allocation management |
| JP2019528217A (en) * | 2016-08-19 | 2019-10-10 | マサチューセッツ インスティテュート オブ テクノロジー | System and method for using attention buffers to improve resource allocation management |
| JP2019535089A (en) * | 2016-08-19 | 2019-12-05 | マサチューセッツ インスティテュート オブ テクノロジー | System and method for providing visual distribution management |
| US10525984B2 (en) * | 2016-08-19 | 2020-01-07 | Massachusetts Institute Of Technology | Systems and methods for using an attention buffer to improve resource allocation management |
| KR102371591B1 (en) * | 2016-10-06 | 2022-03-07 | 현대자동차주식회사 | Apparatus and method for determining condition of driver |
| KR20180038316A (en) * | 2016-10-06 | 2018-04-16 | 현대자동차주식회사 | Apparatus and method for determining condition of driver |
| JP2018081622A (en) * | 2016-11-18 | 2018-05-24 | トヨタ自動車株式会社 | Driving support apparatus and driving support method |
| CN109094568A (en) * | 2017-06-20 | 2018-12-28 | 奥迪股份公司 | It drives energy and pays assessment system and method |
| CN107985193B (en) * | 2017-11-30 | 2021-06-04 | 江苏中天安驰科技有限公司 | Fatigue driving early warning system |
| CN107985193A (en) * | 2017-11-30 | 2018-05-04 | 西安科锐盛创新科技有限公司 | Driver fatigue monitor system |
| GB2582548A (en) * | 2019-03-19 | 2020-09-30 | Jaguar Land Rover Ltd | Vehicle control system and method |
| GB2582548B (en) * | 2019-03-19 | 2021-10-13 | Jaguar Land Rover Ltd | Vehicle control system and method |
| KR20220095430A (en) * | 2020-12-30 | 2022-07-07 | 한국과학기술원 | Computer system for predicting concentration of driver through real-time analysis of driving data, and method thereof |
| KR102438689B1 (en) | 2020-12-30 | 2022-09-01 | 한국과학기술원 | Computer system for predicting concentration of driver through real-time analysis of driving data, and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002331850A (en) | Driving behavior intention detector | |
| US11662733B2 (en) | Trajectory setting device and trajectory setting method | |
| US11809194B2 (en) | Target abnormality determination device | |
| CN109941288B (en) | Safe driving assistance apparatus and method | |
| RU2622616C1 (en) | Carrier control device | |
| JP5382198B2 (en) | Risk calculation device | |
| CN108263279A (en) | The pedestrian detection and pedestrian impact avoiding device and method integrated based on sensor | |
| JP4687270B2 (en) | GPS lost prediction device and vehicle travel control device | |
| US11685384B2 (en) | Driver alertness detection method, device and system | |
| JP4948996B2 (en) | Vehicle driving support device | |
| JP2009184497A (en) | Driving operation assistant device for vehicle | |
| JP2008003880A (en) | Vehicle periphery monitoring system, vehicle periphery monitoring program and method for constructing vehicle periphery monitoring system and server | |
| JPH11348696A (en) | Traveling path shape estimating device and running supporting device using it | |
| JP2002331849A (en) | Driving behavior intention detector | |
| JP2015067030A (en) | Driving assist system | |
| JP4896482B2 (en) | Collision determination device | |
| JP7384131B2 (en) | Vehicle driving support devices, vehicle driving support methods, and programs | |
| KR20170049093A (en) | Vehicle and controlling method for the vehicle | |
| JP2006160032A (en) | Driving state determination device and its method | |
| JPH09263200A (en) | Alarm device for vehicle | |
| JP6668915B2 (en) | Automatic operation control system for moving objects | |
| US11048952B2 (en) | Occupant monitoring device, occupant monitoring method, and occupant monitoring program | |
| JP2018094294A (en) | State estimation system | |
| JP2018200701A (en) | Vehicle control device | |
| KR20200133443A (en) | Autonomous driving apparatus and method |