JP7284679B2 - Autonomous driving system - Google Patents
Autonomous driving system Download PDFInfo
- Publication number
- JP7284679B2 JP7284679B2 JP2019174719A JP2019174719A JP7284679B2 JP 7284679 B2 JP7284679 B2 JP 7284679B2 JP 2019174719 A JP2019174719 A JP 2019174719A JP 2019174719 A JP2019174719 A JP 2019174719A JP 7284679 B2 JP7284679 B2 JP 7284679B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- steering wheel
- gripping position
- steering
- automatic driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Steering Controls (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
本発明は、車両を自動で走行させる自動運転モードと運転者が運転操作して車両を走行させる手動運転モードとを備える自動運転システムに関する。 TECHNICAL FIELD The present invention relates to an automatic driving system having an automatic driving mode in which a vehicle automatically runs and a manual driving mode in which a driver operates the vehicle to run the vehicle.
近年、自動車等の車両においては、車両を自動的に走行させる自動運転システムが開発されている。この自動運転システムでは、一般に、運転者がステアリングホイールを把持する必要のない手放し運転を前提とする自動運転モードに加えて、運転者がステアリングホイールを把持して運転操作を行う手動運転モードを備えている。 In recent years, in vehicles such as automobiles, an automatic driving system has been developed for automatically driving the vehicle. In general, this automated driving system has an automated driving mode that assumes hands-free driving in which the driver does not need to grip the steering wheel, and a manual driving mode that allows the driver to grip the steering wheel and perform driving operations. ing.
このような自動運転システムでは、システムに異常が発生したり、自動運転の対象となる運行領域から外れる等して自動運転の継続が困難となった場合には、運転者がステアリングホイールを把持して運転を引継ぐことが要求される。また、自動運転での走行中に、運転者が自らの操作による手動運転を所望してステアリングホイールを把持するオーバーライド操作を行うと、自動運転が解除されて運転者による手動運転に引継がれる。 In such an automated driving system, if it becomes difficult to continue automated driving due to an abnormality in the system, or if it becomes difficult to continue automated driving because the system is out of the operating area for which automated driving is intended, the driver will be forced to hold the steering wheel. is required to take over driving. In addition, when the driver desires manual driving by his/her own operation and performs an override operation of gripping the steering wheel during automatic driving, automatic driving is canceled and handed over to manual driving by the driver.
この自動運転から手動運転への運転引継ぎに際しては、運転者が適正な運転操作が可能な状態であることが条件となる。このため、例えば、特許文献1には、ステアリングホイールの指定位置を把持する操作タスクを要求してから所定時間内に操作タスクの終了が検出されたか否かにより、乗員がステアリングホイールの操作が可能な状態か否かを判定する技術が開示されている。
In order to take over the operation from the automatic operation to the manual operation, it is a condition that the driver is in a state in which proper driving operation is possible. For this reason, for example,
一般に、運転者がステアリングホイールを把持したか否かは、ステアリングホイールに設けられたタッチセンサによって検知される。しかしながら、特許文献1に開示されるように、自動運転から手動運転への運転引継ぎに際しては、一義的にステアリングホイールの把持位置を指定するのみでは、運転者の失陥によって身体の一部がステアリングホイールの指定位置に触れてしまったり、ステアリングホイールの指定位置への水分付着等により、タッチセンサが誤検出となる虞がある。
In general, whether or not the driver grips the steering wheel is detected by a touch sensor provided on the steering wheel. However, as disclosed in
本発明は上記事情に鑑みてなされたもので、自動運転から手動運転への運転引継ぎに際して、運転者にステアリングホイールの把持位置を適正に指示しながら把持の誤検出を防止することのできる自動運転システムを提供することを目的としている。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances. The purpose is to provide a system
本発明の一態様による自動運転システムは、運転者がステアリングホイールに触れることなく自車両を自動で走行させる自動運転モードと、前記運転者が前記ステアリングホイールを把持して運転操作することにより前記自車両を走行させる手動運転モードとを備える自動運転システムであって、前記自車両の進行方向の走行環境を認識する走行環境認識部と、前記自動運転モードでの走行中に前記運転者の状態を監視し、少なくとも前記運転者の顔及び手の状態を検出する運転者監視部と、前記走行環境の認識結果と前記運転者の状態の検出結果とに基づいて、前記ステアリングホイールの把持位置を決定する把持位置決定部と、前記把持位置決定部で決定した前記ステアリングホイールの把持位置を、前記運転者に提示する把持位置提示部と、を備える。 An automatic driving system according to one aspect of the present invention includes an automatic driving mode in which a driver automatically drives the vehicle without touching the steering wheel, and a driving operation in which the driver grips the steering wheel to drive the vehicle. An automatic driving system comprising a manual driving mode for driving the vehicle, and a driving environment recognition unit that recognizes the driving environment in the traveling direction of the own vehicle, and the state of the driver during driving in the automatic driving mode. A driver monitoring unit that monitors and detects at least the state of the driver's face and hands, and determines the holding position of the steering wheel based on the recognition result of the driving environment and the detection result of the driver's state. and a gripping position presenting unit that presents the gripping position of the steering wheel determined by the gripping position determining unit to the driver.
本発明によれば、自動運転から手動運転への運転引継ぎに際して、運転者にステアリングホイールの把持位置を適正に指示しながら把持の誤検出を防止することができる。 Advantageous Effects of Invention According to the present invention, it is possible to prevent erroneous detection of gripping while properly instructing the driver about the gripping position of the steering wheel when switching from automatic driving to manual driving.
以下、図面を参照して本発明の実施の形態を説明する。図1は自動運転システムの概略構成図である。図1に示す自動運転システム1は、自動車等の車両に搭載され、運転者がステアリングホイールに触れることなく車両を自動で走行させる自動運転モードと、運転者がステアリングホイールを把持して運転操作することにより車両を走行させる手動運転モードとを備えている。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic configuration diagram of an automatic driving system. The
具体的には、自動運転システム1は、自動運転制御ユニット10を中心として、外部環境認識ユニット20、ロケータユニット30、運転者監視ユニット40、制駆動制御ユニット50、操舵制御ユニット60、情報報知ユニット70等を備えて構成されている。個々のユニットは、単一或いは複数のプロセッサを有するコンピュータ、及びその周辺機器を備えるコンピュータシステムを備え、車内ネットワークを介して互いに通信可能に接続されている。
Specifically, the
外部環境認識ユニット20は、カメラユニット21、ミリ波レーダやレーザレーダ等のレーダ装置22等の環境認識用の各種デバイスを備え、ロケータユニット30とともに、自車両の進行方向の走行環境を認識する走行環境認識部を形成する。外部環境認識ユニット20は、カメラユニット21やレーダ装置22等で検出した自車両周囲の物体の検出情報、路車間通信や車車間通信等のインフラ通信によって取得した交通情報、ロケータユニット30で測位した自車両の位置情報等により、自車両周囲の外部環境を認識する。
The external
例えば、外部環境認識ユニット20は、カメラユニット21として、同一対象物を異なる視点から撮像する2台のカメラで構成されるステレオカメラを自車両に搭載し、ステレオカメラで撮像した左右一対の画像をステレオ処理することにより、外部環境を3次元的に認識する。ステレオカメラとしてのカメラユニット21は、例えば、車室内上部のフロントウィンドウ内側のルームミラー近傍に、CCDやCMOS等の撮像素子を有するシャッタ同期の2台のカラーカメラが所定の基線長で車幅方向左右に配置されて構成されている。
For example, the external
ステレオカメラとしてのカメラユニット21で撮像された左右一対の画像はマッチング処理され、左右画像間の対応位置の画素ずれ量(視差)が求められる、そして、この画素ずれ量が輝度データ等に変換されて距離画像が生成される。距離画像上の点は、三角測量の原理から、自車両を中心とする実空間上の点に座標変換され、自車両が走行する道路の走行レーンを区画する左右の白線、障害物、自車両の前方を走行する車両等が3次元的に認識される。
A pair of left and right images captured by the
道路の左右の白線は、画像から白線の候補となる点群を抽出し、その候補点を結ぶ直線や曲線を算出することにより、認識することができる。例えば、画像上に設定された白線検出領域内において、水平方向(車幅方向)に設定した複数の探索ライン上で輝度が所定以上変化するエッジの検出を行い、探索ライン毎に1組の白線開始点及び白線終了点を検出することにより、白線開始点と白線終了点との間の中間の領域が白線候補点として抽出される。 White lines on the left and right of a road can be recognized by extracting point groups that are candidates for white lines from an image and calculating straight lines and curves that connect the candidate points. For example, in a white line detection area set on an image, edges whose luminance changes more than a predetermined amount are detected on a plurality of search lines set in the horizontal direction (vehicle width direction), and one set of white lines is detected for each search line. By detecting the start point and the white line end point, an intermediate area between the white line start point and the white line end point is extracted as a white line candidate point.
そして、単位時間当たりの車両移動量に基づく白線候補点の空間座標位置の時系列データを処理して左右の白線を近似するモデルを算出することにより、白線が認識される。白線の近似モデルとしては、ハフ変換によって求めた直線成分を連結した近似モデルや、2次式等の曲線で近似したモデルを用いることができる。 Then, the white line is recognized by processing the time-series data of the spatial coordinate positions of the white line candidate points based on the amount of vehicle movement per unit time and calculating a model that approximates the left and right white lines. As the approximation model of the white line, it is possible to use an approximation model obtained by connecting straight line components obtained by Hough transform, or a model approximating with a curve such as a quadratic equation.
ロケータユニット30は、外部環境認識ユニット20とともに自車両の進行方向の走行環境を認識する走行環境認識部を形成するものであり、GNSS(Global Navigation Satellite System)衛星等の複数の航法衛星からの信号に基づく測位を主として、自車両の位置を検出する。また、衛星からの信号(電波)の捕捉状態や電波の反射によるマルチパスの影響等で測位精度が悪化した場合には、ロケータユニット30は、ジャイロセンサ32や車速センサ33等の車載センサを用いた自律航法による測位を併用して自車両の位置を検出する。
The
複数の航法衛星による測位は、航法衛星から送信される軌道及び時刻等に関する情報を含む信号を受信機31を介して受信し、受信した信号に基づいて自車両の自己位置を、経度、緯度、高度、及び時間情報を含む絶対位置として測位する。また、自律航法による測位は、ジャイロセンサ32によって検出した自車両の進行方位と車速センサ33から出力される車速パルス等から算出した自車両の移動距離とに基づいて、相対的な位置変化分としての自車位置を測位する。
Positioning by a plurality of navigation satellites is performed by receiving signals including information on orbits and times transmitted from the navigation satellites via the
また、ロケータユニット30は、地図データベースDBを備え、測位した自車両の位置データから地図データベースDBの地図データ上での位置を特定する。地図データベースDBは、自動運転を含む走行制御用に作成された高精度地図を保有するデータベースであり、HDD(hard disk drive)やSSD(solid state drive)等の大容量記憶媒体に格納されている。
The
詳細には、高精度地図は、道路形状や道路間の接続関係等の静的な情報と、インフラ通信によって収集される交通情報等の動的な情報とを複数の階層で保持する多次元マップ(ダイナミックマップ)として構成されている。道路データとしては、道路白線の種別、走行レーンの数、走行レーンの幅、走行レーンの幅方向の中心位置を示す点列データ、走行レーンの曲率、走行レーンの進行方位角、制限速度等が含まれ、データの信頼度やデータ更新の日付等の属性データと共に保持されている。 In detail, a high-definition map is a multi-dimensional map that holds static information such as road shapes and connections between roads, and dynamic information such as traffic information collected by infrastructure communication in multiple layers. (dynamic map). Road data includes types of road white lines, number of lanes, width of lanes, sequence of points data indicating center positions in the width direction of lanes, curvature of lanes, azimuth angles of travel lanes, speed limits, etc. are included and maintained together with attribute data such as data reliability and date of data update.
更に、ロケータユニット30は、地図データベースDBの保守管理を行い、地図データベースDBのノード、リンク、データ点を検定して常に最新の状態に維持すると共に、データベース上にデータが存在しない領域についても新規データを作成・追加し、より詳細なデータベースを構築する。地図データベースDBのデータ更新及び新規データの追加は、測位された位置データと、地図データベースDBに記憶されているデータとの照合によって実施される。
Furthermore, the
運転者監視ユニット40は、運転者を撮像する運転者監視カメラ41を備え、この運転者監視カメラ41を用いて運転者の状態を監視し、少なくとも運転者の顔及び手の状態を検出する運転者監視部として機能する。詳細には、運転者監視ユニット40は、運転者監視カメラ41で撮像した画像を処理して、運転者の顔の向きや視線方向、運転者の手の動きや各種機器の操作状態等を検出する。
The
図2は運転者監視カメラの配置を示す説明図であり、例えば、自車両Mの運転席前方のインストルメントパネルに、運転者監視カメラ41が設置されている。運転者監視カメラ41は、運転者Dを正面から撮像し、主として運転者の顔及び手を含む上体が撮像範囲に入るように設定されている。
FIG. 2 is an explanatory diagram showing the arrangement of the driver monitoring camera. For example, the
運転者監視ユニット40は、ステアリングホイールHを把持しない状態で運転席に着座している運転者Dを撮像した画像に基づいて、運転者Dの顔の向きや視線の方向、手の状態を検出する。例えば、運転者監視ユニット40は、運転者Dの顔Dfの画像から運転者Dが自車両の進行方向を向いて前方を注視しているか、或いは進行方向の左右何れかの側を向いて脇見しているかを検出する。また、運転者Dの手Dhの画像から、運転者Dが片手或いは両手で携帯電話機や携帯情報端末等の機器Tを把持或いは操作しているか否かを検出する。
The
尚、運転者監視ユニット40は、運転者監視カメラ41に加えて、運転者の呼吸、心拍数、血圧、体温、脳波等の生体情報を検出する生体センサを備え、運転者の健康状態も検出する。
In addition to the
制駆動制御ユニット50は、電動モータや内燃機関で発生させる走行駆動力を制御し、また、自車両の走行速度、前進と後退の切換え、ブレーキ等を制御する。例えば、制駆動制御ユニット50は、エンジン運転状態を検出する各種センサ類からの信号及び車内ネットワークを介して取得される各種制御情報に基づいて、エンジンの運転状態を制御し、また、ブレーキスイッチ、4輪の車輪速、操舵角、ヨーレート、その他の車両情報に基づき、4輪のブレーキ装置(図示せず)を運転者のブレーキ操作とは独立して制御する。更に、制駆動制御ユニット50は、各輪のブレーキ力に基づいて各輪のブレーキ液圧を算出して、アンチロックブレーキ制御や横すべり防止制御等を行う。
The braking/
操舵制御ユニット60は、例えば、車速、運転者の操舵トルク、操舵角、ヨーレート、その他の車両情報に基づいて、操舵系に設けた電動パワーステアリング(EPS)ユニット61による操舵トルクを制御する。この操舵トルクの制御は、実操舵角を目標操舵角に一致させるための目標操舵トルクを実現するEPSユニット61の電動モータに対する電流制御として実行される。EPSユニット61は、操舵制御ユニット60からの目標操舵トルクを指示トルクとして、この指示トルクに対応する電動モータの駆動電流を、例えばPID制御によって制御する。
The
情報報知ユニット70は、車両の各種装置に異常が生じた場合や運転者に注意を喚起するための警報、及び運転者に提示する各種情報を出力する。また、情報報知ユニット70は、自動運転を含む走行制御を実行中、その制御状態を運転者に提示し、運転者の操作によって自動運転を含む走行制御が休止された場合には、そのときの運転状態を運転者に報知する。情報報知ユニット70による情報の提示は、モニタ、ディスプレイ、ランプ等の視覚的な出力、スピーカ・ブザー等の聴覚的な出力、モータによる振動機構等の触覚的な出力の少なくとも一つを用いて行われる。 The information notification unit 70 outputs an alarm for alerting the driver when an abnormality occurs in various devices of the vehicle, and various information to be presented to the driver. In addition, the information notification unit 70 presents the control state to the driver while running control including automatic driving is being executed, and when the running control including automatic driving is suspended by the driver's operation, the control state at that time is displayed. To inform the driver of the driving state. Information is presented by the information reporting unit 70 using at least one of visual outputs such as monitors, displays, and lamps, auditory outputs such as speakers and buzzers, and tactile outputs such as motor-driven vibration mechanisms. will be
本実施の形態においては、ステアリングホイールHを把持する運転者に直接且つ効果的に報知するため、ステアリングホイールHに、LED等の発光体が全周に渡って配設されると共に、モータ及び偏心分銅等からなる振動発生器が取り付けられている。ステアリングホイールHの発光体は、情報報知ユニット70に接続されるステアリング発光コントローラ71によって制御される。また、ステアリングホイールHの振動発生器は、情報報知ユニット70に接続されるステアリング振動コントローラ72によって制御される。
In this embodiment, in order to directly and effectively notify the driver holding the steering wheel H, the steering wheel H is provided with light emitters such as LEDs over the entire circumference, and the motor and the eccentricity A vibration generator, such as a weight, is attached. The lighting of the steering wheel H is controlled by a
次に、自動運転システム1の中心となる自動運転制御ユニット10について説明する。自動運転制御ユニット10には、運転者が運転モードを選択するための運転モードスイッチ11が接続されている。運転者が運転モードスイッチ11を操作して運転支援モード或いは自動運転モードをONしたとき、自動運転制御ユニット10は、外部環境認識ユニット20及びロケータユニット30からの情報に基づいて、制駆動制御ユニット50及び操舵制御ユニット60を介した運転制御を実行する。
Next, the automatic
運転支援モードは、運転者の運転操作の一部を支援するモードであり、本実施の形態においては、運転者がステアリングホイールHを把持或いは操舵する必要のある運転モードである。また、自動運転モードは、運転者がステアリングホイールHを把持する必要のない手放し運転を前提とする運転モードであり、自動運転機能が正常に作動する設計上の運行領域において加減速制御及び操舵制御の全てを自動で行う条件付きの自動運転モードである。 The driving assistance mode is a mode for partially assisting the driver's driving operation, and in this embodiment, it is a driving mode in which the driver needs to grip or steer the steering wheel H. In addition, the automatic driving mode is a driving mode premised on hands-free driving in which the driver does not need to grip the steering wheel H, and acceleration/deceleration control and steering control are performed in the designed operating region where the automatic driving function operates normally. It is a conditional automatic operation mode that automatically performs all of the above.
また、自動運転制御ユニット10には、運転者がステアリングホイールHを把持したことを検知するステアリング把持センサ12が接続されている。ステアリング把持センサ12は、例えば、柔軟な導電性材料を用いで電極層を形成した静電容量型のタッチセンサであり、ステアリングホイールHのリム部全周に渡って配設されている。
A steering grip sensor 12 that detects that the driver has gripped the steering wheel H is connected to the automatic
自動運転制御ユニット10は、運転者がステアリングホイールHに触れる必要のない自動運転モードでの制御中に、自動運転を継続可能な条件(自動運転条件)を満足しなくなった場合、運転者に運転の引継ぎを要求する引継要求を出力する。
When the automatic
例えば、システムの一部に異常が発生したり、自動運転の運行領域外となる等して自動運転の継続が困難となった場合、或いは、運転者監視ユニット40によって運転者の体調悪化が検出され、正常に運転可能な状態でないと判断された場合等には、自動運転条件が不成立と判断して引継ぎ要求を出力する。
For example, when an abnormality occurs in a part of the system, when it becomes difficult to continue automatic driving because it is out of the operation range of automatic driving, or when the
自動運転制御ユニット10は、ステアリング把持センサ12からの信号により、運転者が引継ぎ要求に応答してステアリングホイールHを把持したことを検知したとき、自動運転モードの制御を停止し、自車両の運転を運転者に引き継ぐ。
When the automatic
また、自動運転制御ユニット10は、自動運転モードでの制御中、ステアリング把持センサ12からの信号によって運転者がステアリングホイールHを把持したことを検知した場合、運転者が自らの運転操作による手動運転で自車両を走行させることを所望するオーバーライド操作と判断する。自動運転制御ユニット10は、運転者のオーバーライド操作を検出したとき、自動運転モードの制御を停止し、自車両の運転を運転者に引き継ぐ。
In addition, when the automatic
このようなシステムによる手動運転へ引継ぎ要求や運転者のオーバーライド操作による手動運転への引継ぎ要求は、ステアリング把持センサ12からの信号に基づいて受け付けられる。しかしながら、運転者がステアリングホイールHを把持したことをステアリング把持センサ12によって検出する場合、運転者の失陥によるステアリング把持センサ12への誤接触や、水分付着等による誤検出が生じる可能性がある。 A handover request to manual driving by such a system or a handover request to manual driving by a driver's override operation is accepted based on a signal from the steering grip sensor 12 . However, when the steering wheel grip sensor 12 detects that the driver has gripped the steering wheel H, there is a possibility that an erroneous contact with the steering wheel grip sensor 12 due to the driver's fault or an erroneous detection due to adhesion of moisture or the like may occur. .
このため、自動運転制御ユニット10は、随時、ステアリングホイールHの把持位置(ステアリング把持位置)を変更することにより、同じ把持位置が継続的に指示されることを回避し、ステアリング把持センサ12への誤接触や誤検出を防止するようにしている。このステアリング把持位置の変更に係る機能として、自動運転制御ユニット10は、把持位置決定部10a、把持位置提示部10b、把持報知部10cを備えている。
For this reason, the automatic
把持位置決定部10aは、外部環境認識ユニット20による走行環境の認識結果と、運転者監視ユニット40による運転者の状態の検出結果とに基づいて、ステアリング把持位置を決定する。ステアリング把持位置は、基本的には、運転者が自車両の進行方向を向き、且つ運転者の両手が開放状態で機器を操作する等していないことが検出された場合、手動運転への引継ぎ要求毎に、また一つの位置で一定時間が経過する毎に、ランダムに変更される。
The gripping position determination unit 10 a determines the steering gripping position based on the recognition result of the driving environment by the external
図3はステアリング把持位置の変化を示す説明図である。図3に示すように、初回(n=1)の引継ぎ要求時に、ステアリングホイールHの上部右側の領域R11と下部左側の領域R12とがステアリング把持位置として決定された場合、次の引継ぎ要求(n=2)では、ステアリングホイールHの上部左側の領域R21と下部右側の領域R22にステアリング把持位置が変更される。更に、3回目の引継ぎ要求(n=3)では、ステアリングホイールHの上部領域R31と下部領域R32がステアリング把持位置とされる。所定のステアリング把持位置で一定時間が経過した場合も、同様である。 FIG. 3 is an explanatory diagram showing changes in steering grip position. As shown in FIG. 3, at the time of the first takeover request (n=1), if the upper right area R11 and the lower left area R12 of the steering wheel H are determined as the steering grip position, the next takeover request (n =2), the steering grip position is changed to the upper left area R21 of the steering wheel H and the lower right area R22. Further, in the third takeover request (n=3), the upper region R31 and the lower region R32 of the steering wheel H are set as the steering grip position. The same applies when a predetermined time has passed at a predetermined steering gripping position.
この場合、把持位置決定部10aは、ステアリング把持位置を、操舵角が0度の状態を基準位置として操舵角又は操舵速度に応じて円周方向にシフトさせ、操舵角θが0度以外の状態であっても、運転者から見てステアリング把持位置が同様の位置となるように調整する。 In this case, the gripping position determination unit 10a shifts the steering gripping position in the circumferential direction according to the steering angle or the steering speed, with the steering angle θ of 0 degrees as the reference position, and shifts the steering gripping position to a state where the steering angle θ is other than 0 degrees. However, it is adjusted so that the steering gripping position is the same position as seen from the driver.
図4は操舵角に応じたステアリング把持位置の変化を示す説明図である。図4においては、ステアリング把持位置は、操舵角θがθ=0,θ=θ1,θ=θ2と異なる場合であっても、運転者から見て同じ領域R11,R12となるように調整される。操舵速度が異なる場合も同様である。 FIG. 4 is an explanatory diagram showing changes in the steering gripping position according to the steering angle. In FIG. 4, the steering gripping position is adjusted so that the regions R11 and R12 are the same as seen from the driver even when the steering angle θ is different from θ=0, θ=θ1, θ=θ2. . The same applies when the steering speed is different.
また、把持位置決定部10aは、ステアリング把持位置を決定する際に、以下の(1)~(3)に示すように、自車両の進行方向の道路形状、運転者の手の状態、運転者の顔の向きの検出結果に基づいて、ステアリング把持位置を決定する。
(1)自車両の進行方向の道路形状
把持位置決定部10aは、自車両の進行方向の道路形状が予め設定した曲率以上のカーブであることを検知した場合、ステアリング把持位置を、ステアリングホイールHの上部位置に決定する。自車両の進行方向の道路形状は、外部環境認識ユニット20からの認識情報やロケータユニット30からの地図情報及び自己位置情報によって検知することができる。
In addition, when determining the steering grip position, the gripping position determination unit 10a, as shown in the following (1) to (3), the shape of the road in the traveling direction of the own vehicle, the state of the driver's hand, the driver's The steering grip position is determined based on the face direction detection result.
(1) Road Shape in Traveling Direction of Own Vehicle When the gripping position determination unit 10a detects that the road shape in the traveling direction of the own vehicle is a curve with a curvature greater than or equal to a preset curvature, the steering gripping position is set to the steering wheel H. to the upper position of the The shape of the road in the traveling direction of the own vehicle can be detected from recognition information from the external
図5はカーブ走行時のステアリング把持位置を示す説明図である。図5においては、ステアリングホイールHの上部2箇所の領域Rcv1,Rcv2がステアリング把持位置とされる。これにより、カーブ走行時に運転者がステアリングホイールHを把持して操舵する際の操作性を向上することができる。
(2)運転者の顔の向き
把持位置決定部10aは、運転者監視ユニット40によって運転者が自車両の進行方向に対して左右何れかの方向を向いていることを検出した場合、ステアリング把持位置を運転者が向いている方向側に決定する。尚、ここでの運転者の顔の向きは、運転者の視線方向を含むものとする。
FIG. 5 is an explanatory diagram showing a steering gripping position when traveling on a curve. In FIG. 5, two regions Rcv1 and Rcv2 on the upper portion of the steering wheel H are the steering gripping positions. As a result, it is possible to improve the operability when the driver grips the steering wheel H and steers the vehicle while traveling around a curve.
(2) Direction of Driver's Face When the
図6は運転者が進行方向左側を見ている場合のステアリング把持位置を示す説明図である。図6においては、ステアリングホイールHの左半分側の上下の領域Rl1,Rl2がステアリング把持位置とされ、運転者が向いている左側の視界内でステアリングホイールHの把持位置を認識させることが容易となり、迅速にステアリングホイールHを把持して運転を引き継ぐことが可能となる。 FIG. 6 is an explanatory diagram showing the steering grip position when the driver is looking leftward in the direction of travel. In FIG. 6, the upper and lower areas Rl1 and Rl2 on the left half side of the steering wheel H are the steering gripping positions, and it becomes easy for the driver to recognize the gripping position of the steering wheel H within the left side of the field of vision. , it is possible to quickly grasp the steering wheel H and take over driving.
図7は運転者が進行方向右側を見ている場合のステアリング把持位置を示す説明図である。図7においては、ステアリングホイールHの右半分側の上下の領域Rr1,Rr2がステアリング把持位置とされ、運転者が向いている右側の視界内でステアリングホイールHの把持位置を認識させることが容易となり、迅速にステアリングホイールHを把持して運転を引き継ぐことが可能となる。 FIG. 7 is an explanatory diagram showing the steering grip position when the driver is looking to the right in the direction of travel. In FIG. 7, the upper and lower regions Rr1 and Rr2 on the right half side of the steering wheel H are the steering gripping positions, and it becomes easy for the driver to recognize the gripping position of the steering wheel H within the right field of vision. , it is possible to quickly grasp the steering wheel H and take over driving.
図8は運転者が下側を見ている場合のステアリング把持位置を示す説明図である。図8においては、ステアリングホイールHの下半分側の左右の領域Rd1,Rd2がステアリング把持位置とされ、運転者が向いている下側の視界内でステアリングホイールHの把持位置を認識させることが容易となり、迅速にステアリングホイールHを把持して運転を引き継ぐことが可能となる。
(3)運転者の手の状態
把持位置決定部10aは、運転者監視ユニット40によって運転者が左右何れか一方の手で機器を操作していることを検出した場合、ステアリング把持位置を、運転者の機器を操作していない手の側に決定する。
FIG. 8 is an explanatory diagram showing the steering grip position when the driver is looking downward. In FIG. 8, the left and right regions Rd1 and Rd2 on the lower half side of the steering wheel H are the steering gripping positions, and it is easy for the driver to recognize the gripping position of the steering wheel H within the lower field of view facing the driver. As a result, it becomes possible to quickly grasp the steering wheel H and take over driving.
(3) State of Driver's Hands When the
図9は運転者の左手が機器操作状態の場合のステアリング把持位置を示す説明図である。図9においては、運転者が左手Dhlで機器Tを操作しているため、機器を操作していない右手Dhr側のステアリングホイールHの領域Rtr1,Rtr2がステアリング把持位置とされる。これにより、運転者が自由な状態の右手Dhrで迅速にステアリングホイールHを把持して運転を引き継ぐことが可能となる。 FIG. 9 is an explanatory diagram showing the steering grip position when the driver's left hand is operating the device. In FIG. 9, since the driver operates the device T with the left hand Dhl, the regions Rtr1 and Rtr2 of the steering wheel H on the right hand Dhr side where the device is not operated are the steering gripping positions. As a result, the driver can quickly grasp the steering wheel H with the free right hand Dhr and take over driving.
また、図10は運転者の右手が機器操作状態にある場合のステアリング把持位置を示す説明図である。図10においては、運転者が右手Dhrで機器Tを操作しているため、機器を操作していない左手Dhl側のステアリングホイールHの領域Rtl1,Rtl2がステアリング把持位置とされる。これにより、運転者が自由な状態の左手Dhlで迅速にステアリングホイールHを把持して運転を引き継ぐことが可能となる。 FIG. 10 is an explanatory diagram showing the steering gripping position when the right hand of the driver is operating the device. In FIG. 10, since the driver operates the device T with the right hand Dhr, the regions Rtl1 and Rtl2 of the steering wheel H on the left hand Dhl side where the device is not operated are the steering gripping positions. As a result, the driver can quickly grasp the steering wheel H with the left hand Dhl in a free state and take over driving.
更に、把持位置決定部10aは、運転者監視ユニット40によって運転者が両手で機器を操作していることを検出した場合、ステアリング把持位置をステアリングホイールHの全体に決定する。
Further, the gripping position determination unit 10a determines the steering gripping position to be the entire steering wheel H when the
図11は運転者の両手が機器操作状態の場合のステアリング把持位置を示す説明図である。図11においては、運転者の両手Dhl,Dhrが機器T1,T2の操作状態にあるため、把持位置決定部10aは、ステアリングホイールHの全体の領域Rallをステアリング把持位置とする。これにより、運転者が最も把持しやすい位置で迅速にステアリングホイールHを把持して運転を引き継ぐことが可能となる。 FIG. 11 is an explanatory diagram showing the steering grip position when both hands of the driver are operating the device. In FIG. 11, both hands Dhl and Dhr of the driver are operating the devices T1 and T2, so the gripping position determining unit 10a sets the entire region Rall of the steering wheel H as the steering gripping position. As a result, it is possible for the driver to quickly grip the steering wheel H at the position where it is easiest for the driver to take over driving.
把持位置提示部10bは、把持位置決定部10aで決定したステアリング把持位置を情報報知ユニット70に送信する。本実施の形態においては、情報報知ユニット70は、ステアリング発光コントローラ71を介して、ステアリングホイールHのステアリング把持位置に対応する部位を発光させ、運転者に把持位置を報知する。
The gripping position presenting unit 10b transmits the steering gripping position determined by the gripping position determining unit 10a to the information reporting unit 70. FIG. In the present embodiment, the information notification unit 70 causes a portion of the steering wheel H corresponding to the steering gripping position to emit light via a
尚、ステアリング把持位置は、インストルメントパネル等に設けた表示パネルやHUD(ヘッドアップディスプレイ)を用いて報知するようにしても良い。例えば、表示パネルやHUDに、ステアリングホイールHを図形的に表示し、図3~図11に示すようなステアリング把持位置を点滅或いは発光強度を高くすることにより、強調表示するようしても良い。 The steering gripping position may be notified using a display panel or HUD (head-up display) provided on an instrument panel or the like. For example, the steering wheel H may be graphically displayed on the display panel or HUD, and the steering grip position shown in FIGS.
把持報知部10cは、ステアリング把持センサ12からの信号により、把持位置提示部10bによって提示されたステアリングホイールHの把持位置を運転者が把持したことを検知したとき、情報報知ユニット70に通知する。本実施の形態においては、情報報知ユニット70は、ステアリング振動コントローラ72を介してステアリングホイールHを振動させ、運転者に報知する。 The grip notification unit 10c notifies the information notification unit 70 when it is detected by the signal from the steering grip sensor 12 that the driver has gripped the grip position of the steering wheel H presented by the grip position presentation unit 10b. In the present embodiment, the information notification unit 70 vibrates the steering wheel H via the steering vibration controller 72 to notify the driver.
図12は運転者がステアリングホイールを把持したときの報知を示す説明図である。図12に示すように、システムによって提示されたステアリングホイールHの把持位置を運転者が適正に把持したとき、ステアリングホイールH全体が振動する。これにより、運転者によるステアリングホイールHの把持をシステムが認識したことを、運転者の手を介して触覚的に報知することができる。この場合、運転者がステアリングホイールHの提示された以外の部位を把持或いは触れても、システムが把持と認識せず、ステアリングホイールHは振動しない。 FIG. 12 is an explanatory diagram showing notification when the driver grips the steering wheel. As shown in FIG. 12, when the driver properly grips the grip position of the steering wheel H suggested by the system, the entire steering wheel H vibrates. As a result, it is possible to tactilely inform the driver that the system has recognized that the steering wheel H has been gripped by the driver. In this case, even if the driver grips or touches a portion of the steering wheel H other than the presented portion, the system does not recognize it as gripping, and the steering wheel H does not vibrate.
次に、自動運転システム1の動作について、図13~図15のフローチャートで示される自動運転制御ユニット10の動作を中心として説明する。図13はステアリングホイール把持位置報知処理のフローチャート、図14はステアリングホイール把持位置決定処理のフローチャート、図15はステアリングホイール把持位置変換処理のフローチャートである。
Next, the operation of the
先ず、図13のステアリングホイール把持位置報知処理について説明する。このステアリングホイール把持位置報知処理では、自動運転制御ユニット10は、最初のステップS1において、運転モードスイッチ11からの信号に基づいて自動運転モードがONされているか否かを調べる。自動運転モードがOFFの場合、自動運転モードがONされるまで待機し、自動運転モードがONされた場合、ステップS1からステップS2へ進む。
First, the steering wheel gripping position reporting process of FIG. 13 will be described. In this steering wheel gripping position notification process, the automatic
ステップS2では、自動運転制御ユニット10は図14のステアリングホイール把持位置決定処理を実行し、ステアリングホイールHの把持位置を決定する。更に、自動運転制御ユニット10は、ステップS3で図15のステアリングホイール把持位置変換処理を実行し、決定したステアリング把持位置を操舵角及び操舵速度に応じた位置に変換する。
In step S2, the automatic
ここで、ステップS2のステアリングホイール把持位置決定処理、ステップS3ステアリングホイール把持位置変換処理について説明する。 Here, the steering wheel gripping position determining process in step S2 and the steering wheel gripping position conversion process in step S3 will be described.
先ず、ステップS2のステアリングホイール把持位置決定処理では、自動運転制御ユニット10は、図14に示すように、最初のステップS11において、外部環境認識ユニット20及びロケータユニット30からの情報に基づいて自車両の進行方向の道路形状を検知する処理を実行する。
First, in the steering wheel gripping position determination process of step S2, the automatic
次に、自動運転制御ユニット10は、運転者監視ユニット40からの情報に基づいて、ステップS12で運転者の顔の向きを検知する処理を実行し、ステップS13で運転者の手の状態を検知する処理を実行する。更に、自動運転制御ユニット10は、ステップS14で乱数演算処理を実行し、ステップS15の位置決定処理に進む。
Next, based on the information from the
ステップS15では、自動運転制御ユニット10は、ステップS11~S13の検知処理結果とステップS14の乱数演算処理結果に基づいて、ステアリング把持位置を決定する。このステアリング把持位置の決定に際しては、ステップS11~S13の検知結果、及びステップS14の乱数演算処理結果は、適宜、取捨選択される。
In step S15, the automatic
例えば、前述したように、自車両の進行方向の道路形状が設定曲率以上のカーブである場合には、ステアリング把持位置はステアリングホイールHの上部に制限されて決定される。また、運転者が自車両の進行方向に対して左右何れかの側或いは下側を向いている場合、ステアリング把持位置は、ステアリングホイールHの運転者が向いている側に決定される。 For example, as described above, when the shape of the road in the direction in which the vehicle is traveling is a curve with a curvature greater than the set curvature, the steering gripping position is limited to the upper portion of the steering wheel H and determined. Further, when the driver faces left, right, or downward with respect to the traveling direction of the vehicle, the steering gripping position is determined on the side of the steering wheel H facing the driver.
また、運転者が左右何れか一方の手機器を操作している場合には、ステアリング把持位置は、ステアリングホイールHの運転者が機器を操作していない手の側に決定され、運転者が両手で機器を操作している場合には、ステアリング把持位置は、ステアリングホイールHの全体に決定される。 Further, when the driver operates either the left or right hand device, the steering gripping position is determined on the side of the steering wheel H not operated by the driver. The steering grip position is determined on the entire steering wheel H when operating the device with .
また、道路形状が直線路であり、運転者が自車両の進行方向を向き且つ運転者の両手が開放状態で機器を操作する等していない場合には、ステアリング把持位置は、乱数演算処理によって得られるランダムな位置に決定される。 In addition, when the road shape is a straight road, the driver is facing the direction of travel of the vehicle, and the driver is not operating a device with both hands open, the steering wheel grip position is determined by random number arithmetic processing. determined by the resulting random position.
次に、ステップS3のステアリングホイール把持位置変換処理では、自動運転制御ユニット10は、図15に示すように、最初のステップS21でステアリング把持位置の情報を取得し、ステップS22で現在の操舵角及び操舵速度の情報を取得する。そして、自動運転制御ユニット10は、ステップS23で、ステアリング把持位置を現在の操舵角及び操舵速度に基づいて所定角度だけ周方向にシフトさせた位置に変換するステアリング把持位置変換処理を実行する。
Next, in the steering wheel gripping position conversion process in step S3, the automatic
その後、自動運転制御ユニット10は、ステアリングホイール把持位置報知処理に戻り、ステップS4において、先に決定したステアリング把持位置を表示して指定するステアリング把持位置表示処理を実行する。このステアリング把持位置表示処理では、自動運転制御ユニット10は、情報報知ユニット70にステアリング把持位置を送信し、ステアリング発光コントローラ71を介してステアリングホイールHの指定位置を発光させる等して運転者にステアリング把持位置を提示する。
After that, the automatic
次に、ステップS5において、自動運転制御ユニット10は、ステアリング把持センサ12からの信号により、ステップS4で提示したステアリング把持位置でステアリングホイールHが把持された否かを判断する。自動運転制御ユニット10は、提示したステアリング把持位置でステアリングホイールHが把持されていないと判断した場合、ステップS6の処理に進み、設定時間が経過したか否かを調べる。
Next, in step S5, the automatic
ステップS6において、設定時間が経過していない場合、自動運転制御ユニット10は、ステップS6からステップS3の処理へ戻り、舵角或いは舵角速度が変化した場合にステアリング把持位置を変換する。設定時間が経過した場合には、自動運転制御ユニット10は、ステップS6からステップS2の処理に戻り、ステアリング把持位置を新たな位置に再決定する。
In step S6, if the set time has not elapsed, the automatic
一方、ステップS5において、自動運転制御ユニット10は、提示した位置でステアリングホイールHが把持されたと判断した場合、ステップS5からステップS7の処理に進む。ステップS7では、自動運転制御ユニット10は、情報報知ユニット70にステアリングホイールHが把持されたことを通知し、ステップS1の処理に戻る。情報報知ユニット70は、ステアリング振動コントローラ72を介してステアリングホイールHを振動させ、ステアリングホイールHの把持をシステムが認識したことを運転者に報知する。
On the other hand, in step S5, when the automatic
このように本実施の形態においては、自動運転から手動運転への運転引継ぎに際して、外部環境認識ユニット20及びロケータユニット30による走行環境の認識結果と運転者監視ユニット40による運転者の状態の検出結果とに基づいてステアリングホイールHの把持位置を決定し、決定したステアリングホイールの把持位置を運転者に提示するので、運転者にステアリングホイールの把持位置を適正に指示しながら把持の誤検出を防止することができる。
As described above, in the present embodiment, when driving is handed over from automatic driving to manual driving, the recognition result of the driving environment by the external
1 自動運転システム
10 自動運転制御ユニット
10a 把持位置決定部
10b 把持位置提示部
10c 把持報知部
11 運転モードスイッチ
12 ステアリング把持センサ
20 外部環境認識ユニット
30 ロケータユニット
40 運転者監視ユニット
41 運転者監視カメラ
50 制駆動制御ユニット
60 操舵制御ユニット
70 情報報知ユニット
71 ステアリング発光コントローラ
72 ステアリング振動コントローラ
1
Claims (9)
前記自車両の進行方向の走行環境を認識する走行環境認識部と、
前記自動運転モードでの走行中に前記運転者の状態を監視し、少なくとも前記運転者の顔及び手の状態を検出する運転者監視部と、
前記走行環境の認識結果と前記運転者の状態の検出結果とに基づいて、前記ステアリングホイールの把持位置を決定する把持位置決定部と、
前記把持位置決定部で決定した前記ステアリングホイールの把持位置を、前記運転者に提示する把持位置提示部と、
を備えることを特徴とする自動運転システム。 An automatic driving mode comprising an automatic driving mode in which the vehicle is automatically driven without the driver touching the steering wheel, and a manual driving mode in which the vehicle is driven by the driver gripping the steering wheel and operating the vehicle. a driving system,
a driving environment recognition unit that recognizes the driving environment in the traveling direction of the own vehicle;
a driver monitoring unit that monitors the state of the driver while traveling in the automatic driving mode and detects at least the state of the driver's face and hands;
a gripping position determination unit that determines a gripping position of the steering wheel based on the recognition result of the driving environment and the detection result of the driver's state;
a gripping position presentation unit that presents the gripping position of the steering wheel determined by the gripping position determination unit to the driver;
An automatic driving system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174719A JP7284679B2 (en) | 2019-09-25 | 2019-09-25 | Autonomous driving system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174719A JP7284679B2 (en) | 2019-09-25 | 2019-09-25 | Autonomous driving system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021049894A JP2021049894A (en) | 2021-04-01 |
JP7284679B2 true JP7284679B2 (en) | 2023-05-31 |
Family
ID=75156839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019174719A Active JP7284679B2 (en) | 2019-09-25 | 2019-09-25 | Autonomous driving system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7284679B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210370953A1 (en) * | 2020-05-26 | 2021-12-02 | The Regents Of The University Of Michigan | Grip-force sensing and shape-changing steering wheel |
JP7357041B2 (en) * | 2021-11-11 | 2023-10-05 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006521954A (en) | 2003-04-04 | 2006-09-28 | タカタ・ペトリ アーゲー | Automotive steering wheel |
WO2015145605A1 (en) | 2014-03-26 | 2015-10-01 | 日産自動車株式会社 | Vehicular information provision device |
JP2017207885A (en) | 2016-05-18 | 2017-11-24 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
JP2019142271A (en) | 2018-02-16 | 2019-08-29 | 株式会社東海理化電機製作所 | Steering device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6800120B2 (en) * | 2017-09-20 | 2020-12-16 | 株式会社東海理化電機製作所 | Operation status detector |
JP2021046043A (en) * | 2019-09-17 | 2021-03-25 | 本田技研工業株式会社 | Vehicle control system |
-
2019
- 2019-09-25 JP JP2019174719A patent/JP7284679B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006521954A (en) | 2003-04-04 | 2006-09-28 | タカタ・ペトリ アーゲー | Automotive steering wheel |
WO2015145605A1 (en) | 2014-03-26 | 2015-10-01 | 日産自動車株式会社 | Vehicular information provision device |
JP2017207885A (en) | 2016-05-18 | 2017-11-24 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
JP2019142271A (en) | 2018-02-16 | 2019-08-29 | 株式会社東海理化電機製作所 | Steering device |
Also Published As
Publication number | Publication date |
---|---|
JP2021049894A (en) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7288326B2 (en) | Autonomous driving system | |
JP7307550B2 (en) | Vehicle driving control system | |
JP7125443B2 (en) | Operation Method of Autonomous Mobile Object in Obstructed-Vision Environment | |
JP7307558B2 (en) | Vehicle driving control system | |
JP6831190B2 (en) | Control system and control method for autonomous vehicles | |
JP6544320B2 (en) | Control system and control method of autonomous driving vehicle | |
US9796416B2 (en) | Automated driving apparatus and automated driving system | |
JP6409699B2 (en) | Automated driving system | |
JP6729220B2 (en) | Vehicle driving support device | |
US20170028995A1 (en) | Vehicle control apparatus | |
JP7307549B2 (en) | Vehicle driving control system | |
BR112020000255A2 (en) | parking assistance method and parking assistance device | |
US20160318512A1 (en) | Vehicle travel control device | |
JP7346859B2 (en) | Control device, display device, moving object, control method, and program | |
JP7210929B2 (en) | Driving consciousness estimation device | |
US11274934B2 (en) | Information output device, output control method, and storage medium | |
JP2019168814A (en) | Driving support system | |
JP7284679B2 (en) | Autonomous driving system | |
JP2018077771A (en) | Automatic driving control system | |
JP6769194B2 (en) | Vehicle control device | |
JP7216505B2 (en) | Vehicle cruise control system | |
US20210239485A1 (en) | System and method for vehicle navigation using terrain text recognition | |
JP4502844B2 (en) | Warning device and warning method | |
JP7302311B2 (en) | Vehicle display control device, vehicle display control method, vehicle display control program | |
US12060105B2 (en) | Systems and methods for visual cues on a steering apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7284679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |