JP2017084112A - Information presentation system - Google Patents
Information presentation system Download PDFInfo
- Publication number
- JP2017084112A JP2017084112A JP2015212101A JP2015212101A JP2017084112A JP 2017084112 A JP2017084112 A JP 2017084112A JP 2015212101 A JP2015212101 A JP 2015212101A JP 2015212101 A JP2015212101 A JP 2015212101A JP 2017084112 A JP2017084112 A JP 2017084112A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane
- information
- unit
- lane change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 claims abstract description 170
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 description 20
- 230000007704 transition Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000006399 behavior Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両の乗員に情報を提示する技術に関する。 The present invention relates to a technique for presenting information to a vehicle occupant.
車両の走行中に車線変更を行う場合には、運転者は、周囲に存在する車両の位置や挙動を確認する必要がある。特許文献1には、車線変更を支援する運転支援装置が開示されている。この運転支援装置は、他車両の予定進路を運転者に通知することで、運転者の車線変更操作を支援する。
When changing lanes while the vehicle is running, the driver needs to check the position and behavior of the vehicle in the vicinity.
近年では、車両の走行速度や操舵角の調整を自動で実行して車線変更を行う運転支援システムが研究されている。車線変更は、走行中の車線を維持して走行することに比べると異質な車両の挙動であるため、自動で車線変更が実行されると搭乗者は不安を感じてしまうおそれがある。 In recent years, a driving support system that automatically adjusts the traveling speed and steering angle of a vehicle to change lanes has been studied. Since the lane change is a different kind of vehicle behavior compared to driving while maintaining the lane during travel, the passenger may feel anxiety if the lane change is automatically executed.
本発明は、自動運転による車線変更中に搭乗者に安心感を与える技術を提供することを目的としている。 An object of this invention is to provide the technique which gives a passenger a sense of security during the lane change by automatic driving | operation.
本発明の情報提示システム(1)は、駆動制御部(61)と、情報提示部(20)と、提示制御部(66)と、を備える。
駆動制御部は、少なくとも車両の操舵および速度の制御を行うことにより、車両の車線変更を実行する。情報提示部は、車両の搭乗者に情報を提示する。提示制御部は、駆動制御部により車両の車線変更が実行されているときに、車両が車線変更をしている状態であることを示す情報である車線変更情報を、情報提示部に提示させる。
The information presentation system (1) of the present invention includes a drive control unit (61), an information presentation unit (20), and a presentation control unit (66).
The drive control unit changes the lane of the vehicle by at least controlling the steering and speed of the vehicle. The information presentation unit presents information to the vehicle occupant. The presentation control unit causes the information presentation unit to present lane change information that is information indicating that the vehicle is changing the lane when the lane change of the vehicle is being executed by the drive control unit.
このような構成によれば、搭乗者は車線変更情報を取得することで、搭乗中の車両が車線変更中であることを認識できる。よって、車両の挙動に対する不安感を抑制して、搭乗者に安心感を与えることができる。 According to such a configuration, the passenger can recognize that the vehicle on board is changing lanes by acquiring the lane change information. Therefore, anxiety about the behavior of the vehicle can be suppressed and a sense of security can be given to the passenger.
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。 In addition, the code | symbol in the parenthesis described in this column and a claim shows the correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this invention is shown. It is not limited.
以下、図面を参照しながら、発明を実施するための形態を説明する。
[1.実施形態]
[1−1.構成]
図1に示す情報提示システム1は、車両に搭載されて用いられ、運転者を含む車両の搭乗者に情報を提示するシステムである。情報提示システム1は、外界監視部10と、情報提示部20と、車両制御部40と、を備える。以下では、情報提示システム1が搭載された車両を自車両という。
Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.
[1. Embodiment]
[1-1. Constitution]
An
<外界監視部>
外界監視部10は、自車両の周辺を監視する装置であり、車両の周辺の路面の情報を取得する情報取得部11と、自車両周辺の他車両などの障害物を検出する障害物検出部12と、を有する。路面の情報とは、白線や道路鋲などの区画線を認識可能な情報である。外界監視部10により取得された信号は、車両制御部40に出力される。
<External monitoring unit>
The
情報取得部11としては、例えば、LIDARやカメラなどを用いることができる。LIDARとは、Light Detection and Rangingの略であり、レーザー光を照射すると共にそのレーザー光の反射波を受信する装置である。
For example, a LIDAR or a camera can be used as the
情報取得部11としてLIDARを用いた場合、反射波の検出信号、すなわち対象までの距離を測定できるデータから白線などの区画線を認識することができる。区画線か否かは反射強度から判断できる。
When LIDAR is used as the
また情報取得部11としてカメラを用いた場合、カメラにより撮像された車両外部の撮像画像からエッジを検出し、区画線として認識する。エッジとは、撮像画像上の特徴点であり、例えば画像の明るさが鋭敏に変化している箇所である。
When a camera is used as the
LIDARやカメラを用いた場合の路面の情報とは、車両の周辺の路面を無数の領域に細分化して各領域から光学的なパラメータを取得したときに、区画線の存在する領域に関するパラメータが区画線の存在しない領域のパラメータと比較して区別できる程度の差を示す情報である。 Road surface information when using a LIDAR or a camera means that when a road surface around a vehicle is subdivided into innumerable areas and optical parameters are acquired from each area, the parameters related to the area where the lane line is present This is information indicating a difference that can be distinguished from a parameter in a region where no line exists.
なお、路面の情報を取得できる装置、区画線を認識可能な装置であれば、LIDARやカメラ以外の装置を情報取得部11として用いてもよい。
障害物検出部12としては、例えば、赤外線レーダを用いることができる。しかしながら、上述したLIDARやカメラを用いてもよい。情報取得部11と障害物検出部12とを共通の装置とすれば、システム構成の簡素化を図ることができる。
Note that a device other than LIDAR or a camera may be used as the
For example, an infrared radar can be used as the
<情報提示部>
情報提示部20は、画像表示部21と音声出力部22とを有する。画像表示部21は、自車両の内部に配置される装置であって、車両制御部40からの制御信号に従って画像を表示することで搭乗者に情報を提示する。画像表示部21の例としては、ヘッドアップディスプレイ(以下、HUD)や、液晶ディスプレイなどが挙げられる。なお、画像を表示可能である装置であればこれらに限定されず、様々な装置を用いることができる。
<Information presentation section>
The
図2に示すHUD表示画像31は、ウインドシールド32に画像を投影させる構成のHUDの画像である。また図2において液晶ディスプレイ33はインストルメントパネルの前方側(言い換えると、搭乗者側)に配置されている。図2ではHUD及び液晶ディスプレイ33の両方が車両内部に搭載される構成を例示しているが、画像表示部21はいずれか一方であってもよい。もちろん、2つ以上の表示装置を有していてもよい。
The
音声出力部22は、自車両の内部に配置される音声を出力可能なスピーカーを有する装置であって、車両制御部40からの制御信号に従って音声を出力することで搭乗者に情報を提示する。
The
<車両制御部>
車両制御部40は、図3に示すように、CPU51と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ52)と、を有する周知のマイクロコンピュータを中心に構成される。車両制御部40の各種機能は、CPU51が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ52が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、車両制御部40を構成するマイクロコンピュータの数は1つでも複数でもよい。
<Vehicle control unit>
As shown in FIG. 3, the
車両制御部40は、CPU51がプログラムを実行することで実現される機能の構成として、駆動制御部61と、車線認識部62と、目標決定部63と、位置特定部64と、継続判定部65と、提示制御部66と、を備える。車両制御部40を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
The
<車両制御部の各機能>
駆動制御部61は、自車両の操舵および速度の制御を行うことにより、自動運転による自車両の車線変更を実行する。ここでいう車線変更とは、車線が複数存在する場合において、自車両が走行中の車線から別の車線に移ることを意味する。
<Each function of the vehicle control unit>
The
駆動制御部61は、前後方向制御部71、左右方向制御部72、及び挙動決定部73として機能する。前後方向制御部71は、自車両に備えられるエンジンの出力、トランスミッション、シフトチェンジ、ブレーキなどを制御することにより、自車両の走行速度、加速、減速を調整する。左右方向制御部72は、ステアリングを駆動させて車両の進行方向を変更する。
The
挙動決定部73は、自車両の外部の状況や、図示しないナビゲーションシステムを用いて搭乗者が入力した目的地情報、外部から受信した交通情報などに応じて、自車両が走行すべき車線、走行ルート、走行速度などを決定する。例えば、自車両の前方にて走行速度の非常に遅い車両が検出された場合に、車線変更の実行を決定し、また、車線変更を実現するための具体的な車両の挙動を決定する。前後方向制御部71及び左右方向制御部72は、決定された内容に従って車両を駆動させる。
The
なお駆動制御部61は、車線変更を好適に実現するための車両の他の機能も併せて制御するように構成されていてもよい。
車線認識部62は、情報取得部11の出力信号に基づいて自車両の位置を基準とした白線などの区画線の位置を検出し、検出された区画線の位置に基づいて、少なくとも、自車両が走行中の車線である走行中車線、及び、該走行中車線と隣接する車線である隣接車線を認識する。もちろん、隣接車線よりも自車両から離れた車線も認識する構成であってもよい。
In addition, the
The lane recognition unit 62 detects the position of a lane line such as a white line based on the position of the host vehicle based on the output signal of the
目標決定部63は、車線認識部62により認識された走行車線及び隣接車線などに基づいて、走行車線と隣接車線との並ぶ方向である横方向に関する、自車両が車線変更により移動する目標となる位置である目標位置を決定する。横方向とは、車線の方向と直交する方向とも言える。
The
目標位置は、例えば、車線変更の目標となる車線の中央に設定することが考えられる。車線の中央とは、車線を構成する2つの区画線、言い換えると車線の外縁部分を示す2つの区画線の横方向に関する中央である。もちろん、目標位置は車線の中央に限られず、車線変更の目標となる車線の様々な位置に決定することができる。走行中車線を基準として目標位置を決定する構成であってもよい。 For example, the target position may be set at the center of the lane that is the target of the lane change. The center of the lane is the center in the lateral direction of the two lane lines constituting the lane, in other words, the two lane lines indicating the outer edge portion of the lane. Of course, the target position is not limited to the center of the lane, and can be determined at various positions in the lane that is the target of the lane change. The target position may be determined based on the traveling lane.
なお目標位置は自車両の位置が基準となる位置であるため、実際の道路上の地点は車両の走行に伴って変化する。
位置特定部64は、横方向に関する車両の現在の位置を特定する。現在の位置を特定する具体的な方法は特に限定されないが、例えば、車線認識部62にて検出される区画線の位置に基づいて現在の位置を検出する方法や、駆動制御部61により制御される自車両の走行速度や操舵角から算出される横方向の移動速度と移動時間に基づいて推定する方法が考えられる。
Since the target position is a position based on the position of the own vehicle, the actual point on the road changes as the vehicle travels.
The
継続判定部65は、駆動制御部61による自車両の車線変更が継続可能か否かを判定する。具体的には、障害物検出部12からの出力に基づいて、目標位置に存在する、又は所定の時間内に目標位置に移動しうる外部の車両を探索し、そのような車両が発見されたときに車線変更の継続が可能でないと判定する。
The
提示制御部66は、駆動制御部61により自車両の車線変更が実行されているときに、車線変更情報を情報提示部20に提示させる。ここでいう車線変更情報とは、自車両が車線変更をしている状態であることを示す情報である。
The
また提示制御部66は、車線変更中に継続判定部65により車線変更の継続が可能でないと判定され、駆動制御部61により後述する戻し動作が実行されているときには、車線変更情報として、戻し動作を実行中であることを示す情報を情報提示部20に提示させる。
In addition, when the
<車線変更情報>
本実施形態では、提示制御部66は、車線変更情報として、目標決定部63により決定された目標位置と、位置特定部64により特定された現在の位置と、の間の距離に応じて異なる情報を情報提示部20に提示させる。
<Lane change information>
In the present embodiment, the
図4(A)に示すように、HUD表示画像31には、道路画像81、自車両アイコン82、レーンチェンジアイコン83などが表示される。これらが車線変更情報を形成する。
道路画像81は、車線認識部62により認識された車線の情報に従って表示される画像である。図4(A)に示す道路画像81は、車線認識部62により、走行中車線と、走行中車線の右側に位置する隣接車線と、が認識された場合の道路画像の例である。
As shown in FIG. 4A, the
The
車線認識部62によって2つ以上の車線が認識されている場合は、その認識された車線を全て表示するように構成されていてもよいし、必要な車線、例えば走行中車線と車線変更の目標となる車線を含む部分のみを表示するように構成されていてもよい。 When two or more lanes are recognized by the lane recognizing unit 62, all the recognized lanes may be displayed, and necessary lanes, for example, a running lane and a target for lane change It may be configured to display only the portion including the lane.
自車両アイコン82は、自車両が横方向に関して道路のどの位置を走行中であるかを示すアイコンであって、道路画像81に重畳して表示することで、実際の道路における車線と自車両との位置関係を示している。
The
レーンチェンジアイコン83は、車線変更を行うときに表示される、自車両の進行方向を示す矢印であって、現在の車両の位置、及び目標位置に基づいて形状が定まる。例えば駆動制御部61が隣接車線への車線変更を予定している場合には、図4(B)に示すように、レーンチェンジアイコン83は車線変更を示唆するように先端が隣接車線に移動する形状として表示される。
The
また図4(C)に示すように、車線変更の途中においては、自車両アイコン82が道路画像81における右側の隣接車線に向かって移動しつつ、レーンチェンジアイコン83の矢印がスタートする位置も右側に移動する。
As shown in FIG. 4C, in the middle of the lane change, the
このように、車線変更が実行されているときには、目標位置と車両の現在の位置との間の距離に応じた画像が表示される。メモリ52には上記距離に応じた複数の画像のデータが格納されており、そのタイミングにおける上記距離に対応する1つの画像が選択され、HUD表示画像31に表示される。
Thus, when the lane change is being executed, an image corresponding to the distance between the target position and the current position of the vehicle is displayed. A plurality of image data corresponding to the distance is stored in the
またHUD表示画像31には、左矢印84及び右矢印85が表示される。左矢印84及び右矢印85は、車線変更を実行しているときに点滅表示される矢印である。図4(B)、(C)に表示されるように、右に向かって車線変更するときは、右矢印85が点滅する。
Further, a
なおHUD表示画像31には、上述した画像の他、現在の操舵角をその回転位置により示唆するステアリングホイールアイコン86、ギア表示87、電池残量88、速度表示89などが表示される。情報提示部20として液晶ディスプレイ33を用いる場合も、同様の画像を表示させることができる。
In addition to the above-described image, the
図5を用いて、実際の車両の車線変更の挙動と、HUD表示画像31と、の関係を説明する。道路を上方から見た道路俯瞰図91は、2車線の道路92において車両93の車線変更を模式的に示す図である。車両93の右側のパラメータは、レーンチェンジ割合、言い換えると横方向の距離に関して車線変更の完了した割合をパーセントで示したものである。
The relationship between the actual lane change behavior of the vehicle and the
HUD表示画像31の変遷を示す変遷図101は、車線変更が進むにつれて変化するレーンチェンジアイコン83のオフセット量の変化を説明する図である。変遷図101においては、HUD表示画像31は時間の経過に伴って最も下の図から上に変遷する。HUD表示画像31それぞれは、右側に示す車両93の状態と大まかには対応する。HUD表示画像31の左側のパラメータは、オフセット量をパーセントで示したものである。
A transition diagram 101 showing a transition of the
ここでいうオフセット量とは、図6に示すように、横方向の変化がない場合のレーンチェンジアイコン83aを0%とし、横方向の変化が最も大きい場合、すなわち車線変更が開始されるタイミングのレーンチェンジアイコン83cを100%として示される、矢印の横方向の変化量である。車線変更が進むと、現在の位置から目標位置までの距離が小さくなるため、レーンチェンジアイコン83bのように、横方向の変化が短くなった矢印として表示される。
As shown in FIG. 6, the offset amount here is 0% of the
説明を図5に戻る。変遷図101において下から2番目に示される、車線変更が開始されたタイミングのHUD表示画像31には、オフセット量が100%のレーンチェンジアイコン83が表示される。車両の車線変更が進むと、自車両アイコン82が右に移動し、表示されるレーンチェンジアイコン83もオフセット量の小さくなったものに徐々に変化する。車線変更が完了したときにはオフセット量が0%のレーンチェンジアイコン83が表示される。
Returning to FIG. A
図5の下方に示すグラフ111は、レーンチェンジ割合と、レーンチェンジアイコン83のオフセット量との関係を示すグラフである。グラフ111に示されるように、レーンチェンジ割合が大きくなるほど、言い換えると車線変更が進むほど、オフセット量は小さくなる。
A
グラフ111において、レーンチェンジ割合が低いとき及び高いとき、言い換えると車線変更の開始タイミング及び終了タイミングの近傍では、レーンチェンジ割合が増加してもオフセット量は大きく変化しない。一方、レーンチェンジ割合が50%に近いときは、レーンチェンジ割合の変化に対するオフセット量の変化量が大きい。
In
つまり本実施形態においてはレーンチェンジアイコン83が示す横方向の位置と実際のレーンチェンジ割合と、は厳密には一致させておらず、車線変更の中間期において画像の変化を搭乗者が認識しやすくなっている。
In other words, in the present embodiment, the horizontal position indicated by the
よって、道路俯瞰図91の車両93の位置と、変遷図101のHUD表示画像31に示されるレーンチェンジアイコン83の横方向の長さと、は横に並べて記載されるものでも厳密には一致しない。なお、レーンチェンジアイコン83が示す横方向の位置と、実際のレーンチェンジ割合と、が一致するように構成されていてもよい。
Therefore, the position of the
次に、継続判定部65により車線変更の継続が可能でないと判定された場合のHUD表示画像31について説明する。図7はHUD表示画像31の変遷を示す変遷図であり、時間の経過に伴って下から上にHUD表示画像31が変遷する。
Next, the
最も過去の状態である状態(i)から状態(iii)までのレーンチェンジアイコン83の表示は変遷図101と同様である。しかしながら、継続判定部65により隣接車線の後方から目標位置に向かって移動する車両が発見されたことにより、状態(iii)のHUD表示画像31には障害物画像123が表示される。
The display of the
目標決定部63は、継続判定部65により上述した車両に基づいて自車両の車線変更が継続可能でないと判断された場合には、目標位置を、駆動制御部61による自車両の車線変更が開始される前に自車両が存在していた位置に変更する。また駆動制御部61は、継続判定部65により自車両の車線変更が継続可能でないと判断された場合には、新たな目標位置に自車両を戻す動作である戻し動作を実行する。
When the
状態(iv)では、目標位置が左側の車線に変更されたことを受けて、矢印の変化方向が左向きに変更されたレーンチェンジアイコン83が表示される。その後、駆動制御部61による車線変更が進むと、状態(v)のようにレーンチェンジアイコン83のオフセット量が小さくなり、車線変更が完了すると、状態(vi)のようにオフセット量が0となる。
In the state (iv), in response to the change of the target position to the left lane, the
なお、状態(iv)、(v)にて示されるレーンチェンジアイコン83が、戻し動作を示す情報の例である。
[1−2.処理]
次に、車両制御部40のCPU51が実行する情報提示処理について、図8のフローチャートを用いて説明する。本処理は、挙動決定部73によって車線変更の実行が決定されたときに実行される。
The
[1-2. processing]
Next, the information presentation process which CPU51 of the
まずS1では、CPU51は、目標位置を決定する。ここでは、車線変更の横方向に関して目標となる位置を決定する。この処理は、上述した目標決定部63による処理である。
First, in S1, the
S2では、CPU51は、S1又はS6にて決定された目標位置に基づいて、自車両の現在の位置から目標位置までの距離を算出する。この算出方法は特に限定されない。例えば、そのタイミングにおける情報取得部11の出力に基づいて自車両から区画線までの距離を算出し、その結果に基づいて上記距離を算出することができる。
In S2, the
また、車両の速度及び操舵角から算出される車両の横方向へ移動速度と、過去に算出した上記距離と、から現在の上記距離を求めることも考えられる。
S3では、CPU51は、車線変更情報の提示を実行する。具体的にはS2にて算出した距離に応じた画像を、情報提示部20に表示させる。HUD表示画像31には、上述した距離に応じて、距離が大きいほどオフセット量が大きいレーンチェンジアイコン83が表示される。また、車両の現在の横位置に応じた道路画像81上の位置に、自車両アイコン82が表示される。
It is also conceivable to obtain the current distance from the lateral movement speed of the vehicle calculated from the vehicle speed and the steering angle and the distance calculated in the past.
In S3, the
上述したS2及びS3が繰り返されることにより、搭乗者は、徐々にオフセット量の変化するレーンチェンジアイコン83を視認することができる。
またS3では、CPU51は、音声出力部22に車線変更中である旨を示す音声を出力させる。例えば、車線変更中であることを示す通知音を出力したり、「車線変更中です」という音声を出力することが考えられる。これらのS3における処理は、上述した提示制御部66による処理である。
By repeating S2 and S3 described above, the passenger can visually recognize the
In S3, the
S4では、CPU51は、車線変更が完了したか否かを判定する。具体的には、車両の現在の位置が目標位置と一致したときに、車線変更が完了したと判定する。このS4にて、車線変更が完了したと判定されれば、本処理が終了する。一方、車線変更が完了したと判定されなければ、処理がS5に移行する。
In S4, the
S5では、CPU51は、車線変更の継続が可能か否かを判定する。この処理は、上述した継続判定部65による処理である。このS5にて、車線変更の継続が可能と判定されれば、処理がS2に移行する。一方、車線変更の継続が可能と判定されなければ、処理がS6に移行する。
In S5, the
S6では、CPU51は、目標位置を、車線変更を開始する前に走行中車線において自車両が存在した位置に変更する。このS6の後、処理がS2に移行する。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
In S6, the
[1-3. effect]
According to the first embodiment described in detail above, the following effects can be obtained.
(1a)情報提示システム1では、自動運転による車線変更の実行中に、レーンチェンジアイコン83などの車線変更情報を車両の搭乗者に提示する。レーンチェンジアイコン83は車線変更の進捗に応じてその形状が変化する。
(1a) In the
搭乗者は車線変更情報を視認することにより、自動運転制御により車線変更を実行していること、車線変更により移動する先の車線、車線変更による移動距離全体のうちの完了した割合、などを認識することができる。よって情報提示システム1では、車線変更中に搭乗者に安心感を与えることができる。
The passenger recognizes the lane change information by visually recognizing that the lane change is being performed by automatic driving control, the lane to which the lane change has been performed, the completed percentage of the total travel distance due to the lane change, etc. can do. Therefore, in the
(1b)情報提示システム1では、情報提示部20の画像表示部21によって画像により車線変更情報を搭乗者に提示するため、搭乗者は容易に車線変更の状況を認識することができる。
(1b) In the
(1c)情報提示システム1では、車線変更が継続できない場合には元の車線への移動を示唆する画像を車線変更情報として表示する。搭乗者は、車線変更情報を視認することにより、車線変更を中止して戻る状態であることを認識することができる。
(1c) In the
[2.他の実施形態]
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
[2. Other Embodiments]
As mentioned above, although the form for implementing this invention was demonstrated, this invention is not limited to the above-mentioned embodiment, It can implement in various deformation | transformation.
(2a)上記実施形態では、レーンチェンジアイコン83として、車両の現在の位置から目標位置までの道程を表示する矢印の画像を表示する構成を例示したが、車両の加速度に応じた画像を表示する構成としてもよい。
(2a) In the above embodiment, as the
例えば、所定の閾値を超えて加速又は減速したときに、矢印の表示態様を変化させることが考えられる。具体例を図9を用いて説明する。図9に示す変遷図では、時間の経過に伴って下から上にHUD表示画像31が変遷する。
For example, it is conceivable to change the display mode of the arrow when acceleration or deceleration exceeds a predetermined threshold. A specific example will be described with reference to FIG. In the transition diagram shown in FIG. 9, the
図9において、レーンチェンジアイコン131の進行方向の長さは、状態(i)のときの長さL1と比較すると、状態(ii)〜状態(v)における長さL2〜L5の方が短くなっている。これは車線変更中に減速していることを示している。L4はL2、L3、L5よりも短いが、これは状態(iv)における減速加速度が他よりも大きいことを示している。また図示しないが、車両が加速する場合には、矢印の長さが長くなる。
In FIG. 9, the length of the
上述した例は、表示される画像の形状を変化させることで加速度が大きいことを示すものであるが、形状以外にも、色や模様の変化によって加速度が大きいことを示すことが考えられる。また加速度の大きさに応じて、形状、色、模様などを変化させてもよい。 The above-described example shows that the acceleration is large by changing the shape of the displayed image, but it can be considered that the acceleration is large due to a change in color or pattern in addition to the shape. Further, the shape, color, pattern, or the like may be changed according to the magnitude of acceleration.
また、加速や減速を示す他の画像を追加することによって加速度の変化を表示するように構成されていてもよい。例えば、「加速」「減速」という文字をレーンチェンジアイコン83に重ねて表示してもよい。
Moreover, you may be comprised so that the change of acceleration may be displayed by adding the other image which shows acceleration and deceleration. For example, the characters “acceleration” and “deceleration” may be superimposed on the
(2b)上記実施形態では、目標位置と、自車両の現在の位置と、の距離に応じた情報を表示する構成を例示した。しかしながら、提示制御部66は、車線変更情報として、車両が現在の位置から目標位置まで移動するために必要な時間に応じた情報を情報提示部20に提示させる構成であってもよい。
(2b) In the above embodiment, the configuration in which information corresponding to the distance between the target position and the current position of the host vehicle is displayed is exemplified. However, the
そのためには、例えば、位置特定部64により特定された自車両の現在の位置から目標決定部63により決定された目標位置まで、を自車両が移動するために必要な時間を推定する時間推定部を有する構成とすることが考えられる。時間推定部とは、車両制御部40のCPU51がプログラムを実行することで実現される機能の構成である。
For this purpose, for example, a time estimation unit that estimates the time required for the host vehicle to move from the current position of the host vehicle specified by the
時間推定部は、例えば、自車両の現在の位置から目標位置までの横方向の距離を、駆動制御部61により制御される自車両の走行速度や操舵角から算出される横方向の移動速度で除した値を、必要な時間として推定することができる。
The time estimation unit, for example, calculates the lateral distance from the current position of the host vehicle to the target position using the travel speed of the host vehicle controlled by the
(2c)上記実施形態では、レーンチェンジアイコン83として、車両の現在の位置から目標位置までの道程を表示する矢印の画像を表示する構成を例示したが、矢印以外の画像を表示する構成としてもよい。
(2c) In the above embodiment, as the
具体例を、図10を用いて説明する。図10に示す変遷図では、時間の経過に伴って下から上にHUD表示画像31が変遷する。
図10においては、インジケータを表示するレーンチェンジアイコン141が表示される。インジケータは左右に並ぶ5つのブロックからなり、右への車線変更の進捗度合が大きくなるほど、左から順にブロックの色が変化する。車線変更の進捗度合は、車線変更が完了するまでの距離及び時間のいずれを対象とするものであてもよい。
A specific example will be described with reference to FIG. In the transition diagram shown in FIG. 10, the
In FIG. 10, a
レーンチェンジアイコンとしてインジケータが表示されことで、搭乗者は車線変更の進捗、即ち車線変更による移動距離全体のうちの完了した移動距離の割合や、車線変更に要する所要時間のうち経過した時間の割合などを容易に認識することができる。 By displaying the indicator as a lane change icon, the occupant is in the progress of the lane change, that is, the ratio of the completed travel distance of the total travel distance due to the lane change and the ratio of the elapsed time of the time required for the lane change Etc. can be easily recognized.
インジケータは上述した形態に限定されず、搭乗者が車線変更の進捗を理解できる範囲において様々な形態のインジケータを表示させることができる。
なお矢印やインジケータに限らず、車線変更情報として、少なくとも車線変更の目標位置と車両の現在の位置とを示す画像を表示することで、搭乗者に現在の車線変更の状況を認識させることができる。
An indicator is not limited to the form mentioned above, The indicator of various forms can be displayed in the range which a passenger can understand the progress of a lane change.
In addition to the arrows and indicators, the lane change information is displayed as an image indicating at least the target position of the lane change and the current position of the vehicle, so that the passenger can recognize the current lane change status. .
また、車線変更の開始位置、目標位置、及び現在の位置の3点を示す画像を表示することで、車線変更の進捗を搭乗者に容易に認識させることができる。例えば、現在の位置に基づくレーンチェンジアイコン83と共に、オフセット量が100%であるレーンチェンジアイコン83を表示しておくことで、搭乗者はそれらのアイコンを比較することで進捗を認識することができる。
Further, by displaying an image showing three points of the start position, the target position, and the current position of the lane change, the passenger can easily recognize the progress of the lane change. For example, by displaying the
(2d)車線変更情報として、車線変更の進捗の度合を示さず、自車両が車線変更をしている状態であることを示す画像を表示する構成であってもよい。例えば、「車線変更中」という文字を画像表示部21に表示させたり、単に車両が車線変更をしている様子を示す画像や動画を表示させたりする構成としてもよい。
(2d) The lane change information may be configured to display an image indicating that the host vehicle is changing the lane without indicating the degree of progress of the lane change. For example, it may be configured such that the characters “changing lanes” are displayed on the
(2e)上記実施形態では、画像表示部21及び音声出力部22により車線変更情報を提示する構成を例示したが、それらのいずれか一方のみが車線変更情報を提示する構成であってもよい。なお音声出力部22による音声出力を行う場合においても、車両の現在の位置から目標位置までの距離や時間に応じて出力される内容を変化させてもよい。例えば、音量や、音声の内容を距離や時間に応じて変化させることが考えられる。
(2e) In the above embodiment, the configuration in which the lane change information is presented by the
(2f)上記実施形態におけるM個の構成要素が有する機能をN個の構成要素として分散させたり、N個の構成要素が有する機能をM個の構成要素に統合させたりしてもよい。なお上記Mは1以上の整数であり、NはMより大きい整数である。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。 (2f) The functions of the M constituent elements in the above embodiment may be distributed as N constituent elements, or the functions of the N constituent elements may be integrated into the M constituent elements. Note that M is an integer greater than or equal to 1, and N is an integer greater than M. Moreover, you may abbreviate | omit a part of structure of the said embodiment. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this invention.
(2g)上述した情報提示システム1の他、当該情報提示システム1の構成要素である車両制御部40、当該車両制御部40としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、警告方法など、種々の形態で本発明を実現することもできる。
(2g) In addition to the
1…情報提示システム、20…情報提示部、61…駆動制御部、66…提示制御部
DESCRIPTION OF
Claims (7)
前記車両の搭乗者に情報を提示する情報提示部(20)と、
前記駆動制御部により前記車両の車線変更が実行されているときに、前記車両が車線変更をしている状態であることを示す情報である車線変更情報を前記情報提示部に提示させる提示制御部(66)と、
を備える情報提示システム(1)。 A drive control unit (61) for performing lane change of the vehicle by performing at least steering and speed control of the vehicle;
An information presentation unit (20) for presenting information to a passenger of the vehicle;
When the lane change of the vehicle is being executed by the drive control unit, a presentation control unit that causes the information presentation unit to present lane change information that is information indicating that the vehicle is changing the lane (66)
An information presentation system (1) comprising:
さらに、前記車両の周辺の路面の情報を取得する情報取得部(11)と、
前記情報取得部により取得された情報に基づいて、少なくとも、前記車両が走行中の車線である走行中車線、及び、該走行中車線と隣接する車線である隣接車線を認識する車線認識部(62)と、
前記車線認識部により認識された前記走行車線及び前記隣接車線に基づいて、前記走行車線と前記隣接車線との並ぶ方向である横方向に関する、前記車両が車線変更により移動する目標となる位置である目標位置を決定する目標決定部(63)と、
前記横方向に関する前記車両の現在の位置を特定する位置特定部(64)と、を備え、
前記提示制御部は、前記目標決定部により決定された前記目標位置と、前記位置特定部により特定された現在の位置と、の間の距離に応じた情報を、前記車線変更情報として前記情報提示部に提示させる、情報提示システム。 The information presentation system according to claim 1,
Furthermore, an information acquisition unit (11) that acquires information on the road surface around the vehicle;
Based on the information acquired by the information acquisition unit, a lane recognition unit (62) that recognizes at least a traveling lane in which the vehicle is traveling and an adjacent lane that is adjacent to the traveling lane. )When,
Based on the travel lane recognized by the lane recognition unit and the adjacent lane, the vehicle is a target position for the vehicle to move by changing the lane in the lateral direction in which the travel lane and the adjacent lane are arranged. A target determining unit (63) for determining a target position;
A position specifying unit (64) for specifying the current position of the vehicle in the lateral direction,
The presentation control unit presents the information according to the distance between the target position determined by the target determination unit and the current position specified by the position specifying unit as the lane change information. Information presentation system to be presented to the department.
さらに、前記車両の周辺の路面の情報を取得する情報取得部(11)と、
前記情報取得部により取得された情報に基づいて、少なくとも、前記車両が走行中の車線である走行中車線、及び、該走行中車線と隣接する車線である隣接車線を認識する車線認識部(62)と、
前記車線認識部により認識された前記走行車線及び前記隣接車線に基づいて、前記走行車線と前記隣接車線との並ぶ方向である横方向に関する、前記車両が車線変更により移動する目標となる位置である目標位置を決定する目標決定部(63)と、
前記横方向に関する前記車両の現在の位置を特定する位置特定部(64)と、
前記位置特定部により特定された前記車両の現在の位置から前記目標決定部により決定された前記目標位置まで、を前記車両が移動するために必要な時間を推定する時間推定部と、を備え、
前記提示制御部は、前記時間推定部により推定された時間に応じた情報を、前記車線変更情報として前記情報提示部に提示させる、情報提示システム。 The information presentation system according to claim 1,
Furthermore, an information acquisition unit (11) that acquires information on the road surface around the vehicle;
Based on the information acquired by the information acquisition unit, a lane recognition unit (62) that recognizes at least a traveling lane in which the vehicle is traveling and an adjacent lane that is adjacent to the traveling lane. )When,
Based on the travel lane recognized by the lane recognition unit and the adjacent lane, the vehicle is a target position for the vehicle to move by changing the lane in the lateral direction in which the travel lane and the adjacent lane are arranged. A target determining unit (63) for determining a target position;
A position specifying unit (64) for specifying the current position of the vehicle in the lateral direction;
A time estimating unit that estimates a time required for the vehicle to move from the current position of the vehicle specified by the position specifying unit to the target position determined by the target determining unit;
The presentation control unit causes the information presentation unit to present information according to the time estimated by the time estimation unit as the lane change information.
さらに、前記駆動制御部による前記車両の車線変更が継続可能か否かを判定する継続判定部(65)を備え、
前記駆動制御部は、前記継続判定部により前記車両の車線変更が継続可能でないと判断された場合には、実行中の車線変更を開始した前記横方向の位置に前記車両を戻す動作である戻し動作を実行し、
前記提示制御部は、前記駆動制御部により前記戻し動作が実行されているときに、前記車両が前記戻し動作を実行している状態であることを示す情報を、前記車線変更情報として前記情報提示部に提示させる、情報提示システム。 The information presentation system according to any one of claims 1 to 3,
Furthermore, a continuation determination unit (65) for determining whether or not the lane change of the vehicle by the drive control unit can be continued,
When the continuation determination unit determines that the lane change of the vehicle cannot be continued, the drive control unit is a return operation that returns the vehicle to the lateral position where the lane change being performed is started. Perform the action,
The presentation control unit provides information indicating that the vehicle is performing the return operation when the return operation is being performed by the drive control unit as the lane change information. Information presentation system to be presented to the department.
前記情報提示部は、画像を表示可能である画像表示部(21)を備え、
前記提示制御部は、前記車線変更情報を、画像として前記画像表示部に表示させる、情報提示システム。 The information presentation system according to any one of claims 1 to 4,
The information presentation unit includes an image display unit (21) capable of displaying an image,
The presentation control unit displays the lane change information as an image on the image display unit.
前記提示制御部は、前記車両の加速度に応じた画像を、前記画像表示部に表示させる、情報提示システム。 The information presentation system according to claim 5,
The said presentation control part is an information presentation system which displays the image according to the acceleration of the said vehicle on the said image display part.
前記情報提示部は、音声を出力可能である音声出力部(22)を備え、
前記提示制御部は、前記車線変更情報を、音声として前記音声出力部に出力させる、情報提示システム。 The information presentation system according to any one of claims 1 to 6,
The information presentation unit includes an audio output unit (22) capable of outputting audio,
The said presentation control part is an information presentation system which outputs the said lane change information to the said audio | voice output part as an audio | voice.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212101A JP6540453B2 (en) | 2015-10-28 | 2015-10-28 | Information presentation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212101A JP6540453B2 (en) | 2015-10-28 | 2015-10-28 | Information presentation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017084112A true JP2017084112A (en) | 2017-05-18 |
JP6540453B2 JP6540453B2 (en) | 2019-07-10 |
Family
ID=58711137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015212101A Expired - Fee Related JP6540453B2 (en) | 2015-10-28 | 2015-10-28 | Information presentation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6540453B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019021458A1 (en) * | 2017-07-28 | 2019-01-31 | 日産自動車株式会社 | Surrounding conditions display method and display device |
JP2020052559A (en) * | 2018-09-25 | 2020-04-02 | 本田技研工業株式会社 | Vehicle control device, vehicle control method, and program |
WO2020230613A1 (en) * | 2019-05-15 | 2020-11-19 | 日産自動車株式会社 | Display control method and display control device |
JP2021123151A (en) * | 2020-01-31 | 2021-08-30 | ダイハツ工業株式会社 | Vehicle control device |
JP2021131895A (en) * | 2020-05-28 | 2021-09-09 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Actual view navigation icon display method, device, equipment, and medium |
EP3960519A1 (en) * | 2020-08-31 | 2022-03-02 | Toyota Jidosha Kabushiki Kaisha | Display device for a vehicle, display method and storage medium |
JP2022076859A (en) * | 2020-11-10 | 2022-05-20 | トヨタ自動車株式会社 | Vehicular display control apparatus, acceleration display method, and program |
CN115771460A (en) * | 2022-11-30 | 2023-03-10 | 江苏泽景汽车电子股份有限公司 | Method and device for displaying vehicle lane change information, electronic equipment and storage medium |
JP7524836B2 (en) | 2021-06-10 | 2024-07-30 | トヨタ自動車株式会社 | Vehicle display device, display method, and program |
JP7571565B2 (en) | 2021-01-19 | 2024-10-23 | 株式会社アイシン | Overlay image display device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048146A (en) * | 2012-08-31 | 2014-03-17 | Aisin Aw Co Ltd | Lane guide display system, method and program |
WO2015052865A1 (en) * | 2013-10-11 | 2015-04-16 | 日産自動車株式会社 | Travel control device and travel control method |
WO2015141308A1 (en) * | 2014-03-18 | 2015-09-24 | 日産自動車株式会社 | Vehicle operation device |
JP2016192204A (en) * | 2015-03-30 | 2016-11-10 | 日本電気株式会社 | Data model creation method and system for relational data |
-
2015
- 2015-10-28 JP JP2015212101A patent/JP6540453B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048146A (en) * | 2012-08-31 | 2014-03-17 | Aisin Aw Co Ltd | Lane guide display system, method and program |
WO2015052865A1 (en) * | 2013-10-11 | 2015-04-16 | 日産自動車株式会社 | Travel control device and travel control method |
WO2015141308A1 (en) * | 2014-03-18 | 2015-09-24 | 日産自動車株式会社 | Vehicle operation device |
JP2016192204A (en) * | 2015-03-30 | 2016-11-10 | 日本電気株式会社 | Data model creation method and system for relational data |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3660811A4 (en) * | 2017-07-28 | 2020-08-05 | Nissan Motor Co., Ltd. | Surrounding conditions display method and display device |
JPWO2019021458A1 (en) * | 2017-07-28 | 2020-09-03 | 日産自動車株式会社 | Display method and display device for surrounding conditions |
WO2019021458A1 (en) * | 2017-07-28 | 2019-01-31 | 日産自動車株式会社 | Surrounding conditions display method and display device |
US11338824B2 (en) | 2017-07-28 | 2022-05-24 | Nissan Motor Co., Ltd. | Surrounding situation display method and surrounding situation display device |
JP2020052559A (en) * | 2018-09-25 | 2020-04-02 | 本田技研工業株式会社 | Vehicle control device, vehicle control method, and program |
WO2020230613A1 (en) * | 2019-05-15 | 2020-11-19 | 日産自動車株式会社 | Display control method and display control device |
US12030511B2 (en) | 2019-05-15 | 2024-07-09 | Nissan Motor Co., Ltd. | Display control method and display control device |
JP7433708B2 (en) | 2020-01-31 | 2024-02-20 | ダイハツ工業株式会社 | Vehicle control device |
JP2021123151A (en) * | 2020-01-31 | 2021-08-30 | ダイハツ工業株式会社 | Vehicle control device |
JP2021131895A (en) * | 2020-05-28 | 2021-09-09 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Actual view navigation icon display method, device, equipment, and medium |
JP7258078B2 (en) | 2020-05-28 | 2023-04-14 | 阿波▲羅▼智▲聯▼(北京)科技有限公司 | Real scene navigation icon display method, apparatus, equipment and medium |
EP3960519A1 (en) * | 2020-08-31 | 2022-03-02 | Toyota Jidosha Kabushiki Kaisha | Display device for a vehicle, display method and storage medium |
JP2022076859A (en) * | 2020-11-10 | 2022-05-20 | トヨタ自動車株式会社 | Vehicular display control apparatus, acceleration display method, and program |
JP7413981B2 (en) | 2020-11-10 | 2024-01-16 | トヨタ自動車株式会社 | Vehicle display control device, acceleration display method and program |
JP7571565B2 (en) | 2021-01-19 | 2024-10-23 | 株式会社アイシン | Overlay image display device |
JP7524836B2 (en) | 2021-06-10 | 2024-07-30 | トヨタ自動車株式会社 | Vehicle display device, display method, and program |
CN115771460B (en) * | 2022-11-30 | 2023-11-17 | 江苏泽景汽车电子股份有限公司 | Display method and device for lane change information of vehicle, electronic equipment and storage medium |
CN115771460A (en) * | 2022-11-30 | 2023-03-10 | 江苏泽景汽车电子股份有限公司 | Method and device for displaying vehicle lane change information, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6540453B2 (en) | 2019-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6540453B2 (en) | Information presentation system | |
JP6669299B2 (en) | Image processing device | |
CN107848537B (en) | Automatic driving assistance device, automatic driving assistance method, and non-transitory recording medium | |
JP6620527B2 (en) | Information processing apparatus and in-vehicle system | |
EP2988098B1 (en) | Driver assistance system with non-static symbol of fluctuating shape | |
JP6051307B2 (en) | Driving assistance device | |
US11270589B2 (en) | Surrounding vehicle display method and surrounding vehicle display device | |
JP6414096B2 (en) | In-vehicle device, control method for in-vehicle device, and control program for in-vehicle device | |
JP6680170B2 (en) | Driving support device and driving support method | |
JPWO2019043847A1 (en) | Travel control device, vehicle, and travel control method | |
JP2011134103A (en) | Guidance apparatus, guidance method and guidance program | |
US12112408B2 (en) | Vehicle display control device, vehicle display device, vehicle display control method, and non-transitory storage medium | |
CN110626265B (en) | Periphery monitoring device | |
CN110774894B (en) | Display device for vehicle | |
CN112660018A (en) | Display device and display method of display device | |
WO2017022150A1 (en) | Automatic driving assistance device, automatic driving assistance method, and automatic driving assistance program | |
JP2016075818A (en) | Information display device and information display method | |
JP2007323178A (en) | Merge support device and merge support method | |
JP2024097841A (en) | Display control device, display control method, and display control program | |
JP2019172070A (en) | Information processing device, movable body, information processing method, and program | |
JP4631075B2 (en) | Vehicle risk avoidance guide device | |
JP7552525B2 (en) | Vehicle display system | |
WO2019220884A1 (en) | Driving assistance device | |
JP2019153145A (en) | Display control device, display control method, and display control program | |
JP7294091B2 (en) | Display controller and display control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190527 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6540453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |