WO2023286303A1 - 車両制御装置 - Google Patents
車両制御装置 Download PDFInfo
- Publication number
- WO2023286303A1 WO2023286303A1 PCT/JP2022/004525 JP2022004525W WO2023286303A1 WO 2023286303 A1 WO2023286303 A1 WO 2023286303A1 JP 2022004525 W JP2022004525 W JP 2022004525W WO 2023286303 A1 WO2023286303 A1 WO 2023286303A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- vehicle control
- control device
- landmark
- database
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 20
- 230000006399 behavior Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
Definitions
- the present invention relates to a vehicle control device that can provide information corresponding to the position of the vehicle to passengers and systems even when GNSS (Global Navigation Satellite System) cannot be used.
- GNSS Global Navigation Satellite System
- the driving behavior data generation device of Patent Document 1 As a conventional technology for providing information according to the position of the vehicle to the system, the driving behavior data generation device of Patent Document 1 is known.
- the problem is described as "to be used in a driving behavior support device that expresses a two-dimensional spatial distribution on a road, and to support automatic driving based on driving behavior close to humans, local rules and peripheral A driving behavior database that takes into consideration knowledge suitable for the environment and empirical know-how.” Distribution information (course selection within intersections, stopping positions at intersections without stop lines, multiple use of single lanes, etc.) is aggregated, managed and stored in association with road network information.
- the autonomous driving system plans human-like driving behavior according to the environment and weather.Automation using the in-vehicle sensor group 12 Since the database is generated by processing, there is no manual processing by the operator, and information is generated at low cost.”
- the positioning sensor 30 mainly assumes a GPS (Global Positioning System), and measures the absolute position, moving direction, and speed of the own vehicle based on the signals received from the GPS satellites. ”, and it is suggested to refer to the absolute position of the own vehicle based on GPS when creating or using a local driving behavior database.
- GPS Global Positioning System
- Patent Document 1 a storage device (specifically, a GNSS vehicle-mounted).
- an expensive GNSS in-vehicle device that can cooperate with the vehicle control system was essential as a prerequisite for providing information associated with the absolute position of the own vehicle to the vehicle control system.
- Patent Literature 1 may not be able to output information corresponding to the position of the vehicle.
- the vehicle control device of the present invention includes an information acquisition device mounted on a vehicle for recognizing the environment outside the vehicle, and detecting a predetermined landmark from the information acquired by the information acquisition device. a landmark detection unit; an attention object management unit that detects the position of an attention object from the travel history of the vehicle; and a database that registers the predetermined landmark, the attention object, and their positional relationship. and, when the landmark detection unit detects the predetermined landmark, the alert object managing unit performs the attention alert object on the travel route of the vehicle based on the positional relationship. It is intended to control the vehicle or notify the occupants of the vehicle.
- the vehicle control device of the present invention even when GNSS cannot be used, it is possible to provide information corresponding to the position of the vehicle to the occupants and the vehicle control system.
- FIG. Processing flowchart of the vehicle control device of the first embodiment Functional block diagram of the vehicle control device of the second embodiment Functional block diagram of the vehicle control device of the third embodiment Functional block diagram of the vehicle control device of the fourth embodiment
- FIG. 1 a vehicle control device 100 according to Embodiment 1 of the present invention will be described using FIGS. 1 to 4.
- FIG. 1 a vehicle control device 100 according to Embodiment 1 of the present invention will be described using FIGS. 1 to 4.
- FIG. 1 a vehicle control device 100 according to Embodiment 1 of the present invention will be described using FIGS. 1 to 4.
- FIG. 1 a vehicle control device 100 according to Embodiment 1 of the present invention will be described using FIGS. 1 to 4.
- FIG. 1 is an explanatory diagram of an example of a vehicle V equipped with the vehicle control device 100 of this embodiment and its running environment.
- 1 is a stereo camera
- 2 is an ECU (Electronic Control Unit)
- 3 is a notification device such as a speaker or display that notifies (notifies) information to the occupant
- 4 is a steering device that steers the vehicle V
- 5 is a vehicle It is a braking device that decelerates the V.
- a speed bump 200 which is a protrusion for prompting the driver to decelerate, is provided on the course of the vehicle V.
- the speed bump 200 is an example of an obstacle that the vehicle control device 100 notifies the driver of, but the obstacle to be notified may be, for example, a falling object on the road surface or unevenness caused by road surface damage. can be
- the stereo camera 1 is an information acquisition device that outputs left and right image data by arranging two cameras on the left and right and capturing images of the same object in front of the vehicle from left and right viewpoints. It is mounted on the upper inner surface of the glass.
- the ECU 2 is a control unit that controls each part of the vehicle V based on the image data from the stereo camera 1.
- the ECU 2 includes an arithmetic unit such as a CPU, a storage device such as a semiconductor memory, and a wired or wireless communication device.
- a computer with hardware such as Various functions to be described later are realized by executing the program loaded in the storage device by the arithmetic device. explain. Although the stereo camera 1 and the ECU 2 are separated from each other in FIG. 1, they may be integrated.
- the distance to the object can be calculated by Equation 1 below.
- Z [mm] is the distance to the object
- f [mm] is the focal length of the camera
- w [mm/px] is the pixel pitch
- B [mm] is the distance between the left and right cameras (baseline length)
- D [px] represents parallax.
- parallelization processing is generally performed in advance.
- parallelization means vertical alignment of image data. That is, this is a process of calibrating the image data so that the same points in the left and right image data are imaged at the same height.
- the parallelized left and right image data can be searched for left and right matching positions for each block to calculate the distance for each pixel.
- Informing the driver in advance of a step such as a speed bump 200 as an obstacle is effective in avoiding an accident that occurs when the vehicle passes through the step without decelerating.
- a known step in advance it is necessary to grasp the position of the vehicle with respect to the step.
- the position of the vehicle cannot be detected. Therefore, it is difficult to give advance warning of the existence of a step even when approaching a known step registered in the obstacle database. Therefore, in the vehicle control device 100 of the present embodiment, when a new step (obstacle) is detected, information on landmarks in the immediate vicinity of the step (obstacle) is also registered in the obstacle database. When the landmark is passed next time, the presence of a step (obstacle) can be warned early.
- FIG. 2 illustrates the operation of vehicle controller 100 when vehicle V approaches a known speed bump 200 registered in the EUC2 obstacle database. If the combination of the illustrated road sign group and traffic light is registered in the obstacle database as a landmark immediately adjacent to the known speed bump 200, the ECU 2 detects the landmark (combination of road sign group and traffic light). It is possible to calculate the distance L1 to the speed bump 200 that the stereo camera 1 has not yet detected at the time of FIG. 2(a).
- the vehicle V is a vehicle that is exclusively used for traveling in the neighborhood, and the daily movement range of the vehicle V includes the instruction contents of the road sign group, the road sign group and the traffic signal, as shown in the figure. There is no other combination of the shape and position of V, the distance between road signs and traffic lights, etc. Based on the combination of these landmark information, the vehicle position and moving direction of vehicle V can be uniquely determined. shall be identifiable.
- the ECU 2 when the distance to the speed bump 200 reaches a predetermined distance L2, the ECU 2 warns the driver of the presence of the speed bump 200 via the notification device 3 in advance. Therefore, the driver can sufficiently decelerate the vehicle V before it reaches the speed bump 200, and can safely pass the speed bump 200 at a low speed as shown in FIG. 2(c). . If the driver does not sufficiently decelerate the vehicle V after the warning, the ECU 2 may control the braking device 5 to assist deceleration.
- FIG. 3 is a functional block diagram of the vehicle control device 100 of this embodiment.
- the ECU 2 includes an image input section 21 , a distance measurement section 22 , an object detection section 23 , a landmark detection section 24 , a vehicle behavior estimation section 25 and an obstacle management section 26 .
- the image input unit 21 may be omitted.
- the image input unit 21 is an interface for inputting image data captured by the stereo camera 1 . Note that if the left and right image data captured at the same time are synchronously input, the distance and the object can be obtained more accurately in subsequent processing. Image data input to the image input unit 21 is stored in a storage device (not shown) of the ECU 2 .
- the distance measurement unit 22 executes the calculation of Equation 1 above for each pixel of the left and right image data input from the stereo camera 1, and calculates three-dimensional data such as distance data for each pixel.
- the calculated three-dimensional data is stored in a storage device (not shown) of the ECU 2 .
- the object detection unit 23 detects an area where an object exists (object area) based on the image data from the image input unit 21 or the three-dimensional data from the distance measurement unit 22.
- Object area detection methods include a method of detecting patterns of people and vehicles from image data, a method of grouping areas with a short distance from distance data included in three-dimensional data, and the like.
- a road step such as a speed bump 200
- the step can be detected with high accuracy. Also, instead of detecting the maximum and minimum values of the road surface, there is also a method of learning which position is a step or not as teacher data by machine learning using depth and height data as input. According to this method, it becomes possible to detect a step having a complicated shape or a plurality of consecutive steps, which is effective in improving the detection accuracy.
- the landmark detection unit 24 uses the image data from the image input unit 21 or the three-dimensional data from the distance measurement unit 22 to detect landmark information.
- the landmark information detected here includes, for example, the indications of road signs, the shapes and positions of road signs and traffic lights, the distances between landmarks, and the like.
- the own vehicle behavior estimation unit 25 calculates the own vehicle behavior such as the movement route based on the vehicle speed, yaw rate, steering angle, etc. of the own vehicle.
- the vehicle speed, yaw rate, and steering angle of the vehicle are used as inputs to the vehicle behavior estimator 25.
- a method of estimating the amount of movement of the camera by tracking points in the image data is used. You may In that case, it becomes unnecessary to use sensor outputs such as the vehicle speed, yaw rate, and steering angle of the own vehicle.
- the obstacle management unit 26 manages an obstacle database stored in a storage device (not shown) of the ECU 2, and controls each part of the vehicle V while referring to the obstacle database. Specifically, when the object detection unit 23 detects an unknown obstacle, the combination of the obstacle and the immediately preceding landmark information is registered in the obstacle database. On the other hand, if the landmark detection unit 24 detects a landmark registered in the obstacle database, when the vehicle V approaches the obstacle corresponding to the landmark information, the vehicle V is notified via the notification device 3. It notifies a person of approaching an obstacle in advance, and outputs commands to the steering device 4 and the braking device 5 for safely passing the obstacle. Therefore, the obstacle management unit 26 stores the movement locus of the own vehicle obtained from the own vehicle behavior estimation unit 25 from the time when the landmark detection unit 24 detects the landmark.
- the storage device of the ECU 2 stores image data, three-dimensional data, an obstacle database, and the like.
- the memory capacity of the storage device is finite, it is better to use a fixed amount repeatedly.
- step S1 the stereo camera 1 captures an image in front of the vehicle and generates left and right image data. Then, the image input unit 21 of the ECU 2 stores the left and right image data acquired from the stereo camera 1 in the storage device.
- step S2 the distance measuring unit 22 calculates the distance for each pixel based on the left and right image data stored in the storage device, and stores it in the storage device as three-dimensional data.
- step S3 the object detection unit 23 detects an object based on image data or three-dimensional data and determines the type of the object.
- step S4 the landmark detection unit 24 determines whether the object detected in step S3 is a landmark registered in the obstacle database. If it is a registered landmark, the process proceeds to step S5, and if not, the process proceeds to step S6.
- step S5 the obstacle management unit 26 reads the relative position of the obstacle corresponding to the landmark from the obstacle database, and based on the vehicle position estimated based on the output of the vehicle behavior estimation unit 25, The presence of the obstacle is warned to the driver in front of the obstacle via the notification device 3 (see FIG. 2), and the position of the obstacle is notified to the vehicle control system via the communication device. After that, the process returns to step S1.
- step S6 it is determined whether the object detected in step S3 is an obstacle not registered in the obstacle database. If the detected object is an unknown obstacle, the process proceeds to step S7; otherwise, the process returns to step S1.
- step S7 the landmark detection unit 24 detects the nearest landmark information of the unknown obstacle based on the left and right image data or three-dimensional data stored in the storage device.
- step S8 the obstacle management unit 26 associates the new obstacle with the landmark information near the obstacle and registers them in the obstacle database.
- the vehicle control device of the present embodiment described above when a landmark registered in the obstacle database is detected based on the output of the stereo camera, the existence of the obstacle corresponding to the landmark is detected. Since it warns the person and notifies the vehicle control system, even if GNSS cannot be used, it is possible to provide the occupants and the system with information corresponding to the position of the vehicle.
- the vehicle control device 100 of this embodiment is provided with a signage management section 27 instead of the obstacle management section 26 of the first embodiment.
- the signage management unit 27 notifies the driver and fellow passengers of the signage information registered in the signage database of the ECU 2 via the notification device 3 when the vehicle V approaches a predetermined position.
- signage is information similar to advertisements, such as advertisements for restaurants in the vicinity.
- the object detection unit 23 detects the image format information in the image data captured by the stereo camera 1.
- Signage information can be acquired by decoding.
- the landmark detection unit 24 detects the landmark information, It is possible to notify the occupant of the vehicle V of the signage information corresponding to the image format information of the position where the image cannot be captured.
- the radio communication device of the EUC 2 may be used to register the signage information through radio communication.
- the signage information can be registered from the outside, it is possible to notify the driver or the like of any information at any place. Advertisements can be displayed, and applications such as computer games that apply virtual reality space can be realized.
- the notification device 3 of the first embodiment notifies the obstacle output from the obstacle management unit 26, and the notification device 3 of the second embodiment notifies the signage output from the signage management unit 27.
- the notification device 3 notifies the obstacle output from the obstacle management unit 26 and the signage output from the signage management unit 27 is notified from the portable terminal 6 .
- the notification destinations of obstacle information and signage information are set to be different. That is, the mobile terminal 6 such as a smartphone is registered in the vehicle control device 100 in advance, the obstacle information is notified to the in-vehicle notification device 3, and the signage information is notified to the mobile terminal 6, so that the driver can receive the information. made it easy to distinguish between types.
- the obstacle information may be notified to the driver's portable terminal (not shown), and the signage information may be notified to the fellow passenger's portable terminal 6 .
- the vehicle position is estimated based on the output of the vehicle behavior estimation unit 25, but if the vehicle V is equipped with GNSS7, the output of GNSS7 can be used to estimate the vehicle position more accurately. can be estimated. Therefore, in the present embodiment, in an environment where GNSS7 can be used, the vehicle position is estimated using the output of GNSS7, and in an environment where GNSS7 cannot be used (for example, in a tunnel, an indoor parking lot, etc.), the vehicle behavior estimation unit 25 outputs are used to estimate the position of the vehicle.
- the obstacle management part 26 can receive the positional information of the own vehicle from GNSS7, in the environment which can utilize GNSS7, the positional information from GNSS7 and obstacle By comparing the position information of the obstacles registered in the object database, the driver can be notified of the obstacles in advance.
- the position where the landmark detection unit 24 detects the landmark and the own vehicle estimated from the output of the own vehicle behavior estimation unit 25 Pre-announce obstacles based on positional relationships.
- Example 5 of the present invention a vehicle control device 100 according to Example 5 of the present invention will be described. Duplicate descriptions of the points in common with the above embodiment will be omitted. In this embodiment, a method for improving accuracy of landmark detection will be described.
- the slope information of the road surface is used as the landmark information registered in the database.
- road signs and traffic lights are used as landmarks, but these may be removed or newly installed.
- road surface slope information obtained by detecting the flat portion of 3D information is more permanent than road signs and traffic lights, and is robust against environmental changes such as road surface conditions and snowfall. Therefore, by registering road surface slope information as landmark information in a database, landmarks can be detected even when road signs, traffic lights, etc. have been removed. Since the road surface gradient does not easily change, there is a high possibility that it can be used as landmark information for a long period of time.
- Example 6 of the present invention a vehicle control device 100 according to Example 6 of the present invention will be described. Duplicate descriptions of the points in common with the above embodiment will be omitted. In this embodiment, a high-speed search method for landmark information will be described.
- Landmark information is information about the positional relationship of objects around the vehicle V, so if multiple points are registered, the generation of landmark information requires a large computational cost. Therefore, in this embodiment, the image input unit 21 monotonizes the image data (narrows down the type of road from the lane width, road color, width information, and sign information) and divides the landmarks to be searched. , the number of searches can be reduced, and the landmark information can be searched at high speed. This makes it possible to store and search a large amount of landmark information with a small amount of CPU resources.
- Embodiment 7 of the present invention a vehicle control device 100 according to Embodiment 7 of the present invention will be described. Duplicate descriptions of the points in common with the above embodiment will be omitted.
- a method of registering landmark information and a method of using landmark information in an environment where there is a mobile object other than the own vehicle will be described.
- FIG. 2 illustrates an environment in which there are no vehicles other than the own vehicle, there are many other vehicles that are running or stopped in addition to the own vehicle. As a landmark, it is necessary to select a structure that does not change easily.
- the landmark information detected by the landmark detection unit 24 does not match the landmark information registered in the database after the stopped vehicle moves.
- the obstacle cannot be notified even if it reaches the position where the obstacle should be originally notified. Therefore, in this embodiment, structures that can move, such as stopped vehicles, are excluded from the landmarks.
- the same feature is detected multiple times, that is, when the same landmark is repeatedly extracted by passing through the same road multiple times, the landmark is registered as landmark information. Landmark information that does not include moving objects can be registered.
- the position of the blind spot is estimated from the position of the other vehicle, the position is excluded from the landmark information candidates, and it is determined whether the detected landmark is a landmark registered in the database. By doing so, it is possible to prevent an estimation error when estimating the position of the vehicle.
- Embodiment 8 of the present invention a vehicle control device 100 according to Embodiment 8 of the present invention will be described. Duplicate descriptions of the points in common with the above embodiment will be omitted.
- a method of updating the database when no related obstacle can be detected after detection of landmark information registered in the database will be described.
- the stereo camera 1 cannot detect an obstacle at a predetermined distance from the landmark, the landmark information registered in the database is deleted.
- the obstacle could not be detected by chance, so the problem of deleting an existing obstacle by deleting it from the database when the obstacle is not detected multiple times. can be prevented.
- the reliability is high when the effective parallax is large, so if it is not detected when the effective parallax is large, it is immediately deleted. This makes it possible to quickly delete and keep the information up-to-date.
- control lines and information lines indicate those considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it may be considered that almost all configurations are interconnected.
- V Vehicle 100
- Vehicle control device 1 Stereo camera 2
- ECU 21 Image input unit 22
- Distance measurement unit 23
- Object detection unit 24
- Landmark detection unit 25 ...
- Vehicle behavior estimation Part 26
- Obstacle management part 27
- Signage management part 3
- Notification device 4
- Steering device 5
- Braking device 6
- Mobile terminal 7
- GNSS 2
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
走行路上の注意喚起対象を地図と位置情報取得せずに周辺環境センサが直接計測できない時にも注意喚起する。車両に搭載され、前記車両外の環境を認識する情報取得装置と、前記情報取得装置で得た情報から、所定のランドマークを検出するランドマーク検出部と、前記車両の走行履歴から注意喚起対象物の位置を検出する注意喚起対象物管理部と、前記所定のランドマーク、前記注意喚起対象物、およびこれらの位置関係を登録したデータベースと、を備え、前記注意喚起対象物管理部は、前記ランドマーク検出部で前記所定のランドマークを検出した場合、前記位置関係に基づき、前記車両の進行路上にある前記注意喚起対象物に対する前記車両の制御または前記車両の乗員への通知を行うことを特徴とする車両制御装置。
Description
本発明は、GNSS(Global Navigation Satellite System)を利用できない場合であっても、自車位置に対応した情報を乗員やシステムに提供できる、車両制御装置に関する。
自車位置に応じた情報をシステムに提供する従来技術として、特許文献1の運転行動データ生成装置が知られている。同文献の要約書には、課題として「道路上の二次元空間分布を表現する運転行動支援装置に用いられ、人間に近い運転行動に基づく自動運転を支援するために、局所的なルールや周辺環境に適した知識、及び経験的なノウハウが考慮された運転行動データベースを生成する。」と記載されており、解決手段として「運転者(人間)が慣例的に行っている局所的な運転行動(交差点内のコース取り、停止線のない交差点での停止位置、単一車線の多重利用等)の分布情報を集約し、道路ネットワーク情報に関連付けて管理・保存する。自動運転システムは、これらの分布情報を利用することで、環境に適した、乗員に違和感の少ない自動走行を実現する。自動運転システムは、環境や天候に合わせた人間らしい運転行動を計画する。車載センサ群12を活用した自動処理によりデータベースを生成するため、オペレータによるマニュアル処理がなく、低コストに情報を生成する。」と記載されている。
また、同文献の段落0057には「測位センサ30は、主にGPS(Global Positioning System)を想定し、GPS衛星からの受信信号に基づいて自車の絶対位置や移動方向、速度を計測する。」と記載されおり、局所的な運転行動データベースの作成時や利用時に、GPSに基づく自車の絶対位置等を参照することが示唆されている。
特許文献1では、自車位置に対応した局所的情報を道路ネットワーク情報に関連付けて管理・保存するための前提として、道路ネットワーク情報(地図情報)を保持した記憶装置(具体的には、GNSS車載機)が必須であるだけでなく、自車の絶対位置に関連付けた情報を車両制御システムに提供するための前提として、車両制御システムと連携可能な高価なGNSS車載機が必須であった。
しかしながら、専ら近隣移動にのみ使用される車両には、車両制御システムと連携可能な高価なGNSS車載機が搭載されないことも多く、また、GNSS車載機を搭載した車両であっても、トンネル内や地下駐車場等では、自車の絶対位置等を検知できないため、特許文献1の技術では、自車位置に応じた情報を出力できないこともあった。
そこで、本発明は、GNSSを利用できない場合でも、自車位置に対応した情報を乗員や車両制御システムに提供できる、車両制御装置を提供することを目的とする。
上記課題を解決するため、本発明の車両制御装置は、車両に搭載され、前記車両外の環境を認識する情報取得装置と、前記情報取得装置で得た情報から、所定のランドマークを検出するランドマーク検出部と、前記車両の走行履歴から注意喚起対象物の位置を検出する注意喚起対象物管理部と、前記所定のランドマーク、前記注意喚起対象物、およびこれらの位置関係を登録したデータベースと、を備え、前記注意喚起対象物管理部は、前記ランドマーク検出部で前記所定のランドマークを検出した場合、前記位置関係に基づき、前記車両の進行路上にある前記注意喚起対象物に対する前記車両の制御または前記車両の乗員への通知を行うものとした。
本発明の車両制御装置によれば、GNSSを利用できない場合でも、自車位置に対応した情報を乗員や車両制御システムに提供することができる。
以下、図面を参照しながら、本発明の車両制御装置の実施例を説明する。
まず、図1から図4を用いて、本発明の実施例1に係る車両制御装置100を説明する。
図1は、本実施例の車両制御装置100を搭載した車両Vと、その走行環境の一例の説明図である。同図において、1はステレオカメラ、2はECU(Electronic Control Unit)、3は乗員に情報を報知(通知)するスピーカやディスプレイ等の報知装置、4は車両Vを操舵する操舵装置、5は車両Vを減速する制動装置である。また、車両Vの進路には、運転者に減速を促すための突起であるスピードバンプ200が設けられている。なお、スピードバンプ200は、車両制御装置100が運転者に報知する障害物の一例であるが、報知対象の障害物は、例えば、路面上の落下物や、路面破損により生じた凹凸等であっても良い。
ステレオカメラ1は、2つのカメラを左右に配置して、車両前方の同一対象物を左右の視点から撮像することで、左右の画像データを出力する情報取得装置であり、例えば、車両Vのフロントガラス内面上部に装着されたものである。
ECU2は、ステレオカメラ1からの画像データに基づいて、車両Vの各部を制御する制御ユニットであり、具体的には、CPU等の演算装置、半導体メモリ等の記憶装置、有線または無線の通信装置などのハードウェアを備えたコンピュータである。そして、記憶装置にロードされたプログラムを演算装置が実行することで、後述する各種機能が実現されるが、以下では、演算装置や記憶装置の一般的な動作等の周知技術を適宜省略しながら説明する。なお、図1では、ステレオカメラ1とECU2が分離した構成を例示しているが、両者を一体に構成としても良い。
ステレオカメラ1とECU2の協働による機能の一つとして、ステレオカメラ1が撮像した左右の画像データにおける見え方のずれ(視差)に基づいて、画像データ中の対象物までの距離を算出する機能がある。一般的なステレオカメラ1では、以下の式1で対象物までの距離を算出することができる。
ここで、Z[mm]は対象物までの距離、f[mm]はカメラの焦点距離、w[mm/px]は画素ピッチ、B[mm]は左右カメラ間の距離(基線長)、D[px]は視差を表す。
視差を算出する際には、左右の画像データを水平に並べ、左画像データ内の特定の点に対して右画像データ内で同一の点が撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。ここで、平行化とは、画像データの縦方向の位置合わせを意味する。すなわち、左右の画像データで同一の点は同一の高さに撮像されているよう画像データを校正する処理である。平行化された画像データでは、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。そして、平行化された左右の画像データをブロック毎に左右の一致する位置を探索して画素毎の距離を算出できる。この距離データから平面を推定して、平面上の点群を除去し、残った点群のうち距離が近いものをグルーピングすることで、道路標識や交通信号機や障害物を検出することができる。
また、落下物のような小さな障害物を検出したい場合は、進行路上の道路はなだらかな平面と仮定できるため、なだらか平面から段差になっている部分を落下物として検出する方法がある。しかし、落下物のような高さが低く小さい段差などを検出するためには、ステレオカメラ1の焦点距離を大きくする、すなわちズームレンズを使用するか、高解像度のカメラセンサを使用する必要がある。車の周辺の障害物を広くカバーするためには視野を広く見る必要がありこれを両立するためには高画素なセンサをつけるか、焦点距離の異なる複数のセンサをつける必要がある。
スピードバンプ200等の段差を障害物として運転者に事前報知することは、減速せずに段差を通過して発生する事故の回避に有効である。既知の段差を事前報知するためには、その段差に対する自車位置の把握が必要であるが、GNSS車載機を搭載しない車両や、GNSS車載機を搭載した車両であってもトンネル内等のGNSSを利用できない環境では、自車位置を検知できないため、障害物データベースに登録された既知の段差に接近しても、その段差の存在を事前に警告することが難しい。そこで、本実施例の車両制御装置100では、新規の段差(障害物)を検知した場合、その段差(障害物)の直近のランドマーク情報も併せて障害物データベースに登録しておくことで、そのランドマークを次回通過した場合に、段差(障害物)の存在を早期に警告できるようにした。
<車両制御装置100による事前警告>
図2は、車両Vが、EUC2の障害物データベースに登録された既知のスピードバンプ200に接近する場合の、車両制御装置100の動作を例示している。既知のスピードバンプ200の直近のランドマークとして、図示する道路標識群と交通信号機の組み合わせが障害物データベースに登録されている場合、ECU2がランドマーク(道路標識群と交通信号機の組み合わせ)を検知した図2(a)の時点で、ステレオカメラ1が未だ検知していないスピードバンプ200までの距離L1を算出することができる。なお、この例では、車両Vが専ら近隣移動にのみ使用される車両であり、車両Vの日常的な移動範囲には、図示するような、道路標識群の指示内容、道路標識群と交通信号機の形状や位置、道路標識群と交通信号機の距離等の組み合わせは、他に存在しておらず、これらのランドマーク情報の組み合わせに基づいて、車両Vの自車位置や移動方向を一義的に特定できるものとする。
図2は、車両Vが、EUC2の障害物データベースに登録された既知のスピードバンプ200に接近する場合の、車両制御装置100の動作を例示している。既知のスピードバンプ200の直近のランドマークとして、図示する道路標識群と交通信号機の組み合わせが障害物データベースに登録されている場合、ECU2がランドマーク(道路標識群と交通信号機の組み合わせ)を検知した図2(a)の時点で、ステレオカメラ1が未だ検知していないスピードバンプ200までの距離L1を算出することができる。なお、この例では、車両Vが専ら近隣移動にのみ使用される車両であり、車両Vの日常的な移動範囲には、図示するような、道路標識群の指示内容、道路標識群と交通信号機の形状や位置、道路標識群と交通信号機の距離等の組み合わせは、他に存在しておらず、これらのランドマーク情報の組み合わせに基づいて、車両Vの自車位置や移動方向を一義的に特定できるものとする。
その後、図2(b)では、スピードバンプ200までの距離が所定距離L2になった時点で、ECU2は報知装置3を介して、運転者にスピードバンプ200の存在を事前警告する。そのため、運転者は、車両Vがスピードバンプ200に到達する前に車両Vを十分に減速させることができ、図2(c)のように、スピードバンプ200を低速で安全に通過することができる。なお、警告後に運転者が車両Vを十分に減速させない場合は、ECU2が制動装置5を制御して減速を支援しても良い。
<車両制御装置100の機能ブロック図>
図3は、本実施例の車両制御装置100の機能ブロック図である。ここに示すように、ECU2は、画像入力部21、距離測定部22、物体検知部23、ランドマーク検出部24、自車挙動推定部25、障害物管理部26を備えている。以下、各部の詳細を説明する。なお、情報取得装置として、ステレオカメラ1に代えてLiDARを利用する場合は、画像入力部21を省略すれば良い。
図3は、本実施例の車両制御装置100の機能ブロック図である。ここに示すように、ECU2は、画像入力部21、距離測定部22、物体検知部23、ランドマーク検出部24、自車挙動推定部25、障害物管理部26を備えている。以下、各部の詳細を説明する。なお、情報取得装置として、ステレオカメラ1に代えてLiDARを利用する場合は、画像入力部21を省略すれば良い。
画像入力部21は、ステレオカメラ1で撮像した画像データを入力するインターフェースである。なお、同一時刻に撮像した左右の画像データが同期入力されると、後段の処理で距離や物体をより正確に求めることができる。画像入力部21に入力された画像データは、ECU2の記憶装置(図示せず)に格納される。
距離測定部22は、ステレオカメラ1から入力された左右の画像データの各画素に対して、上記した式1の演算を実行し、画素毎に距離データ等の3次元データを算出する。算出した3次元データは、ECU2の記憶装置(図示せず)に格納される。
物体検知部23は、画像入力部21からの画像データ、または、距離測定部22からの3次元データに基づいて、物体が存在する領域(物体領域)を検知する。物体領域の検知方法は、画像データから人や車のパターンを検出する方法や、3次元データに含まれる距離データから距離の近い領域をグルーピングする方法などがある。また、スピードバンプ200等の道路の段差を検出するには、進行方向の平面である道路部分を検出して、その奥行高さ情報から路面の凹凸を検出する方法などがある。路面の凹凸の検出には、奥行き高さ情報の極大値と極小値をそれぞれ検出し、自車の移動に沿って時系列に対応する点を追跡し、追跡が複数回成功した点を段差の位置とすることで、段差を精度良く検出することができる。また、路面の極大値と極小値の検出ではなく、奥行き高さのデータを入力とした機械学習により、どの位置が段差かどうかを教師データとして学習させる方法もある。この方法によれば、複雑な形状の段差や、複数連続した段差なども検出できるようになり、検出精度向上に効果的である。
ランドマーク検出部24は、画像入力部21からの画像データ、または、距離測定部22からの3次元データを利用して、ランドマーク情報を検出する。ここで検出されるランドマーク情報は、例えば、道路標識の指示内容、道路標識や交通信号機の形状や位置、ランドマーク同士の距離等である。
自車挙動推定部25は、自車の車速、ヨーレート、操舵角等に基づいて、移動経路等の自車挙動を計算する。なお、本実施例では、自車挙動推定部25の入力として、自車の車速、ヨーレート、操舵角を挙げたが、画像データ中の点を追跡してカメラの移動量を推定する方法を使用してもよい。その場合、自車の車速、ヨーレート、操舵角等のセンサ出力の利用が不要となる。
障害物管理部26は、ECU2の記憶装置(図示せず)に格納された障害物データベースを管理するとともに、障害物データベースを参照しながら車両Vの各部を制御する。具体的には、物体検知部23が未知の障害物を検知した場合であれば、その障害物と直前のランドマーク情報の組み合わせを障害物データベースに登録する。一方、ランドマーク検出部24が障害物データベースに登録されたランドマークを検出した場合であれば、車両Vがそのランドマーク情報に対応する障害物に接近したときに、報知装置3を介して運転者に障害物への接近を事前報知したり、操舵装置4や制動装置5に障害物を安全に通過するための指令を出力したりする。そのため、障害物管理部26は、ランドマーク検出部24がランドマークを検出した時点から、自車挙動推定部25から得た自車の移動軌跡を記憶する。
上記の通り、ECU2の記憶装置には、画像データ、3次元データ、障害物データベース等が記憶される。しかし、記憶装置のメモリ量は有限であるため、一定量を繰り返し利用するのが良い。また、ランドマークが多数見つかるときには、障害物管理部26から出力される移動量が一定以上離れた場合を保持するのが望ましい。一定間隔内で、特に際立ったランドマークに絞って記憶することで、広範囲のエリアの情報を記憶することができるとともに、記憶装置のメモリ量を少なく保持することができるため、廉価なシステムへの搭載性が向上する。
<本実施例の車両制御装置の処理フローチャート>
次に、図4の処理フローチャートを用いて、本実施例の車両制御装置100の具体的な処理内容を説明する。
次に、図4の処理フローチャートを用いて、本実施例の車両制御装置100の具体的な処理内容を説明する。
まず、ステップS1では、ステレオカメラ1は、車両前方を撮像し、左右の画像データを生成する。そして、ECU2の画像入力部21は、ステレオカメラ1から取得した左右の画像データを記憶装置に記憶する。
次に、ステップS2では、距離測定部22は、記憶装置に記憶された左右の画像データに基づいて画素毎の距離を演算し、3次元データとして記憶装置に記憶する。
ステップS3では、物体検知部23は、画像データまたは3次元データに基づいて、物体を検知し、物体の種別を判断する。
ステップS4では、ランドマーク検出部24は、ステップS3で検知した物体が障害物データベースに登録されたランドマークであるかを判定する。そして、登録されたランドマークであればステップS5に進み、そうでなければステップS6に進む。
ステップS5では、障害物管理部26は、そのランドマークに対応する障害物の相対位置を障害物データベースから読み取るとともに、自車挙動推定部25の出力に基づいて推定した自車位置も踏まえて、報知装置3を介して障害物の手前で運転者に障害物の存在を警告したり(図2参照)、通信装置を介して車両制御システムに障害物の位置を通知したりする。その後、ステップS1に戻る。
一方、ステップS6では、ステップS3で検知した物体が障害物データベースに未登録の障害物であるかを判定する。そして、検知した物体が未知の障害物であればステップS7に進み、そうでなければステップS1に戻る。
ステップS7では、ランドマーク検出部24は、記憶装置に記憶された左右の画像データまたは3次元データに基づいて、未知の障害物の直近のランドマーク情報を検出する。
ステップS8では、障害物管理部26は、新規の障害物と、その障害物の直近のランドマーク情報を関連付けて障害物データベースに登録する。
以上で説明した本実施例の車両制御装置によれば、ステレオカメラの出力に基づいて、障害物データベースに登録済みのランドマークを検知した場合に、そのランドマークに対応する障害物の存在を運転者に警告したり、車両制御システムに通知したりするので、GNSSを利用できない場合であっても、自車位置に対応した情報を乗員やシステムに提供することができる。
次に、図5を用いて、本発明の実施例2に係る車両制御装置100を説明する。なお、実施例1との共通点は重複説明を省略する。
本実施例の車両制御装置100は、実施例1の障害物管理部26に代えて、サイネージ管理部27を設けたものである。このサイネージ管理部27は、車両Vが所定位置に接近したときに、ECU2のサイネージデータベースに登録されたサイネージ情報を、報知装置3を介して運転者や同乗者に報知するものである。なお、サイネージとは、広告に類する情報であり、例えば、近辺の食堂の広告である。
例えば、車両Vの前方の壁面等に、QRコード(登録商標)などの画像形式情報が描かれている環境では、物体検知部23は、ステレオカメラ1で撮像した画像データ中の画像形式情報をデコードすることで、サイネージ情報を取得することができる。そして、このサイネージ情報を、その画像形式情報の直近のランドマーク情報と組み合わせてサイネージデータベースに登録しておくことで、以後は、ランドマーク検出部24でそのランドマーク情報を検出した時点で、未だ撮像できない位置の画像形式情報に相当するサイネージ情報を車両Vの乗員に通知することができる。なお、サイネージ情報の登録にステレオカメラ1を介在させる必要は無く、例えば、EUC2の無線通信装置を利用し、サイネージ情報を無線通信で登録しても良い。
このように、外部からサイネージ情報を登録することができれば、任意の場所で任意の情報を運転者等に通知できるので、GNSS車載機を備えない車両Vであっても、自車位置に応じた広告を表示したり、仮想現実空間を応用したコンピュータゲーム等のアプリケーションを実現したりすることができる。
次に、図6を用いて、本発明の実施例3に係る車両制御装置100を説明する。なお、上記の実施例との共通点は重複説明を省略する。
実施例1の報知装置3は、障害物管理部26の出力である障害物を報知し、また、実施例2の報知装置3は、サイネージ管理部27の出力であるサイネージを報知したが、本実施例の車両制御装置100では、障害物管理部26の出力である障害物を報知装置3で報知し、サイネージ管理部27の出力であるサイネージを携帯端末6で報知するようにした。
障害物とサイネージの報知では、運転者にとっての重要度が異なるため、情報種別毎に異なる報知音が割り当てられることが多い。しかしながら、報知音から情報種別を区別するにはある程度の学習が必要であるためユーザにとって煩雑であるだけでなく、とっさの判断が難しく、すぐに情報内容を理解することが難しい。
そこで、本実施例では、障害物情報とサイネージ情報の報知先を異ならせることとした。すなわち、車両制御装置100にスマートフォン等の携帯端末6を事前に登録しておき、障害物情報は車載の報知装置3に報知し、サイネージ情報は携帯端末6に報知することで、運転者が情報種別を容易に区別できるようにした。なお、障害物情報を運転者の携帯端末(図示せず)に報知し、サイネージ情報を同乗者の携帯端末6に報知しても良い。
このようにすることで、運転者への安全を担保しながら優先度の低いサイネージ情報を通知することができる。また、障害物に関する警報とそれ以外の優先度を調停することができるため重要な情報を確実に通知できる利点がある。
次に、図7を用いて、本発明の実施例4に係る車両制御装置100を説明する。なお、上記の実施例との共通点は重複説明を省略する。
上記の実施例では、自車挙動推定部25の出力に基づいて自車位置を推定したが、GNSS7を装備した車両Vであれば、GNSS7の出力を利用することでより正確な自車位置を推定できる。そこで、本実施例では、GNSS7を利用できる環境ではGNSS7の出力を利用して自車位置を推定し、GNSS7を利用できない環境(例えば、トンネル内、屋内駐車場、等)では自車挙動推定部25の出力を利用して自車位置を推定することとした。
図7に示すように、ECU2とGNSS7が連携している場合、障害物管理部26は、GNSS7から自車の位置情報を受信できるので、GNSS7を利用できる環境では、GNSS7からの位置情報と障害物データベースに登録された障害物の位置情報を比較することで、運転者に障害物を事前通知することができる。しかし、GNSS7から位置情報を正しく受信できない場合には、上記した各実施例のように、ランドマーク検出部24がランドマークを検出した位置と、自車挙動推定部25の出力から推定した自車位置の関係に基づいて、障害物を事前通知する。
次に、本発明の実施例5に係る車両制御装置100を説明する。なお、上記の実施例との共通点は重複説明を省略する。本実施例では、ランドマーク検出の精度向上方法について説明する。
本実施例では、データベースに登録するランドマーク情報として、路面の勾配情報を使用する。図2では、道路標識や交通信号機をランドマークとして利用したが、これらは撤去されたり、新設されたりする可能性がある。これに対し、3次元情報の平面部を検出した路面の勾配情報は、道路標識や交通信号機に比べ恒久的であり、また、路面状態や降雪降雨などの環境変化に対してもロバストである。従って、路面の勾配情報をランドマーク情報としてデータベースに登録することで、道路標識や交通信号機等が撤去された場合でもランドマークを検出することができる。路面勾配は変化が起きにくいため、ランドマーク情報として長期間活用できる可能性が高い。
次に、本発明の実施例6に係る車両制御装置100を説明する。なお、上記の実施例との共通点は重複説明を省略する。本実施例では、ランドマーク情報の高速探索方式について説明する。
ランドマーク情報は、車両Vの周囲の物体の位置関係情報であるため、複数の地点を登録すると、ランドマーク情報の生成に大きな計算コストがかかる。そこで、本実施例では、画像入力部21にて、画像データを単調化し(車線幅や道路の色、幅情報、標識情報から道路の種別を絞り込み)、かつ、探索するランドマークを分割することで、探索回数を減らすことができ、ランドマーク情報を高速に探索できる。これにより、少ないCPUリソースで多くのランドマーク情報を記憶し探索することが可能となる。
次に、本発明の実施例7に係る車両制御装置100を説明する。なお、上記の実施例との共通点は重複説明を省略する。本実施例では、自車以外の移動体が存在する環境下での、ランドマーク情報の登録方法、および、ランドマーク情報の利用方法を説明する。
図2では自車以外の車両が存在しない環境を例示したが、通常は、自車以外にも走行車両や停止車両が存在することが多い。ランドマークとしては、容易に変化しない構造物を選択する必要があるが、停止車両が存在する環境では次のような問題が生じる。
例えば、停止車両を含むランドマーク情報をデータベースに登録すると、その停止車両の移動後には、ランドマーク検出部24が検出したランドマーク情報とデータベースに登録されたランドマーク情報が一致しないため、自車が本来障害物を通知すべき位置に至っても障害物を通知できない可能性がある。そこで、本実施例では、停止車両のように移動可能性のある構造物はランドマークから除外する。
また、他車両が存在する場合、その他車両の死角にランドマークに適した構造物が存在しても正しく登録できない可能性がある。そこで、本実施例では、同一特徴を複数回検出したときに、つまり、同じ道路を複数回通過し、同じランドマークを繰り返し抽出したときに、そのランドマークをランドマーク情報として登録することで、移動体を含まないランドマーク情報を登録することができる。
また、他車両等が存在する環境では、一部のランドマークが他車両等で隠れてしまい、本来は検出できるはずのランドマーク情報を検出できない場合がある。そこで、本実施例では、他車両の位置から死角の位置を推定し、その位置をランドマーク情報の候補から除外して、検出したランドマークがデータベースに登録されたランドマークであるかを判定することで、自車位置推定時の推定不良を防ぐことができる。
次に、本発明の実施例8に係る車両制御装置100を説明する。なお、上記の実施例との共通点は重複説明を省略する。本実施例では、データベースに登録されたランドマーク情報を検出した後に、関連する障害物が検出できない場合のデータベースの更新方法について説明する。
道路の状況は時々刻々と変化しているため、例えば、障害物データベースに登録された障害物が修繕により道路からなくなることがある。従って、本実施例では、ランドマークから所定距離の位置において、ステレオカメラ1により障害物が検出できなかった場合は、データベースに登録されたランドマーク情報を削除することとする。ただし、障害物を偶然検出できなかっただけの可能性もあるため、障害物の未検出を複数回繰り返した場合にデータベースから障害物を削除することで、実在する障害物を誤って削除する問題を防止することができる。また、ステレオカメラを使用した場合、有効視差が多い時に信頼度が高いため、有効視差が多い時に未検知だった場合はすぐに削除する。これにより、素早く削除することができ情報を常に最新状態にすることができる。
以上の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
V…車両、100…車両制御装置、1…ステレオカメラ、2…ECU、21…画像入力部、22…距離測定部、23…物体検知部、24…ランドマーク検出部、25…自車挙動推定部、26…障害物管理部、27…サイネージ管理部、3…報知装置、4…操舵装置、5…制動装置、6…携帯端末、7…GNSS、200…スピードバンプ
Claims (13)
- 車両に搭載され、前記車両外の環境を認識する情報取得装置と、
前記情報取得装置で得た情報から、所定のランドマークを検出するランドマーク検出部と、
前記車両の走行履歴から注意喚起対象物の位置を検出する注意喚起対象物管理部と、
前記所定のランドマーク、前記注意喚起対象物、およびこれらの位置関係を登録したデータベースと、を備え、
前記注意喚起対象物管理部は、前記ランドマーク検出部で前記所定のランドマークを検出した場合、前記位置関係に基づき、前記車両の進行路上にある前記注意喚起対象物に対する前記車両の制御または前記車両の乗員への通知を行うことを特徴とする車両制御装置。 - 請求項1に記載の車両制御装置において、
前記注意喚起対象物は、障害物であり、
前記データベースは、前記所定のランドマークと前記障害物の位置関係を登録した障害物データベースであることを特徴とする車用制御装置。 - 請求項1に記載の車両制御装置において、
前記注意喚起対象物は、サイネージであり、
前記データベースは、前記所定のランドマークと前記サイネージの位置関係を登録したサイネージデータベースであることを特徴とする車両制御装置。 - 請求項1に記載の車両制御装置において、
前記注意喚起対象物は、障害物とサイネージであり、
前記データベースは、前記所定のランドマークと前記障害物の位置関係を登録した障害物データベースと、前記所定のランドマークと前記サイネージの位置関係を登録したサイネージデータベースであることを特徴とする車両制御装置。 - 請求項4に記載の車両制御装置において、
前記注意喚起対象物管理部は、前記障害物を運転者に通知し、前記サイネージを同乗者に通知することを特徴とする車両制御装置。 - 請求項5に記載の車両制御装置において、
前記注意喚起対象物管理部は、前記障害物を車載の報知装置に通知し、前記サイネージを携帯端末に通知することを特徴とする車両制御装置。 - 請求項5に記載の車両制御装置において、
前記注意喚起対象物管理部は、前記障害物を運転者の携帯端末に通知し、前記サイネージを同乗者の携帯端末に通知することを特徴とする車両制御装置。 - 請求項1に記載の車両制御装置において、
さらに、地図情報を保持し位置情報を取得するGNSS車載機を備え
前記注意喚起対象物管理部は、
前記GNSS車載機を利用できる環境では、前記GNSS車載機から取得した位置情報に基づいて前記車両の制御または前記車両の乗員への通知を行い、
前記GNSS車載機を利用できない環境では、前記車両の走行履歴から推測した位置情報に基づいて前記車両の制御または前記車両の乗員への通知を行うことを特徴とする車両制御装置。 - 請求項1に記載の車両制御装置において、
前記データベースに登録されるランドマークは、路面の勾配情報であることを特徴とする車両制御装置。 - 請求項1に記載の車両制御装置において、
前記注意喚起対象物管理部は、前記情報取得装置が認識した他車両の位置から死角を推定し、該死角の領域を前記ランドマークの検出領域から除外することを特徴とする車両制御装置。 - 請求項1に記載の車両制御装置において、
前記情報取得装置の出力に基づいて、前記データベースに登録された注意喚起対象物を検出できなかった場合、前記注意喚起対象物管理部は、前記データベースに登録された注意喚起対象物を削除することを特徴とする車両制御装置。 - 左右の画像データを生成するステップと、
前記左右の画像データに基づいて3次元データを生成するステップと、
前記画像データまたは前記3次元データに基づいて物体を検知するステップと、
前記物体がデータベースに登録されたランドマークであるかを判定するステップと、
前記物体がデータベースに登録されたランドマークであった場合に、前記データベースに登録された前記ランドマークに対応する障害物を通知するステップと、を有することを特徴とする車両制御方法。 - 請求項12に記載の車両制御方法において、
前記物体がデータベースに未登録の障害物であった場合に、該障害物の直近のランドマークを前記障害物と共に前記データベースに登録することを特徴とする車両制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112022001661.2T DE112022001661T5 (de) | 2021-07-14 | 2022-02-04 | Fahrzeugsteuerungsvorrichtung |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-116206 | 2021-07-14 | ||
JP2021116206A JP2023012649A (ja) | 2021-07-14 | 2021-07-14 | 車両制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023286303A1 true WO2023286303A1 (ja) | 2023-01-19 |
Family
ID=84919157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/004525 WO2023286303A1 (ja) | 2021-07-14 | 2022-02-04 | 車両制御装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023012649A (ja) |
DE (1) | DE112022001661T5 (ja) |
WO (1) | WO2023286303A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007333532A (ja) * | 2006-06-14 | 2007-12-27 | Mitsubishi Electric Corp | ナビゲーションシステム |
JP2009510455A (ja) * | 2005-09-30 | 2009-03-12 | オートデスク,インコーポレイテッド | ランドマーク強化型道案内 |
JP2015011086A (ja) * | 2013-06-27 | 2015-01-19 | 三菱電機株式会社 | 運転操作管理装置 |
JP2016130971A (ja) * | 2015-01-14 | 2016-07-21 | 日立オートモティブシステムズ株式会社 | 車載用制御装置、自車位置姿勢特定装置、車載用表示装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7119365B2 (ja) | 2017-12-18 | 2022-08-17 | 株式会社豊田中央研究所 | 運転行動データ生成装置、運転行動データベース |
-
2021
- 2021-07-14 JP JP2021116206A patent/JP2023012649A/ja active Pending
-
2022
- 2022-02-04 DE DE112022001661.2T patent/DE112022001661T5/de active Pending
- 2022-02-04 WO PCT/JP2022/004525 patent/WO2023286303A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009510455A (ja) * | 2005-09-30 | 2009-03-12 | オートデスク,インコーポレイテッド | ランドマーク強化型道案内 |
JP2007333532A (ja) * | 2006-06-14 | 2007-12-27 | Mitsubishi Electric Corp | ナビゲーションシステム |
JP2015011086A (ja) * | 2013-06-27 | 2015-01-19 | 三菱電機株式会社 | 運転操作管理装置 |
JP2016130971A (ja) * | 2015-01-14 | 2016-07-21 | 日立オートモティブシステムズ株式会社 | 車載用制御装置、自車位置姿勢特定装置、車載用表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023012649A (ja) | 2023-01-26 |
DE112022001661T5 (de) | 2024-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10431094B2 (en) | Object detection method and object detection apparatus | |
JP5472163B2 (ja) | 速度規制値通知装置及び速度規制値通知システム | |
US9514648B2 (en) | Alerting apparatus | |
JP6783949B2 (ja) | 交通標識情報を用いた道路検出 | |
US10497264B2 (en) | Methods and systems for providing warnings of obstacle objects | |
JP6250180B2 (ja) | 車両用照射制御システムおよび画像照射の制御方法 | |
JP7518893B2 (ja) | 緊急車両の検出 | |
EP3644294A1 (en) | Vehicle information storage method, vehicle travel control method, and vehicle information storage device | |
US20130147955A1 (en) | Warning system, vehicular apparatus, and server | |
US11498584B2 (en) | Intersection start judgment device | |
JP6399100B2 (ja) | 走行経路演算装置 | |
JP2011013039A (ja) | 車線判定装置及びナビゲーションシステム | |
US20240199006A1 (en) | Systems and Methods for Selectively Decelerating a Vehicle | |
JP6129268B2 (ja) | 車両用運転支援システムおよび運転支援方法 | |
JP7362733B2 (ja) | 道路環境情報の自動化クラウドソーシング | |
JP2013019680A (ja) | 走行制御装置 | |
CN114005300A (zh) | 车辆管理系统、管理方法及计算机可读介质 | |
JP2017062583A (ja) | 危険情報報知システム、サーバ及びコンピュータプログラム | |
JP2017111498A (ja) | 運転支援装置 | |
JP2018048949A (ja) | 物体識別装置 | |
JP7043765B2 (ja) | 車両走行制御方法及び装置 | |
US11371853B2 (en) | Information processing device, information processing method and program | |
JP2010072836A (ja) | 周辺監視装置 | |
US20220144274A1 (en) | Vehicle drive assist apparatus | |
WO2023286303A1 (ja) | 車両制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22841653 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112022001661 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22841653 Country of ref document: EP Kind code of ref document: A1 |