WO2018029927A1 - 表示制御装置、表示装置、表示制御方法及びプログラム - Google Patents
表示制御装置、表示装置、表示制御方法及びプログラム Download PDFInfo
- Publication number
- WO2018029927A1 WO2018029927A1 PCT/JP2017/017782 JP2017017782W WO2018029927A1 WO 2018029927 A1 WO2018029927 A1 WO 2018029927A1 JP 2017017782 W JP2017017782 W JP 2017017782W WO 2018029927 A1 WO2018029927 A1 WO 2018029927A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- line
- vehicle
- video data
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 66
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000005192 partition Methods 0.000 claims description 264
- 238000001514 detection method Methods 0.000 claims description 39
- 230000003466 anti-cipated effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 43
- 238000012545 processing Methods 0.000 description 31
- 240000004050 Pentaglottis sempervirens Species 0.000 description 28
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 28
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000013459 approach Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
- B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
Definitions
- the present invention relates to a display control device, a display device, a display control method, and a program.
- Patent Document 1 discloses a vehicle travel support device that displays captured images around a vehicle on an in-vehicle monitor.
- the driving support device according to Patent Literature 1 displays a guide line superimposed on a captured image around the vehicle.
- Patent Document 2 discloses a vehicle parking assistance device that makes it possible to predict in advance whether or not a desired parking space can be entered without performing a steering operation at a vehicle stop position.
- the parking assist apparatus according to Patent Document 2 extends in a direction in which the vehicle travels when an imaging unit that captures the rear of the vehicle, a display unit that displays an image of the rear of the vehicle, and the vehicle is retracted at the maximum steering angle. And a control unit that displays a predicted backward trajectory corresponding to the rear right end and the rear left end of the vehicle superimposed on an image displayed on the display unit.
- the driver may want to park the vehicle as close to the center as possible with respect to the width direction of the parking area. In some cases it is intended. In such a case, it is possible for the driver to properly grasp the position of the vehicle in the width direction of the parking section only by displaying the guide line corresponding to the width of the vehicle, as in the technique according to the patent document described above. Not easy for.
- the driver moves the vehicle to a parking area or the like, the driver wants to grasp the distance between an object (parking frame line or curbstone, etc.) that defines the target position of the vehicle and the vehicle while viewing the video. The driver can grasp the approximate distance based on the length of the guide line and the like.
- An object of the present invention is to provide a display control device, a display device, a display control method, and a program that can be quickly grasped.
- the present embodiment provides a video data acquisition unit that acquires video data from a rear camera that captures the rear of the vehicle, and a pair of predicted progresses that are drawn according to the backward movement of the vehicle corresponding to the width of the vehicle.
- a display that generates display video data in which a line and a plurality of auxiliary lines respectively arranged in the width direction on both sides of the pair of expected course lines are superimposed on the video data acquired by the video data acquisition unit
- An image generation unit an extraction unit that extracts a boundary in the width direction of a parking partition in which the vehicle can be parked from the video data, and the partition boundary and the auxiliary line extracted by the extraction unit
- a positional relationship determination unit that determines a positional relationship in the display video data
- a display control unit that displays a video based on the display video data generated by the display video generation unit on the display unit
- the display image generation unit determines the clarity of display of the auxiliary line positioned outside the partition boundary extracted by the extraction unit, and displays the clarity of the auxiliary line positioned inside the partition boundary.
- the present embodiment also includes a video data acquisition unit that acquires video data from a camera that captures the surroundings of the vehicle, an object detection unit that detects an object that defines a target position of the vehicle from the video data, Display image data in which at least one distance display line indicating a position at a predetermined distance from the vehicle or a position at a predetermined distance from a position in the predicted trajectory of the vehicle is superimposed on the video data is generated.
- a display video generation unit and a display control unit configured to display on the display unit a video based on the display video data generated by the display video generation unit, wherein the display video generation unit is detected by the object detection unit.
- the position of the distance display line An auxiliary line indicating a position of the short distance to the vehicle, to provide a display control device for generating the display image data is further superimposed on the video data.
- the present embodiment acquires video data from a rear camera that captures the rear of the vehicle, and corresponds to the width of the vehicle and is drawn according to the backward movement of the vehicle, and the pair of expected course lines and the pair of Display video data in which a plurality of auxiliary lines respectively arranged in the width direction on both sides of the expected course line are superimposed on the video data is generated, and from the video data, a parking section where the vehicle can be parked is generated.
- a partition boundary which is a boundary in the width direction is extracted, a positional relationship in the display video data between the extracted partition boundary and the auxiliary line is determined, and the position located outside the extracted partition boundary is determined.
- a display control method in which the display clarity of an auxiliary line is lowered than the clarity of display of the auxiliary line located on the inner side of the partition boundary, and a video based on the display video data is displayed on a display unit.
- the present embodiment acquires video data from a camera that captures the surroundings of the vehicle, detects an object that defines the target position of the vehicle from the video data, and has a predetermined distance from the vehicle.
- a display control method for generating the display video data further superimposed on the video data and displaying a video based on the generated display video data on a display unit is provided.
- the present embodiment includes a step of acquiring video data from a camera that captures the surroundings of the vehicle, a step of detecting an object that defines a target position of the vehicle from the video data, and a predetermined from the vehicle.
- the driver can appropriately grasp the position of the vehicle in the width direction of the parking section, or the driver can appropriately and quickly determine the distance to the object that defines the target position of the vehicle. It is possible to provide a display control device, a display device, a display control method, and a program that can be grasped.
- FIG. 1 is a diagram illustrating a vehicle according to a first embodiment
- 1 is a diagram illustrating the inside of a vehicle according to a first embodiment
- 1 is a diagram illustrating a configuration of a display control apparatus according to a first embodiment and a display control system including the display control apparatus.
- 4 is a flowchart showing a display control method executed by the display control apparatus according to the first embodiment
- FIG. 3 is a diagram illustrating a video indicated by display video data generated by a display video generation unit according to the first embodiment
- FIG. 6 is a diagram illustrating a display image displayed on the display unit for the image illustrated in FIG. 5. It is a figure which illustrates the display image displayed on a display part about the state where the vehicle approached one side of the parking area.
- FIG. 1 is a diagram illustrating a vehicle according to a first embodiment
- 1 is a diagram illustrating the inside of a vehicle according to a first embodiment
- 1 is a diagram illustrating a configuration of a display control apparatus according to
- FIG. 3 is a diagram illustrating a video indicated by display video data generated by a display video generation unit according to the first embodiment; It is a figure which shows the display image displayed on a display part about the image
- FIG. 6 is a diagram illustrating a vehicle according to a third embodiment.
- 10 is a diagram illustrating a configuration of a display control apparatus according to a third embodiment and a display apparatus having the display control apparatus.
- 10 is a flowchart showing a display control method executed by the display control apparatus according to the third embodiment; It is a figure which illustrates the back image shown with the display image data produced
- FIG. It is a figure which illustrates the back image which showed the state which the vehicle further moved backward rather than the state shown in FIG. It is a figure which illustrates the back image which showed the state which the vehicle further moved backward rather than the state shown in FIG. It is a figure which illustrates the back image which showed the state which the vehicle further moved backward rather than the state shown in FIG. It is a figure which illustrates the back image which showed the state which the vehicle further moved backward rather than the state shown in FIG.
- FIG. 10 is a diagram illustrating an example of a rear video according to a modification of the third embodiment.
- FIG. 10 is a diagram illustrating an example of a rear video according to a modification of the third embodiment.
- FIG. 10 is a diagram illustrating a configuration of a display control apparatus according to a fourth embodiment and a display apparatus having the display control apparatus.
- FIG. 14 is a flowchart illustrating a display control method executed by the display control apparatus according to the fourth embodiment. It is a figure which illustrates the bird's-eye view image shown with the display video data produced
- FIG. It is a figure which illustrates the bird's-eye view image which showed the state which the vehicle further moved back rather than the state shown in FIG. It is a figure which illustrates the bird's-eye view image which showed the state which the vehicle further moved backward rather than the state shown in FIG. It is a figure which illustrates the bird's-eye view image shown with the display video data produced
- FIG. It is a figure which illustrates the bird's-eye view image which showed the state which the vehicle further moved backward rather than the state shown in FIG.
- FIG. 1 is a diagram illustrating a vehicle 1 according to the first embodiment.
- the vehicle 1 includes a rear camera 2 and a display control device 100.
- the rear camera 2 is installed at the rear of the vehicle 1 and photographs the rear of the vehicle 1 including the road surface 90.
- the display control device 100 can be provided at any position of the vehicle 1.
- the display control apparatus 100 can be connected to CAN (Control
- the display control apparatus 100 performs control so that a pair of predicted course lines drawn in accordance with the backward movement of the vehicle 1 corresponding to the width of the vehicle 1 is superimposed on the video imaged by the rear camera 2. Details will be described later.
- FIG. 2 is a diagram illustrating the inside of the vehicle 1 according to the first embodiment.
- FIG. 2 is a view of the cab inside the vehicle 1 as viewed from the driver's seat in the front direction of the vehicle 1.
- the vehicle 1 includes a steering wheel 10, a dashboard 12, a windshield 14, a center console 16, a cluster panel 18 that displays a traveling speed of the vehicle, an engine speed, and the like.
- the center console 16 may be provided with a center display unit 20 for displaying a navigation screen and the like.
- the vehicle 1 may be provided with a head-up display display unit 22 that displays an image on a head-up display above the cluster panel 18. When the head-up display is a combiner type, the head-up display display unit 22 is a combiner.
- the head-up display display unit 22 is an area where the virtual image is presented on the windshield 14.
- the vehicle 1 may have a rear view monitor 24.
- the rear view monitor 24 is disposed at the same position as a rear view mirror for rear confirmation in a general vehicle, that is, near the upper center of the windshield 14.
- FIG. 3 is a diagram illustrating a configuration of the display control device 100 according to the first embodiment and the display device 40 including the display control device 100.
- the display device 40 includes the rear camera 2, the display unit 50, and the display control device 100.
- the display control apparatus 100 is communicably connected to the rear camera 2 and the display unit 50.
- the display control apparatus 100 includes a backward movement detection unit 102, a steering information acquisition unit 104, a video data acquisition unit 106, a display video generation unit 110, an extraction unit 112, a positional relationship determination unit 114, and a display control unit 120. And have. Note that at least one component or all the components of the display device 40 may be incorporated in the vehicle 1 or may be removed from the vehicle 1 and portable.
- the display unit 50 displays an image captured by the rear camera 2.
- the display unit 50 can be realized by the rear view monitor 24, the cluster panel 18, the center display unit 20, or the head-up display display unit 22, for example.
- the display unit 50 may be realized by a mobile terminal device such as a smartphone or a tablet terminal that can communicate with the display control device 100.
- the display control device 100 may be a computer device built in the center console 16 or the like, for example, or the above-described portable terminal device.
- the display control device 100 includes a processor such as a CPU (Central Processing Unit), a storage device such as a memory, a user interface, and various peripheral circuits. That is, the display control apparatus 100 has a function as a computer. Further, the display control device 100 is configured such that the processor executes a program stored in the storage device, whereby the backward movement detection unit 102, the steering information acquisition unit 104, the video data acquisition unit 106, the display video generation unit 110, and the extraction unit 112 , Components such as the positional relationship determination unit 114 and the display control unit 120 are realized. Further, each component of the display control apparatus 100 is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software.
- a processor such as a CPU (Central Processing Unit)
- a storage device such as a memory, a user interface, and various peripheral circuits. That is, the display control apparatus 100 has a function as a computer. Further, the display control device 100 is configured such that the processor executes
- Each component of the display control device 100 may be realized by using an integrated circuit that can be programmed by the user, such as an FPGA (field-programmable gate array) or a microcomputer.
- this integrated circuit may be used to realize a program composed of the above-described components. The same applies to other embodiments described later.
- the reverse movement detection unit 102 detects the reverse movement of the vehicle 1. For example, the reverse movement detection unit 102 acquires information on selection of the reverse gear from CAN or the like, and determines whether or not the vehicle 1 is in the reverse movement state. When it is determined that the backward movement detection unit 102 is in the backward movement state, the backward movement information indicating that is output to the display image generation unit 110.
- Steering information acquisition unit 104 acquires signals from CAN or the like and acquires steering angle information indicating the steering angle at the wheels of vehicle 1.
- the steering angle information includes information indicating the steering direction such as right or left in addition to information indicating the steering angle. Note that the steering angle information may indicate the steering angle of the steering wheel 10.
- the steering information acquisition unit 104 outputs the acquired steering angle information to the display image generation unit 110. In particular, the steering information acquisition unit 104 acquires steering angle information when the vehicle 1 is stopped or when the vehicle is moving backward.
- the video data acquisition unit 106 acquires video data from the rear camera 2.
- the video data acquisition unit 106 outputs the acquired video data to the display video generation unit 110.
- the video data is data indicating a video of the rear of the vehicle 1 taken by the rear camera 2.
- movement can include the image which shows a parking area, and the image which shows the area boundary which is a boundary of a parking area.
- the parking area is a parking space where the vehicle 1 can be parked.
- the parking section may be partitioned by a parking section line such as a white line drawn on the road surface 90.
- the partition boundary corresponds to the parking partition line drawn on the road surface 90.
- the parking section may not be partitioned by the parking partition line, and may be partitioned by an obstacle such as a wall. In this case, the partition boundary corresponds to an obstacle.
- the parking section does not need to be physically partitioned, and may simply be a space sufficient for parking the vehicle 1. In this case, the partition boundary corresponds to another vehicle or the like parked next.
- the partition boundary corresponds to another vehicle that is parked out of the parking partition line.
- the “obstacle” may include not only an object fixed in the vicinity of a parking section such as a wall but also other vehicles and the like.
- the display video generation unit 110 When the display video generation unit 110 receives the backward movement information from the backward movement detection unit 102, the display video generation unit 110 displays the video data acquired by the video data acquisition unit 106 by superimposing a pair of predicted route lines and a plurality of auxiliary lines. Generate video data. Then, the display video generation unit 110 outputs the generated display video data to the display control unit 120.
- the expected course line can be paraphrased as a guide line, a backward predicted trajectory, or an expected trajectory line.
- the expected route is drawn according to the backward movement of the vehicle 1 corresponding to the width of the vehicle 1. That is, in the display video data, the width of the pair of expected course lines corresponds to the width of the vehicle 1.
- the predicted route indicates the prediction of the trajectory of the backward movement of the vehicle 1.
- the predicted course line is the predicted trajectory on the road surface 90 at the left end and the right end of the vehicle 1 when the vehicle 1 performs the backward movement at the steering angle indicated by the steering angle information acquired by the steering information acquisition unit 104. Show.
- the plurality of auxiliary lines are respectively arranged so as to be arranged in the width direction on both sides of the pair of expected course lines. That is, a plurality of auxiliary lines are arranged in the width direction on the left side of the left expected route line of the pair of predicted route lines. Similarly, a plurality of auxiliary lines are arranged in the width direction on the right side of the expected route line on the right side of the pair of predicted route lines.
- the auxiliary line indicates the distance in the width direction from the pair of expected course lines on the road surface behind the vehicle 1 on the display video data. Details of the auxiliary line will be described later.
- the display video generation unit 110 determines the shape of the pair of expected course lines on the display video data according to the steering angle indicated by the steering angle information acquired by the steering information acquisition unit 104. Further, the display video generation unit 110 determines the shapes of a plurality of auxiliary lines arranged on both sides of the pair of predicted course lines having the determined shape on the display video data. Note that the shape of the auxiliary line can correspond to the shape of the expected course line. Then, the display video generation unit 110 superimposes the pair of predicted course lines having the determined shape and the plurality of auxiliary lines having the determined shape on the video data acquired by the video data acquisition unit 106. As a result, the display video generation unit 110 generates display video data. Further, the display video generation unit 110 changes the clarity of the display of the auxiliary line according to the positional relationship on the display video data between the partition boundary and the auxiliary line. Details will be described later.
- the extraction unit 112 extracts partition boundaries from the video data acquired by the video data acquisition unit 106. Then, the extraction unit 112 outputs extracted data indicating the extraction result to the positional relationship determination unit 114.
- the partition boundary extraction can be performed by various existing methods. For example, the extraction unit 112 may extract a partition boundary by recognizing a parking lane line, an obstacle, or another vehicle by edge detection. Further, when the partition boundary is a white line, the extraction unit 112 may extract the partition boundary by recognizing the white line.
- the display control device 100 stores in advance dictionary data indicating parking lot lines, vehicles, and the like
- the extraction unit 112 compares the dictionary data with objects in the video data to compare the parking lot lines, vehicles, and the like. By recognizing, the partition boundary may be extracted.
- the extraction unit 112 recognizes the parking area.
- Parking area recognition can be performed by various existing methods. For example, a rectangular region formed by the partition boundary may be recognized as a parking partition.
- the positional relationship determination unit 114 acquires the display video data generated by the display video generation unit 110.
- the positional relationship determination unit 114 determines the positional relationship on the display video data between the partition boundary extracted by the extraction unit 112 and each auxiliary line. Then, the positional relationship determination unit 114 outputs positional relationship data indicating the determination result of the positional relationship to the display video generation unit 110.
- the positional relationship determination unit 114 determines whether or not the auxiliary line is outside the partition boundary in the display video data. More specifically, the positional relationship determination unit 114 determines whether or not there is an auxiliary line outside the partition boundary in the width direction. Here, when the auxiliary line is closer to the parking section than the partition boundary, the positional relationship determination unit 114 determines that there is no auxiliary line outside the section boundary, that is, there is an auxiliary line inside the section boundary. To do. On the other hand, the positional relationship determination unit 114 determines that there is an auxiliary line outside the partition boundary when the auxiliary line is not closer to the parking partition than the partition boundary.
- the positional relationship determination unit 114 determines that the auxiliary line is outside the partition boundary. Similarly, when there is an auxiliary line on the right side of the right partition boundary in the parking section, the positional relationship determination unit 114 determines that the auxiliary line is outside the partition boundary.
- the display control unit 120 receives display video data from the display video generation unit 110. Then, the display control unit 120 controls the display unit 50 to display a video based on the display video data generated by the display video generation unit 110. Note that, as will be described later, the display video generation unit 110 reduces the clarity of the display of the auxiliary line positioned outside the partition boundary than the clarity of the display of the auxiliary line positioned inside the partition boundary. Process as follows. Therefore, in the display video data displayed under the control of the display control unit 120, the clarity of the plurality of auxiliary lines may vary depending on the positional relationship with the partition boundaries.
- FIG. 4 is a flowchart illustrating a display control method executed by the display control apparatus 100 according to the first embodiment.
- FIGS. 5 to 7 are diagrams illustrating videos related to display video data generated by the display video generation unit 110 when the vehicle 1 goes straight backward.
- FIGS. 8 to 10 are diagrams illustrating videos related to display video data generated by the display video generation unit 110 when the vehicle 1 moves backward at a certain steering angle. The flowchart shown in FIG. 4 will be described below using the examples shown in FIGS.
- the steering information acquisition unit 104 acquires steering angle information indicating the steering angle of the vehicle 1 (step S102). Further, the video data acquisition unit 106 acquires video data from the rear camera 2 (step S104).
- the display video generation unit 110 generates display video data in which a pair of predicted route lines and a plurality of auxiliary lines are superimposed on the video data acquired by the video data acquisition unit 106 (step S106).
- FIG. 5 is a diagram illustrating a video 52 indicated by the display video data generated by the display video generation unit 110 according to the first embodiment. Note that the video 52 illustrated in FIG. 5 is a video before being displayed on the display unit 50. Moreover, FIG. 5 has illustrated about the case where the vehicle 1 goes straight back in the approximate center of the width direction of a parking area.
- the video 52 includes a parking section 60, a section boundary 62L located on the left side of the parking section 60, and a section boundary 62R located on the right side of the parking section 60.
- Data indicating the parking section 60, the section boundary 62 ⁇ / b> L, and the section boundary 62 ⁇ / b> R are included in the video data acquired by the video data acquisition unit 106.
- the partition boundary 62L and the partition boundary 62R are described without being distinguished, they are simply referred to as the partition boundary 62. The same applies to the expected course line and the auxiliary line described below.
- the video 52 includes a guide line 200 including a left expected course line 202L and a right expected course line 202R. That is, the guide line 200 includes a pair of expected course lines 202.
- the guide line 200 is drawn by the display image generation unit 110 according to the steering angle information. Note that since the video 52 is a video behind the vehicle 1, the expected course line 202 ⁇ / b> L corresponds to the expected trajectory at the right end of the vehicle 1, and the expected course line 202 ⁇ / b> R corresponds to the expected trajectory at the left end of the vehicle 1.
- the video 52 includes auxiliary lines 211L, 212L, 213L, and 214L located on the left side of the expected route line 202L.
- the image 52 includes auxiliary lines 211R, 212R, 213R, and 214R located on the right side of the expected route line 202R.
- the auxiliary lines 211L, 212L, 213L, and 214L are drawn by the display video generation unit 110 in accordance with the shape of the predicted route line 202L.
- the auxiliary lines 211R, 212R, 213R, and 214R are drawn by the display video generation unit 110 according to the shape of the expected course line 202R.
- four auxiliary lines are each arrange
- the auxiliary line 211L is closest to the expected course line 202L.
- the auxiliary line 212L is the second closest to the expected course line 202L
- the auxiliary line 213L is the third closest to the expected course line 202L
- the auxiliary line 214L is the fourth closest to the expected course line 202L.
- the auxiliary line 211R is closest to the expected route line 202R.
- the auxiliary line 212R is the second closest to the expected course line 202R
- the auxiliary line 213R is the third closest to the expected course line 202R
- the auxiliary line 214R is the fourth closest to the expected course line 202R.
- auxiliary lines 211L, 212L, 213L, and 214L are drawn on the road surface 90 behind the vehicle 1 on the video data corresponding to the video 52 so as to appear parallel to the expected course line 202L.
- auxiliary lines 211R, 212R, 213R, and 214R are drawn on the road surface 90 behind the vehicle 1 on the video data corresponding to the video 52 so as to appear parallel to the expected course line 202R. This also applies to other examples as shown in FIG.
- the display video generation unit 110 superimposes an auxiliary line that is visible along the predicted route line 202 on the road surface 90 behind the vehicle 1 on the display video data.
- the auxiliary line only needs to be drawn on the road surface 90 behind the vehicle 1 on the video data so that the auxiliary line can be seen in parallel with the expected course line 202. There is no need to draw in parallel.
- “parallel” means that the distance between the auxiliary line and the expected course line 202 is substantially constant on the road surface 90 behind the vehicle 1 on the video data.
- the video on the display unit 50 is drawn by the perspective method so that the distance between the predicted route 202 and the auxiliary line becomes shorter as the vehicle 1 moves away.
- the auxiliary line is drawn on the road surface 90 behind the vehicle 1 on the video data so that the auxiliary line looks parallel to the expected course line 202, so that the driver can change the width direction in the parking section 60. It is possible to grasp the expected position of the sensory sense. That is, when the vehicle 1 moves backward at the current steering angle, the driver can easily grasp to which position in the width direction of the parking section 60 the vehicle 1 travels.
- the auxiliary lines 211L, 212L, 213L, and 214L are drawn at regular intervals on the road surface 90 behind the vehicle 1 on the video data corresponding to the video 52.
- the auxiliary lines 211R, 212R, 213R, and 214R are drawn at regular intervals on the road surface 90 behind the vehicle 1 on the video data corresponding to the video 52. That is, the display video generation unit 110 superimposes a plurality of auxiliary lines on the road image 90 behind the vehicle 1 on the display video data so as to be at regular intervals. This also applies to other examples as shown in FIG.
- the auxiliary lines may be drawn at 30 cm intervals on the road surface 90 behind the vehicle 1 on the video data corresponding to the video 52.
- the auxiliary line 211L may be drawn on the road surface 90 behind the vehicle 1 on the display video data so that the distance between the predicted route line 202L and the auxiliary line 211L is 30 cm.
- the auxiliary line 211R may be drawn on the road surface 90 behind the vehicle 1 on the display video data so that the distance between the predicted route line 202R and the auxiliary line 211R is 30 cm.
- interval of an auxiliary line can be suitably changed by users, such as a driver
- auxiliary lines serve as a scale of a ruler. Accordingly, the driver can quantitatively grasp the distance between the left and right side surfaces of the vehicle 1 and the partition boundary 62 or surrounding objects when the vehicle 1 moves backward at the current steering angle. For example, in the example where the interval between the auxiliary lines is 30 cm, if the partition boundary 62L is in the vicinity of the auxiliary line 212L, if the vehicle 1 moves backward at the current steering angle, the distance between the vehicle 1 and the partition boundary 62L is about 60 cm. Then, the driver can easily grasp it.
- the extraction unit 112 extracts a partition boundary in the width direction of the parking partition from the video data acquired by the video data acquisition unit 106 (step S108). In the example of FIG. 5, the extraction unit 112 extracts the partition boundary 62L and the partition boundary 62R from the video data regarding the video 52.
- the positional relationship determining unit 114 determines the positional relationship on the display video data between the partition boundary extracted by the extracting unit 112 and the auxiliary line (step S110).
- the positional relationship determination unit 114 determines the positional relationship between the partition boundary 62L and the auxiliary lines 211L, 212L, 213L, and 214L. Specifically, the positional relationship determination unit 114 determines whether the auxiliary lines 211L, 212L, 213L, and 214L are outside the partition boundary 62L.
- the positional relationship determination unit 114 determines the positional relationship between the partition boundary 62R and the auxiliary lines 211R, 212R, 213R, and 214R. Specifically, the positional relationship determination unit 114 determines whether the auxiliary lines 211R, 212R, 213R, and 214R are outside the partition boundary 62R.
- step S112 If there is no auxiliary line outside the partition boundary (NO in step S112), the process proceeds to S116 without performing the process of S114 described later.
- the display video generation unit 110 positions the clarity of the display of the auxiliary line positioned outside the partition boundary inside the partition boundary.
- the auxiliary line is drawn so as to be lower than the clarity of the display of the auxiliary line (step S114).
- the auxiliary lines 211L and 212L are inside the partition boundary 62L, and the auxiliary lines 213L and 214L are outside the partition boundary 62L. Therefore, the display video generation unit 110 draws auxiliary lines so that the clarity of display of the auxiliary lines 213L and 214L is lower than the clarity of display of the auxiliary lines 211L and 212L.
- the auxiliary lines 211R and 212R are inside the partition boundary 62R, and the auxiliary lines 213R and 214R are outside the partition boundary 62R. Therefore, the display video generation unit 110 draws auxiliary lines so that the clarity of display of the auxiliary lines 213R and 214R is lower than the clarity of display of the auxiliary lines 211R and 212R.
- the display control unit 120 causes the display unit 50 to display a video based on the display video data generated by the display video generation unit 110 (step S116).
- FIG. 6 is a diagram illustrating a display video 54 displayed on the display unit 50 for the video 52 illustrated in FIG. 5.
- the auxiliary lines 213L and 214L and the auxiliary lines 213R and 214R are not displayed.
- the driver can appropriately grasp the position of the vehicle 1 in the width direction of the parking section. Specifically, as the vehicle 1 approaches the partition boundary 62, the number of auxiliary lines located on the partition boundary 62 side decreases.
- the driver can easily and appropriately grasp that the vehicle 1 is approaching the partition boundary 62 where the number of the corresponding auxiliary lines is decreasing by visually recognizing the display unit 50. It becomes. And the driver
- auxiliary lines are displayed on the left and right of one partition boundary 62 on the display unit 50, it is difficult for the driver to visually recognize the partition boundary 62. Therefore, by reducing the clarity of the auxiliary line outside the partition boundary 62, the driver can more easily visually recognize the partition boundary 62 on the display unit 50.
- both the number of auxiliary lines on the left side of the predicted route line 202L and the number of auxiliary lines on the right side of the predicted route line 202R are two. Therefore, the driver can easily recognize that the vehicle 1 is retreating to substantially the center in the width direction of the parking section by visually recognizing the display unit 50.
- FIG. 7 is a diagram illustrating a display image 54 displayed on the display unit 50 in a state in which the vehicle 1 is close to one side of the parking section 60.
- FIG. 7 shows a display image 54 when the vehicle 1 is moving backward with a bias toward the left side of the parking section 60.
- the display video generation unit 110 draws auxiliary lines so that the clarity of display of the auxiliary lines 212L, 213L, and 214L is lower than the clarity of display of the auxiliary line 211L.
- the display video generation unit 110 erases the display of the auxiliary lines 212L, 213L, and 214L, and keeps the clarity of the display of the auxiliary line 211L.
- the display video generation unit 110 draws the auxiliary line so that the clarity of display of the auxiliary line 214R is lower than the clarity of display of the auxiliary lines 211R, 212R, and 213R. In the example of FIG. 7, the display video generation unit 110 erases the display of the auxiliary line 214R and maintains the clarity of the display of the auxiliary lines 211R, 212R, and 213R.
- the number of auxiliary lines on the left side of the predicted route line 202L is one, and the auxiliary lines on the right side of the predicted route line 202R are displayed.
- the number is three. Therefore, the driver can grasp that the number of auxiliary lines on the partition boundary 62L side is smaller than the number of auxiliary lines on the partition boundary 62R side by visually recognizing the display unit 50. Therefore, the driver can easily and appropriately grasp that the vehicle 1 is approaching the partition boundary 62L by visually recognizing the display unit 50.
- the driver can easily grasp that the distance between the partition boundary 62L and the vehicle 1 is 30 cm or more and less than 60 cm. Therefore, the driver can appropriately grasp the position of the vehicle in the width direction of the parking section when the vehicle moves backward.
- FIG. 8 is a diagram illustrating a video 52 indicated by the display video data generated by the display video generation unit 110 according to the first embodiment. Note that the video 52 illustrated in FIG. 8 relates to the display video data generated by the process of S106 described above. Therefore, the video 52 illustrated in FIG. 8 is a video before being displayed on the display unit 50. FIG. 8 illustrates the case where the vehicle 1 is retreating at a certain steering angle in the approximate center in the width direction of the parking section.
- the video 52 shown in FIG. 8 includes a parking section 60, a section boundary 62 ⁇ / b> L, and a section boundary 62 ⁇ / b> R. 8 includes a guide line 200 including an expected course line 202L and an expected course line 202R.
- the display video generation unit 110 draws the predicted route line 202L and the predicted route line 202R so as to be curves corresponding to the steering angle indicated in the steering angle information. The curvature of this curve increases as the steering angle increases.
- the video 52 shown in FIG. 8 includes auxiliary lines 211 ⁇ / b> L, 212 ⁇ / b> L, 213 ⁇ / b> L, 214 ⁇ / b> L located on the left side of the expected route line 202 ⁇ / b> L.
- the video 52 shown in FIG. 8 includes auxiliary lines 211R, 212R, 213R, and 214R located on the right side of the expected route line 202R.
- the display video generation unit 110 draws the auxiliary lines 211L, 212L, 213L, and 214L so as to form a curve according to the curved shape of the expected course line 202L.
- the display video generation unit 110 draws the auxiliary lines 211R, 212R, 213R, and 214R so as to form a curve according to the curved shape of the expected route line 202R. Thereby, the auxiliary line is drawn so as to appear parallel to the expected course line 202.
- the positional relationship determination unit 114 determines the positional relationship between the partition boundary 62L and the auxiliary lines 211L, 212L, 213L, and 214L. Similarly, the positional relationship determination unit 114 determines the positional relationship between the partition boundary 62R and the auxiliary lines 211R, 212R, 213R, and 214R. Then, the positional relationship determination unit 114 determines that the auxiliary line 213R and the auxiliary line 214R intersect the partition boundary 62R. Therefore, in the process of S114 described above, the display image generation unit 110 draws the auxiliary line so as to reduce the clarity of the display of the auxiliary line 213R and the auxiliary line 214R outside the partition boundary 62R. To do.
- FIG. 9 is a diagram showing a display video 54 displayed on the display unit 50 for the video 52 illustrated in FIG.
- portions of the auxiliary line 213R and the auxiliary line 214R outside the partition boundary 62R are not displayed.
- other auxiliary lines are displayed. Therefore, the driver can grasp that the vehicle 1 is relatively close to the partition boundary 62R on the front side of the parking section 60.
- FIG. 10 is a diagram illustrating a display image 54 displayed on the display unit 50 in a state where the vehicle 1 is close to one side of the parking section 60.
- FIG. 10 shows a display image 54 when the vehicle 1 is biased to the left side of the parking section 60 and is moving backward at a certain steering angle.
- the distance between the predicted route line 202L and the partition boundary 62L is shortened, so that the auxiliary lines 213L and 214L are located outside the partition boundary 62L. Therefore, the display video generation unit 110 draws the auxiliary lines so as to erase the display of the auxiliary lines 213L and 214L.
- auxiliary lines 211R, 212R, 213R, and 214R are displayed on the right side of the expected route line 202R.
- the auxiliary line 212L intersects the partition boundary 62L. Therefore, the display video generation unit 110 draws the auxiliary line so as to reduce the clarity of the display of the portion outside the partition boundary 62L of the auxiliary line 212L. Therefore, as shown in FIG. 10, the auxiliary line 212L is displayed on the near side of the intersection A between the auxiliary line 212L and the partition boundary 62L, and the auxiliary line 212L is displayed on the back side of the intersection A. Absent. Accordingly, assuming that the distance between the auxiliary lines is 30 cm, the driver 1 indicates that the vehicle 1 approaches the partition boundary 62L to a distance of 60 cm when the vehicle 1 moves backward to the position corresponding to the intersection A at the current steering angle.
- the auxiliary line 211L is close to the partition boundary 62L. Therefore, when the vehicle 1 moves backward to the position corresponding to the intersection B at the current steering angle, the driver can grasp that the vehicle 1 approaches the partition boundary 62L to a distance of 30 cm. Therefore, the driver can appropriately grasp the position of the vehicle in the width direction of the parking section when the vehicle moves backward. As a result, the driver can easily grasp to which position the vehicle 1 should move to change the steering angle.
- FIG. 11 is a diagram showing another example of the display form of the auxiliary lines.
- the display form of the auxiliary line is such that the display of the auxiliary line outside the partition boundary 62 is erased, but the display form of the auxiliary line is not limited to this.
- the display video generation unit 110 may display auxiliary lines 213L, 214L, 213R, and 214R outside the partition boundary 62 with dotted lines. Further, the display video generation unit 110 may make the darkness of the auxiliary line outside the partition boundary 62 thinner than the darkness of the auxiliary line inside the partition boundary 62. Further, the display video generation unit 110 may make the thickness of the auxiliary line outside the partition boundary 62 thinner than the auxiliary line inside the partition boundary 62.
- the driver can easily grasp the distance from the vehicle 1 to the object outside the partition boundary 62.
- the driver can easily grasp the distance from the vehicle 1 to the other vehicle.
- the display video generation unit 110 may make the display form of the auxiliary line different from the display form of the predicted route 202.
- the display video generation unit 110 may display the predicted route 202 as a solid line and display the auxiliary line as a broken line.
- the display video generation unit 110 may make the color of the auxiliary line different from the color of the predicted route line 202.
- the display video generation unit 110 may make the thickness of the auxiliary line different from the thickness of the predicted route line 202.
- the display video generation unit 110 may make the darkness of the auxiliary line different from the darkness of the predicted route 202.
- the display video generation unit 110 may make the display form of each auxiliary line different from the display form of other auxiliary lines. In this case, the display video generation unit 110 may make the auxiliary line close to the expected route line 202 more conspicuous. For example, as illustrated in FIG. 11, the display video generation unit 110 may display an auxiliary line closer to the expected route line 202 so that the display line is thicker. Further, the display video generation unit 110 may display an auxiliary line closer to the expected route line 202 in a conspicuous color. For example, the auxiliary line 211 may be displayed in red, the auxiliary line 212 may be displayed in orange, the auxiliary line 213 may be displayed in yellow, and the auxiliary line 214 may be displayed in blue.
- the driver can easily distinguish each auxiliary line. Then, the auxiliary line close to the predicted route line 202 is displayed more conspicuously, so that the driver can easily grasp the auxiliary line close to the predicted route line 202. As a result, the driver can easily determine that the vehicle 1 is located closer to the partition boundary 62 in the width direction of the parking partition 60 when an auxiliary line with a conspicuous display form is close to the partition boundary 62. Is possible.
- FIG. 12 is a flowchart of the process according to the second embodiment.
- the process shown in FIG. 12 can be performed between the process of S108 and the process of S110 in the flowchart shown in FIG.
- the extraction unit 112 extracts an obstacle located in the vicinity of the parking area in the width direction from the video data acquired by the video data acquisition unit 106 (step S202).
- the obstacle extraction can be performed by a method similar to the method for extracting the partition boundary, such as edge detection.
- the obstacle located in the vicinity of the width direction of the parking section includes an obstacle displayed outside the section boundary in the video related to the video data.
- the obstruction which comprises the division boundary is included.
- the positional relationship determination unit 114 determines the positional relationship on the display video data between the obstacle extracted by the extraction unit 112 and each auxiliary line (step S204). Specifically, the positional relationship determination unit 114 determines whether or not each auxiliary line overlaps an obstacle. If there is no auxiliary line overlapping the obstacle (NO in step S206), the process shown in FIG. On the other hand, when there is an auxiliary line that overlaps the obstacle (YES in step S206), the display image generation unit 110 displays the auxiliary line that overlaps the obstacle more conspicuously than the display of the auxiliary line that does not overlap the obstacle. An auxiliary line is drawn (step S208).
- a specific example will be described.
- FIG. 13 is a diagram illustrating a state in which the display video 54 according to the second embodiment is displayed on the display unit 50.
- an obstacle 70 such as another vehicle is displayed outside the partition boundary 62L, that is, in the vicinity of the left side.
- the auxiliary line 212L overlaps the obstacle 70.
- the display video generation unit 110 makes the display of the auxiliary line 212L more conspicuous than the display of other auxiliary lines.
- the display video generation unit 110 may make the auxiliary line 212L thicker than the auxiliary line 211L.
- the display video generation unit 110 may set the color of the auxiliary line 212L to be more conspicuous than the color of the auxiliary line 211L.
- the display video generation unit 110 may blink the auxiliary line 212L.
- the display video generation unit 110 sets the clarity of the portion outside the partition boundary 62L (indicated by the arrow D) on the auxiliary line 212L (the portion inside the partition boundary 62L ( It is lower than the intelligibility of (indicated by arrow E).
- the partition boundary is composed of parking lot lines, even if the vehicle 1 straddles the parking lot line, the vehicle 1 or other objects will not be damaged.
- the vehicle 1 comes into contact with the obstacle 70, the vehicle 1 or the obstacle 70 may be damaged.
- the door may come into contact with the obstacle 70 when the door of the vehicle 1 is opened.
- the door cannot be opened and closed enough to allow the passenger to get on and off.
- the auxiliary line overlapping the obstacle 70 is displayed prominently, so that the driver can more easily grasp the distance from the vehicle 1 to the obstacle 70. .
- the driver can more easily operate the vehicle 1 so as to avoid the problems described above.
- the driver can more easily grasp that the vehicle 1 approaches the obstacle 70 up to 60 cm. Become.
- the display form of the auxiliary line close to the expected course line 202 can be made conspicuous.
- the display form of the auxiliary line overlapping the obstacle 70 is the display of the auxiliary line close to the expected course line 202.
- Embodiment 3 Next, Embodiment 3 will be described.
- symbol is attached
- FIG. 14 is a diagram illustrating the vehicle 1 according to the third embodiment.
- the vehicle 1 includes a rear camera 2, a front camera 3, a side camera 4, and a display control device 100.
- the front camera 3 is installed in front of the vehicle 1 and photographs the front of the vehicle 1 including the road surface 90.
- the side camera 4 is installed on each of the left and right sides of the vehicle 1 and photographs the left and right sides of the vehicle 1 including the road surface 90. Therefore, the rear camera 2, the front camera 3, and the side camera 4 are cameras that photograph the surroundings of the vehicle 1. In the third embodiment, the front camera 3 and the side camera 4 are not necessarily required. Further, the vehicle 1 according to the third embodiment has an internal configuration as shown in FIG.
- the display control apparatus 100 can be provided at an arbitrary position of the vehicle 1.
- the display control apparatus 100 can be connected to a CAN.
- the display control apparatus 100 performs control so that a distance display line indicating a distance from the current vehicle 1 or a distance from the position of the vehicle 1 in the future is superimposed on an image captured by the rear camera 2 or the like. . Details will be described later. This also applies to other embodiments described later.
- FIG. 15 is a diagram illustrating a configuration of the display control device 100 according to the third embodiment and the display device 40 including the display control device 100.
- the display device 40 includes the rear camera 2, the recognition dictionary 42, the display unit 50, and the display control device 100.
- the display control device 100 is connected to the rear camera 2, the recognition dictionary 42, and the display unit 50 so as to communicate with each other.
- the display control apparatus 100 includes a vehicle information acquisition unit 1102, a video data acquisition unit 1106, a video processing unit 1110, and a display control unit 1120.
- the video processing unit 1110 includes an object detection unit 1112 and a display video generation unit 1114.
- at least one component or all the components of the display device 40 according to the third embodiment may be incorporated in the vehicle 1 or may be detached from the vehicle 1 and portable. The same applies to other embodiments described later.
- the recognition dictionary 42 is a storage device such as a memory.
- the recognition dictionary 42 stores dictionary data necessary for the object detection unit 1112 to detect an object from video data.
- the dictionary data is data for recognizing from the video data an object that defines the target position of the vehicle 1 by image recognition processing.
- the recognition dictionary 42 stores dictionary data relating to objects such as parking frame lines, parking lot lines, curbs, other vehicles or obstacles such as walls, as the “objects that define the target position of the vehicle 1”. Yes.
- the “target position of the vehicle 1” is a parking area, that is, when the vehicle 1 parks in the parking area
- the “object that defines the target position of the vehicle 1” is defined as the boundary of the parking area. This is called a certain boundary.
- the “division boundary” may include the parking frame line, the parking division line, the curb, other obstacles such as a vehicle or a wall.
- the display control apparatus 100 includes a processor such as a CPU, a storage device such as a memory, a user interface, and various peripheral circuits. That is, the display control apparatus 100 has a function as a computer.
- the display control device 100 realizes components such as a vehicle information acquisition unit 1102, a video data acquisition unit 1106, a video processing unit 1110, and a display control unit 1120 by a processor executing a program stored in a storage device. .
- the vehicle information acquisition unit 1102 acquires vehicle information related to the operation of the vehicle 1 from a CAN, a steering angle sensor, and the like. Specifically, the vehicle information acquisition unit 1102 acquires reverse operation information that is information indicating that the reverse gear has been selected from CAN or the like. At this time, the vehicle information acquisition unit 1102 outputs the backward movement information to the video processing unit 1110.
- the vehicle information acquisition unit 1102 acquires steering angle information indicating the steering angle at the wheel of the vehicle 1 by acquiring a signal from a CAN or a steering angle sensor or the like.
- the steering angle information includes information indicating the steering direction such as right or left in addition to information indicating the steering angle. Note that the steering angle information may indicate the steering angle of the steering wheel 10.
- the vehicle information acquisition unit 1102 outputs the acquired steering angle information to the video processing unit 1110. In particular, the vehicle information acquisition unit 1102 acquires steering angle information when the vehicle 1 is stopped or when the vehicle is moving backward.
- the video data acquisition unit 1106 acquires video data from the rear camera 2.
- the video data acquisition unit 1106 outputs the acquired video data to the video processing unit 1110.
- the video data is data indicating a video of the rear of the vehicle 1 taken by the rear camera 2.
- movement may include the image which shows a parking area, and the image which shows the area boundary which is a boundary of a parking area.
- the parking section may be a parking space where the vehicle 1 can be parked.
- the parking section may be partitioned by a parking section line such as a white line drawn on the road surface 90.
- the partition boundary that is, “an object that defines the target position of the vehicle 1” corresponds to the parking partition line drawn on the road surface 90.
- the parking section may not be partitioned by the parking partition line, and may be partitioned by an obstacle such as a wall.
- the partition boundary that is, “an object that defines the target position of the vehicle 1” corresponds to an obstacle.
- the parking section does not need to be physically partitioned, and may simply be a space sufficient for parking the vehicle 1.
- the partition boundary that is, “an object defining the target position of the vehicle 1” corresponds to another vehicle or the like parked next. Even when the parking space is partitioned by the parking lot, another vehicle parked in the adjacent parking space may be parked out of the parking lot. In this case, the partition boundary, that is, “an object that defines the target position of the vehicle 1” corresponds to another vehicle that is parked out of the parking lane line.
- the “obstacle” may include not only an object such as a wall fixed in the vicinity of the parking section but also other vehicles.
- the video processing unit 1110 performs processing for generating display video data indicating a video to be displayed on the display unit 50 when the backward movement information is acquired from the vehicle information acquisition unit 1102. Then, the video processing unit 1110 outputs the generated display video data to the display control unit 1120.
- the object detection unit 1112 detects an object that defines the target position of the vehicle 1 from the video data acquired by the video data acquisition unit 1106 using dictionary data stored in the recognition dictionary 42.
- the object detection unit 1112 detects a block boundary from the video data using dictionary data. Then, the object detection unit 1112 outputs detection data indicating the detected object to the display video generation unit 1114.
- the object detection unit 1112 recognizes an object, that is, a partition boundary, from the video data by image recognition processing.
- the recognition of the partition boundary can be performed by various existing methods.
- the object detection unit 1112 may perform edge detection on the video data and recognize an object included in the video data.
- the object detection unit 1112 may extract the partition boundary by comparing the dictionary data stored in the recognition dictionary 42 with the object in the video data and recognizing the parking partition line, the vehicle, and the like. Further, when the parking section is a white line, the object detection unit 1112 may detect the section boundary by recognizing the white line from the video data.
- the object detection unit 1112 may recognize the parking section from the video data. Parking area recognition can be performed by various existing methods. For example, the object detection unit 1112 may recognize a rectangular area formed by the section boundary as a parking section. In addition, the object detection unit 1112 uses not the video data acquired by the video data acquisition unit 1106 but the display video data generated by the display video generation unit 1114 described later, using the dictionary data stored in the recognition dictionary 42. An object that defines the target position of the vehicle 1 may be detected.
- the display video generation unit 1114 generates display video data in which a guide line is superimposed on the video data acquired by the video data acquisition unit 1106. Then, the display video generation unit 1114 outputs the generated display video data to the display control unit 1120.
- the guide line according to the third embodiment can be rephrased as an expected course line, a backward predicted locus, an expected locus line, or the like.
- the guide line corresponds to the width of the vehicle 1 and is drawn according to the backward movement of the vehicle 1. That is, in the display video data, the width of the guide line corresponds to the width of the vehicle 1.
- the guide line indicates the prediction of the trajectory of the backward movement of the vehicle 1. In other words, the guide line indicates an expected trajectory on the road surface 90 at the left end and the right end of the vehicle 1 when the vehicle 1 performs a reverse operation at the steering angle indicated by the steering angle information acquired by the vehicle information acquisition unit 1102. ing. Therefore, the display video generation unit 1114 determines the shape of the guide line according to the steering angle information.
- the guide line according to the third embodiment may include a distance display line indicating a predetermined distance from the vehicle 1. Further, the guide line may include a distance display line indicating a predetermined distance from the position in the predicted trajectory. That is, the guide line indicates the expected trajectory of the vehicle 1 and also indicates the current and future distances from the vehicle 1 to each object in the video data such as the partition boundary. Details will be described later.
- the display video generation unit 1114 selects a position closer to the vehicle than the position of the distance display line.
- Display video data is generated by further superimposing the auxiliary lines shown on the video data.
- the “auxiliary line” according to the third embodiment may not be able to properly grasp the distance to the partition boundary only with the above guide line, it is a line for assisting in properly grasping the distance. It is. Details will be described later.
- the display video generation unit 1114 can also determine the shape of the auxiliary line according to the steering angle information. At this time, the shape of the auxiliary line may correspond to the shape of the guide line.
- the display control unit 1120 receives display video data from the display video generation unit 1114 of the video processing unit 1110. Then, the display control unit 1120 controls the display unit 50 to display the video based on the display video data generated by the display video generation unit 1114. As will be described later, the display video generation unit 1114 performs processing to superimpose auxiliary lines on the display video data according to the distance between the distance display line in the video data and the partition boundary, that is, the object. Therefore, in the display video data displayed by the control of the display control unit 1120, the presence or absence of the auxiliary line may differ depending on the positional relationship between the distance display line and the partition boundary.
- FIG. 16 is a flowchart of a display control method executed by the display control apparatus 100 according to the third embodiment.
- FIGS. 17 to 20 are diagrams illustrating videos related to display video data generated by the display video generation unit 1114 when the vehicle 1 goes straight backward.
- FIGS. 21 to 22 are diagrams illustrating videos related to display video data generated by the display video generation unit 1114 when the vehicle 1 moves backward at a certain steering angle.
- the flowchart shown in FIG. 16 will be described using the examples shown in FIGS.
- the vehicle information acquisition unit 1102 detects the backward movement of the vehicle 1 (YES in step S300)
- the vehicle information acquisition unit 1102 acquires steering angle information indicating the steering angle of the vehicle 1 (step S302).
- the video data acquisition unit 1106 acquires video data from the rear camera 2 (step S304).
- the display video generation unit 1114 generates display video data in which a guide line including a distance display line is superimposed on the video data acquired by the video data acquisition unit 1106 (step S306).
- FIG. 17 is a diagram illustrating the rear video 56 indicated by the display video data generated by the display video generation unit 1114 according to the third embodiment.
- FIG. 17 illustrates a state in which the display unit 50 displays a rear image 56 indicating a state in which the vehicle 1 is traveling straight backward toward the parking section.
- the rear image 56 includes a road surface 90, a parking partition 60, a partition boundary 62 ⁇ / b> L positioned on the left side of the parking partition 60, a partition boundary 62 ⁇ / b> R positioned on the right side of the parking partition 60, and a partition boundary positioned behind the parking partition 60.
- 62A Data indicating the parking section 60, the section boundary 62L, the section boundary 62R, and the section boundary 62A are included in the video data acquired by the video data acquisition unit 1106.
- the partition boundary 62L, the partition boundary 62R, and the partition boundary 62A are described without being distinguished, they are simply referred to as the partition boundary 62. The same applies to the guide lines described below.
- the rear image 56 includes a guide line 1200 including an expected trajectory line 1202L on the left side and an expected trajectory line 1202R on the right side. That is, the guide line 1200 includes a pair of expected trajectory lines 1202 formed by vertical lines.
- the guide line 1200 is drawn by the display video generation unit 1114 according to the steering angle information. Since the rear image 56 is a rear image of the vehicle 1, the expected trajectory line 1202L corresponds to the expected trajectory at the right end of the vehicle 1, and the expected trajectory line 1202R corresponds to the expected trajectory at the left end of the vehicle 1.
- the guide line 1200 includes distance display lines 1204A, 1204B, 1204C, and 1204D that indicate the distance from the rear end of the current vehicle 1. That is, the guide line 1200 includes a distance display line 1204 that is formed by a horizontal line and indicates a predetermined distance from the vehicle 1.
- the distance display line 1204A indicates the position of the distance Da from the rear end of the vehicle 1.
- distance display lines 1204B, 1204C, and 1204D indicate the positions of the distance Db, the distance Dc, and the distance Dd from the rear end of the vehicle 1, respectively.
- the distance Da, the distance Db, the distance Dc, and the distance Dd are 0.4 m, 1.0 m, 2.0 m, and 3.0 m, respectively.
- the number of distance display lines 1204 is arbitrary.
- the predicted trajectory line 1202L indicates a distance of 0.0 m from the right side surface of the vehicle 1 in the predicted trajectory of the vehicle 1.
- the predicted trajectory line 1202R indicates a distance of 0.0 m from the left side surface of the vehicle 1 in the predicted trajectory of the vehicle 1. Therefore, it can be said that the predicted trajectory line 1202L and the predicted trajectory line 1202R are also distance display lines. The same applies to an expected trajectory line according to a fourth embodiment described later.
- the driver can grasp the expected trajectory of the vehicle 1 when the vehicle 1 moves backward at the current steering angle.
- the distance display line 1204 is displayed, the driver can grasp the approximate distance from the rear end of the vehicle 1 to the partition boundary 62A.
- the object detection unit 1112 extracts a partition boundary of the parking section, that is, “an object that defines the target position of the vehicle 1” from the video data acquired by the video data acquisition unit 1106 (step S308).
- the object detection unit 1112 extracts the partition boundary 62L, the partition boundary 62R, and the partition boundary 62A from the video data regarding the rear image 56.
- the display video generation unit 1114 determines whether or not the position of the partition boundary 62 has approached the position corresponding to the distance display line N (step S312).
- the distance display line N is one of the distance display lines 1204A, 1204B, 1204C, and 1204D.
- the distance display line N is a distance display line 1204 on the vehicle 1 side, that is, the front side with respect to the section boundary 62. More preferably, the distance display line N corresponds to a position closest to the position of the partition boundary 62 among the positions of the plurality of distance display lines 1204 on the vehicle 1 side, that is, the front side with respect to the partition boundary 62. This is a display line 1204 (first distance display line). In the example of FIG.
- the display video generation unit 1114 determines whether or not the position of the partition boundary 62 ⁇ / b> A has approached the position corresponding to the distance display line 1204 ⁇ / b> D along the traveling direction of the vehicle 1.
- the “position corresponding to the distance display line N” refers to the position of the distance indicated by the distance display line N from the rear end of the vehicle 1 on the actual road surface 90.
- the display video generation unit 1114 determines that the distance ⁇ Dn between the position of the partition boundary 62A and the position corresponding to the distance display line N is equal to or smaller than a predetermined threshold Dth, that is, ⁇ Dn ⁇ Dth. In this case, it is determined that the position of the partition boundary 62 has approached the position of the distance display line N. In other words, the display video generation unit 1114 determines whether or not ⁇ Dn ⁇ Dth is satisfied (S312). That is, the display video generation unit 1114 determines whether the distance between the position of the object detected by the object detection unit 1112, that is, the partition boundary 62, and the position corresponding to the distance display line N is equal to or less than a predetermined first threshold value. Determine whether.
- ⁇ Dn Dx-Dn.
- ⁇ Dn Dx-Dn.
- ⁇ Dn the minimum value of the distance between the position of the partition boundary 62 and the position of the distance display line 1204, that is, the distance at the closest point between the position of the partition boundary 62 and the position of the distance display line 1204. Also good.
- the display video generation unit 1114 may determine whether or not ⁇ Dn ⁇ Dth by image processing. For example, the display video generation unit 1114 may calculate ⁇ Dn from the number of pixels between the image of the partition boundary 62 and the image of the distance display line N in the display video data.
- the display video generation unit 1114 may store the relationship between the number of pixels and the distance according to the depth in the display video data. Further, the display video generation unit 1114 may store the relationship between the number of pixels near each distance display line 1204 and the actual distance of the position corresponding to the distance display line 1204. Then, the display video generation unit 1114 may count the number of pixels between the image of the partition boundary 62 and the image of the distance display line N in the display video data, and calculate ⁇ Dn according to the number of pixels. .
- the display video generation unit 1114 generates display video data in which an auxiliary line indicating a position closer to the vehicle 1 than the position of the distance display line N is further superimposed on the video data. Then, the display control unit 1120 causes the display unit 50 to display a video based on the display video data generated by the display video generation unit 1114 (step S316).
- the distance display line 1204 that is closest to the partition boundary 62A is a distance display line 1204D. Therefore, the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1204D and the position of the partition boundary 62A. Then, the display video generation unit 1114 determines that ⁇ Dn> Dth, that is, the partition boundary 62A has not approached the position corresponding to the distance display line 1204D (NO in S312). Accordingly, in the example of FIG. 17, the display video generation unit 1114 does not superimpose auxiliary lines on the video data.
- FIG. 18 is a diagram illustrating a rear image 56 showing a state in which the vehicle 1 is further retracted than the state shown in FIG.
- the position of the partition boundary 62A is closer to the position of the distance display line 1204D than in the state shown in FIG.
- the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1204D and the position of the partition boundary 62A, and as a result, it is assumed that ⁇ Dn ⁇ Dth.
- the display video generation unit 1114 determines that ⁇ Dn ⁇ Dth. That is, the display video generation unit 1114 determines that the partition boundary 62 has approached the position corresponding to the distance display line 1204D (YES in S312). Therefore, the display video generation unit 1114 superimposes the auxiliary line 1300D indicating the position closer to the vehicle 1 than the position of the distance display line 1204D (S314).
- the display form of the auxiliary line 1300D may be different from the display form of the distance display line 1204.
- the distance display line 1204 is a solid line, while the auxiliary line 1300D is indicated by a broken line. Further, the thickness of the auxiliary line 1300D may be made thinner than the distance display line 1204. The same applies to other auxiliary lines 1300 and auxiliary lines according to other embodiments.
- the driver can quantitatively grasp the distance from the rear end of the vehicle 1 to the partition boundary 62A to some extent. That is, the driver can grasp to some extent quantitatively how close the rear end of the vehicle 1 is to the partition boundary 62A. In other words, the driver can grasp to some extent quantitatively how much the vehicle 1 is further retracted and how close it is to the partition boundary 62A. Therefore, the driver can appropriately grasp the distance to the partition boundary 62A. Furthermore, since the auxiliary line 1300D appears in the rear image 56, the driver can immediately recognize that the distance from the rear end of the vehicle 1 to the partition boundary 62A is close to 3.0 m.
- FIG. 19 is a diagram illustrating a rear image 56 showing a state in which the vehicle 1 is further retracted than the state shown in FIG.
- the position of the partition boundary 62A is approaching the position of the distance display line 1204C.
- the distance display line 1204D is located farther from the vehicle 1 than the section boundary 62A.
- the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1204C and the position of the partition boundary 62A, and as a result, it is assumed that ⁇ Dn ⁇ Dth.
- the display video generation unit 1114 determines that ⁇ Dn ⁇ Dth. That is, the display video generation unit 1114 determines that the partition boundary 62 has approached the position corresponding to the distance display line 1204C (YES in S312). Therefore, the display video generation unit 1114 superimposes the auxiliary line 1300C indicating the position closer to the vehicle 1 than the position of the distance display line 1204C (S314). In this way, the driver 1 can appropriately grasp the distance to the partition boundary 62A by superimposing the auxiliary line 1300C. Furthermore, since the auxiliary line 1300C appears in the rear image 56, the driver can immediately recognize that the distance from the rear end of the vehicle 1 to the partition boundary 62A is close to 2.0 m.
- FIG. 20 is a diagram illustrating a rear image 56 showing a state in which the vehicle 1 is further retracted than the state shown in FIG.
- the position of the partition boundary 62A is approaching the position of the distance display line 1204A.
- the distance display lines 1204D, 1204C, and 1204B are located farther from the vehicle 1 than the partition boundary 62A.
- the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1204A and the position of the partition boundary 62A, and as a result, it is assumed that ⁇ Dn ⁇ Dth.
- the display video generation unit 1114 determines that ⁇ Dn ⁇ Dth. That is, the display video generation unit 1114 determines that the partition boundary 62 has approached the position corresponding to the distance display line 1204A (YES in S312). Therefore, the display video generation unit 1114 superimposes the auxiliary line 1300A indicating the position closer to the vehicle 1 than the position of the distance display line 1204A (S314). In this way, the driver can appropriately grasp the distance to the partition boundary 62A by superimposing the auxiliary line 1300A. Furthermore, since the auxiliary line 1300A appears in the rear image 56, the driver can immediately recognize that the distance from the rear end of the vehicle 1 to the partition boundary 62A is about 0.4 m.
- the distance display line 1204A is the distance display line 1204 closest to the vehicle 1 among the plurality of distance display lines 1204.
- the auxiliary line 1300A indicates a position obtained by dividing the distance between the distance display line 1204A and the rear end of the vehicle 1 into two equal parts.
- the display video generation unit 1114 superimposes and displays the auxiliary line 1300A related to the distance display line 1204A that is the distance display line 1204 closest to the vehicle 1 in a display form that is more conspicuous than the other auxiliary lines 1300. May be.
- the auxiliary line 1300A may be displayed in a conspicuous color such as red.
- the auxiliary line 1300A may be displayed thicker than the other auxiliary lines 1300.
- the auxiliary line 1300A may be displayed so as to blink.
- the display of the auxiliary line 1300A means that the distance between the rear end of the vehicle 1 and the partition boundary 62A is the same as the distance indicated by the distance display line 1204A closest to the rear end of the vehicle 1. Is approaching the partition boundary 62A. Therefore, by displaying the auxiliary line 1300A in a conspicuous display form as described above, it is possible to warn the driver that the vehicle 1 is approaching the partition boundary 62A.
- the display control apparatus 100 when the partition boundary 62 approaches the distance display line 1204, the display control apparatus 100 according to the present embodiment further superimposes the auxiliary line 1300 indicating a position closer to the distance display line 1204. Display video data is generated. Therefore, many lines indicating the distance from the rear end of the vehicle 1 are displayed in the vicinity of the partition boundary 62A. As a result, the driver can grasp the distance from the rear end of the vehicle 1 to the partition boundary 62A with high accuracy at first glance as compared with the case where the auxiliary line 1300 is not displayed. Therefore, the display control apparatus 100 according to the present embodiment enables the driver to appropriately and quickly grasp the distance to the partition boundary 62A.
- the auxiliary line 1300 related to the distance display line 1204 is configured to be superimposed.
- the auxiliary line 1300 related to the distance display line 1204 corresponding to the position closest to the position of the partition boundary 62A is displayed, and the auxiliary line 1300 related to the other distance display lines 1204 is not displayed.
- the display content becomes complicated, which is troublesome for the driver, and therefore it is difficult for the driver to immediately grasp the distance to the partition boundary 62A. There is a risk that.
- auxiliary lines 1300 are displayed as described above, but only the auxiliary lines 1300 in the vicinity of the partition boundary 62A are displayed. Therefore, although the display image is not complicated, information that the driver wants to know, that is, distance information in the vicinity of the partition boundary 62A is displayed in detail. Therefore, the driver can grasp the distance to the partition boundary 62A more appropriately and quickly.
- the distance display line 1204D first distance display line
- the distance display line 1204D corresponding to the position closest to the position of the partition boundary 62A.
- the auxiliary line 1300D is superposed between the distance display line 1204C (second distance display line) indicating a distance closer to the vehicle 1 than the adjacent distance display line 1204D.
- the auxiliary line 1300 indicates a position obtained by dividing the distance between the distance display lines 1204 adjacent to each other into an integer equal number (for example, equal to two). That is, the auxiliary line 1300 can be superimposed so that the following expression (1) is established.
- Dsn D (n ⁇ 1) + k * ⁇ Dn ⁇ D (n ⁇ 1) ⁇ / M
- M and k are integers
- D (n ⁇ 1) is the distance indicated by the distance display line immediately before the distance display line N. Accordingly, the distance display lines 1204 adjacent to each other and the auxiliary line 1300 between them serve as a scale, so that the driver can grasp the distance from the vehicle 1 to the partition boundary 62A with higher accuracy.
- the display form of the auxiliary line 1300 and the display form of the distance display line 1204 are distinguished.
- the driver can easily grasp which line indicates which distance, like a ruler scale. Therefore, the driver can grasp the distance to the partition boundary 62A more appropriately and quickly.
- auxiliary line 1300D A processing example after the auxiliary line 1300 is displayed in a superimposed manner will be described.
- the display of the auxiliary line 1300D indicates that the partition boundary 62A exceeds the position of the distance display line 1204D and the auxiliary line 1300D. You can continue until you are in the position.
- the display of the auxiliary line 1300D can be terminated when the partition boundary 62A reaches the position of the auxiliary line 1300D.
- the display of the auxiliary line 1300A is preferably continued even when the partition boundary 62A reaches the position of the auxiliary line 1300A.
- the display end processing of these auxiliary lines 1300 is common to the other embodiments.
- FIG. 21 is a diagram illustrating the rear video 56 indicated by the display video data generated by the display video generation unit 1114 according to the third embodiment.
- FIG. 21 illustrates a state in which the display unit 50 displays a rear image 56 indicating a state in which the vehicle 1 is moving backward at a certain steering angle toward the parking section.
- the rear image 56 shown in FIG. 21 includes a parking section 60, a section boundary 62L, a section boundary 62R, and a section boundary 62A.
- 21 includes a guide line 1200 including an expected trajectory line 1202L and an expected trajectory line 1202R, and distance display lines 1204A, 1204B, 1204C, and 1204D.
- the display video generation unit 1114 draws the predicted trajectory line 1202L and the predicted trajectory line 1202R so as to be curves corresponding to the steering angle indicated in the steering angle information. The curvature of this curve increases as the steering angle increases.
- the display video generation unit 1114 draws the distance display lines 1204A, 1204B, 1204C, and 1204D so as to be inclined corresponding to the curvature of the predicted trajectory line 1202L and the expected trajectory line 1202R.
- the guide line 1200 further includes a distance display line 1206L and a distance display line 1206R on the left side of the expected trajectory line 1202L and the right side of the expected trajectory line 1202R, respectively.
- the distance display line 1206L indicates the position of the distance Dl on the left side from the expected trajectory line 1202L.
- the distance display line 1206R indicates the position of the distance Dr on the left side from the expected trajectory line 1202R.
- the shape of the distance display line 1206 is curved in conjunction with the steering angle, similarly to the predicted trajectory line 1202. As a result, the distance display line 1206 is drawn so as to appear parallel to the expected trajectory line 1202.
- the predicted trajectory line 1202 indicates a position at a distance of 0.0 m from the position in the predicted trajectory of the vehicle 1. Therefore, it can be said that the expected trajectory line 1202 is also a distance display line.
- the number of distance display lines 1206 is one on each side, but the number of distance display lines 1206 is arbitrary.
- the display video generation unit 1114 determines whether or not the position of the partition boundary 62 has approached the position corresponding to the distance display line N (S312).
- the distance display line N is the distance display line 1206L
- the partition boundary 62 is the partition boundary 62L.
- the display video generation unit 1114 determines whether or not the distance ⁇ Dn of the location (indicated by the arrow A) where the position of the partition boundary 62L and the position corresponding to the distance display line 1206L are closest is equal to or less than a predetermined threshold Dth. Determine whether.
- the method for calculating the distance ⁇ Dn may be performed by image processing.
- the display video generation unit 1114 stores in advance the relationship between the distance and the number of pixels at a certain depth, and between the position indicated by the arrow A and the position corresponding to the distance display line 1206L. ⁇ Dn may be calculated from the number of pixels.
- the threshold value Dth need not be the same as that for the distance display line 1204. Furthermore, the threshold value Dth need not be the same for the distance display line 1206L and the distance display line 1206R.
- the display video generation unit 1114 determines that ⁇ Dn> Dth, that is, the partition boundary 62L has not approached the position corresponding to the distance display line 1206L (NO in S312). Therefore, the display video generation unit 1114 does not superimpose auxiliary lines on the video data.
- FIG. 22 is a diagram illustrating a rear image 56 showing a state in which the vehicle 1 is further retracted than the state shown in FIG.
- the position of the partition boundary 62L is closer to the position of the distance display line 1206L than in the state shown in FIG.
- the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1206L and the position of the partition boundary 62L, and as a result, ⁇ Dn ⁇ Dth.
- the display video generation unit 1114 determines that ⁇ Dn ⁇ Dth. That is, the display video generation unit 1114 determines that the partition boundary 62L has approached the position corresponding to the distance display line 1206L (YES in S312). Accordingly, the display video generation unit 1114 superimposes the auxiliary line 1310L indicating the position at a distance closer to the expected trajectory line 1202 of the vehicle 1 than the position of the distance display line 1206L (S314).
- the distance display line 1206 is indicated by a solid line
- the auxiliary line 1310L is indicated by a broken line.
- the driver can quantitatively grasp the distance from the predicted locus line 1202L to the partition boundary 62L to some extent. That is, the driver can grasp how close the vehicle 1 is to the partition boundary 62L when the vehicle 1 moves backward to the position corresponding to the arrow B at the current steering angle. Therefore, the driver can appropriately grasp the distance from the predicted trajectory of the vehicle 1 to the partition boundary 62L. Furthermore, since the auxiliary line 1310L appears in the rear image 56, the driver can immediately grasp that the distance to the partition boundary 62L is close to 1.0 m when the vehicle 1 moves backward at the current steering angle. Can do.
- the display video generation unit 1114 draws the auxiliary line 1310L so as to form a curve according to the curved shape of the expected trajectory line 1202L and the distance display line 1206L. Therefore, the auxiliary line 1310L is drawn so as to appear parallel to the expected trajectory line 1202 and the distance display line 1206L.
- the auxiliary line 1310L indicates a position obtained by equally dividing the distance between the distance display line 1206L and the predicted trajectory line 1202L by an integer. Accordingly, the driver can grasp the distance from the expected trajectory of the vehicle 1 to the partition boundary 62L with higher accuracy.
- the display control apparatus 100 can achieve the same effects as the examples shown in FIGS. 17 to 20 in the examples shown in FIGS.
- the display control device 100 according to the present embodiment enables the driver to appropriately and quickly grasp the distance to the partition boundary 62L.
- the distance display line 1206L first distance display line
- the expected trajectory line indicating the distance closer to the vehicle 1 than the distance display line 1206L
- the adjacent distance display line 1206L An auxiliary line 1310L is configured to overlap with 1202L (second distance display line).
- 1202L second distance display line
- the display video generation unit 1114 changes the display form of the portion of the guide line 1200 corresponding to a position farther from the rear end of the vehicle 1 than the position of the partition boundary 62 recognized by the object detection unit 1112. .
- FIG. 23 is a flowchart showing processing according to a modification of the third embodiment.
- FIGS. 24 to 25 are diagrams illustrating examples of the rear video 56 according to the modification of the third embodiment.
- the process illustrated in FIG. 23 corresponds to the flowchart illustrated in FIG. 16 in which the process after S308 is modified from the process before S314.
- FIG. 24 corresponds to a modification of the rear image 56 shown in FIG.
- FIG. 25 corresponds to a modification of the rear video 56 shown in FIG.
- the example described below can also be applied to the case where the vehicle 1 moves backward at a certain steering angle as shown in FIGS.
- the display video generation unit 1114 determines whether or not there is a guide line 1200 corresponding to a position outside the position of the partition boundary 62 in the rear video 56, that is, display video data. (Step S322). If it is determined that there is no portion of the guide line 1200 corresponding to the position outside the position of the partition boundary 62 (NO in S322), the process proceeds to S326 without performing the process of S324 described later.
- the display image generation unit 1114 A portion of the guide line 1200 corresponding to a position far from the rear end is erased (step S324).
- the display video generation unit 1114 determines whether or not the position of the partition boundary 62 has approached the position of the distance display line 1204 farthest from the rear end of the vehicle 1 among the distance display lines 1204 whose display form has not changed. Judgment is made (step S326).
- This process corresponds to the process of S312 according to the third embodiment.
- “distance display line 1204 farthest from the rear end of vehicle 1” in this modification corresponds to “distance display line N” in the third embodiment.
- the display video generation unit 1114 determines whether ⁇ Dn ⁇ Dth. To do.
- the display video generation unit 1114 erases a portion of the expected trajectory line 1202 corresponding to a position farther from the partition boundary 62A. Further, the display video generation unit 1114 erases the distance display line 1204D corresponding to the position farther from the partition boundary 62A in the distance display line 1204. The display image generation unit 1114 then moves the position of the partition boundary 62A closer to the position of the distance display line 1204C which is the farthest distance display line 1204 in the rear image 56 from which the distance display line 1204D has been deleted (S326). YES), the auxiliary line 1300C is superimposed and displayed.
- the display video generation unit 1114 erases a portion of the expected trajectory line 1202 corresponding to a position farther from the partition boundary 62A.
- the display video generation unit 1114 deletes the distance display lines 1204D, 1204C, and 1204B corresponding to positions farther from the partition boundary 62A in the distance display line 1204.
- the display video generation unit 1114 has a partition boundary at the position of the distance display line 1204A that is the distance display line 1204 farthest from the rear end of the vehicle 1 in the rear video 56 from which the distance display lines 1204D, 1204C, and 1204B are deleted. Since the position of 62A has approached (YES in S326), the auxiliary line 1300A is displayed superimposed.
- the portion of the guide line 1200 far from the partition boundary 62A is deleted.
- the display of the guide line 1200 is unnecessary for the driver. Therefore, in the modified example of the third embodiment, the driver can change the distance to the partition boundary 62A more appropriately by changing the portion of the guide line 1200 far from the partition boundary 62A, which is an unnecessary display. It is possible to grasp quickly and quickly.
- the guide line 1200 is shortened and the number of displayed distance display lines 1204 decreases as the vehicle 1 approaches the partition boundary 62A. . Therefore, the driver can more intuitively recognize how close the rear end of the vehicle 1 is to the partition boundary 62A.
- the display video generation unit 1114 may change the display of the guide line 1200 so that it is at least inconspicuous. For example, the display video generation unit 1114 may reduce the display color of the guide line 1200 portion. Further, for example, the display video generation unit 1114 may indicate the portion of the guide line 1200 with a broken line.
- the fourth embodiment is different from the third embodiment in that an overhead video is displayed on the display unit 50. Since the hardware configuration of the vehicle 1 according to the fourth embodiment is substantially the same as that according to the third embodiment, the description thereof is omitted. Note that the bird's-eye view image is a pseudo-displayed image as if looking down around the vehicle from the upper viewpoint.
- FIG. 26 is a diagram illustrating a configuration of the display control device 100 according to the fourth embodiment and the display device 40 including the display control device 100.
- the display device 40 includes an overhead video camera 8, a recognition dictionary 42, a display unit 50, and a display control device 100.
- the bird's-eye view video camera 8 includes a rear camera 2, a front camera 3, and a side camera 4.
- the display control apparatus 100 includes a vehicle information acquisition unit 1102, a video data acquisition unit 1106, a video processing unit 1110, and a display control unit 1120.
- the video processing unit 1110 includes an object detection unit 1112 and a display video generation unit 1114.
- the display video generation unit 1114 includes an overhead video generation unit 1116.
- the video data acquisition unit 1106 acquires video data from the rear camera 2, the front camera 3, and the side camera 4 constituting the overhead view video camera 8.
- the video data acquisition unit 1106 outputs the acquired video data to the video processing unit 1110.
- the bird's-eye view image generation unit 1116 generates a bird's-eye view image obtained by converting the viewpoint of the image around the vehicle 1 as viewed from above the vehicle 1. Specifically, the bird's-eye view image generation unit 1116 performs viewpoint conversion for each image related to image data from the rear camera 2, the front camera 3, and the side camera 4 as viewed from above the vehicle 1. Then, the bird's-eye view video generation unit 1116 generates the bird's-eye view video data indicating the bird's-eye view video by synthesizing each viewpoint-converted video with a vehicle icon that is an image of the virtual vehicle 1. Note that the term “video data” may also include the overhead video data.
- the object detection unit 1112 detects an object that defines the target position of the vehicle 1, such as a partition boundary, from the overhead image data generated by the overhead image generation unit 1116 using the dictionary data stored in the recognition dictionary 42.
- the recognition dictionary 42 stores dictionary data related to an image of an object viewed from above. Note that the method by which the object detection unit 1112 detects an object is substantially the same as the method according to the third embodiment.
- the display video generation unit 1114 generates display video data in which a guide line is superimposed on the overhead view video data generated by the overhead view video generation unit 1116. Then, the display video generation unit 1114 outputs the generated display video data to the display control unit 1120.
- the display control unit 1120 controls the display unit 50 to display the video based on the display video data generated by the display video generation unit 1114. Therefore, in the fourth embodiment, the display unit 50 displays an overhead video corresponding to the overhead video data generated by the overhead video generation unit 1116.
- FIG. 27 is a flowchart of a display control method executed by the display control apparatus 100 according to the fourth embodiment.
- FIG. 28 to FIG. 30 are diagrams illustrating overhead images related to display video data generated by the display video generation unit 1114 when the vehicle 1 moves backward at a certain steering angle and approaches the rear wheel stop.
- FIGS. 31 to 32 are diagrams illustrating overhead images related to display video data generated by the display video generation unit 1114 when the vehicle 1 moves backward and approaches a curb on the side. The flowchart shown in FIG. 27 will be described below using the example shown in FIGS.
- the vehicle information acquisition unit 1102 detects the backward movement of the vehicle 1 (YES in step S400)
- the vehicle information acquisition unit 1102 acquires steering angle information indicating the steering angle of the vehicle 1 (step S402).
- the video data acquisition unit 1106 acquires video data from the overhead view video camera 8 (step S404).
- the overhead view video generation unit 1116 generates overhead view video data as described above (step S405). Then, the display video generation unit 1114 generates display video data in which a guide line including a distance display line is superimposed on the overhead view video data generated by the overhead view video generation unit 1116 (step S406).
- FIG. 28 is a diagram exemplifying an overhead video 58 indicated by the display video data generated by the display video generation unit 1114 according to the fourth embodiment.
- FIG. 28 illustrates a state in which the display unit 50 displays the bird's-eye view image 58 showing a state in which the vehicle 1 is moving backward toward the wheel stopper 64 at a certain steering angle in the parking section 60.
- the bird's-eye view video 58 includes a vehicle icon 58 a that is a virtual image of the vehicle 1, a parking section 60, and a wheel stopper 64.
- the wheel stopper 64 defines the parking position of the vehicle 1, it is a partition boundary, that is, “an object that defines the target position of the vehicle 1”.
- the bird's-eye view video 58 includes a guide line 1220 including an expected trajectory line 1222L on the left side of the vehicle 1 and an expected trajectory line 1222R on the right side of the vehicle 1. That is, the guide line 1220 includes a pair of expected trajectory lines 1222 formed by vertical lines.
- the guide line 1220 is drawn by the display video generation unit 1114 according to the steering angle information. As in the third embodiment, the display video generation unit 1114 draws the predicted trajectory line 1222L and the predicted trajectory line 1222R so as to be curves corresponding to the steering angle indicated in the steering angle information.
- the guide line 1220 includes distance display lines 1224A, 1224B, and 1224C that indicate the distance from the rear end of the current vehicle 1. That is, the guide line 1220 includes a distance display line 1224 that is formed by a horizontal line and indicates a predetermined distance from the vehicle 1.
- the display video generation unit 1114 draws the distance display lines 1224A, 1224B, and 1224C so as to be inclined corresponding to the curvature of the predicted trajectory line 1222L and the expected trajectory line 1222R.
- the distance display line 1224A indicates the position of the distance Da from the rear end of the vehicle 1.
- distance display lines 1224B and 1224C indicate the positions of the distance Db and the distance Dc from the rear end of the vehicle 1, respectively. Similar to the third embodiment, for example, the distance Da, the distance Db, and the distance Dc are 0.4 m, 1.0 m, and 2.0 m, respectively.
- the driver can grasp the expected trajectory of the vehicle 1. Further, since the distance display line 1224 is displayed, the driver can grasp the approximate distance from the rear end of the vehicle 1 to the wheel stopper 64.
- the object detection unit 1112 extracts the section boundary of the parking section, that is, “the object that defines the target position of the vehicle 1” from the overhead view video data generated by the overhead view video generation unit 1116 (step S408).
- the object detection unit 1112 extracts the wheel stopper 64 from the bird's-eye view video data regarding the bird's-eye view image 58.
- the display video generation unit 1114 determines whether or not the position of the wheel stopper 64 has approached the position corresponding to the distance display line N (step S412).
- the distance display line N is substantially the same as in the third embodiment, and is one of the distance display lines 1224A, 1224B, and 1224C.
- the display video generation unit 1114 determines whether or not the position of the wheel stopper 64 has approached a position corresponding to the distance display line 1204 ⁇ / b> C along the traveling direction of the vehicle 1.
- the display image generation unit 1114 determines that the distance ⁇ Dn between the position of the wheel stopper 64 and the position corresponding to the distance display line N is equal to or smaller than a predetermined threshold Dth, that is, ⁇ Dn ⁇ Dth. In this case, it is determined that the position of the wheel stopper 64 has approached the position of the distance display line N.
- the value of the threshold value Dth may be different depending on whether the distance display line N is one of the distance display lines 1224.
- the display video generation unit 1114 may determine whether or not ⁇ Dn ⁇ Dth by image processing.
- the display video generation unit 1114 may store the relationship between the number of pixels and the actual distance in the display video data. Then, the display video generation unit 1114 may count the number of pixels between the image of the wheel stopper 64 and the image of the distance display line N in the display video data, and calculate ⁇ Dn according to the number of pixels. .
- the process of S414 described later is not performed. Thus, the process proceeds to S416.
- the display video generation unit 1114 displays the distance display line N An auxiliary line is superimposed at a position closer to the vehicle 1 than the position (step S414). Then, the display control unit 1120 causes the display unit 50 to display a video based on the display video data generated by the display video generation unit 1114 (step S416).
- the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1224C and the position of the wheel stopper 64. Then, the display video generation unit 1114 determines that ⁇ Dn> Dth, that is, the wheel stopper 64 has not approached the position corresponding to the distance display line 1224C (NO in S412). Therefore, the display video generation unit 1114 does not superimpose auxiliary lines on the overhead video data.
- FIG. 29 is a diagram illustrating a bird's-eye view image 58 showing a state in which the vehicle 1 is further retracted than the state shown in FIG.
- the position of the wheel stopper 64 is approaching the position of the distance display line 1224B.
- the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1224B and the position of the wheel stopper 64, and as a result, it is assumed that ⁇ Dn ⁇ Dth.
- the display video generation unit 1114 determines that ⁇ Dn ⁇ Dth. In other words, the display video generation unit 1114 determines that the wheel stopper 64 has approached the position corresponding to the distance display line 1224B (YES in S412). Accordingly, the display video generation unit 1114 superimposes the auxiliary line 1320B indicating the position closer to the vehicle 1 than the position of the distance display line 1224B (S414). In this way, by superimposing the auxiliary line 1320B, the driver can quantitatively grasp the distance to the wheel stopper 64 to some extent. That is, the driver can grasp to some extent quantitatively how close the rear end of the vehicle 1 is to the wheel stop 64.
- the driver can quantitatively grasp to some extent how much the vehicle 1 is further retracted and how close the wheel stop 64 is. Therefore, the driver can appropriately grasp the distance to the wheel stopper 64. Furthermore, since the auxiliary line 1320B appears in the bird's-eye view video 58, the driver can immediately recognize that the distance from the rear end of the vehicle 1 to the wheel stopper 64 is about 1.0 m.
- the auxiliary line 1320B indicates a position obtained by dividing the distance between the distance display line 1224B and the distance display line 1224A into three equal parts.
- FIG. 30 is a diagram illustrating a bird's-eye view image 58 showing a state in which the vehicle 1 is further retracted than the state shown in FIG.
- the position of the wheel stopper 64 is approaching the position of the distance display line 1224A.
- the display image generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1224A and the position of the wheel stop 64, and as a result, it is assumed that ⁇ Dn ⁇ Dth (YES in S412). Therefore, the display video generation unit 1114 superimposes the auxiliary line 1320A indicating the position closer to the vehicle 1 than the position of the distance display line 1224A (S414).
- the driver can properly grasp the distance to the wheel stopper 64 by superimposing the auxiliary line 1320A. Furthermore, since the auxiliary line 1320A appears in the bird's-eye view video 58, the driver can immediately recognize that the distance from the rear end of the vehicle 1 to the wheel stopper 64 is about 0.4 m.
- the distance display line 1224A is the distance display line 1224 closest to the vehicle 1 among the plurality of distance display lines 1224.
- the auxiliary line 1300A indicates a position obtained by dividing the distance between the distance display line 1224A and the rear end of the vehicle 1 into two equal parts.
- the display video generation unit 1114 superimposes and displays the auxiliary line 1320A related to the distance display line 1224A closest to the vehicle 1 in a display form that stands out from the other auxiliary lines 1320. You may make it do.
- displaying the auxiliary line 1320 ⁇ / b> A in a conspicuous display form it is possible to warn the driver that the vehicle 1 is approaching a partition boundary such as the wheel stopper 64.
- the display control apparatus 100 according to the fourth embodiment can achieve the same effects as those of the third embodiment.
- the display control apparatus 100 according to the fourth embodiment enables the driver to appropriately and quickly grasp the distance to the partition boundary such as the wheel stopper 64.
- the auxiliary line 1320 is configured to be overlapped between the distance display lines 1224 adjacent to each other. Thereby, even if the driver does not know the distance indicated by the auxiliary line 1320, the driver can intuitively understand the approximate distance indicated by the auxiliary line 1320. Further, since the display form of the auxiliary line 1320 and the display form of the distance display line 1224 are distinguished, the driver can grasp the distance to the partition boundary such as the wheel stopper 64 more appropriately and quickly. .
- FIG. 31 is a diagram illustrating an overhead image 58 indicated by the display video data generated by the display video generation unit 1114 according to the fourth embodiment.
- FIG. 31 illustrates a state in which the display unit 50 displays a rear image 56 showing a state in which the vehicle 1 moves backward and approaches a curb on the side of the vehicle 1.
- the bird's-eye view video 58 illustrated in FIG. 31 includes a vehicle icon 58a and a parking section 60. Further, the bird's-eye view video 58 illustrated in FIG. 31 includes a curb 66 on the left side of the vehicle icon 58a. Here, the curb 66 defines the parking position of the vehicle 1, and is therefore a partition boundary, that is, “an object that defines the target position of the vehicle 1”. Further, the bird's-eye view video 58 includes a guide line 1220 including an expected trajectory line 1222L and an expected trajectory line 1222R, and distance display lines 1224A, 1224B, and 1224C.
- the guide line 1220 further includes a distance display line 1226L and a distance display line 1224R.
- the distance display line 1226L is drawn on the left side of the vehicle icon 58a and the expected trajectory line 1222L.
- the distance display line 1224R is drawn on the right side of the vehicle icon 58a and the expected trajectory line 1222R.
- the distance display line 1226L indicates the position of the distance Dl on the left side from the position corresponding to the left side surface of the vehicle 1 and the expected trajectory line 1222L.
- the distance display line 1226R indicates the position of the distance Dr on the right side from the position corresponding to the right side surface of the vehicle 1 and the expected trajectory line 1222R.
- the shape of the distance display line 1226 can be curved in conjunction with the steering angle, similarly to the predicted trajectory line 1222. As a result, the distance display line 1226 is drawn so as to appear parallel to the expected trajectory line 1222.
- the display video generation unit 1114 determines whether the position of the partition boundary has approached the position corresponding to the distance display line N (S412).
- the distance display line N is the distance display line 1226L
- the partition boundary is the curb 66.
- the display video generation unit 1114 determines whether or not the distance ⁇ Dn of the place where the position of the curb 66 and the position corresponding to the distance display line 1226L are closest is equal to or less than a predetermined threshold value Dth.
- the display video generation unit 1114 determines that ⁇ Dn> Dth, that is, the curb 66 has not approached the position corresponding to the distance display line 1226L (NO in S412). Therefore, the display video generation unit 1114 does not superimpose auxiliary lines on the overhead video data.
- FIG. 32 is a diagram illustrating a bird's-eye view image 58 showing a state in which the vehicle 1 is further retracted than the state shown in FIG.
- the position of the curb 66 is approaching the position of the distance display line 1226L.
- the display video generation unit 1114 calculates the distance ⁇ Dn between the position corresponding to the distance display line 1226L and the position of the curb 66, and as a result, it is assumed that ⁇ Dn ⁇ Dth.
- the display video generation unit 1114 determines that ⁇ Dn ⁇ Dth. That is, the display video generation unit 1114 determines that the curb 66 has approached the position corresponding to the distance display line 1226L (YES in S412). Accordingly, the display video generation unit 1114 superimposes the auxiliary line 1330L indicating the position closer to the vehicle 1 than the position of the distance display line 1226L (S414). In this way, by superimposing the auxiliary line 1330L, the driver can appropriately grasp the distance from the predicted trajectory line 1222L to the curb 66. That is, the driver can grasp how close the vehicle 1 is to the curb 66 when the vehicle 1 moves backward to the position corresponding to the arrow C at the current steering angle.
- the display video generation unit 1114 draws the auxiliary line 1330L so as to be curved according to the curved shape of the expected trajectory line 1222L and the distance display line 1226L. Therefore, the auxiliary line 1330L is drawn so as to appear parallel to the expected trajectory line 1222 and the distance display line 1226L.
- the auxiliary line 1330L indicates a position obtained by equally dividing the distance between the distance display line 1226L, the predicted trajectory line 1222L, and the vehicle icon 58a. Thereby, the driver can grasp the distance from the predicted trajectory of the vehicle 1 and the vehicle 1 to the curb 66 with higher accuracy.
- the interval between the plurality of auxiliary lines is constant, but this interval may be fixed in advance or may be variable.
- the interval between the auxiliary lines is 30 cm, but the driver may appropriately change the interval between the auxiliary lines by operating the user interface of the display control apparatus 100.
- the display image generation unit 110 may automatically change the interval between the auxiliary lines according to the width of the parking section.
- the display image generation unit 110 may narrow the interval between the auxiliary lines as the width of the parking section is narrower. Thereby, the driver can easily grasp the position of the vehicle 1 in the width direction of the parking section without depending on the width of the parking section.
- the width of the parking section is narrow, the driver may desire to operate the vehicle 1 with higher accuracy. With such a configuration, the driver can accurately grasp the position up to the partition boundary, so that the driver can more easily operate the vehicle 1 with high accuracy.
- the number of auxiliary lines may be fixed in advance or may be variable.
- the driver may appropriately change the number of auxiliary lines by operating the user interface of the display control apparatus 100.
- the display video generation unit 110 may automatically change the number of auxiliary lines according to the width of the parking area or the like. For example, the display video generation unit 110 may increase the number of auxiliary lines as the width of the parking section is wider.
- the auxiliary is applied to the distance between the auxiliary line (auxiliary line 1300 or auxiliary line 1320) applied to the distance from the rear end of the vehicle 1 and the expected trajectory line of the vehicle 1.
- the lines (auxiliary line 1310 or auxiliary line 1330) are displayed separately from each other, but are not limited to such a configuration.
- the auxiliary line for the distance from the rear end of the vehicle 1 and the auxiliary line for the distance from the expected trajectory line of the vehicle 1 may be displayed simultaneously.
- the display video generation unit 1114 may display not only the auxiliary line 1310L but also the auxiliary line 1300D in a superimposed manner. .
- the number of auxiliary lines drawn between a certain distance display line N and the adjacent distance display line N-1 is not limited to one, and a plurality of auxiliary lines are drawn.
- a line can be drawn.
- the plurality of auxiliary lines are drawn at equal intervals.
- the example in which the vehicle 1 is parked in the parking area has been described.
- the configuration is not limited thereto.
- the present embodiment is applicable to any case where the vehicle 1 heads for a certain target position.
- Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
- Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
- the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
- the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
- the display control apparatus can be used for the driver to recognize the surrounding environment when the vehicle is traveling, for example.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
映像データ取得部(106)は、後方カメラ(2)からの映像データを取得する。表示映像生成部(110)は、取得された映像データに一対の予想進路線と複数の補助線とを重畳させた表示映像データを生成する。抽出部(112)は、映像データから駐車区画の幅方向の区画境界を抽出する。位置関係判断部(114)は、抽出された区画境界と補助線との表示映像データ上の位置関係を判断する。表示映像生成部(110)は、区画境界よりも外側に位置する補助線の表示の明瞭度を低下させるように、補助線を描画する。表示制御部(120)は、表示映像データによる映像を、表示部(50)に表示させる。
Description
本発明は、表示制御装置、表示装置、表示制御方法及びプログラムに関する。
近年、車両の後退時等に、車両の後方に搭載された後方カメラによって撮影された後方映像に対して、後退動作の軌跡の予測を示したガイド線を重畳してモニタ等の表示部に表示することで、容易かつ的確に車両を駐車区画に誘導する技術が普及している。この技術に関連し、特許文献1は、車両周辺の撮像画像を車内モニタ上に表示させる車両の走行支援装置を開示する。特許文献1にかかる走行支援装置は、車両周辺の撮像画像にガイド線を重畳表示させる。
また、特許文献2は、車両停止位置でステアリング操作を行うことなく所望の駐車スペースに入ることができるか否かを事前に予測可能にする車両の駐車支援装置を開示する。特許文献2にかかる駐車支援装置は、車両の後方を撮像する撮像手段と、車両の後方の画像を表示する表示手段と、車両を最大舵角で後退させた場合の、車両が進む方向に延び、車両の後部右端及び後部左端に対応した後退予測軌跡を、表示手段に表示される画像と重畳させて表示する制御手段とを備える。
車両を駐車するための駐車区画の状況によっては、運転者は、駐車区画の幅方向に対してできるだけ中央寄りに車両を駐車したい場合もあれば、左右のいずれかの側に車両を寄せて駐車するように意図する場合もある。このような場合に、上述した特許文献にかかる技術のように車両の幅等に対応したガイド線を表示するのみでは、駐車区画の幅方向における車両の位置を適切に把握することは、運転者にとって容易ではない。
また、運転者が駐車区画等に車両を移動する場合において、運転者が、映像を視認しながら車両の目標位置を規定する物体(駐車枠線又は縁石等)と車両との距離を把握したいとき、運転者は、ガイド線の長さ等により、おおよその距離を把握し得る。しかしながら、上記の特許文献にかかるガイド線のみを用いるだけでは、詳細な距離を把握することはできない。そこで、詳細な距離を把握できるようにするために、物体までの距離を示す数値を映像に重畳する方法、又は、間隔の狭い多数の線を目盛りとしてガイド線に加えて表示する方法等が考えられる。しかしながら、これらの方法では、表示内容が複雑となるおそれがあるので、運転者が適切かつ迅速に物体までの距離を認識することは容易ではない。
また、運転者が駐車区画等に車両を移動する場合において、運転者が、映像を視認しながら車両の目標位置を規定する物体(駐車枠線又は縁石等)と車両との距離を把握したいとき、運転者は、ガイド線の長さ等により、おおよその距離を把握し得る。しかしながら、上記の特許文献にかかるガイド線のみを用いるだけでは、詳細な距離を把握することはできない。そこで、詳細な距離を把握できるようにするために、物体までの距離を示す数値を映像に重畳する方法、又は、間隔の狭い多数の線を目盛りとしてガイド線に加えて表示する方法等が考えられる。しかしながら、これらの方法では、表示内容が複雑となるおそれがあるので、運転者が適切かつ迅速に物体までの距離を認識することは容易ではない。
上記課題に鑑み、本実施形態は、駐車区画の幅方向における車両の位置を運転者が適切に把握することを可能とし、又は、車両の目標位置を規定する物体までの距離を運転者が適切かつ迅速に把握することを可能とする、表示制御装置、表示装置、表示制御方法及びプログラムを提供することを目的とする。
そこで、本実施形態は、車両の後方を撮影する後方カメラからの映像データを取得する映像データ取得部と、前記車両の幅に対応し前記車両の後退動作に応じて描画される一対の予想進路線と前記一対の予想進路線の両側に幅方向に並ぶようにそれぞれ配置される複数の補助線とを前記映像データ取得部によって取得された前記映像データに重畳させた表示映像データを生成する表示映像生成部と、前記映像データから、前記車両が駐車可能な駐車区画の幅方向の境界である区画境界を抽出する抽出部と、前記抽出部によって抽出された前記区画境界と前記補助線との前記表示映像データにおける位置関係を判断する位置関係判断部と、前記表示映像生成部によって生成された前記表示映像データによる映像を表示部に表示させる表示制御部とを有し、前記表示映像生成部は、前記抽出部によって抽出された前記区画境界よりも外側に位置する前記補助線の表示の明瞭度を、前記区画境界よりも内側に位置する前記補助線の表示の明瞭度よりも低下させる表示制御装置を提供する。
また、本実施形態は、車両の周囲を撮影するカメラからの映像データを取得する映像データ取得部と、前記映像データから、前記車両の目標位置を規定する物体を検出する物体検出部と、前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成する表示映像生成部と、前記表示映像生成部によって生成された前記表示映像データによる映像を表示部に表示させる表示制御部とを有し、前記表示映像生成部は、前記物体検出部によって検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成する表示制御装置を提供する。
また、本実施形態は、車両の周囲を撮影するカメラからの映像データを取得する映像データ取得部と、前記映像データから、前記車両の目標位置を規定する物体を検出する物体検出部と、前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成する表示映像生成部と、前記表示映像生成部によって生成された前記表示映像データによる映像を表示部に表示させる表示制御部とを有し、前記表示映像生成部は、前記物体検出部によって検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成する表示制御装置を提供する。
また、本実施形態は、車両の後方を撮影する後方カメラからの映像データを取得し、前記車両の幅に対応し前記車両の後退動作に応じて描画される一対の予想進路線と前記一対の予想進路線の両側に幅方向に並ぶようにそれぞれ配置される複数の補助線とを前記映像データに重畳させた表示映像データを生成し、前記映像データから、前記車両が駐車可能な駐車区画の幅方向の境界である区画境界を抽出し、前記抽出された前記区画境界と前記補助線との前記表示映像データにおける位置関係を判断し、前記抽出された前記区画境界よりも外側に位置する前記補助線の表示の明瞭度を、前記区画境界よりも内側に位置する前記補助線の表示の明瞭度よりも低下させ、前記表示映像データによる映像を表示部に表示させる表示制御方法を提供する。
また、本実施形態は、車両の周囲を撮影するカメラからの映像データを取得し、前記映像データから、前記車両の目標位置を規定する物体を検出し、前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成し、前記検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成し、前記生成された前記表示映像データによる映像を表示部に表示させる表示制御方法を提供する。
また、本実施形態は、車両の周囲を撮影するカメラからの映像データを取得し、前記映像データから、前記車両の目標位置を規定する物体を検出し、前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成し、前記検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成し、前記生成された前記表示映像データによる映像を表示部に表示させる表示制御方法を提供する。
また、本実施形態は、車両の後方を撮影する後方カメラからの映像データを取得するステップと、前記車両の幅に対応し前記車両の後退動作に応じて描画される一対の予想進路線と前記一対の予想進路線の両側に幅方向に並ぶようにそれぞれ配置される複数の補助線とを前記映像データに重畳させた表示映像データを生成するステップと、前記映像データから、前記車両が駐車可能な駐車区画の幅方向の境界である区画境界を抽出するステップと、前記抽出された前記区画境界と前記補助線との前記表示映像データにおける位置関係を判断するステップと、前記抽出された前記区画境界よりも外側に位置する前記補助線の表示の明瞭度を、前記区画境界よりも内側に位置する前記補助線の表示の明瞭度よりも低下させるステップと、前記表示映像データによる映像を表示部に表示させるステップとをコンピュータに実行させるプログラムを提供する。
また、本実施形態は、車両の周囲を撮影するカメラからの映像データを取得するステップと、前記映像データから、前記車両の目標位置を規定する物体を検出するステップと、前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成するステップと、前記検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成するステップと、前記生成された前記表示映像データによる映像を表示部に表示させるステップとをコンピュータに実行させるプログラムを提供する。
また、本実施形態は、車両の周囲を撮影するカメラからの映像データを取得するステップと、前記映像データから、前記車両の目標位置を規定する物体を検出するステップと、前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成するステップと、前記検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成するステップと、前記生成された前記表示映像データによる映像を表示部に表示させるステップとをコンピュータに実行させるプログラムを提供する。
本実施形態によれば、駐車区画の幅方向における車両の位置を運転者が適切に把握することを可能とし、又は、車両の目標位置を規定する物体までの距離を運転者が適切かつ迅速に把握することを可能とする、表示制御装置、表示装置、表示制御方法及びプログラムを提供することができる。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。
図1は、実施の形態1にかかる車両1を示す図である。車両1は、後方カメラ2と、表示制御装置100とを有する。後方カメラ2は、車両1の後部に設置されており、路面90を含む車両1の後方を撮影する。表示制御装置100は、車両1の任意の位置に設けられ得る。表示制御装置100は、CAN(Control Area Network)に接続され得る。表示制御装置100は、後方カメラ2によって撮影された映像に、車両1の幅に対応し車両1の後退動作に応じて描画される一対の予想進路線を重畳するように制御を行う。詳しくは後述する。
図2は、実施の形態1にかかる車両1の内部を示す図である。図2は、車両1の内部の運転室を運転席から車両1の前方向に見た図である。車両1は、ステアリングホイール10、ダッシュボード12、ウィンドシールド14、センターコンソール16、車両の走行速度及びエンジン回転数などを表示するクラスターパネル18などを有する。また、センターコンソール16には、ナビゲーション画面などを表示するセンター表示部20が設けられていてもよい。車両1には、クラスターパネル18の上部に、ヘッドアップディスプレイにより映像が表示されるヘッドアップディスプレイ表示部22が設けられていてもよい。ヘッドアップディスプレイがコンバイナ型である場合、ヘッドアップディスプレイ表示部22はコンバイナである。また、ヘッドアップディスプレイがウィンドシールド14に虚像を表示する場合、ヘッドアップディスプレイ表示部22は、ウィンドシールド14において虚像が提示される領域である。また、車両1は、リヤビューモニタ24を有してもよい。リヤビューモニタ24は、一般的な車両における後方確認用のリヤビューミラーと同様の位置、すなわち、ウィンドシールド14の上部中央付近に配置されている。
図3は、実施の形態1にかかる表示制御装置100及び表示制御装置100を有する表示装置40の構成を示す図である。表示装置40は、後方カメラ2と、表示部50と、表示制御装置100とを有する。表示制御装置100は、後方カメラ2及び表示部50と通信可能に接続されている。表示制御装置100は、後退動作検出部102と、操舵情報取得部104と、映像データ取得部106と、表示映像生成部110と、抽出部112と、位置関係判断部114と、表示制御部120とを有する。なお、表示装置40の少なくとも1つの構成要素又は全ての構成要素は、車両1に組み込まれていてもよいし、車両1から取り外して携帯可能であってもよい。
表示部50は、後方カメラ2によって撮影された映像を表示する。表示部50は、例えば、リヤビューモニタ24、クラスターパネル18、センター表示部20又はヘッドアップディスプレイ表示部22によって実現され得る。また、表示部50は、表示制御装置100と通信可能なスマートフォン又はタブレット端末等の携帯端末装置によって実現されてもよい。また、表示制御装置100は、例えばセンターコンソール16等に内蔵されたコンピュータ装置であってもよいし、上述した携帯端末装置であってもよい。
表示制御装置100は、CPU(Central Processing Unit)等のプロセッサ、メモリ等の記憶装置、ユーザインタフェース及び各種周辺回路によって構成されている。つまり、表示制御装置100は、コンピュータとしての機能を有する。また、表示制御装置100は、記憶装置に格納されたプログラムをプロセッサが実行することによって、後退動作検出部102、操舵情報取得部104、映像データ取得部106、表示映像生成部110、抽出部112、位置関係判断部114及び表示制御部120といった構成要素を実現する。また、表示制御装置100の各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、表示制御装置100の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態においても同様である。
後退動作検出部102は、車両1の後退動作を検出する。例えば、後退動作検出部102は、CAN等からリバースギアを選択した情報を取得して、車両1が後退動作状態であるか否かを判定する。後退動作検出部102は、後退動作状態であると判定した場合、その旨を示す後退動作情報を表示映像生成部110に対して出力する。
操舵情報取得部104は、CAN等からの信号を取得して車両1の車輪における操舵角を示す操舵角情報を取得する。なお、操舵角情報は、操舵角度を示す情報に加えて、右又は左といった操舵方向を示す情報も含む。なお、操舵角情報は、ステアリングホイール10の操舵角を示してもよい。操舵情報取得部104は、取得した操舵角情報を表示映像生成部110に対して出力する。特に、操舵情報取得部104は、車両1の停止時または後退動作時における操舵角情報を取得する。
映像データ取得部106は、後方カメラ2からの映像データを取得する。映像データ取得部106は、取得した映像データを、表示映像生成部110に対して出力する。ここで、映像データは、後方カメラ2により車両1の後方が撮影された映像を示すデータである。なお、車両1が後方動作により駐車区画に駐車する際に撮影された映像は、駐車区画を示す画像、及び、駐車区画の境界である区画境界を示す画像を含み得る。
また、駐車区画とは、車両1が駐車可能な駐車スペースである。例えば、路面90に描かれた白線等の駐車区画線によって駐車区画が仕切られていてもよい。この場合、区画境界は、路面90に描かれた駐車区画線に対応する。また、駐車区画は、駐車区画線によって仕切られていなくてもよく、壁等の障害物で仕切られていてもよい。この場合、区画境界は、障害物に対応する。また、駐車区画は、物理的に仕切られている必要はなく、単に、車両1を駐車するために十分な空間であってもよい。この場合、区画境界は、隣に駐車している他の車両等に対応する。なお、駐車区画線によって駐車スペースが仕切られている場合であっても、隣の駐車スペースに駐車した他の車両が駐車区画線からはみ出して駐車していることがある。この場合、区画境界は、駐車区画線からはみ出して駐車している他の車両に対応する。なお、以下、「障害物」は、壁等の駐車区画の近傍に固定された物体だけでなく、他の車両等を含み得る。
表示映像生成部110は、後退動作検出部102から後退動作情報を受け付けた場合、映像データ取得部106によって取得された映像データに、一対の予想進路線と複数の補助線とを重畳させた表示映像データを生成する。そして、表示映像生成部110は、生成された表示映像データを、表示制御部120に対して出力する。
ここで、予想進路線は、ガイド線、後退予測軌跡、又は予想軌跡線などと言い換えることができる。予想進路線は、車両1の幅に対応し車両1の後退動作に応じて描画される。つまり、表示映像データにおいて、一対の予想進路線の幅は、車両1の幅に対応する。そして、予想進路線は、車両1の後退動作の軌跡の予測を示している。言い換えると、予想進路線は、操舵情報取得部104によって取得された操舵角情報によって示される操舵角で車両1が後退動作を行った場合の、車両1の左端及び右端の路面90における予想軌跡を示している。
また、複数の補助線は、一対の予想進路線の両側に幅方向に並ぶようにそれぞれ配置される。つまり、一対の予想進路線のうちの左側の予想進路線の左側に、複数の補助線が幅方向に並ぶ。同様に、一対の予想進路線のうちの右側の予想進路線の右側に、複数の補助線が幅方向に並ぶ。補助線は、表示映像データ上の車両1の後方の路面における、一対の予想進路線からの幅方向の距離を示している。補助線についての詳細は後述する。
表示映像生成部110は、操舵情報取得部104によって取得された操舵角情報によって示される操舵角に応じて、表示映像データ上における、一対の予想進路線の形状を決定する。また、表示映像生成部110は、表示映像データ上において、決定された形状の一対の予想進路線の両側に配置する複数の補助線の形状を決定する。なお、補助線の形状は、予想進路線の形状に対応し得る。そして、表示映像生成部110は、決定された形状の一対の予想進路線と、決定された形状の複数の補助線とを、映像データ取得部106によって取得された映像データに重畳する。これにより、表示映像生成部110は、表示映像データを生成する。さらに、表示映像生成部110は、区画境界と補助線との表示映像データ上の位置関係に応じて、補助線の表示の明瞭度を変更する。詳しくは後述する。
抽出部112は、映像データ取得部106によって取得された映像データから区画境界を抽出する。そして、抽出部112は、抽出結果を示す抽出データを位置関係判断部114に対して出力する。区画境界の抽出は、既存の様々な方法によって行われ得る。例えば、抽出部112は、エッジ検出によって、駐車区画線、障害物、又は他の車両を認識することで、区画境界を抽出してもよい。また、区画境界が白線である場合、抽出部112は、白線を認識することで、区画境界を抽出してもよい。また、表示制御装置100が駐車区画線及び車両等を示す辞書データを予め記憶している場合、抽出部112は、その辞書データと映像データ内のオブジェクトとを比較して駐車区画線及び車両等を認識することで、区画境界を抽出してもよい。
また、抽出部112は、駐車区画を認識する。駐車区画の認識は、既存の様々な方法によって行われ得る。例えば、区画境界によって形成される矩形の領域を、駐車区画と認識してもよい。
位置関係判断部114は、表示映像生成部110によって生成された表示映像データを取得する。位置関係判断部114は、抽出部112によって抽出された区画境界と各補助線との表示映像データ上の位置関係を判断する。そして、位置関係判断部114は、位置関係の判断結果を示す位置関係データを、表示映像生成部110に対して出力する。
具体的には、位置関係判断部114は、表示映像データにおいて、補助線が区画境界よりも外側にあるか否かを判断する。さらに具体的には、位置関係判断部114は、幅方向の区画境界よりも外側に補助線があるか否かを判断する。ここで、位置関係判断部114は、補助線が区画境界よりも駐車区画の側にあるときに、区画境界よりも外側に補助線がない、つまり区画境界よりも内側に補助線があると判断する。一方、位置関係判断部114は、補助線が区画境界よりも駐車区画の側にないときに、区画境界よりも外側に補助線があると判断する。例えば、駐車区画における左側の区画境界よりも左側に補助線がある場合に、位置関係判断部114は、その補助線が区画境界よりも外側にあると判断する。同様に、駐車区画における右側の区画境界よりも右側に補助線がある場合に、位置関係判断部114は、その補助線が区画境界よりも外側にあると判断する。
表示制御部120は、表示映像生成部110から、表示映像データを受け付ける。そして、表示制御部120は、表示映像生成部110によって生成された表示映像データによる映像を、表示部50に表示させるように制御を行う。なお、後述するように、表示映像生成部110は、区画境界よりも外側に位置する補助線の表示の明瞭度を、区画境界よりも内側に位置する補助線の表示の明瞭度よりも低下させるように処理を行う。したがって、表示制御部120の制御によって表示される表示映像データにおいて、複数の補助線の明瞭度は、区画境界との位置関係に応じて異なり得る。
図4は、実施の形態1にかかる表示制御装置100によって実行される表示制御方法を示すフローチャートである。また、図5~図7は、車両1が後方に直進する場合に表示映像生成部110によって生成される表示映像データに関する映像を例示する図である。また、図8~図10は、車両1がある操舵角で後退する場合に表示映像生成部110によって生成される表示映像データに関する映像を例示する図である。以下、図5~図7に示された例を用いて図4に示すフローチャートの説明を行う。
後退動作検出部102が車両1の後退動作を検出すると(ステップS100のYES)、操舵情報取得部104は、車両1の操舵角を示す操舵角情報を取得する(ステップS102)。また、映像データ取得部106は、後方カメラ2からの映像データを取得する(ステップS104)。
表示映像生成部110は、映像データ取得部106によって取得された映像データに、一対の予想進路線と複数の補助線とを重畳させた表示映像データを生成する(ステップS106)。図5は、実施の形態1にかかる表示映像生成部110によって生成された表示映像データによって示される映像52を例示する図である。なお、図5に例示された映像52は、表示部50に表示される前の映像である。また、図5は、駐車区画の幅方向の略中央に車両1が後方に直進している場合について例示している。
映像52は、駐車区画60と、駐車区画60の左側に位置する区画境界62Lと、駐車区画60の右側に位置する区画境界62Rとを含む。これらの駐車区画60、区画境界62L及び区画境界62Rを示すデータは、映像データ取得部106によって取得された映像データに含まれる。なお、以下、区画境界62L及び区画境界62Rを区別しないで説明する場合に、単に区画境界62と称する。このことは、以下で説明する予想進路線及び補助線についても同様である。
また、映像52は、左側の予想進路線202L及び右側の予想進路線202Rを含むガイド線200を含む。つまり、ガイド線200は、一対の予想進路線202を含む。このガイド線200は、操舵角情報に応じて、表示映像生成部110によって描画される。なお、映像52は車両1の後方の映像であるので、予想進路線202Lは、車両1の右端の予想軌跡に対応し、予想進路線202Rは、車両1の左端の予想軌跡に対応する。
また、映像52は、予想進路線202Lの左側に位置する補助線211L,212L,213L,214Lを含む。同様に、映像52は、予想進路線202Rの右側に位置する補助線211R,212R,213R,214Rを含む。補助線211L,212L,213L,214Lは、予想進路線202Lの形状に応じて表示映像生成部110によって描画される。また、補助線211R,212R,213R,214Rは、予想進路線202Rの形状に応じて表示映像生成部110によって描画される。なお、補助線は、ガイド線200の両側にそれぞれ4つ配置されているが、補助線は、4つに限定されず、2以上の任意の数であってもよい。
ここで、補助線211L,212L,213L,214Lのうちで、補助線211Lは予想進路線202Lに最も近い。また、補助線212Lは2番目に予想進路線202Lに近く、補助線213Lは3番目に予想進路線202Lに近く、補助線214Lは4番目に予想進路線202Lに近い。同様に、補助線211R,212R,213R,214Rのうちで、補助線211Rは予想進路線202Rに最も近い。また、補助線212Rは2番目に予想進路線202Rに近く、補助線213Rは3番目に予想進路線202Rに近く、補助線214Rは4番目に予想進路線202Rに近い。
ここで、補助線211L,212L,213L,214Lは、映像52に対応する映像データ上の車両1の後方の路面90において、予想進路線202Lに対して平行に見えるように描画されている。同様に、補助線211R,212R,213R,214Rは、映像52に対応する映像データ上の車両1の後方の路面90において、予想進路線202Rに対して平行に見えるように描画されている。なお、このことは、図8に示すような他の例においても同様である。
つまり、表示映像生成部110は、表示映像データ上の車両1の後方の路面90において予想進路線202に沿って見える補助線を重畳させる。なお、補助線は、映像データ上の車両1の後方の路面90において予想進路線202に対して平行に沿って見えるように描画されればよいのであって、予想進路線202に対して厳密に平行に描画される必要はない。なお、ここでいう「平行」とは、映像データ上の車両1の後方の路面90において、補助線と予想進路線202との距離が略一定であることをいう。表示部50における映像では、遠近法により、車両1から離れるにつれて、予想進路線202と補助線との間の距離が短くなるように描画されている。
このように、補助線が、映像データ上の車両1の後方の路面90において、予想進路線202に対して平行に見えるように描画されていることで、運転者は、駐車区画60における幅方向の予想位置を感覚的に把握することが可能となる。つまり、車両1が現在の操舵角で後退したときに、車両1が駐車区画60の幅方向におけるどの位置に進行するかを、運転者は、容易に把握することが可能となる。
また、補助線211L,212L,213L,214Lは、映像52に対応する映像データ上の車両1の後方の路面90において、一定間隔となるように描画されている。同様に、補助線211R,212R,213R,214Rは、映像52に対応する映像データ上の車両1の後方の路面90において、一定間隔となるように描画されている。つまり、表示映像生成部110は、表示映像データ上の車両1の後方の路面90において一定間隔となるように複数の補助線を重畳させる。なお、このことは、図8に示すような他の例においても同様である。
例えば、補助線は、映像52に対応する映像データ上の車両1の後方の路面90において30cm間隔で描画されてもよい。この場合、補助線211Lは、表示映像データ上の車両1の後方の路面90において予想進路線202Lと補助線211Lとの間隔が30cmとなるように描画されてもよい。同様に、補助線211Rは、表示映像データ上の車両1の後方の路面90において予想進路線202Rと補助線211Rとの間隔が30cmとなるように描画されてもよい。なお、補助線の間隔は、運転者などのユーザ等によって適宜変更し得る。
このように、隣り合う補助線の間隔が一定であることによって、複数の補助線が、物差しの目盛りのような役割を果たす。したがって、車両1が現在の操舵角で後退したときの車両1の左右の側面と区画境界62又は周囲の物体との距離を、運転者が、ある程度、定量的に把握することが可能となる。例えば、補助線の間隔が30cmである例において、区画境界62Lが補助線212Lの近傍にある場合、車両1が現在の操舵角で後退すれば、車両1と区画境界62Lとの距離が約60cmになると、運転者は容易に把握することができる。
抽出部112は、映像データ取得部106によって取得された映像データから駐車区画の幅方向の区画境界を抽出する(ステップS108)。図5の例では、抽出部112は、映像52に関する映像データから、区画境界62L及び区画境界62Rを抽出する。
次に、位置関係判断部114は、抽出部112によって抽出された区画境界と補助線との表示映像データ上の位置関係を判断する(ステップS110)。図5の例では、位置関係判断部114は、区画境界62Lと、補助線211L,212L,213L,214Lとの位置関係を判断する。具体的には、位置関係判断部114は、補助線211L,212L,213L,214Lが、それぞれ、区画境界62Lよりも外側にあるか否かを判断する。同様に、位置関係判断部114は、区画境界62Rと、補助線211R,212R,213R,214Rとの位置関係を判断する。具体的には、位置関係判断部114は、補助線211R,212R,213R,214Rが、それぞれ、区画境界62Rよりも外側にあるか否かを判断する。
区画境界よりも外側に補助線がない場合(ステップS112のNO)、後述するS114の処理は行われないで、処理はS116に進む。一方、区画境界よりも外側に補助線がある場合(S112のYES)、表示映像生成部110は、区画境界よりも外側に位置する補助線の表示の明瞭度を、区画境界の内側に位置する補助線の表示の明瞭度よりも低下させるように、補助線を描画する(ステップS114)。
図5の例では、補助線211L,212Lが区画境界62Lよりも内側にあり、補助線213L,214Lが区画境界62Lよりも外側にある。したがって、表示映像生成部110は、補助線213L,214Lの表示の明瞭度を、補助線211L,212Lの表示の明瞭度よりも低下させるように、補助線を描画する。同様に、補助線211R,212Rが区画境界62Rよりも内側にあり、補助線213R,214Rが区画境界62Rよりも外側にある。したがって、表示映像生成部110は、補助線213R,214Rの表示の明瞭度を、補助線211R,212Rの表示の明瞭度よりも低下させるように、補助線を描画する。
表示制御部120は、表示映像生成部110によって生成された表示映像データによる映像を、表示部50に表示させる(ステップS116)。図6は、図5に例示された映像52について表示部50に表示される表示映像54を示す図である。図6に示された表示映像54では、補助線213L,214L及び補助線213R,214Rが表示されていない。このように、区画境界よりも外側に位置する補助線の表示の明瞭度を低下させることによって、運転者は、駐車区画の幅方向における車両1の位置を適切に把握することが可能となる。具体的には、車両1が区画境界62に近づくほど、その区画境界62の側に位置する補助線の数が減少することとなる。したがって、運転者は、表示部50を視認することにより、対応する補助線の数が減少している区画境界62の側に車両1が寄っていることを、容易かつ適切に把握することが可能となる。そして、運転者は、補助線の数が少ないほど、区画境界62の側に車両1が寄っていることを、容易かつ適切に把握することが可能となる。
また、表示部50において1つの区画境界62の左右に複数の補助線が表示されていると、運転者にとって区画境界62を視認しづらくなる。したがって、区画境界62よりも外側の補助線の明瞭度を低下させることにより、表示部50において運転者が区画境界62をより容易に視認することが可能となる。
なお、図6の例では、予想進路線202Lの左側にある補助線の数及び予想進路線202Rの右側にある補助線の数はともに2つである。したがって、運転者は、表示部50を視認することにより、車両1が駐車区画の幅方向において略中央に後退していることを、容易に把握することが可能となる。
図7は、車両1が駐車区画60の片側に寄った状態について表示部50に表示される表示映像54を例示する図である。図7は、車両1が駐車区画60の左側に偏って後退している場合の表示映像54を示している。この場合、図5の例と比較して予想進路線202Lと区画境界62Lとの間の距離が短くなるので、補助線213L,214Lだけでなく、補助線212Lも、区画境界62Lよりも外側に位置することとなる。したがって、表示映像生成部110は、補助線212L,213L,214Lの表示の明瞭度を、補助線211Lの表示の明瞭度よりも低下させるように、補助線を描画する。図7の例では、表示映像生成部110は、補助線212L,213L,214Lの表示を消去し、補助線211Lの表示の明瞭度をそのままとしている。
一方、図5の例と比較して予想進路線202Rと区画境界62Rとの間の距離が長くなるので、補助線211R,212Rだけでなく、補助線213Rも、区画境界62Rよりも内側に位置することとなる。そして、補助線214Rのみが区画境界62Rよりも外側に位置することとなる。したがって、表示映像生成部110は、補助線214Rの表示の明瞭度を、補助線211R,212R,213Rの表示の明瞭度よりも低下させるように、補助線を描画する。図7の例では、表示映像生成部110は、補助線214Rの表示を消去し、補助線211R,212R,213Rの表示の明瞭度をそのままとしている。
これにより、図7に示すように、表示部50に表示された表示映像54では、予想進路線202Lの左側にある補助線の数は1つとなり、予想進路線202Rの右側にある補助線の数は3つとなる。したがって、運転者は、表示部50を視認することにより、区画境界62Lの側の補助線の数が区画境界62Rの側の補助線の数よりも少ないことを把握できる。したがって、運転者は、表示部50を視認することにより、区画境界62Lの側に車両1が寄っていることを、容易かつ適切に把握することが可能となる。
さらに、補助線の間隔が30cmであるとすると、区画境界62Lと車両1との距離が30cm以上60cm未満となることを、運転者は容易に把握することが可能となる。したがって、運転者は、車両が後退したときの駐車区画の幅方向における車両の位置を適切に把握することが可能となる。
次に、車両1がある操舵角で後退する場合について説明する。
図8は、実施の形態1にかかる表示映像生成部110によって生成された表示映像データによって示される映像52を例示する図である。なお、図8に例示された映像52は、上述したS106の処理で生成される表示映像データに関する。したがって、図8に例示された映像52は、表示部50に表示される前の映像である。また、図8は、駐車区画の幅方向の略中央において、車両1がある操舵角で後退している場合について例示している。
図8は、実施の形態1にかかる表示映像生成部110によって生成された表示映像データによって示される映像52を例示する図である。なお、図8に例示された映像52は、上述したS106の処理で生成される表示映像データに関する。したがって、図8に例示された映像52は、表示部50に表示される前の映像である。また、図8は、駐車区画の幅方向の略中央において、車両1がある操舵角で後退している場合について例示している。
図5に示した例と同様に、図8に示す映像52は、駐車区画60と、区画境界62Lと、区画境界62Rとを含む。また、図8に示す映像52は、予想進路線202L及び予想進路線202Rを含むガイド線200を含む。図8に示す例では、表示映像生成部110は、予想進路線202L及び予想進路線202Rを、操舵角情報に示される操舵角に対応した曲線となるように描画する。この曲線の曲率は、操舵角が大きくなるにつれて大きくなる。
また、図5に示した例と同様に、図8に示す映像52は、予想進路線202Lの左側に位置する補助線211L,212L,213L,214Lを含む。同様に、図8に示す映像52は、予想進路線202Rの右側に位置する補助線211R,212R,213R,214Rを含む。図8に示す例では、表示映像生成部110は、補助線211L,212L,213L,214Lを、予想進路線202Lの湾曲形状に応じて曲線となるように描画する。同様に、表示映像生成部110は、補助線211R,212R,213R,214Rを、予想進路線202Rの湾曲形状に応じて曲線となるように描画する。これにより、補助線は、予想進路線202に対して平行に見えるように描画される。
また、図8の例においても、上述したS110の処理において、位置関係判断部114は、区画境界62Lと、補助線211L,212L,213L,214Lとの位置関係を判断する。同様に、位置関係判断部114は、区画境界62Rと、補助線211R,212R,213R,214Rとの位置関係を判断する。そして、位置関係判断部114は、補助線213R及び補助線214Rが区画境界62Rと交差していると判定する。したがて、上述したS114の処理において、表示映像生成部110は、補助線213R及び補助線214Rのうち区画境界62Rよりも外側の部分の表示の明瞭度を低下させるように、補助線を描画する。
図9は、図8に例示された映像52について表示部50に表示される表示映像54を示す図である。図9に示された表示映像54では、補助線213R及び補助線214Rの、区画境界62Rよりも外側の部分が表示されていない。一方、他の補助線は表示されている。したがって、運転者は、駐車区画60の手前側で、車両1が区画境界62Rに比較的近いことを把握することが可能となる。
図10は、車両1が駐車区画60の片側に寄った状態について表示部50に表示される表示映像54を例示する図である。図10は、車両1が、駐車区画60の左側に偏って、ある操舵角で後退している場合の表示映像54を示している。この場合、図8の例と比較して、予想進路線202Lと区画境界62Lとの間の距離が短くなるので、補助線213L,214Lが、区画境界62Lよりも外側に位置することとなる。したがって、表示映像生成部110は、補助線213L,214Lの表示を消去するように、補助線を描画する。一方、予想進路線202Rの右側には、補助線211R,212R,213R,214Rが表示されている。
さらに、図10に示す例では、補助線212Lが、区画境界62Lと交差することとなる。したがって、表示映像生成部110は、補助線212Lの区画境界62Lよりも外側の部分の表示の明瞭度を低下させるように、補助線を描画する。したがって、図10に示すように、補助線212Lと区画境界62Lとの交点Aよりも手前側については、補助線212Lが表示され、交点Aよりも奥側については、補助線212Lが表示されていない。したがって、補助線の間隔が30cmであるとすると、現在の操舵角で車両1が交点Aに対応する位置まで後退した場合、車両1が区画境界62Lに60cmの距離まで接近することを、運転者は把握することが可能となる。さらに、点Bにおいて、補助線211Lが、区画境界62Lに接近している。したがって、現在の操舵角で車両1が交点Bに対応する位置まで後退した場合、車両1が区画境界62Lに30cmの距離まで接近することを、運転者は把握することが可能となる。したがって、運転者は、車両が後退したときの駐車区画の幅方向における車両の位置を適切に把握することが可能となる。これにより、運転者は、車両1がどの位置まで後退したときに操舵角を切り替えるようにすればよいかを、容易に把握することが可能となる。
図11は、補助線の表示形態の他の例を示す図である。図6等に示した例では、補助線の表示形態は、区画境界62よりも外側の補助線の表示を消去するようなものとしたが、補助線の表示形態はこれに限られない。図11に示すように、表示映像生成部110は、区画境界62よりも外側の補助線213L,214L,213R,214Rを点線で表示するようにしてもよい。また、表示映像生成部110は、区画境界62よりも外側の補助線の濃さを、区画境界62よりも内側の補助線の濃さよりも薄くしてもよい。また、表示映像生成部110は、区画境界62よりも外側の補助線の太さを、区画境界62よりも内側の補助線よりも細くしてもよい。
このように、区画境界62よりも外側の補助線を消去しないことで、車両1から区画境界62よりも外側にある物体までの距離を、運転者が容易に把握することが可能となる。例えば、車両1が駐車しようとしている駐車区画60の隣に他の車両が存在している場合、車両1から他の車両までの距離を、運転者が容易に把握することが可能となる。
また、表示映像生成部110は、補助線の表示形態を予想進路線202の表示形態と異なるようにしてもよい。例えば、図11に示すように、表示映像生成部110は、予想進路線202を実線で表示し、補助線を破線で表示するようにしてもよい。また、表示映像生成部110は、補助線の色を予想進路線202の色と異なるようにしてもよい。また、表示映像生成部110は、補助線の太さを予想進路線202の太さと異なるようにしてもよい。また、表示映像生成部110は、補助線の濃さを予想進路線202の濃さと異なるようにしてもよい。このような表示形態とすることで、運転者は、補助線と予想進路線202とを容易に区別することが可能となる。
また、表示映像生成部110は、各補助線の表示形態を、他の補助線の表示形態と異なるようにしてもよい。この場合、表示映像生成部110は、予想進路線202に近い補助線をより目立つようにしてもよい。例えば、図11に示すように、表示映像生成部110は、予想進路線202に近い補助線ほど、太く表示するようにしてもよい。また、表示映像生成部110は、予想進路線202に近い補助線ほど、目立つ色で表示するようにしてもよい。例えば、補助線211が赤色で表示され、補助線212が橙色で表示され、補助線213が黄色で表示され、補助線214が青色で表示されてもよい。
このような表示形態とすることで、運転者は、各補助線を容易に区別することが可能となる。そして、予想進路線202に近い補助線がより目立つように表示されることで、予想進路線202に近い補助線を、運転者が容易に把握することが可能となる。これにより、目立つ表示形態の補助線が区画境界62の近くにある場合に、駐車区画60の幅方向において車両1がその区画境界62により近い位置にあることを、運転者が容易に判断することが可能となる。
(実施の形態2)
次に、実施の形態2について説明する。なお、実施の形態2にかかる車両1の構成及び表示装置40の構成については、図1~図3に示した実施の形態1にかかる構成と実質的に同様であるので、説明を省略する。
次に、実施の形態2について説明する。なお、実施の形態2にかかる車両1の構成及び表示装置40の構成については、図1~図3に示した実施の形態1にかかる構成と実質的に同様であるので、説明を省略する。
図12は、実施の形態2にかかる処理を示すフローチャートである。図12に示す処理は、図4に示したフローチャートにおいて、S108の処理とS110の処理との間で行われ得る。抽出部112は、映像データ取得部106によって取得された映像データから駐車区画の幅方向の近傍に位置する障害物を抽出する(ステップS202)。障害物の抽出は、エッジ検出等の、区画境界の抽出方法と同様の方法で行われ得る。ここで、「駐車区画の幅方向の近傍に位置する障害物」とは、映像データに関する映像において、区画境界よりも外側に表示された障害物を含む。また、区画境界が障害物で構成される場合は、その区画境界を構成する障害物を含む。
次に、位置関係判断部114は、抽出部112によって抽出された障害物と各補助線との表示映像データ上の位置関係を判断する(ステップS204)。具体的には、位置関係判断部114は、各補助線が障害物に重なるか否かを判定する。障害物に重なる補助線がない場合(ステップS206のNO)、後述するS208の処理は行われないで、図12に示した処理は終了する。一方、障害物に重なる補助線がある場合(ステップS206のYES)、表示映像生成部110は、障害物に重なる補助線の表示を、障害物に重ならない補助線の表示よりも目立つように、補助線を描画する(ステップS208)。以下、具体例を挙げて説明する。
図13は、実施の形態2にかかる表示映像54が表示部50に表示された状態を例示する図である。図13に示した表示映像54には、区画境界62Lの外側つまり左側の近傍に、例えば他の車両等の障害物70が表示されている。そして、矢印Cで示すように、補助線212Lが、障害物70で重なっている。したがって、表示映像生成部110は、補助線212Lの表示を、他の補助線の表示よりも目立つようにする。例えば、図13に示すように、表示映像生成部110は、補助線212Lを補助線211Lよりも太くするようにしてもよい。また、表示映像生成部110は、補助線212Lの色を、補助線211Lの色よりも目立つ色としてもよい。また、表示映像生成部110は、補助線212Lを点滅させるようにしてもよい。なお、実施の形態1と同様に、表示映像生成部110は、補助線212Lにおいて、区画境界62Lよりも外側の部分(矢印Dで示す)の明瞭度を、区画境界62Lよりも内側の部分(矢印Eで示す)の明瞭度よりも低下させている。
区画境界が駐車区画線で構成される場合、仮に車両1が駐車区画線を跨いだとしても、車両1又は他の物体が損傷することはない。一方、車両1が障害物70と接触すると、車両1又は障害物70が損傷するおそれがある。また、車両1を駐車区画60に停車したときに障害物70に近すぎると、車両1のドアが開いたときにドアが障害物70と接触するおそれがある。または、ドアと障害物70との接触を回避しようとすると、乗員が乗降できるほどドアを開閉することができなくなるおそれがある。
一方、実施の形態2のように、障害物70に重なる補助線を目立つように表示することで、車両1から障害物70までの距離を、運転者がより容易に把握することが可能となる。これにより、運転者は、上述したような問題を回避するように車両1をより容易に操作することが可能となる。図13に示した例では、車両1が矢印Cで示す位置に対応する位置まで後退すると、車両1が60cmまで障害物70に接近することを、運転者がより容易に把握することが可能となる。
なお、実施の形態1において、予想進路線202に近い補助線の表示形態を目立つようにし得るとしたが、障害物70に重なる補助線の表示形態は、予想進路線202に近い補助線の表示形態と異なるようにしてもよい。例えば、予想進路線202に近い補助線の色をより目立つ色とした場合、障害物70に重なる補助線が点滅するようにしてもよい。また、予想進路線202に近い補助線の太さをより太くした場合、障害物70に重なる補助線の色を他の補助線の色よりも目立つようにしてもよい。これにより、車両1と区画境界との距離と、車両1と障害物70との距離とを、運転者は容易に区別して把握することが可能となる。
(実施の形態3)
次に、実施の形態3について説明する。なお、上述した実施の形態で説明したものと実質的に同じ構成要素には、同じ符号が付される。
次に、実施の形態3について説明する。なお、上述した実施の形態で説明したものと実質的に同じ構成要素には、同じ符号が付される。
図14は、実施の形態3にかかる車両1を示す図である。車両1は、後方カメラ2と、前方カメラ3と、側面カメラ4と、表示制御装置100とを有する。前方カメラ3は、車両1の前方に設置されており、路面90を含む車両1の前方を撮影する。側面カメラ4は、車両1の左右それぞれに設置されており、路面90を含む車両1の左方及び右方を撮影する。したがって、後方カメラ2、前方カメラ3及び側面カメラ4は、車両1の周囲を撮影するカメラである。なお、実施の形態3においては、前方カメラ3及び側面カメラ4は、必ずしも必要ではない。また、実施の形態3にかかる車両1、図2に示したような内部構成を有する。
実施の形態3にかかる表示制御装置100は、車両1の任意の位置に設けられ得る。表示制御装置100は、CANに接続され得る。表示制御装置100は、後方カメラ2等によって撮影された映像に、現在の車両1からの距離又は将来の車両1の位置からの距離を示す距離を示す距離表示線を重畳するように制御を行う。詳しくは後述する。なお、このことは、後述する他の実施の形態においても同様である。
図15は、実施の形態3にかかる表示制御装置100及び表示制御装置100を有する表示装置40の構成を示す図である。表示装置40は、後方カメラ2と、認識辞書42と、表示部50と、表示制御装置100とを有する。表示制御装置100は、後方カメラ2、認識辞書42及び表示部50と通信可能に接続されている。
表示制御装置100は、車両情報取得部1102と、映像データ取得部1106と、映像処理部1110と、表示制御部1120とを有する。また、映像処理部1110は、物体検出部1112と、表示映像生成部1114とを有する。なお、実施の形態3にかかる表示装置40の少なくとも1つの構成要素又は全ての構成要素は、車両1に組み込まれていてもよいし、車両1から取り外して携帯可能であってもよい。このことは、後述する他の実施の形態においても同様である。
認識辞書42は、例えばメモリ等の記憶装置である。認識辞書42は、物体検出部1112が映像データから物体を検出するために必要な辞書データを記憶する。辞書データは、画像認識処理により車両1の目標位置を規定する物体を映像データから認識するためのデータである。例えば、認識辞書42は、この「車両1の目標位置を規定する物体」として、駐車枠線、駐車区画線、縁石、他の車両又は壁等の障害物などといった物体に関する辞書データを記憶している。なお、以下、「車両1の目標位置」が駐車区画である場合、つまり、車両1が駐車区画内に駐車を行う場合、「車両1の目標位置を規定する物体」を、駐車区画の境界である区画境界と称する。言い換えると、上述した実施の形態と同様に、「区画境界」は、上記の駐車枠線、駐車区画線、縁石、他の車両又は壁等の障害物などを含み得る。
実施の形態3にかかる表示制御装置100は、CPU等のプロセッサ、メモリ等の記憶装置、ユーザインタフェース及び各種周辺回路によって構成されている。つまり、表示制御装置100は、コンピュータとしての機能を有する。また、表示制御装置100は、記憶装置に格納されたプログラムをプロセッサが実行することによって、車両情報取得部1102、映像データ取得部1106、映像処理部1110及び表示制御部1120といった構成要素を実現する。
車両情報取得部1102は、車両1の動作に関する車両情報を、CAN及び舵角センサ等から取得する。具体的には、車両情報取得部1102は、CAN等からリバースギアが選択された旨を示す情報である後退動作情報を取得する。このとき、車両情報取得部1102は、この後退動作情報を映像処理部1110に対して出力する。
また、車両情報取得部1102は、CAN又は舵角センサ等からの信号を取得することで、車両1の車輪における操舵角を示す操舵角情報を取得する。なお、操舵角情報は、操舵角度を示す情報に加えて、右又は左といった操舵方向を示す情報も含む。なお、操舵角情報は、ステアリングホイール10の操舵角を示してもよい。車両情報取得部1102は、取得した操舵角情報を映像処理部1110に対して出力する。特に、車両情報取得部1102は、車両1の停止時または後退動作時における操舵角情報を取得する。
映像データ取得部1106は、後方カメラ2からの映像データを取得する。映像データ取得部1106は、取得した映像データを、映像処理部1110に対して出力する。ここで、映像データは、後方カメラ2により車両1の後方が撮影された映像を示すデータである。なお、車両1が後退動作により駐車区画に駐車する際に撮影された映像は、駐車区画を示す画像、及び、駐車区画の境界である区画境界を示す画像を含み得る。
また、上述した実施の形態と同様に、駐車区画とは、車両1が駐車可能な駐車スペースであり得る。例えば、路面90に描かれた白線等の駐車区画線によって駐車区画が仕切られていてもよい。この場合、区画境界つまり「車両1の目標位置を規定する物体」は、路面90に描かれた駐車区画線に対応する。また、駐車区画は、駐車区画線によって仕切られていなくてもよく、壁等の障害物で仕切られていてもよい。この場合、区画境界つまり「車両1の目標位置を規定する物体」は、障害物に対応する。また、駐車区画は、物理的に仕切られている必要はなく、単に、車両1を駐車するために十分な空間であってもよい。この場合、区画境界つまり「車両1の目標位置を規定する物体」は、隣に駐車している他の車両等に対応する。なお、駐車区画線によって駐車スペースが仕切られている場合であっても、隣の駐車スペースに駐車した他の車両が駐車区画線からはみ出して駐車していることがある。この場合、区画境界つまり「車両1の目標位置を規定する物体」は、駐車区画線からはみ出して駐車している他の車両に対応する。なお、以下、「障害物」は、壁等の、駐車区画の近傍に固定された物体だけでなく、他の車両等を含み得る。
映像処理部1110は、車両情報取得部1102から後退動作情報を取得したときに、表示部50に表示させる映像を示す表示映像データを生成するための処理を行う。そして、映像処理部1110は、生成された表示映像データを、表示制御部1120に対して出力する。
物体検出部1112は、映像データ取得部1106によって取得された映像データから、認識辞書42に記憶された辞書データを用いて、車両1の目標位置を規定する物体を検出する。ここで、「目標位置」が駐車区画である場合、物体検出部1112は、辞書データを用いて映像データから区画境界を検出する。そして、物体検出部1112は、検出された物体を示す検出データを、表示映像生成部1114に対して出力する。
具体的には、物体検出部1112は、画像認識処理により、映像データから物体つまり区画境界を認識する。区画境界の認識は、既存の様々な方法によって行われ得る。例えば、物体検出部1112は、映像データに対してエッジ検出を行って、映像データ内に含まれるオブジェクトを認識してもよい。物体検出部1112は、認識辞書42に記憶された辞書データと、映像データ内のオブジェクトとを比較して駐車区画線及び車両等を認識することで、区画境界を抽出してもよい。また、駐車区画が白線である場合、物体検出部1112は、映像データから白線を認識することで、区画境界を検出してもよい。
なお、物体検出部1112は、映像データから駐車区画を認識してもよい。駐車区画の認識は、既存の様々な方法によって行われ得る。例えば、物体検出部1112は、区画境界によって形成される矩形の領域を、駐車区画と認識してもよい。また、物体検出部1112は、映像データ取得部1106によって取得された映像データではなく、後述する表示映像生成部1114によって生成された表示映像データから、認識辞書42に記憶された辞書データを用いて、車両1の目標位置を規定する物体を検出してもよい。
表示映像生成部1114は、映像データ取得部1106によって取得された映像データに、ガイド線を重畳させた表示映像データを生成する。そして、表示映像生成部1114は、生成された表示映像データを、表示制御部1120に対して出力する。
ここで、実施の形態3にかかるガイド線は、予想進路線、後退予測軌跡、又は予想軌跡線などと言い換えることができる。ガイド線は、車両1の幅に対応し車両1の後退動作に応じて描画される。つまり、表示映像データにおいて、ガイド線の幅は、車両1の幅に対応する。そして、ガイド線は、車両1の後退動作の軌跡の予測を示している。言い換えると、ガイド線は、車両情報取得部1102によって取得された操舵角情報によって示される操舵角で車両1が後退動作を行った場合の、車両1の左端及び右端の路面90における予想軌跡を示している。したがって、表示映像生成部1114は、操舵角情報に応じて、ガイド線の形状を決定する。
さらに、実施の形態3にかかるガイド線は、車両1からの予め定められた距離を示す距離表示線を含んでもよい。また、ガイド線は、予想軌跡における位置からの予め定められた距離を示す距離表示線を含んでもよい。つまり、ガイド線は、車両1の予想軌跡を示すとともに、車両1から、区画境界等の映像データにおける各オブジェクトまでの、現在及び将来の距離を示す。詳しくは後述する。
また、表示映像生成部1114は、物体検出部1112によって検出された物体つまり区画境界の位置が距離表示線の位置に近づいた場合に、その距離表示線の位置よりも車両に近い距離の位置を示す補助線を、映像データにさらに重畳させた表示映像データを生成する。ここで、実施の形態3にかかる「補助線」は、上記のガイド線だけでは区画境界までの距離を適切に把握できないおそれがあるため、適切に距離の把握を行うことを補助するための線である。詳しくは後述する。なお、表示映像生成部1114は、操舵角情報に応じて、補助線の形状も決定し得る。このとき、補助線の形状は、ガイド線の形状に対応し得る。
表示制御部1120は、映像処理部1110の表示映像生成部1114から、表示映像データを受け付ける。そして、表示制御部1120は、表示映像生成部1114によって生成された表示映像データによる映像を、表示部50に表示させるように制御を行う。なお、後述するように、表示映像生成部1114は、映像データにおける距離表示線と区画境界つまり物体との距離に応じて、補助線を表示映像データに重畳するように処理を行う。したがって、表示制御部1120の制御によって表示される表示映像データにおいて、補助線の有無は、距離表示線と区画境界との位置関係に応じて異なり得る。
図16は、実施の形態3にかかる表示制御装置100によって実行される表示制御方法を示すフローチャートである。また、図17~図20は、車両1が後方に直進する場合に表示映像生成部1114によって生成される表示映像データに関する映像を例示する図である。また、図21~図22は、車両1がある操舵角で後退する場合に表示映像生成部1114によって生成される表示映像データに関する映像を例示する図である。以下、図17~図20に示された例を用いて図16に示すフローチャートの説明を行う。
車両情報取得部1102が車両1の後退動作を検出すると(ステップS300のYES)、車両情報取得部1102は、車両1の操舵角を示す操舵角情報を取得する(ステップS302)。また、映像データ取得部1106は、後方カメラ2からの映像データを取得する(ステップS304)。
表示映像生成部1114は、映像データ取得部1106によって取得された映像データに、距離表示線を含むガイド線を重畳させた表示映像データを生成する(ステップS306)。図17は、実施の形態3にかかる表示映像生成部1114によって生成された表示映像データによって示される後方映像56を例示する図である。図17は、表示部50が、駐車区画に向かって車両1が後方に直進している状態を示す後方映像56を表示した様子を例示している。
後方映像56は、路面90と、駐車区画60と、駐車区画60の左側に位置する区画境界62Lと、駐車区画60の右側に位置する区画境界62Rと、駐車区画60の後方に位置する区画境界62Aとを含む。これらの駐車区画60、区画境界62L、区画境界62R及び区画境界62Aを示すデータは、映像データ取得部1106によって取得された映像データに含まれる。なお、以下、区画境界62L、区画境界62R及び区画境界62Aを区別しないで説明する場合に、単に区画境界62と称する。このことは、以下で説明するガイド線についても同様である。
後方映像56は、左側の予想軌跡線1202L及び右側の予想軌跡線1202Rを含むガイド線1200を含む。つまり、ガイド線1200は、縦線で形成された一対の予想軌跡線1202を含む。このガイド線1200は、操舵角情報に応じて、表示映像生成部1114によって描画される。なお、後方映像56は車両1の後方の映像であるので、予想軌跡線1202Lは、車両1の右端の予想軌跡に対応し、予想軌跡線1202Rは、車両1の左端の予想軌跡に対応する。
また、ガイド線1200は、現在の車両1の後端からの距離を示す距離表示線1204A,1204B,1204C,1204Dを含む。つまり、ガイド線1200は、横線で形成され車両1からの予め定められた距離を示す距離表示線1204を含む。距離表示線1204Aは、車両1の後端から距離Daの位置を示す。同様に、距離表示線1204B,1204C,1204Dは、それぞれ、車両1の後端から距離Db,距離Dc,距離Ddの位置を示す。例えば、距離Da,距離Db,距離Dc,距離Ddは、それぞれ、0.4m,1.0m,2.0m,3.0mである。なお、距離表示線1204の数は任意である。
なお、予想軌跡線1202Lは、車両1の予想軌跡において、車両1の右側面から0.0mの距離を示す。同様に、予想軌跡線1202Rは、車両1の予想軌跡において、車両1の左側面から0.0mの距離を示す。したがって、予想軌跡線1202L及び予想軌跡線1202Rも、距離表示線であるといえる。このことは、後述する実施の形態4にかかる予想軌跡線についても同様である。
このように、後方映像56にガイド線1200が含まれることによって、運転者は、現在の操舵角で車両1が後退したときの車両1の予想軌跡を把握することが可能となる。また、距離表示線1204が表示されていることによって、運転者は、車両1の後端から区画境界62Aまでのおおよその距離を把握することが可能となる。
物体検出部1112は、映像データ取得部1106によって取得された映像データから、駐車区画の区画境界、つまり「車両1の目標位置を規定する物体」を抽出する(ステップS308)。図17の例では、物体検出部1112は、後方映像56に関する映像データから、区画境界62L、区画境界62R及び区画境界62Aを抽出する。
次に、表示映像生成部1114は、距離表示線Nに対応する位置に、区画境界62の位置が近づいたか否かを判断する(ステップS312)。ここで、距離表示線Nは、距離表示線1204A,1204B,1204C,1204Dのいずれかである。好適には、距離表示線Nは、区画境界62に対して車両1の側つまり手前側にある距離表示線1204である。さらに好適には、距離表示線Nは、区画境界62に対して車両1の側つまり手前側にある複数の距離表示線1204の位置のうち、区画境界62の位置に最も近い位置に対応する距離表示線1204(第1の距離表示線)である。なお、図17の例では、表示映像生成部1114は、区画境界62Aの位置が、車両1の進行方向に沿って距離表示線1204Dに対応する位置に近づいたか否かについて判断する。また、「距離表示線Nに対応する位置」とは、実際の路面90において、車両1の後端から距離表示線Nが示す距離の位置のことをいう。例えば、距離表示線1204Dに対応する位置とは、車両1の後端から距離Dd(=2.0m)の位置のことをいう。
ここで、表示映像生成部1114は、区画境界62Aの位置と距離表示線Nに対応する位置との距離ΔDnが予め定められた閾値Dth以下となったと判断された場合、つまりΔDn≦Dthとなった場合に、距離表示線Nの位置に、区画境界62の位置が近づいたと判断する。言い換えると、表示映像生成部1114は、ΔDn≦Dthとなったか否かを判断する(S312)。つまり、表示映像生成部1114は、物体検出部1112によって検出された物体つまり区画境界62の位置と距離表示線Nに対応する位置との距離が予め定められた第1の閾値以下となったか否かを判断する。
なお、距離表示線Nが示す距離、つまり車両1の後端から距離表示線Nに対応する位置までの距離をDnとし、車両1の後端から区画境界62Aまでの距離をDxとすると、ΔDn=Dx-Dnである。例えば、距離表示線Nが距離表示線1204Dである場合、ΔDn=Dx-Ddである。また、ΔDnは、区画境界62の位置と距離表示線1204の位置との間の距離の最小値、つまり、区画境界62の位置と距離表示線1204の位置とが最も近い箇所における距離であってもよい。
また、閾値Dthは、各距離表示線1204について一定でなくてもよく、距離表示線1204ごとに異なってもよい。つまり、距離表示線1204Aに関する閾値Dthと、距離表示線1204Dに関する閾値Dthとは、互いに異なってもよい。なお、距離表示線1204Dに関する閾値Dthは、例えば0.2mであってもよい。つまり、Da=3.0mの例において、車両1の後端から区画境界62Aまでの距離Dxが3.2mとなった場合に、表示映像生成部1114は、距離表示線Nに対応する位置に、区画境界62が近づいたと判断してもよい。
なお、表示映像生成部1114は、ΔDn≦Dthであるか否かの判断を、画像処理によって行ってもよい。例えば、表示映像生成部1114は、表示映像データにおける区画境界62の画像と距離表示線Nの画像との間の画素数から、ΔDnを算出してもよい。ここで、遠近法により、奥行きの位置に応じて、画素数と距離との関係は変わってくる。したがって、表示映像生成部1114は、表示映像データにおいて、奥行きに応じて画素数と距離との関係を記憶してもよい。さらに、表示映像生成部1114は、各距離表示線1204の近傍の画素数とその距離表示線1204に対応する位置の実際の距離との関係を記憶しておいてもよい。そして、表示映像生成部1114は、表示映像データにおいて、区画境界62の画像と距離表示線Nの画像との間の画素数をカウントし、その画素数に応じて、ΔDnを算出してもよい。
距離表示線Nに対応する位置に区画境界62が近づいていないと判断された場合、つまりΔDn≦Dthとなっていないと判断された場合(S312のNO)、後述するS314の処理は行われないで、処理はS316に進む。一方、距離表示線Nに対応する位置に区画境界62が近づいたと判断された場合、つまりΔDn≦Dthとなったと判断された場合(S312のYES)、表示映像生成部1114は、距離表示線Nの位置よりも車両1に近い距離の位置に、補助線を重畳する(ステップS314)。つまり、表示映像生成部1114は、このとき、距離表示線Nの位置よりも車両1に近い距離の位置を示す補助線を、映像データにさらに重畳させた表示映像データを生成する。そして、表示制御部1120は、表示映像生成部1114によって生成された表示映像データによる映像を、表示部50に表示させる(ステップS316)。
図17の例では、区画境界62Aに最も近づいた距離表示線1204は、距離表示線1204Dである。したがって、表示映像生成部1114は、距離表示線1204Dに対応する位置と区画境界62Aの位置との距離ΔDnを算出する。そして、表示映像生成部1114は、ΔDn>Dthである、つまり距離表示線1204Dに対応する位置に区画境界62Aが近づいていないと判断する(S312のNO)。したがって、図17の例では、表示映像生成部1114は、映像データに補助線を重畳させていない。
図18は、図17に示した状態よりも車両1がさらに後退した状態を示した後方映像56を例示する図である。図18に示した状態では、図17に示した状態よりも、区画境界62Aの位置が距離表示線1204Dの位置に近づいている。ここで、表示映像生成部1114は、距離表示線1204Dに対応する位置と区画境界62Aの位置との距離ΔDnを算出し、その結果、ΔDn≦Dthであったとする。
この場合、S312の処理で、表示映像生成部1114は、ΔDn≦Dthであると判断する。つまり、表示映像生成部1114は、距離表示線1204Dに対応する位置に区画境界62が近づいたと判断する(S312のYES)。したがって、表示映像生成部1114は、距離表示線1204Dの位置よりも車両1に近い距離の位置を示す補助線1300Dを重畳させる(S314)。ここで、補助線1300Dの表示形態は、距離表示線1204の表示形態とは異なるようにしてもよい。図18の例では、距離表示線1204が実線であるのに対し、補助線1300Dは破線で示されている。また、補助線1300Dの太さを、距離表示線1204よりも細くしてもよい。このことは、他の補助線1300及び他の実施の形態にかかる補助線についても同様である。
このように、補助線1300Dが重畳されることによって、区画境界62Aの近傍において車両1の後端からの距離を示す線が多く表示されることとなる。したがって、運転者は、車両1の後端から区画境界62Aまでの距離を、ある程度、定量的に把握することができる。つまり、運転者は、車両1の後端が区画境界62Aまでどれくらい近づいたかを、ある程度、定量的に把握することができる。さらに言い換えると、運転者は、車両1をあとどれだけ後退させると区画境界62Aにどれだけ近づくかを、ある程度、定量的に把握することができる。したがって、運転者は、区画境界62Aまでの距離を適切に把握することができる。さらに、補助線1300Dが後方映像56に表れることで、車両1の後端から区画境界62Aまでの距離が3.0m近傍となったことを、運転者は即座に把握することができる。
ここで、好ましくは、表示映像生成部1114は、距離表示線1204Dと距離表示線1204Cとの間に、補助線1300Dを重畳して表示させる。つまり、車両1の後端から補助線1300Dの位置までの距離をDsdとすると、Dd>Dsd>Dcである。また、上述の例のように、Dd=3.0m、Dc=2.0のとき、Dsd=2.5mとしてもよい。このとき、補助線1300Dは、距離表示線1204Dと距離表示線1204Cとの間の距離を2等分した位置を示す。
図19は、図18に示した状態よりも車両1がさらに後退した状態を示した後方映像56を例示する図である。図19に示した状態では、区画境界62Aの位置が距離表示線1204Cの位置に近づいている。なお、距離表示線1204Dは、区画境界62Aよりも車両1から遠くの位置となっている。このとき、表示映像生成部1114は、距離表示線1204Cに対応する位置と区画境界62Aの位置との距離ΔDnを算出し、その結果、ΔDn≦Dthであったとする。
この場合、S312の処理で、表示映像生成部1114は、ΔDn≦Dthであると判断する。つまり、表示映像生成部1114は、距離表示線1204Cに対応する位置に区画境界62が近づいたと判断する(S312のYES)。したがって、表示映像生成部1114は、距離表示線1204Cの位置よりも車両1に近い距離の位置を示す補助線1300Cを重畳させる(S314)。このように、補助線1300Cが重畳されることによって、運転者は、区画境界62Aまでの距離を適切に把握することができる。さらに、補助線1300Cが後方映像56に表れることで、車両1の後端から区画境界62Aまでの距離が2.0m近傍となったことを、運転者は即座に把握することができる。
ここで、図18の例のように、表示映像生成部1114は、距離表示線1204Cと距離表示線1204Bとの間に、補助線1300Dを重畳して表示させる。つまり、車両1の後端から補助線1300Cの位置までの距離をDscとすると、Dc>Dsc>Dbである。また、上述の例のように、Dc=2.0m、Db=1.0のとき、Dsc=1.5mとしてもよい。このとき、補助線1300Cは、距離表示線1204Cと距離表示線1204Bとの間の距離を2等分した位置を示す。
図20は、図19に示した状態よりも車両1がさらに後退した状態を示した後方映像56を例示する図である。図20に示した状態では、区画境界62Aの位置が距離表示線1204Aの位置に近づいている。なお、距離表示線1204D,1204C,1204Bは、区画境界62Aよりも車両1から遠くの位置となっている。このとき、表示映像生成部1114は、距離表示線1204Aに対応する位置と区画境界62Aの位置との距離ΔDnを算出し、その結果、ΔDn≦Dthであったとする。
この場合、S312の処理で、表示映像生成部1114は、ΔDn≦Dthであると判断する。つまり、表示映像生成部1114は、距離表示線1204Aに対応する位置に区画境界62が近づいたと判断する(S312のYES)。したがって、表示映像生成部1114は、距離表示線1204Aの位置よりも車両1に近い距離の位置を示す補助線1300Aを重畳させる(S314)。このように、補助線1300Aが重畳されることによって、運転者は、区画境界62Aまでの距離を適切に把握することができる。さらに、補助線1300Aが後方映像56に表れることで、車両1の後端から区画境界62Aまでの距離が0.4m近傍となったことを、運転者は即座に把握することができる。
ここで、距離表示線1204Aは、複数の距離表示線1204のうち車両1に最も近い距離表示線1204である。この場合は、表示映像生成部1114は、距離表示線1204Aと車両1の後端との間に、補助線1300Aを重畳して表示させる。つまり、車両1の後端から補助線1300Aの位置までの距離をDsaとすると、Da>Dsa>0である。また、上述の例のように、Da=0.4mのとき、Dsa=0.2mとしてもよい。このとき、補助線1300Aは、距離表示線1204Aと車両1の後端との間の距離を2等分した位置を示す。
なお、表示映像生成部1114は、車両1に最も近い距離表示線1204である距離表示線1204Aに関する補助線1300Aを、他の補助線1300よりも目立つような表示形態で重畳して表示するようにしてもよい。例えば、補助線1300Aを赤色等の目立つ色で表示するようにしてもよい。また、補助線1300Aを他の補助線1300よりも太く表示するようにしてもよい。また、補助線1300Aを点滅させるようにして表示するようにしてもよい。
補助線1300Aが表示されるということは、車両1の後端と区画境界62Aとの間の距離が、車両1の後端に最も近い距離表示線1204Aが示す距離と同じ程度となるほど、車両1が区画境界62Aに接近していることである。したがって、上記のように補助線1300Aを目立つような表示形態で表示させることで、運転者に対し、車両1が区画境界62Aに接近していることを警告することができる。
上述したように、本実施の形態にかかる表示制御装置100は、区画境界62が距離表示線1204に近づいた場合に、その距離表示線1204よりも近い位置を示す補助線1300をさらに重畳させた表示映像データを生成する。したがって、区画境界62Aの近傍において車両1の後端からの距離を示す線が多く表示されることとなる。これにより、運転者は、補助線1300が表示されない場合と比較して、一見して精度よく、車両1の後端から区画境界62Aまでの距離を把握することができる。したがって、本実施の形態にかかる表示制御装置100は、区画境界62Aまでの距離を運転者が適切にかつ迅速に把握することを可能とする。
また、上述したように、本実施の形態においては、区画境界62Aがある距離表示線1204に近づいた場合に、その距離表示線1204に関する補助線1300が重畳されるように構成されている。言い換えると、区画境界62Aの位置に最も近い位置に対応する距離表示線1204に関する補助線1300のみが表示され、他の距離表示線1204に関する補助線1300は表示されない。ここで、常に全ての補助線1300が表示されていると、表示内容が複雑となるので、運転者にとって煩わしく、したがって運転者が直ぐに区画境界62Aまでの距離を把握することが、困難となってしまうおそれがある。これに対し、本実施の形態においては、上述したように全ての補助線1300が表示されるわけではなく、区画境界62Aの近傍の補助線1300のみが表示される。したがって、表示映像は複雑でないにも関わらず、運転者の知りたい情報、つまり区画境界62A近傍の距離情報は、詳細に表示されることとなる。したがって、運転者は、さらに適切にかつ迅速に区画境界62Aまでの距離を把握することができる。
また、上述したように、本実施の形態においては、例えば図18の例において、区画境界62Aの位置に最も近い位置に対応する距離表示線1204D(第1の距離表示線)と距離表示線1204Dと隣り合い距離表示線1204Dよりも車両1に近い距離を示す距離表示線1204C(第2の距離表示線)との間に、補助線1300Dが重畳されるように構成されている。これにより、補助線1300が示す距離を運転者が把握していなくても、補助線1300が示す大凡の距離を、運転者は直感的に把握することができる。
さらに、上述した例では、補助線1300が、互いに隣り合う距離表示線1204の間の距離を整数等分(例えば2等分)した位置を示している。つまり、以下の式(1)が成り立つように、補助線1300が重畳され得る。
式(1):
Dsn=D(n-1)+k*{Dn-D(n-1)}/M
ここで、M及びkは整数であり、k<Mである。また、D(n-1)は、距離表示線Nの1つ手前の距離表示線が示す距離である。これにより、互いに隣り合う距離表示線1204とそれらの間の補助線1300とが目盛りの役割を果たすので、運転者は、車両1から区画境界62Aまでの距離をさらに精度よく把握することができる。
式(1):
Dsn=D(n-1)+k*{Dn-D(n-1)}/M
ここで、M及びkは整数であり、k<Mである。また、D(n-1)は、距離表示線Nの1つ手前の距離表示線が示す距離である。これにより、互いに隣り合う距離表示線1204とそれらの間の補助線1300とが目盛りの役割を果たすので、運転者は、車両1から区画境界62Aまでの距離をさらに精度よく把握することができる。
また、上述したように、本実施の形態では、補助線1300の表示形態と距離表示線1204の表示形態が区別されている。これにより、定規の目盛りのように、どの線がどの距離を示すかを、運転者が容易に把握することができる。したがって、運転者は、より適切かつ迅速に、区画境界62Aまでの距離を把握することができる。
補助線1300が重畳表示された後の処理例について説明する。例えば、車両1が後退することで図18に示した状態から図19に示した状態へ推移する際、補助線1300Dの表示は、区画境界62Aが距離表示線1204Dの位置を超えて補助線1300Dの位置に来るまで継続され得る。そして、補助線1300Dの表示は、補助線1300Dの位置に区画境界62Aが達したときに終了し得る。図19に示した補助線1300Cについても同様である。なお、補助線1300Aの表示は、区画境界62Aが補助線1300Aの位置まで達した場合であっても継続することが好ましい。これらの補助線1300の表示終了処理は、他の実施の形態においても共通する。
上述した実施の形態においては、車両1の進行方向に対して補助線を重畳表示する例について説明した。次に、車両1の幅方向に対して補助線を重畳表示する場合について説明する。
図21は、実施の形態3にかかる表示映像生成部1114によって生成された表示映像データによって示される後方映像56を例示する図である。図21は、表示部50が、駐車区画に向かって車両1がある操舵角で後退している状態を示す後方映像56を表示した様子を例示している。
図21は、実施の形態3にかかる表示映像生成部1114によって生成された表示映像データによって示される後方映像56を例示する図である。図21は、表示部50が、駐車区画に向かって車両1がある操舵角で後退している状態を示す後方映像56を表示した様子を例示している。
図17に示した例と同様に、図21に示す後方映像56は、駐車区画60と、区画境界62Lと、区画境界62Rと、区画境界62Aを含む。また、図21に示す後方映像56は、予想軌跡線1202L及び予想軌跡線1202Rと、距離表示線1204A,1204B,1204C,1204Dとを含むガイド線1200を含む。図21に示す例では、表示映像生成部1114は、予想軌跡線1202L及び予想軌跡線1202Rを、操舵角情報に示される操舵角に対応した曲線となるように描画する。この曲線の曲率は、操舵角が大きくなるにつれて大きくなる。また、表示映像生成部1114は、この予想軌跡線1202L及び予想軌跡線1202Rの湾曲に対応して、距離表示線1204A,1204B,1204C,1204Dを傾くように描画する。
また、図21に示した例では、ガイド線1200は、予想軌跡線1202Lの左側及び予想軌跡線1202Rの右側に、それぞれ、距離表示線1206L及び距離表示線1206Rをさらに含む。距離表示線1206Lは、予想軌跡線1202Lから左側に距離Dlの位置を示す。距離表示線1206Rは、予想軌跡線1202Rから左側に距離Drの位置を示す。例えば、Dl=Dr=1.0mである。また、距離表示線1206の形状は、予想軌跡線1202と同様に、操舵角に連動して湾曲している。これにより、距離表示線1206は、予想軌跡線1202に対して平行に見えるように描画される。なお、予想軌跡線1202は、車両1の予想軌跡における位置から0.0mの距離の位置を示している。したがって、予想軌跡線1202も、距離表示線であるといえる。なお、図21の例では、距離表示線1206の数は、左右に1本ずつであるが、距離表示線1206の数は任意である。
図21の例においても、表示映像生成部1114は、距離表示線Nに対応する位置に、区画境界62の位置が近づいたか否かを判断する(S312)。ここで、図21の例では、距離表示線Nは距離表示線1206Lであり、区画境界62は区画境界62Lである。表示映像生成部1114は、区画境界62Lの位置と距離表示線1206Lに対応する位置とが最も接近している箇所(矢印Aで示す)の距離ΔDnが予め定められた閾値Dth以下となったか否かを判断する。なお、上述したように、距離ΔDnの算出方法については、画像処理によって行ってもよい。つまり、表示映像生成部1114は、ある奥行きにおける距離と画素数との関係を予め記憶しておき、矢印Aで示す箇所において、区画境界62Lの位置と距離表示線1206Lに対応する位置との間の画素数から、ΔDnを算出してもよい。なお閾値Dthは、距離表示線1204に関するものと同じである必要はない。さらに、閾値Dthは、距離表示線1206Lと距離表示線1206Rとで同じである必要はない。
図21の例では、表示映像生成部1114は、ΔDn>Dthである、つまり距離表示線1206Lに対応する位置に区画境界62Lが近づいていないと判断する(S312のNO)。したがって、表示映像生成部1114は、映像データに補助線を重畳させていない。
図22は、図21に示した状態よりも車両1がさらに後退した状態を示した後方映像56を例示する図である。図22に示した状態では、図21に示した状態よりも、区画境界62Lの位置が距離表示線1206Lの位置に近づいている。ここで、表示映像生成部1114は、距離表示線1206Lに対応する位置と区画境界62Lの位置との距離ΔDnを算出し、その結果、ΔDn≦Dthであったとする。
この場合、S312の処理で、表示映像生成部1114は、ΔDn≦Dthであると判断する。つまり、表示映像生成部1114は、距離表示線1206Lに対応する位置に区画境界62Lが近づいたと判断する(S312のYES)。したがって、表示映像生成部1114は、距離表示線1206Lの位置よりも車両1の予想軌跡線1202に近い距離の位置を示す補助線1310Lを重畳させる(S314)。なお、距離表示線1206が実線で示されているのに対し、補助線1310Lは、破線で示されている。
このように、補助線1310Lが重畳されることによって、運転者は、予想軌跡線1202Lから区画境界62Lまでの距離を、ある程度、定量的に把握することができる。つまり、運転者は、現在の操舵角で車両1が矢印Bに対応する位置まで後退した場合に、車両1が区画境界62Lまでどれくらい近づくかを、把握することができる。したがって、運転者は、予想される車両1の軌跡から区画境界62Lまでの距離を適切に把握することができる。さらに、補助線1310Lが後方映像56に表れることで、現在の操舵角で車両1が後退したときに区画境界62Lまでの距離が1.0m近傍となることを、運転者は即座に把握することができる。
ここで、表示映像生成部1114は、補助線1310Lを、予想軌跡線1202L及び距離表示線1206Lの湾曲形状に応じて曲線となるように描画する。したがって、補助線1310Lは、予想軌跡線1202及び距離表示線1206Lに対して平行に見えるように描画される。
ここで、好ましくは、表示映像生成部1114は、距離表示線1206Lと予想軌跡線1202Lとの間に、補助線1310Lを重畳して表示させる。つまり、予想軌跡線1202Lから補助線1310Lの位置までの距離をDslとすると、Dl>Dsl>0である。また、上述の例のように、Dl=1.0m、Dsl=0.5mとしてもよい。このとき、補助線1310Lは、距離表示線1206Lと予想軌跡線1202Lとの間の距離を2等分した位置を示す。つまり、補助線1310Lは、距離表示線1206Lと予想軌跡線1202Lとの間の距離を整数等分した位置を示す。これにより、運転者は、車両1の予想される軌跡から区画境界62Lまでの距離をさらに精度よく把握することができる。
このように、実施の形態3にかかる表示制御装置100は、図21及び図22に示した例においても、図17~図20に示した例と同様の効果を奏することができる。例えば、本実施の形態にかかる表示制御装置100は、区画境界62Lまでの距離を運転者が適切にかつ迅速に把握することを可能とする。また、図21及び図22に示した例においても、距離表示線1206L(第1の距離表示線)と距離表示線1206Lと隣り合い距離表示線1206Lよりも車両1に近い距離を示す予想軌跡線1202L(第2の距離表示線)との間に、補助線1310Lが重畳されるように構成されている。これにより、補助線1310が示す距離を運転者が把握していなくても、補助線1310が示す大凡の距離を、運転者は直感的に把握することができる。また、補助線1310の表示形態と距離表示線1206の表示形態が区別されていることにより、運転者は、より適切かつ迅速に、区画境界62Lまでの距離を把握することができる。
(実施の形態3の変形例)
次に、実施の形態3の変形例について説明する。この変形例では、表示映像生成部1114は、物体検出部1112によって認識された区画境界62の位置よりも車両1の後端から遠くの位置に対応するガイド線1200の部分の表示形態を変化させる。
次に、実施の形態3の変形例について説明する。この変形例では、表示映像生成部1114は、物体検出部1112によって認識された区画境界62の位置よりも車両1の後端から遠くの位置に対応するガイド線1200の部分の表示形態を変化させる。
図23は、実施の形態3の変形例にかかる処理を示すフローチャートである。また、図24~図25は、実施の形態3の変形例にかかる後方映像56の例を示す図である。図23に示した処理は、図16に示したフローチャートのうち、S308の次の処理からS314の前の処理を変形したものに対応する。また、図24は、図19に示した後方映像56の変形例に対応する。図25は、図20に示した後方映像56の変形例に対応する。なお、以下に説明する例は、図21~図22に示した、車両1がある操舵角で後退する場合についても適用可能である。
図16のS308の処理の後、表示映像生成部1114は、後方映像56つまり表示映像データにおいて、区画境界62の位置よりも外側の位置に対応するガイド線1200の部分があるか否かを判断する(ステップS322)。区画境界62の位置よりも外側の位置に対応するガイド線1200の部分がないと判断された場合(S322のNO)、後述するS324の処理は行われないで、処理はS326に進む。一方、区画境界62の位置よりも外側の位置に対応するガイド線1200の部分があると判断された場合(S322のYES)、表示映像生成部1114は、区画境界62の位置よりも車両1の後端から遠方の位置に対応するガイド線1200の部分を消去するようにする(ステップS324)。
そして、表示映像生成部1114は、表示形態が変化しなかった距離表示線1204のうち、車両1の後端から最も遠方の距離表示線1204の位置に区画境界62の位置が近づいたか否かを判断する(ステップS326)。この処理は、実施の形態3にかかるS312の処理に対応する。ここで、この変形例における「車両1の後端から最も遠方の距離表示線1204」は、実施の形態3における「距離表示線N」に対応する。したがって、「車両1の後端から最も遠方の距離表示線1204」の位置と区画境界62の位置との距離をΔDnとすると、表示映像生成部1114は、ΔDn≦Dthとなったか否かを判断する。
車両1の後端から最も遠方の距離表示線1204の位置に区画境界62の位置が近づいたと判断された場合(S326のYES)、処理は上述したS314の処理に進む。一方、車両1の後端から最も遠方の距離表示線1204の位置に区画境界62の位置が近づいていないと判断された場合(S326のNO)、処理は上述したS316の処理に進む。以降の処理については、図16を用いて上述した実施の形態3にかかる処理と実質的に同様であるので、説明を省略する。
図24に示す例では、表示映像生成部1114は、予想軌跡線1202のうち、区画境界62Aよりも遠方の位置に対応する部分を消去している。また、表示映像生成部1114は、距離表示線1204のうち、区画境界62Aよりも遠方の位置に対応する距離表示線1204Dを消去している。そして、表示映像生成部1114は、距離表示線1204Dが消去された後方映像56において、最も遠方の距離表示線1204である距離表示線1204Cの位置に区画境界62Aの位置が近づいたので(S326のYES)、補助線1300Cを重畳して表示させている。
図25に示す例では、表示映像生成部1114は、予想軌跡線1202のうち、区画境界62Aよりも遠方の位置に対応する部分を消去している。また、表示映像生成部1114は、距離表示線1204のうち、区画境界62Aよりも遠方の位置に対応する距離表示線1204D,1204C,1204Bを消去している。そして、表示映像生成部1114は、距離表示線1204D,1204C,1204Bが消去された後方映像56において、車両1の後端から最も遠方の距離表示線1204である距離表示線1204Aの位置に区画境界62Aの位置が近づいたので(S326のYES)、補助線1300Aを重畳して表示させている。
実施の形態3の変形例においては、区画境界62Aよりも遠方のガイド線1200の部分が消去されている。ここで、区画境界62Aよりも遠方については、車両1は実質的に侵入しないので、運転者にとってガイド線1200の表示は不要である。したがって、実施の形態3の変形例においては、不要な表示である、区画境界62Aよりも遠方のガイド線1200の部分を変化させることで、運転者は、区画境界62Aまでの距離を、より適切にかつ迅速に把握することが可能となる。さらに、実施の形態3の変形例においては、車両1が区画境界62Aに近づくほど、ガイド線1200が短くなり、表示されている距離表示線1204の数が減少していくように構成されている。したがって、運転者は、車両1の後端が区画境界62Aにどれだけ近づいたかを、より直観的に認識することが可能となる。
なお、上述した説明では、表示映像生成部1114がこのガイド線1200の部分の表示を消去するようにする例を示したが、このような構成に限られない。表示映像生成部1114は、このガイド線1200の部分の表示を少なくとも目立たなくなるように変化させればよい。例えば、表示映像生成部1114は、このガイド線1200の部分の表示の色を薄くしてもよい。また、例えば、表示映像生成部1114は、このガイド線1200の部分を破線で示すようにしてもよい。
(実施の形態4)
次に、実施の形態4について説明する。実施の形態4は、表示部50に俯瞰映像が表示される点で、実施の形態3と異なる。なお、実施の形態4にかかる車両1のハードウェア構成については、実施の形態3にかかるものと実質的に同様であるので、説明を省略する。なお、俯瞰映像とは、あたかも上方の視点から車両の周囲を見下ろしたように疑似表示された映像である。
次に、実施の形態4について説明する。実施の形態4は、表示部50に俯瞰映像が表示される点で、実施の形態3と異なる。なお、実施の形態4にかかる車両1のハードウェア構成については、実施の形態3にかかるものと実質的に同様であるので、説明を省略する。なお、俯瞰映像とは、あたかも上方の視点から車両の周囲を見下ろしたように疑似表示された映像である。
図26は、実施の形態4にかかる表示制御装置100及び表示制御装置100を有する表示装置40の構成を示す図である。表示装置40は、俯瞰映像用カメラ8と、認識辞書42と、表示部50と、表示制御装置100とを有する。俯瞰映像用カメラ8は、後方カメラ2と、前方カメラ3と、側面カメラ4とから構成される。表示制御装置100は、車両情報取得部1102と、映像データ取得部1106と、映像処理部1110と、表示制御部1120とを有する。また、映像処理部1110は、物体検出部1112と、表示映像生成部1114とを有する。また、表示映像生成部1114は、俯瞰映像生成部1116を有する。これらの構成要素のうち、実施の形態3にかかるものと実質的に同様の機能については、説明を省略する。
映像データ取得部1106は、俯瞰映像用カメラ8を構成する後方カメラ2、前方カメラ3及び側面カメラ4からの映像データを取得する。映像データ取得部1106は、取得した映像データを、映像処理部1110に対して出力する。
俯瞰映像生成部1116は、車両1の周囲の映像を車両1の上方から見たように視点変換した俯瞰映像を生成する。具体的には、俯瞰映像生成部1116は、後方カメラ2、前方カメラ3及び側面カメラ4からの映像データに関する各映像について、車両1の上方から見たように視点変換を行う。そして、俯瞰映像生成部1116は、視点変換した各映像を、仮想的な車両1の画像である車両アイコンに合成することで、俯瞰映像を示す俯瞰映像データを生成する。なお、用語「映像データ」は、この俯瞰映像データも含み得る。
物体検出部1112は、俯瞰映像生成部1116によって生成された俯瞰映像データから、認識辞書42に記憶された辞書データを用いて、区画境界等の、車両1の目標位置を規定する物体を検出する。また、実施の形態4において、認識辞書42は、物体を上方から見た画像に関する辞書データを記憶している。なお、物体検出部1112が物体を検出する方法については、実施の形態3にかかる方法と実質的に同様である。
表示映像生成部1114は、俯瞰映像生成部1116によって生成された俯瞰映像データに、ガイド線を重畳させた表示映像データを生成する。そして、表示映像生成部1114は、生成された表示映像データを、表示制御部1120に対して出力する。表示制御部1120は、表示映像生成部1114によって生成された表示映像データによる映像を、表示部50に表示させるように制御を行う。したがって、実施の形態4においては、表示部50は、俯瞰映像生成部1116によって生成された俯瞰映像データに対応する俯瞰映像を表示する。
図27は、実施の形態4にかかる表示制御装置100によって実行される表示制御方法を示すフローチャートである。また、図28~図30は、車両1がある操舵角で後退して後方の車輪止めに近づく場合に表示映像生成部1114によって生成される表示映像データに関する俯瞰映像を例示する図である。図31~図32は、車両1が後退して側方にある縁石に近づく場合に表示映像生成部1114によって生成される表示映像データに関する俯瞰映像を例示する図である。以下、図28~図30に示された例を用いて図27に示すフローチャートの説明を行う。
車両情報取得部1102が車両1の後退動作を検出すると(ステップS400のYES)、車両情報取得部1102は、車両1の操舵角を示す操舵角情報を取得する(ステップS402)。また、映像データ取得部1106は、俯瞰映像用カメラ8からの映像データを取得する(ステップS404)。
俯瞰映像生成部1116は、上述したようにして、俯瞰映像データを生成する(ステップS405)。そして、表示映像生成部1114は、俯瞰映像生成部1116によって生成された俯瞰映像データに、距離表示線を含むガイド線を重畳させた表示映像データを生成する(ステップS406)。
図28は、実施の形態4にかかる表示映像生成部1114によって生成された表示映像データによって示される俯瞰映像58を例示する図である。図28は、駐車区画60において車両1がある操舵角で車輪止め64に向かって後退している状態を示す俯瞰映像58を、表示部50が表示した様子を例示している。
俯瞰映像58は、車両1の仮想的な画像である車両アイコン58aと、駐車区画60と、車輪止め64とを含む。ここで、車輪止め64は、車両1の駐車位置を規定するものであるから、区画境界、つまり「車両1の目標位置を規定する物体」である。
また、俯瞰映像58は、車両1の左側の予想軌跡線1222Lと車両1の右側の予想軌跡線1222Rを含むガイド線1220を含む。つまり、ガイド線1220は、縦線で形成された一対の予想軌跡線1222を含む。このガイド線1220は、操舵角情報に応じて、表示映像生成部1114によって描画される。実施の形態3と同様に、表示映像生成部1114は、予想軌跡線1222L及び予想軌跡線1222Rを、操舵角情報に示される操舵角に対応した曲線となるように描画する。
また、ガイド線1220は、現在の車両1の後端からの距離を示す距離表示線1224A,1224B,1224Cを含む。つまり、ガイド線1220は、横線で形成され車両1からの予め定められた距離を示す距離表示線1224を含む。表示映像生成部1114は、予想軌跡線1222L及び予想軌跡線1222Rの湾曲に対応して、距離表示線1224A,1224B,1224Cを傾くように描画する。距離表示線1224Aは、車両1の後端から距離Daの位置を示す。同様に、距離表示線1224B,1224Cは、それぞれ、車両1の後端から距離Db,距離Dcの位置を示す。実施の形態3と同様に、例えば、距離Da,距離Db,距離Dcは、それぞれ、0.4m,1.0m,2.0mである。
このように、俯瞰映像58にガイド線1220が含まれることによって、運転者は、車両1の予想軌跡を把握することが可能となる。また、距離表示線1224が表示されていることによって、運転者は、車両1の後端から車輪止め64までの大凡の距離を把握することが可能となる。
物体検出部1112は、俯瞰映像生成部1116によって生成された俯瞰映像データから、駐車区画の区画境界、つまり「車両1の目標位置を規定する物体」を抽出する(ステップS408)。図28の例では、物体検出部1112は、俯瞰映像58に関する俯瞰映像データから、車輪止め64を抽出する。
次に、表示映像生成部1114は、距離表示線Nに対応する位置に、車輪止め64の位置が近づいたか否かを判断する(ステップS412)。距離表示線Nは、実施の形態3と実質的に同様であり、距離表示線1224A,1224B,1224Cのいずれかである。なお、図28の例では、表示映像生成部1114は、車輪止め64の位置が、車両1の進行方向に沿って距離表示線1204Cに対応する位置に近づいたか否かについて判断する。
ここで、表示映像生成部1114は、車輪止め64の位置と距離表示線Nに対応する位置との距離ΔDnが予め定められた閾値Dth以下となったと判断された場合、つまりΔDn≦Dthとなった場合に、距離表示線Nの位置に、車輪止め64の位置が近づいたと判断する。なお、実施の形態3と同様に、閾値Dthの値は、距離表示線Nが距離表示線1224のうちのどれかであるかに応じて、異なっていてもよい。
なお、表示映像生成部1114は、ΔDn≦Dthであるか否かの判断を、画像処理によって行ってもよい。ここで、俯瞰映像58は車両1の上方から見た平面図であるので、画素数と実際の距離との関係は、概ね一定であり得る。したがって、表示映像生成部1114は、表示映像データにおいて、画素数と実際の距離との関係を記憶しておいてもよい。そして、表示映像生成部1114は、表示映像データにおいて、車輪止め64の画像と距離表示線Nの画像との間の画素数をカウントし、その画素数に応じて、ΔDnを算出してもよい。
距離表示線Nに対応する位置に車輪止め64が近づいていないと判断された場合、つまりΔDn≦Dthとなっていないと判断された場合(S412のNO)、後述するS414の処理は行われないで、処理はS416に進む。一方、距離表示線Nに対応する位置に車輪止め64が近づいたと判断された場合、つまりΔDn≦Dthとなったと判断された場合(S412のYES)、表示映像生成部1114は、距離表示線Nの位置よりも車両1に近い距離の位置に、補助線を重畳する(ステップS414)。そして、表示制御部1120は、表示映像生成部1114によって生成された表示映像データによる映像を、表示部50に表示させる(ステップS416)。
図28の例では、車輪止め64に最も近づいた距離表示線1224は、距離表示線1224Cである。したがって、表示映像生成部1114は、距離表示線1224Cに対応する位置と車輪止め64の位置との距離ΔDnを算出する。そして、表示映像生成部1114は、ΔDn>Dthである、つまり距離表示線1224Cに対応する位置に車輪止め64が近づいていないと判断する(S412のNO)。したがって、表示映像生成部1114は、俯瞰映像データに補助線を重畳させていない。
図29は、図28に示した状態よりも車両1がさらに後退した状態を示した俯瞰映像58を例示する図である。図29に示した状態では、車輪止め64の位置が距離表示線1224Bの位置に近づいている。ここで、表示映像生成部1114は、距離表示線1224Bに対応する位置と車輪止め64の位置との距離ΔDnを算出し、その結果、ΔDn≦Dthであったとする。
この場合、S412の処理で、表示映像生成部1114は、ΔDn≦Dthであると判断する。つまり、表示映像生成部1114は、距離表示線1224Bに対応する位置に車輪止め64が近づいたと判断する(S412のYES)。したがって、表示映像生成部1114は、距離表示線1224Bの位置よりも車両1に近い距離の位置を示す補助線1320Bを重畳させる(S414)。このように、補助線1320Bが重畳されることによって、運転者は、車輪止め64までの距離を、ある程度、定量的に把握することができる。つまり、運転者は、車両1の後端が車輪止め64までどれくらい近づいたかを、ある程度、定量的に把握することができる。さらに言い換えると、運転者は、車両1をあとどれだけ後退させると車輪止め64にどれだけ近づくかを、ある程度、定量的に把握することができる。したがって、運転者は、車輪止め64までの距離を適切に把握することができる。さらに、補助線1320Bが俯瞰映像58に表れることで、車両1の後端から車輪止め64までの距離が1.0m近傍となったことを、運転者は即座に把握することができる。
ここで、実施の形態3と同様に、表示映像生成部1114は、距離表示線1224Bと距離表示線1224Aとの間に、補助線1320Bを重畳して表示させる。つまり、車両1の後端から補助線1320Bの位置までの距離をDsbとすると、Db>Dsb>Daである。また、上述の例のように、Db=1.0m、Da=0.4のとき、Dsb=0.7mとしてもよい。このとき、補助線1320Bは、距離表示線1224Bと距離表示線1224Aとの間の距離を2等分した位置を示す。また、Dsb=0.6m又は0.8mとした場合、補助線1320Bは、距離表示線1224Bと距離表示線1224Aとの間の距離を3等分した位置を示す。これにより、これにより、互いに隣り合う距離表示線1224とそれらの間の補助線1320とが目盛りの役割を果たすので、運転者は、車両1から車輪止め64までの距離をさらに精度よく把握することができる。
図30は、図29に示した状態よりも車両1がさらに後退した状態を示した俯瞰映像58を例示する図である。図30に示した状態では、車輪止め64の位置が距離表示線1224Aの位置に近づいている。このとき、表示映像生成部1114は、距離表示線1224Aに対応する位置と車輪止め64の位置との距離ΔDnを算出し、その結果、ΔDn≦Dthであったとする(S412のYES)。したがって、表示映像生成部1114は、距離表示線1224Aの位置よりも車両1に近い距離の位置を示す補助線1320Aを重畳させる(S414)。このように、補助線1320Aが重畳されることによって、運転者は、車輪止め64までの距離を適切に把握することができる。さらに、補助線1320Aが俯瞰映像58に表れることで、車両1の後端から車輪止め64までの距離が0.4m近傍となったことを、運転者は即座に把握することができる。
ここで、距離表示線1224Aは、複数の距離表示線1224のうち車両1に最も近い距離表示線1224である。この場合、実施の形態3と同様に、表示映像生成部1114は、距離表示線1224Aと車両1の後端との間に、補助線1320Aを重畳して表示させる。つまり、車両1の後端から補助線1320Aの位置までの距離をDsaとすると、Da>Dsa>0である。また、上述の例のように、Da=0.4mのとき、Dsa=0.2mとしてもよい。このとき、補助線1300Aは、距離表示線1224Aと車両1の後端との間の距離を2等分した位置を示す。
また、実施の形態3と同様に、表示映像生成部1114は、車両1に最も近い距離表示線1224Aにかかる補助線1320Aを、他の補助線1320よりも目立つような表示形態で重畳して表示するようにしてもよい。補助線1320Aを目立つような表示形態で表示させることで、運転者に対し、車両1が車輪止め64等の区画境界に接近していることを警告することができる。
このように、実施の形態4にかかる表示制御装置100は、実施の形態3と同様の効果を奏することができる。例えば、実施の形態4にかかる表示制御装置100は、車輪止め64等の区画境界までの距離を運転者が適切にかつ迅速に把握することを可能とする。また、実施の形態4においても、互いに隣り合う距離表示線1224の間に、補助線1320が重畳されるように構成されている。これにより、補助線1320が示す距離を運転者が把握していなくても、補助線1320が示す大凡の距離を、運転者は直感的に把握することができる。また、補助線1320の表示形態と距離表示線1224の表示形態が区別されていることにより、運転者は、より適切かつ迅速に、車輪止め64等の区画境界までの距離を把握することができる。
図31は、実施の形態4にかかる表示映像生成部1114によって生成された表示映像データによって示される俯瞰映像58を例示する図である。図31は、車両1が後退して車両1の側方にある縁石に近づいている状態を示す後方映像56を、表示部50が表示した様子を例示している。
図28に示した例と同様に、図31に例示された俯瞰映像58は、車両アイコン58aと、駐車区画60とを含む。また、図31に例示された俯瞰映像58は、車両アイコン58aの左側方に縁石66を含む。ここで、縁石66は、車両1の駐車位置を規定するものであるから、区画境界、つまり「車両1の目標位置を規定する物体」である。また、俯瞰映像58は、予想軌跡線1222L及び予想軌跡線1222Rと、距離表示線1224A,1224B,1224Cとを含むガイド線1220を含む。
さらに、図31に例示された俯瞰映像58では、ガイド線1220は、さらに、距離表示線1226L及び距離表示線1224Rを含む。距離表示線1226Lは、車両アイコン58a及び予想軌跡線1222Lの左側に描画される。距離表示線1224Rは、車両アイコン58a及び予想軌跡線1222Rの右側に描画される。
距離表示線1226Lは、車両1の左側面及び予想軌跡線1222Lに対応する位置から左側に距離Dlの位置を示す。距離表示線1226Rは、車両1の右側面及び予想軌跡線1222Rに対応する位置から右側に距離Drの位置を示す。例えば、Dl=Dr=1.0mである。また、距離表示線1226の形状は、予想軌跡線1222と同様に、操舵角に連動して湾曲し得る。これにより、距離表示線1226は、予想軌跡線1222に対して平行に見えるように描画される。
図31の例においても、表示映像生成部1114は、距離表示線Nに対応する位置に、区画境界の位置が近づいたか否かを判断する(S412)。ここで、図31の例では、距離表示線Nは距離表示線1226Lであり、区画境界は縁石66である。表示映像生成部1114は、縁石66の位置と距離表示線1226Lに対応する位置とが最も接近している箇所の距離ΔDnが予め定められた閾値Dth以下となったか否かを判断する。なお、図31の例では、表示映像生成部1114は、ΔDn>Dthである、つまり距離表示線1226Lに対応する位置に縁石66が近づいていないと判断する(S412のNO)。したがって、表示映像生成部1114は、俯瞰映像データに補助線を重畳させていない。
図32は、図31に示した状態よりも車両1がさらに後退した状態を示した俯瞰映像58を例示する図である。図32に示した状態では、縁石66の位置が距離表示線1226Lの位置に近づいている。ここで、表示映像生成部1114は、距離表示線1226Lに対応する位置と縁石66の位置との距離ΔDnを算出し、その結果、ΔDn≦Dthであったとする。
この場合、S412の処理で、表示映像生成部1114は、ΔDn≦Dthであると判断する。つまり、表示映像生成部1114は、距離表示線1226Lに対応する位置に縁石66が近づいたと判断する(S412のYES)。したがって、表示映像生成部1114は、距離表示線1226Lの位置よりも車両1に近い距離の位置を示す補助線1330Lを重畳させる(S414)。このように、補助線1330Lが重畳されることによって、運転者は、予想軌跡線1222Lから縁石66までの距離を適切に把握することができる。つまり、運転者は、現在の操舵角で車両1が矢印Cに対応する位置まで後退した場合に、車両1が縁石66までどれくらい近づくかを、把握することができる。
ここで、実施の形態3と同様に、表示映像生成部1114は、補助線1330Lを、予想軌跡線1222L及び距離表示線1226Lの湾曲形状に応じて曲線となるように描画する。したがって、補助線1330Lは、予想軌跡線1222及び距離表示線1226Lに対して平行に見えるように描画される。
また、実施の形態3と同様に、表示映像生成部1114は、距離表示線1226Lと予想軌跡線1222L及び車両アイコン58aとの間に、補助線1330Lを重畳して表示させる。つまり、予想軌跡線1222Lから補助線1330Lの位置までの距離をDslとすると、Dl>Dsl>0である。また、上述の例のように、Dl=1.0m、Dsl=0.5mとしてもよい。このとき、補助線1330Lは、距離表示線1226Lと予想軌跡線1222Lとの間の距離を2等分した位置を示す。つまり、補助線1330Lは、距離表示線1226Lと予想軌跡線1222L及び車両アイコン58aとの間の距離を整数等分した位置を示す。これにより、運転者は、車両1及び車両1の予想される軌跡から縁石66までの距離をさらに精度よく把握することができる。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける各処理の順序は、適宜、変更可能である。例えば、図4に示したフローチャートにおいて、S102の処理とS104の処理の順序は、逆であってもよい。また、例えば、図16に示したフローチャートにおいて、S302の処理とS304の処理の順序は、逆であってもよい。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける各処理の順序は、適宜、変更可能である。例えば、図4に示したフローチャートにおいて、S102の処理とS104の処理の順序は、逆であってもよい。また、例えば、図16に示したフローチャートにおいて、S302の処理とS304の処理の順序は、逆であってもよい。
また、上述した実施の形態1及び実施の形態2において、複数の補助線の間隔は一定であるとしたが、この間隔は、予め固定されていてもよいし、可変であってもよい。上述した例では、補助線の間隔は30cmとしたが、表示制御装置100のユーザインタフェースの操作によって、運転者は、補助線の間隔を適宜変更してもよい。また、表示映像生成部110は、駐車区画の幅に応じて、補助線の間隔を、自動的に変更してもよい。例えば、表示映像生成部110は、駐車区画の幅が狭いほど、補助線の間隔を狭くしてもよい。これにより、駐車区画の幅によらないで、駐車区画の幅方向における車両1の位置を、運転者は容易に把握することが可能となる。駐車区画の幅が狭い場合、運転者は、より精度よく車両1を操作することを所望することがある。このような構成により、運転者は、区画境界までの位置を精度よく把握できるので、運転者は、精度よく車両1を操作することを、より容易に行うことが可能となる。
また、上述した実施の形態1及び実施の形態2において、補助線の数は、予め固定されていてもよいし、可変であってもよい。表示制御装置100のユーザインタフェースの操作によって、運転者は、補助線の数を適宜変更してもよい。また、表示映像生成部110は、駐車区画の幅等に応じて、補助線の数を、自動的に変更してもよい。例えば、表示映像生成部110は、駐車区画の幅が広いほど、補助線の数を多くしてもよい。
また、上述した実施の形態3及び実施の形態4においては、車両1の後端との距離にかかる補助線(補助線1300又は補助線1320)と車両1の予想軌跡線との距離にかかる補助線(補助線1310又は補助線1330)とは、互いに別個に表示されているが、このような構成に限られない。車両1の後端との距離にかかる補助線と車両1の予想軌跡線との距離にかかる補助線とは、同時に表示されてもよい。例えば、図22に示す例において、距離表示線1204Dに区画境界62Aが接近している場合は、表示映像生成部1114は、補助線1310Lだけでなく補助線1300Dも重畳して表示させてもよい。
また、上述した実施の形態3及び実施の形態4において、ある距離表示線Nと隣り合う距離表示線N-1との間に描画される補助線は、1本とは限られず、複数の補助線が描画され得る。好ましくは、複数の補助線は、等間隔に描画される。これにより、補助線が目盛りの役割を果たすので、運転者は、車両1から区画境界までの距離をさらに精度よく把握することができる。
また、上述した実施の形態においては、車両1が駐車区画に駐車する場合の例について説明したが、このような構成に限られない。本実施の形態は、車両1がある目標位置に向かう任意の場合に対して、適用可能である。
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2016年8月9日に出願された日本出願特願2016-156576及び2017年3月14日に出願された日本出願特願2017-048488を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本実施形態にかかる表示制御装置は、例えば車両の走行時に運転者が周囲の環境を認識するために利用可能である。
1 車両
2 後方カメラ
3 前方カメラ
4 側面カメラ
8 俯瞰映像用カメラ
40 表示装置
42 認識辞書
50 表示部
60 駐車区画
62 区画境界
100 表示制御装置
102 後退動作検出部
104 操舵情報取得部
106 映像データ取得部
110 表示映像生成部
112 抽出部
114 位置関係判断部
120 表示制御部
200 ガイド線
202 予想進路線
211,212,213,214 補助線
1102 車両情報取得部
1106 映像データ取得部
1110 映像処理部
1112 物体検出部
1114 表示映像生成部
1116 俯瞰映像生成部
1120 表示制御部
1200,1220 ガイド線
1202,1222 予想軌跡線
1204,1206,1224,1226 距離表示線
1300,1310,1320,1330 補助線
2 後方カメラ
3 前方カメラ
4 側面カメラ
8 俯瞰映像用カメラ
40 表示装置
42 認識辞書
50 表示部
60 駐車区画
62 区画境界
100 表示制御装置
102 後退動作検出部
104 操舵情報取得部
106 映像データ取得部
110 表示映像生成部
112 抽出部
114 位置関係判断部
120 表示制御部
200 ガイド線
202 予想進路線
211,212,213,214 補助線
1102 車両情報取得部
1106 映像データ取得部
1110 映像処理部
1112 物体検出部
1114 表示映像生成部
1116 俯瞰映像生成部
1120 表示制御部
1200,1220 ガイド線
1202,1222 予想軌跡線
1204,1206,1224,1226 距離表示線
1300,1310,1320,1330 補助線
Claims (18)
- 車両の後方を撮影するカメラからの映像データを取得する映像データ取得部と、
前記車両の幅に対応し前記車両の後退動作に応じて描画される一対の予想進路線と前記一対の予想進路線の両側に幅方向に並ぶようにそれぞれ配置される複数の補助線とを前記映像データ取得部によって取得された前記映像データに重畳させた表示映像データを生成する表示映像生成部と、
前記映像データから、前記車両が駐車可能な駐車区画の幅方向の境界である区画境界を抽出する抽出部と、
前記抽出部によって抽出された前記区画境界と前記補助線との前記表示映像データにおける位置関係を判断する位置関係判断部と、
前記表示映像生成部によって生成された前記表示映像データによる映像を表示部に表示させる表示制御部と
を有し、
前記表示映像生成部は、前記抽出部によって抽出された前記区画境界よりも外側に位置する前記補助線の表示の明瞭度を、前記区画境界よりも内側に位置する前記補助線の表示の明瞭度よりも低下させる
表示制御装置。 - 前記表示映像生成部は、前記表示映像データ上の前記車両の後方の路面において前記予想進路線に対して平行に見えるように前記補助線を重畳させた前記表示映像データを生成する
請求項1に記載の表示制御装置。 - 前記表示映像生成部は、前記表示映像データ上の前記車両の後方の路面において一定の間隔となるように複数の前記補助線を重畳させた前記表示映像データを生成する
請求項2に記載の表示制御装置。 - 前記表示映像生成部は、前記予想進路線に近い前記補助線をより目立つような表示形態で前記映像データに重畳させた前記表示映像データを生成する
請求項1から3のいずれか1項に記載の表示制御装置。 - 前記車両の後退動作における操舵角を示す操舵角情報を取得する操舵情報取得部
をさらに有し、
前記表示映像生成部は、前記操舵情報取得部によって取得された前記操舵角情報に基づいて前記予想進路線の形状を決定し、前記予想進路線の形状に対応するように前記補助線の形状を決定する
請求項1から4のいずれか1項に記載の表示制御装置。 - 前記抽出部は、前記駐車区画の幅方向の近傍に位置する障害物を抽出可能であり、
前記表示映像生成部は、前記表示映像データにおいて前記抽出部によって抽出された前記障害物に重なる前記補助線の表示を、前記障害物に重ならない前記補助線の表示よりも目立つような表示形態で前記映像データに重畳させた前記表示映像データを生成する
請求項1から5のいずれか1項に記載の表示制御装置。 - 車両の周囲を撮影するカメラからの映像データを取得する映像データ取得部と、
前記映像データから、前記車両の目標位置を規定する物体を検出する物体検出部と、
前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成する表示映像生成部と、
前記表示映像生成部によって生成された前記表示映像データによる映像を表示部に表示させる表示制御部と
を有し、
前記表示映像生成部は、前記物体検出部によって検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成する
表示制御装置。 - 前記表示映像生成部は、複数の前記距離表示線を前記映像データに重畳し、
前記表示映像生成部は、前記複数の距離表示線の位置のうち前記物体検出部によって検出された前記物体の位置に最も近い位置に対応する第1の距離表示線の位置と前記物体の位置との距離が前記第1の閾値以下となったと判断された場合に、前記補助線を前記映像データに重畳させた前記表示映像データを生成する
請求項7に記載の表示制御装置。 - 前記表示映像生成部は、前記第1の距離表示線と、前記第1の距離表示線と隣り合い前記第1の距離表示線よりも前記車両に近い距離を示す第2の距離表示線との間に、前記補助線を前記映像データに重畳させた前記表示映像データを生成する
請求項8に記載の表示制御装置。 - 前記表示映像生成部は、前記第1の距離表示線に対応する位置と前記第2の距離表示線に対応する位置との間の距離を整数等分した位置を示す前記補助線を前記映像データに重畳させた前記表示映像データを生成する
請求項9に記載の表示制御装置。 - 前記表示映像生成部は、前記複数の距離表示線のうち前記車両に最も近い距離表示線に対応する位置と前記物体の位置との距離が前記第1の閾値以下となったと判断された場合に、前記補助線をより目立つような表示形態で前記映像データに重畳させた前記表示映像データを生成する
請求項8に記載の表示制御装置。 - 前記表示映像生成部は、前記物体検出部によって検出された前記物体の位置よりも前記車両から遠い位置に対応する前記距離表示線の部分の表示形態を変化させるように、前記表示映像データを生成する
請求項7から11のいずれか1項に記載の表示制御装置。 - 前記表示映像生成部は、前記補助線の表示形態を前記予想進路線又は前記距離表示線の表示形態とは異なるように、前記表示映像データを生成する
請求項1から12のいずれか1項に記載の表示制御装置。 - 請求項1から13のいずれか1項に記載の表示制御装置と、
前記カメラ及び前記表示部の少なくともいずれかと
を有する表示装置。 - 車両の後方を撮影するカメラからの映像データを取得し、
前記車両の幅に対応し前記車両の後退動作に応じて描画される一対の予想進路線と前記一対の予想進路線の両側に幅方向に並ぶようにそれぞれ配置される複数の補助線とを前記映像データに重畳させた表示映像データを生成し、
前記映像データから、前記車両が駐車可能な駐車区画の幅方向の境界である区画境界を抽出し、
前記抽出された前記区画境界と前記補助線との前記表示映像データにおける位置関係を判断し、
前記抽出された前記区画境界よりも外側に位置する前記補助線の表示の明瞭度を、前記区画境界よりも内側に位置する前記補助線の表示の明瞭度よりも低下させ、
前記表示映像データによる映像を表示部に表示させる
表示制御方法。 - 車両の周囲を撮影するカメラからの映像データを取得し、
前記映像データから、前記車両の目標位置を規定する物体を検出し、
前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成し、
前記検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成し、
前記生成された前記表示映像データによる映像を表示部に表示させる
表示制御方法。 - 車両の後方を撮影するカメラからの映像データを取得するステップと、
前記車両の幅に対応し前記車両の後退動作に応じて描画される一対の予想進路線と前記一対の予想進路線の両側に幅方向に並ぶようにそれぞれ配置される複数の補助線とを前記映像データに重畳させた表示映像データを生成するステップと、
前記映像データから、前記車両が駐車可能な駐車区画の幅方向の境界である区画境界を抽出するステップと、
前記抽出された前記区画境界と前記補助線との前記表示映像データにおける位置関係を判断するステップと、
前記抽出された前記区画境界よりも外側に位置する前記補助線の表示の明瞭度を、前記区画境界よりも内側に位置する前記補助線の表示の明瞭度よりも低下させるステップと、
前記表示映像データによる映像を表示部に表示させるステップと
をコンピュータに実行させるプログラム。 - 車両の周囲を撮影するカメラからの映像データを取得するステップと、
前記映像データから、前記車両の目標位置を規定する物体を検出するステップと、
前記車両からの予め定められた距離の位置、又は前記車両の予想軌跡における位置からの予め定められた距離の位置を示す少なくとも1つの距離表示線を前記映像データに重畳させた表示映像データを生成するステップと、
前記検出された前記物体の位置と前記距離表示線に対応する位置との距離が予め定められた第1の閾値以下となったと判断された場合に、前記距離表示線の位置よりも前記車両に近い距離の位置を示す補助線を、前記映像データにさらに重畳させた前記表示映像データを生成するステップと、
前記生成された前記表示映像データによる映像を表示部に表示させるステップと
をコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17839002.7A EP3498554B1 (en) | 2016-08-09 | 2017-05-11 | Display control device, display device, display control method, and program |
CN201780023836.5A CN109070879B (zh) | 2016-08-09 | 2017-05-11 | 显示控制装置、显示装置、显示控制方法以及存储介质 |
US16/200,208 US10930156B2 (en) | 2016-08-09 | 2018-11-26 | Display control apparatus, display apparatus, display control method, and program |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016156576A JP6658392B2 (ja) | 2016-08-09 | 2016-08-09 | 表示制御装置、表示制御方法及びプログラム |
JP2016-156576 | 2016-08-09 | ||
JP2017-048488 | 2017-03-14 | ||
JP2017048488A JP6774605B2 (ja) | 2017-03-14 | 2017-03-14 | 表示制御装置、表示装置、表示制御方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/200,208 Continuation US10930156B2 (en) | 2016-08-09 | 2018-11-26 | Display control apparatus, display apparatus, display control method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018029927A1 true WO2018029927A1 (ja) | 2018-02-15 |
Family
ID=61162059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/017782 WO2018029927A1 (ja) | 2016-08-09 | 2017-05-11 | 表示制御装置、表示装置、表示制御方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10930156B2 (ja) |
EP (1) | EP3498554B1 (ja) |
CN (1) | CN109070879B (ja) |
WO (1) | WO2018029927A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019155967A (ja) * | 2018-03-07 | 2019-09-19 | パナソニックIpマネジメント株式会社 | 表示制御装置、車両周辺表示システムおよびコンピュータプログラム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10683035B2 (en) * | 2015-12-08 | 2020-06-16 | Panasonic Intellectual Property Management Co., Ltd. | Parking assistance device, parking assistance method, and non-transitory computer readable medium |
RU2721437C1 (ru) * | 2016-10-13 | 2020-05-19 | Ниссан Мотор Ко., Лтд. | Устройство помощи при парковке и способ помощи при парковке |
WO2018106763A1 (en) * | 2016-12-06 | 2018-06-14 | Nissan North America, Inc. | Solution path overlay interfaces for autonomous vehicles |
WO2018230021A1 (ja) * | 2017-06-16 | 2018-12-20 | 株式会社Jvcケンウッド | 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム |
KR102429494B1 (ko) * | 2017-10-13 | 2022-08-05 | 현대자동차주식회사 | 차량의 목표주차공간 표시 장치 및 그 방법 |
JP7113348B2 (ja) * | 2018-03-15 | 2022-08-05 | パナソニックIpマネジメント株式会社 | 車両周辺表示システム、表示制御装置およびコンピュータプログラム |
DE102018209865A1 (de) * | 2018-06-19 | 2019-12-19 | Bayerische Motoren Werke Aktiengesellschaft | Parkassistenzsystem zum automatisierten Ausparken aus einer Längsparklücke mit einem Rückwärtszug als letztem Ausparkzug |
JP7203587B2 (ja) * | 2018-12-14 | 2023-01-13 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP7159903B2 (ja) * | 2019-02-19 | 2022-10-25 | コベルコ建機株式会社 | 目標位置推測装置 |
US11212953B2 (en) * | 2019-10-31 | 2022-01-04 | Deere & Company | Vehicle attachment carrier loading guidance |
US11770991B2 (en) * | 2019-10-31 | 2023-10-03 | Deere & Company | Vehicle connection guidance |
JP7503995B2 (ja) * | 2020-10-14 | 2024-06-21 | 株式会社デンソー | 表示制御装置、表示装置及び表示制御プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002314991A (ja) * | 2001-02-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JP2009265802A (ja) * | 2008-04-23 | 2009-11-12 | Panasonic Corp | 車両視界支援装置 |
JP2010072702A (ja) * | 2008-09-16 | 2010-04-02 | Honda Motor Co Ltd | 車両運転支援装置 |
JP2011148369A (ja) * | 2010-01-20 | 2011-08-04 | Denso Corp | 運転支援装置 |
JP2011251681A (ja) * | 2011-08-01 | 2011-12-15 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
JP2012222391A (ja) * | 2011-04-04 | 2012-11-12 | Denso Corp | 車両後方監視装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4096445B2 (ja) * | 1999-03-31 | 2008-06-04 | アイシン精機株式会社 | 駐車補助装置 |
EP1123844B1 (en) * | 1999-08-12 | 2008-10-08 | Kabushiki Kaisha Toyota Jidoshokki | Steering assist device |
JP3508665B2 (ja) * | 1999-12-24 | 2004-03-22 | 株式会社豊田自動織機 | 操舵支援装置 |
EP1199225B1 (en) * | 2000-05-12 | 2009-07-15 | Kabushiki Kaisha Toyota Jidoshokki | Vehicle backing support apparatus |
JP4615766B2 (ja) * | 2000-12-15 | 2011-01-19 | 本田技研工業株式会社 | 駐車支援装置 |
JP3980304B2 (ja) | 2001-08-24 | 2007-09-26 | 松下電器産業株式会社 | 駐車支援装置 |
JP4427953B2 (ja) * | 2003-01-29 | 2010-03-10 | 株式会社豊田自動織機 | 駐車支援装置 |
JP4700899B2 (ja) * | 2003-04-14 | 2011-06-15 | 株式会社豊田自動織機 | 駐車支援装置 |
JP3938559B2 (ja) * | 2003-08-28 | 2007-06-27 | アイシン精機株式会社 | 車両後退支援装置 |
JP4899826B2 (ja) * | 2006-11-28 | 2012-03-21 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4967620B2 (ja) * | 2006-11-28 | 2012-07-04 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4853712B2 (ja) * | 2006-12-28 | 2012-01-11 | アイシン精機株式会社 | 駐車支援装置 |
KR100974704B1 (ko) * | 2007-04-30 | 2010-08-06 | 현대자동차주식회사 | 자동차의 주차 안내 방법 |
EP2184208A4 (en) * | 2007-07-31 | 2012-11-21 | Toyota Jidoshokki Kk | PARKING AID DEVICE, VEHICLE SIDE DEVICE FOR PARKING AID DEVICE, PARKING AID METHOD, AND PARKING ASSIST PROGRAM |
DE102007045562A1 (de) * | 2007-09-24 | 2009-04-02 | Robert Bosch Gmbh | Steuereinrichtung für eine Anzeigeeinrichtung einer Einparkeinrichtung und Verfahren zur Darstellung |
JP2010136289A (ja) | 2008-12-08 | 2010-06-17 | Denso It Laboratory Inc | 運転支援装置及び運転支援方法 |
JP2010202010A (ja) * | 2009-03-02 | 2010-09-16 | Aisin Seiki Co Ltd | 駐車支援装置 |
US8350724B2 (en) * | 2009-04-02 | 2013-01-08 | GM Global Technology Operations LLC | Rear parking assist on full rear-window head-up display |
ATE530404T1 (de) * | 2009-04-30 | 2011-11-15 | Magneti Marelli Spa | System zur einparkhilfe |
CN102481876B (zh) * | 2009-09-11 | 2014-12-17 | 爱信精机株式会社 | 车辆周边监视装置 |
JP5379913B2 (ja) * | 2010-05-14 | 2013-12-25 | 三菱電機株式会社 | 駐車支援装置、駐車支援システム、および駐車支援カメラユニット |
US9363485B2 (en) | 2011-01-27 | 2016-06-07 | Kyocera Corporation | Vehicle driving assist device |
KR101844476B1 (ko) * | 2011-02-16 | 2018-05-18 | 엘지이노텍 주식회사 | 자동차용 카메라 모듈 및 이를 이용한 주차 유도 방법 |
DE102011105884B4 (de) * | 2011-06-28 | 2019-02-21 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Einparken eines Fahrzeugs |
JP2014162398A (ja) * | 2013-02-27 | 2014-09-08 | Fujitsu General Ltd | 駐車支援装置 |
JP6341060B2 (ja) * | 2014-11-04 | 2018-06-13 | 株式会社デンソー | 車両用映像処理装置 |
EP3431344B1 (en) * | 2016-03-18 | 2022-12-21 | KYOCERA Corporation | Parking assistance device, onboard cameras, vehicle, and parking assistance method |
-
2017
- 2017-05-11 EP EP17839002.7A patent/EP3498554B1/en active Active
- 2017-05-11 WO PCT/JP2017/017782 patent/WO2018029927A1/ja unknown
- 2017-05-11 CN CN201780023836.5A patent/CN109070879B/zh active Active
-
2018
- 2018-11-26 US US16/200,208 patent/US10930156B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002314991A (ja) * | 2001-02-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JP2009265802A (ja) * | 2008-04-23 | 2009-11-12 | Panasonic Corp | 車両視界支援装置 |
JP2010072702A (ja) * | 2008-09-16 | 2010-04-02 | Honda Motor Co Ltd | 車両運転支援装置 |
JP2011148369A (ja) * | 2010-01-20 | 2011-08-04 | Denso Corp | 運転支援装置 |
JP2012222391A (ja) * | 2011-04-04 | 2012-11-12 | Denso Corp | 車両後方監視装置 |
JP2011251681A (ja) * | 2011-08-01 | 2011-12-15 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019155967A (ja) * | 2018-03-07 | 2019-09-19 | パナソニックIpマネジメント株式会社 | 表示制御装置、車両周辺表示システムおよびコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10930156B2 (en) | 2021-02-23 |
CN109070879B (zh) | 2021-05-07 |
EP3498554A1 (en) | 2019-06-19 |
US20190096261A1 (en) | 2019-03-28 |
EP3498554B1 (en) | 2020-06-24 |
CN109070879A (zh) | 2018-12-21 |
EP3498554A4 (en) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018029927A1 (ja) | 表示制御装置、表示装置、表示制御方法及びプログラム | |
JP6747369B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
US10268905B2 (en) | Parking assistance apparatus | |
JP6562081B2 (ja) | 駐車スペースの枠線の検出方法および装置 | |
JP5031801B2 (ja) | 車載用画像表示装置 | |
KR101990257B1 (ko) | 주차 지원 장치 및 주차 지원 방법 | |
KR101498976B1 (ko) | 차량용 주차지원시스템 및 주차지원방법 | |
US10068483B2 (en) | Parking assistance device | |
KR20140075505A (ko) | 주차 지원 제어 장치 및 방법 | |
WO2013128917A1 (ja) | 映像処理装置、映像処理方法、および映像表示システム | |
JP2007237930A (ja) | 運転支援装置 | |
JP2017147629A (ja) | 駐車位置検出システム及びそれを用いた自動駐車システム | |
JPWO2019008762A1 (ja) | 駐車支援方法及び駐車支援装置 | |
JP2020068515A (ja) | 画像処理装置 | |
JP6559083B2 (ja) | 駐車支援装置および駐車支援方法 | |
JP6658392B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP2009211628A (ja) | 障害物警告装置、障害物警告方法及びコンピュータプログラム | |
JP6774605B2 (ja) | 表示制御装置、表示装置、表示制御方法及びプログラム | |
JP5772321B2 (ja) | 車両検出装置、車両検出方法及びプログラム | |
JP6548593B2 (ja) | 駐車支援装置および駐車支援方法 | |
JP6825731B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
WO2018055842A1 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP2018047721A (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP6955844B2 (ja) | 運転支援方法及び運転支援装置 | |
JP2017072881A (ja) | 後側方車両警告装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17839002 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017839002 Country of ref document: EP Effective date: 20190311 |