[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016002163A1 - 画像表示装置、画像表示方法 - Google Patents

画像表示装置、画像表示方法 Download PDF

Info

Publication number
WO2016002163A1
WO2016002163A1 PCT/JP2015/003132 JP2015003132W WO2016002163A1 WO 2016002163 A1 WO2016002163 A1 WO 2016002163A1 JP 2015003132 W JP2015003132 W JP 2015003132W WO 2016002163 A1 WO2016002163 A1 WO 2016002163A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
bird
eye view
display device
Prior art date
Application number
PCT/JP2015/003132
Other languages
English (en)
French (fr)
Inventor
宗作 重村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/320,498 priority Critical patent/US20170158134A1/en
Publication of WO2016002163A1 publication Critical patent/WO2016002163A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present disclosure relates to a technique for displaying an image representing a situation around a vehicle on a display screen in a manner viewed from above the vehicle.
  • Patent Document 1 Rather than simply displaying an image taken with an in-vehicle camera, if you display it in a bird's-eye view looking down from above, you can easily grasp the distance to obstacles around the host vehicle and the positional relationship with the host vehicle It has been thought that it will be possible.
  • one of the objects of the present disclosure is to provide a technology that allows the driver to easily grasp the surrounding situation of the host vehicle by displaying a bird's-eye view image of the host vehicle viewed from above. There is.
  • the present invention is applied to a vehicle equipped with a vehicle-mounted camera and a display screen that displays a captured image of the vehicle-mounted camera, and the situation around the vehicle is viewed in a bird's-eye view looking down from above.
  • An image display device that displays an image to be displayed on the display screen is provided.
  • the image display device is a captured image acquisition unit that acquires the captured image from the in-vehicle camera, and a bird's-eye image generation unit that generates a bird's-eye image that displays the surrounding situation of the vehicle in the bird's-eye view mode based on the captured image.
  • a vehicle image composition unit that composes a vehicle image representing the vehicle at a position of the vehicle in the bird's-eye view image, a shift position detection unit that detects a shift position of the vehicle, and the vehicle image
  • An image output unit that cuts out an image of a predetermined range corresponding to the shift position of the vehicle from the bird's-eye view image and outputs the image to the display screen.
  • the present invention is applied to a vehicle equipped with a vehicle-mounted camera and a display screen that displays an image captured by the vehicle-mounted camera, and is a bird's-eye view of the vehicle looking down from above.
  • An image display method for displaying an image representing a situation on the display screen is provided.
  • the image display method includes a step of acquiring the photographed image from the vehicle-mounted camera, a step of generating a bird's-eye image that displays a situation around the vehicle in the bird's-eye view based on the photographed image, A vehicle image representing the vehicle at the position of the vehicle, a step of detecting a shift position of the vehicle, and a shift position of the vehicle from the bird's-eye view image synthesized with the vehicle image. And a step of cutting out a predetermined range of images and outputting the image to the display screen.
  • the range in which the driver wants to know the situation around the vehicle varies depending on the shift position. Therefore, if an image in a predetermined range is cut out from the bird's-eye view image according to the shift position, the driver can easily grasp the situation around the host vehicle even when the display screen is small.
  • FIG. 1 is an explanatory diagram of a vehicle equipped with the image display device of the embodiment.
  • FIG. 2 is an explanatory diagram showing a rough internal configuration of the image display apparatus.
  • FIG. 3 is a flowchart of a bird's-eye image display process executed by the image display apparatus according to the embodiment.
  • FIG. 4 is an explanatory view illustrating captured images obtained from a plurality of in-vehicle cameras.
  • FIG. 5 is a flowchart of the object detection process.
  • FIG. 6 is an explanatory diagram of a corrected image obtained by correcting the aberration of the captured image.
  • FIG. 7 is an explanatory view exemplifying how the white line coordinate values are stored in the object detection process.
  • FIG. 8A is an explanatory diagram illustrating a state in which the coordinate value of a pedestrian is stored in the object detection process.
  • FIG. 8B is an explanatory diagram illustrating a state in which the coordinate value of the pedestrian is stored in the object detection process.
  • FIG. 9 is an explanatory diagram exemplifying how the coordinate values of the obstacle are stored in the object detection process.
  • FIG. 10 is an explanatory diagram of a method for converting the coordinate value on the corrected image into a coordinate value with the vehicle as the origin.
  • FIG. 11 is an explanatory diagram illustrating a bird's-eye image generated by the bird's-eye image display process of the embodiment.
  • FIG. 12 is an explanatory view exemplifying how a pedestrian or an obstacle is greatly distorted in a bird's-eye view image generated by converting the viewpoint of a captured image.
  • FIG. 13 is an explanatory diagram showing a state in which an image in a predetermined range is cut out from the bird's-eye view image according to the shift position.
  • FIG. 14 is an explanatory view exemplifying how the range of the bird's-eye view image displayed on the display screen is switched when the shift position is switched from N (neutral position) to R (retracted position).
  • FIG. 15 is an explanatory diagram exemplifying how the bird's-eye image range displayed on the display screen is switched in accordance with the shift position being switched from N (neutral position) to D (forward position).
  • FIG. 1 shows a vehicle 1 on which an image display device 100 is mounted. As shown in the figure, the vehicle 1 is mounted in front of the vehicle 1 to capture a front situation, an in-vehicle camera 10F that is mounted in the rear of the vehicle 1 and captures a rear situation, and the vehicle 1 A vehicle-mounted camera 11L that is mounted on the left side surface and captures the situation on the left side and a vehicle-mounted camera 11R that is mounted on the right side surface of the vehicle 1 and captures the situation on the right side are provided.
  • Image data of captured images obtained by these on-vehicle cameras 10F, 10R, 11L, and 11R is input to the image display device 100, and an image is displayed on the display screen 12 by performing predetermined processing described later.
  • a so-called microcomputer in which a CPU, a ROM, a RAM, and the like are connected so as to exchange data via a bus is used as the image display device 100.
  • the vehicle 1 is provided with a shift position sensor 14 for detecting a shift position of a transmission (not shown), and the shift position sensor 14 is connected to the image display device 100. Therefore, the image display device 100 can detect the shift position (forward position, neutral position, reverse position, parking position) of the transmission based on the output of the shift position sensor 14.
  • FIG. 2 shows a rough internal configuration of the image display apparatus 100 of the present embodiment.
  • the image display apparatus 100 of the present embodiment includes a captured image acquisition unit 101, a bird's-eye image generation unit 102, a vehicle image synthesis unit 103, a shift position detection unit 104, and an image output unit 105. ing.
  • these five “parts” are abstract concepts in which the inside of the image display device 100 is classified for convenience, focusing on the function of the image display device 100 displaying an image around the vehicle 1 on the display screen 12. It does not represent that the image display device 100 is physically divided into five parts. Therefore, these “units” can be realized as a computer program executed by the CPU, can be realized as an electronic circuit including an LSI or a memory, and further realized by combining them. You can also.
  • the captured image acquisition unit 101 is connected to the in-vehicle cameras 10F, 10R, 11L, and 11R.
  • the in-vehicle cameras 10F, 10R, 11L, and 11R capture captured images of the surroundings of the vehicle 1 at a constant period (about 30 Hz). get. Then, the acquired captured image is output to the bird's eye image generation unit 102.
  • the bird's-eye image generation unit 102 generates a bird's-eye image that displays the situation around the vehicle 1 in a mode (bird's-eye mode) when the vehicle 1 is looked down from above, based on the captured image received from the captured image acquisition unit 101.
  • a method for generating a bird's-eye view image from a captured image will be described in detail later.
  • an object such as a pedestrian or an obstacle captured in the image is extracted or a vehicle of the detected object is detected.
  • a process of detecting a relative position with respect to 1 is performed. Therefore, in this embodiment, the bird's-eye view image generation unit 102 also corresponds to the “object extraction unit” and the “relative position detection unit” of the present invention.
  • the vehicle image composition unit 103 overwrites the bird's-eye image with the vehicle image 24 by overwriting the image (vehicle image 24) representing the vehicle 1 at the position where the vehicle 1 exists in the bird's-eye image generated by the bird's-eye image generation unit 102. Is synthesized.
  • the vehicle image 24 an image obtained by shooting the vehicle 1 from above may be used, an animation image of the vehicle 1 viewed from above may be used, and it is recognized that the vehicle 1 is viewed from above. Possible symbol graphic images can be used.
  • the vehicle image 24 is stored in advance in a memory (not shown) of the image display device 100.
  • the bird's-eye view image obtained in this way has an area that is too large to be displayed on the display screen 12 as it is, if the entire bird's-eye view image is reduced to a size that can be displayed on the display screen 12, the display becomes too small.
  • the shift position detection unit 104 detects the shift position (forward position, reverse position, neutral or parking position) of the transmission based on the signal from the shift position sensor 14, and outputs the result to the image output unit 105. To do.
  • the image output unit 105 cuts out an image in a predetermined range determined according to the shift position from the bird's-eye view image synthesized with the vehicle image by the vehicle image synthesis unit 103 and outputs the image to the display screen 12.
  • FIG. 3 shows a flowchart of the bird's-eye view image display process executed by the image display apparatus 100 described above.
  • a captured image is acquired from the in-vehicle cameras 10F, 10R, 11L, and 11R (S100). That is, an image obtained by photographing the front from the vehicle 1 (front image 20) is acquired from the in-vehicle camera 10F mounted in front of the vehicle 1, and the in-vehicle camera 10R mounted in the rear of the vehicle 1 An image obtained by photographing the rear (rear image 23) is acquired. Similarly, an image obtained by photographing the left side from the vehicle 1 (left side image 21) is acquired from the in-vehicle camera 11L mounted on the left side of the vehicle 1, and the in-vehicle camera 11R mounted on the right side of the vehicle 1 is acquired. Acquires an image of the right side of the vehicle 1 (right side image 22).
  • FIG. 4 illustrates a state in which a front image 20, a left side image 21, a right side image 22, and a rear image 23 are obtained from the four in-vehicle cameras 10F, 10R, 11L, and 11R.
  • the object is a predetermined object to be detected, such as a pedestrian, a moving object such as an automobile or a two-wheeled vehicle, or an obstacle that hinders the traveling of the vehicle 1 such as a telephone pole. .
  • FIG. 5 shows a flowchart of the object detection process.
  • a corrected image is generated by correcting the aberration of the optical system included in the captured images obtained from the in-vehicle cameras 10F, 10R, 11L, and 11R.
  • the aberration of the optical system can be obtained in advance for each of the in-vehicle cameras 10F, 10R, 11L, and 11R by calculation or an experimental method.
  • a memory (not shown) of the image display device 100 aberration data is stored in advance for each of the in-vehicle cameras 10F, 10R, 11L, and 11R, and the aberration is corrected by correcting the captured image based on the aberration data.
  • a corrected image not included can be obtained.
  • FIG. 6 illustrates how the front correction image 20m, the left side correction image 21m, the right side correction image 22m, and the rear correction image 23m that do not include aberration are thus obtained.
  • white lines and yellow lines are detected from the respective corrected images (S202).
  • a white line or a yellow line is detected by detecting a portion where the brightness changes abruptly (so-called edge) in the image, and extracting a white portion or a yellow portion from the region surrounded by the edge. be able to.
  • a white line or a yellow line when a white line or a yellow line is detected, it is detected from any of the correction images of the front correction image 20m, the left side correction image 21m, the right side correction image 22m, and the rear correction image 23m, and on the correction image. Are stored in the memory of the image display device 100.
  • FIG. 7 illustrates a state in which the detected white line coordinate values are stored.
  • the outline forming the white line is divided into straight lines, and the coordinate values of the intersections of the straight lines are stored.
  • the coordinate values of the four intersections of the straight lines are stored.
  • two intersection points a and b among the four intersection points are displayed in order to avoid complicated illustration.
  • the coordinate value (Wa, Da) is stored for the intersection point a
  • the coordinate value (Wb, Db) is stored for the intersection point b.
  • the coordinate values in the left and right directions are such that the left and right coordinate values start from the center position of the image and the negative values increase toward the left, and the positive values increase toward the right. Is taking to become larger. Further, the coordinate value in the vertical direction is set so that the positive value increases as it goes downward with the upper side of the image as the origin.
  • a pedestrian is detected from each corrected image (S203).
  • a pedestrian in the image is detected by searching the image using a template that describes the features of the pedestrian image. If a location that matches the template is found in the image, it is determined that a pedestrian is shown in that location. Since pedestrians in the image can appear in various sizes, if you store templates of various sizes according to their sizes and search for images using those templates, various sizes can be obtained. Pedestrians can be detected. Moreover, the information regarding the magnitude
  • a pedestrian when a pedestrian is detected, it is detected from any of the correction images of the front correction image 20m, the left side correction image 21m, the right side correction image 22m, and the rear correction image 23m, and the coordinate value on the correction image. , And the size of the pedestrian is stored in the memory of the image display device 100.
  • FIG. 8A and FIG. 8B illustrate how the detected pedestrian coordinate values are stored.
  • the coordinate value of the pedestrian stores the detected coordinate value of the pedestrian's foot. If it carries out like this, the coordinate value of a pedestrian's up-down direction will respond
  • the coordinate value in the vertical direction of the point c indicating the foot of the pedestrian is Dc
  • the size of the pedestrian reflected in this position is limited to a certain size range. Therefore, it is determined whether or not the detected size Hc of the pedestrian is within this range, and if it is within this range, it is determined that the pedestrian has been correctly recognized, and the detection result is stored in the memory. On the other hand, if it is not within the range, it is determined that it has been erroneously detected, and the detection result is discarded without being stored. The same applies to the example shown in FIG. 8B.
  • the detected size Hd of the pedestrian is within a range corresponding to the coordinate value Dd of the point d at the foot of the pedestrian. If the result is within the range, it is determined that the pedestrian is correctly recognized, and the detection result is stored in the memory. On the other hand, if it is not within the range, it is determined that it has been erroneously detected, and the detection result is discarded without being stored.
  • a vehicle shown in the corrected image is detected (S203).
  • the vehicle in the image is also detected by searching the image using a template describing the characteristics of the vehicle image. For example, if a car is detected, a car template is stored, if a bike is detected, a bicycle template is stored, and if a motorcycle is detected, a motorcycle template is stored. deep. These templates are also stored for various sizes. By searching for images using these templates, it is possible to detect vehicles such as automobiles, bicycles, and motorcycles that are captured in the images.
  • a vehicle when a vehicle is detected, it is detected from any of the correction images of the front correction image 20m, the left side correction image 21m, the right side correction image 22m, and the rear correction image 23m, the coordinate value on the correction image, the vehicle Type (car, bicycle, motorcycle, etc.) and size are stored in the memory of the image display device 100.
  • the coordinate value of the portion where the vehicle is in contact with the ground is stored. Also, at this time, it is confirmed whether or not the coordinate value in the vertical direction of the vehicle and the size of the vehicle match, and if they do not match, it is determined that it has been erroneously detected and the detection result is discarded. May be.
  • an obstacle reflected in the corrected image is detected (S205).
  • Obstacles are also detected using an obstacle template in the same manner as the pedestrians and vehicles described above.
  • obstacles having various shapes and all of them cannot be detected by one type of template. Therefore, for example, several types of obstacles (predetermined obstacles) such as a telephone pole, a triangular cone, and a guard rail are assumed, and a template is stored for each type of the obstacle. Then, an obstacle is detected by searching for an image using these templates.
  • the type and size of the obstacle are stored in the memory of the image display device 100.
  • FIG. 9 illustrates a state in which the coordinate value of the detected obstacle (triangular cone) is stored.
  • the coordinate value (We, De) of the point e indicating the position where the obstacle is in contact with the ground is also stored as the coordinate value of the obstacle.
  • the coordinate value De in the vertical direction matches the size of the obstacle, and if it does not match, it is determined that it has been erroneously detected and the detection result is discarded. You may do it.
  • a moving object that does not correspond to these for example, a moving ball or a moving object such as an animal.
  • S206 that is, if a moving object exists, such as when the ball rolls or an animal jumps out, an unexpected situation is likely to occur. It is desirable for the driver to recognize this. Therefore, the moving body is detected even when it does not correspond to a pedestrian or a vehicle.
  • the image obtained last time is compared with the current image, and the moving object is detected in the image.
  • the movement information of the vehicle 1 vehicle speed, steering angle of the steering wheel, information indicating whether the vehicle is moving forward or backward
  • a vehicle control device not shown
  • the movement may be removed.
  • the detected coordinate values of various objects are converted into coordinate values with the vehicle 1 as the origin (that is, the relative position with respect to the vehicle 1), and the coordinate values stored in the memory are obtained as coordinate values obtained. (S207).
  • the front correction image 20m shows the situation in front of the vehicle 1
  • all coordinate values on the front correction image 20m can be associated with any position in front of the vehicle 1. Therefore, if such a correspondence relationship is obtained in advance, as shown in the upper part of FIG. 10, the coordinate value of the object detected from the forward correction image 20m is changed to the vehicle 1 as shown in the lower part of FIG. It can be converted to a coordinate value as the origin.
  • the coordinate values on the respective corrected images can be associated with the left side, right side, and rear coordinate values of the vehicle 1. . Therefore, by obtaining these correspondences in advance, the coordinate values of the objects detected from the respective corrected images are converted into coordinate values with the vehicle 1 as the origin.
  • a bird's-eye view image is generated (S101).
  • the bird's-eye view image is an image in which the surroundings of the vehicle 1 are displayed in an aspect (bird's-eye aspect) in which the vehicle 1 is looked down from above.
  • an object existing around the vehicle 1 and the position where the object exists are obtained from coordinate values with the vehicle 1 as the origin. For this reason, it is possible to easily generate a bird's-eye view image by displaying a graphic image (object image) representing the object at a position where the object exists.
  • object image graphic image representing the object at a position where the object exists.
  • marker images are superimposed and displayed especially for pedestrians, obstacles, and moving objects (S102).
  • the marker image is an image that is displayed to make the object easy to stand out, and can be a circular or rectangular figure that is displayed surrounding the object.
  • FIG. 11 illustrates a bird's-eye image 27 generated in this way.
  • the pedestrian is shown in the front image 20 and the left side image 21 of the vehicle 1, and the obstacle image is shown in the rear image 23.
  • an object image 25a representing a pedestrian is displayed in front of and on the left side of the vehicle 1.
  • an object image 25b representing an obstacle is displayed behind the vehicle 1.
  • a pedestrian marker image 26a and an obstacle marker image 26b are displayed in an overlapping manner on the pedestrian object image 25a and the obstacle object image 25b, respectively. Further, the vehicle image 24 representing the vehicle 1 is overwritten and synthesized at the position where the host vehicle is present in the bird's-eye view image 27. In addition, a white line image is also displayed around the vehicle image 24.
  • the vehicle is presented to the driver. It is possible to prevent the information that is not necessary to be displayed. For this reason, as illustrated in FIG. 11, the situation around the vehicle 1 can be presented to the driver in a very easy-to-understand manner. Moreover, the driver's attention can be alerted by displaying the marker image in an overlapping manner on an object such as a pedestrian or an obstacle that the driver should pay attention to. In addition, by displaying the vehicle image 24 at the position where the vehicle 1 is present, it is possible to easily grasp the positional relationship between the object such as a pedestrian or an obstacle and the vehicle 1.
  • the image of the target object may be greatly distorted.
  • the bird's-eye view image 28 is generated by converting the gaze of the front image 20, the left side image 21, the right side image 22, and the rear image 23 as illustrated in FIG. 4, as illustrated in FIG.
  • the object may be greatly distorted and may not be immediately recognized by the driver.
  • FIG. As described above, it is possible to generate the bird's-eye view image 27 that is very easy to understand.
  • the bird's-eye view image 27 obtained in this way represents a wide range around the vehicle 1. This is because the bird's-eye view image is generated based on the position information of the object shown in the photographed image, so that the object in the image is not distorted. As a result, the bird's-eye image 27 displaying a wide range is generated. It is also said that it has become possible. If the bird's-eye view image 27 displaying a wide range is displayed on the display screen 12, the bird's-eye view image 27 must be reduced and displayed, and the driver can see the situation around the vehicle 1. Difficult to check.
  • the shift position of the vehicle 1 is acquired (S104 in FIG. 3).
  • the shift position (not shown) mounted on the vehicle 1 is any of the forward position (D), the reverse position (R), the neutral position (N), and the parking position (P). Is set. It can be detected from the output of the shift position sensor 14 which of these is the shift position.
  • FIG. 13 illustrates a state where an image within a predetermined range is cut out from the bird's-eye view image 27 in accordance with the shift position.
  • the shift position is in the forward position (D), as shown in FIG. 13, an image of a predetermined area set so that the front is wider than the rear of the vehicle 1 is cut out.
  • the portion displayed without hatching in the bird's-eye view image 27 represents the image to be cut out.
  • the shift position is in the reverse position (R), as shown in FIG. 13, an image of a predetermined area set so that the rear side is wider than the front side of the vehicle 1 is cut out.
  • the shift position is in the neutral position (N) or the parking position (P), as shown in FIG. 13, an image of a predetermined area set so that the front and rear of the vehicle 1 are the same area is displayed. I'll cut it out.
  • FIG. 14 and FIG. 15 illustrate images displayed on the display screen 12 by the above-described bird's-eye image display processing.
  • the vehicle image 24 is displayed near the center of the display screen 12. Can be grasped universally.
  • the display screen 12 cannot display such a wide range, but if the shift position is in the neutral position (N), the vehicle 1 is stopped, so the driver may want to know the situation far away. It is sufficient if the situation near the vehicle 1 can be grasped.
  • the bird's-eye view image 27 without distortion can be displayed up to a far position, even when a situation far from the vehicle 1 is displayed, the driver can easily recognize the aspect.
  • the bird's-eye view image 27 can be displayed.
  • the display screen 12 not only the object is displayed by the object images 25a and 25b, but the marker image is superimposed and displayed for the object to be particularly noted, so that the driver can easily display the object. Can be recognized.
  • Example of this indication is not restricted to said Example,
  • the example of a various aspect can be included in the range which does not deviate from the summary.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

　車両（１）を上方から見下ろす鳥瞰態様で、車両（１）の周囲の状況を表す画像を表示画面（１２）に表示する画像表示装置（１００）を提供する。画像表示装置は、車両の周囲の状況を表示する鳥瞰画像（２７）を、車載カメラの撮影画像に基づいて生成する鳥瞰画像生成部（１０２）と、鳥瞰画像中での車両の位置に、該車両を表す車両画像（２４）を合成する車両画像合成部（１０３）と、車両画像が合成された鳥瞰画像の中から車両のシフトポジションに応じた所定範囲の画像を切り出して、表示画面に出力する画像出力部（１０５）と、を備える。

Description

画像表示装置、画像表示方法 関連出願の相互参照
　本出願は、２０１４年７月３日に出願された日本国特許出願２０１４－１３７５６１号に基づくものであり、その開示をここに参照により援用する。
　本開示は、車両の周囲の状況を表す画像を、車両の上方から見下ろした態様で表示画面上に表示する技術に関する。
　車両の前後（および左右）の搭載した車載カメラを用いて車両の周囲の画像を撮影し、得られた画像を車室内に設けた表示画面に表示することで、運転者が自車両の周囲の状況を確認できるようにした技術が知られている。
　また、車載カメラで撮影した画像を、車両の上方から撮影したような画像に変換して表示画面上に表示することで、あたかも自車両を上方から見下ろしたような態様（鳥瞰態様）で表示する技術も開発されている（特許文献１）。車載カメラで撮影した画像を単に表示するのではなく、上方から見下ろした鳥瞰態様で表示してやれば、自車両の周囲に存在する障害物等までの距離や、自車両との位置関係を容易に把握できるようになると考えられてきた。
特開２０１２－０６６７２４号公報
　しかし、本願発明者の検討によれば、実際には、車載カメラで撮影した画像を単に鳥瞰態様で表示しただけでは、運転者が自車両の周囲の状況を容易に把握することは、必ずしも容易ではないという虞があった。
　これは、車室内に搭載可能な表示画面は小さいので、運転者が容易に認識できる大きさで障害物などを表示しようとすると、自車両の近くの領域しか表示することができず、表示画面だけでは自車両の周囲の状況を把握できるとは言い難いためである。かといって、自車両から離れた遠方の領域も表示しようとすると、障害物などが小さく表示されてしまうため、表示画面を見ても運転者が障害物などの存在に気付き難くなってしまう。
　そこで、本開示の目的の一つは、自車両を上方から見下ろした鳥瞰態様の画像を表示することにより、運転者が自車両の周囲の状況を容易に把握することが可能な技術を提供することにある。
　本開示の一例によれば、車載カメラと、該車載カメラによる撮影画像を表示する表示画面とを搭載した車両に適用されて、該車両を上方から見下ろす鳥瞰態様で、該車両の周囲の状況を表す画像を前記表示画面に表示する画像表示装置が提供される。画像表示装置は、前記車載カメラから前記撮影画像を取得する撮影画像取得部と、前記車両の周囲の状況を前記鳥瞰態様で表示する鳥瞰画像を、前記撮影画像に基づいて生成する鳥瞰画像生成部と、前記鳥瞰画像中での前記車両の位置に、該車両を表す車両画像を合成する車両画像合成部と、前記車両のシフトポジションを検出するシフトポジション検出部と、前記車両画像が合成された前記鳥瞰画像の中から前記車両のシフトポジションに応じた所定範囲の画像を切り出して、前記表示画面に出力する画像出力部と、を備える。
本開示の他の例によれば、車載カメラと、該車載カメラによる撮影画像を表示する表示画面とを搭載した車両に適用されて、該車両を上方から見下ろす鳥瞰態様で、該車両の周囲の状況を表す画像を前記表示画面に表示する画像表示方法が提供される。画像表示方法は、前記車載カメラから前記撮影画像を取得する工程と、前記車両の周囲の状況を前記鳥瞰態様で表示する鳥瞰画像を、前記撮影画像に基づいて生成する工程と、前記鳥瞰画像中での前記車両の位置に、該車両を表す車両画像を合成する工程と、前記車両のシフトポジションを検出する工程と、前記車両画像が合成された前記鳥瞰画像の中から前記車両のシフトポジションに応じた所定範囲の画像を切り出して、前記表示画面に出力する工程と、を備える。
　運転者が車両の周囲の状況を知りたいと思う範囲はシフトポジションによって変化する。従って、シフトポジションに応じて鳥瞰画像の中から所定範囲の画像を切り出してやれば、表示画面が小さい場合でも、運転者は自車両の周囲の状況を容易に把握することが可能となる。
　本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において、
図１は、実施例の画像表示装置を搭載した車両についての説明図である。 図２は、画像表示装置の大まかな内部構成を示した説明図である。 図３は、実施例の画像表示装置が実行する鳥瞰画像表示処理のフローチャートである。 図４は、複数の車載カメラから得られた撮影画像を例示した説明図である。 図５は、対象物検出処理のフローチャートである。 図６は、撮影画像の収差を補正して得られた補正画像についての説明図である。 図７は、対象物検出処理で白線の座標値を記憶する様子を例示した説明図である。 図８Ａは、対象物検出処理で歩行者の座標値を記憶する様子を例示した説明図である。 図８Ｂは、対象物検出処理で歩行者の座標値を記憶する様子を例示した説明図である。 図９は、対象物検出処理で障害物の座標値を記憶する様子を例示した説明図である。 図１０は、補正画像上での座標値を車両を原点とした座標値に変換する方法についての説明図である。 図１１は、実施例の鳥瞰画像表示処理で生成された鳥瞰画像を例示した説明図である。 図１２は、撮影画像を視点変換して生成した鳥瞰画像では歩行者や障害物が大きく歪む様子を例示した説明図である。 図１３は、鳥瞰画像の中からシフトポジションに応じて所定範囲の画像を切り出す様子を示す説明図である。 図１４は、シフトポジションをＮ（中立位置）からＲ（後退位置）に切り換えたことに伴って、表示画面に表示される鳥瞰画像の範囲が切り換わる様子を例示した説明図である。 図１５は、シフトポジションをＮ（中立位置）からＤ（前進位置）に切り換えたことに伴って、表示画面に表示される鳥瞰画像範囲が切り換わる様子を例示した説明図である。
　以下では、実施例を説明する。
Ａ．装置構成：
　図１には、画像表示装置１００を搭載した車両１が示されている。図示されるように車両１は、車両１の前方に搭載されて前方の状況を撮影する車載カメラ１０Ｆと、車両１の後方に搭載されて後方の状況を撮影する車載カメラ１０Ｒと、車両１の左側面に搭載されて左側方の状況を撮影する車載カメラ１１Ｌと、車両１の右側面に搭載されて右側方の状況を撮影する車載カメラ１１Ｒとを備えている。これら車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒで得られた撮影画像の画像データは、画像表示装置１００に入力されて、後述する所定の処理が施されることによって、表示画面１２に画像が表示される。尚、本実施例では、ＣＰＵやＲＯＭ、ＲＡＭなどがバスを介してデータをやり取り可能に接続されたいわゆるマイクロコンピューターが、画像表示装置１００として用いられている。
　また、車両１には、図示しない変速機のシフトポジションを検出するシフトポジションセンサー１４が設けられており、シフトポジションセンサー１４は画像表示装置１００に接続されている。従って、画像表示装置１００は、シフトポジションセンサー１４の出力に基づいて、変速機のシフトポジション（前進位置、中立位置、後退位置、駐車位置）を検出することができる。
　図２には、本実施例の画像表示装置１００の大まかな内部構成が示されている。図示されるように本実施例の画像表示装置１００は、撮影画像取得部１０１と、鳥瞰画像生成部１０２と、車両画像合成部１０３と、シフトポジション検出部１０４と、画像出力部１０５とを備えている。
　尚、これら５つの「部」は、画像表示装置１００が車両１の周囲の画像を表示画面１２に表示する機能に着目して、画像表示装置１００の内部を便宜的に分類した抽象的な概念であり、画像表示装置１００が物理的に５つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
　撮影画像取得部１０１は、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒに接続されており、これら車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒが車両１の周囲を撮影した撮影画像を一定周期（約３０Ｈｚ）で取得する。そして、取得した撮影画像を、鳥瞰画像生成部１０２に出力する。
　鳥瞰画像生成部１０２は、撮影画像取得部１０１から受け取った撮影画像に基づいて、車両１を上方から見下ろした態様（鳥瞰態様）で車両１の周囲の状況を表示した鳥瞰画像を生成する。撮影画像から鳥瞰画像を生成する方法について後ほど詳しく説明するが、鳥瞰画像を生成する際には、画像中に写った歩行者や障害物などの対象物を抽出したり、検出した対象物の車両１に対する相対位置を検出したりする処理が行われる。従って、本実施例では、鳥瞰画像生成部１０２が本発明の「対象物抽出部」および「相対位置検出部」にも対応する。
　車両画像合成部１０３は、鳥瞰画像生成部１０２によって生成された鳥瞰画像中で車両１が存在する位置に、車両１を表す画像（車両画像２４）を上書きすることによって、鳥瞰画像に車両画像２４を合成する。車両画像２４としては、車両１を上方から撮影した画像を用いても良いし、車両１を上方から見たアニメーション画像を用いても良く、更には、車両１を上方から見ていることが認識可能なシンボル図形の画像などを用いることができる。車両画像２４は、画像表示装置１００の図示しないメモリーに予め記憶されている。
　こうして得られた鳥瞰画像は、そのまま表示画面１２に表示するには面積が大き過ぎるので、鳥瞰画像全体が表示画面１２に表示できる大きさまで縮小すると、表示が小さくなり過ぎてしまう。
　そこで、シフトポジション検出部１０４は、シフトポジションセンサー１４からの信号に基づいて変速機のシフトポジション（前進位置、後退位置、中立あるいは駐車位置）を検出し、その結果を、画像出力部１０５に出力する。
　すると、画像出力部１０５は、車両画像合成部１０３で車両画像が合成された鳥瞰画像の中から、シフトポジションに応じて定まる所定範囲の画像を切り出して、表示画面１２に出力する。
　こうすれば、表示画面１２には十分な大きさで鳥瞰画像を表示することができるので、車両１の運転者は、車両１の周囲に存在する障害物や歩行者などの存在を容易に認識することが可能となる。
Ｂ．鳥瞰画像表示処理：
　図３には、上述した画像表示装置１００が実行する鳥瞰画像表示処理のフローチャートが示されている。
　鳥瞰画像表示処理では、先ず始めに、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから撮影画像を取得する（Ｓ１００）。すなわち、車両１の前方に搭載された車載カメラ１０Ｆからは、車両１から前方を撮影した画像（前方画像２０）を取得し、車両１の後方に搭載された車載カメラ１０Ｒからは、車両１から後方を撮影した画像（後方画像２３）を取得する。同様に、車両１の左側方に搭載された車載カメラ１１Ｌからは、車両１から左側方を撮影した画像（左側方画像２１）を取得し、車両１の右側方に搭載された車載カメラ１１Ｒからは、車両１から右側方を撮影した画像（右側方画像２２）を取得する。
　図４には、４つの車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから、前方画像２０、左側方画像２１、右側方画像２２、後方画像２３が得られた様子が例示されている。
　続いて、これらの撮影画像に基づいて、車両１の周囲に存在する対象物を検出する処理（対象物検出処理）を開始する（Ｓ２００）。ここで対象物とは、歩行者や、自動車、二輪車などの移動体、あるいは、電信柱などのように車両１の走行の妨げとなる障害物など、検出する対象として予め定められた物体である。
　図５には、対象物検出処理のフローチャートが示されている。図示されるように、対象物検出処理を開始すると、先ず始めに、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから得られた撮影画像に含まれる光学系の収差を補正することによって、補正画像を生成する（Ｓ２０１）。光学系の収差は、それぞれの車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒについて、計算あるいは実験的な方法によって予め求めておくことができる。画像表示装置１００の図示しないメモリーには、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒのそれぞれについて収差のデータが予め記憶されており、この収差のデータに基づいて撮影画像を補正することにより、収差を含まない補正画像を得ることができる。
　図６には、こうして収差を含まない前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍが得られた様子が例示されている。
　こうして補正画像が得られたら、それぞれの補正画像の中から白線および黄線を検出する（Ｓ２０２）。白線あるいは黄線は、画像中で輝度が急激に変化している部分（いわゆるエッジ）を検出し、エッジで囲まれている領域の中で白い部分、あるいは黄色の部分を抽出することによって検出することができる。
　また、白線あるいは黄線が検出された場合には、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、および補正画像上での座標値を、画像表示装置１００のメモリーに記憶しておく。
　図７には、検出された白線の座標値が記憶されている様子が例示されている。図示した例では、白線を構成する輪郭を直線に分割し、直線の交点の座標値を記憶する。例えば、一番手前に写っている白線については、４本の直線が検出されているので、それら直線の４つの交点の座標値を記憶する。尚、図７では、図示が煩雑となることを避けるために、４つの交点の中の２つの交点ａ，ｂについて表示している。例えば、交点ａについては、座標値（Ｗａ，Ｄａ）を記憶し、交点ｂについては、座標値（Ｗｂ，Ｄｂ）を記憶する。尚、図示した例での座標値の取り方は、左右方向の座標値は画像の中央位置を原点として、左方向に行くほど負の値が大きくなるように、右方向に行くほど正の値が大きくなるように取っている。更に、上下方向の座標値は、画像の上辺を原点として、下方向に行くほど正の値が大きくなるように取っている。
　続いて、それぞれの補正画像の中から歩行者を検出する（Ｓ２０３）。画像中の歩行者は、歩行者の画像が備える特徴を記述したテンプレートを用いて、画像を探索することによって検出する。そして、画像中でテンプレートに合致する箇所が見つかったら、その箇所には歩行者が写っているものと判断する。画像中の歩行者は様々な大きさで写り得るから、それぞれの大きさに応じて様々な大きさのテンプレートを記憶しておき、それらのテンプレートを用いて画像を探索すれば、様々な大きさの歩行者を検出することができる。また、いずれのテンプレートで検出されたかによって、歩行者が写っている大きさに関する情報も得ることができる。
　また、歩行者が検出された場合には、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、補正画像上での座標値、および歩行者の大きさを画像表示装置１００のメモリーに記憶しておく。
　図８Ａおよび図８Ｂには、検出された歩行者の座標値が記憶されている様子が例示されている。図示されているように、歩行者の座標値は、検出された歩行者の足元の座標値を記憶する。こうすると、歩行者の上下方向の座標値は、歩行者までの距離に対応する。そして、歩行者の身長は、１～２メートルの範囲に収まると考えて良いから、画像中で歩行者が写る大きさも、歩行者までの距離に応じて定まる所定範囲の大きさに収まるはずである。このことから、検出した歩行者の大きさが、この所定範囲内になかった場合は、誤検出しているものと考えて良い。
　例えば、図８Ａに示した例では、歩行者の足元を示す点ｃの上下方向についての座標値がＤｃであり、この位置に写る歩行者の大きさは、ある大きさの範囲に限られる。そこで、検出した歩行者の大きさＨｃがこの範囲内にあるか否かを判断し、この範囲内にあれば、歩行者を正しく認識したものと判断して、検出結果をメモリーに記憶する。逆に、範囲内に無ければ、誤検出したものと判断して、検出結果は記憶することなく破棄する。図８Ｂに示した例でも同様である。すなわち、検出した歩行者の大きさＨｄが、歩行者の足元の点ｄの座標値Ｄｄに対応した範囲内にあるか否かを判断する。その結果、範囲内にあった場合は、歩行者を正しく認識したものと判断して、検出結果をメモリーに記憶する。逆に、範囲内に無ければ、誤検出したものと判断して、検出結果は記憶することなく破棄する。
　以上のようにして、補正画像中の歩行者を検出したら（Ｓ２０３）、次は、補正画像中に写った車両を検出する（Ｓ２０３）。画像中の車両も、車両の画像が備える特徴を記述したテンプレートを用いて、画像を探索することによって検出する。たとえば、自動車を検出するのであれば、自動車用のテンプレートを記憶しておき、自転車を検出するのであれば自転車用のテンプレートを、自動二輪を検出するのであれば自動二輪用のテンプレートを記憶しておく。また、これらのテンプレートについても、様々な大きさについて記憶しておく。そして、これらのテンプレートを用いて画像を探索することによって、画像中に写った自動車や、自転車、自動二輪などの車両を検出することができる。
　また、車両が検出された場合も、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、補正画像上での座標値、車両の種類（自動車、自転車、自動二輪など）および大きさを画像表示装置１００のメモリーに記憶しておく。
　尚、車両についても、車両が地面に接している部分の座標値を記憶する。また、この時、車両の上下方向の座標値と、車両の大きさとが整合するか否かを確認して、整合していない場合は誤検出したものと判断して検出結果を破棄するようにしても良い。
　続いて、補正画像中に写った障害物を検出する（Ｓ２０５）。障害物も、上述した歩行者や車両と同様に、障害物用のテンプレートを用いて検出する。但し、障害物には様々な形状を有するものがあり、それら全てを１種類のテンプレートで検出することはできない。そこで、例えば、電信柱や、三角コーン、ガードレールなど、幾つかの種類の障害物（所定の障害物）を想定しておき、それら障害物の種類毎にテンプレートを記憶しておく。そして、それらテンプレートを用いて画像を探索することにより、障害物を検出する。
　その結果、障害物が検出された場合も、前方補正画像２０ｍ、左側方補正画像２１ｍ、右側方補正画像２２ｍ、後方補正画像２３ｍの何れの補正画像から検出されたか、補正画像上での座標値、障害物の種類および大きさを画像表示装置１００のメモリーに記憶しておく。
　図９には、検出した障害物（三角コーン）の座標値を記憶する様子が例示されている。図示されているように、障害物の座標値も、障害物が地面に接している位置を示す点ｅの座標値（Ｗｅ，Ｄｅ）を記憶する。また、障害物についても、上下方向の座標値Ｄｅと、障害物の大きさとが整合するか否かを確認して、整合していない場合は誤検出したものと判断して検出結果を破棄するようにしても良い。
　以上のようにして、白線などや、歩行者、車両、障害物を検出したら（Ｓ２０１～Ｓ２０５）、今度は、これらに該当しない移動体（例えば、転がるボールや、動物などのように動く物体）を検出する（Ｓ２０６）。すなわち、ボールが転がってきた場合や、動物が飛び出してきた場合など、移動体が存在していると不測の事態が生じ易いので、車両１の周囲に移動体が存在する場合には、その存在を運転者が認識しておくことが望ましい。そこで、移動体については、歩行者や車両などに該当しない場合でも検出する。
　移動体の検出には、前回に得られた画像と今回の画像とを比較して、画像中で移動している物体を検出する。また、このとき、車両１の移動情報（車速や、ハンドルの操舵角、前進中か後退中かを示す情報）を図示しない車両制御装置から取得して、撮影範囲が変化したことによる画像全体の移動を除去するようにしても良い。
　こうして、検出した各種の対象物の座標値を、車両１を原点とする座標値（すなわち、車両１に対する相対位置）に変換して、メモリーに記憶されている座標値を、得られた座標値で更新する（Ｓ２０７）。
　これは次のような処理である。例えば、前方補正画像２０ｍは車両１の前方の状況が写っているから、前方補正画像２０ｍ上の全ての座標値は、車両１の前方の何れかの位置に対応付けることができる。従って、このような対応関係を予め求めておけば、図１０の上に示すように、前方補正画像２０ｍから検出された対象物の座標値を、図１０の下に示すように、車両１を原点とする座標値に変換することができる。
　左側方補正画像２１ｍや、右側方補正画像２２ｍ、後方補正画像２３ｍについても同様に、それぞれの補正画像上の座標値は、車両１の左側方、右側方、後方の座標値に対応付けることができる。そこで、これらの対応関係を予め求めておくことによって、それぞれの補正画像から検出された対象物の座標値を、車両１を原点とする座標値に変換する。
　こうして、全ての対象物の座標値を、車両１を原点とする座標値に変換してメモリーに記憶したら、図５に示した対象物検出処理を終了して、図３の鳥瞰画像表示処理に復帰する。
　対象物検出処理から復帰すると、今度は、鳥瞰画像を生成する（Ｓ１０１）。ここで鳥瞰画像とは、車両１を上方から見下ろす態様（鳥瞰態様）で車両１の周囲を表示した画像である。上述した対象物検出処理では、車両１の周囲に存在する対象物と、その対象物の存在位置が、車両１を原点とする座標値によって求められている。このため、対象物が存在する位置に、対象物を表す図形の画像（対象物画像）を表示することで、容易に鳥瞰画像を生成することができる。尚、対象物画像の具体例については、後述する。
　続いて、鳥瞰画像中の対象物のうち、特に、歩行者や、障害物、移動体についてはマーカー画像を重ねて表示する（Ｓ１０２）。マーカー画像とは、対象物を目立ち易くするために表示される画像であり、対象物を囲って表示される円形あるいは矩形の図形などとすることができる。
　更に、鳥瞰画像中で自車両が存在する位置には、車両１を表す画像（車両画像）を上書きする形態で合成する（Ｓ１０３）
　図１１には、このようにして生成された鳥瞰画像２７が例示されている。図４を用いて前述したように、車両１の前方画像２０および左側方画像２１に歩行者が写っており、後方画像２３に障害物が写っていることに対応して、図１１の鳥瞰画像２７では、車両１の前方および左側方に歩行者を表す対象物画像２５ａが表示されている。同様に車両１の後方には、障害物を表す対象物画像２５ｂが表示されている。
　また、歩行者用の対象物画像２５ａ、および障害物用の対象物画像２５ｂのそれぞれには、歩行者用のマーカー画像２６ａ、および障害物用のマーカー画像２６ｂが重ねて表示されている。更に、鳥瞰画像２７中で自車両が存在する位置には、車両１を表す車両画像２４が上書きされて合成されている。加えて、車両画像２４の周囲には、白線の画像も表示されている。
　このように、車両１に搭載された車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒで撮影した撮影画像から各種の対象物を検出して、その結果に基づいて鳥瞰画像を生成してやれば、運転者に提示する必要性の低い情報を表示しないようにすることができる。このため、図１１に例示したように、たいへんに分かり易い態様で、車両１の周囲の状況を運転者に提示することができる。また、歩行者や障害物など、特に運転者が注意を払うべき対象物にはマーカー画像を重ねて表示することで、運転者の注意を喚起することができる。加えて、車両１が存在する位置に車両画像２４を表示しておくことで、歩行者や障害物などの対象物と、車両１との位置関係を容易に把握することが可能となる。
　また、撮影画像を視点変換することによって鳥瞰画像を生成する場合、対象物の画像が大きく歪んでしまうことがある。例えば、図４に例示したような前方画像２０、左側方画像２１、右側方画像２２、後方画像２３を視線変換して鳥瞰画像２８を生成すると、図１２に例示したように、歩行者や障害物が大きく歪んでしまい、運転者が直ちに認識できない場合がある。
　これに対して、上述した本実施例のように、撮影画像に写った対象物の有無および対象物の位置についての情報を抽出して、その情報に基づいて鳥瞰画像を生成してやれば、図１１のように、たいへん分かり易い鳥瞰画像２７を生成することができる。
　もっとも、こうして得られた鳥瞰画像２７は、車両１の周囲の広い範囲を表している。このことは、撮影画像に写った対象物の位置の情報に基づいて鳥瞰画像を生成することで、画像中の対象物が歪むことが無くなり、その結果、広い範囲を表示する鳥瞰画像２７が生成可能になったと言うことでもある。そして、このように広い範囲を表示する鳥瞰画像２７を、表示画面１２に表示しようとすると、鳥瞰画像２７を小さく縮小して表示しなければならなくなって、車両１の周囲の状況を運転者が確認しづらくなる。
　そこで、本実施例の鳥瞰画像表示処理では、車両１のシフトポジションを取得する（図３のＳ１０４）。図２を用いて前述したようにシフトポジションは、車両１に搭載された図示しない変速機が、前進位置（Ｄ）、後退位置（Ｒ）、中立位置（Ｎ）、駐車位置（Ｐ）の何れに設定されているかを示している。そして、シフトポジションがこれらの何れであるかは、シフトポジションセンサー１４の出力から検出することができる。
　シフトポジションを取得したら、今度は、鳥瞰画像２７の中からシフトポジションに応じた所定範囲の画像を切り出して、切り出した画像の画像データを表示画面１２に向かって出力する（Ｓ１０５）。
　図１３には、シフトポジションに応じて、鳥瞰画像２７の中から所定範囲の画像を切り出す様子が例示されている。例えば、シフトポジションが前進位置（Ｄ）にある場合は、図１３に示すように、車両１の後方よりも前方の方が広くなるように設定された所定領域の画像を切り出してやる。図１３では、鳥瞰画像２７中で斜線を付さずに表示された部分が、切り出される画像を表している。また、シフトポジションが後退位置（Ｒ）にある場合は、図１３に示すように、車両１の前方よりも後方の方が広くなるように設定された所定領域の画像を切り出してやる。更に、シフトポジションが中立位置（Ｎ）あるいは駐車位置（Ｐ）にある場合は、図１３に示すように、車両１の前方と後方とが同じ広さとなるように設定された所定領域の画像を切り出してやる。
　そして、このようにして鳥瞰画像２７から切り出した画像の画像データを出力する（Ｓ１０５）。その結果、表示画面１２には、シフトポジションに応じて切り出された画像が表示される。
　続いて、鳥瞰画像の表示を終了するか否かを判断する（図３のＳ１０６）。その結果、鳥瞰画像の表示を終了しないと判断した場合は（Ｓ１０６：ｎｏ）、鳥瞰画像表示処理の先頭に戻って、再び、車載カメラ１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒから撮影画像を取得した後（Ｓ１００）、続く上述した一連の処理を繰り返す。
　これに対して、鳥瞰画像の表示を終了すると判断した場合は（Ｓ１０６：ｙｅｓ）、図３に示した本実施例の鳥瞰画像表示処理を終了する。
　図１４および図１５には、上述した鳥瞰画像表示処理によって表示画面１２に表示される画像が例示されている。例えば、図１４の上に示されるように、シフトポジションが中立位置（Ｎ）にある場合は、表示画面１２の中央付近に車両画像２４が表示されているので、運転者は前方および後方の状況を万遍なく把握することができる。
　もちろん、表示画面１２はそれほど広い範囲は表示することができないが、シフトポジションが中立位置（Ｎ）にある場合は車両１が止まっているので、運転者は遠くの状況を知りたいと思う可能性は低く、車両１の近くの状況が把握できれば十分である。
　その後、車両１を後退させようとしてシフトポジションを後退位置（Ｒ）に変更すると、図１４の下に示したように、車両１の前方よりも後方の方が、広い範囲が表示されるようになる。車両１の後退時には、運転者は後方については遠くの状況も知りたいと思う傾向が強いので、こうすることで、運転者にとって必要な情報を提示することが可能となる。図１４に示した例では、シフトポジションが中立位置（Ｎ）にあるときは表示されていなかった後方の障害物２５ｂが、シフトポジションを後退位置（Ｒ）に変更すると、表示画面１２上で確認可能となっている。
　また、前述したように本実施例では、遠くの位置まで歪みのない鳥瞰画像２７を表示することができるので、車両１から遠くの状況を表示する場合でも、運転者が容易に認識可能な態様で鳥瞰画像２７を表示することが可能となる。
　加えて、表示画面１２では、対象物が対象物画像２５ａ，２５ｂによって表示されるだけでなく、特に注意すべき対象物についてはマーカー画像が重ねて表示されるので、運転者が対象物を容易に認識することが可能となる。
　また、シフトポジションが中立位置（Ｎ）から前進位置（Ｄ）に変更された場合は、表示画面１２の表示は、図１５の上に示した状態から、図１５の下に示した状態に変更される。車両１の前進時には、運転者は前方については遠くの状況も知りたいと思う傾向が強いので、こうすることで、運転者にとって必要な情報を提示することが可能となる。
　図１５に示した例では、シフトポジションが中立位置（Ｎ）にあるときは表示されていなかった前方の歩行者２５ａが、シフトポジションを前進位置（Ｄ）に変更すると、表示画面１２上で確認可能となっている。
　以上、本実施例について例示したが、本開示の実施例は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様の実施例を包含できる。
 

 

Claims (6)

  1. 　車載カメラ（１０Ｆ，１０Ｒ，１１Ｌ，１１Ｒ）と、該車載カメラによる撮影画像を表示する表示画面（１２）とを搭載した車両（１）に適用されて、該車両を上方から見下ろす鳥瞰態様で、該車両の周囲の状況を表す画像を前記表示画面に表示する画像表示装置（１００）であって、
    　前記車載カメラから前記撮影画像を取得する撮影画像取得部（１０１）と、
    　前記車両の周囲の状況を前記鳥瞰態様で表示する鳥瞰画像（２７）を、前記撮影画像に基づいて生成する鳥瞰画像生成部（１０２）と、
    　前記鳥瞰画像中での前記車両の位置に、該車両を表す車両画像（２４）を合成する車両画像合成部（１０３）と、
    　前記車両のシフトポジションを検出するシフトポジション検出部（１０４）と、
    　前記車両画像が合成された前記鳥瞰画像の中から前記車両のシフトポジションに応じた所定範囲の画像を切り出して、前記表示画面に出力する画像出力部（１０５）と
    　を備える画像表示装置。
  2. 　請求項１に記載の画像表示装置であって、
    　前記画像出力部は、前記車両のシフトポジションが前進位置にある場合には、該車両の後方よりも該車両の前方の方が広くなるように設定された前記所定範囲の画像を切り出して、前記表示画面に出力する
    　画像表示装置。
  3. 　請求項１または請求項２に記載の画像表示装置であって、
    　前記画像出力部は、前記車両のシフトポジションが後退位置にある場合には、該車両の前方よりも該車両の後方の方が広くなるように設定された前記所定範囲の画像を切り出して、前記表示画面に出力する
    　画像表示装置。
  4. 　請求項１ないし請求項３の何れか一項に記載の画像表示装置であって、
    　前記鳥瞰画像生成部は、　
    　前記撮影画像に写った障害物または移動体を対象物として抽出する対象物抽出部（１０２、Ｓ２０２～Ｓ２０５）と、　
    　前記撮影画像中で前記対象物が抽出された位置に基づいて、該対象物の前記車両に対する相対位置を検出する相対位置検出部（１０２、Ｓ２０７）と
    　を備え、
    　前記対象物を表す対象物画像（２５ａ，２５ｂ）を、前記鳥瞰画像中で該対象物の前記相対位置が示す位置に合成することによって、該対象物を含む該鳥瞰画像を生成する
    　画像表示装置。
  5. 　請求項４に記載の画像表示装置であって、
    　前記鳥瞰画像生成部は、前記対象物抽出部によって抽出された前記対象物が障害物または移動体であった場合には、前記鳥瞰画像中で該対象物が表示されている位置に所定のマーカー画像（２６ａ，２６ｂ）を合成することによって、該マーカー画像を含む該鳥瞰画像を生成する
    　画像表示装置。
  6. 　車載カメラと、該車載カメラによる撮影画像を表示する表示画面とを搭載した車両に適用されて、該車両を上方から見下ろす鳥瞰態様で、該車両の周囲の状況を表す画像を前記表示画面に表示する画像表示方法であって、
    　前記車載カメラから前記撮影画像を取得する工程（Ｓ１００）と、
    　前記車両の周囲の状況を前記鳥瞰態様で表示する鳥瞰画像を、前記撮影画像に基づいて生成する工程（Ｓ１０１）と、
    　前記鳥瞰画像中での前記車両の位置に、該車両を表す車両画像を合成する工程（Ｓ１０３）と、
    　前記車両のシフトポジションを検出する工程（Ｓ１０４）と、
    　前記車両画像が合成された前記鳥瞰画像の中から前記車両のシフトポジションに応じた所定範囲の画像を切り出して、前記表示画面に出力する工程（Ｓ１０５）と
    　を備える画像表示方法。

     
PCT/JP2015/003132 2014-07-03 2015-06-23 画像表示装置、画像表示方法 WO2016002163A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/320,498 US20170158134A1 (en) 2014-07-03 2015-06-23 Image display device and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014137561A JP2016013793A (ja) 2014-07-03 2014-07-03 画像表示装置、画像表示方法
JP2014-137561 2014-07-03

Publications (1)

Publication Number Publication Date
WO2016002163A1 true WO2016002163A1 (ja) 2016-01-07

Family

ID=55018744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003132 WO2016002163A1 (ja) 2014-07-03 2015-06-23 画像表示装置、画像表示方法

Country Status (3)

Country Link
US (1) US20170158134A1 (ja)
JP (1) JP2016013793A (ja)
WO (1) WO2016002163A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105644442A (zh) * 2016-02-19 2016-06-08 深圳市歌美迪电子技术发展有限公司 一种扩展显示视野的方法、系统及汽车
JP2018157449A (ja) * 2017-03-21 2018-10-04 株式会社フジタ 建設機械用俯瞰画像表示装置
CN108886602A (zh) * 2016-03-18 2018-11-23 株式会社电装 信息处理装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014085953A1 (en) * 2012-12-03 2014-06-12 Harman International Industries, Incorporated System and method for detecting pedestrians using a single normal camera
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11591018B2 (en) 2017-10-10 2023-02-28 Aisin Corporation Parking assistance device
JP7087333B2 (ja) * 2017-10-10 2022-06-21 株式会社アイシン 駐車支援装置
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN111819122B (zh) * 2018-03-12 2023-09-19 日立安斯泰莫株式会社 车辆控制装置
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CA3115784A1 (en) 2018-10-11 2020-04-16 Matthew John COOPER Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
JPWO2021186853A1 (ja) * 2020-03-19 2021-09-23
CN111741258B (zh) * 2020-05-29 2022-03-11 惠州华阳通用电子有限公司 一种驾驶辅助装置实现方法
JP2023001977A (ja) * 2021-06-22 2023-01-10 フォルシアクラリオン・エレクトロニクス株式会社 車両周辺情報表示装置、及び車両周辺情報表示方法
JP7174389B1 (ja) 2022-02-18 2022-11-17 株式会社ヒューマンサポートテクノロジー 物体位置推定表示装置、方法及びプログラム
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2009143410A (ja) * 2007-12-14 2009-07-02 Nissan Motor Co Ltd 駐車支援装置及び方法
JP2011114536A (ja) * 2009-11-26 2011-06-09 Alpine Electronics Inc 車両周辺画像提供装置
JP2012096770A (ja) * 2010-11-05 2012-05-24 Denso Corp 車両用コーナー部周辺表示装置
JP2013001366A (ja) * 2011-06-22 2013-01-07 Nissan Motor Co Ltd 駐車支援装置および駐車支援方法
JP2013115739A (ja) * 2011-11-30 2013-06-10 Aisin Seiki Co Ltd 画像間差分装置および画像間差分方法
JP2014025272A (ja) * 2012-07-27 2014-02-06 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039321B2 (ja) * 2003-06-18 2008-01-30 株式会社デンソー 車両用周辺表示装置
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
JP5422902B2 (ja) * 2008-03-27 2014-02-19 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
US9047779B2 (en) * 2010-05-19 2015-06-02 Mitsubishi Electric Corporation Vehicle rear view monitoring device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2009143410A (ja) * 2007-12-14 2009-07-02 Nissan Motor Co Ltd 駐車支援装置及び方法
JP2011114536A (ja) * 2009-11-26 2011-06-09 Alpine Electronics Inc 車両周辺画像提供装置
JP2012096770A (ja) * 2010-11-05 2012-05-24 Denso Corp 車両用コーナー部周辺表示装置
JP2013001366A (ja) * 2011-06-22 2013-01-07 Nissan Motor Co Ltd 駐車支援装置および駐車支援方法
JP2013115739A (ja) * 2011-11-30 2013-06-10 Aisin Seiki Co Ltd 画像間差分装置および画像間差分方法
JP2014025272A (ja) * 2012-07-27 2014-02-06 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105644442A (zh) * 2016-02-19 2016-06-08 深圳市歌美迪电子技术发展有限公司 一种扩展显示视野的方法、系统及汽车
CN108886602A (zh) * 2016-03-18 2018-11-23 株式会社电装 信息处理装置
JP2018157449A (ja) * 2017-03-21 2018-10-04 株式会社フジタ 建設機械用俯瞰画像表示装置

Also Published As

Publication number Publication date
JP2016013793A (ja) 2016-01-28
US20170158134A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP5143235B2 (ja) 制御装置および車両周囲監視装置
CN111052733B (zh) 周围车辆显示方法及周围车辆显示装置
JP6028848B2 (ja) 車両の制御装置、及びプログラム
EP2974909B1 (en) Periphery surveillance apparatus and program
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2020043400A (ja) 周辺監視装置
JP2018144526A (ja) 周辺監視装置
JP5516988B2 (ja) 駐車支援装置
US20170028917A1 (en) Driving assistance device and driving assistance method
JP2018063294A (ja) 表示制御装置
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP6471522B2 (ja) カメラパラメータ調整装置
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP6554866B2 (ja) 画像表示制御装置
JP2020068515A (ja) 画像処理装置
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
JP6326869B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP4687411B2 (ja) 車両周辺画像処理装置及びプログラム
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP2018056951A (ja) 表示制御装置
JP2015171106A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15815799

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15320498

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15815799

Country of ref document: EP

Kind code of ref document: A1