[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019189308A1 - 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体 - Google Patents

映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体 Download PDF

Info

Publication number
WO2019189308A1
WO2019189308A1 PCT/JP2019/013091 JP2019013091W WO2019189308A1 WO 2019189308 A1 WO2019189308 A1 WO 2019189308A1 JP 2019013091 W JP2019013091 W JP 2019013091W WO 2019189308 A1 WO2019189308 A1 WO 2019189308A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
display
correction
distortion
Prior art date
Application number
PCT/JP2019/013091
Other languages
English (en)
French (fr)
Inventor
祥平 林
森 俊也
忠司 芝田
中野 信之
田中 彰
勝長 辻
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN201980023791.0A priority Critical patent/CN111954902B/zh
Priority to DE112019001736.5T priority patent/DE112019001736T5/de
Publication of WO2019189308A1 publication Critical patent/WO2019189308A1/ja
Priority to US17/030,621 priority patent/US11514559B2/en
Priority to US17/994,158 priority patent/US11983856B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/23Optical features of instruments using reflectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present disclosure generally relates to a video display system, a video display method, a program, and a moving body including the video display system, and more specifically, a video display system, a video display method, a program, and a video display that project a virtual image onto a target space.
  • the present invention relates to a moving object including the system.
  • a display device head-up display device
  • the display device includes display means, display control means, position detection means, and a storage unit.
  • the display image is displayed on the display means, the display image is projected onto the projection member and visually recognized by the driver.
  • the driver visually recognizes the virtual image of the display image superimposed on the real scene.
  • the storage unit stores three distortion correction parameters.
  • the three distortion correction parameters correspond to the case where the driver's viewpoint position is the left end, the center, or the right end of the viewable range of the display image.
  • the display control means acquires one of the three distortion correction parameters from the storage unit based on the observer's viewpoint position detected by the position detection means, and based on the acquired distortion correction parameter, the projection target member The distortion of the display image when projected onto the screen is corrected. With this configuration, even when the viewpoint position of the observer moves to the left and right, the visibility can be improved by correcting the distortion of the virtual image.
  • the present disclosure provides a video display system, a video display method, a program, and a video display system that can reduce a deviation between a virtual image and a real scene even when the posture of the main body changes while correcting distortion of the virtual image.
  • An object of the present invention is to provide a moving body provided.
  • the video display system includes a display unit, a projection unit, a main body unit, and an image forming unit.
  • the display unit displays an image.
  • the projection unit projects a virtual image corresponding to the image onto a target space by the output light of the display unit.
  • the main body is provided with the display and the projection.
  • the image forming unit forms the image displayed on the display unit.
  • the image forming unit includes a first correction unit and a second correction unit.
  • the first correction unit corrects distortion of the image.
  • the second correction unit corrects the display position of the image on the display unit based on a posture signal indicating a posture change of the main body.
  • the display screen of the display unit has a plurality of partitioned areas.
  • the image has a plurality of image areas.
  • a distortion correction parameter for correcting the distortion of the virtual image corresponds to each of the plurality of divided areas of the display screen.
  • the first correction unit performs distortion correction on the image area based on the distortion correction parameter corresponding to the partition area where the image area is displayed for each of the plurality of image areas on the display screen.
  • a moving body includes the video display system and a moving body main body.
  • the moving body main body is provided with the video display system.
  • the video display method is a video display method using a video display system including a display unit, a projection unit, and a main body unit.
  • the display unit displays an image.
  • the projection unit projects a virtual image corresponding to the image onto a target space by the output light of the display unit.
  • the main body is provided with the display and the projection.
  • the video display method includes an image forming process.
  • the image forming process forms the image displayed on the display unit.
  • the image forming process includes a first correction process and a second correction process.
  • the first correction process corrects the distortion of the image.
  • the display position of the image on the display unit is corrected based on a posture signal representing a posture change of the main body.
  • the display screen of the display unit has a plurality of partitioned areas.
  • the image has a plurality of image areas.
  • a distortion correction parameter for correcting the distortion of the virtual image corresponds to each of the plurality of divided areas of the display screen.
  • a distortion correction process for performing distortion correction on the image area based on the distortion correction parameter corresponding to the partition area in which the image area is displayed including.
  • the program according to one aspect of the present disclosure is a program for causing a computer to execute the video display method.
  • FIG. 1 is a conceptual diagram illustrating a configuration of a video display system according to the first embodiment.
  • FIG. 2 is a conceptual diagram of an automobile equipped with the same video display system.
  • FIG. 3 is a conceptual diagram showing a driver's field of view when the above-described video display system is used.
  • FIG. 4 is a block diagram showing the configuration of the above-described video display system.
  • FIG. 5 is a conceptual diagram showing a display image displayed on the display unit of the video display system.
  • FIG. 6A is a conceptual diagram showing a first image constituting a display image.
  • FIG. 6B is a conceptual diagram showing a second image constituting the display image.
  • FIG. 7 is a conceptual diagram illustrating the display deviation correction process.
  • FIG. 8 is a conceptual diagram illustrating the distortion correction processing.
  • FIG. 1 is a conceptual diagram illustrating a configuration of a video display system according to the first embodiment.
  • FIG. 2 is a conceptual diagram of an automobile equipped with the same video display system.
  • FIG. 9A is a conceptual diagram illustrating a state in which a distortion correction parameter is associated with each partition area of an image to be distortion corrected.
  • FIG. 9B is a conceptual diagram illustrating a correspondence relationship between each partition region of the windshield projection region and the distortion correction parameter.
  • FIG. 10 is a conceptual diagram illustrating a configuration of a video display system according to the second embodiment.
  • FIG. 11A is a conceptual diagram illustrating a state in which a distortion correction parameter is associated with each partition area of an image to be distortion corrected.
  • FIG. 11B is a conceptual diagram showing a correspondence relationship between each division area of the projection area of the windshield and the distortion correction parameter.
  • FIG. 12 is a conceptual diagram illustrating the display deviation correction process.
  • FIG. 12 is a conceptual diagram illustrating the display deviation correction process.
  • FIG. 13 is a conceptual diagram illustrating a configuration of a video display system according to a modification.
  • FIG. 14 is a graph illustrating an example of the relationship between the change amount of the posture change and the correction amount in the display deviation correction process.
  • FIG. 15 is a conceptual diagram showing a modification of the display unit.
  • the video display system 10 is, for example, a head-up display (HUD: Head-Up Display) used in an automobile 100 as a mobile body.
  • HUD Head-Up Display
  • the whole including the video display system 10 and the automobile 100 (movable body main body) provided with the video display system 10 is a moving body.
  • the video display system 10 is disposed in the passenger compartment of the automobile 100 so as to project an image onto the windshield 101 (reflective member) of the automobile 100 from below.
  • the video display system 10 is arranged in the dashboard 102 below the windshield 101.
  • the user (driver) 200 places the image projected onto the windshield 101 in the target space 400 set in front of the automobile 100 (outside the vehicle). It is visually recognized as the displayed virtual image 300.
  • the “virtual image” refers to an image formed by the diverging light beam so that there is actually an object when the image light emitted from the video display system 10 diverges (reflects) by a reflecting member such as the windshield 101. Means. Therefore, as shown in FIG. 3, the user 200 driving the automobile 100 can see the virtual image 300 projected by the video display system 10 so as to be superimposed on the real scene spreading in front of the automobile 100. Therefore, according to the video display system 10, various driving support information can be displayed as a virtual image 300 so as to be superimposed on the real scene and made visible to the user 200.
  • the driving support information is, for example, vehicle speed information, navigation information, pedestrian information, forward vehicle information, lane departure information, and vehicle condition information. As a result, the user 200 can visually acquire the driving support information by only a slight line-of-sight movement from a state where the line-of-sight is directed in front of the windshield 101.
  • the windshield 101 is a member that has a reflection function of reflecting image light to the user side and also has a transmission function of transmitting light so that the user can visually recognize the actual scene through the window seal 101d. .
  • the virtual image 300 formed in the target space 400 includes at least two types of virtual images: a first virtual image 301 and second virtual images 302a and 302b.
  • the first virtual image 301 is, for example, information indicating the traveling direction of the automobile 100 as navigation information, and is an arrow indicating a right turn or a left turn on the road surface 600.
  • This type of first virtual image 301 is an image displayed using augmented reality (AR) technology, and is specified in a real scene (a road surface 600, a building, a surrounding vehicle, a pedestrian, and the like) viewed from the user 200. It is displayed superimposed on the position of.
  • AR augmented reality
  • the second virtual image 302a is distance information indicating, for example, the distance to the nearest intersection as the navigation information.
  • the second virtual image 302b is vehicle speed information indicating the current vehicle speed of the automobile 100, for example.
  • the second virtual images 302a and 302b are displayed at a predetermined location (for example, the lower portion) of the target space 400.
  • the first virtual image 301 represents, for example, an arrow that indicates “turn left” on the road in front of the automobile 100.
  • the second virtual image 302a represents the distance to the nearest intersection of “50 m”.
  • the second virtual image 302b displays the current vehicle speed of the automobile 100 of “20 km / h”.
  • the virtual image 300 displayed in the target space 400 is formed on a virtual plane 501 that intersects the optical axis 500 of the video display system 10 as shown in FIG.
  • the optical axis 500 is along the road surface 600 in front of the automobile 100 in the target space 400 in front of the automobile 100.
  • a virtual surface 501 on which the virtual image 300 is formed is substantially perpendicular to the road surface 600. For example, when the road surface 600 is a horizontal plane, the virtual image 300 is displayed along the vertical plane.
  • the video display system 10 includes an image display unit 2, a projection unit 3, and a main body unit 1.
  • the image display unit 2 has a display screen 25 and displays an image 700 on the display screen 25.
  • the projection unit 3 projects a virtual image 300 corresponding to the image 700 onto the target space 400 using the output light of the image display unit 2.
  • the main body 1 is provided with the image display unit 2 and the projection unit 3.
  • the posture of the main body 1 changes with the posture of the automobile 100 due to, for example, the condition of the road surface 600 and the acceleration / deceleration of the automobile 100.
  • the main body 1 also assumes a forward leaning posture
  • the main body 1 also assumes a backward leaning posture
  • the posture of the main body 1 of the video display system 10 changes, the relative arrangement relationship between the virtual image 300 and the real scene changes. Therefore, for example, when the posture of the main body 1 is changed, the first virtual image 301 is displayed at a position shifted from a specific position that should be superimposed in the actual scene viewed from the user 200.
  • the video display system 10 includes a display deviation correction unit (second correction unit) 213 as shown in FIG.
  • the display shift correction unit 213 corrects the display position of the first virtual image 301 in the target space 400 so that the first virtual image 301 is displayed at a specific position in the real scene according to the posture change of the main body unit 1.
  • the display position of the first virtual image 301 is corrected in accordance with the posture change of the main body 1. Therefore, for example, even when the posture of the automobile 100 changes, the video display system 10 can display the first virtual image 301 in a superimposed manner at a specific position that should be superimposed in the actual scene viewed from the user 200. is there.
  • the display position of the first virtual image 301 and the second virtual image 302 is corrected according to the posture change of the main body unit 1, and the display position of the second virtual image 302 is not corrected.
  • the display position of the second virtual image 302 may be corrected together with the first virtual image 301.
  • the video display system 10 when the virtual image 300 is reflected by the windshield 101, the virtual image 300 is distorted. Therefore, the video display system 10 further includes a distortion correction unit (first correction unit) 215 that corrects the distortion of the virtual image 300, as shown in FIG.
  • the video display system 10 includes the display deviation correction unit 213 and the distortion correction unit 215, the deviation between the virtual image 300 and the real scene is corrected even when the posture of the main body unit 1 is changed while correcting the distortion of the virtual image 300. Can be prevented.
  • the video display system 10 includes a main body unit 1, an image display unit 2, and a projection unit 3.
  • the main body 1 is constituted by a housing, for example.
  • An image display unit 2 and a projection unit 3 are provided in the main body unit 1.
  • the main body 1 is fixed in the dashboard 102 of the automobile 100.
  • the main body 1 may be a frame or a plate material, for example, instead of the housing.
  • the image display unit 2 has a display screen 25, displays the image 700 on the display screen 25, and irradiates the displayed image 700 toward the projection unit 3.
  • the image display unit 2 includes a display unit 20 and an image forming unit 21.
  • the display unit 20 displays the image 700 and irradiates the displayed image 700 in front of the display unit 20.
  • the image forming unit 21 executes an image forming process for forming an image 700 displayed on the display unit 20.
  • an image 700 displayed on the display unit 20 includes a first corresponding image 721 corresponding to the first virtual image 301, second corresponding images 722a and 722b corresponding to the second virtual images 302a and 302b, including.
  • the first corresponding image 721 is, for example, an arrow image that shows an arrow for way guidance to the destination of the automobile 100.
  • the second corresponding image 722a is a distance image indicating the distance to the nearest intersection in front of the automobile 100, for example.
  • the second corresponding image 722b is a vehicle speed image indicating the current vehicle speed of the automobile 100, for example.
  • an arrow image 721, a distance image 722a, and a vehicle speed image 722b are also described.
  • the image 700 is formed by combining images of a first image 701 including a first corresponding image 721 and a second image 702 including second corresponding images 722 a and 722 b.
  • the first image 701 is formed as an image for one screen, for example.
  • the second image 702 is formed as a belt-like (for example, horizontally long belt-like) image.
  • the image 700 is configured by superimposing a second image 702 below the first image 701.
  • the first corresponding image 721 can be displayed at an arbitrary position of the first image 701.
  • the second corresponding images 722a and 722b are displayed at specific positions of the second image (band-shaped image) 702.
  • the second corresponding image 722a is displayed at a position on the left side of the center of the second image 702, and the second corresponding image 722b is displayed at a position on the right side of the center of the second image 702.
  • the image 700 has a first area 705 and a second area 706 as shown in FIG.
  • the first area 705 is an area that is corrected by the display deviation correction unit 213 and is an area in which the first corresponding image 721 is displayed.
  • the first area 705 is an area in the first image 701 where the second image 702 is not superimposed.
  • the second area 706 is an area that is corrected by the display deviation correction unit 213, and is an area in which the second corresponding images 722a and 722b are displayed.
  • the second area 706 matches the image area of the second image 702.
  • the automobile 100 includes an ADAS (advanced driver assistance system) 4 and a vehicle CAN (Controller area network) 5.
  • the ADAS 4 is a system that supports the driving operation of the driver of the automobile 100, and has traffic information such as object information (relative position and speed) around the automobile 100 and road conditions.
  • the object information around the automobile 100 is information detected by a detection unit using, for example, a rider, a millimeter wave, or a camera.
  • said road state is detailed information, such as the white line shape of a road surface, for example.
  • the vehicle CAN5 is an in-vehicle network mounted on the automobile 100.
  • a vehicle speed sensor for detecting the vehicle speed of the automobile 100 and a car navigation device (not shown) are connected to the vehicle CAN5. Therefore, traffic information such as vehicle speed information of the automobile 100 and navigation information can be acquired from the vehicle CAN5.
  • the image forming unit 21 acquires the navigation information and the detection value of the vehicle speed sensor (the vehicle speed of the automobile 100) from the vehicle CAN5, and the traffic information (for example, the interval between the vehicle 100 and other vehicles around the host vehicle 100). Information).
  • the navigation information is, for example, the travel route to the destination where the automobile 100 is headed, the distance to the nearest intersection, and the like.
  • the image forming unit 21 forms the second image 702 including the vehicle speed image 722b based on the acquired vehicle speed information of the automobile 100, and the formed second image 702 is displayed on the display unit 20, as shown in FIG. indicate.
  • the second virtual image 302 corresponding to the vehicle speed image 722b (that is, a virtual image indicating the vehicle speed of the automobile 100) is displayed at a predetermined location (for example, the lower portion) of the target space 400.
  • the second virtual image 302 is always displayed while the automobile 100 is traveling.
  • the second image 702 may include a traffic information image (an image indicating traffic information acquired from ADAS 4) instead of the vehicle speed image 722b or together with the vehicle speed image 722b.
  • a virtual image indicating traffic information can be displayed as the second virtual image 302 instead of the virtual image indicating the vehicle speed of the host vehicle 100 or together with the virtual image indicating the vehicle speed of the host vehicle 100.
  • the image forming unit 21 determines that the automobile 100 has approached the nearest intersection ahead by a certain distance based on the acquired navigation information, as shown in FIG. 5, an arrow image indicating the direction of travel at the above intersection A first image 701 including 721 is formed. Further, the image forming unit 21 forms a distance image 722a indicating the distance to the intersection based on the car navigation information, and adds the formed distance image 722a to the second image 702 including the vehicle speed image 722b. To do. Then, the image forming unit 21 combines the first image 701 and the second image 702 and outputs them to the display unit 20.
  • a first virtual image 301 corresponding to the arrow image 721 is displayed at a specific position of the real scene in the target space 400.
  • the second virtual image 302a corresponding to the distance image 722a is displayed at a predetermined location (for example, the lower portion) of the target space 400.
  • the image forming unit 21 reacquires vehicle speed information and navigation information at regular intervals, and the size and arrangement of the arrow image 721, the distance displayed by the distance image 722a, and the vehicle speed displayed by the vehicle speed image 722b. Update.
  • the relative arrangement relationship between the virtual image 300 and the real scene changes.
  • the first virtual image 301 is displayed at a position shifted from a specific position (for example, an intersection) where the main body should be superimposed in a real scene.
  • a specific position for example, an intersection
  • the line of sight of the user 200 rises and the actual scene viewed from the user 200 moves relatively downward.
  • the first virtual image 301 is displayed at a position higher than the intersection.
  • the image forming unit 21 detects a change in the posture of the main body unit 1, the image forming unit 21 corrects the display position of the first image 701 on the display screen 25 based on the detected posture change of the main body unit 1.
  • the display position of the first virtual image 301 is corrected from the default position (default position) to a position overlapping along the intersection.
  • the projection unit 3 projects the virtual image 300 corresponding to the image 700 onto the target space 400 by the output light from the display screen 25 of the image display unit 2.
  • the projection unit 3 projects the image 700 onto the windshield 101 (see FIG. 2).
  • the projected image 700 is projected onto the projection area 105 (see FIG. 3) of the windshield 101.
  • the projection unit 3 includes a first mirror 31 and a second mirror 32.
  • the first mirror 31 and the second mirror 32 are arranged in the order of the first mirror 31 and the second mirror 32 on the optical path of the output light from the image display unit 2.
  • the 1st mirror 31 is arrange
  • the first mirror 31 reflects the output light of the image display unit 2 toward the second mirror 32.
  • the second mirror 32 is disposed at a position where the output light of the image display unit 2 reflected by the first mirror 31 is incident (for example, a position on the lower front side of the first mirror 31).
  • the second mirror 32 reflects the output light of the image display unit 2 reflected by the first mirror 31 upward (that is, the windshield 101).
  • the first mirror 31 is, for example, a convex mirror
  • the second mirror 32 is, for example, a concave mirror.
  • the projection unit 3 enlarges or reduces the image 700 displayed on the display screen 25 of the image display unit 2 to an appropriate size, and projects the image 700 onto the windshield 101 as a projection image.
  • the virtual image 300 is displayed in the target space 400. That is, within the field of view of the user 200 driving the automobile 100, the virtual image 300 of the image 700 projected from the video display system 10 is displayed so as to overlap the real scene spreading in front of the automobile 100.
  • the image forming unit 21 and the display unit 20 will be described in detail with reference to FIGS. 4 to 9B.
  • the image forming unit 21 includes an input processing unit 211, a drawing processing unit 212, a display deviation correction unit 213 (second correction unit), an image composition unit 214, and a distortion correction unit 215 (first correction unit). 1 correction unit) and a gyro sensor 216 (sensor).
  • the gyro sensor 216 is used as a sensor.
  • the gyro sensor 216 is not limited to the gyro sensor 216 and may be any sensor as long as it can detect a change in posture of the automobile 100.
  • the input processing unit 211 inputs various information from the ADAS 4 and the vehicle CAN5. For example, the input processing unit 211 inputs information such as a travel route to the destination of the automobile 100 and a distance to the nearest intersection in front of the automobile 100 as the car navigation information from the vehicle CAN5. Further, the input processing unit 211 inputs vehicle speed information of the automobile 100 from the vehicle CAN5. The input processing unit 211 outputs various input information to the drawing processing unit 212. Further, the input processing unit 211 acquires traffic information from the ADAS 4.
  • the gyro sensor 216 is a sensor that detects a change in posture of the main body 1, and detects, for example, a pitch angle of the main body 1.
  • the pitch angle of the main body 1 is a rotation angle around an axis extending in the left-right direction of the main body 1. Since the main body 1 is fixed to the automobile 100, the posture change of the main body 1 is the same as the attitude change of the automobile 100. For this reason, the gyro sensor 216 detects the posture change (that is, the pitch angle) of the main body 1 by detecting the posture change (that is, the pitch angle) of the automobile 100.
  • the pitch angle of the automobile 100 is a rotation angle around an axis extending in the left-right direction of the automobile 100.
  • the gyro sensor 216 outputs the detected posture change information to the display deviation correction unit 213 as a posture signal.
  • the gyro sensor 216 is used as a sensor for detecting the posture change of the main body 1, but is not limited to the gyro sensor.
  • the rendering processing unit 212 renders the first image 701 (see FIG. 6B) and the second image 702 (FIG. 6A) constituting the image 700 separately based on various information output from the input processing unit 211.
  • the drawing processing unit 212 based on the vehicle speed information of the automobile 100 included in the various information described above, and the like, a vehicle speed image (second corresponding image) representing the vehicle speed of the automobile 100. 722b and the like are drawn.
  • a distance image (second correspondence image) indicating the distance to the intersection.
  • Draw 722a the drawing processing unit 212 forms a second image 702 including the drawn distance image 722a and the vehicle speed image 722b, and outputs the formed second image 702 to the image composition unit 214.
  • the drawing processing unit 212 does not draw the distance image 722a when it is determined that the automobile 100 has not approached the nearest intersection ahead by a certain distance. Therefore, in this case, the distance image 722a is not included in the second image 702.
  • the drawing processing unit 212 determines that the automobile 100 has approached the intersection closest to the front to a certain distance based on the car navigation information included in the various information. When the determination is made in this way, the drawing processing unit 212 draws an arrow image (first corresponding image) 721 for road guidance, forms a first image 701 including the drawn arrow image 721, and forms the first image 701 formed. One image 701 is output to the display deviation correction unit 213.
  • the drawing processing unit 212 updates the arrangement and size of the arrow image 721 at regular intervals, re-forms the first image 701, and displays the re-formed first image 701 in the display deviation correction unit 213. Output.
  • the first virtual image 301 corresponding to the arrow image 721 is displayed superimposed on a specific position in the real scene (for example, the nearest intersection in front of the vehicle) as the automobile 100 moves.
  • the rendering processing unit 212 updates the display content of the distance image 722a and the display content of the vehicle speed image 722b to the latest content at regular intervals, re-forms the second image 702, and re-forms the second image. 702 is output to the image composition unit 214. Thereby, the display content of the second virtual image 302a corresponding to the distance image 722a and the display content of the second virtual image 302b corresponding to the vehicle speed image 722b are updated to the latest content.
  • the display deviation correction unit 213 corrects the display position of the first image 701 on the display unit 20 based on the posture signal output from the gyro sensor 216 (that is, the posture change of the main body unit 1). That is, when the posture of the main body 1 changes, the relative arrangement relationship between the main body 1 and the actual scene is shifted. As a result, the first virtual image 301 is superimposed and displayed at a position shifted from a specific position in the real scene. For this reason, the display shift correction unit 213 corrects the display position of the first image 701 on the display unit 20 so that the first virtual image 301 is displayed superimposed on a specific position of the real scene. This correction is also referred to as display deviation correction.
  • the display deviation correction unit 213 includes a buffer memory 217 as shown in FIG.
  • the buffer memory 217 is a memory that can temporarily store an image for one screen, and is composed of, for example, a VRAM (Video RAM).
  • the display deviation correction unit 213 temporarily stores the first image 701 output from the drawing processing unit 212 in the buffer memory 217 as illustrated in FIG. Then, the display deviation correction unit 213 changes the reading start position P1 of the buffer memory 217 from the reference position P1a according to a change in the posture of the main body unit 1, and the first image 701 from the changed reading start position P1 (for example, position P1b). Is read. As a result, the display position of the first image 701 is corrected according to the posture change of the main body 1.
  • the display deviation correction unit 213 determines that the posture change has occurred in the main body 1 based on the posture signal from the gyro sensor 216, the display deviation correction unit 213 obtains the amount of change in the posture change of the main body 1 from the posture signal. .
  • the display deviation correction unit 213 obtains a correction amount for correcting the display position of the image 700 (see FIG. 5) on the display unit 20 so as to cancel the obtained change amount.
  • This correction amount is a length for displacing the display position of the image 700 on the display screen 25 of the display unit 20.
  • the display deviation correction unit 213 changes the reading start position P1 from the reference position P1a to a position P1b displaced in the vertical direction of the first image 701 according to the obtained correction amount.
  • the reference position P1a is, for example, the position of the upper left corner of the stored first image 701. Then, the display deviation correction unit 213 reads the stored first image 701 from the changed reading start position P1 (position P1b).
  • the display deviation correction unit 213 reads, as the first image 701, an image for one screen having the reading start position P1 as the position of the upper left corner of the image after reading. .
  • the display position of the arrow image 721 in the first image 701 after reading is the display position of the arrow image 721 in the first image 701 before reading (two points). It is shifted in the vertical direction (downward in the illustration of FIG. 7) as compared to the chain line).
  • the display position of the first image 701 on the display unit 20 is corrected in the vertical direction.
  • the display deviation correction unit 213 determines that no posture change has occurred in the main body 1 based on the posture signal, the display deviation correction unit 213 sets the reading start position P1 to the reference position P1a and sets the set reading start position P1 (reference value).
  • the saved first image 701 is read from the position Pla). For this reason, the display position of the arrow image 721 in the first image 701 after reading is the same as the display position of the arrow image 721 in the first image 701 before reading. That is, the display position of the first image 701 on the display unit 20 is not corrected.
  • the display deviation correction unit 213 outputs the read first image 701 to the image composition unit 214.
  • the image composition unit 214 includes a second image 702 (see FIG. 6A) output from the drawing processing unit 212 and a first image 701 (see FIG. 6B) output from the display deviation correction unit 213. Are combined to form an image 700 (see FIG. 5).
  • the image composition unit 214 forms the image 700 by superimposing and synthesizing the second image 702 that is a horizontally long strip image on the lower part of the first image 701 that is an image for one screen. . Then, the image composition unit 214 outputs the formed image 700 to the distortion correction unit 215.
  • the distortion correction unit 215 corrects distortion of the image 700 displayed on the display unit 20.
  • the distortion correction unit 215 performs distortion correction on the image 700 output from the image composition unit 214 (that is, the image corrected by the display deviation correction unit 212). That is, the image 700 output from the image composition unit 214 is displayed on the display screen 25 of the display unit 20 and projected onto the projection area 105 of the windshield 101.
  • the image light of the projected image 700 is reflected by the projection area 105 of the windshield 101 to form a virtual image 300 in the target space 400.
  • the image light is distorted by reflection on the projection area 105 of the windshield 101, and as a result, the virtual image 300 is distorted.
  • the distortion correction unit 215 forms a distortion in the image 700 that cancels the distortion of the virtual image 300 in order to eliminate the distortion of the virtual image 300.
  • the distortion correction unit 215 includes a buffer memory 218 and a storage unit 219.
  • the buffer memory 218 is a memory that temporarily stores the first image 701 output from the image composition unit 214, and is configured by, for example, a VRAM.
  • the buffer memory 218 has a storage area 220 for storing the first image 701.
  • the storage unit 219 stores a plurality (for example, 16) of distortion correction parameters U12 to U44 (see FIG. 9B) used for distortion correction by the distortion correction unit 215.
  • the distortion correction unit 215 temporarily stores the image 700 output from the image composition unit 214 in the storage area 220 of the buffer memory 218, as shown in FIG. Then, the distortion correction unit 215 performs distortion correction on each part of the stored image 700 based on the distortion correction parameters U11 to U44 stored in the storage unit 219. Then, the distortion correction unit 215 outputs the corrected image 700 to the display unit 20.
  • the image 700 output to the display unit 20 is displayed on the display screen 25 of the display unit 20.
  • the image 700 corrected by the distortion correction unit 215 that is, the image displayed on the display screen 25
  • distortion that cancels distortion caused by reflection on the projection region 105 of the windshield 101 is formed.
  • the storage area 220 of the buffer memory 218 has a plurality of partitioned areas 220s.
  • the display screen 25 of the display unit 20 also has a plurality of partition regions 25s (first partition regions), and the projection region 105 of the windshield 101 also has a plurality of partition regions 105s (second partitions). Area).
  • Each partitioned area 220s, each partitioned area 25s, and each partitioned area 105s is partitioned in a mesh shape, for example, vertically and horizontally. In the example of FIG. 9A and FIG.
  • each partition area 220s, each partition area 25s, and each partition area 105s are partitioned into four in total, four in width, and four in total.
  • the size of each partition area 220s, 25s, 105s is the size of a plurality of pixels. Note that the size of each of the partition regions 220s, 25s, and 105s is not limited to the size of a plurality of pixels, and may be the size of one pixel.
  • Each partition area 220 s of the storage area 220 corresponds to each partition area 25 s of the display screen 25 on a one-to-one basis
  • each partition area 25 s of the display screen 25 corresponds to each partition area 105 s of the projection area 105 on a one-to-one basis. is doing. That is, the same portion of the image 700 is stored, displayed, or reflected in each partitioned area 220s of the storage area 220, each partitioned area 25s corresponding to the display screen 25, and each corresponding partitioned area 105s of the projection area 105.
  • each distortion correction parameter U11 to U44 corresponds to each partition area 105s of the projection area 105, and cancels distortion generated when the output light of the display unit 20 is reflected by each partition area 105s.
  • the value is to be corrected.
  • the distortion correction parameters U11 to U44 may be set as a function expression related to the representative point (for example, the position of the upper left corner) of each partition area 105s of the projection area 105, or correspond to each partition area 105s of the projection area 105. It may be a numerical value attached. Since each partitioned area 105s of the projection area 105 corresponds to each partitioned area 25s of the display screen 25, each distortion correction parameter U11 to U44 also corresponds to each partitioned area 25s of the display screen 25.
  • each image area 700 s of the image 700 corresponds to each partitioned area 220 s of the storage area 220, it corresponds to each partitioned area 25 s of the display screen 25 and each partitioned area 105 s of the projection area 105.
  • the distortion correction unit 215 performs distortion correction on each image area 700 s of the image 700 stored in the storage area 220 based on the distortion correction parameters U11 to U44 corresponding to the partition area 25s corresponding to the projection area 105. I do.
  • FIG. 9A distortion correction parameters U11 to U44 corresponding to each image region 700s are shown in each image region 700s of the image 700. Accordingly, each image region 700s of the image 700 is subjected to distortion correction with the distortion correction parameters U11 to U44 illustrated in each image region 700s.
  • the distortion correction parameters U11 to U44 also correspond to the partitioned areas 25s of the display screen 25. Therefore, the distortion correction parameters U11 to U44 also correspond to the partitioned areas 25s of the display screen 25 in accordance with the partitioned areas 25s.
  • Each image area 700s of the image 700 is subjected to distortion correction based on the distortion correction parameters U11 to U44 corresponding to the partition area 25s where each image area 700s is displayed on the display screen 25.
  • the distortion correction when the image 700 is irradiated onto the projection area 105, the distortion correction performed on each image area 700 s of the image 700 and the reflection at each corresponding partition area 25 s of the projection area 105 convert the image light.
  • the generated distortion is offset and the distortion of the virtual image 300 is eliminated.
  • the display unit 20 includes a liquid crystal panel 201, a light source device 202, and a display control unit 203, as shown in FIG.
  • the liquid crystal panel 201 displays the image 700 formed by the image forming unit 21.
  • the light source device 202 illuminates the image 700 displayed on the liquid crystal panel 201 in front of the liquid crystal panel 201.
  • the display control unit 203 controls the liquid crystal panel 201 and the light source device 202.
  • the liquid crystal panel 201 is, for example, an LCD (Liquid Crystal Display).
  • the liquid crystal panel 201 is disposed in front of the light source device 202.
  • the front surface of the liquid crystal panel 201 (that is, the surface opposite to the light source device 202) constitutes the display screen 25.
  • An image 700 is displayed on the display screen 25.
  • the light source device 202 is used as a backlight of the liquid crystal panel 201.
  • the output light of the light source device 202 passes through the liquid crystal panel 201 and is output from the display screen 25.
  • the light source device 202 is a surface light source that irradiates light over substantially the entire back surface of the liquid crystal panel 201 using a solid light emitting element such as a light emitting diode or a laser diode.
  • the display control unit 203 displays the image 700 on the display screen 25 by driving the liquid crystal panel 201 based on the image 700 output from the image forming unit 21 to the display unit 20. Further, the display control unit 203 turns on the light source device 202 and illuminates the image 700 displayed on the liquid crystal panel 201 in front of the liquid crystal panel 201. At this time, the light emitted in front of the liquid crystal panel 201 is light (image light) reflecting the image 700 displayed on the liquid crystal panel 201. Therefore, the image displayed on the liquid crystal panel 201 is projected in front of the liquid crystal panel 201 by the output light of the light source device 202.
  • the drawing processing unit 212, the display shift correction unit 213, the distortion correction unit 215, and the display control unit 203 are each configured by a microcomputer (computer system) having a processor such as a CPU (Central Processing Unit) and a memory, for example.
  • the drawing processing unit 212, the display deviation correction unit 213, the distortion correction unit 215, and the display control unit 203 are realized by a computer having a processor and a memory.
  • the processor executes a program stored in the memory
  • the computer functions as the drawing processing unit 212, the display shift correction unit 213, the distortion correction unit 215, or the display control unit 203.
  • the program is recorded in advance in the memory, but may be provided by being recorded through a telecommunication line such as the Internet or a recording medium such as a memory card.
  • the video display system 10 configured as described above, it is possible to prevent a deviation between the virtual image 300 and the real scene even if the posture of the main body 1 is changed while correcting the distortion of the virtual image 300. More specifically, since the distortion correction unit 215 and the display deviation correction unit 213 are provided, the distortion correction of the virtual image 300 and the correction of the display position of the virtual image 300 with respect to the posture change of the main body unit 1 can be performed. At that time, the distortion correction parameters U11 to U44 corresponding to the partition areas 25s correspond to the partition areas 25s of the display screen 25 of the display unit 20, respectively.
  • the distortion correction unit 215 performs distortion correction on each image region 700 s of the image 700 based on the distortion correction parameters U11 to U44 corresponding to each partition region 25 s where each image region 700 s of the image 700 is displayed on the display screen 25. I do. For this reason, even if the display position of the image 700 is corrected by the display deviation correction unit 213, the distortion of the virtual image 300 can be appropriately corrected by the correction by the distortion correction unit 213.
  • the image forming unit 21 according to the second embodiment includes a display deviation correction unit 213, an image composition unit 214, and a distortion correction unit 215 as compared with the image forming unit 21 (FIG. 4) according to the first embodiment. Processing order is different. More specifically, a distortion correction unit 215 (first correction unit) is arranged after the drawing processing unit 212, and a display deviation correction unit 213 (second correction unit) is arranged after the distortion correction unit 215. An image composition unit 214 is disposed following the correction unit 213.
  • the second image 702 drawn by the drawing processing unit 212 is output to the image composition unit 214.
  • the first image 701 drawn by the drawing processing unit 212 is output to the distortion correction unit 215.
  • the distortion correction unit 215 performs distortion correction on the first image 701 drawn by the drawing processing unit 212, and outputs the corrected first image 701 to the display deviation correction unit 213.
  • the display deviation correction unit 213 corrects the display position on the display unit 20 of the first image 701 whose distortion is corrected by the distortion correction unit 215, and outputs the corrected first image 701 to the image composition unit 214.
  • the image composition unit 214 composes the second image 702 output from the drawing processing unit 212 and the first image 701 output from the display deviation correction unit 213 to form an image 700. Then, the image composition unit 214 outputs the formed image 700 to the display unit 20.
  • the distortion correction unit 215 performs distortion correction on the image 700 by shifting the range in which distortion correction is performed by the amount of correction of the display position of the image 700 on the display unit 20 by the subsequent display deviation correction unit 213. .
  • the distortion correction unit 215 predicts a correction amount when the display deviation correction unit 213 corrects the display position of the image 700 based on the attitude signal output from the gyro sensor 216. More specifically, the distortion correction unit 215 obtains the correction amount based on the attitude signal output from the gyro sensor 216 by a process similar to the process described later of the display deviation correction unit 215. As described above, the correction amount obtained by the distortion correction unit 215 has a sufficient time interval between the start of the distortion correction process in the distortion correction unit 215 and the start of the display deviation correction process in the subsequent display deviation correction unit 213. If it is short, it becomes an approximate value of the correction amount obtained by the display deviation correction unit 213 in the subsequent stage. For this reason, the correction amount obtained by the distortion correction unit 215 is used as a correction amount when the display deviation correction unit 213 in the subsequent stage corrects the display position of the image 700.
  • the above correction amount may be predicted. More specifically, in this case, the distortion correction unit 215 uses the attitude signal output from the gyro sensor 216 between the predetermined time and the current time, and the above-described predictor, and the subsequent display deviation correction unit 213. Predictively calculates the correction amount when correcting the display position of the image 700.
  • the predictor a known circuit that predicts a detection value at the next time from a plurality of detection values detected at a plurality of times from a certain time before to the present time can be used.
  • the distortion correction unit 215 shifts the distortion correction parameters U11 to U44 corresponding to the partitioned area 25s of the display screen 25 on the display screen 25 based on the predicted correction amount.
  • the distortion correction unit 215 sets the distortion correction parameters U11 to U44 corresponding to the partition area 25s of the display screen 25 to the same amount as the predicted correction amount so as to cancel the predicted correction amount.
  • the division area 25s in the direction opposite to the correction direction is made to correspond again.
  • the predicted correction amount is a value that lowers the display position of the image 700 on the display unit 20 by one section area 25 s.
  • the distortion correction unit 215 causes the distortion correction parameters U11 to U44 on the display screen 25 to correspond to the partitioned area 25s shifted upward by one partitioned area 25s so as to cancel the predicted correction amount. cure.
  • the distortion correction parameters U11 to U44 are made to correspond to the partitioned area 25s shifted upward by one partitioned area 25s. For this reason, the top four distortion correction parameters U11, U12, U13, and U14 among the distortion correction parameters U11 to U44 are omitted from the illustration because they are out of the display screen 25. Further, since there is no distortion correction to be associated with the bottom four partition areas 25s of the display area 25, the distortion correction is not shown.
  • the distortion correction parameters U11 to U44 are made to correspond again, a part of each partitioned area 25s of the display screen 25 (the four lowest partitioned areas 25s of each partitioned area 25s in FIG. 11B). Does not correspond to the distortion correction parameters U11 to U44. For this reason, considering that the distortion correction parameters U11 to U44 are made to correspond again, when the distortion correction parameters U11 to U44 are first set on the display screen 25, the distortion correction parameters are set in a wider range than the display screen 25. You may do it.
  • the distortion correction unit 215 makes the image areas 700s of the image 700 correspond to the corresponding divided areas 25s of the display screen 25, based on the distortion correction parameters U11 to U44. Perform distortion correction. In other words, the distortion correction unit 215 makes the distortion correction parameter U11 re-corresponding to each partitioned area 25s where each image area 700s of the image 700 is displayed on the display screen 25 for each image area 700s of the image 700. Based on -U44, distortion correction is performed. In the example of FIG. 11A, distortion correction parameters U21 to U44 for distortion correction performed on each image area 700s are illustrated in each image area 700s of the image 700. The distortion correction parameters U11 to U44 illustrated in each image area 700s correspond to the distortion correction parameters (FIG. 11B) illustrated in each partition area 25s corresponding to each image area 700s on the display screen 25.
  • the distortion correction parameters U11 to U44 illustrated in each image area 700s correspond to the distortion correction parameters (FIG. 11B) illustrated in each partition area 25s corresponding to each image area 700s on the
  • each partitioned area 25 s of the display screen 25 corresponds to each partitioned area 105 s of the projection area 105. For this reason, as described above, by reassociating the corresponding relationship between each partitioned area 25s of the display screen 25 and each distortion correction parameter U11 to U44, each partitioned area 105s of the projection area 105 and each distortion correction parameter U11 to U44. The correspondence relationship is also re-corresponded in the same way.
  • the distortion-corrected image 700 is subjected to distortion correction by shifting the distortion-corrected range as the display position of the image 700 is corrected by the display shift correction unit 213 in the subsequent stage. That is, each image area 700s of the image 700 is subjected to distortion correction with the distortion correction parameters U11 to U44 re-corresponding to each partition area 25s where each image area 700s is displayed on the display screen 25.
  • each partitioned area 25s of the display screen 25 each partitioned area 105s of the projection area 105, and each partitioned area 220s of the storage area 220 correspond to each other.
  • the correspondence relationship between each partition area 105s of the projection area 105 and the distortion correction parameters U11 to U44 may be re-associated.
  • the correspondence relationship between each partition area 220s of the storage area 220 and the distortion correction parameters U11 to U44 may be made to correspond again.
  • the distortion correction unit 215 outputs the distortion-corrected image 700 to the display deviation correction unit 213.
  • the display deviation correction unit 213 performs display deviation correction on the image 700 output from the distortion correction unit 215 based on the attitude signal output from the gyro sensor 216 (that is, a signal indicating the attitude change of the main body unit 1). More specifically, the display deviation correction unit 213 temporarily stores the image 700 output from the distortion correction unit 215 in the buffer memory 217 as illustrated in FIG. Then, the display deviation correction unit 213 obtains a correction amount for correcting the display position of the image 700 based on the attitude signal output from the gyro sensor 216 as in the first embodiment. The display deviation correction unit 213 performs display deviation correction on the stored image 700 as in the first embodiment.
  • the display deviation correction unit 213 corrects the display position of the image 700 on the display unit 20 so as to be shifted downward by one image region 700s. That is, the display shift correction unit 213 changes the reading start position P1 to the position P1b shifted by one image area 700s from the reference position P1a in the buffer memory 217, and reads the stored image 700. As a result, as described in the first embodiment, the composition of the image 700 is corrected downward by one image area. As a result, the display position of the image 700 on the display unit 20 is corrected downward by one image area 700 s.
  • the distortion correction unit 215 shifts the correction range of distortion correction (that is, each distortion correction parameter U11 to U44) by one image area 700s (see FIG. 11A), and the display deviation correction unit 213 at the subsequent stage performs the image 700 correction. Is corrected by one image area 700 s (see FIG. 12). Therefore, when the corrected image 700 is displayed on the display unit 20, each image region 700 s of the image 700 is displayed on the display screen 25 of the display unit 20 before being associated with the partition region 25 s where the image region 700 s is displayed.
  • Correction is performed with the corresponding distortion correction parameters U11 to U44.
  • the distortion correction parameters U11 to U44 applied to each image area 700s of the image 700 cancel each other out of the distortion generated in the corresponding partition area 105s of the projection area 105.
  • the distortion of the virtual image 300 is eliminated.
  • Embodiments 1 and 2 above are only one of various embodiments of the present disclosure. As long as the objects of the present disclosure can be achieved, the first and second embodiments can be variously changed according to the design and the like. Furthermore, the aspects according to the first and second embodiments are not limited to being realized by a single video display system.
  • the aspect according to the first and second embodiments may be embodied by a moving body including the video display system 10 and a video display method using the video display system 10.
  • the aspects according to the first and second embodiments may be embodied by a program for causing a computer to execute the video display method, a storage medium that stores the program, and the like. The modifications described below can be applied in appropriate combinations.
  • the image composition unit 214 is disposed between the display deviation correction unit 213 and the distortion correction unit 215.
  • the image synthesis unit 214 is disposed between the distortion correction unit 215 and the display unit 20. May be arranged.
  • a distortion correction unit 230 is added between the drawing processing unit 212 and the image composition unit 214.
  • the distortion correction unit 230 is configured in the same manner as the distortion correction unit 215. That is, the second image 702 output from the drawing processing unit 212 is subjected to distortion correction by the distortion correction unit 215 and output to the image composition unit 214.
  • the image composition unit 214 forms an image 700 obtained by image composition of the first image 701 output from the distortion correction unit 215 and the second image 702 output from the distortion correction unit 215. Then, the image composition unit 214 outputs the formed image 700 to the display unit 20.
  • the correction amount H1 when the display deviation correction unit 213 corrects the display position of the first image 701 is relative to the change amount (pitch angle) ⁇ 1 of the posture change of the main body unit 1. It may be non-linear. In this case, the correction amount H1 changes according to the amount of change ⁇ 1, as shown in FIG. For example, when the change amount ⁇ 1 is less than a predetermined value (that is, when the change amount ⁇ 1 is relatively small), the correction amount H1 is set to be relatively small or zero, and when the change amount ⁇ 1 is greater than or equal to a predetermined value, the correction amount H1 is set. You may make it proportional to change amount (alpha) 1.
  • the change amount ⁇ 1 of the posture change of the main body 1 is relatively small as in the case of idling of the automobile 100, display deviation correction is not performed, and only when the change ⁇ 1 of the posture change of the main body 1 is large to some extent. Display deviation correction can be performed. Thereby, it is possible to prevent the display position of the virtual image 300 from being corrected for small vibrations when the automobile 100 is idling.
  • the correction amount H1 may always be changed linearly with respect to the change amount ⁇ 1.
  • the buffer memory 218 of the distortion correction unit 215 is a buffer memory different from the buffer memory 217 of the display deviation correction unit 213, but one buffer memory is used as each of the buffer memories 218 and 217. Also good.
  • the change in the posture of the main body 1 is a change in the pitch direction of the main body 1, but may be a change in the yaw direction of the main body 1.
  • the reading start position P1 is fluctuated left and right according to the yaw angle of the main body 1.
  • the display deviation correction unit 213 corrects the display position of the image 700 in the left-right direction of the display screen 25.
  • the distortion correction unit 215 causes the distortion correction parameters U11 to U44 to correspond to the partitioned areas 25s shifted in the left-right direction based on the correction amount of the display position of the image 700 in each partitioned area 25s of the display screen 25.
  • the posture change of the main body 1 may be a change in the roll direction.
  • the image 700 is read so as to rotate according to the roll angle with respect to the reading start position P1.
  • the display deviation correction unit 213 corrects the display position of the image 700 so as to rotate around the predetermined position (reading start position P1) on the display screen 25.
  • the distortion correction unit 215 shifts the distortion correction parameters U11 to U44 in the direction of rotation about a predetermined position based on the correction amount of the display position of the image 700 in each partition area 25s of the display screen 25. Re-adapt to 25s.
  • the yaw direction is a direction around the vertical axis of the main body 1 (that is, the automobile 100), and the yaw angle is a rotation angle in the yaw direction.
  • the roll direction is an angle around the longitudinal axis of the main body 1, and the roll angle is a rotation angle in the roll direction.
  • the projection unit 3 only needs to have at least an optical element, and it is not essential to have the two mirrors of the first mirror 31 and the second mirror 32, and only one mirror is provided. Or you may have three or more. Furthermore, the projection unit 3 may include an optical component other than a mirror, such as a lens.
  • the video display system 10 is not limited to the configuration in which the virtual image 300 is projected onto the target space 400 set in front of the traveling direction of the automobile 100. Alternatively, the virtual image 300 may be projected upward.
  • the video display system 10 is not limited to the head-up display used in the automobile 100, but is applied to a mobile body other than the automobile 100, such as a motorcycle, a train, an aircraft, a construction machine, and a ship. Is possible. Furthermore, the video display system 10 is not limited to a mobile object, and may be used in an amusement facility, for example.
  • the video display system 10 may be used as a wearable terminal such as a head mounted display (HMD), a medical facility, or a stationary apparatus.
  • the video display system 10 may be used by being incorporated in a device such as a digital camera as an electronic viewfinder, for example.
  • the drawing processing unit 212, the distortion correction unit 215, the display deviation correction unit 213, and the display control unit 203 are configured by different CPUs and memories.
  • one CPU and one memory may be shared by the drawing processing unit 212, the distortion correction unit 215, the display deviation correction unit 213, and the display control unit 203.
  • one CPU and one memory may be shared by any three or two of the drawing processing unit 212, the distortion correction unit 215, the display deviation correction unit 213, and the display control unit 203.
  • the display unit 20 includes the liquid crystal panel 201.
  • the display unit 20 is not limited to such a configuration.
  • the display unit 20A is configured to scan the laser beam from the back surface of the display screen 25 of the display unit 20A to form an image 700, as shown in FIG.
  • the display unit 20A includes a diffusion transmission type screen 23 and an irradiation unit 24 that irradiates the screen 23 with light from behind the screen 23.
  • the irradiation unit 24 is a scanning light irradiation unit, and irradiates the screen 23 with light K1.
  • an image 700 is drawn on the display screen 25 formed by the front surface or the back surface (here, the front surface) of the screen 23 by the light K1 from the irradiation unit 24, and a virtual image is displayed in the target space 400 by the light K1 transmitted through the screen 23. 300 (see FIG. 2) is formed.
  • the irradiation unit 24 includes a light source 241 that outputs light (for example, laser light) K1, a scanning unit 242 that scans light K1 from the light source 241, and a lens 243.
  • the light source 241 includes a laser module that outputs light K1.
  • the scanning unit 242 reflects the light K ⁇ b> 1 from the light source 241 and irradiates the screen 23 through the lens 243. At this time, the scanning unit 242 scans the display screen 25 with light applied to the display screen 25 of the screen 23 by changing the reflection direction of the light K1.
  • the scanning unit 242 performs a raster scan that scans the light K1 two-dimensionally in the vertical and horizontal directions of the display screen 25.
  • the scanning unit 242 forms a two-dimensional image (for example, the image 700) on the display screen 25 by scanning the bright spots formed on the display screen 25.
  • a bright spot is a point where the light K 1 intersects on the display screen 25 of the screen 23.
  • the scanning unit 242 includes a minute scanning mirror using, for example, MEMS (Micro Electro Mechanical Systems) technology.
  • the scanning unit 242 includes an optical element (mirror unit) that reflects the light K1, and rotates the optical element so that the light K1 from the light source 241 is directed according to the rotation angle (deflection angle) of the optical element. Reflect on. Thereby, the scanning unit 242 scans the light K1 from the light source 241.
  • the scanning unit 242 realizes a raster scan that scans the light K1 two-dimensionally by rotating the optical element around two axes orthogonal to each other.
  • the size of each of the plurality of partition areas 25s included in the display screen 25 of the display unit 20A is not particularly limited, but is the smallest that can be partitioned by the resolution of the display screen 25 in the display unit 20A. It may be a size.
  • the size (vertical length and horizontal length) of each partition area 25s. ) May be a size corresponding to the amount of movement in the vertical direction.
  • the size of each partition area 25s corresponds to the amount of movement that moves in the horizontal direction. It may be.
  • the image 700 is created by dividing the image 700 into the first image 701 and the second image 702, and the first image 701 and the second image 702 are formed by image synthesis.
  • the present invention is not limited to this.
  • the image 700 may be formed without being divided into the first image 701 and the second image 702, and display deviation correction may be performed only in a range corresponding to the first image 701 in the image 700.
  • the video display system (10) which concerns on a 1st aspect is provided with a display part (20), a projection part (3), and a main-body part (1).
  • the display unit (20) displays the image (700).
  • the projection unit (3) projects a virtual image (300) corresponding to the image (700) onto the target space (400) by the output light of the display unit (20).
  • the main body (1) is provided with a display unit (20) and a projection unit (3).
  • the image forming unit (21) forms an image (700) displayed on the display unit (20).
  • the image forming unit (21) includes a first correction unit (215) and a second correction unit (213).
  • the first correction unit (215) executes a first correction process for correcting the distortion of the image (700).
  • the second correction unit (213) executes a first correction process for correcting the display position of the image (700) on the display unit (20) based on the posture signal representing the posture change of the main body unit (1).
  • the display screen (25) of the display unit (20) has a plurality of partition regions (25s).
  • the image (700) has a plurality of image regions (700s).
  • Distortion correction parameters (U11 to U44) for correcting the distortion of the virtual image (300) correspond to the partitioned area (25s) of the display screen (25).
  • the distortion correction parameters (U11 to U44) for correcting the distortion of the virtual image (300) correspond to the partitioned area (25s) of the display screen (25) of the display unit (20).
  • the first correction unit (215) determines the image of the image (700) based on the distortion correction parameters (U11 to U44) corresponding to the partition area (25s) where the image area (700s) on the display screen (25) is displayed. Distortion correction is performed on the region (700s). For this reason, even if the display position of the image (700) is corrected by the second correction unit (213), the distortion of the virtual image (300) can be appropriately corrected by the distortion correction by the first correction unit (215). it can.
  • the output light of the display unit (20) is projected onto the projection area (105) of the reflecting member (101), and the projection area (105). And a virtual image (300) is formed in the target space (400).
  • the partition area (25s) of the display screen (25) is defined as the first partition area (25s).
  • the projection area (105) has a plurality of second partition areas (105s). The plurality of second partition regions (105s) of the projection region (105) correspond one-to-one to the plurality of first partition regions (25s) of the display screen (25).
  • the distortion correction parameters (U11 to U44) corresponding to the first partition area (25s) correspond to the first partition area (25s). This corresponds to a two-part area (105s).
  • the first correction unit (215) uses the distortion correction parameters (U11 to U44) in each of the plurality of first partition regions (25s) to display the corresponding second partition region (105s) with the display unit (20). This corrects distortion that occurs when the output light is reflected.
  • the distortion correction parameters (U11 to U44) correct the distortion generated when the output light of the display unit (20) is reflected by the corresponding second partitioned area (105s). ) Can correct the distortion of the virtual image caused by the reflection of the output light.
  • the first correction unit (215) performs distortion of the image (700) corrected by the second correction unit (213). to correct.
  • correction by the second correction unit (213) (correction of the display position of the image (700)) is performed first, and then correction (distortion correction) by the first correction unit (215) is performed.
  • the second correction unit (213) is subjected to distortion correction by the first correction unit (215).
  • the display position of the image (700) on the display unit (20) is corrected.
  • the first correction unit (215) predicts a correction amount when the second correction unit (213) corrects the display position of the image (700).
  • the first correction unit (215) causes the distortion correction parameters (U11 to U44) to correspond to the partitioned area (25s) at a position shifted by the predicted correction amount on the display screen (25).
  • the first correction unit (215) corrects the distortion of the image area (700s) of the image (700) based on the corrected distortion correction parameters (U11 to U44).
  • the correction (distortion correction) by the first correction unit (215) is executed first, and then the correction by the second correction unit (213) (display deviation correction of the image (700)) is executed.
  • the first correction unit (215) re-associates the distortion correction parameters (U11 to U44) with the partitioned area (25s) at a position shifted by the predicted correction amount on the display screen (25).
  • the first correction unit (215) corrects the distortion of the image region (700s) of the image (700) based on the corrected distortion correction parameters (U11 to U44).
  • the sections of the distortion correction parameters (U11 to U44) and the display screen (25) are preliminarily set so as to cancel out the correction of the display position.
  • the correspondence relationship with the area (25s) is made to correspond again. Therefore, even if the distortion correction by the first correction unit (215) is executed first and the display deviation correction by the second correction unit (213) is executed after that, the display correction by the second correction unit (213) is performed.
  • the distortion correction by the first correction unit (215) can be appropriately executed without being affected.
  • the posture signal is an output of the gyro sensor (216) that detects a posture change of the main body (1). Signal.
  • the angular velocity or angular acceleration of the main body (1) can be detected as the posture change of the main body (1).
  • (H1) is non-linear with respect to the change amount ( ⁇ 1) of the posture change of the main body (1).
  • the correction amount of the correction by the second correction unit (213) can be sufficiently reduced or zero compared to the posture change. Further, when the posture change of the main body (1) is large to some extent, the correction amount of the correction by the second correction unit (213) can be increased according to the posture change. Thereby, when a small vibration generate
  • the image (700) displayed on the display unit (20) includes the first region (705). And a second region (706).
  • the first region (705) is corrected by the second correction unit (213).
  • the second region (706) is not corrected by the second correction unit (213).
  • the virtual image (300) whose display position is corrected according to the posture change of the main body (1) and the virtual image (300) whose display position is not corrected are displayed simultaneously. Can do.
  • the video display system (10) according to the eighth aspect further includes a sensor (216) for outputting a posture signal in any one of the first to seventh aspects.
  • a video display system (10) further including a sensor (216) that outputs an attitude signal.
  • the moving body according to the ninth aspect includes a video display system (10) and a moving body main body (100).
  • the video display system (10) is the video display system according to any one of the first to eighth aspects.
  • the moving body main body (100) is provided with a video display system (10).
  • the video display method is a video display method using a video display system (10) including a display unit (20), a projection unit (3), and a main body unit (1).
  • the display unit (20) displays the image (700).
  • the projection unit (3) projects a virtual image (300) corresponding to the image (700) onto the target space (400) by the output light of the display unit (20).
  • the main body (1) is provided with a display unit (20) and a projection unit (3).
  • the video display method includes an image forming process.
  • the image forming process forms an image (700) displayed on the display unit (20).
  • the image forming process includes a first correction process and a second correction process. In the first correction process, distortion of the image (700) is corrected.
  • the display position of the image (700) on the display unit (20) is corrected based on the posture signal representing the posture change of the main body (1).
  • the display screen (25) of the display unit (20) has a plurality of partition regions (25s).
  • the image (700) has a plurality of image regions (700s).
  • Distortion correction parameters (U11 to U44) for correcting the distortion of the virtual image (300) correspond to each of the plurality of divided areas (25s) of the display screen (25).
  • the first correction process includes a distortion correction process.
  • the distortion correction parameters (U11 to U44) for correcting the distortion of the virtual image (300) correspond to the partitioned area (25s) of the display screen (25) of the display unit (20).
  • the image area (700s) of the image (700) is displayed.
  • the distortion correction parameters (U11 to U44) corresponding to the partition area (25s) where the image area (700s) on the display screen (25) is displayed the image area (700s) of the image (700) is displayed.
  • the distortion of the virtual image (300) can be appropriately corrected by the distortion correction by the first correction process.
  • the program according to the eleventh aspect is a program for causing a computer to execute the video display method according to the tenth aspect.
  • Projection Unit 10 Video Display System 20, 20A Display Unit 25 Display Screen 25s Partition Area (First Partition Area) 100 Mobile body 101 Windshield (reflective member) 105s partition area (second partition area) 213 Display deviation correction unit (second correction unit) 215 Distortion correction unit (first correction unit) 216 Gyro sensor (sensor) 300 Virtual Image 400 Object Space 700 Image 700s Image Area 705 First Area 706 Second Area ⁇ 1 Change H1 Correction Amount U11 to U44 Distortion Correction Parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

虚像の歪みを補正しつつ、本体部の姿勢が変化しても虚像と実景とのずれを防止できる映像表示システムを提供する。映像表示システムは、表示部(20)と、投影部(3)と、本体部(1)と、第1補正部(215)と、第2補正部(213)とを備える。表示部(20)は、画像を表示する。投影部(3)は、表示部(20)の出力光により、画像に対応する虚像(300)を対象空間(400)に投影する。本体部(3)は、表示部(20)及び投影部(3)が設けられる。第1補正部(215)は、画像の歪みを補正する。第2補正部(213)は、本体部(1)の姿勢変化を表す姿勢信号に基づいて、表示部(20)での画像の表示位置を補正する。表示部(20)の表示画面(25)の複数の区画領域(25s)の各々には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正部(215)は、表示画面(25)における画像の複数の画像領域(700s)の各々について、画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像の各画像領域(700s)に歪み補正を行う。

Description

映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
 本開示は、一般に映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体に関し、より詳細には、対象空間に虚像を投影する映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体に関する。
 従来、対象空間に虚像を投影する映像表示システムとして、特許文献1に記載の表示装置(ヘッドアップディスプレイ装置)が知られている。この表示装置は、表示手段と、表示制御手段と、位置検出手段と、記憶部と、を備えている。表示手段に表示画像が表示されると、その表示画像は、被投影部材に投影されて運転者に視認される。運転者は、表示画像の虚像を実景と重ね合わせて視認する。記憶部は、3つの歪み補正パラメータを記憶している。3つの歪み補正パラメータは、運転者の視点位置が表示画像の視認可能範囲の左端、中央又は右端である場合に対応している。表示制御手段は、位置検出手段で検出された観測者の視点位置に基づいて、記憶部から上記の3つの歪み補正パラメータのいずれかを取得し、取得した歪み補正パラメータに基づいて、被投影部材に投影されたときの表示画像の歪みを補正する。この構成により、観察者の視点位置が左右に移動した場合であっても、虚像の歪みを補正して視認性を向上させることができる。
 しかしながら、上記の表示装置では、表示装置の姿勢が変化したときの虚像と実景とのずれが考慮されていない。したがって、表示装置の姿勢が変化した場合は、虚像と実景とがずれる場合がある。この結果、運転者は、虚像と実景とのずれに違和感を感じる場合がある。
特開2014-199385号公報
 本開示は、上記事由に鑑み、虚像の歪みを補正しつつ、本体部の姿勢が変化しても虚像と実景とのずれを低減できる映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体を提供することを目的とする。
 本開示の一態様に係る映像表示システムは、表示部と、投影部と、本体部と、画像形成部と、を備える。前記表示部は、画像を表示する。前記投影部は、前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する。前記本体部は、前記表示部及び前記投影部が設けられる。前記画像形成部は、前記表示部に表示される前記画像を形成する。前記画像形成部は、第1補正部と、第2補正部と、を備える。前記第1補正部は、前記画像の歪みを補正する。前記第2補正部は、前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する。前記表示部の表示画面は、複数の区画領域を有する。前記画像は、複数の画像領域を有する。前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応している。前記第1補正部は、前記表示画面における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に歪み補正を行う。
 本開示の一態様に係る移動体は、前記映像表示システムと、移動体本体と、を備える。移動体本体は、前記映像表示システムが設けられる。
 本開示の一態様に係る映像表示方法は、表示部と、投影部と、本体部と、を備えた映像表示システムを用いた映像表示方法である。前記表示部は、画像を表示する。前記投影部は、前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する。前記本体部は、前記表示部及び前記投影部が設けられる。上記の映像表示方法は、画像形成処理を含む。前記画像形成処理は、前記表示部に表示される前記画像を形成する。前記画像形成処理は、第1補正処理と、第2補正処理と、を含む。前記第1補正処理は、前記画像の歪みを補正する。前記第2補正処理は、前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する。前記表示部の表示画面は、複数の区画領域を有する。前記画像は、複数の画像領域を有する。前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応している。前記第1補正処理は、前記表示画面における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に歪み補正を行う歪み補正処理を含む。
 本開示の一態様に係るプログラムは、コンピュータに、前記映像表示方法を実行させるためのプログラムである。
図1は、実施形態1に係る映像表示システムの構成を示す概念図である。 図2は、同上の映像表示システムを備える自動車の概念図である。 図3は、同上の映像表示システムを用いた場合の運転者の視野を示す概念図である。 図4は、同上の映像表示システムの構成を示すブロック図である。 図5は、同上の映像表示システムの表示部に表示される表示画像を示す概念図である。 図6Aは、表示画像を構成する第1画像を示す概念図である。 図6Bは、表示画像を構成する第2画像を示す概念図である。 図7は、表示ずれ補正処理を説明する概念図である。 図8は、歪み補正処理を説明する概念図である。 図9Aは、歪み補正される画像の各区画領域に歪み補正パラメータを対応させた状態を示す概念図である。 図9Bは、ウインドシールドの投影領域の各区画領域と歪み補正パラメータとの対応関係を示す概念図である。 図10は、実施形態2に係る映像表示システムの構成を示す概念図である。 図11Aは、歪み補正される画像の各区画領域に歪み補正パラメータを対応させた状態を示す概念図である。 図11Bは、ウインドシールドの投影領域の各区画領域と歪み補正パラメータとの対応関係を示す概念図である。 図12は、表示ずれ補正処理を説明する概念図である。 図13は、変形例に係る映像表示システムの構成を示す概念図である。 図14は、表示ずれ補正処理での姿勢変化の変化量と補正量との関係の一例を示すグラフである。 図15は、表示部の変形例を示す概念図である。
 (実施形態1)
 (1)概要
 本実施形態に係る映像表示システム10は、図1及び図2に示すように、例えば、移動体本体としての自動車100に用いられるヘッドアップディスプレイ(HUD:Head-Up Display)である。本実施形態では、映像表示システム10と、映像表示システム10が設けられた自動車100(移動体本体)と、を含む全体を移動体とする。
 映像表示システム10は、自動車100のウインドシールド101(反射部材)に下方から画像を投影するように、自動車100の車室内に配置されている。図2の例では、ウインドシールド101の下方のダッシュボード102内に、映像表示システム10が配置されている。映像表示システム10からウインドシールド101に画像が投影されると、ユーザ(運転者)200は、ウインドシールド101に投影された画像を、自動車100の前方(車外)に設定された対象空間400内に表示された虚像300として視認する。
 ここでいう「虚像」は、映像表示システム10から出射される画像光がウインドシールド101等の反射部材にて発散(反射)するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。そのため、自動車100を運転しているユーザ200は、図3に示すように、自動車100の前方に広がる実景に重ねて、映像表示システム10にて投影される虚像300を見ることができる。したがって、映像表示システム10によれば、種々の運転支援情報を虚像300として実景と重ねて表示して、ユーザ200に視認させることができる。運転支援情報は、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等である。これにより、ユーザ200は、ウインドシールド101の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。
 なお、ウインドシールド101は、画像光をユーザ側に反射する反射機能を有し、かつ、ユーザがウインドシール101ドを介して実景を視認可能なように光を透過する透過機能も有する部材である。
 対象空間400に形成される虚像300は、少なくとも第1虚像301と第2虚像302a,302bとの2種類の虚像を含んでいる。第1虚像301は、例えば、ナビゲーション情報として自動車100の進行方向を示す情報であり、路面600上に右折又は左折を示す矢印である。この種の第1虚像301は、拡張現実(AR:Augmented Reality)技術を用いて表示される画像であり、ユーザ200から見た実景(路面600、建物、周辺車両、及び歩行者等)における特定の位置に重畳して表示される。
 第2虚像302aは、例えば、ナビゲーション情報として前方直近の交差点までの距離を示す距離情報である。第2虚像302bは、例えば、自動車100の現在の車速を示す車速情報である。第2虚像302a,302bは、対象空間400の所定箇所(例えば下部)に表示される。
 図3の例では、第1虚像301は、一例として、自動車100の前方の丁字路上に「左折」を指示する矢印を表している。第2虚像302aは、一例として、「50m」という直近の交差点までの距離を表している。第2虚像302bは、「20km/h」という自動車100の現在の車速を表示している。
 対象空間400に表示される虚像300は、図2に示すように、映像表示システム10の光軸500に交差する仮想面501上に形成される。光軸500は、自動車100の前方の対象空間400において、自動車100の前方の路面600に沿っている。虚像300が形成される仮想面501は、路面600に対して略垂直である。例えば、路面600が水平面である場合には、虚像300は鉛直面に沿って表示される。
 映像表示システム10は、図1に示すように、画像表示部2と、投影部3と、本体部1と、を備えている。画像表示部2は、表示画面25を有し、表示画面25に画像700を表示する。投影部3は、画像表示部2の出力光により、画像700に対応する虚像300を対象空間400に投影する。本体部1には、これら画像表示部2及び投影部3が設けられている。
 このような本体部1が自動車100に搭載された状態では、例えば、路面600の状況、及び自動車100の加減速等に起因して、本体部1の姿勢が自動車100の姿勢と共に変化する。具体的には、例えば、自動車100が減速等により前傾姿勢になれば本体部1も前傾姿勢となり、自動車100が加速等により後傾姿勢になれば本体部1も後傾姿勢になる。映像表示システム10の本体部1の姿勢が変化すると、虚像300と実景との相対的な配置関係が変化する。そのため、例えば、本体部1の姿勢が変化した場合に、第1虚像301は、ユーザ200から見た実景において本来重畳すべき特定の位置からずれた位置に表示される。
 そこで、映像表示システム10は、図4に示すように、表示ずれ補正部(第2補正部)213を備えている。表示ずれ補正部213は、本体部1の姿勢変化に応じて、第1虚像301が実景の特定の位置に表示されるように、対象空間400での第1虚像301の表示位置を補正する。これにより、本体部1の姿勢変化に応じて、第1虚像301の表示位置が補正される。そのため、例えば、自動車100に姿勢変化が生じても、映像表示システム10は、第1虚像301を、ユーザ200から見た実景において本来重畳すべき特定の位置に重畳して表示することが可能である。本実施形態では、第1虚像301及び第2虚像302のうち、第1虚像301の表示位置だけが、本体部1の姿勢変化に応じて補正され、第2虚像302の表示位置は、補正されない。なお、第1虚像301と一緒に第2虚像302の表示位置を補正してもよい。
 また、映像表示システム10では、虚像300がウインドシールド101で反射したときに、虚像300に歪みが生じる。そこで、映像表示システム10は、図4に示すように、虚像300の歪みを補正する歪み補正部(第1補正部)215を更に備えている。
 このように、映像表示システム10は、表示ずれ補正部213及び歪み補正部215を備えるため、虚像300の歪みを補正しつつ、本体部1の姿勢が変化しても虚像300と実景とのずれを防止することができる。
 (2)構成
 映像表示システム10は、図1に示すように、本体部1と、画像表示部2と、投影部3とを備えている。本体部1は、例えば、筐体にて構成されている。本体部1内には、画像表示部2及び投影部3が設けられている。本体部1は、自動車100のダッシュボード102内に固定される。本体部1は、筐体でなく、例えば、フレーム又は板材等であってもよい。
 画像表示部2は、表示画面25を有し、表示画面25に画像700を表示し、表示した画像700を投影部3に向けて照射する。画像表示部2は、図1に示すように、表示部20と、画像形成部21と、を有している。表示部20は、画像700を表示し、表示した画像700を表示部20の前方に照射する。画像形成部21は、表示部20に表示される画像700を形成する画像形成処理を実行する。
 表示部20に表示される画像700は、図5に示すように、第1虚像301に対応する第1対応画像721と、第2虚像302a,302bに対応する第2対応画像722a,722bと、を含む。第1対応画像721は、例えば、自動車100の目的地までの道案内用の矢印を示す矢印画像である。第2対応画像722aは、例えば、自動車100の前方直近の交差点までの距離を示す距離画像である。第2対応画像722bは、例えば、自動車100の現在の車速を示す車速画像である。以下、矢印画像721、距離画像722a、車速画像722bとも記載する。
 画像700は、図5に示すように、第1対応画像721を含む第1画像701と、第2対応画像722a,722bを含む第2画像702と、を互いに画像合成することで構成されている。本実施形態では、第1画像701は、例えば1画面分の画像として形成されている。第2画像702は、帯状(例えば横長帯状)の画像として形成されている。画像700は、第1画像701の下部に第2画像702が重畳されることで構成されている。第1対応画像721は、第1画像701の任意の位置に表示可能である。第2対応画像722a,722bは、第2画像(帯状の画像)702の特定位置に表示される。本実施形態では、第2対応画像722aは、第2画像702の中央左寄りの位置に表示され、第2対応画像722bは、第2画像702の中央右寄りの位置に表示される。
 画像700は、図5に示すように、第1領域705と、第2領域706とを有する。第1領域705は、表示ずれ補正部213によって補正される領域であり、第1対応画像721が表示される領域である。第1領域705は、第1画像701のうち、第2画像702が重畳されない領域である。第2領域706は、表示ずれ補正部213によって補正される領域であり、第2対応画像722a,722bが表示される領域である。第2領域706は、第2画像702の画像領域と一致している。
 より詳細には、自動車100は、ADAS(advanced driverassistance system:先進運転システム)4と、車両CAN(Controller AreaNetwork)5と、を備えている。ADAS4は、自動車100のドライバーの運転操作を支援するシステムであり、例えば、自動車100の周囲の物体情報(相対位置、速度)及び道路状態などの交通情報を有している。上記の自動車100の周囲の物体情報は、例えば、ライダー、ミリ波又はカメラなどを用いた検知部で検知された情報である。また、上記の道路状態とは、例えば、路面の白線形状などの細かな情報である。車両CAN5は、自動車100に搭載された車内ネットワークであり、車両CAN5には、例えば、自動車100の車速を検出する車速センサ(不図示)及び、カーナビゲーション装置(不図示)が接続されている。したがって、車両CAN5からは、自動車100の車速情報、及び、ナビゲーション情報などの交通情報が取得可能である。
 画像形成部21は、車両CAN5からは、ナビゲーション情報、及び車速センサの検出値(自動車100の車速)を取得し、ADAS4からは、交通情報(例えば自車両100の周囲の他車両との間隔の情報)を取得する。ナビゲーション情報は、例えば、自動車100が向かう目的地までの走行経路、及び前方直近の交差点までの距離などである。
 そして、画像形成部21は、取得した自動車100の車速情報に基づいて、図5に示すように、車速画像722bを含む第2画像702を形成し、形成した第2画像702を表示部20に表示する。これにより、車速画像722bに対応する第2虚像302(すなわち自動車100の車速を示す虚像)が対象空間400の所定箇所(例えば下部)に表示される。この第2虚像302は、例えば、自動車100の走行中、常に表示される。なお、第2画像702に、車速画像722bの代わりに、又は、車速画像722bと共に、交通情報画像(ADAS4から取得した交通情報を示す画像)を含めてもよい。これにより、第2虚像302として、自車両100の車速を示す虚像の代わりに、又は、自車両100の車速を示す虚像と共に、交通情報を示す虚像を表示できる。
 また、画像形成部21は、取得したナビゲーション情報に基づいて、自動車100が前方直近の交差点に一定距離まで接近したと判定すると、図5に示すように、上記の交差点で進む方向を示す矢印画像721を含む第1画像701を形成する。また、画像形成部21は、上記のカーナビゲーション情報に基づいて、上記の交差点までの距離を示す距離画像722aを形成し、形成した距離画像722aを、車速画像722bを含む第2画像702に追加する。そして、画像形成部21は、第1画像701と第2画像702とを画像合成して表示部20に出力する。これにより、自動車100が前方直近の交差点に一定距離まで接近すると、矢印画像721に対応する第1虚像301が、対象空間400中の実景の特定の位置に表示される。そして、距離画像722aに対応する第2虚像302aが、対象空間400の所定箇所(例えば下部)に表示される。
 なお、画像形成部21は、一定時間毎に、車速情報及びナビゲーション情報を取得し直して、矢印画像721の大きさ及び配置、距離画像722aで表示される距離、車速画像722bで表示される車速を更新する。
 また、本体部1に姿勢変化が生じた場合は、虚像300と実景との相対的な配置関係が変化する。このため、対象空間400において、第1虚像301が、実景における本体重畳すべき特定の位置(例えば交差点)からずれた位置に表示される。例えば、自動車100が後傾姿勢になると、ユーザ200の視線が上がり、ユーザ200から見た実景が相対的に下方に移動する。この結果、対象空間400において、第1虚像301が、交差点よりも上がった位置に表示される。このため、画像形成部21は、本体部1の姿勢変化を検出すると、検出した本体部1の姿勢変化に基づいて、表示画面25での第1画像701の表示位置を補正する。この結果、対象空間400において、第1虚像301の表示位置が、既定位置(デフォルト位置)から、交差点に沿って重なる位置へと補正される。
 投影部3は、画像表示部2の表示画面25からの出力光により、画像700に対応する虚像300を対象空間400に投影する。本実施形態では、映像表示システム10は上述したようにヘッドアップディスプレイであるため、投影部3は、ウインドシールド101(図2参照)に画像700を投影する。投影された画像700は、ウインドシールド101の投影領域105(図3参照)に投影される。
 投影部3は、図1に示すように、第1ミラー31と、第2ミラー32と、を有している。第1ミラー31及び第2ミラー32は、画像表示部2から、出力光の光路上に、第1ミラー31、第2ミラー32の順で配置されている。より詳細には、第1ミラー31は、画像表示部2の出力光が入射するように、画像表示部2の表示画面25の前方に配置されている。第1ミラー31は、画像表示部2の出力光を、第2ミラー32に向けて反射する。第2ミラー32は、第1ミラー31で反射された画像表示部2の出力光が入射するような位置(例えば第1ミラー31の前方下側の位置)に配置されている。第2ミラー32は、第1ミラー31で反射された画像表示部2の出力光を、上方(すなわちウインドシールド101)に向けて反射する。第1ミラー31は、例えば凸面鏡であり、第2ミラー32は、例えば凹面鏡である。
 この構成により、投影部3は、画像表示部2の表示画面25に表示された画像700を、適当な大きさに拡大又は縮小して、投影画像としてウインドシールド101に投影する。この結果、対象空間400に虚像300が表示される。つまり、自動車100を運転しているユーザ200の視野内では、映像表示システム10から投影された画像700の虚像300が、自動車100の前方に広がる実景に重ねて表示される。
 図4~図9Bを参照して、画像形成部21及び表示部20について詳しく説明する。
 画像形成部21は、図4に示すように、入力処理部211と、描画処理部212と、表示ずれ補正部213(第2補正部)と、画像合成部214と、歪み補正部215(第1補正部)と、ジャイロセンサ216(センサ)と、を備えている。なお、本実施形態では、センサとしてジャイロセンサ216を用いるが、ジャイロセンサ216に限定されず、自動車100の姿勢変化を検出可能なセンサであれば、どのようなセンサでもよい。
 入力処理部211は、ADAS4及び車両CAN5から各種情報を入力する。例えば、入力処理部211は、車両CAN5から、カーナビゲーション情報として、自動車100の目的地までの走行経路、及び自動車100の前方直近の交差点までの距離などの情報を入力する。また、入力処理部211は、車両CAN5から、自動車100の車速情報を入力する。入力処理部211は、入力した各種情報を描画処理部212に出力する。また、入力処理部211は、ADAS4から交通情報を取得する。
 ジャイロセンサ216は、本体部1の姿勢変化を検出するセンサであり、例えば、本体部1のピッチ角を検出する。本体部1のピッチ角は、本体部1の左右方向に延びた軸線周りの回転角である。本体部1は自動車100に固定されているため、本体部1の姿勢変化は、自動車100の姿勢変化と同じである。このため、ジャイロセンサ216は、自動車100の姿勢変化(すなわちピッチ角)を検出することで、本体部1の姿勢変化(すなわちピッチ角)を検出する。自動車100のピッチ角は、自動車100の左右方向に延びた軸線周りの回転角である。ジャイロセンサ216は、検出した姿勢変化の情報を、姿勢信号として、表示ずれ補正部213に出力する。本実施形態では、本体部1の姿勢変化を検出するセンサとして、ジャイロセンサ216を用いるが、ジャイロセンサに限定されない。
 描画処理部212は、入力処理部211から出力された各種情報に基づいて、画像700を構成する第1画像701(図6B参照)及び第2画像702(図6A)を別々に描画する。
 より詳細には、描画処理部212は、図6Aに示すように、上記の各種情報に含まれる自動車100の車速の情報などに基づいて、自動車100の車速を表す車速画像(第2対応画像)722bなどを描画する。また、描画処理部212は、上記のカーナビゲーション情報に基づいて、自動車100が前方直近の交差点に一定距離まで接近したと判定すると、上記の交差点までの距離を示す距離画像(第2対応画像)722aを描画する。そして、描画処理部212は、描画した距離画像722a及び車速画像722bを含む第2画像702を形成し、形成した第2画像702を画像合成部214に出力する。
 なお、描画処理部212は、自動車100が前方直近の交差点に一定距離まで接近していないと判定した場合は、距離画像722aを描画しない。したがって、この場合は、第2画像702には、距離画像722aは含まれない。
 また、描画処理部212は、図6Bに示すように、上記の各種情報に含まれるカーナビゲーション情報に基づいて、自動車100が前方直近の交差点に一定距離まで接近したと判定する。このように判定した場合、描画処理部212は、道案内用の矢印画像(第1対応画像)721を描画して、描画した矢印画像721を含む第1画像701を形成して、形成した第1画像701を表示ずれ補正部213に出力する。
 なお、描画処理部212は、一定時間毎に、矢印画像721の配置及び大きさを更新して、第1画像701を形成し直し、形成し直した第1画像701を表示ずれ補正部213に出力する。これにより、矢印画像721に対応する第1虚像301が、自動車100の進行に応じて実景の特定の位置(例えば前方直近の交差点)に重畳されて表示される。
 また、描画処理部212は、一定時間毎に、距離画像722aの表示内容及び車速画像722bの表示内容を最新の内容に更新して第2画像702を形成し直し、形成し直した第2画像702を画像合成部214に出力する。これにより、距離画像722aに対応する第2虚像302aの表示内容、及び、車速画像722bに対応する第2虚像302bの表示内容が、最新の内容に更新される。
 表示ずれ補正部213は、ジャイロセンサ216から出力される姿勢信号(すなわち本体部1の姿勢変化)に基づいて、表示部20での第1画像701の表示位置を補正する。すなわち、本体部1の姿勢が変化すると、本体部1と実景との相対的な配置関係がずれる。この結果、第1虚像301が、実景の特定の位置からずれた位置に重畳されて表示される。このため、表示ずれ補正部213は、第1虚像301が実景の特定の位置に重畳されて表示されるように、表示部20での第1画像701の表示位置を補正する。この補正を、表示ずれ補正とも記載する。
 より詳細には、表示ずれ補正部213は、図4に示すように、バッファメモリ217を備えている。バッファメモリ217は、一画面分の画像を一時的に保存可能なメモリであり、例えばVRAM(Video RAM)などで構成されている。
 表示ずれ補正部213は、図7に示すように、描画処理部212から出力された第1画像701をバッファメモリ217に一時的に保存する。そして、表示ずれ補正部213は、本体部1の姿勢変化に応じてバッファメモリ217の読出開始位置P1を基準位置P1aから変更し、変更した読出開始位置P1(例えば位置P1b)から第1画像701を読み出す。この結果、本体部1の姿勢変化に応じて、第1画像701の表示位置が補正される。
 より詳細には、表示ずれ補正部213は、ジャイロセンサ216からの姿勢信号に基づいて本体部1に姿勢変化が生じたと判定すると、上記の姿勢信号から本体部1の姿勢変化の変化量を求める。表示ずれ補正部213は、求めた変化量を相殺するように、表示部20での画像700(図5参照)の表示位置を補正する補正量を求める。この補正量は、表示部20の表示画面25において画像700の表示位置を変位させる長さである。表示ずれ補正部213は、求めた補正量に応じて、読出開始位置P1を基準位置P1aから第1画像701の上下方向にずれた位置P1bに変更する。なお、基準位置P1aは、例えば、保存された第1画像701の左上角部の位置である。そして、表示ずれ補正部213は、変更した読出開始位置P1(位置P1b)から、保存された第1画像701を読み出す。
 なお、表示ずれ補正部213は、保存した第1画像701を読み出すときは、読出開始位置P1を読出後の画像の左上角部の位置とする一画面分の画像を、第1画像701として読み出す。このため、図7に示すように、読出後の第1画像701での矢印画像721の表示位置(点線で図示)は、読出前の第1画像701での矢印画像721の表示位置(二点鎖線で図示)と比べて上下方向(図7の例示では下方)にずれる。このように、表示部20での第1画像701の表示位置が上下方向に補正される。
 また、表示ずれ補正部213は、上記の姿勢信号に基づいて、本体部1に姿勢変化が生じていない判定すると、読出開始位置P1を基準位置P1aに設定し、設定した読出開始位置P1(基準位置Pla)から、保存した第1画像701を読み出す。このため、読出後の第1画像701での矢印画像721の表示位置は、読出前の第1画像701での矢印画像721の表示位置と同じになる。すなわち、表示部20での第1画像701の表示位置は、補正されない。
 そして、表示ずれ補正部213は、読み出した第1画像701を画像合成部214に出力する。
 画像合成部214は、図5に示すように、描画処理部212から出力された第2画像702(図6A参照)と、表示ずれ補正部213から出力された第1画像701(図6B参照)とを画像合成して画像700(図5参照)を形成する。本実施形態では、画像合成部214は、一画面分の画像である第1画像701の下部に、横長帯状の画像である第2画像702を重畳して合成することで、画像700を形成する。そして、画像合成部214は、形成した画像700を歪み補正部215に出力する。
 歪み補正部215は、表示部20に表示される画像700の歪みを補正する。本実施形態では、歪み補正部215は、画像合成部214から出力された画像(すなわち表示ずれ補正部212で補正された画像)700に歪み補正を行う。すなわち、画像合成部214から出力された画像700は、表示部20の表示画面25に表示されて、ウインドシールド101の投影領域105に投影される。そして、投影された画像700の画像光は、ウインドシールド101の投影領域105で反射して対象空間400に虚像300を形成する。その際、ウインドシールド101の投影領域105での反射で画像光が歪み、この結果、虚像300が歪む。このため、歪み補正部215は、虚像300の上記の歪みを無くすために、虚像300の上記の歪みを相殺する歪みを画像700に形成する。
 歪み補正部215は、図4に示すように、バッファメモリ218と、記憶部219と、を備えている。バッファメモリ218は、画像合成部214から出力された第1画像701を一時的に保存するメモリであり、例えばVRAMなどで構成されている。バッファメモリ218は、第1画像701を保存する保存領域220を有する。記憶部219は、歪み補正部215による歪み補正で用いる複数(例えば16個)の歪み補正パラメータU12~U44(図9B参照)を保存している。
 歪み補正部215は、図8に示すように、画像合成部214から出力された画像700を、バッファメモリ218の保存領域220に一時的に保存する。そして、歪み補正部215は、保存した画像700の各部に対して、記憶部219に保存された歪み補正パラメータU11~U44に基づいて、歪み補正を行う。そして、歪み補正部215は、補正した画像700を表示部20に出力する。表示部20に出力された画像700は、表示部20の表示画面25に表示される。歪み補正部215で補正された画像(すなわち表示画面25に表示される画像)700には、ウインドシールド101の投影領域105での反射で生じる歪みを相殺する歪みが形成されている。
 より詳細には、図9Aに示すように、バッファメモリ218の保存領域220は、複数の区画領域220sを有している。同様に、図9Bに示すように、表示部20の表示画面25も複数の区画領域25s(第1区画領域)を有し、ウインドシールド101の投影領域105も複数の区画領域105s(第2区画領域)を有している。各区画領域220s、各区画領域25s及び各区画領域105sはそれぞれ、例えば縦横にメッシュ状に区画されている。図9A及び図9Bの例では、各区画領域220s、各区画領域25s及び各区画領域105sはそれぞれ、縦4つ、横4つ、計16つに区画化されている。各区画領域220s,25s,105sの大きさは、複数の画素分の大きさである。なお、各区画領域220s,25s,105sの大きさは、複数の画素分の大きさに限定されず、一画素分の大きさであってもよい。
 保存領域220の各区画領域220sは、表示画面25の各区画領域25sに一対一に対応しており、表示画面25の各区画領域25sは、投影領域105の各区画領域105sに一対一に対応している。つまり、保存領域220の各区画領域220s、表示画面25の対応する各区画領域25s、投影領域105の対応する各区画領域105sにはそれぞれ、画像700の同じ部分が保存、表示又は反射される。
 各歪み補正パラメータU11~U44は、図9Bに示すように、投影領域105の各区画領域105sに対応しており、各区画領域105sで表示部20の出力光が反射するときに生じる歪みを相殺(補正)する値になっている。なお、歪み補正パラメータU11~U44は、投影領域105の各区画領域105sの代表点(例えば左上角部の位置)に関する関数式として設定されてもよいし、投影領域105の各区画領域105sに対応付けられた数値であってもよい。なお、投影領域105の各区画領域105sは、表示画面25の各区画領域25sに対応するため、各歪み補正パラメータU11~U44は、表示画面25の各区画領域25sとも対応する。
 歪み補正部215は、図9Aに示すように、画像合成部214から出力された画像700をバッファメモリ218の保存領域220に保存すると、保存した画像700を、保存領域220の各区画領域220sに合わせて複数の画像領域700sに分けられる。なお、画像700の各画像領域700sは、保存領域220の各区画領域220sに対応するため、表示画面25の各区画領域25s、及び、投影領域105の各区画領域105sとも対応する。
 そして、歪み補正部215は、保存領域220に保存された画像700の各画像領域700sに対して、投影領域105の対応する区画領域25sに対応する歪み補正パラメータU11~U44に基づいて、歪み補正を行う。図9Aでは、画像700の各画像領域700sには、各画像領域700sに対応する歪み補正パラメータU11~U44が図示されている。したがって、画像700の各画像領域700sは、各画像領域700sに図示された歪み補正パラメータU11~U44で歪み補正される。
 なお、各歪み補正パラメータU11~U44は、表示画面25の各区画領域25sにも対応する。したがって、表示画面25の各区画領域25sにも、各区画領域25sに応じて歪み補正パラメータU11~U44が対応している。そして、画像700の各画像領域700sは、表示画面25において各画像領域700sが表示される区画領域25sに対応する歪み補正パラメータU11~U44に基づいて、歪み補正されている。
 この歪み補正により、画像700が投影領域105に照射されたときに、画像700の各画像領域700sに行われた歪み補正と、投影領域105の対応する各区画領域25sでの反射で画像光に生じる歪みとが相殺されて、虚像300の歪みが無くなる。
 表示部20は、図4に示すように、液晶パネル201、光源装置202、及び表示制御部203を有している。液晶パネル201は、画像形成部21で形成された画像700を表示する。光源装置202は、液晶パネル201に表示された画像700を液晶パネル201の前方に照らし出す。表示制御部203は、液晶パネル201及び光源装置202を制御する。
 液晶パネル201は、例えばLCD(Liquid Crystal Display)である。液晶パネル201は、光源装置202の前方に配置されている。液晶パネル201の前面(すなわち光源装置202とは反対側の表面)が、表示画面25を構成する。表示画面25に画像700が表示される。
 光源装置202は、液晶パネル201のバックライトとして用いられる。光源装置202の出力光は、液晶パネル201を透過して表示画面25から出力される。光源装置202は、発光ダイオード又はレーザダイオード等の固体発光素子を用いて、液晶パネル201の背面の略全域に光を照射する面光源である。
 表示制御部203は、画像形成部21から表示部20に出力された画像700に基づいて、液晶パネル201を駆動することで、表示画面25に画像700を表示させる。また、表示制御部203は、光源装置202を点灯させて、液晶パネル201に表示された画像700を液晶パネル201の前方に照らし出す。このとき液晶パネル201の前方に照らし出された光は、液晶パネル201に表示された画像700を反映した光(画像光)である。したがって、液晶パネル201に表示された画像は、光源装置202の出力光によって、液晶パネル201の前方に投影される。
 ここで、描画処理部212、表示ずれ補正部213、歪み補正部215、及び表示制御部203はそれぞれ、例えば、CPU(Central Processing Unit)等のプロセッサ及びメモリを有するマイクロコンピュータ(コンピュータシステム)で構成されている。言い換えれば、描画処理部212、表示ずれ補正部213、歪み補正部215、及び表示制御部203は、プロセッサ及びメモリを有するコンピュータにて実現されている。プロセッサがメモリに格納されているプログラムを実行することで、コンピュータが描画処理部212、表示ずれ補正部213、歪み補正部215、又は表示制御部203として機能する。プログラムはメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
 このように構成された映像表示システム10によれば、虚像300の歪みを補正しつつ、本体部1の姿勢が変化しても虚像300と実景とのずれを防止することができる。より詳細には、歪み補正部215と表示ずれ補正部213とを備えるため、虚像300の歪み補正と、本体部1の姿勢変化に対する虚像300の表示位置の補正と、を行うことができる。その際、表示部20の表示画面25の各区画領域25sには、それら各区画領域25sに応じた歪み補正パラメータU11~U44が対応している。そして、歪み補正部215は、表示画面25において画像700の各画像領域700sが表示される各区画領域25sに対応する歪み補正パラメータU11~U44に基づいて、画像700の各画像領域700sに歪み補正を行う。このため、表示ずれ補正部213による画像700の表示位置の補正があっても、歪み補正部213による補正で、虚像300の歪みを適切に補正することができる。
 (実施形態2)
 上記の実施形態1では、表示ずれ補正(すなわち表示部20での画像700の表示位置の補正)の後に歪み補正(すなわち画像700の歪み補正)が行われたが、本実施形態2では、歪み補正の後に表示ずれ補正が行われる。以下、本実施形態2について、上記の実施形態1と同じ部分は同一参照符号を付して説明を省略し、実施形態1と異なる部分を中心に説明する。
 実施形態2の画像形成部21は、図10に示すように、実施形態1の画像形成部21(図4)と比べて、表示ずれ補正部213、画像合成部214、及び歪み補正部215の処理順番が異なる。より詳細には、描画処理部212の後段に歪み補正部215(第1補正部)が配置され、歪み補正部215の後段に表示ずれ補正部213(第2補正部)が配置され、表示ずれ補正部213の後段に画像合成部214が配置される。
 すなわち、描画処理部212で描画された第2画像702は、画像合成部214に出力される。また、描画処理部212で描画された第1画像701は、歪み補正部215に出力される。歪み補正部215は、描画処理部212で描画された第1画像701に歪み補正を行って、補正した第1画像701を表示ずれ補正部213に出力する。表示ずれ補正部213は、歪み補正部215で歪み補正された第1画像701の表示部20での表示位置を補正し、補正した第1画像701を画像合成部214に出力する。画像合成部214は、描画処理部212から出力された第2画像702と、表示ずれ補正部213から出力された第1画像701とを画像合成して画像700を形成する。そして、画像合成部214は、形成した画像700を表示部20に出力する。
 実施形態2では、歪み補正の後に表示ずれ補正が行われる。このため、歪み補正部215は、画像700に対して、後段の表示ずれ補正部213で表示部20での画像700の表示位置を補正する分、歪み補正を行う範囲をずらして歪み補正を行う。
 より詳細には、歪み補正部215は、ジャイロセンサ216から出力される姿勢信号に基づいて、表示ずれ補正部213が画像700の表示位置を補正するときの補正量を予測する。より詳細には、歪み補正部215は、ジャイロセンサ216から出力される姿勢信号に基づいて、表示ずれ補正部215の後述の処理と同様の処理で、上記の補正量を求める。このように歪み補正部215が求めた補正量は、歪み補正部215での歪み補正の処理開始時と、後段の表示ずれ補正部213での表示ずれ補正の処理開始時との時間間隔が十分に短い場合は、後段の表示ずれ補正部213が求める補正量の近似値となる。このため、歪み補正部215が求めた補正量を、後段の表示ずれ補正部213が画像700の表示位置を補正するときの補正量として用いる。
 なお、歪み補正部215での歪み補正の処理開始時と、後段の表示ずれ補正部213での表示ずれ補正の処理開始時との時間間隔が十分に短くない場合は、予測器を用いて、上記の補正量を予測してもよい。より詳細には、この場合、歪み補正部215は、一定時間前から現時点までの間にジャイロセンサ216から出力される姿勢信号と、上記の予測器とを用いて、後段の表示ずれ補正部213が画像700の表示位置を補正するときの補正量を予測計算する。なお、上記の予測器としては、一定時間前から現時点までの間の複数の時刻で検出した複数の検出値から、次の時刻の検出値を予測する周知の回路を用いることができる。
 そして、歪み補正部215は、図11Bに示すように、表示画面25の区画領域25sに対応した歪み補正パラメータU11~U44を、表示画面25おいて、上記の予測した補正量に基づいてずれた区画領域25sに対応させ直す。すなわち、歪み補正部215は、表示画面25の区画領域25sに対応する歪み補正パラメータU11~U44を、予測した補正量を相殺するように、予測した補正量と同量で、予測した補正量の補正方向とは反対方向の区画領域25sに対応させ直す。図11Bの例示では、例えば、上記の予測した補正量は、表示部20での画像700の表示位置を一区画領域25s分下げる値である。この場合は、歪み補正部215は、表示画面25において、歪み補正パラメータU11~U44を、上記の予測した補正量を相殺するように、一区画領域25s分上にずれた区画領域25sに対応させ直す。
 なお、図11Bの例示では、歪み補正パラメータU11~U44を、一区画領域25s分上にずれた区画領域25sに対応させ直している。このため、歪み補正パラメータU11~U44のうちの一番上の4つの歪み補正パラメータU11,U12,U13,U14は、表示画面25から外れるため、図示省略されている。また、表示画面25の各区画領域25sの一番下の4つの区画領域25sには、対応させ直す歪み補正が無いので、歪み補正は図示されていない。
 このように、歪み補正パラメータU11~U44を対応させ直すと、表示画面25の各区画領域25sのうちの一部(図11Bでは各区画領域25sのうちの一番下の4つの区画領域25s)には、歪み補正パラメータU11~U44が対応しなくなる。このため、歪み補正パラメータU11~U44を対応させ直すことを考慮して、最初に歪み補正パラメータU11~U44を表示画面25に設定する際に、表示画面25よりも広い範囲に歪み補正パラメータを設定していてもよい。
 そして、歪み補正部215は、図11Aに示すように、画像700の各画像領域700sに対して、表示画面25の対応する区画領域25sに対応させ直された歪み補正パラメータU11~U44に基づいて、歪み補正を行う。換言すれば、歪み補正部215は、画像700の各画像領域700sに対して、表示画面25において画像700の各画像領域700sが表示される各区画領域25sに対応させ直された歪み補正パラメータU11~U44に基づいて、歪み補正を行う。図11Aの例では、画像700の各画像領域700sには、各画像領域700sに行われる歪み補正の歪み補正パラメータU21~U44が図示されている。各画像領域700sに図示された歪み補正パラメータU11~U44は、表示画面25において各画像領域700sに対応する各区画領域25sに図示された歪み補正パラメータ(図11B)に対応している。
 なお、表示画面25の各区画領域25sと投影領域105の各区画領域105sとは対応している。このため、上記のように表示画面25の各区画領域25sと各歪み補正パラメータU11~U44との対応関係を対応させ直すことで、投影領域105の各区画領域105sと各歪み補正パラメータU11~U44との対応関係も、同様に対応させ直されている。
 このように歪み補正された画像700は、後段の表示ずれ補正部213で画像700の表示位置が補正される分、歪み補正される範囲がずれて歪み補正されている。すなわち、画像700の各画像領域700sは、表示画面25において各画像領域700sが表示される各区画領域25sに対応させ直された歪み補正パラメータU11~U44で歪み補正されている。
 なお、上記の説明では、画像700において歪み補正される範囲をずらす際、表示画面25に着目して表示画面25の各区画領域25sと歪み補正パラメータU11~U44との対応関係を対応させ直した。しかし、表示画面25の各区画領域25sと、投影領域105の各区画領域105sと、保存領域220の各区画領域220sとは、互いに対応している。このため、表示画面25の代わりに投影領域105に着目して、投影領域105の各区画領域105sと歪み補正パラメータU11~U44との対応関係を対応させ直してもよい。また、表示画面25の代わりに保存領域220に着目して、保存領域220の各区画領域220sと歪み補正パラメータU11~U44との対応関係を対応させ直してもよい。
 そして、歪み補正部215は、歪み補正した画像700を表示ずれ補正部213に出力する。
 表示ずれ補正部213は、ジャイロセンサ216から出力される姿勢信号(すなわち本体部1の姿勢変化を表す信号)に基づいて、歪み補正部215から出力された画像700に表示ずれ補正を行う。より詳細には、表示ずれ補正部213は、図12に示すように、歪み補正部215から出力された画像700をバッファメモリ217に一時的に保存する。そして、表示ずれ補正部213は、実施形態1と同様に、ジャイロセンサ216から出力される姿勢信号に基づいて、画像700の表示位置を補正する補正量を求める。表示ずれ補正部213は、保存した画像700に対して、上記の実施形態1と同様に、表示ずれ補正を行う。
 図12の例示では、表示ずれ補正部213は、表示部20での画像700の表示位置を、一画像領域700s分下にずれるように補正する。すなわち、表示ずれ補正部213は、バッファメモリ217において、読出開始位置P1を基準位置P1aから一画像領域700s分上にずれた位置P1bに変更して、保存した画像700を読み出す。これにより、上記の実施形態1で説明したように、画像700の構図が一画像領域分下に補正される。この結果、表示部20での画像700の表示位置が一画像領域700s分下方に補正される。
 このように、表示ずれ補正部213の表示ずれ補正で、画像700の表示位置が補正されると、この補正で、歪み補正部215で歪み補正の範囲がずらされた分が相殺される。例えば、歪み補正部215で、歪み補正の補正範囲(すなわち各歪み補正パラメータU11~U44)が一画像領域700s分上にずらされ(図11A参照)、後段の表示ずれ補正部213で、画像700が一画像領域700s分下に補正される(図12参照)。よって、補正された画像700が表示部20に表示されると、画像700の各画像領域700sは、表示部20の表示画面25において画像領域700sが表示される区画領域25sに対応させ直す前に対応された歪み補正パラメータU11~U44で補正される。この結果、画像700が投影領域105に照射されたとき、画像700の各画像領域700sに施された歪み補正パラメータU11~U44は、投影領域105の対応する区画領域105sで生じる歪みと相殺して、虚像300の歪みが無くなる。
 (変形例)
 上記の実施形態1及び2は、本開示の様々な実施形態の一つに過ぎない。上記の実施形態1及び2は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、上記の実施形態1及び2に係る態様は、単体の映像表示システムで具現化されることに限らない。例えば、映像表示システム10を備える移動体、映像表示システム10を用いた映像表示方法で、上記の実施形態1及び2に係る態様が具現化されてもよい。また、上記の映像表示方法をコンピュータに実行させるためのプログラム、このプログラムを記憶した記憶媒体等で、上記の実施形態1及び2に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。
 (変形例1)
 上記の実施形態1では、画像合成部214は、表示ずれ補正部213と歪み補正部215との間に配置されたが、図13に示すように、歪み補正部215と表示部20との間に配置されてもよい。この場合は、描画処理部212と画像合成部214との間に、歪み補正部230が追加される。歪み補正部230は、歪み補正部215と同様に構成されている。すなわち、描画処理部212から出力された第2画像702は、歪み補正部215で歪み補正されて、画像合成部214に出力される。画像合成部214は、歪み補正部215から出力された第1画像701と、歪み補正部215から出力された第2画像702とを画像合成した画像700を形成する。そして、画像合成部214は、形成した画像700を表示部20に出力する。
 (変形例2)
 上記の実施形態1では、表示ずれ補正部213が、第1画像701の表示位置を補正するときの補正量H1は、本体部1の姿勢変化の変化量(ピッチ角)α1の大きさに対して、非線形であってもよい。この場合は、補正量H1は、図14に示すように、変化量α1の大きさに応じて変化する。例えば、変化量α1が所定値未満のとき(すなわち変化量α1が比較的小さいとき)は、補正量H1を比較的小さく又はゼロにし、変化量α1が所定値以上のときは、補正量H1を変化量α1に比例させてもよい。これにより、自動車100のアイドリング時のように本体部1の姿勢変化の変化量α1が比較的小さいときは、表示ずれ補正を行わず、本体部1の姿勢変化の変化量α1がある程度大きいときだけ、表示ずれ補正を行うことができる。これにより、自動車100のアイドリング時の小さな振動に対しては、虚像300の表示位置を補正しないようにできる。なお、補正量H1を変化量α1に対して、常に線形に変化させてもよい。
 (変形例3)
 上記の実施形態1では、歪み補正部215のバッファメモリ218は、表示ずれ補正部213のバッファメモリ217とは別のバッファメモリであるが、1つのバッファメモリを各バッファメモリ218,217として用いてもよい。
 (変形例4)
 上記の実施形態1では、本体部1の姿勢変化は、本体部1のピッチ方向の変化であったが、本体部1のヨー方向の変化でもよい。この場合は、読出開始位置P1は、本体部1のヨー角に応じて左右に変動される。この場合、表示ずれ補正部213は、画像700の表示位置を、表示画面25の左右方向に補正する。そして、歪み補正部215は、歪み補正パラメータU11~U44を、表示画面25の各区画領域25sにおいて、画像700の表示位置の補正量に基づいて左右方向にずれた区画領域25sに対応させ直す。また、本体部1の姿勢変化は、ロール方向の変化でもよい。この場合は、読出開始位置P1に対して、ロール角に応じて回転させるように画像700が読み出される。この場合、表示ずれ補正部213は、画像700の表示位置を、表示画面25において所定位置(読出開始位置P1)を中心に回転するように補正する。そして、歪み補正部215は、歪み補正パラメータU11~U44を、表示画面25の各区画領域25sにおいて、画像700の表示位置の補正量に基づいて所定位置を中心に回転する方向にずれた区画領域25sに対応させ直す。なお、ヨー方向とは、本体部1(すなわち自動車100)の上下方向の軸線周りの方向であり、ヨー角とは、ヨー方向の回転角である。ロール方向とは、本体部1の前後方向の軸線周りの角度であり、ロール角とは、ロール方向の回転角である。
 (変形例5)
 上記の実施形態1では、投影部3は、少なくとも光学素子を有していればよく、第1ミラー31及び第2ミラー32の2つのミラーを有することは必須でなく、ミラーを1つのみ、又は3つ以上有していてもよい。さらに、投影部3は、例えばレンズ等、ミラー以外の光学部品を有していてもよい。
 (変形例6)
 上記の実施形態1では、映像表示システム10は、自動車100の進行方向の前方に設定された対象空間400に虚像300を投影する構成に限らず、例えば、自動車100の進行方向の側方、後方、又は上方等に虚像300を投影してもよい。
 (変形例7)
 上記の実施形態1では、映像表示システム10は、自動車100に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体本体にも適用可能である。さらに、映像表示システム10は、移動体に限らず、例えば、アミューズメント施設で用いられてもよい。また、映像表示システム10は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。また、映像表示システム10は、例えば、電子ビューファインダ等として、デジタルカメラ等の機器に組み込まれて使用されてもよい。
 (変形例8)
 上記の実施形態1では、描画処理部212、歪み補正部215、表示ずれ補正部213及び表示制御部203は、互いに異なるCPU及びメモリで構成されている。しかし、1つのCPU及び1つのメモリを、描画処理部212、歪み補正部215、表示ずれ補正部213及び表示制御部203で共用してもよい。また、1つのCPU及び1つのメモリを、描画処理部212、歪み補正部215、表示ずれ補正部213及び表示制御部203のうちの何れか3つ又は2つで共有してもよい。
 (変形例9)
 上記の実施形態1では、表示部20は、液晶パネル201を備えた構成であったが、このような構成に限定されない。この変形例9では、表示部20Aは、図15に示すように、表示部20Aの表示画面25の背面からレーザ光を走査して画像700を形成するように構成される。
 より詳細には、表示部20Aは、拡散透過型のスクリーン23と、スクリーン23に対してスクリーン23の背後から光を照射する照射部24と、を有している。照射部24は、走査型の光照射部であって、スクリーン23に対して光K1を照射する。これにより、スクリーン23の前面又は背面(ここでは前面)からなる表示画面25には、照射部24からの光K1によって画像700が描画され、スクリーン23を透過する光K1により、対象空間400に虚像300(図2参照)が形成される。
 照射部24は、光(例えばレーザ光)K1を出力する光源241と、光源241からの光K1を走査する走査部242と、レンズ243と、を有している。光源241は、光K1を出力するレーザモジュールからなる。走査部242は、光源241からの光K1を反射してレンズ243を介してスクリーン23に照射する。その際、走査部242は、光K1の反射方向を変化させることで、スクリーン23の表示画面25に照射される光を表示画面25上で走査する。ここで、走査部242は、表示画面25の縦方向及び横方向に対し、二次元的に光K1を走査する、ラスタスキャン(Raster Scan)を行う。つまり、走査部242は、表示画面25に形成される輝点を走査することで、表示画面25に二次元の画像(例えば画像700)を形成する。輝点は、光K1がスクリーン23の表示画面25で交わる点である。走査部242は、例えば、MEMS(Micro Electro Mechanical Systems)技術を用いた微小な走査ミラーを有している。つまり、走査部242は、光K1を反射する光学素子(ミラー部)を含み、光学素子を回転させることで、光源241からの光K1を、光学素子の回転角度(振れ角)に応じた向きに反射する。これにより、走査部242は、光源241からの光K1を走査する。この走査部242は、光学素子を、互いに直交する2軸を中心に回転させることで、二次元的に光K1を走査するラスタスキャンを実現する。
 なお、この変形例9では、表示部20Aの表示画面25が有する複数の区画領域25sの各々の大きさは、特に限定されないが、表示部20Aでの表示画面25の分解能で区画可能な最小の大きさでもよい。言い換えると、例えば横方向に走査した後に縦方向に移動し、横方向に走査するようなラスタスキャンを走査部242が行う場合、各区画領域25sの大きさ(縦の長さ及び横の長さ)は、縦方向に移動する移動量に相当する大きさであってもよい。また、縦方向に走査した後に横方向に移動し、縦方向に走査するラスタスキャンを走査部242が行う場合、各区画領域25sの大きさは、横方向に移動する移動量に相当する大きさであってもよい。
 (変形例10)
 上記の実施形態1では、画像700を第1画像701と第2画像702とに分けて作成し、第1画像701及び第2画像702を画像合成して形成するが、このように限定されない。例えば、第1画像701と第2画像702とに分けずに、画像700を形成し、画像700のうち、第1画像701に対応する範囲だけに表示ずれ補正を行ってもよい。
 (まとめ)
 第1の態様に係る映像表示システム(10)は、表示部(20)と、投影部(3)と、本体部(1)と、を備える。表示部(20)は、画像(700)を表示する。投影部(3)は、表示部(20)の出力光により、画像(700)に対応する虚像(300)を対象空間(400)に投影する。本体部(1)は、表示部(20)及び投影部(3)が設けられる。画像形成部(21)は、表示部(20)に表示される画像(700)を形成する。画像形成部(21)は、第1補正部(215)と、第2補正部(213)と、を備える。第1補正部(215)は、画像(700)の歪みを補正する第1補正処理を実行する。第2補正部(213)は、本体部(1)の姿勢変化を表す姿勢信号に基づいて、表示部(20)での画像(700)の表示位置を補正する第1補正処理を実行する。表示部(20)の表示画面(25)は、複数の区画領域(25s)を有する。画像(700)は、複数の画像領域(700s)を有する。表示画面(25)の区画領域(25s)には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正部(215)は、表示画面(25)における複数の画像領域(700s)の各々について、画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像領域(700s)に歪み補正を行う。
 この構成によれば、虚像(300)の歪みを補正しつつ、本体部(1)の姿勢が変化しても虚像(300)と実景とのずれを防止することができる。より詳細には、第1補正部(215)と第2補正部(213)とを備えるため、虚像(300)の歪み補正と、本体部(1)の姿勢変化に対する虚像(300)の表示位置の補正と、を行うことができる。その際、表示部(20)の表示画面(25)の区画領域(25s)には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正部(215)は、表示画面(25)における画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)に歪み補正を行う。このため、第2補正部(213)による画像(700)の表示位置の補正があっても、第1補正部(215)による歪み補正で、虚像(300)の歪みを適切に補正することができる。
 第2の態様に係る映像表示システム(10)では、第1の態様において、表示部(20)の出力光は、反射部材(101)の投影領域(105)に投影され、投影領域(105)で反射されて対象空間(400)に虚像(300)を結像する。表示画面(25)の区画領域(25s)を第1区画領域(25s)とする。投影領域(105)は、複数の第2区画領域(105s)を有する。投影領域(105)の複数の第2区画領域(105s)は、表示画面(25)の複数の第1区画領域(25s)に一対一に対応する。表示画面(25)の複数の第1区画領域(25s)の各々において、第1区画領域(25s)に対応した歪み補正パラメータ(U11~U44)は、第1区画領域(25s)に対応する第2区画領域(105s)に対応する。第1補正部(215)は、複数の第1区画領域(25s)の各々において、前記歪み補正パラメータ(U11~U44)を用いて、対応する第2区画領域(105s)で表示部(20)の出力光が反射するときに生じる歪みを補正する。
 この構成によれば、歪み補正パラメータ(U11~U44)は、対応する第2区画領域(105s)で表示部(20)の出力光が反射するときに生じる歪みを補正するため、対象物(101)での出力光の反射で生じる虚像の歪みを補正することができる。
 第3の態様に係る映像表示システム(10)では、第1又は第2の態様において、第1補正部(215)は、第2補正部(213)によって補正された画像(700)の歪みを補正する。
 この構成によれば、第2補正部(213)による補正(画像(700)の表示位置の補正)が先に実行され、その後に第1補正部(215)による補正(歪み補正)が実行される。このため、第1補正部(215)による補正を実行するとき、第2補正部(213)の補正による画像(700)の表示位置の変更を考慮する必要がなくなる。この結果、第2補正部(213)の処理負担を軽減できる。
 第4の態様に係る映像表示システム(10)では、第1~第3の態様のいずれか1つの態様において、第2補正部(213)は、第1補正部(215)によって歪み補正された画像(700)の表示部(20)での表示位置を補正する。第1補正部(215)は、第2補正部(213)が画像(700)の表示位置を補正するときの補正量を予測する。第1補正部(215)は、歪み補正パラメータ(U11~U44)を、表示画面(25)において、予測した補正量の分ずれた位置にある区画領域(25s)に対応させ直す。第1補正部(215)は、対応させ直した歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)の歪み補正を行う。
 この構成によれば、第1補正部(215)による補正(歪み補正)が先に実行され、その後に第2補正部(213)による補正(画像(700)の表示ずれ補正)が実行される。その際、第1補正部(215)は、歪み補正パラメータ(U11~U44)を、表示画面(25)において、予測した補正量の分ずれた位置にある区画領域(25s)に対応させ直す。そして、第1補正部(215)は、対応させ直した歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)の歪み補正を行う。すなわち、歪み補正の後に画像(700)の表示位置が補正されるため、その表示位置の補正分を相殺するように、事前に、歪み補正パラメータ(U11~U44)と表示画面(25)の区画領域(25s)との対応関係を対応させ直しておく。このため、第1補正部(215)による歪み補正が先に実行され、その後に第2補正部(213)による表示ずれ補正が実行されても、第2補正部(213)による表示ずれ補正に影響されずに、第1補正部(215)による歪み補正を適切に実行できる。
 第5の態様に係る映像表示システム(10)では、第1~4の態様のいずれか1つの態様において、姿勢信号は、本体部(1)の姿勢変化を検出するジャイロセンサ(216)の出力信号である。
 この構成によれば、本体部(1)の姿勢変化として、本体部(1)の角速度又は角加速度を検出することができる。
 第6の態様に係る映像表示システム(10)では、第1~5の態様のいずれか1つの態様において、第2補正部(213)が画像(700)の表示位置を補正したときの補正量(H1)は、本体部(1)の姿勢変化の変化量(α1)に対して非線形である。
 この構成によれば、本体部(1)の姿勢変化が小さい場合は、その姿勢変化と比べて、第2補正部(213)による補正の補正量を十分に小さくし又はゼロできる。また、本体部(1)の姿勢変化がある程度大きい場合は、その姿勢変化に応じて、第2補正部(213)による補正の補正量を大きくできる。これにより、本体部(1)に小さな振動が発生した場合、その振動に対する第2補正部(213)の補正により、虚像(300)が振動して見えることを防止できる。
 第7の態様に係る映像表示システム(10)では、第1~6の態様のいずれか1つの態様において、表示部(20)に表示される画像(700)は、第1領域(705)と、第2領域(706)と、を有する。第1領域(705)は、第2補正部(213)によって補正される。第2領域(706)は、第2補正部(213)によって補正されない。
 この構成によれば、虚像(300)として、本体部(1)の姿勢変化に応じて表示位置が補正される虚像(300)と、表示位置が補正されない虚像(300)とを同時に表示することができる。
 第8の態様に係る映像表示システム(10)では、第1~7の態様のいずれか1つの態様において、姿勢信号を出力するセンサ(216)を更に備える。
 この構成によれば、姿勢信号を出力するセンサ(216)を更に備えた映像表示システム(10)を提供することができる。
 第9の態様に係る移動体は、映像表示システム(10)と、移動体本体(100)と、を備える。映像表示システム(10)は、第1~8の態様のいずれか1つの態様に記載の映像表示システムである。移動体本体(100)は、映像表示システム(10)が設けられる。
 この構成によれば、上記の映像表示システム(10)を備えた移動体を提供することができる。
 第10の態様に係る映像表示方法は、表示部(20)と、投影部(3)と、本体部(1)と、を備えた映像表示システム(10)を用いた映像表示方法である。表示部(20)は、画像(700)を表示する。投影部(3)は、表示部(20)の出力光により、画像(700)に対応する虚像(300)を対象空間(400)に投影する。本体部(1)は、表示部(20)及び投影部(3)が設けられる。上記の映像表示方法は、画像形成処理を含む。画像形成処理は、表示部(20)に表示される画像(700)を形成する。画像形成処理は、第1補正処理と、第2補正処理と、を含む。第1補正処理では、画像(700)の歪みを補正する。第2補正処理では、本体部(1)の姿勢変化を表す姿勢信号に基づいて、表示部(20)での画像(700)の表示位置を補正する。表示部(20)の表示画面(25)は、複数の区画領域(25s)を有する。画像(700)は、複数の画像領域(700s)を有する。表示画面(25)の前記複数の区画領域(25s)の各々には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正処理は、歪み補正処理を含む。歪み補正処理では、表示画面(25)における複数の画像領域(700s)の各々について、画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像領域(700s)に歪み補正が行われる。
 この態様によれば、虚像(300)の歪みを補正しつつ、本体部(1)の姿勢が変化しても虚像(300)と実景とのずれを防止することができる。より詳細には、第1補正処理と第2補正処理とを含むため、虚像(300)の歪み補正と、本体部(1)の姿勢変化に対する虚像(300)の表示位置の補正と、を行うことができる。その際、表示部(20)の表示画面(25)の区画領域(25s)には、虚像(300)の歪みを補正する歪み補正パラメータ(U11~U44)が対応している。第1補正処理では、表示画面(25)における画像領域(700s)が表示される区画領域(25s)に対応する歪み補正パラメータ(U11~U44)に基づいて、画像(700)の画像領域(700s)に歪み補正を行う。このため、第2補正処理による画像(700)の表示位置の補正があっても、第1補正処理による歪み補正で、虚像(300)の歪みを適切に補正することができる。
 第11の態様に係るプログラムは、コンピュータに、第10の態様に記載の映像表示方法を実行させるためのプログラムである。
 この構成によれば、汎用のコンピュータを用いた場合でも、虚像(300)の歪みを補正しつつ、本体部(1)の姿勢が変化しても虚像(300)と実景とのずれを防止することができる。
 3 投影部
 10 映像表示システム
 20,20A 表示部
 25 表示画面
 25s 区画領域(第1区画領域)
 100 移動体本体
 101 ウインドシールド(反射部材)
 105s 区画領域(第2区画領域)
 213 表示ずれ補正部(第2補正部)
 215 歪み補正部(第1補正部)
 216 ジャイロセンサ(センサ)
 300 虚像
 400 対象空間
 700 画像
 700s 画像領域
 705 第1領域
 706 第2領域
 α1 変化量
 H1 補正量
 U11~U44 歪み補正パラメータ

Claims (11)

  1.  画像を表示する表示部と、
     前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する投影部と、
     前記表示部及び前記投影部が設けられる本体部と、
     前記表示部に表示される前記画像を形成する画像形成部と、を備え、
     前記画像形成部は、
      前記画像の歪みを補正する第1補正部と、
      前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する第2補正部と、を備え、
     前記表示部の表示画面は、複数の区画領域を有し、
     前記画像は、複数の画像領域を有し、
     前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応しており、
     前記第1補正部は、前記表示画面における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に歪み補正を行う
     映像表示システム。
  2.  前記表示部の前記出力光は、反射部材の投影領域に投影され、前記投影領域で反射されて前記対象空間に前記虚像を結像し、
     前記表示領域の前記区画領域を第1区画領域とし、
     前記投影領域は、複数の第2区画領域を有し、
     前記投影領域の前記複数の第2区画領域は、前記表示画面の前記複数の第1区画領域に一対一に対応し、
     前記表示画面の前記複数の第1区画領域の各々において、第1区画領域に対応した前記歪み補正パラメータは、前記第1区画領域に対応する第2区画領域に対応し、
     前記第1補正部は、前記複数の第1区画領域の各々において、前記歪み補正パラメータを用いて、対応する前記第2区画領域で前記出力光が反射するときに生じる歪みを補正する
     請求項1に記載の映像表示システム。
  3.  前記第1補正部は、前記第2補正部によって補正された前記画像の歪みを補正する
     請求項1又は2に記載の映像表示システム。
  4.  前記第2補正部は、前記第1補正部によって歪み補正された前記画像の前記表示部での表示位置を補正し、
     前記第1補正部は、前記第2補正部が前記画像の表示位置を補正するときの補正量を予測し、前記歪み補正パラメータを、前記表示画面において、予測した前記補正量の分ずれた位置にある前記区画領域に対応させ直し、対応させ直した前記歪み補正パラメータに基づいて、前記画像の前記画像領域の歪み補正を行う
     請求項1~3のいずれか1項に記載の映像表示システム。
  5.  前記姿勢信号は、前記本体部の姿勢変化を検出するジャイロセンサの出力信号である
     請求項1~4のいずれか1項に記載の映像表示システム。
  6.  前記第2補正部が前記画像の表示位置を補正したときの補正量は、前記本体部の姿勢変化の変化量に対して非線形である
     請求項1~5のいずれか1項に記載の映像表示システム。
  7.  前記表示部に表示される前記画像は、
      前記第2補正部によって補正される第1領域と、
      前記第2補正部によって補正されない第2領域と、を有する
     請求項1~6のいずれか1項に記載の映像表示システム。
  8.  前記姿勢信号を出力するセンサを更に備える
     請求項1~7のいずれか1項に記載の映像表示システム。
  9.  請求項1~8のいずれか1項に記載の映像表示システムと、
     前記映像表示システムが設けられる移動体本体と、を備える
     移動体。
  10.  画像を表示する表示部と、
     前記表示部の出力光により、前記画像に対応する虚像を対象空間に投影する投影部と、
     前記表示部及び前記投影部が設けられる本体部と、を備えた映像表示システムを用いた映像表示方法であって、
     前記表示部に表示される前記画像を形成する画像形成処理を含み、
     前記画像形成処理は、
      前記画像の歪みを補正する第1補正処理と、
      前記本体部の姿勢変化を表す姿勢信号に基づいて、前記表示部での前記画像の表示位置を補正する第2補正処理と、を含み、
     前記表示部の表示画面は、複数の区画領域を有し、
     前記画像は、複数の画像領域を有し、
     前記表示画面の前記複数の区画領域の各々には、前記虚像の歪みを補正する歪み補正パラメータが対応しており、
     前記第1補正処理は、前記表示画面における前記複数の画像領域の各々について、画像領域が表示される区画領域に対応する前記歪み補正パラメータに基づいて、前記画像領域に歪み補正を行う歪み補正処理を含む
     映像表示方法。
  11.  コンピュータに、
     請求項10に記載の映像表示方法を実行させるためのプログラム。
PCT/JP2019/013091 2018-03-30 2019-03-27 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体 WO2019189308A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980023791.0A CN111954902B (zh) 2018-03-30 2019-03-27 影像显示系统、影像显示方法、存储介质以及具备影像显示系统的移动体
DE112019001736.5T DE112019001736T5 (de) 2018-03-30 2019-03-27 Bildanzeigesystem, bildanzeigeverfahren, programm und fahrzeug einschliesslich des bildanzeigesystems
US17/030,621 US11514559B2 (en) 2018-03-30 2020-09-24 Image display system, image display method, storage medium, and moving vehicle including the image display system
US17/994,158 US11983856B2 (en) 2018-03-30 2022-11-25 Image display system, image display method, storage medium, and moving vehicle including the image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-069740 2018-03-30
JP2018069740A JP7194906B2 (ja) 2018-03-30 2018-03-30 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/030,621 Continuation US11514559B2 (en) 2018-03-30 2020-09-24 Image display system, image display method, storage medium, and moving vehicle including the image display system

Publications (1)

Publication Number Publication Date
WO2019189308A1 true WO2019189308A1 (ja) 2019-10-03

Family

ID=68060019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013091 WO2019189308A1 (ja) 2018-03-30 2019-03-27 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体

Country Status (5)

Country Link
US (2) US11514559B2 (ja)
JP (2) JP7194906B2 (ja)
CN (1) CN111954902B (ja)
DE (1) DE112019001736T5 (ja)
WO (1) WO2019189308A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115397692A (zh) * 2020-03-30 2022-11-25 松下知识产权经营株式会社 显示装置
CN117589081A (zh) * 2023-08-29 2024-02-23 哈尔滨工业大学 一种原位共焦显微三维形貌畸变矫正方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373527B2 (en) * 2019-03-25 2022-06-28 Micron Technology, Inc. Driver assistance for non-autonomous vehicle in an autonomous environment
DE112019006964T5 (de) * 2019-04-11 2021-11-18 Mitsubishi Electric Corporation Anzeigesteuerungsvorrichtung und Anzeigesteuerungsverfahren
WO2020241094A1 (ja) * 2019-05-31 2020-12-03 パナソニックIpマネジメント株式会社 表示システム
CN111076742A (zh) * 2019-12-17 2020-04-28 百度国际科技(深圳)有限公司 一种ar导航的显示方法、装置、电子设备及存储介质
EP3848781B1 (en) 2019-12-31 2023-05-10 Seiko Epson Corporation Circuit device, electronic apparatus, and mobile body
CN113129224B (zh) 2019-12-31 2023-11-28 精工爱普生株式会社 显示系统、电子设备、移动体和显示方法
JP7314848B2 (ja) * 2020-03-25 2023-07-26 トヨタ自動車株式会社 表示制御装置、画像補正方法及びプログラム
JP7409497B2 (ja) * 2020-05-15 2024-01-09 日本電信電話株式会社 位置合わせ支援装置、位置合わせ支援方法およびプログラム
JPWO2021251115A1 (ja) 2020-06-08 2021-12-16
JP2022056649A (ja) * 2020-09-30 2022-04-11 セイコーエプソン株式会社 回路装置、表示システム及び画像処理方法
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
JP2023065760A (ja) * 2021-10-28 2023-05-15 セイコーエプソン株式会社 回路装置及びヘッドアップディスプレイ装置
CN116572837A (zh) * 2023-04-27 2023-08-11 江苏泽景汽车电子股份有限公司 一种信息显示控制方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108251A (ja) * 2006-10-17 2008-05-08 Seiko Epson Corp 表示方法およびシステム
JP2014103480A (ja) * 2012-11-19 2014-06-05 Seiko Epson Corp 虚像表示装置
JP2015053734A (ja) * 2014-12-05 2015-03-19 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
WO2016190135A1 (ja) * 2015-05-28 2016-12-01 日本精機株式会社 車両用表示システム
JP2017016455A (ja) * 2015-07-02 2017-01-19 アルパイン株式会社 画像補正装置および画像補正方法
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177920A (ja) * 2002-08-09 2004-06-24 Olympus Corp 投影観察装置
JP2009251687A (ja) * 2008-04-01 2009-10-29 Panasonic Corp 映像表示装置
JP2009250827A (ja) 2008-04-08 2009-10-29 Panasonic Corp ナビゲーション装置、方法及びプログラム
JP5327025B2 (ja) 2009-12-03 2013-10-30 アイシン・エィ・ダブリュ株式会社 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
EP2395766B1 (en) * 2010-06-14 2016-03-23 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP2014178982A (ja) * 2013-03-15 2014-09-25 Sony Corp 画像表示装置及び画像表示方法、記憶媒体、並びに画像表示システム
JP2014199385A (ja) 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
JP6201690B2 (ja) * 2013-11-28 2017-09-27 日本精機株式会社 車両情報投影システム
JP2015087619A (ja) * 2013-10-31 2015-05-07 日本精機株式会社 車両情報投影システム及び投影装置
JP6278769B2 (ja) * 2014-03-19 2018-02-14 矢崎総業株式会社 車両用表示装置
WO2016047087A1 (ja) * 2014-09-24 2016-03-31 パナソニックIpマネジメント株式会社 車載用電子ミラー
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
JP2017013590A (ja) 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
JP6617725B2 (ja) * 2017-01-30 2019-12-11 トヨタ自動車株式会社 車両用情報表示システム及び車両用情報表示方法
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
WO2018193708A1 (ja) * 2017-04-19 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
JP7135339B2 (ja) * 2018-02-28 2022-09-13 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108251A (ja) * 2006-10-17 2008-05-08 Seiko Epson Corp 表示方法およびシステム
JP2014103480A (ja) * 2012-11-19 2014-06-05 Seiko Epson Corp 虚像表示装置
JP2015053734A (ja) * 2014-12-05 2015-03-19 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
WO2016190135A1 (ja) * 2015-05-28 2016-12-01 日本精機株式会社 車両用表示システム
JP2017016455A (ja) * 2015-07-02 2017-01-19 アルパイン株式会社 画像補正装置および画像補正方法
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115397692A (zh) * 2020-03-30 2022-11-25 松下知识产权经营株式会社 显示装置
CN115397692B (zh) * 2020-03-30 2024-05-10 松下汽车电子系统株式会社 显示装置
CN117589081A (zh) * 2023-08-29 2024-02-23 哈尔滨工业大学 一种原位共焦显微三维形貌畸变矫正方法

Also Published As

Publication number Publication date
JP7194906B2 (ja) 2022-12-23
JP2023029340A (ja) 2023-03-03
US20230086164A1 (en) 2023-03-23
DE112019001736T5 (de) 2020-12-24
JP2019179214A (ja) 2019-10-17
JP7515229B2 (ja) 2024-07-12
US11983856B2 (en) 2024-05-14
CN111954902A (zh) 2020-11-17
CN111954902B (zh) 2023-05-02
US20210019867A1 (en) 2021-01-21
US11514559B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
JP7515229B2 (ja) 映像表示システム、映像表示方法、及び、プログラム
US10754154B2 (en) Display device and moving body having display device
US11315528B2 (en) Image display system, image display method, movable object including the image display system, and non-transitory computer-readable medium
US10302940B2 (en) Head-up display
GB2534151A (en) Head-up display apparatus
US20140043466A1 (en) Environment image display apparatus for transport machine
WO2018088362A1 (ja) ヘッドアップディスプレイ
JP6945933B2 (ja) 表示システム
JP2018103697A (ja) 車両用表示装置
JP2019164318A (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
US20200047686A1 (en) Display device, display control method, and storage medium
JP2019169828A (ja) 車載表示制御装置及び車載表示制御方法
WO2022209439A1 (ja) 虚像表示装置
WO2018030320A1 (ja) 車両用表示装置
JP7145509B2 (ja) 映像表示システム、映像表示方法、プログラム、及び、移動体
JPWO2020090187A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP5756741B2 (ja) 車両用画像表示装置
WO2023074288A1 (ja) 車両用表示装置
JP2020157933A (ja) 画像表示システム、移動体、画像表示方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19774251

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19774251

Country of ref document: EP

Kind code of ref document: A1