[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013125138A1 - 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム Download PDF

Info

Publication number
WO2013125138A1
WO2013125138A1 PCT/JP2012/082620 JP2012082620W WO2013125138A1 WO 2013125138 A1 WO2013125138 A1 WO 2013125138A1 JP 2012082620 W JP2012082620 W JP 2012082620W WO 2013125138 A1 WO2013125138 A1 WO 2013125138A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
unit
pixel
displacement vector
Prior art date
Application number
PCT/JP2012/082620
Other languages
English (en)
French (fr)
Inventor
研 玉山
明 藤縄
将之 清水
池田　潔
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/378,840 priority Critical patent/US9628766B2/en
Priority to EP12869246.4A priority patent/EP2819402A4/en
Priority to JP2014500879A priority patent/JP6128113B2/ja
Priority to CN201280069909.1A priority patent/CN104115491A/zh
Publication of WO2013125138A1 publication Critical patent/WO2013125138A1/ja
Priority to US15/150,924 priority patent/US10038881B2/en
Priority to US15/934,061 priority patent/US10356375B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats

Definitions

  • the technology disclosed in the present specification relates to a display device, an image processing device, an image processing method, and a computer program that are worn on a user's head and used for viewing an image.
  • a display device that is worn on the head and views an image that is, a head-mounted display (HMD) is widely known.
  • the head-mounted display has an optical unit for each of the left and right eyes, and is configured to be used in combination with headphones to control vision and hearing.
  • the head-mounted display can also project different images to the left and right eyes, and can display a 3D image by displaying an image with parallax in the left and right eyes.
  • a high-resolution image display element made of, for example, a liquid crystal or an organic EL (Electro-Luminescence) element can be used. If the image display element is enlarged and projected by the eyepiece optical system to set a wide angle of view and multiple channels are reproduced with headphones, the realistic sensation as viewed in a movie theater can be reproduced.
  • optical lenses are distorted. For example, if the angle of view is increased with a head-mounted display, the quality of the observed image will deteriorate due to distortion, color shift, etc. in the observed image due to distortion of the lens used in the eyepiece optical system. Is concerned.
  • the weight of the head mounted display increases, which increases the burden on the user who wears the head mounted display.
  • the number of lenses is reduced in order to reduce the weight, the distortion generated in each lens increases, and there is no lens system for correcting the distortion. As a result, it becomes difficult to increase the angle of view.
  • this display device in a positive lens system, a light beam with a longer wavelength has a lower refractive index, and a light beam with a shorter wavelength has a stronger refractive power. Therefore, a red image with a longer wavelength is smaller and a blue image with a shorter wavelength is larger. This is to compensate for the phenomenon of being performed.
  • this display device passes through images having different sizes for each color through an optical system having chromatic aberration of magnification, so that the light beam of each color is incident on the eyeball in the case of an eyepiece optical system. In this case, the images are made to coincide with each other at a position where they are incident on a screen or the like so that the observation image can be observed as if there is no chromatic aberration of magnification.
  • the distortion generated in the image when passing through the eyepiece optical system is not always simple due to the difference in refractive power depending on the wavelength.
  • Simply changing the size (display ratio) of the image to be displayed for each wavelength displaying long-wavelength colors smaller than short-wavelength colors) eliminates image distortion caused by complex phenomena such as lens distortion. I can't do it.
  • address conversion can be mentioned.
  • the distorted image is moved to the ideal image position based on the correspondence between the imaging position obtained by the ideal optical system and the imaging position affected by the actual aberration.
  • the size of the correction table storing the correspondence relationship with the coordinate after conversion is enlarged. For example, using the characteristic that the distortion of the optical system is point-symmetric with respect to the image (rotationally symmetric with respect to the optical axis), it is not the correction data of the entire image but the half or quarter of the image.
  • the image display device has an eyepiece optical system, and a control device that outputs an image signal including distortion opposite to the optical distortion generated in the image by the eyepiece optical system to the image display device.
  • Reference data that is representative correction data calculated from the above is stored, difference data as correction data corresponding to individual differences in the optical system is stored on the image display device side, and reference data and difference data are stored on the control device side.
  • Proposals have been made on image display systems that use them to generate image signals that contain inverse distortion (see, for example, Patent Document 4). According to this image display system, the amount of correction data stored in each of the control device and the image display device can be reduced, and the time for the control device to read correction data from the image display device can be shortened. However, there is no change in holding correction data for the entire image.
  • the purpose of the technology disclosed in this specification is to be worn on the user's head and used for viewing the image, and can be enlarged and projected using an eyepiece optical system to display a clear image with a wide angle of view. It is an object to provide an excellent display device, image processing device, image processing method, and computer program.
  • a further object of the technology disclosed in the present specification is to provide an excellent display device and image capable of displaying a clear image with a wide angle of view by removing the influence of lens distortion included in the eyepiece optical system by image correction.
  • a processing apparatus, an image processing method, and a computer program are provided.
  • An image display unit for displaying an image with a plurality of pixels arranged on the display surface;
  • An eyepiece optical unit that projects the display surface of the image display unit to have a predetermined angle of view;
  • An image correction unit that corrects a display image on the display surface based on distortion generated by the eyepiece optical unit at the position of each representative pixel discretely arranged on the display surface; Is a display device.
  • the image correction unit of the display device has a displacement vector that holds a displacement vector representing distortion generated by the eyepiece optical unit at the position of the representative pixel.
  • a holding unit a vector interpolation unit that interpolates a displacement vector at the position of each pixel other than the representative pixel based on a displacement vector of one or more neighboring representative pixels, and a displacement vector for each pixel on the display surface
  • a pixel correction unit that corrects pixels by applying a distortion in a direction opposite to the distortion generated by the eyepiece optical unit.
  • the display device includes an optical simulator that tracks a light beam when a display image on the image display unit passes through the eyepiece optical unit, and the optical device.
  • a vector generation unit that generates a displacement vector at the position of the representative pixel based on the ray tracing data obtained by the simulator is further provided.
  • the display device captures a virtual image projected by the eyepiece optical unit when the representative pixel emits light, and captures the virtual image at the position of the representative pixel.
  • a vector generation unit that generates a displacement vector is further provided.
  • the image display unit has the display surface that is vertically longer than the aspect ratio of the display image, and the eyepiece optical unit is generally thread wound. It has a mold distortion, and the image correction unit is configured to correct the display image so that the angle of view at the horizontal end does not change.
  • the pixel correction unit of the display device separates the pixel correction in the vertical direction and the pixel correction in the horizontal direction, and performs pixel correction processing in each direction in series. It is comprised so that it may perform.
  • the pixel correction unit of the display device performs the correction in the vertical direction by moving the pixel within the same line for each vertical line, and then continues.
  • the horizontal correction is performed by moving the pixel within the same line for each horizontal line.
  • the pixel correction unit of the display device is configured to obtain the horizontal displacement vector at a position moved by the vertical displacement vector. Has been.
  • the display device further includes a modulation unit that shifts the position of the display image at a low frequency.
  • the image correction unit corrects the display image after the modulation processing by the modulation unit while shifting the correspondence between the pixel position and the displacement vector, and the image display unit displays the image to prevent burn-in.
  • a function of shifting the position is provided, and the shift of the image correction unit and the shift of the image display unit are linked.
  • the display device further includes a scaling unit that scales a display image in accordance with the number of pixels on the display surface of the image display unit.
  • the image correction unit corrects a display image on a line memory, and the image display unit is configured to be driven at a timing that minimizes the size of the line memory.
  • the technique according to claim 11 of the present application is Displacement representing distortion generated when the display surface is projected by the eyepiece optical unit so as to have a predetermined angle of view at the position of each representative pixel discretely arranged on a display surface on which a plurality of pixels are arranged.
  • a displacement vector holding unit for holding a vector;
  • a vector interpolation unit that interpolates a displacement vector at the position of each pixel other than the representative pixel based on a displacement vector of one or more neighboring representative pixels;
  • a pixel correction unit that corrects the pixel by applying a distortion in a direction opposite to the distortion generated by the eyepiece optical unit using a displacement vector for each pixel on the display surface; Is an image processing apparatus.
  • the technique according to claim 12 of the present application is Displacement representing distortion generated when the display surface is projected by the eyepiece optical unit so as to have a predetermined angle of view at the position of each representative pixel discretely arranged on a display surface on which a plurality of pixels are arranged.
  • a displacement vector holding step for holding the vector;
  • a vector interpolation step for interpolating a displacement vector at the position of each pixel other than the representative pixel based on a displacement vector of one or more neighboring representative pixels;
  • a pixel correction step for correcting a pixel by giving a distortion in a direction opposite to a distortion generated by the eyepiece optical unit using a displacement vector for each pixel on the display surface; Is an image processing method.
  • the technique according to claim 13 of the present application is An image display unit for displaying an image with a plurality of pixels arranged on the display surface; An eyepiece optical unit that projects the display surface of the image display unit to have a predetermined angle of view; An image correction unit that corrects a display image on the display surface based on distortion generated by the eyepiece optical unit at the position of each representative pixel discretely arranged on the display surface; As a computer program written in a computer-readable format to make the computer function.
  • the computer program according to claim 13 of the present application defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer.
  • a cooperative operation is exhibited on the computer, and the same operational effect as the display device according to claim 1 of the present application is obtained. Can do.
  • the image can be worn on the user's head and used for viewing the image, and can be enlarged and projected using an eyepiece optical system to display a clear image with a wide angle of view.
  • An excellent display device, image processing device, image processing method, and computer program can be provided.
  • a distortion generated in a display image by an eyepiece optical system or the like can be corrected based on less correction data, and a clear image can be displayed with a wide angle of view.
  • An excellent display device, image processing device, image processing method, and computer program can be provided.
  • FIG. 1 is a diagram schematically showing the configuration of an image display system including a head-mounted display.
  • FIG. 2 is a functional block diagram for correcting distortion generated in the projection image of the eyepiece optical system by signal processing in the head-mounted display.
  • FIG. 3 is a diagram exemplifying pincushion distortion generated in a presentation image by the eyepiece optical system.
  • FIG. 4 is a diagram illustrating an example of signal processing that distorts the presented image into a barrel shape.
  • FIG. 5 is a diagram illustrating barrel distortion generated in a presentation image by the eyepiece optical system.
  • FIG. 6 is a diagram illustrating a signal processing example in which the presented image is distorted into a pincushion shape.
  • FIG. 1 is a diagram schematically showing the configuration of an image display system including a head-mounted display.
  • FIG. 2 is a functional block diagram for correcting distortion generated in the projection image of the eyepiece optical system by signal processing in the head-mounted display.
  • FIG. 3 is a diagram
  • FIG. 7 is a diagram schematically showing a correction model by the image correction unit 202.
  • FIG. 8 is a diagram for explaining a processing procedure for correcting a presentation image in a head-mounted display.
  • FIG. 9A is a diagram for explaining a method of generating a displacement vector.
  • FIG. 9B is a diagram for explaining a method of generating a displacement vector.
  • FIG. 10 is a diagram illustrating a configuration example of the image correction unit 202.
  • FIG. 11 is a diagram illustrating a state in which a displacement vector is obtained for each grid point of a coarse grid that covers the display screen of the display unit 203.
  • FIG. 12 is a diagram illustrating a state in which a deformation vector of a pixel to be interpolated is obtained from four neighborhoods by bilinear interpolation.
  • FIG. 13 is a diagram showing how pixel data is corrected based on a displacement vector.
  • FIG. 14 is a diagram schematically showing an overall image of a head mounted display including generation of a displacement vector.
  • FIG. 15 is a diagram for explaining a method for determining a display scale.
  • FIG. 16A is a diagram showing a virtual image when the eyepiece optical system 204 is designed so as to generate pincushion distortion.
  • FIG. 16B is a diagram showing a result of correcting the pincushion distortion display image shown in FIG. 16A.
  • FIG. 17 is a diagram showing how vertical correction is performed by moving a pixel within the same line for each vertical line using a vertical filter.
  • FIG. 18 is a diagram showing how horizontal correction is performed by moving pixels within the same line for each horizontal line using a horizontal filter.
  • FIG. 19 is a diagram illustrating a configuration example of a pixel interpolation unit 1003 that performs pixel interpolation processing by combining vertical and horizontal FIR filters.
  • FIG. 20 is a diagram for explaining a mechanism for interpolating pixel values based on the displacement vector of each grid point.
  • FIG. 21 is a diagram illustrating a configuration example of a one-dimensional filter used when the pixel interpolation unit 1003 performs the interpolation process by separating the vertical direction and the horizontal direction.
  • FIG. 22 is a diagram for explaining one-dimensional interpolation processing performed independently in the vertical direction and horizontal direction in the pixel interpolation unit 1003.
  • FIG. 23 is a diagram illustrating a method for acquiring a vertical displacement vector and a horizontal displacement vector when performing interpolation processing separately in the vertical direction and the horizontal direction.
  • FIG. 24 is a diagram showing a method for correcting in advance a displacement vector in the vertical direction when performing interpolation processing separately in the vertical direction and the horizontal direction.
  • FIG. 25 is a diagram showing a principle diagram for preventing burn-in.
  • FIG. 26 is a diagram showing a configuration example for preventing burn-in to which the principle shown in FIG. 25 is applied.
  • FIG. 27 is a diagram showing a mounting example equivalent to FIG. FIG.
  • FIG. 28 is a functional block diagram for correcting distortion generated in the projection image of the eyepiece optical system 204 by signal processing.
  • FIG. 29 is a diagram for explaining the estimation of the capacity of the line memory 1902 that the image correction unit 202 should be equipped with.
  • FIG. 30 is a diagram for explaining the estimation of the capacity of the line memory 1902 that the image correction unit 202 should be equipped with.
  • FIG. 31 is a diagram for explaining the estimation of the capacity of the line memory 1902 that the image correction unit 202 should be equipped with.
  • FIG. 1 schematically shows the configuration of an image display system including a head-mounted display.
  • the illustrated system includes a Blu-ray disc playback device 20 that is a source of viewing content, a front end box 40 that processes an AV signal output from the Blu-ray disc playback device 20, and a Blu-ray disc playback device 20.
  • a head-mounted display device (head mounted unit) 10 that is the output destination of the playback content, and a high-definition display (for example, an HDMI-compatible TV) that is the other output destination of the playback content of the Blu-ray Disc playback device 20 30.
  • the head mount unit 10 and the front end box 40 constitute one head mount display.
  • the front end box 40 corresponds to an HDMI repeater that, for example, performs signal processing and outputs HDMI when the AV signal output from the Blu-ray disc playback apparatus 20 is HDMI input.
  • the front end box 40 is also a two-output switcher that switches the output destination of the Blu-ray disc playback apparatus 20 to either the head mount unit 10 or the high-definition display 30.
  • the front end box 40 has two outputs, but may have three or more outputs. However, the front end box 40 makes the output destination of the AV signal exclusive, and gives the highest priority to the output to the head mount unit 10.
  • HDMI High-Definition Multimedia Interface
  • DVI Digital Visual Interface
  • TMDS Transition Minimized Differential Signaling
  • the HDMI cable is connected between the Blu-ray Disc player 20 and the front end box 40, and between the front end box 40 and the high-definition display 30.
  • the front end box 40 and the head mount unit 10 can also be configured to be connected by an HDMI cable, but the AV signal may be serially transferred using a cable of other specifications. Good. However, the AV signal and power are supplied by a single cable connecting the front end box 40 and the head mount unit 10, and the head mount unit 10 also obtains drive power via this cable. be able to.
  • the head mount unit 10 includes independent display units for the left eye and the right eye. Each display unit uses, for example, an organic EL element. Each of the left and right display units is equipped with an eyepiece optical system with low distortion and high resolution and a wide viewing angle. When an image display device is enlarged and projected by an eyepiece optical system to set a wide angle of view and multiple channels are reproduced with headphones, it is possible to reproduce a sense of realism as viewed in a movie theater.
  • the observed image may be distorted due to distortion of the lens used in the eyepiece optical system.
  • the angle of view is b ′ / b as shown in FIG.
  • D b > the angle of view becomes wide.
  • FIG. 2 is a functional block diagram for correcting distortion generated in the projection image of the eyepiece optical system by signal processing in the head-mounted display.
  • the HDMI receiving unit 201 inputs a presentation image from an image source such as the Blu-ray disc playback device 20.
  • the image correction unit 202 gives distortion to the presentation image in a direction opposite to the distortion generated by the eyepiece optical system 204.
  • the display unit 203 is composed of an organic EL element or the like, and displays a presentation image after being corrected by distortion in the reverse direction by the image correction unit 202 on the screen.
  • the display image on the screen is projected onto the retina of the observer's eye via the eyepiece optical system 204. Distortion occurs when the light of the display image passes through the eyepiece optical system 204. Since the display image is given a distortion in a direction opposite to this distortion, a normal virtual image that does not include distortion is present on the retina. Is imaged.
  • the image correction unit 202 may be disposed in either the head mount unit 10 or the front end box 40. In consideration of correcting the image distortion based on the distortion parameter of the eyepiece optical system 204 in the head mount unit 10, if the image correction unit 202 is disposed in the head mount unit 10, the front end. On the box 40 side, an image signal can be output without being conscious of which head mount unit 10 is output.
  • the image correction unit 202 performs signal processing that gives a distortion in the opposite direction to the pincushion type, that is, the image correction unit.
  • the presented image is enlarged at the center of the visual field, reduced toward the end, and distorted into a barrel shape to display the pincushion distortion from the projection image of the eyepiece optical system. be able to.
  • the image is enlarged to b '/ b times (see the above formula (1)).
  • the pixel to be displayed at the point r 2 on the display screen is brought from the point r 3 of the corrected visual field (see the following equation (3)).
  • the corrected field of view point r 3 corresponds to the point r 1 on the original image due to the expansion of the field of view (see equation (4) below).
  • the pixel to be displayed at the point r 2 on the display screen is brought from the point r 1 on the original image (see the following equation (5)).
  • placing and D r a distortion rate at the point r 2 by the expansion of the field of view.
  • the image correction unit 202 performs signal processing that gives distortion opposite to that of the barrel shape, that is, the image correction unit 202.
  • the image is reduced toward the center of the field of view, and the presented image is distorted and displayed in a pincushion shape. Barrel distortion can be removed.
  • the image is reduced to a '/ a times (see the above equation (2)).
  • the pixel to be displayed at the point r 2 on the display screen is brought from the point r 3 of the corrected visual field (see the following formula (6)).
  • the corrected field of view point r 3 corresponds to the point r 1 on the original image due to the expansion of the field of view (see the following equation (7)). Further, the pixel to be displayed at the point r 2 on the display screen is brought from the point r 1 on the original image (see the following formula (8)). However, the distortion at point r 2 is D r due to the expansion of the field of view.
  • FIG. 7 schematically shows a correction model by the image correction unit 202.
  • the input signal coordinates of the presentation image input to the HDMI receiving unit 201 are p ′ (x ′, y ′), and the display pixel coordinates of the display image on the screen of the display unit 203 are p (x, y).
  • the physical coordinates based on the lens on the screen of the display unit 203 are P (X, Y), and the physical coordinates based on the lens on the virtual image plane obtained by projecting the screen of the display unit 203 with the eyepiece optical system 204 are used. Is P ′ (X ′, Y ′).
  • the eyepiece optical system 204 generates between the physical coordinates P (X, Y) on the screen of the display unit 203 and the corresponding physical image P ′ (X ′, Y ′) on the virtual image plane. Distorted.
  • FIG. 8 illustrates a processing procedure for correcting a presentation image in the head-mounted display according to the present embodiment.
  • the HDMI receiving unit 201 receives, for example, a presentation image having a size of 1024 ⁇ 576 pixels from an image source such as the Blu-ray disc playback device 20.
  • Distortion occurs when each pixel of the presented image passes through the eyepiece optical system 204.
  • the image correction unit 202 applies a distortion in the reverse direction to each pixel of the presented image, thereby compensating for the motion compensation (MC), that is, compensating the displacement of each pixel caused by the distortion, and displaying the display image subjected to the pre-inverse distortion.
  • MC motion compensation
  • the reverse distortion applied to the pixel is referred to as a displacement vector (MV).
  • the displacement vector has a pixel position on the presentation image as a start point and a pixel position on the display image corresponding to the start point as an end point.
  • the display image subjected to the pre-inverse distortion has a size of 1024 ⁇ 576 + ⁇ pixel.
  • the image correction unit 202 converts the size of the display image of 1024 ⁇ 576 + ⁇ pixel size in consideration of the pixel pitch of the screen of the display unit 203 and displays it on the screen.
  • This display image is formed on the virtual image plane by the eyepiece optical system 204. Since the display image displayed on the screen of the display unit 203 has been subjected to prior reverse distortion, the virtual image is an undistorted image like the original presented image.
  • the above-described displacement vector MV can be obtained by tracing the light beam until the display light on the screen of the display unit 203 passes through the eyepiece optical system 204 and reaches the virtual image plane.
  • the presented image and the virtual image are similar.
  • the similarity coefficient that is, the pixel pitch of the virtual image plane
  • the displacement vector can be obtained.
  • An image consists of a plurality of color signal components such as RGB.
  • the image correction unit 202 divides the color components of the presented image and performs the above-described prior reverse distortion processing for each color component, thereby simultaneously correcting distortion and chromatic aberration that occur when passing through the eyepiece optical system 204. Can do.
  • image coordinates on the display surface of the screen of the display unit 203 are p (x, y) (unit: pixel), and physical coordinates on the screen of the display unit 203 are P (X, Y). (Unit: mm).
  • the position of the optical axis on the display image is pa (x a , y a )
  • the physical coordinate position P (X, Y) on the screen with respect to the position p (x, y) on the image coordinate. ) Is expressed by the following equation (9).
  • d p is the pixel pitch (millimeter / pixel) of the screen of the display unit 203.
  • the image coordinates on the input signal surface of the virtual image obtained by projecting the screen of the display unit 203 with the eyepiece optical system are defined as p ′ (x ′, y ′) (unit: pixel), and the virtual image surface
  • the physical coordinates above are P ′ (X ′, Y ′) (unit: millimeter).
  • the position P ′ (X ′, Y ′) is expressed by the following equation (10).
  • d v is a pixel pitch (millimeter / pixel) on the virtual image.
  • the physical coordinates P (X, Y) on the screen of the display unit 203 are displaced to the physical coordinates P ′ (X ′, Y ′) on the virtual image plane due to the distortion f generated by the eyepiece optical system 204.
  • f includes chromatic aberration.
  • p a (x a, y a ), position p'a (x'a, y'a ) of the optical axis of the input image using a can be expressed by the following equation (12).
  • p is a variable
  • p a and p ′ a are constants such as design values.
  • a displacement vector MV (x, y) that gives a distortion in the reverse direction of the distortion f at an arbitrary image coordinate position p (x, y) on the display surface can be obtained.
  • a method for obtaining the distortion f generated by the eyepiece optical system 204 there are a method of calculating with an optical simulator used for designing a lens constituting the eyepiece optical system 204, and a method of measuring using the actual eyepiece optical system 204 that has been completed. It is done.
  • a specific pixel P (X, Y) on the display screen of the display unit 203 is caused to emit light, and the virtual image is captured by the camera (that is, the screen is captured through the eyepiece optical system 204).
  • the position of the bright spot P ′ (X ′, Y ′) is obtained.
  • the displacement vector MV (x, y) can be obtained at all pixel positions p (x, y) on the screen of the display unit 203 by any one of the above methods. If the displacement vector MV (x, y) at each pixel position p (x, y) is stored in a table, the image correction unit 202 refers to the table for each pixel position p (x, y). The displacement vector MV (x, y) can be obtained to give the display image distortion in the reverse direction.
  • the table is enlarged with the size of the image size.
  • correction data for 1 ⁇ 2 or 1 ⁇ 4 region of the image can be obtained for the symmetric region.
  • a method of reducing the size of the table by using it is already known (described above).
  • such a reduction method makes it impossible to perform image correction with high accuracy against distortion that is not point-symmetric of the eyepiece optical system 204.
  • the distortion appearing on the virtual image plane is not necessarily caused by the distortion of the lens of the eyepiece optical system 204.
  • the distortion of the image due to the screen displacement when the display unit 202 is fixed to the corresponding part in the head mount unit 10 is not rotationally symmetric with respect to the optical axis.
  • the distortion generated in the virtual image plane is rotationally symmetric with respect to the optical axis, and the table size is reduced.
  • representative pixels are discretely set on the display surface of the display unit 203, and displacement vectors obtained only at the positions of the representative pixels are held. Then, at the pixel positions other than the representative pixels, the displacement vectors at all the pixel positions are obtained by interpolating with the displacement vectors of one or more peripheral representative pixels.
  • FIG. 10 shows a configuration example of the image correction unit 202 that applies reverse distortion to a display image using a displacement vector for each representative pixel.
  • the displacement vector holding unit 1001 holds the displacement vector obtained at the position of each representative pixel discretely set on the display surface of the display unit 203.
  • a typical example of the representative pixel is each lattice point when the display screen of the display unit 203 is covered with a coarse lattice. Then, the position on the input signal surface (that is, the virtual image side of the eyepiece optical system) corresponding to each lattice point on the display screen (that is, the incident side of the eyepiece optical system 204) is held in the table as displacement vector data. To do.
  • FIG. 11 shows a state in which a displacement vector is obtained for each grid point of a coarse grid that covers the display screen of the display unit 203.
  • the vector interpolation unit 1002 calculates a displacement vector by interpolating with a displacement vector of one or more peripheral representative pixels at pixel positions other than the representative pixel. For example, as shown in FIG. 12, a deformation vector of a pixel to be interpolated is calculated by bilinear interpolation from displacement vectors at four neighboring points, that is, four neighboring lattice points. Alternatively, displacement vectors of pixels other than the representative pixel may be interpolated from 16 lattice points by cubic spline interpolation.
  • the pixel correction unit 1003 is, for each pixel, the distortion generated in the eyepiece optical system 204 based on the displacement vector held in the displacement vector holding unit 1001 or the displacement vector interpolated by the vector interpolation unit 1002. Gives reverse distortion.
  • FIG. 13 shows how the pixel correction unit 1003 corrects pixel data based on the displacement vector. As shown in the figure, pixel data to be displayed at the position of the displacement vector on the display screen of the display unit 203 is brought from the position of the end point of the displacement vector on the signal plane. At this time, when the reference destination, that is, the position of the end point of the displacement vector is located between the pixels, interpolation is performed with a weighted sum of neighboring pixel values.
  • FIG. 14 schematically shows the overall image of the head mounted display including the generation of the displacement vector.
  • the design data of the lenses constituting the eyepiece optical system 204 can be obtained based on the results of simulations by the optical simulator 1401 for lens design. And the lens which comprises the eyepiece optical system 204 is manufactured by manufacturing a lens based on the obtained design data.
  • the distortion f generated by the eyepiece optical system 204 can be calculated by the optical simulator 1401 (described above). Specifically, the position of the pixel bright spot P ′ (X ′, Y ′) on the virtual image corresponding to the specific pixel P (X, Y) on the display screen of the display unit 203 is used for ray tracing by the optical simulator 1401. Ask for. Based on such ray tracing data, the vector generation unit 1402 generates a displacement vector at each lattice point when the display screen of the display unit 203 is covered with a coarse lattice.
  • the displacement vector generated by the vector generation unit 1402 is stored in the displacement vector holding unit 1001. Then, the vector interpolation unit 1002 calculates a displacement vector by interpolating with displacement vectors of one or more peripheral representative pixels at pixel positions other than the representative pixel. For each pixel, the pixel correction unit 1003 has a direction opposite to the distortion generated in the eyepiece optical system 204 based on the displacement vector held in the displacement vector holding unit 1001 or the displacement vector interpolated by the vector interpolation unit 1002. Give distortion.
  • the displayed image after being corrected with the reverse distortion by the image correction unit 202 is displayed on the screen.
  • the display image on the screen is projected onto the retina of the observer's eye via the eyepiece optical system. Distortion occurs when the light of the display image passes through the eyepiece optical system. Since the display image is given a distortion in the opposite direction to this distortion, a normal virtual image that does not include distortion is present on the retina. Imaged.
  • the display scale can be expressed as a pixel pitch on the virtual image plane, for example.
  • the display scale is preferably as large as possible within the allowable range of the input image.
  • a range where the input image is allowed is indicated by a dotted line.
  • a rectangle having a desired aspect ratio that is inscribed in a circle representing the allowable range is set as a display scale. Divide each color of RGB into the narrowest one.
  • the pixel range of the display screen of the display unit 203 may be the same aspect ratio as the presentation image or may be longer than the presentation image.
  • the I / F effective range may be narrower than the pixel range.
  • the correction can only narrow the display range. If the horizontal end is set as a fixed point for correction, the angle of view at the time of lens design can be maintained. Therefore, the lens design is performed so that the aspect ratio of the image presented on the display unit 203 is longer than the aspect ratio and the eyepiece optical system 204 is generally distorted into a pincushion type. Then, the presentation range is determined so that the horizontal end is in contact (so that the angle of view at the horizontal end is not changed by image correction).
  • FIG. 16A shows a virtual image when the eyepiece optical system 204 is designed so that pincushion distortion occurs.
  • an image with an aspect ratio of 16: 9 distorted in a pincushion is displayed on a screen with an aspect ratio of 4: 3, if the horizontal direction is adjusted, the image protrudes in the vertical direction as shown in the figure.
  • FIG. 16B shows a result of correcting the pincushion distortion display image shown in FIG. 16A to be distorted into a barrel shape.
  • the horizontal end is set as a fixed point for correction. The closer to the edge of the screen, the smaller the image is displayed. Although a portion protruding in the vertical direction occurs, there is no problem because the aspect ratio of the screen is 4: 3.
  • pixel correction is performed by separating the processing in the vertical direction and the horizontal direction and processing in each direction in series. That is, correction is performed in the order of vertical direction ⁇ horizontal direction while calculating a displacement vector for each pixel.
  • the pixel correction unit 1003 first performs vertical correction by moving pixels within the same line for each vertical line. Thereafter, as shown in FIG. 18, the pixel correction unit 1003 performs horizontal correction by moving the pixels within the same line for each horizontal line.
  • Separating the vertical and horizontal processing in this way has the advantage that the processing in each direction can be realized using a one-dimensional filter and the number of product sums of the filters can be reduced. For example, if the number of taps of the vertical filter is K and the number of taps of the horizontal filter is L, the number of product sums is (K + L) ⁇ M ⁇ N (where M is the number of pixels in the vertical direction and N is the horizontal direction) Number of pixels).
  • FIG. 19 shows a configuration example of a pixel interpolation unit 1003 that performs pixel interpolation processing by combining vertical and horizontal FIR (Finite Impulse Response) filters.
  • FIR Finite Impulse Response
  • the double buffer 1901 compresses the other buffer when it is full while writing input data into one buffer, and compresses it in units of 16 pixels in the horizontal direction.
  • the compressed line memory 1902 stores data compressed in units of 16 pixels in the horizontal direction, and can be accessed in random units.
  • the data read from the compression line memory 1902 is decompressed and then held in a decompression memory window 1903 for performing a convolution process. However, it is assumed that the next process is pre-read and expanded.
  • the vertical FIR filter 1904 scans the developed memory window 1903 in the horizontal direction. At each interpolation position, the tap coefficient for each interpolation phase is read from the coefficient table 1905 and set to each tap of the FIR filter 1904.
  • the output of the FIR filter 1904 is written in the corresponding horizontal position of the horizontal buffer 1906.
  • the horizontal buffer 1906 has a size of horizontal correction amount + tap length.
  • the horizontal FIR filter 1907 scans the horizontal buffer 1906. At each interpolation position, the tap coefficient for each interpolation phase is read from the coefficient table 1908 and set to each tap of the FIR filter 1907.
  • the output of the FIR filter 1907 is a pixel value at a corresponding pixel position on the display screen of the display unit 203.
  • FIG. 20 illustrates a mechanism for interpolating pixel values based on the displacement vector of each grid point.
  • the displacement vector holding unit 1001 describes input positions P11, P12, P21, and P22 to be displayed as displacement vectors of lattice points p11, p12, p21, and p22 on the display screen.
  • the pixel correction unit 1003 interpolates with the weighted sum of the neighboring pixel values (see FIG. 13).
  • FIG. 21 shows a configuration example of a one-dimensional filter used when the pixel interpolation unit 1003 performs the interpolation process by separating the vertical direction and the horizontal direction.
  • an FIR filter used in the horizontal direction is shown.
  • Address calculation is performed for 6 pixels sandwiching the display position X, and X is interpolated by a horizontal 6-tap filter.
  • Each interpolation position is divided into 8 phases, and the display position X is rounded by 1/8 unit.
  • the coefficient table stores eight filter coefficients for each interpolation phase.
  • FIG. 22 illustrates one-dimensional interpolation processing performed independently in the vertical direction and the horizontal direction in the pixel interpolation unit 1003.
  • the pixel interpolation unit 1003 performs over-sampling with an 8-phase polyphase filter.
  • the low-pass filter realizes a movement amount of 1/8 pixel unit with 8 coefficients.
  • there are 4 taps in the vertical direction and 6 taps in the horizontal direction but the number of phase divisions and the number of taps are merely examples.
  • the number of phase divisions and the number of taps are determined based on the image quality evaluation and the circuit scale.
  • An ideal low-pass filter is a sin window with an infinite impulse response.
  • a sin window is used to cut off with a finite number of taps, but a Lanczos window may be used.
  • FIG. 23 illustrates a method for obtaining a vertical displacement vector and a horizontal displacement vector, respectively, when performing interpolation processing separately in the vertical direction and the horizontal direction.
  • FIG. 24 illustrates a method of correcting the displacement vector in the vertical direction in advance when performing interpolation processing separately in the vertical direction and the horizontal direction.
  • the displacement vector MV (A) for the lattice point A can be read from the displacement vector holding unit 1001.
  • MV_x (B) is a horizontal component of the displacement vector MV (B).
  • a liquid crystal or an organic EL element is used for the display panel of the display unit 203.
  • these display elements are likely to cause a burn-in phenomenon in a region having a large luminance difference. It has been. It is known that an orbit process in which a display image is periodically moved (shaken at an extremely low frequency) is effective in preventing a burn-in phenomenon.
  • the distortion generated in the pixel by the eyepiece optical system 204 does not correspond to the reverse distortion applied to the pixel by the correction, so that there is a problem that the distortion is not removed.
  • the displacement vector holding unit 1001 is configured so that the correspondence between the output pixel and the displacement vector can be shifted in the horizontal and vertical directions, and the display position of the image in the subsequent stage (after image correction). Equipped with means to shift. Then, the shift of the correspondence relationship between the output pixel and the displacement vector and the shift of the display position for preventing burn-in are linked to make it possible to apply orbit processing to image correction for distortion removal.
  • FIG. 25 shows a principle diagram for preventing burn-in.
  • the modulation unit 2501 applies an offset to the display position of the presentation image and shakes the input image at an extremely low frequency.
  • the image correction unit 202 uses the displacement vector held in the displacement vector holding unit 1001 to give a distortion in a direction opposite to the distortion generated in the eyepiece optical system 204 to the input image that is shaking at an extremely low frequency.
  • FIG. 26 shows a configuration example for preventing burn-in to which the principle shown in FIG. 25 is applied.
  • the modulation unit 2601 applies an offset to the display position of the presentation image and shakes the input image at an extremely low frequency.
  • the image correction unit 202 uses the displacement vector held in the displacement vector holding unit 1001 to give a distortion in a direction opposite to the distortion generated in the eyepiece optical system 204 to the input image that is shaking at an extremely low frequency.
  • the inverse modulation unit 2602 performs a modulation process in the opposite direction to that of the modulation unit 2601, cuts out the display image from the input image, and outputs it to the display unit 203 via the XGA interface 2603.
  • the display unit 203 has an orbit function for shifting the display position (at the arbitration frequency) in order to prevent the display panel from burning.
  • FIG. 27 shows an implementation example equivalent to FIG.
  • a modulation unit 2701 oscillates a displacement vector (in the displacement vector holding unit 1001), not a presentation image, at an extremely low frequency.
  • the display scale is determined within an allowable range.
  • the displacement vector changes accordingly, but the maximum d v satisfying the following equation (19) is obtained.
  • FIG. 2 shows a functional block diagram for correcting distortion generated in the projection image of the eyepiece optical system 204 by signal processing.
  • FIG. 19 shows a configuration example in which the image correction unit 202 does not have a frame memory and performs image correction using only the line memory 1902. Considering the device cost, it is desirable to keep the capacity of the line memory 1902 small. Therefore, as illustrated in FIG. 28, the HDMI receiving unit 201 includes a scaling unit 2801 that performs a scaling process on an externally input image in accordance with the number of pixels on the display screen of the display unit 203. The display unit 203 is driven at a timing that minimizes the size of the line memory 1902.
  • the first input line indicated by A is used to display the line indicated by B. Therefore, the capacity of the line memory 1902 is required in the vertical direction by AB.
  • An image display unit that displays an image with a plurality of pixels arranged on the display surface, an eyepiece optical unit that projects the display surface of the image display unit to have a predetermined angle of view, and the display surface
  • a display device comprising: an image correction unit that corrects a display image on the display surface based on distortion generated by the eyepiece optical unit at the position of each representative pixel discretely disposed on the display pixel.
  • the image correction unit includes a displacement vector holding unit that holds a displacement vector representing distortion generated by the eyepiece optical unit at the position of the representative pixel, and a displacement vector at the position of each pixel other than the representative pixel.
  • a vector interpolation unit that interpolates based on a displacement vector of one or more representative pixels, and a distortion that is opposite to the distortion generated by the eyepiece optical unit using a displacement vector for each pixel on the display surface
  • a pixel correction unit that corrects the pixel.
  • the display device further including a vector generation unit that generates (4)
  • the display device further including a vector generation unit that actually captures a virtual image projected by the eyepiece optical unit when the representative pixel emits light and generates a displacement vector at the position of the representative pixel.
  • the image display unit has the display surface that is vertically longer than the aspect ratio of the display image, the eyepiece optical unit has a substantially pincushion distortion, and the image correction unit has an angle of view at the horizontal end.
  • the display device wherein the display image is corrected so as not to change.
  • (6) The display device according to (2), wherein the pixel correction unit separates vertical pixel correction and horizontal pixel correction and performs pixel correction processing in each direction in series.
  • the pixel correction unit moves the pixels within the same line for each vertical line to perform vertical correction, and then moves the pixels within the same line for each horizontal line to perform horizontal correction.
  • the display according to (2) wherein correction is performed while the image display unit has a function of shifting a display position to prevent burn-in, and the shift of the image correction unit and the shift of the image display unit are linked.
  • apparatus (10) A scaling unit that scales a display image according to the number of pixels on the display surface of the image display unit, the image correction unit corrects the display image on a line memory, and the image display unit
  • the display device according to (1) wherein the display device is driven at a timing that minimizes the size of the line memory.
  • a displacement vector holding unit that holds a displacement vector representing the position
  • a vector interpolation unit that interpolates a displacement vector at the position of each pixel other than the representative pixel based on a displacement vector of one or more neighboring representative pixels
  • An image processing apparatus comprising: a pixel correction unit that corrects a pixel by applying a distortion in a direction opposite to the distortion generated by the eyepiece optical unit using a displacement vector. (12) Distortion that occurs when the display surface is projected by the eyepiece optical unit so as to have a predetermined angle of view at the position of each representative pixel discretely arranged on the display surface on which a plurality of pixels are arranged.
  • a displacement vector holding step for holding a displacement vector representing the position, a vector interpolation step for interpolating a displacement vector at the position of each pixel other than the representative pixel based on a displacement vector of one or more neighboring representative pixels, And a pixel correction step of correcting each pixel by applying a distortion in a direction opposite to the distortion generated by the eyepiece optical unit using a displacement vector.
  • An image display unit that displays an image with a plurality of pixels arranged on the display surface, an eyepiece optical unit that projects the display surface of the image display unit to have a predetermined angle of view, and the display surface Described in a computer-readable format so that the computer functions as an image correction unit that corrects a display image on the display surface based on distortion generated by the eyepiece optical unit at the position of each representative pixel arranged discretely Computer program.
  • the embodiment in which the technology disclosed in this specification is applied to a head-mounted display has been mainly described.
  • the gist of the technology disclosed in this specification is the configuration of a specific head-mounted display. It is not limited to.
  • the technology disclosed in the present specification can be similarly applied to various types of display systems that present a display image to a user via an eyepiece optical system.
  • DESCRIPTION OF SYMBOLS 10 ... Head mount unit 20 ... Blu-ray Disc playback apparatus 30 ... Hi-vision display 40 ... Front end box 201 ... HDMI receiving part 202 ... Image correction part 203 ... Display part 204 ... Eyepiece optical system 1001 ... Displacement vector holding Unit 1002 ... vector interpolation unit 1003 ... pixel correction unit 1401 ... optical simulator 1402 ... vector generation unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　接眼光学系に含まれるレンズ歪みの影響を画像補正により除去して、広画角で鮮明な画像を表示する。　虚像面に発生する歪みが光軸に対して回転対称になるという前提には立たないで、テーブルのサイズの削減を実現する。具体的には、表示部２０３の表示面上に離散的に代表画素を設定し、代表画素の位置においてのみ得た変位ベクトルを保持しておく。そして、代表画素以外の画素位置では、周辺の１以上の代表画素の変位ベクトルで補間することにより、すべての画素位置での変位ベクトルを得るようにしている。

Description

表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
　本明細書で開示する技術は、ユーザーの頭部に装着して画像の視聴に供される表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。
　頭部に装着して画像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ（ＨＭＤ）が広く知られている。ヘッド・マウント・ディスプレイは、左右の眼毎に光学ユニットを持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３Ｄ画像を提示することができる。
　ヘッド・マウント・ディスプレイの左右の眼の表示部には、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の画像表示素子を用いることができる。また、接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができるであろう。
　光学レンズには歪みがあることが知られている。例えば、ヘッド・マウント・ディスプレイで画角を大きくとると、接眼光学系で用いられるレンズの歪みに起因して、観察される画像に複雑や歪曲や色ずれが発生して、品質を劣化することが懸念される。
　また、広画角を確保するために接眼光学系を構成するレンズの枚数を増やすと、ヘッド・マウント・ディスプレイの重量が増すため、これを装着するユーザーの負担が大きくなる。ここで、重量削減のためにレンズの枚数を少なくすると、各レンズで発生する歪みが大きくなるとともに、歪みを補正するレンズ系がなくなってしまう。その結果として、画角を大きくとることが困難になる。
　接眼光学系で発生する歪みを信号処理によって補正する方法が知られている。例えば、光学系で発生する倍率の色収差をあらかじめ打ち消し合うように、画像表示素子上に表示する画像の大きさを波長毎に変えておくことによって、観察像としては、倍率の色収差があたかもないように観察することができるようにする表示装置について提案がなされている（例えば、特許文献１を参照のこと）。
　この表示装置は、正レンズ系では、波長の長い光線ほど屈折率が弱く、波長が短い光線は屈折力が強いために、波長の長い赤色の像は小さく、波長の短い青色の像は大きく観察される、という現象を補償するものである。要するに、この表示装置は、色毎に大きさの違う画像を、倍率の色収差がある光学系を通すことによって、各色の光束を、接眼光学系の場合は眼球に入射する位置で、投影光学系の場合はスクリーン等に入射する位置で略一致させることによって、観察像としては倍率の色収差があたかもないように観察できるようにしたものである。
　しかしながら、接眼光学系を通過した際に画像に発生する歪みは、波長に応じた屈折力の相違に起因する単純なものとは限らない。単に表示する画像の大きさ（表示比率）を波長毎に変える（波長の長い色を波長の短い色よりも小さく表示する）だけでは、レンズ歪みなどの複雑な現象に起因する画像の歪みを除去することはできない。
　また、接眼光学系で発生する歪みを補正する他の信号処理方法として、アドレス変換が挙げられる。すなわち、理想的な光学系で得られる結像位置と実際の収差の影響を受けた結像位置との対応関係に基づいて、歪んだ画像を理想的な画像位置へと移動する。ここで、画像サイズが大きい場合や、高い変換精度が求められる場合には、変換後の座標との対応関係を格納した補正テーブルのサイズが肥大化してしまうという問題がある。例えば、画像に対して光学系の歪みが点対称（光軸に対して回転対称）であるという特性を利用して、画像全体の補正データではなく、画像の１／２や１／４の領域の補正データを対称領域に対しても使用する方法が提案されている（例えば、特許文献２、３を参照のこと）。しかしながら、表示画像の歪みが光軸に対して回転対称であることが補正テーブルのサイズを削減する前提となる。言い換えれば、光軸に対して回転対称でない歪みには適用できない。
　また、接眼光学系を有する画像表示装置と、接眼光学系により画像に生ずる光学歪みに対する逆の歪みを含む画像信号を画像表示装置に出力する制御装置とを有し、制御装置側では設計値などから算出された代表的な補正データである基準データを記憶し、画像表示装置側で光学系の個体差に対応する補正データとしての差分データを記憶し、制御装置側では基準データと差分データを用いて逆の歪みを含む画像信号を生成する、画像表示システムについて提案がなされている（例えば、特許文献４を参照のこと）。この画像表示システムによれば、制御装置と画像表示装置それぞれで記憶する補正データの量が削減するとともに、制御装置が画像表示装置から補正データを読み込む時間を短縮することができる。しかしながら、画像全体の補正データを保持することに変わりはない。
特許３２１２７６２号公報 特開平５－１７６２１６号公報 特開平８－２０５１８１号公報 特開２００８－２５８８０２号公報
　本明細書で開示する技術の目的は、ユーザーの頭部に装着して画像の視聴に供され、接眼光学系を用いて拡大投影して広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
　本明細書で開示する技術のさらなる目的は、接眼光学系に含まれるレンズ歪みの影響を画像補正により除去して、広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
　本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
　表示面上に配列された複数の画素で画像を表示する画像表示部と、
　前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、
　前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、
を具備する表示装置である。
　本願の請求項２に記載の技術によれば、請求項１に記載の表示装置の画像補正部は、前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部を備えている。
　本願の請求項３に記載の技術によれば、請求項２に記載の表示装置は、前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備えている。
　本願の請求項４に記載の技術によれば、請求項２に記載の表示装置は、前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写して前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備えている。
　本願の請求項５に記載の技術によれば、請求項１に記載の表示装置は、前記画像表示部が表示画像のアスペクト比よりも縦長の前記表示面を持ち、前記接眼光学部がおおむね糸巻き型の歪みを持ち、前記画像補正部が水平端での画角が変化しないように表示画像を補正するように構成されている。
　本願の請求項６に記載の技術によれば、請求項２に記載の表示装置の画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なうように構成されている。
　本願の請求項７に記載の技術によれば、請求項２に記載の表示装置の画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なうように構成されている。
　本願の請求項８に記載の技術によれば、請求項７に記載の表示装置の画素補正部は、水平方向の変位ベクトルを、垂直方向の変位ベクトル分だけ移動させた位置で求めるように構成されている。
　本願の請求項９に記載の技術によれば、請求項２に記載の表示装置は、表示画像の位置を低周波でシフトさせる変調部をさらに備えている。そして、前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と変位ベクトルの対応関係をシフトさせながら補正を行ない、前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、前記画像補正部のシフトと前記画像表示部のシフトを連動させるように構成されている。
　本願の請求項１０に記載の技術によれば、請求項１に記載の表示装置は、前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備えている。そして、前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動するように構成されている。
　また、本願の請求項１１に記載の技術は、
　複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、
　代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、
　前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
を具備する画像処理装置である。
　また、本願の請求項１２に記載の技術は、
　複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、
　代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、
　前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、
を有する画像処理方法である。
　また、本願の請求項１３に記載の技術は、
　表示面上に配列された複数の画素で画像を表示する画像表示部、
　前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、
　前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
　本願の請求項１３に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１３に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る表示装置と同様の作用効果を得ることができる。
　本明細書で開示する技術によれば、ユーザーの頭部に装着して画像の視聴に供され、接眼光学系を用いて拡大投影して広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
　また、本明細書で開示する技術によれば、接眼光学系等により表示画像に発生する歪みを、より少ない補正データに基づいて補正して、広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。 図２は、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図である。 図３は、接眼光学系によって提示画像に生じる糸巻き型歪みを例示した図である。 図４は、提示画像を樽型に歪曲させる信号処理例を示した図である。 図５は、接眼光学系によって提示画像に生じる樽型歪みを例示した図である。 図６は、提示画像を糸巻き型に歪曲させる信号処理例を示した図である。 図７は、画像補正部２０２による補正モデルを模式的に示した図である。 図８は、ヘッド・マウント・ディスプレイにおいて提示画像を補正する処理手順を説明するための図である。 図９Ａは、変位ベクトルを生成する方法を説明するための図である。 図９Ｂは、変位ベクトルを生成する方法を説明するための図である。 図１０は、画像補正部２０２の構成例を示した図である。 図１１は、表示部２０３の表示画面上を覆う粗い格子の格子点毎に変位ベクトルが得られた様子を示した図である。 図１２は、補間の対象となる画素の変形ベクトルを４近傍からバイリニア補間により求める様子を示した図である。 図１３は、変位ベクトルに基づいて画素データを補正する様子を示した図である。 図１４は、変位ベクトルの生成を含めた、ヘッド・マウント・ディスプレイの全体像を模式的に示した図である。 図１５は、表示スケールを決定するための方法を説明するための図である。 図１６Ａは、糸巻き型歪みが発生するように接眼光学系２０４をレンズ設計した場合の虚像を示した図である。 図１６Ｂは、図１６Ａに示した糸巻き型歪みの表示画像に対して補正を行なった結果を示した図である。 図１７は、垂直方向フィルターを用いて垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なう様子を示した図である。 図１８は、水平方向フィルターを用いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう様子を示した図である。 図１９は、垂直及び水平方向のＦＩＲフィルターを組み合わせて画素補間処理を行なう画素補間部１００３の構成例を示した図である。 図２０は、各格子点の変位ベクトルに基づいて画素値を補間する仕組みを説明するための図である。 図２１は画素補間部１００３で垂直方向と水平方向に分離して補間処理を行なう際に使用する１次元フィルターの構成例を示した図である。 図２２は、画素補間部１００３において、垂直方向と水平方向それぞれ独立して行なう１次元の補間処理を説明するための図である。 図２３は、垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルと水平方向の変位ベクトルを取得する方法を示した図である。 図２４は垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルを事前に補正する方法を示した図である。 図２５は、焼き付き防止の原理図を示した図である。 図２６は、図２５に示した原理を適用した、焼き付き防止のための構成例を示した図である。 図２７は、図２６と等価な実装例を示した図である。 図２８は、接眼光学系２０４の投影像に発生する歪みを信号処理によって補正する機能ブロック図である。 図２９は、画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりを説明するための図である。 図３０は、画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりを説明するための図である。 図３１は、画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりを説明するための図である。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図１には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置２０と、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号の処理を行なうフロント・エンド・ボックス４０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの出力先となる頭部装着型の表示装置（ヘッド・マウント・ユニット）１０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ（例えば、ＨＤＭＩ対応テレビ）３０で構成される。ヘッド・マウント・ユニット１０とフロント・エンド・ボックス４０で、１つのヘッド・マウント・ディスプレイが構成される。
　フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号をＨＤＭＩ入力すると、例えば信号処理して、ＨＤＭＩ出力するＨＤＭＩリピーターに相当する。また、フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０の出力先をヘッド・マウント・ユニット１０又はハイビジョン・ディスプレイ３０のいずれかに切り替える２出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス４０は２出力であるが、３以上の出力を有していてもよい。但し、フロント・エンド・ボックス４０は、ＡＶ信号の出力先を排他的とし、且つ、ヘッド・マウント・ユニット１０への出力を最優先とする。
　なお、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）は、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）を基にし、物理層にＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ　Ｍｉｎｉｍｉｚｅｄ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばＨＤＭＩ１．４に準拠する。
　ブルーレイ・ディスク再生装置２０とフロント・エンド・ボックス４０間、並びに、フロント・エンド・ボックス４０とハイビジョン・ディスプレイ３０間は、それぞれＨＤＭＩケーブルで接続されている。フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間も、ＨＤＭＩケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてＡＶ信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間を接続するケーブル１本で、ＡＶ信号と電力を供給するものとし、ヘッド・マウント・ユニット１０はこのケーブルを介して駆動電力も得ることができる。
　ヘッド・マウント・ユニット１０は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機ＥＬ素子を用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角の接眼光学系を装備している。接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。
　ここで、接眼光学系で用いられるレンズの歪みに起因して、観察画像に歪みが生じることが懸念される。観察画像の典型例として、図３に示すように画面の４隅が外側に歪む「糸巻き型歪み」や、図５に示すように画面の４隅が膨らむ「樽型歪み」を挙げることができる。
　糸巻き型歪みの場合、図３に示すように、画角はｂ´／ｂになる。下式（１）に示すように、Ｄb＞０であることから、画角は広くなる。
Figure JPOXMLDOC01-appb-M000001
　一方、樽型歪みの場合、図５に示すように、画角はａ´／ａになる。下式（２）に示すように、Ｄa＜０であることから、画角は狭くなる。
Figure JPOXMLDOC01-appb-M000002
　図３や図５に示したような観察画像の歪みを光学系で補正することが可能である。但し、この方法によると、歪み補正用のレンズが追加されるため、ヘッド・マウント・ユニット１０の重量が増し、装着するユーザーへの負担が懸念される。そこで、本実施形態では、接眼光学系で発生する歪みを信号処理によって補正する方法を採用する。
　ここで言う信号処理とは、接眼光学系の投影像に発生する歪みとは逆方向の歪みを提示画像に与える処理に相当する。図２には、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図を示している。ＨＤＭＩ受信部２０１は、ブルーレイ・ディスク再生装置２０のような画像ソースから提示画像を入力する。画像補正部２０２は、接眼光学系２０４によって発生する歪みとは逆方向となる歪みを提示画像に与える。表示部２０３は、有機ＥＬ素子などからなり、画像補正部２０２で逆方向の歪みで補正された後の提示画像を画面上に表示する。画面上の表示画像は、接眼光学系２０４を介して観察者の目の網膜に投影される。表示画像の光が接眼光学系２０４を通過する際に歪みが生じるが、表示画像にはこの歪みとは逆方向の歪みが与えられているので、網膜上には、歪みを含まない正常な虚像が結像される。
　なお、画像補正部２０２は、ヘッド・マウント・ユニット１０又はフロント・エンド・ボックス４０のいずれに配設してもよい。ヘッド・マウント・ユニット１０内の接眼光学系２０４が持つ歪みパラメーターに基づく画像歪みを補正することを考慮すると、画像補正部２０２をヘッド・マウント・ユニット１０内に配設すれば、フロント・エンド・ボックス４０側では、どのヘッド・マウント・ユニット１０に出力するかを意識せずに画像信号を出力することができる。
　例えば、図３に示したような糸巻き型の歪みが接眼光学系で発生する場合には、画像補正部２０２は、糸巻き型とは逆方向の歪みを与える信号処理を行なう、すなわち、画像補正部２０２は、図４に示すように、提示画像を視野中央では拡大し、端へ行くほど縮小して、樽型に歪曲させて表示することによって、接眼光学系の投影像から糸巻き型歪みを取り除くことができる。視野中央では、ｂ´／ｂ倍（上式（１）を参照のこと）に拡大する。また、図４において、表示画面上の点ｒ2に表示する画素は、補正後視野の点ｒ3から持ってくる（下式（３）を参照のこと）。また、補正後視野の点ｒ3は、視野の拡大により元画像上の点ｒ1に対応する（下式（４）を参照のこと）。また、表示画面上の点ｒ2に表示する画素は、元画像上の点ｒ1から持ってくる（下式（５）を参照のこと）。但し、視野の拡大により点ｒ2での歪曲率をＤrとおく。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　また、図５に示したような樽型の歪みが接眼光学系で発生する場合には、画像補正部２０２は、樽型とは逆の歪みを与える信号処理を行なう、すなわち、画像補正部２０２は、図６に示すように、元画像の４隅を不動点にしながら、視野中央に行くほど縮小して、提示画像を糸巻き型に歪曲させて表示することによって、接眼光学系の投影像から樽型歪みを取り除くことができる。視野中央では、ａ´／ａ倍（上式（２）を参照のこと）に縮小する。また、図６において、表示画面上の点ｒ2に表示する画素は、補正後視野の点ｒ3から持ってくる（下式（６）を参照のこと）。また、補正後視野の点ｒ3は、視野の拡大により元画像上の点ｒ1に対応する（下式（７）を参照のこと）。また、表示画面上の点ｒ2に表示する画素は、元画像上の点ｒ1から持ってくる（下式（８）を参照のこと）。但し、視野の拡大により点ｒ2での歪曲率をＤrである。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　図７には、画像補正部２０２による補正モデルを模式的に示している。以下では、ＨＤＭＩ受信部２０１に入力される提示画像の入力信号座標をｐ´（ｘ´，ｙ´）、表示部２０３の画面上の表示画像の表示画素座標をｐ（ｘ，ｙ）とする。また、表示部２０３の画面上でレンズを基準とした物理座標をＰ（Ｘ，Ｙ）とし、表示部２０３の画面を接眼光学系２０４で投影した虚像面上でのレンズを基準とした物理座標をＰ´（Ｘ´，Ｙ´）とする。
　表示部２０３の画面上の表示画像の表示画素座標ｐ（ｘ，ｙ）と、表示部２０３の画面上で接眼光学系２０４のレンズを基準とした物理座標Ｐ（Ｘ，Ｙ）と間には、画素ピッチの相違と、表示部２０２をヘッド・マウント・ユニット１０内の該当部位に固定する際の画面の位置ずれが存在する。また、表示部２０３の画面上の物理座標Ｐ（Ｘ，Ｙ）と、これに対応する虚像面上の物理画像Ｐ´（Ｘ´，Ｙ´）との間には、接眼光学系２０４で発生した歪曲が含まれている。
　図８には、本実施形態に係るヘッド・マウント・ディスプレイにおいて提示画像を補正する処理手順を図解している。
　ＨＤＭＩ受信部２０１は、例えば１０２４×５７６画素サイズの提示画像が、ブルーレイ・ディスク再生装置２０などの画像ソースから入力される。
　提示画像の各画素が、接眼光学系２０４を通過することによって歪みが生じる。画像補正部２０２は、逆方向の歪みを提示画像の各画素に与えることによって、Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ（ＭＣ）、すなわち、歪みによって生じる各画素の変位を補償して、事前逆歪みをかけた表示画像を生成する。画素に与える逆方向の歪みのことを、以下では、変位ベクトル（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ：ＭＶ）と呼ぶ。変位ベクトルは、提示画像上の画素位置を始点とし、この始点に対応する表示画像上の画素位置を終点とする。
　事前逆歪みがかけられた表示画像は、１０２４×５７６＋α画素サイズとする。そして、画像補正部２０２は、表示部２０３の画面の画素ピッチを考慮して、１０２４×５７６＋α画素サイズの表示画像をサイズ変換して画面上に表示される。この表示画像は、接眼光学系２０４によって虚像面上に結像される。表示部２０３で画面表示される表示画像には事前逆歪みがかけられているので、虚像は、元の提示画像と同様に無歪みの画像となる。
　表示部２０３の画面上の表示光が接眼光学系２０４を通過して虚像面に到達するまでの光線を追跡することで、上述した変位ベクトルＭＶを求めることができる。
　また、提示画像と虚像は相似形である。相似係数すなわち、虚像面の画素ピッチを求めると、変位ベクトルを求めることができる。
　画像は、ＲＧＢなど複数の色信号成分からなる。画像補正部２０２は、提示画像の色成分で分割して、上記の事前逆歪みの処理を色成分毎に行なうことで、接眼光学系２０４を通過する際に生じる歪みと色収差を同時に補正することができる。
　変位ベクトルを生成する方法について、図９を参照しながら説明する。
　図９Ａに示すように、表示部２０３の画面の表示面における画像座標をｐ（ｘ，ｙ）とし（単位：画素）、表示部２０３の画面上における物理座標をＰ（Ｘ，Ｙ）とする（単位：ミリメートル）。ここで、表示画像上の光軸の位置をｐa（ｘa，ｙa）とおくと、画像座標上の位置ｐ（ｘ，ｙ）に対する画面上での物理座標の位置Ｐ（Ｘ，Ｙ）は、下式（９）のように表わされる。但し、ｄpは、表示部２０３の画面の画素ピッチ（ミリメートル／画素）とする。
Figure JPOXMLDOC01-appb-M000009
　一方、図９Ｂに示すように、表示部２０３の画面を接眼光学系で投影した虚像の入力信号面上における画像座標をｐ´（ｘ´，ｙ´）とし（単位：画素）、その虚像面上における物理座標をＰ´（Ｘ´，Ｙ´）とする（単位：ミリメートル）。ここで、入力画像上の光軸の位置をｐ´a（ｘ´a，ｙ´a）とおくと、入力画像上の座標位置ｐ´（ｘ´，ｙ´）に対する画面上での物理座標の位置Ｐ´（Ｘ´，Ｙ´）は、下式（１０）のように表わされる。但し、ｄvは、虚像上の画素ピッチ（ミリメートル／画素）とする。
Figure JPOXMLDOC01-appb-M000010
　ここで、表示部２０３の画面上における物理座標Ｐ（Ｘ，Ｙ）が、接眼光学系２０４によって発生する歪みｆによって、虚像面上における物理座標Ｐ´（Ｘ´，Ｙ´）に変位することを、下式（１１）のように表わす。但し、ｆは色収差も含むものとする。
Figure JPOXMLDOC01-appb-M000011
　この歪みｆを用いて、入力画像上の座標位置ｐ´（ｘ´，ｙ´）を、表示面上で対応する画像座標位置ｐ（ｘ，ｙ）と、表示画像上の光軸の位置をｐa（ｘa，ｙa）、入力画像上の光軸の位置をｐ´a（ｘ´a，ｙ´a）を用いて、下式（１２）のように表わすことができる。ここで、ｐは変数、ｐa、ｐ´aは設計値などの定数である。
Figure JPOXMLDOC01-appb-M000012
　したがって、表示面における任意の画像座標位置ｐ（ｘ，ｙ）において、歪みｆの逆方向の歪みを与える変位ベクトルＭＶ(x,y)を得ることができる。
Figure JPOXMLDOC01-appb-M000013
　接眼光学系２０４によって発生する歪みｆを求める方法として、接眼光学系２０４を構成するレンズの設計に用いる光学シミュレーターで計算する方法や、出来上がった実物の接眼光学系２０４を使って実測する方法が挙げられる。後者の方法では、表示部２０３の表示画面上の特定の画素Ｐ（Ｘ，Ｙ）を発光させて、カメラでその虚像を撮影（すなわち、接眼光学系２０４越しに画面を撮影して）して、輝点Ｐ´（Ｘ´，Ｙ´）の位置を求める。
　上記のいずれかの方法により、表示部２０３の画面上のすべての画素位置ｐ（ｘ，ｙ）において変位ベクトルＭＶ(x,y)を得ることができる。そして、各画素位置ｐ（ｘ，ｙ）の変位ベクトルＭＶ(x,y)をテーブル化して保持しておけば、画像補正部２０２は、画素位置ｐ（ｘ，ｙ）毎にテーブルを参照し、変位ベクトルＭＶ(x,y)を得て、表示画像に逆方向の歪みを与えることができる。
　しかしながら、表示部２０３の画面上のすべての画素位置ｐ（ｘ，ｙ）において変位ベクトルＭＶ(x,y)を保持すると、画像サイズの大きさに伴ってテーブルが肥大化してしまう。
　画像に対して光学系の歪みが点対称（光軸に対して回転対称）であるという特性を利用して、画像の１／２や１／４の領域の補正データを対称領域に対しても使用することにより、テーブルのサイズを削減する方法が既に知られている（前述）。しかしながら、このような削減方法では、接眼光学系２０４の点対称でない歪みに対して高い精度で画像補正できなくなってしまう。また、虚像面上に現れる歪みは、接眼光学系２０４のレンズの歪みが原因とは限らない。例えば、表示部２０２をヘッド・マウント・ユニット１０内の該当部位に固定する際の画面の位置ずれに起因する画像の歪みは、光軸に対して回転対称とはならない。
　そこで、本実施形態では、虚像面に発生する歪みが光軸に対して回転対称になるという前提には立たないで、テーブルのサイズの削減を実現する。具体的には、表示部２０３の表示面上に離散的に代表画素を設定し、代表画素の位置においてのみ得た変位ベクトルを保持しておく。そして、代表画素以外の画素位置では、周辺の１以上の代表画素の変位ベクトルで補間することにより、すべての画素位置での変位ベクトルを得るようにしている。
　図１０には、代表画素毎の変位ベクトルを用いて表示画像に逆歪みを与える画像補正部２０２の構成例を示している。
　変位ベクトル保持部１００１は、表示部２０３の表示面上に離散的に設定された各代表画素の位置で得た変位ベクトルを保持する。代表画素の典型例は、表示部２０３の表示画面を粗い格子で覆ったときの各格子点である。そして、表示画面上（すなわち、接眼光学系２０４の入射側）の各格子点に対応する、入力信号面上（すなわち、接眼光学系の虚像側）の位置を、変位ベクトルのデータとしてテーブルに保持する。図１１には、表示部２０３の表示画面上を覆う粗い格子の格子点毎に変位ベクトルが得られた様子を示している。
　ベクトル補間部１００２は、代表画素以外の画素位置で、周辺の１以上の代表画素の変位ベクトルで補間して、変位ベクトルを算出する。例えば、図１２に示すように、補間の対象となる画素の変形ベクトルを、４近傍、すなわち近隣の４つの格子点における変位ベクトルからバイリニア補間して算出する。あるいは、１６近傍の格子点からキュービック・スプライン補間により、代表画素以外の画素の変位ベクトルを補間するようにしてもよい。
　そして、画素補正部１００３は、各画素について、変位ベクトル保持部１００１に保持された変位ベクトル、又は、ベクトル補間部１００２により補間された変位ベクトルに基づいて、接眼光学系２０４で発生する歪みとは逆方向の歪みを与える。図１３には、画素補正部１００３で、変位ベクトルに基づいて画素データを補正する様子を示している。図示のように、表示部２０３の表示画面上で、変位ベクトルの視点に位置に表示する画素データを、信号面上の変位ベクトルの終点の位置から持ってくる。その際、参照先すなわち変位ベクトルの終点の位置が画素と画素の間に位置するときには、近傍の画素値の重み付け和で補間する。
　図１４には、変位ベクトルの生成を含めた、ヘッド・マウント・ディスプレイの全体像を模式的に示している。
　接眼光学系２０４を構成するレンズの設計データは、レンズ設計の光学シミュレーター１４０１による幾度のシミュレーション結果に基づいて求めることができる。そして、得られた設計データに基づいてレンズを製造することで、接眼光学系２０４を構成するレンズが製作される。
　また、接眼光学系２０４によって発生する歪みｆを光学シミュレーター１４０１で計算することができる（前述）。具体的には、表示部２０３の表示画面上の特定の画素Ｐ（Ｘ，Ｙ）に対応する虚像上の画素輝点Ｐ´（Ｘ´，Ｙ´）の位置を、光学シミュレーター１４０１による光線追跡により求める。そして、ベクトル生成部１４０２は、このような光線追跡データに基づいて、表示部２０３の表示画面を粗い格子で覆ったときの各格子点における変位ベクトルを生成する。
　ベクトル生成部１４０２が生成した変位ベクトルは、変位ベクトル保持部１００１に格納される。そして、ベクトル補間部１００２は、代表画素以外の画素位置で、周辺の１以上の代表画素の変位ベクトルで補間して、変位ベクトルを算出する。画素補正部１００３は、各画素について、変位ベクトル保持部１００１に保持された変位ベクトル、又は、ベクトル補間部１００２により補間された変位ベクトルに基づいて、接眼光学系２０４で発生する歪みとは逆方向の歪みを与える。
　画像補正部２０２で逆方向の歪みで補正された後の提示画像を画面上に表示する。画面上の表示画像は、接眼光学系を介して観察者の目の網膜に投影される。表示画像の光が接眼光学系を通過する際に歪みが生じるが、表示画像にはこの歪みとは逆方向の歪みが与えられているので、網膜上には、歪みを含まない正常な虚像が結像される。
　画像補正のための変位ベクトルを生成するには、入力画像を虚像面に提示する大きさ（スケール）を決定する必要がある。表示スケールは、例えば、虚像面での画素ピッチとして表すことができる。
　表示スケールは、入力画像が許容される範囲でできる限り最大であることが好ましい。図６に示した例では、入力画像が許容される範囲を点線で示している。所望のアスペクト比の長方形で、この許容される範囲を表す円に内接する最大のものを表示スケールとする。ＲＧＢの各色に分けて、最も狭いものに合わせる。表示部２０３の表示画面の画素範囲は、提示画像と同じアスペクト比の場合と、提示画像より縦長の場合がある。また、表示部２０３が表示画面の焼き付き防止機能（オービット処理）を有する場合、画素範囲よりもＩ／Ｆ有効範囲が狭いことがある。
　表示スケールを決定する方法について、図１５を参照しながら説明する。まず、表示画面の画素によるスケール制限について説明する。下式（１４）に示すように入力画像の画枠上の画素ｐb´を表示画像上の対応する点ｐbに移動させる場合に、下式（１５）に示す条件が成り立つような、最大のｄvを求める。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　続いて、イメージ・サークルによるスケール制限について説明する。下式（１６）に示すように入力画像の画枠上の画素ｐb´を表示画面上の対応する点Ｐbに移動させる場合に、下式（１７）に示す条件が成り立つような、最大のｄvを求める。但し、Ｒimは、光学系のイメージ・サークルの半径とする。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　また、アスペクト比が４：３の表示画面にアスペクト比が１６：９の画像を表示するとき、表示画面の上下に画素が余ってしまうが、画像補正部２０２が補正する際に視野をロスしないようにすることが好ましい。
　レンズ設計では、水平端で画角を測るようにする。補正では原理的に表示範囲を狭めることしかできない。水平端を補正の不動点にすれば、レンズ設計時の画角が保たれる。そこで、表示部２０３の画面を提示する画像のアスペクト比よりも縦長にするとともに、接眼光学系２０４がおおむね糸巻き型に歪ませるようにレンズ設計を行なう。そして、水平端が接するように（水平端での画角が画像補正によって変化しないように）、提示範囲を決めるようにする。
　図１６Ａには、糸巻き型歪みが発生するように接眼光学系２０４をレンズ設計した場合の虚像を示している。糸巻き型に歪んだアスペクト比１６：９の画像をアスペクト比４：３の画面に表示する際、水平方向を合わせると、図示の通り、縦方向にはみ出す。
　図１６Ｂには、図１６Ａに示した糸巻き型歪みの表示画像に対して樽型に歪曲させる補正を行なった結果を示している。上述したように、水平端を補正の不動点にする。画面の端に行くほど、画像は縮小表示される。縦方向にはみ出す箇所は発生するが、画面のアスペクト比が４：３なので問題はない。
　画素補正部１００３では、画素補正を、垂直方向と水平方向の処理を分離して、各方向の処理を直列して行なう。すなわち、画素毎の変位ベクトルを計算しながら、垂直方向→水平方向の順で補正を行なう。
　画素補正部１００３は、図１７に示すように、まず垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なう。その後、画素補正部１００３は、図１８に示すように、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう。このように垂直方向と水平方向の処理を分離すると、各方向の処理をそれぞれ１次元のフィルターを用いて実現することができ、フィルターの積和回数を削減できるという利点がある。例えば、垂直方向フィルターのタップ数をＫ、水平方向フィルターのタップ数をＬとすると、積和回数は（Ｋ＋Ｌ）×Ｍ×Ｎとなる（但し、Ｍは垂直方向の画素数、Ｎは水平方向の画素数）。これに対し、垂直、水平各方向のタップ数を同じとする２次元フィルターを用いると積和回数はＫ×Ｌ×Ｍ×Ｎと大きくなる。タップ数を大きくすると、垂直、水平方向の分離処理による積和回数削減の効果は大きくなる。
　図１９には、垂直及び水平方向のＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルターを組み合わせて画素補間処理を行なう画素補間部１００３の構成例を示している。
　ダブル・バッファー１９０１は、片方のバッファーに入力データを書き込みながら、満杯になったらもう片方のバッファーを圧縮し、水平方向１６画素単位で圧縮処理する。圧縮ライン・メモリー１９０２は、水平方向１６画素単位で圧縮されたデータをストアし、その単位でランダム・アクセスが可能である。
　圧縮ライン・メモリー１９０２から読み出されたデータは、伸長処理された後、畳み込み処理を行なうために、展開メモリー窓１９０３に保持される。但し、次に処理するところを先読みして展開するものとする。垂直方向のＦＩＲフィルター１９０４は、この展開メモリー窓１９０３上を水平方向にスキャンする。各補間位置では、補間位相毎のタップ係数が係数テーブル１９０５から読み出され、ＦＩＲフィルター１９０４の各タップに設定される。
　ＦＩＲフィルター１９０４の出力は、水平バッファー１９０６の該当する水平位置に書き込まれる。この水平バッファー１９０６は、水平補正量＋タップ長のサイズを持つ。
　水平方向のＦＩＲフィルター１９０７は、水平バッファー１９０６上をスキャンする。各補間位置では、補間位相毎のタップ係数が係数テーブル１９０８から読み出され、ＦＩＲフィルター１９０７の各タップに設定される。ＦＩＲフィルター１９０７の出力は、表示部２０３の表示画面の該当する画素位置における画素値となる。
　図２０には、各格子点の変位ベクトルに基づいて画素値を補間する仕組みを図解している。
　変位ベクトル保持部１００１には、表示画面上の格子点ｐ１１、ｐ１２、ｐ２１、ｐ２２の変位ベクトルとして、各々に表示する入力位置Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２が記述されている。
　ベクトル補間部１００２は、４隅の格子点ｐ１１、ｐ１２、ｐ２１、ｐ２２に囲まれた画素ｐ＝（ｘ，ｙ）の変位ベクトル、すなわち表示座標ｐ（ｘ，ｙ）に表示する入力位置Ｐ＝（Ｘ，Ｙ）を、下式（１８）に従って算出する。
Figure JPOXMLDOC01-appb-M000018
　画素補正部１００３は、変位ベクトルの終点の位置Ｐ＝（Ｘ，Ｙ）が画素と画素の間に位置するときには、近傍の画素値の重み付け和で補間する（図１３を参照のこと）。
　図２１には、画素補間部１００３で垂直方向と水平方向に分離して補間処理を行なう際に使用する１次元フィルターの構成例を示している。同図では、水平方向で使用するＦＩＲフィルターを示しており、表示位置Ｘを挟んだ６画素をアドレス計算し、水平６タップのフィルターでＸを補間する。各補間位置を８位相に分割し、表示位置Ｘを８分の１単位で丸める。係数テーブルは、補間位相毎に８通りのフィルター係数を格納している。
　図２２には、画素補間部１００３において、垂直方向と水平方向それぞれ独立して行なう１次元の補間処理を図解している。画素補間部１００３は、８相ポリフェーズ・フィルターによってオーバー・サンプリングする。そして、ローパス・フィルターでは８通りの係数を持って、８分の１画素単位の移動量を実現する。図１９に示した例では、垂直方向に４タップ、水平方向に６タップであるが、位相分割数やタップ数は一例に過ぎない。画質評価と回路規模に基づいて位相分割数やタップ数が決定される。理想的なローパス・フィルターはｓｉｎ窓であり、インパルス応答が無限に続く。有限タップ数で打ち切るため、ｓｉｎ窓をかけるが、Ｌａｎｃｚｏｓ窓であってもよい。
　また、画素補間部１００３で垂直方向と水平方向に分離して補間処理を行なう場合、変位ベクトルから垂直及び水平の方向毎の移動量を求める必要がある。２次元で補間処理を行なう場合、変位ベクトルと逆向きに、画素の表示位置を求めればよい。これに対し、垂直方向と水平方向に分離して補間処理を行なう場合には、まず変位ベクトルの垂直方向で表示位置を求め、続いて水平方向で表示位置を求めるが、単純に表示画面上の格子点で評価することはできない。すなわち、後から作用させる方の変位ベクトルを、先に作用させる方向の変位ベクトルの分だけ移動させた位置で求める必要がある。図２３には、垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルと水平方向の変位ベクトルをそれぞれ取得する方法を図解している。
　また、図２４には、垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルを事前に補正する方法を図解している。格子点Ａについての変位ベクトルＭＶ（Ａ）を、変位ベクトル保持部１００１から読み出すことができる。ここで、ベクトル生成部１４０２は、Ａ＝Ｂ＋ＭＶ＿ｘ（Ｂ）となる格子点Ｂを、光線追跡により求める。但し、ＭＶ＿ｘ（Ｂ）は、変位ベクトルＭＶ（Ｂ）の水平成分である。そして、格子点Ａにおける変位ベクトルＭＶ（Ａ）の垂直成分をＭＶ´＿ｙ（Ａ）＝ＭＶ＿ｙ（Ｂ）に事前補正する。
　既に述べたように、表示部２０３の表示パネルには、液晶や有機ＥＬ素子などが用いられるが、これらの表示素子は輝度差の大きな領域で焼き付き現象が発生し易くなることが当業界で知られている。焼き付き現象の防止には、表示画像を周期的に移動させる（超低周波で揺らす）オービット処理が有効であることが知られている。ところが、表示画像を移動させると、接眼光学系２０４により画素に発生する歪みと、補正により画素に与えられる逆方向の歪みが対応しなくなるので、歪みが除去されないという問題がある。
　そこで、本実施形態では、変位ベクトル保持部１００１において、出力画素と変位ベクトルとの対応関係を水平、垂直方向にシフトできるように構成するとともに、その後段において（画像補正後に）画像の表示位置をシフトする手段を装備するようにしている。そして、出力画素と変位ベクトルの対応関係のシフトと、焼き付き防止のための表示位置のシフトを連動させるようにして、歪み除去のための画像補正にオービット処理を適用可能にしている。
　図２５には、焼き付き防止の原理図を示している。変調部２５０１は、提示画像の表示位置にオフセットをかけて、入力画像を超低周波で揺らす。画像補正部２０２は、変位ベクトル保持部１００１に保持されている変位ベクトルを用いて、接眼光学系２０４で発生する歪みとは逆方向の歪みを、超低周波で揺れている入力画像に与える。
　図２６には、図２５に示した原理を適用した、焼き付き防止のための構成例を示している。変調部２６０１は、提示画像の表示位置にオフセットをかけて、入力画像を超低周波で揺らす。画像補正部２０２は、変位ベクトル保持部１００１に保持されている変位ベクトルを用いて、接眼光学系２０４で発生する歪みとは逆方向の歪みを、超低周波で揺れている入力画像に与える。その後、逆変調部２６０２で、変調部２６０１とは逆方向の変調処理を施し、入力画像から表示画像を切り出して、ＸＧＡインターフェース２６０３を介して表示部２０３に出力する。表示部２０３は、表示パネルの焼き付き防止のために、表示位置を（調停周波で）シフトさせるオービット機能を備えている。
　また、図２７には、図２６と等価な実装例を示している。同図において、変調部２７０１は、提示画像ではなく、（変位ベクトル保持部１００１内の）変位ベクトルを超低周波で揺らす。また、ＸＧＡインターフェース２７０３では、許容範囲内で表示スケールを決定する。表示画像の位置ｐa（ｘa，ｙa）を変調する際に、その分だけ変位ベクトルが変化するが、下式（１９）を満たす最大のｄvを求める。
Figure JPOXMLDOC01-appb-M000019
　図２には、接眼光学系２０４の投影像に発生する歪みを信号処理によって補正する機能ブロック図を示した。また、図１９には、画像補正部２０２はフレーム・メモリーを持たず、ライン・メモリー１９０２のみで画像補正する構成例を示した。装置コストを考慮すると、ライン・メモリー１９０２の容量を小さく抑えたい。そこで、図２８に示すように、ＨＤＭＩ受信部２０１は、外部からの入力画像を、表示部２０３の表示画面の画素数に合わせてスケーリング処理するスケーリング部２８０１を備えている。また、表示部２０３は、ライン・メモリー１９０２のサイズを最小にするようなタイミングで駆動する。
　画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりについて、図２９～図３１を参照しながら説明する。
　画像信号の入力がすべて終了してからでないと、図２９中Ｃで示すラインを表示することができない。したがって、垂直方向にＣ－Ｄの分だけ位相差を設ける。
　また、図２９中、Ａで示す入力の最初のラインは、Ｂで示すラインを表示するもでは使用される。したがって、垂直方向にＡ－Ｂの分だけライン・メモリー１９０２の容量が必要である。
　また、図３０に示すように、ＨＤＭＩ受信部２０１で画像信号を入力した際に、スケーリング部２８０１で縮小して、図３０中Ｅで示す時刻までブランキングすると、ライン・メモリー１９０２の容量はＥ－Ｂの分で済む。
　さらに、図３１に示すように、ライン・メモリー１９０２から表示部２０３へ画像データを読み出すタイミングを変更して、図３１中Ｆで示す時刻から出力を始めると、ライン・メモリー１９０２の容量はＡ－Ｆの分で済む。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）表示面上に配列された複数の画素で画像を表示する画像表示部と、前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、を具備する表示装置。
（２）前記画像補正部は、前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、を備える上記（１）に記載の表示装置。
（３）前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部と、をさらに備える上記（２）に記載の表示装置。
（４）前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写して前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備える上記（２）に記載の表示装置。
（５）前記画像表示部は、表示画像のアスペクト比よりも縦長の前記表示面を持ち、前記接眼光学部は、おおむね糸巻き型の歪みを持ち、前記画像補正部は、水平端での画角が変化しないように表示画像を補正する、上記（１）に記載の表示装置。
（６）前記画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なう、上記（２）に記載の表示装置。
（７）前記画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう、上記（２）に記載の表示装置。
（８）前記画素補正部は、水平方向の変位ベクトルを、垂直方向の変位ベクトル分だけ移動させた位置で求める、上記（７）に記載の表示装置。
（９）表示画像の位置を低周波でシフトさせる変調部をさらに備え、前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と変位ベクトルの対応関係をシフトさせながら補正を行ない、前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、前記画像補正部のシフトと前記画像表示部のシフトを連動させる、上記（２）に記載の表示装置。
（１０）前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備え、前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動する、上記（１）に記載の表示装置。
（１１）複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、を具備する画像処理装置。
（１２）複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、を有する画像処理方法。
（１３）表示面上に配列された複数の画素で画像を表示する画像表示部、前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、本明細書で開示する技術をヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定のヘッド・マウント・ディスプレイの構成に限定されるものではない。接眼光学系を介して表示画像をユーザーに提示するさまざまなタイプの表示システムにも、同様に本明細書で開示する技術を適用することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　１０…ヘッド・マウント・ユニット
　２０…ブルーレイ・ディスク再生装置
　３０…ハイビジョン・ディスプレイ
　４０…フロント・エンド・ボックス
　２０１…ＨＤＭＩ受信部
　２０２…画像補正部
　２０３…表示部
　２０４…接眼光学系
　１００１…変位ベクトル保持部
　１００２…ベクトル補間部
　１００３…画素補正部
　１４０１…光学シミュレーター
　１４０２…ベクトル生成部
 

Claims (13)

  1. 　表示面上に配列された複数の画素で画像を表示する画像表示部と、
    　前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、
    　前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、
    を具備する表示装置。
  2. 　前記画像補正部は、
    　前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、
    　代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、
    　前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
    を備える請求項１に記載の表示装置。
  3. 　前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、
    　前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部と、
    をさらに備える請求項２に記載の表示装置。
  4. 　前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写して前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備える請求項２に記載の表示装置。
  5. 　前記画像表示部は、表示画像のアスペクト比よりも縦長の前記表示面を持ち、
    　前記接眼光学部は、おおむね糸巻き型の歪みを持ち、
    　前記画像補正部は、水平端での画角が変化しないように表示画像を補正する、
    請求項１に記載の表示装置。
  6. 　前記画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なう、
    請求項２に記載の表示装置。
  7. 　前記画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう、
    請求項２に記載の表示装置。
  8. 　前記画素補正部は、水平方向の変位ベクトルを、垂直方向の変位ベクトル分だけ移動させた位置で求める、
    請求項７に記載の表示装置。
  9. 　表示画像の位置を低周波でシフトさせる変調部をさらに備え、
    　前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と変位ベクトルの対応関係をシフトさせながら補正を行ない、
    　前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、
    　前記画像補正部のシフトと前記画像表示部のシフトを連動させる、
    請求項２に記載の表示装置。
  10. 　前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備え、
    　前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、
    　前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動する、
    請求項１に記載の表示装置。
  11. 　複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、
    　代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、
    　前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
    を具備する画像処理装置。
  12. 　複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、
    　代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、
    　前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、
    を有する画像処理方法。
  13. 　表示面上に配列された複数の画素で画像を表示する画像表示部、
    　前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、
    　前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
     
PCT/JP2012/082620 2012-02-22 2012-12-17 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム WO2013125138A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/378,840 US9628766B2 (en) 2012-02-22 2012-12-17 Display device, image processing device and image processing method, and computer program
EP12869246.4A EP2819402A4 (en) 2012-02-22 2012-12-17 DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM
JP2014500879A JP6128113B2 (ja) 2012-02-22 2012-12-17 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CN201280069909.1A CN104115491A (zh) 2012-02-22 2012-12-17 显示装置、图像处理装置和图像处理方法、以及计算机程序
US15/150,924 US10038881B2 (en) 2012-02-22 2016-05-10 Display device, image processing device and image processing method, and computer program
US15/934,061 US10356375B2 (en) 2012-02-22 2018-03-23 Display device, image processing device and image processing method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012036407 2012-02-22
JP2012-036407 2012-02-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/378,840 A-371-Of-International US9628766B2 (en) 2012-02-22 2012-12-17 Display device, image processing device and image processing method, and computer program
US15/150,924 Continuation US10038881B2 (en) 2012-02-22 2016-05-10 Display device, image processing device and image processing method, and computer program

Publications (1)

Publication Number Publication Date
WO2013125138A1 true WO2013125138A1 (ja) 2013-08-29

Family

ID=49005338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082620 WO2013125138A1 (ja) 2012-02-22 2012-12-17 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム

Country Status (5)

Country Link
US (3) US9628766B2 (ja)
EP (1) EP2819402A4 (ja)
JP (1) JP6128113B2 (ja)
CN (2) CN108364623B (ja)
WO (1) WO2013125138A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017524278A (ja) * 2014-06-26 2017-08-24 インテル・コーポレーション 色収差に対する歪みメッシュ
JP2018523142A (ja) * 2015-05-04 2018-08-16 グーグル エルエルシー 取込まれた像のパススルー表示
WO2019229906A1 (ja) * 2018-05-30 2019-12-05 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、画像生成方法およびコンピュータプログラム
JP2019535156A (ja) * 2016-08-22 2019-12-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムおよび方法
WO2020137197A1 (ja) * 2018-12-26 2020-07-02 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020170455A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
WO2020170454A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
JP2020167658A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
JP2020167600A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US11892637B2 (en) 2019-03-29 2024-02-06 Sony Interactive Entertainment Inc. Image generation apparatus, head-mounted display, content processing system, and image display method
US12099649B2 (en) 2019-02-22 2024-09-24 Sony Interactive Entertainment Inc. Display device and image display method

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2819402A4 (en) * 2012-02-22 2016-02-24 Sony Corp DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM
EP3035664B1 (en) 2014-12-19 2017-06-21 Axis AB Method for processing a video stream
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置
JP2016212177A (ja) * 2015-05-01 2016-12-15 セイコーエプソン株式会社 透過型表示装置
US10715735B2 (en) * 2015-06-10 2020-07-14 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
CN105192982B (zh) * 2015-09-07 2018-03-23 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和系统
US10930185B2 (en) 2015-09-07 2021-02-23 Sony Interactive Entertainment Inc. Information processing system, information processing apparatus, output apparatus, program, and recording medium
JP6545270B2 (ja) * 2015-09-07 2019-07-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体
CN105869142A (zh) * 2015-12-21 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的成像畸变测试方法及装置
CN105455285B (zh) * 2015-12-31 2019-02-12 北京小鸟看看科技有限公司 一种虚拟现实头盔适配方法
JP2017134327A (ja) * 2016-01-29 2017-08-03 株式会社東芝 画像表示装置及び画像処理装置
US10607417B2 (en) 2016-06-08 2020-03-31 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
JP6584664B2 (ja) * 2016-06-08 2019-10-02 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2018049618A1 (zh) * 2016-09-14 2018-03-22 深圳市柔宇科技有限公司 头戴式显示装置及控制方法
EP3296793A1 (en) * 2016-09-19 2018-03-21 Essilor International Method of determining a correcting optical function to a virtual image
TWI663427B (zh) * 2017-03-15 2019-06-21 宏碁股份有限公司 頭戴式顯示器及利用子像素位移之色差補償方法
US10991283B2 (en) * 2018-09-04 2021-04-27 Apple Inc. Decimated burn-in compensation with pixel shifting
CN111199518B (zh) 2018-11-16 2024-03-26 深圳市中兴微电子技术有限公司 Vr设备的图像呈现方法、装置、设备和计算机存储介质
JP7412757B2 (ja) * 2020-03-30 2024-01-15 ラピスセミコンダクタ株式会社 画像歪補正回路及び表示装置
JP2022086074A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置、光学ユニット、虚像表示装置の調整方法及び虚像表示装置の製造方法
CN113252309B (zh) * 2021-04-19 2024-10-29 苏州市计量测试院 一种用于近眼显示设备的测试方法、测试装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176216A (ja) 1991-12-24 1993-07-13 Matsushita Electric Works Ltd レンズ歪み補正方式
JPH08205181A (ja) 1995-01-30 1996-08-09 Matsushita Electric Ind Co Ltd 色収差補正回路および色収差補正機能付き撮像装置
JPH09200770A (ja) * 1996-01-17 1997-07-31 Nec Corp 適応動きベクトル補間による動き補償フレーム間予測方法
JPH1074077A (ja) * 1996-08-30 1998-03-17 Yamaha Corp 画像の２次元空間変換方法及び装置
JP3212762B2 (ja) 1993-06-11 2001-09-25 オリンパス光学工業株式会社 表示装置
JP2002006220A (ja) * 2000-06-20 2002-01-09 Nippon Soken Inc 光学式シミュレーション方法及び光学式シミュレータ
JP2002296673A (ja) * 2001-03-29 2002-10-09 Ricoh Co Ltd 画像投影装置
JP2004236191A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2006074805A (ja) * 2005-09-20 2006-03-16 Hitachi Ltd マルチプロジェクション映像表示装置
JP2008103978A (ja) * 2006-10-19 2008-05-01 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2008258802A (ja) 2007-04-03 2008-10-23 Canon Inc 画像表示システム
JP2009005235A (ja) * 2007-06-25 2009-01-08 Seiko Epson Corp プロジェクタおよび画像処理装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4636869A (en) * 1983-01-18 1987-01-13 Dainippon Screen Mfg. Co., Ltd. Method and system for recording images in various magnification ratios
JPH03212762A (ja) 1990-01-18 1991-09-18 Matsushita Electric Ind Co Ltd かな漢字変換装置
US5369450A (en) * 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
US6188800B1 (en) 1996-08-30 2001-02-13 Yamaha Corporation Two-dimensional spatial transformation system for video processing
JP3387326B2 (ja) * 1996-08-30 2003-03-17 ミノルタ株式会社 映像観察システム
JP3575179B2 (ja) 1996-08-30 2004-10-13 ヤマハ株式会社 画像の２次元空間変換装置
JPH10327373A (ja) * 1997-05-26 1998-12-08 Mitsubishi Electric Corp 接眼映像表示装置
EP1720359A2 (en) * 1997-05-28 2006-11-08 Nippon Telegraph and Telephone Corporation Method and apparatus for transmitting or processing images
JP2001069434A (ja) 1999-08-27 2001-03-16 Hitachi Denshi Ltd 液晶プロジェクタの歪み補正装置
US6597411B1 (en) * 2000-11-09 2003-07-22 Genesis Microchip Inc. Method and apparatus for avoiding moire in digitally resized images
AU2003264481A1 (en) * 2002-09-24 2004-04-19 Nikon Corporation Image display unit and projection optical system
JP4477336B2 (ja) * 2003-10-15 2010-06-09 オリンパス株式会社 ズームレンズ及びそれを用いた電子撮像装置
JP4504728B2 (ja) * 2003-11-21 2010-07-14 健爾 西 画像表示装置及びシミュレーション装置
KR100657145B1 (ko) * 2005-02-24 2006-12-13 매그나칩 반도체 유한회사 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법
KR100754893B1 (ko) * 2005-03-14 2007-09-04 삼성전자주식회사 하나의 라인 메모리를 사용하는 영상축소장치 및영상축소방법
US7742046B2 (en) * 2005-08-31 2010-06-22 Kabushiki Kaisha Toshiba Method, device, and program for producing elemental image array for three-dimensional image display
US8130261B2 (en) * 2006-10-10 2012-03-06 Exelis, Inc. System and method for dynamically correcting parallax in head borne video systems
US7835592B2 (en) 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
EP2140687A2 (en) * 2007-04-03 2010-01-06 Gary Demos Flowfield motion compensation for video compression
WO2009066465A1 (ja) * 2007-11-20 2009-05-28 Panasonic Corporation 画像表示装置、その表示方法、プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、双眼鏡、及び卓上型ディスプレイ
JP5094430B2 (ja) * 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
US8497873B2 (en) 2009-03-26 2013-07-30 Mitsubishi Electric Corporation Apparatus and method for correction of projected images
JP2011114537A (ja) * 2009-11-26 2011-06-09 Toshiba Corp 画像処理装置
US9052558B2 (en) * 2009-12-24 2015-06-09 Sharp Kabushiki Kaisha Display device, method of driving display device, liquid crystal display, and television receiver
US8525895B2 (en) * 2010-07-29 2013-09-03 Apple Inc. Binning compensation filtering techniques for image signal processing
JP5299383B2 (ja) * 2010-08-20 2013-09-25 株式会社Ｊｖｃケンウッド 画像補正装置および画像補正方法
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
EP2819402A4 (en) * 2012-02-22 2016-02-24 Sony Corp DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM
US8907973B2 (en) * 2012-10-22 2014-12-09 Stmicroelectronics International N.V. Content adaptive image restoration, scaling and enhancement for high definition display
JP6523638B2 (ja) * 2014-09-11 2019-06-05 シナプティクス・ジャパン合同会社 表示パネルドライバ、表示装置、画像処理装置及び画像処理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176216A (ja) 1991-12-24 1993-07-13 Matsushita Electric Works Ltd レンズ歪み補正方式
JP3212762B2 (ja) 1993-06-11 2001-09-25 オリンパス光学工業株式会社 表示装置
JPH08205181A (ja) 1995-01-30 1996-08-09 Matsushita Electric Ind Co Ltd 色収差補正回路および色収差補正機能付き撮像装置
JPH09200770A (ja) * 1996-01-17 1997-07-31 Nec Corp 適応動きベクトル補間による動き補償フレーム間予測方法
JPH1074077A (ja) * 1996-08-30 1998-03-17 Yamaha Corp 画像の２次元空間変換方法及び装置
JP2002006220A (ja) * 2000-06-20 2002-01-09 Nippon Soken Inc 光学式シミュレーション方法及び光学式シミュレータ
JP2002296673A (ja) * 2001-03-29 2002-10-09 Ricoh Co Ltd 画像投影装置
JP2004236191A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2006074805A (ja) * 2005-09-20 2006-03-16 Hitachi Ltd マルチプロジェクション映像表示装置
JP2008103978A (ja) * 2006-10-19 2008-05-01 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2008258802A (ja) 2007-04-03 2008-10-23 Canon Inc 画像表示システム
JP2009005235A (ja) * 2007-06-25 2009-01-08 Seiko Epson Corp プロジェクタおよび画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2819402A4 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017524278A (ja) * 2014-06-26 2017-08-24 インテル・コーポレーション 色収差に対する歪みメッシュ
JP2018523142A (ja) * 2015-05-04 2018-08-16 グーグル エルエルシー 取込まれた像のパススルー表示
US11024082B2 (en) 2015-05-04 2021-06-01 Google Llc Pass-through display of captured imagery
US11151699B2 (en) 2016-08-22 2021-10-19 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
JP2019535156A (ja) * 2016-08-22 2019-12-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムおよび方法
US11823360B2 (en) 2016-08-22 2023-11-21 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
WO2019229906A1 (ja) * 2018-05-30 2019-12-05 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、画像生成方法およびコンピュータプログラム
JP7109540B2 (ja) 2018-05-30 2022-07-29 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム
US11256097B2 (en) 2018-05-30 2022-02-22 Sony Interactive Entertainment Inc. Image generation apparatus, image display system, image generation method, and computer program
JPWO2019229906A1 (ja) * 2018-05-30 2021-07-26 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム
WO2020137197A1 (ja) * 2018-12-26 2020-07-02 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020170455A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
WO2020170454A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
US11960086B2 (en) 2019-02-22 2024-04-16 Sony Interactive Entertainment Inc. Image generation device, head-mounted display, and image generation method
US12099649B2 (en) 2019-02-22 2024-09-24 Sony Interactive Entertainment Inc. Display device and image display method
JP2020167600A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
JP2020167658A (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
JP7261642B2 (ja) 2019-03-29 2023-04-20 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US11640058B2 (en) 2019-03-29 2023-05-02 Sony Interactive Entertainment Inc. Image processing method, image processing apparatus, and head-mounted display
JP7365183B2 (ja) 2019-03-29 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
US11892637B2 (en) 2019-03-29 2024-02-06 Sony Interactive Entertainment Inc. Image generation apparatus, head-mounted display, content processing system, and image display method

Also Published As

Publication number Publication date
EP2819402A1 (en) 2014-12-31
CN108364623A (zh) 2018-08-03
US10356375B2 (en) 2019-07-16
US20180213197A1 (en) 2018-07-26
CN104115491A (zh) 2014-10-22
US20160255317A1 (en) 2016-09-01
US9628766B2 (en) 2017-04-18
JPWO2013125138A1 (ja) 2015-07-30
US10038881B2 (en) 2018-07-31
US20150009416A1 (en) 2015-01-08
EP2819402A4 (en) 2016-02-24
JP6128113B2 (ja) 2017-05-24
CN108364623B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
JP6128113B2 (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US11748857B2 (en) Distortion meshes against chromatic aberrations
JP5907250B2 (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP5388534B2 (ja) 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
JP5062674B2 (ja) ステレオコンテンツの表示の際にクロストークを補償するためのシステム、方法、及びコンピュータプログラム製品
JP2013192193A (ja) 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JPH10327373A (ja) 接眼映像表示装置
JP4777675B2 (ja) 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
CN105556373A (zh) 图像显示装置、图像处理装置和图像处理方法
JP2020167659A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP2007300461A (ja) 画像表示装置およびその色位相ずれ補正方法
JPH11298924A (ja) 頭部装着型ディスプレイ
WO2022158221A1 (ja) 画像表示システム、表示装置、および画像表示方法
JP2019013012A (ja) データ構造
JP2013090170A (ja) 立体視映像再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12869246

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014500879

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14378840

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012869246

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE