[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2011155330A1 - 立体画像表示システム、視差変換装置、視差変換方法およびプログラム - Google Patents

立体画像表示システム、視差変換装置、視差変換方法およびプログラム Download PDF

Info

Publication number
WO2011155330A1
WO2011155330A1 PCT/JP2011/061972 JP2011061972W WO2011155330A1 WO 2011155330 A1 WO2011155330 A1 WO 2011155330A1 JP 2011061972 W JP2011061972 W JP 2011061972W WO 2011155330 A1 WO2011155330 A1 WO 2011155330A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
map
correction
unit
Prior art date
Application number
PCT/JP2011/061972
Other languages
English (en)
French (fr)
Inventor
緒形　昌美
孝文 森藤
卓 牛木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/386,166 priority Critical patent/US8605994B2/en
Priority to BR112012002300A priority patent/BR112012002300A2/pt
Priority to CN201180003076.4A priority patent/CN102474644B/zh
Priority to EP11792287.2A priority patent/EP2445223B1/en
Publication of WO2011155330A1 publication Critical patent/WO2011155330A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a stereoscopic image display system, and more particularly to a parallax conversion device that converts parallax in a stereoscopic image, a stereoscopic image display system, a processing method therefor, and a program that causes a computer to execute the method.
  • a stereoscopic image display apparatus that displays the stereoscopic image so that the display position is within the depth of focus of the observer has been proposed (for example, see Patent Document 1).
  • the depth distance of the display target is nonlinearly converted into the depth distance of the stereoscopic image display position.
  • the display position of the stereoscopic image is adjusted to be within the depth of focus of the observer by nonlinearly converting the depth distance of the display target to the depth distance of the display position of the stereoscopic image.
  • it is desired not only to directly adjust the depth distance itself but also to indirectly adjust the depth distance using various factors that affect the sense of depth.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to convert the parallax of a stereoscopic image in accordance with the characteristics of the constituent elements of the image that contribute to the sense of depth in the stereoscopic image.
  • a first aspect of the present invention is a parallax that detects a parallax from a left image and a right image of an input image and holds the parallax for each pixel or pixel group.
  • a parallax detection unit that generates a map; a correction characteristic setting unit that sets a correction characteristic when correcting parallax in the parallax map; and a correction parallax map that corrects parallax in the parallax map according to the set correction characteristic.
  • a parallax conversion device including a parallax correction unit to be generated, and an image synthesis unit that synthesizes a left image and a right image of an output image from a left image and a right image of the input image according to the corrected parallax map, and processing procedures in these units
  • a parallax conversion method provided, and a program for causing a computer to execute these procedures. This brings about the effect that the left image and the right image are synthesized based on the corrected parallax map that has been parallax-corrected according to the set correction characteristics.
  • the first aspect may further include a region setting unit that sets at least two regions in the parallax map, and the correction characteristic setting unit sets the correction characteristic for each of the at least two regions, and
  • the parallax correction unit may correct the parallax in the parallax map according to the correction characteristics according to the at least two regions in the parallax map. This brings about the effect of correcting the parallax according to the correction characteristic set for each region.
  • the parallax correction unit corrects the parallax in the parallax map according to a weighted sum of the correction characteristics according to adjacent areas in a predetermined buffer area where the at least two areas are adjacent to each other. You may do it. This brings about the effect
  • the correction characteristic setting unit sets the correction characteristic so as to suppress the depth toward the front side in an area corresponding to the left and right ends of the parallax map among the at least two areas. You may make it do. As a result, an unnatural pop-out at the left and right ends is avoided, and an uncomfortable feeling (contradiction of shielding) given to the observer is eliminated.
  • the correction characteristic setting unit sets the correction characteristic for each of at least two components in the parallax map, and the parallax correction unit divides the parallax map for each component.
  • a division unit, a component parallax correction unit that corrects the parallax in the parallax map for each component in accordance with the correction characteristic set for each component, and a parallax map corrected for each component to synthesize the corrected parallax map You may make it provide the component synthetic
  • the component set in the correction characteristic setting unit may be a component corresponding to the frequency of the parallax in the parallax map.
  • the correction characteristic set in the correction characteristic setting unit has an inclination of 1 in the vicinity where the parallax in the parallax map becomes zero, and the parallax in the parallax map increases.
  • Nonlinear characteristics that converge to a predetermined value may be used. This brings about the effect of avoiding image distortion at a depth near the display surface.
  • the correction characteristic set by the correction characteristic setting unit may be defined based on a sigmoid function.
  • the image composition unit comprises a central monocular image composition unit that composes a central monocular image from the left image and the right image of the input image based on the parallax in the parallax map, and the corrected parallax map.
  • a parallax / depth converter that converts a parallax into a depth to generate a corrected depth map, and a three-dimensional map that generates a corrected three-dimensional map by mapping the central monocular image in a three-dimensional space based on the corrected depth map
  • a mapping unit and a stereoscopic image synthesis unit that synthesizes the right image and the left image of the output image by projecting the corrected three-dimensional map onto a display surface may be provided.
  • the central monocular image is synthesized from the left image and the right image of the input image, and the parallax is corrected based on this.
  • the image composition unit generates a three-dimensional map by mapping the left image and the right image of the input image in a three-dimensional space based on the parallax in the parallax map.
  • a mapping unit a central monocular image synthesis unit that synthesizes a central monocular image by projecting the three-dimensional map onto the display surface for the virtual central eye, and generates a corrected depth map by converting the parallax of the corrected parallax map into a depth
  • the first aspect further includes a parallax analysis unit that analyzes the parallax in the parallax map and generates a cumulative frequency distribution of the parallax, and the parallax correction unit has the cumulative frequency distribution and the correction characteristics as follows. Based on this, the parallax in the parallax map may be corrected. Thereby, the parallax histogram is flattened to bring about an effect of dynamically changing the sense of depth of the stereoscopic image.
  • the second aspect of the present invention is to detect an input image supply unit that supplies an input image including a left image and a right image as a pair of stereoscopic images, and to detect parallax from the left image and the right image of the input image,
  • a parallax detection unit that generates a parallax map that holds parallax for each pixel or pixel group, a correction characteristic setting unit that sets correction characteristics when correcting parallax in the parallax map, and the parallax according to the set correction characteristics
  • a parallax correction unit that generates a corrected parallax map by correcting parallax in the map, an image synthesis unit that synthesizes the left image and right image of the output image from the left image and right image of the input image according to the corrected parallax map, and
  • a stereoscopic image display system including an image display device that displays an output image.
  • the parallax of a stereoscopic image can be converted according to the characteristics of the constituent elements of the image that contribute to the sense of depth in the stereoscopic image.
  • FIG. 1 is a diagram illustrating a configuration example of a stereoscopic image display system according to an embodiment of the present invention.
  • This stereoscopic image display system includes an image storage device 10, a parallax conversion device 100, a display control device 30, and an image display device 40.
  • the image storage device 10 stores image data for stereoscopic display.
  • the image data is a stereoscopic image that is a pair of a left image perceived by the human left eye and a right image perceived by the human right eye, and is a still image composed of a set of left and right images.
  • it may be a moving image in which left and right images (frames) are arranged in time series.
  • the image storage device 10 is an example of an input image supply unit described in the claims.
  • the parallax conversion device 100 converts the parallax of the stereoscopic image in the image data stored in the image storage device 10. That is, both the input and output of the parallax conversion device 100 are stereoscopic images, and are converted so that the parallax grasped by both eyes is different.
  • the display control device 30 controls the image display device 40 to display the image data output from the parallax conversion device 100.
  • the image display device 40 is a stereoscopic display that displays image data as a stereoscopic image.
  • the stereoscopic display method any method such as a method in which left and right images are alternately arranged for each scanning line or a method in which left and right images are displayed in a time division manner can be applied.
  • the display control device 30 performs display control so as to correspond to the display method of the image display device 40.
  • FIG. 2 is a diagram illustrating a configuration example of the parallax conversion device 100 according to the first embodiment of the present invention.
  • the parallax conversion device 100 according to the first embodiment receives a stereoscopic image including the left image L and the right image R as an input image, converts the parallax, and includes the left image L ′ and the right image R ′.
  • a stereoscopic image is output as an output image.
  • the parallax conversion device 100 includes a parallax detection unit 110, a correction characteristic setting unit 130, a parallax correction unit 150, and an image synthesis unit 160.
  • the parallax detection unit 110 detects parallax from the left image L and the right image R of the input image, and generates a parallax map dM.
  • the parallax map dM holds the parallax for each pixel or pixel group of the input image.
  • the input image may be based on either the left image L or the right image R.
  • the parallax estimation technique is a known technique.
  • a technique for estimating the parallax of the left and right images by performing matching on the foreground image obtained by removing the background image from the left and right images and generating a parallax map for example, And Japanese Patent Application Laid-Open No. 2006-114023.
  • the parallax correction unit 150 corrects the parallax in the parallax map dM and generates a corrected parallax map dM ′.
  • the correction characteristic setting unit 130 sets correction characteristics when the parallax correction unit 150 performs parallax correction.
  • the allowable maximum parallax dmax and the allowable minimum parallax dmin are set as correction characteristics. Details of the parallax correction will be described later.
  • the image synthesis unit 160 synthesizes the left image L and the right image R of the stereoscopic image based on the corrected parallax map dM ′, and outputs a stereoscopic image composed of the left image L ′ and the right image R ′ as an output image. is there.
  • FIG. 3 is a diagram illustrating an example of the parallax correction performed by the parallax correction unit 150 according to the first embodiment of the present invention.
  • the horizontal axis indicates the input parallax d
  • the vertical axis indicates the corrected parallax d ′ after correction.
  • a graph represented by a solid line shows the relationship between the input parallax d and the corrected parallax d ′.
  • This graph has a sigmoid function shape as an example of a non-linear function, and as the input parallax d increases in the positive direction, the corrected parallax d ′ gradually approaches the allowable maximum parallax dmax, and the input parallax d decreases in the negative direction.
  • the corrected parallax d ′ gradually approaches the allowable minimum parallax dmin. That is, this correction characteristic is a nonlinear characteristic that converges to a predetermined value as the parallax in the parallax map increases.
  • the allowable maximum parallax dmax and the allowable minimum parallax dmin are determined by the display size (the size of the display surface), the viewing distance, and the visual function of the viewer (observer). In the embodiment of the present invention, correction characteristic setting is performed. Set by the unit 130.
  • ⁇ (x) 1 / (1 + e ⁇ x)
  • a function such as the following expression obtained by subtracting the constant value 0.5 from the function of the above expression and multiplying the whole by the scaling factor d may be used.
  • ⁇ (x) d ⁇ (1 / (1 + e ⁇ x) ⁇ 0.5)
  • FIG. 4 is a diagram showing a premise for correction characteristic setting by the correction characteristic setting unit 130 in the first embodiment of the present invention.
  • the correction characteristic setting unit 130 needs to set the allowable maximum parallax dmax and the allowable minimum parallax dmin as correction characteristics. These allowable maximum parallax dmax and allowable minimum parallax dmin are set according to general visual characteristics. In the following, it is assumed that the allowable nearest position Dmin and the allowable farthest position Dmax are first obtained, and the allowable maximum parallax dmax and the allowable minimum parallax dmin are obtained based on these.
  • an angle when the display surface at the viewing distance DD from both eyes is viewed vertically is ⁇
  • an angle when the plane at the allowable closest position Dmin is viewed vertically is ⁇ .
  • ⁇ 2 tan ⁇ 1 (e / (2 ⁇ DD))
  • the angle ⁇ is expressed by the following equation.
  • ⁇ 2 tan-1 (e / (2 ⁇ Dmin))
  • the allowable farthest position Dmax is an infinite position.
  • the parallax on the display surface at this time is equal to the binocular interval. It is said that the distance between both eyes is approximately 65 mm. Therefore, the allowable maximum parallax dmax can be set to about 65 mm.
  • FIG. 5 is a diagram illustrating an example of correction characteristic setting by the correction characteristic setting unit 130 according to the first embodiment of the present invention.
  • the parallax on the display surface at the viewing distance DD when viewing the plane at the allowable closest position Dmin from both eyes is the allowable minimum parallax dmin.
  • the parallax on the display surface at the viewing distance DD when the plane at the allowable farthest position Dmax is viewed from both eyes becomes the allowable maximum parallax dmax.
  • the allowable maximum parallax dmax may be set to about 65 mm as described above, but can be obtained from the above formula when an arbitrary position is set as the allowable farthest position Dmax.
  • the correction characteristic may be set as appropriate according to the taste of the viewer.
  • the user inputs necessary parameters, and in response to this, the correction characteristic setting unit 130 sets the correction characteristics.
  • FIG. 6 is a diagram illustrating another example of the parallax correction performed by the parallax correction unit 150 according to the first embodiment of the present invention.
  • the horizontal axis indicates the input parallax d
  • the vertical axis indicates the corrected parallax d ′ after correction, as in FIG.
  • the region between the allowable maximum parallax dmax and the allowable minimum parallax dmin is divided into a plurality of ranges, and correction characteristics are set so that the parallax can be appropriately reproduced in each range. In this case, it is necessary to set the coordinates of the intersections connecting the ranges in the correction characteristic setting unit 130.
  • examples of the sigmoid function as shown in FIG. 3 and the example of the line graph as shown in FIG. 6 are given as the correction characteristics set by the correction characteristic setting unit 130.
  • a correction characteristic can be set.
  • FIG. 7 is a diagram illustrating an example of image composition by the image composition unit 160 according to the first embodiment of the present invention.
  • the pixel corresponding to L (i, j) is R (i + d, j).
  • the pixel corresponding to L (i, j) is R ′ (i + d ′, j) because the position is shifted in the horizontal direction by the corrected parallax d ′. Since the left image is used as a reference here, the left image L of the input image and the left image L ′ of the output image match. Therefore, the left image L ′ and the right image R ′ of the output image synthesized by the image synthesis unit 160 are obtained by the following equations.
  • the right image is synthesized based on the left image, but conversely, the left image may be synthesized based on the right image.
  • FIG. 8 is a diagram illustrating an operation example of the disparity conversion device 100 according to the first embodiment of the present invention.
  • the correction characteristic setting unit 130 sets a correction characteristic for parallax correction as an initial setting (step S910).
  • the parallax detection unit 110 detects parallax from the left image L and the right image R of the input image, and generates a parallax map dM (step S920).
  • the parallax correction unit 150 corrects the parallax of the parallax map dM based on the correction characteristics set in this way, and a corrected parallax map dM ′ is generated (step S940).
  • the output image is synthesized from the input image by the image synthesis unit 160 (step S950). Then, the synthesized output image is displayed on the image display device 40 via the display control device 30 (step S990).
  • the parallax correction unit 150 corrects the parallax of the input image according to the correction characteristic set by the correction characteristic setting unit 130, and the image synthesis unit uses the corrected parallax. 160 synthesizes the output image. Thereby, it is possible to suppress a feeling of excessive depth and present a stereoscopic video comfortable for the viewer.
  • FIG. 9 is a diagram illustrating a configuration example of the disparity conversion device 100 according to the second embodiment of the present invention.
  • the parallax conversion device 100 according to the second embodiment is different from the first embodiment in that it further includes an area setting unit 140.
  • the region setting unit 140 sets a plurality of regions in the parallax map dM.
  • FIG. 10 is an example of setting a plurality of areas by the area setting unit 140 according to the second embodiment of the present invention.
  • the region # 2 corresponding to the left and right ends is set for the center region # 1 of the parallax map dM.
  • the correction characteristic setting unit 130 sets correction characteristics for each area set by the area setting unit 140 separately. For example, as shown in FIG. 10B, the center area # 1 of the parallax map dM is corrected based on the sigmoid function in both positive and negative directions, and the area # 2 corresponding to the left and right ends is shown in FIG. As shown in c), correction is made so as not to jump out in the negative direction (front side). As a result, unnatural popping out at the left and right ends can be avoided, and discomfort (shielding contradiction) given to the observer can be resolved.
  • FIG. 11 is a diagram showing an example of weights when realizing a weighted sum of correction characteristics in the second embodiment of the present invention.
  • the weight p1 (x) for the region # 1 and the weight p2 (x) for the region # 2 are shown.
  • a buffer region is provided between the region # 1 and the region # 2, and in this buffer region, the weight p1 (x) or p2 (x) is set to decrease as the distance from the center of the original region increases.
  • the region setting unit 140 sets a plurality of regions in the initial setting of step S910 in the processing procedure of the first embodiment described with reference to FIG. The difference is that the characteristic setting unit 130 sets the correction characteristic for each region. In other respects, the operation is the same as that of the first embodiment, and a detailed description thereof is omitted here.
  • the region setting unit 140 sets a plurality of regions in the parallax map dM, thereby setting appropriate correction characteristics for each region, and in the vicinity of the image frame.
  • the contradiction of shielding can be solved.
  • FIG. 12 is a diagram illustrating a configuration example of the disparity conversion device 100 according to the third embodiment of the present invention.
  • the disparity conversion device 100 according to the third embodiment is different from the first embodiment in the content of image composition in the image composition unit 260.
  • the contents of the image composition unit 260 will be described.
  • FIG. 13 is a diagram illustrating a configuration example of the image composition unit 260 in the third embodiment of the present invention.
  • the image composition unit 260 includes a parallax / depth conversion unit 261, a central monocular image composition unit 263, a 3D mapping unit 264, and a stereoscopic image composition unit 265.
  • the parallax / depth conversion unit 261 converts the parallax included in the corrected parallax map dM ′ into a distance in the depth direction, and generates a corrected depth map DPM ′.
  • the central monocular image synthesis unit 263 synthesizes the central monocular image C from the left image L and right image R of the input image and the parallax map dM.
  • the central monocular image C is an image viewed from the central monocular virtually arranged between the left eye and the right eye.
  • the central monocular image C is assumed to be arranged on the display surface at the viewing distance DD.
  • the 3D mapping unit 264 maps the central monocular image C to the corrected 3D map 3DTM ′, which is a depth curved surface in a three-dimensional space, according to the corrected depth map DPM ′.
  • the stereoscopic image synthesis unit 265 projects an image mapped to the corrected 3D map 3DTM ′ onto the display surface and synthesizes a stereoscopic image composed of the left image L ′ and the right image R ′.
  • the 3D mapping unit 264 is an example of a three-dimensional mapping unit described in the claims.
  • the parallax / depth conversion unit 261 determines the depth DP by applying the parallax included in the corrected parallax map dM ′ to the parallax d in the above equation.
  • the obtained depth DP is supplied to the 3D mapping unit 264 as a corrected depth map DPM ′ that holds the depth corresponding to each pixel or pixel group of the image.
  • the horizontal coordinates of the depth DP obtained by the above equation are non-uniformly distributed, the depth at the position corresponding to each pixel on the image is obtained using interpolation or the like and stored as a two-dimensional array. Also good.
  • FIG. 15 is a diagram illustrating a processing example of the central monocular image composition unit 263 according to the third embodiment of the present invention. If the left image L (i, j) at the position (i, j) is used as a reference, the right image R of the input parallax d is R (i + d, j). Therefore, as shown in the figure, the center monocular image C is C (i + d / 2, j) at the intermediate position between the left image and the right image. That is, the center monocular image C is expressed by the following equation.
  • the central monocular image composition unit 263 synthesizes the central monocular image C, which has an intermediate position between the left image L and the right image R in the horizontal direction and the same position as the left image L and the right image R in the vertical direction.
  • the synthesized central monocular image C is supplied to the 3D mapping unit 264.
  • FIG. 16 is a diagram illustrating an outline of processing performed by the 3D mapping unit 264 and the stereoscopic image synthesis unit 265 according to the third embodiment of the present invention.
  • the 3D mapping unit 264 uses a corrected depth map DPM ′ in a pixel or a group of pixels when the central monocular image C is viewed from the virtual central eye assumed between the left eye and the right eye.
  • the depth curved surface is mapped at a position where the displayed depth is further expected.
  • This depth curved surface is a corrected 3D map 3DTM ′ and is specified in a three-dimensional space (x, y, z).
  • the stereoscopic image composition unit 265 projects an image when the corrected 3D map 3DTM ′ is viewed from the left eye and the right eye onto the display surface as shown in FIG. Thereby, the left image L ′ and the right image R ′ of the output image are synthesized.
  • FIG. 17 is a diagram illustrating details of processing by the 3D mapping unit 264 and the stereoscopic image synthesis unit 265 according to the third embodiment of the present invention.
  • a depth curved surface is located at a position where the depth indicated by the corrected depth map DPM ′ is further expected. Mapping is performed by the 3D mapping unit 264. Accordingly, the pixel at the horizontal position xC0 of the central monocular image C is mapped to the horizontal position xd0 in the corrected depth map DPM ′.
  • the pixels mapped in the corrected depth map DPM ′ in this way are projected onto the right image by the stereoscopic image composition unit 265 at the intersection (horizontal direction position xR0) between the straight line viewed from the right eye and the right image.
  • the image is projected onto the left image at the intersection of the straight line viewed from the left eye and the left image.
  • FIG. 18 is a diagram illustrating an example of pixel selection on the depth curved surface by the 3D mapping unit 264 and the stereoscopic image synthesis unit 265 according to the third embodiment of the present invention.
  • the 3D mapping unit 264 scans the corrected depth map DPM ′ in the horizontal direction, and sets the horizontal pixel position at which the following expression is minimum as xd0.
  • E (x) DPM ′ (x, y) ⁇ (( ⁇ DD / (e / 2 ⁇ xR0)) ⁇ x + (DD ⁇ e / 2) / (e / 2-xR0))
  • the position closest to xR0 may be selected.
  • a straight line passing through the position (e / 2, 0) and position (xd0, DP (xd0)) of the right eye is calculated, and the pixel value of the intersection where this straight line intersects the monocular central image C is the pixel at the position xR0 of the right image. Value.
  • this intersection is located in the middle of adjacent pixels, calculation is performed by interpolation from both sides.
  • FIG. 19 is a diagram illustrating another example of pixel selection on the depth curved surface by the 3D mapping unit 264 and the stereoscopic image synthesis unit 265 according to the third embodiment of the present invention.
  • the DP (x) between them is approximated by a quadratic curve from the position xmin that gives the minimum value of the above-described equation E (x) and the x (min-1) and x (min + 1) before and after the position xmin.
  • the position and depth amount where the difference between the approximate curve and the straight line is minimized may be obtained.
  • the central monocular image corresponding to the detected parallax is synthesized, and the parallax correction is reflected based on the central monocular image, thereby enabling the viewer.
  • a comfortable stereoscopic image can be presented.
  • FIG. 20 is a diagram illustrating a configuration example of the disparity conversion device 100 according to the fourth embodiment of the present invention.
  • the disparity conversion device 100 according to the fourth embodiment is different from the first embodiment in the content of image composition in the image composition unit 360.
  • the contents of the image composition unit 360 will be described.
  • FIG. 21 is a diagram illustrating a configuration example of the image composition unit 360 according to the fourth embodiment of the present invention.
  • the image composition unit 360 includes a parallax / depth conversion unit 361, a direct 3D mapping unit 362, a central monocular image composition unit 363, a 3D mapping unit 364, and a stereoscopic image composition unit 365.
  • the image synthesizing unit 360 generates a 3D map by the direct 3D mapping unit 362, and the central monocular image synthesizing unit 363 synthesizes the central monocular image C from the 3D map.
  • the direct 3D mapping unit 362 generates a 3D map 3DTM from the left and right images of the input image and the parallax map dM.
  • the direct 3D mapping unit 362 is an example of the direct 3D mapping unit described in the claims.
  • the 3D mapping unit 364 is an example of a three-dimensional mapping unit described in the claims.
  • FIG. 22 is a diagram illustrating a processing example by the direct 3D mapping unit 362 according to the fourth embodiment of the present invention.
  • the direct 3D mapping unit 362 displays on the 3D map the intersection of a straight line that looks at the left image L (x ′, y) from the left eye and a straight line that looks at the right image R (x ′ + d, y) from the right eye.
  • FIG. 23 is a diagram illustrating a processing example by the central monocular image composition unit 363 according to the fourth embodiment of the present invention.
  • the central monocular image synthesis unit 363 projects the virtual central eye assumed between the left eye and the right eye from each point of the 3D map 3DTM (x, y, z) that is a depth curved surface onto the display surface.
  • the central monocular image C is synthesized. That is, the central monocular image composition unit 363 performs the reverse operation of the 3D mapping unit 264 described with reference to FIG.
  • the viewer can view the viewer by directly synthesizing the central monocular image corresponding to the parallax from the input image and reflecting the parallax correction based on the central monocular image. 3D images that are comfortable for the user can be presented.
  • FIG. 24 is a diagram illustrating a configuration example of the disparity conversion device 100 according to the fifth embodiment of the present invention.
  • the disparity conversion device 100 according to the fifth embodiment further includes a disparity analysis unit 120 that generates a cumulative frequency distribution of parallax, and a parallax correction unit based on the cumulative frequency distribution The difference is that 450 performs parallax correction.
  • the contents of the parallax analysis by the parallax analysis unit 120 and the parallax correction by the parallax correction unit 450 will be described.
  • FIG. 25 is a diagram illustrating an example of parallax analysis performed by the parallax analysis unit 120 according to the fifth embodiment of the present invention.
  • the parallax analyzer 120 generates a histogram of the parallax d in the image of the parallax map dM, as shown in FIG.
  • the horizontal axis represents the parallax d
  • the vertical axis represents the frequency h (d) with respect to the parallax d.
  • the parallax analysis unit 120 maximizes the parallax histogram by changing the input / output characteristics of the parallax correction unit 450 so as to flatten the parallax d histogram.
  • the appearance frequency of the parallax is flattened so as to be the same, and as a result, the sense of depth of the stereoscopic image can be dynamically changed.
  • the parallax d ′ after the flattening is expressed as multiplication of the parallax maximum value dmax after the flattening and the cumulative frequency distribution P (z) as in the following equation.
  • d ′ dmax ⁇ P (z)
  • the cumulative frequency distribution P (z) is normalized by the total number of data. Therefore, P (z) ⁇ 1.0.
  • the cumulative frequency distribution P (z) is expressed by the following equation.
  • P (z) (1 / N) ⁇ ⁇ h (d)
  • FIG. 25B shows the parallax d ′ after flattening obtained in this way.
  • the parallax d ′ after flattening based on the cumulative frequency distribution P (z) is supplied from the parallax analysis unit 120 to the parallax correction unit 450 in both a positive range and a negative range. Since the parallax d ′ after flattening is obtained by multiplying the cumulative frequency distribution P (z) by dmax as described above, it is treated as a cumulative frequency distribution in a broad sense in this specification.
  • the parallax correction unit 450 performs parallax correction based on the cumulative frequency distribution supplied from the parallax analysis unit 120. That is, in the first embodiment, the parallax correction is performed using a non-linear function such as a sigmoid function. In the fifth embodiment, the parallax correction is performed using a curve of the cumulative frequency distribution. Thereby, it is possible to perform the parallax correction by dynamically changing the correction characteristic according to the parallax distribution of the image. Note that the gain is adjusted so as to approach the allowable maximum parallax dmax and the allowable minimum parallax dmin set by the correction characteristic setting unit 130 in the same manner as in the first embodiment.
  • FIG. 26 is a diagram illustrating an operation example of the disparity conversion device 100 according to the fifth embodiment of the present invention.
  • the correction characteristic setting unit 130 sets a correction characteristic for parallax correction as an initial setting (step S910).
  • the parallax detection unit 110 detects parallax from the left image L and the right image R of the input image, and generates a parallax map dM (step S920).
  • the parallax d in the image of the parallax map dM is analyzed by the parallax analysis unit 120, and a cumulative frequency distribution is generated from the parallax histogram (step S930).
  • the parallax correction unit 450 corrects the parallax of the parallax map dM based on the set correction characteristics and cumulative frequency distribution, and a corrected parallax map dM ′ is generated (step S940).
  • the output image is synthesized from the input image by the image synthesis unit 160 (step S950). Then, the synthesized output image is displayed on the image display device 40 via the display control device 30 (step S990).
  • the parallax correction unit 450 uses the cumulative frequency distribution obtained by analyzing the parallax in the image of the parallax map dM in the parallax analysis unit 120. Correct the parallax of the input image. Accordingly, it is possible to dynamically change the depth feeling of the stereoscopic image according to the parallax in the image.
  • FIG. 27 is a diagram illustrating a configuration example of the disparity conversion device 100 according to the sixth embodiment of the present invention.
  • the parallax conversion device 100 according to the sixth embodiment sets correction characteristics according to the components in the correction characteristic setting unit 530, and the parallax correction is performed for each component in the parallax correction unit 550. Is different.
  • the details of the parallax correction performed by the parallax correction unit 550 will be described.
  • FIG. 28 is a diagram illustrating a configuration example of the parallax correction unit 550 according to the sixth embodiment of the present invention.
  • the parallax correction unit 550 includes a component dividing unit 551, a first component parallax correction unit 552, a second component parallax correction unit 553, and a component synthesis unit 554.
  • the component dividing unit 551 divides the parallax in the image of the parallax map dM for each component. For example, a low frequency component is extracted as a global component of parallax, and a high frequency component is extracted as a detail component of parallax. Thereby, two images having different components are obtained.
  • a component corresponding to the frequency component of parallax can be extracted by using a normal band dividing filter, an edge preserving filter, or the like.
  • the first component parallax correction unit 552 and the second component parallax correction unit 553 perform parallax correction on corresponding components.
  • correction is performed according to the correction characteristic set by the correction characteristic setting unit 530.
  • the parallax compression as described in the first embodiment is performed for the global component, and the parallax correction is not performed for the detail component (or by the parallax correction that does not change before and after the correction). It is conceivable to store it as it is. Thereby, it is possible to keep the dynamic range of parallax within an allowable range while maintaining the detail of the depth change.
  • the first component parallax correction unit 552 and the second component parallax correction unit 553 are examples of the component parallax correction unit described in the claims.
  • the component synthesis unit 554 synthesizes the outputs of the first component parallax correction unit 552 and the second component parallax correction unit 553.
  • This component synthesizing unit 554 can be realized by an adder, for example.
  • the component dividing unit 551 divides into two components.
  • the present invention is not limited to this.
  • the component dividing unit 551 is divided into three or more components as necessary, and correction is performed according to each component. May be.
  • the component dividing unit 551 divides the image into a plurality of images having different parallax components, and performs the parallax correction with different correction characteristics, so that each component is suitable.
  • Parallax correction can be realized. For example, by suppressing the parallax correction for the detail component, the dynamic range of the parallax can be suppressed within an allowable range while maintaining the detail of the depth change.
  • the embodiment of the present invention shows an example for embodying the present invention, and as clearly shown in the embodiment of the present invention, the matters in the embodiment of the present invention and the scope of claims There is a corresponding relationship with the invention-specific matters in. Similarly, the invention specific matter in the claims and the matter in the embodiment of the present invention having the same name as this have a corresponding relationship.
  • the present invention is not limited to the embodiments, and can be embodied by making various modifications to the embodiments without departing from the gist of the present invention.
  • the processing procedure described in the embodiment of the present invention may be regarded as a method having a series of these procedures, and a program for causing a computer to execute the series of procedures or a recording medium storing the program May be taken as
  • this recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray Disc (Blu-ray Disc), or the like can be used.
  • DESCRIPTION OF SYMBOLS 10 Image storage apparatus 30 Display control apparatus 40 Image display apparatus 100 Parallax conversion apparatus 110 Parallax detection part 120 Parallax analysis part 130, 530 Correction characteristic setting part 140 Area setting part 150, 450, 550 Parallax correction part 160, 260, 360 Image composition Unit 261, 361 Parallax / depth conversion unit 362 Direct 3D mapping unit 263, 363 Central monocular image synthesis unit 264, 364 3D mapping unit 265, 365 Stereo image synthesis unit 551 Component division unit 552 First component parallax correction unit 553 Second component Parallax correction unit 554 Component synthesis unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　立体画像における奥行き感に寄与する画像の構成要素の特徴に応じて、立体画像の視差を変換する。視差検出部１１０は、入力画像の左画像Ｌおよび右画像Ｒから視差を検出して、視差マップｄＭを生成する。視差補正部１５０は、視差マップｄＭにおける視差を補正して補正視差マップｄＭ'を生成する。補正特性設定部１３０は、視差補正部１５０において視差補正を行う際の補正特性を設定する。画像合成部１６０は、補正視差マップｄＭ'に基づいて立体画像の左画像Ｌおよび右画像Ｒを合成して、左画像Ｌ'および右画像Ｒ'からなる立体画像を出力画像として出力する。これにより、設定された補正特性に応じた視差を有する立体画像が出力される。この補正特性は、視差の大きさ、画面上の位置、空間的な変化の仕方などの構成要素の特徴が奥行き感に寄与する度合いに応じて設定される。

Description

立体画像表示システム、視差変換装置、視差変換方法およびプログラム
　本発明は、立体画像表示システムに関し、特に立体画像における視差を変換する視差変換装置、立体画像表示システム、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　近年、画像表示装置により立体画像を表示する技術が用いられている。このような画像表示装置により表示された立体画像を視聴する際には、実世界と輻輳角が同じであっても焦点距離が異なってくるため、視覚疲労を起こす要因となる。特に、画面内においてある部分が飛び出し過ぎている場合や、動画表示中に不用意に物体が飛び出す場合など、視差の変化が大きいと視聴者に負担になる。
　そのため、従来、自然な立体表示を行うために、立体画像の表示位置が観察者の焦点深度内になるように表示する立体画像表示装置が提案されている（例えば、特許文献１参照。）。この従来の立体画像表示装置では、表示対象の奥行き距離を立体画像の表示位置の奥行き距離に非線形変換している。
特開２００５－０９１５０８号公報（図６）
　上述の従来技術では、表示対象の奥行き距離を立体画像の表示位置の奥行き距離に非線形変換することにより、立体画像の表示位置が観察者の焦点深度内になるように調整している。しかしながら、奥行き距離そのものを直接調整するだけでなく、奥行き感に影響を与える各種の要素によって間接的に調整を行いたい場合がある。
　本発明はこのような状況に鑑みてなされたものであり、立体画像における奥行き感に寄与する画像の構成要素の特徴に応じて、立体画像の視差を変換することを目的とする。
　本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像の左画像および右画像から視差を検出して、画素または画素群毎の視差を保持する視差マップを生成する視差検出部と、上記視差マップにおける視差を補正する際の補正特性を設定する補正特性設定部と、上記設定された補正特性に従って上記視差マップにおける視差を補正して補正視差マップを生成する視差補正部と、上記補正視差マップに従って上記入力画像の左画像および右画像から出力画像の左画像および右画像を合成する画像合成部とを具備する視差変換装置、これら各部における処理手順を具備する視差変換方法、ならびにこれら各手順をコンピュータに実行させるプログラムである。これにより、設定された補正特性に従って視差補正された補正視差マップに基づいて左画像および右画像を合成させるという作用をもたらす。
　また、この第１の側面において、上記視差マップにおいて少なくとも２つの領域を設定する領域設定部をさらに具備し、上記補正特性設定部は、上記少なくとも２つの領域毎に上記補正特性を設定し、上記視差補正部は、上記視差マップにおける上記少なくとも２つの領域に応じた上記補正特性に従って上記視差マップにおける視差を補正するようにしてもよい。これにより、領域毎に設定された補正特性に従って視差を補正させるという作用をもたらす。
　また、この第１の側面において、上記視差補正部が、上記少なくとも２つの領域が隣接する所定の緩衝領域においては隣接する領域に応じた上記補正特性の加重和に従って上記視差マップにおける視差を補正するようにしてもよい。これにより、領域間の不連続性を回避させるという作用をもたらす。
　また、この第１の側面において、上記補正特性設定部が、上記少なくとも２つの領域のうち上記視差マップにおける左右端に該当する領域においては手前側への奥行きを抑制するように上記補正特性を設定するようにしてもよい。これにより、左右端における不自然な飛び出しを回避して、観察者に与える違和感（遮蔽の矛盾）を解消させるという作用をもたらす。
　また、この第１の側面において、上記補正特性設定部が、上記視差マップにおける少なくとも２つの成分毎に上記補正特性を設定し、上記視差補正部が、上記視差マップを上記成分毎に分割する成分分割部と、上記成分毎に設定された上記補正特性に従って上記視差マップにおける視差を成分毎に補正する成分視差補正部と、上記成分毎に補正された視差マップを合成して上記補正視差マップを生成する成分合成部とを備えるようにしてもよい。これにより、成分毎にそれぞれの成分に適した視差補正を行わせるという作用をもたらす。また、この場合において、上記補正特性設定部において設定される上記成分は、上記視差マップにおける視差の周波数に応じた成分であってもよい。
　また、この第１の側面において、上記補正特性設定部において設定される上記補正特性は、上記視差マップにおける視差がゼロとなる近傍においては傾きが１であり、上記視差マップにおける視差が大きくなるに従って所定の値に収束する非線形特性であってもよい。これにより、表示面近辺の奥行きにおける像の歪みを回避させるという作用をもたらす。また、この場合において、上記補正特性設定部において設定される上記補正特性は、シグモイド関数に基づいて定義されるものでよい。
　また、この第１の側面において、上記画像合成部は、上記視差マップにおける視差に基づいて上記入力画像の左画像および右画像から中央単眼画像を合成する中央単眼画像合成部と、上記補正視差マップの視差から奥行きに変換して補正奥行きマップを生成する視差／奥行き変換部と、上記補正奥行きマップに基づいて上記中央単眼画像を３次元空間にマッピングすることにより補正３次元マップを生成する３次元マッピング部と、上記補正３次元マップを表示面に射影することによって上記出力画像の右画像および左画像を合成する立体画像合成部とを備えてもよい。これにより、入力画像の左画像および右画像から中央単眼画像を合成して、これに基づいて視差を補正させるという作用をもたらす。
　また、この第１の側面において、上記画像合成部は、上記視差マップにおける視差に基づいて上記入力画像の左画像および右画像を３次元空間にマッピングすることにより３次元マップを生成するダイレクト３次元マッピング部と、上記３次元マップを仮想中央眼に対する表示面に射影することによって中央単眼画像を合成する中央単眼画像合成部と、上記補正視差マップの視差から奥行きに変換して補正奥行きマップを生成する視差／奥行き変換部と、上記補正奥行きマップに基づいて上記中央単眼画像を３次元空間にマッピングすることにより補正３次元マップを生成する３次元マッピング部と、上記補正３次元マップを表示面に射影することによって上記出力画像の右画像および左画像を合成する立体画像合成部とを備えてもよい。これにより、入力画像の左画像および右画像から３次元マップを生成して、これに基づいて視差を補正させるという作用をもたらす。
　また、この第１の側面において、上記視差マップにおける視差を解析して当該視差の累積度数分布を生成する視差解析部をさらに具備し、上記視差補正部は、上記累積度数分布および上記補正特性に基づいて上記視差マップにおける視差を補正するようにしてもよい。これにより、視差のヒストグラムを平坦化するようにして、立体画像の奥行き感を動的に変化させるという作用をもたらす。
　また、本発明の第２の側面は、左画像および右画像を立体画像の対として備える入力画像を供給する入力画像供給部と、上記入力画像の左画像および右画像から視差を検出して、画素または画素群毎の視差を保持する視差マップを生成する視差検出部と、上記視差マップにおける視差を補正する際の補正特性を設定する補正特性設定部と、上記設定された補正特性に従って上記視差マップにおける視差を補正して補正視差マップを生成する視差補正部と、上記補正視差マップに従って上記入力画像の左画像および右画像から出力画像の左画像および右画像を合成する画像合成部と、上記出力画像を表示する画像表示装置とを具備する立体画像表示システムである。これにより、設定された補正特性に従って視差補正された補正視差マップに基づいて左画像および右画像を合成して、表示させるという作用をもたらす。
　本発明によれば、立体画像における奥行き感に寄与する画像の構成要素の特徴に応じて、立体画像の視差を変換することができるという優れた効果を奏し得る。
本発明の実施の形態における立体画像表示システムの構成例を示す図である。 本発明の第１の実施の形態における視差変換装置１００の構成例を示す図である。 本発明の第１の実施の形態における視差補正部１５０による視差補正の一例を示す図である。 本発明の第１の実施の形態における補正特性設定部１３０による補正特性設定の前提を示す図である。 本発明の第１の実施の形態における補正特性設定部１３０による補正特性設定の一例を示す図である。 本発明の第１の実施の形態における視差補正部１５０による視差補正の他の例を示す図である。 本発明の第１の実施の形態における画像合成部１６０による画像合成の一例を示す図である。 本発明の第１の実施の形態における視差変換装置１００の動作例を示す図である。 本発明の第２の実施の形態における視差変換装置１００の構成例を示す図である。 本発明の第２の実施の形態における領域設定部１４０による複数の領域設定の一例である。 本発明の第２の実施の形態において補正特性の加重和を実現する際の重みの例を示す図である。 本発明の第３の実施の形態における視差変換装置１００の構成例を示す図である。 本発明の第３の実施の形態における画像合成部２６０の構成例を示す図である。 本発明の第３の実施の形態における視差／奥行き変換部２６１の処理例を示す図である。 本発明の第３の実施の形態における中央単眼画像合成部２６３の処理例を示す図である。 本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による処理概要を示す図である。 本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による処理の詳細を示す図である。 本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による奥行き曲面上の画素選択の一例を示す図である。 本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による奥行き曲面上の画素選択の他の例を示す図である。 本発明の第４の実施の形態における視差変換装置１００の構成例を示す図である。 本発明の第４の実施の形態における画像合成部３６０の構成例を示す図である。 本発明の第４の実施の形態におけるダイレクト３Ｄマッピング部３６２による処理例を示す図である。 本発明の第４の実施の形態における中央単眼画像合成部３６３による処理例を示す図である。 本発明の第５の実施の形態における視差変換装置１００の構成例を示す図である。 本発明の第５の実施の形態における視差解析部１２０による視差解析の例を示す図である。 本発明の第５の実施の形態における視差変換装置１００の動作例を示す図である。 本発明の第６の実施の形態における視差変換装置１００の構成例を示す図である。 本発明の第６の実施の形態における視差補正部５５０の構成例を示す図である。
　以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（視差の大きさにより視差変換を行う例）
　２．第２の実施の形態（領域毎に異なる補正特性により視差変換を行う例）
　３．第３の実施の形態（中央単眼画像を利用する例）
　４．第４の実施の形態（ダイレクト３次元マッピングを行う例）
　５．第５の実施の形態（視差のヒストグラム平坦化を行う例）
　６．第６の実施の形態（成分毎に異なる補正特性により視差変換を行う例）
　＜１．第１の実施の形態＞
　［立体画像表示システム］
　図１は、本発明の実施の形態における立体画像表示システムの構成例を示す図である。この立体画像表示システムは、画像記憶装置１０と、視差変換装置１００と、表示制御装置３０と、画像表示装置４０とを備える。
　画像記憶装置１０は、立体表示のための画像データを記憶するものである。ここで、画像データは、人間の左眼に知覚される左画像と人間の右眼に知覚される右画像とを対にした立体画像であり、１組の左右画像からなる静止画であってもよく、また、左右画像（フレーム）を時系列に並べた動画であってもよい。なお、画像記憶装置１０は、請求の範囲に記載の入力画像供給部の一例である。
　視差変換装置１００は、画像記憶装置１０に記憶された画像データにおける立体画像の視差を変換するものである。すなわち、この視差変換装置１００の入力および出力はともに立体画像であり、両眼により把握される視差が異なるように変換される。
　表示制御装置３０は、視差変換装置１００から出力された画像データを画像表示装置４０に表示させるように制御するものである。画像表示装置４０は、画像データを立体画像として表示する立体ディスプレイである。立体表示方式としては、走査線毎に左右画像を交互に配置する方式や時分割で左右画像を表示する方式などの任意の方式を適用することができる。この画像表示装置４０の表示方式に対応するように、表示制御装置３０は表示制御を行うことになる。
　［視差変換装置］
　図２は、本発明の第１の実施の形態における視差変換装置１００の構成例を示す図である。この第１の実施の形態における視差変換装置１００は、左画像Ｌおよび右画像Ｒからなる立体画像を入力画像として受けて、その視差を変換して、左画像Ｌ'および右画像Ｒ'からなる立体画像を出力画像として出力するものである。この視差変換装置１００は、視差検出部１１０と、補正特性設定部１３０と、視差補正部１５０と、画像合成部１６０とを備える。
　視差検出部１１０は、入力画像の左画像Ｌおよび右画像Ｒから視差を検出して、視差マップｄＭを生成するものである。この視差マップｄＭは、入力画像の画素または画素群毎の視差を保持するものである。この場合、入力画像としては左画像Ｌまたは右画像Ｒの何れを基準にしてもよい。また、隠れた部分の処理のために左画像Ｌおよび右画像Ｒの両方の視差を得るようにしてもよい。視差の推定手法は公知技術であり、例えば、左右画像から背景画像を除いた前景画像についてマッチングを行うことにより、左右画像の視差を推定し、視差マップを生成する技術が知られている（例えば、特開２００６－１１４０２３号公報参照）。
　視差補正部１５０は、視差マップｄＭにおける視差を補正して補正視差マップｄＭ'を生成するものである。補正特性設定部１３０は、視差補正部１５０において視差補正を行う際の補正特性を設定するものである。視差補正部１５０においてシグモイド関数による視差補正が行われる場合には、補正特性として許容最大視差ｄｍａｘおよび許容最小視差ｄｍｉｎが設定される。視差補正の詳細については後述する。
　画像合成部１６０は、補正視差マップｄＭ'に基づいて立体画像の左画像Ｌおよび右画像Ｒを合成して、左画像Ｌ'および右画像Ｒ'からなる立体画像を出力画像として出力するものである。
　［視差補正］
　図３は、本発明の第１の実施の形態における視差補正部１５０による視差補正の一例を示す図である。この図において、横軸が入力視差ｄ、縦軸が補正後の補正視差ｄ'を示している。視差が正方向に増加した場合には奥に引っ込んでいるような感覚が得られ、視差が負方向に低下した場合には手前に出っ張ったような感覚が得られる。
　実線により表されるグラフは、入力視差ｄと補正視差ｄ'との関係を示している。このグラフは非線形関数の一例としてシグモイド関数の形状を有しており、入力視差ｄが正方向に増加するほど補正視差ｄ'は許容最大視差ｄｍａｘに漸近し、入力視差ｄが負方向に低下するほど補正視差ｄ'は許容最小視差ｄｍｉｎに漸近する。すなわち、この補正特性は、視差マップにおける視差が大きくなるに従って所定の値に収束する非線形特性である。これら許容最大視差ｄｍａｘおよび許容最小視差ｄｍｉｎは、ディスプレイサイズ（表示面の大きさ）、視聴距離、視聴者（観察者）の視機能によって決まるものであり、本発明の実施の形態では補正特性設定部１３０によって設定される。
　このグラフにおいて、入力視差がゼロとなる近傍においては、傾きが「１」になるようにすることにより、表示面近辺の奥行きにおける像の歪みを回避することができる。ただし、全体的に奥行き量が不足する場合には、奥行き感が強調された立体映像を提示するように、このグラフの傾きを「１」より大きくすることが考えられる。
　ここで想定しているシグモイド関数は、次式により与えられる。
　　ζ（ｘ）＝１／（１＋ｅ-x）
また、上式の関数から定数値０．５を減じて、全体にスケーリングファクタｄを乗じた、次式のような関数を用いてもよい。
　　ζ（ｘ）＝ｄ×（１／（１＋ｅ-x）－０．５）
　図４は、本発明の第１の実施の形態における補正特性設定部１３０による補正特性設定の前提を示す図である。視差補正部１５０においてシグモイド関数に基づく視差補正を行う場合、補正特性設定部１３０では許容最大視差ｄｍａｘおよび許容最小視差ｄｍｉｎを補正特性として設定する必要がある。これら許容最大視差ｄｍａｘおよび許容最小視差ｄｍｉｎは、一般的視覚特性により設定される。以下では、まず許容最近位置Ｄｍｉｎおよび許容最遠位置Ｄｍａｘを求め、これらに基づいて許容最大視差ｄｍａｘおよび許容最小視差ｄｍｉｎを求めることを想定する。
　図４（ａ）において、両眼から視距離ＤＤの位置にある表示面を垂直に見込んだ角度をαとし、許容最近位置Ｄｍｉｎにある平面を垂直に見込んだ角度をβとする。右眼と左眼の距離を両眼間隔ｅとすると、角度αは次式により得られる。
　　ｔａｎ（α／２）＝（１／ＤＤ）×（ｅ／２）
　　α＝２ｔａｎ-1（ｅ／（２・ＤＤ））
同様に、角度βは次式により表される。
　　β＝２ｔａｎ-1（ｅ／（２・Ｄｍｉｎ））
ここで、一般的視覚特性により
　　β－α≦６０'
が成り立つため、許容最近位置Ｄｍｉｎは次式により示される。
　　Ｄｍｉｎ≧ｅ／２ｔａｎ（（６０＋α）／２）
　図４（ｂ）のように両眼の視線が並行になった状態よりも、さらに視線を離そうとすると、不快な感じを受けるおそれがある。両眼の視線が並行になった状態では許容最遠位置Ｄｍａｘは無限大の位置になる。このときの表示面における視差は両眼間隔に等しくなる。この両眼間隔は、およそ６５ｍｍと言われている。したがって、許容最大視差ｄｍａｘとしては、約６５ｍｍに設定することができる。
　図５は、本発明の第１の実施の形態における補正特性設定部１３０による補正特性設定の一例を示す図である。両眼から許容最近位置Ｄｍｉｎにある平面を見込んだ際の、視距離ＤＤにある表示面における視差が許容最小視差ｄｍｉｎとなる。また、両眼から許容最遠位置Ｄｍａｘにある平面を見込んだ際の、視距離ＤＤにある表示面における視差が許容最大視差ｄｍａｘとなる。このとき、両者は次式により表される。
　　ｄｍｉｎ＝ｅ（Ｄｍｉｎ－ＤＤ）／Ｄｍｉｎ
　　ｄｍａｘ＝ｅ（Ｄｍａｘ－ＤＤ）／Ｄｍａｘ
　許容最大視差ｄｍａｘについては、上述のように約６５ｍｍに設定すればよいが、任意の位置を許容最遠位置Ｄｍａｘとした場合には上式から得ることができる。
　なお、上式によれば視差の値は長さを単位として得られるが、これを表示面の画素間隔により割ることによって画素数を単位とすることができる。例えば、表示面の画面幅をＷ［ｍｍ］、水平方向の画素数をＮ［画素］とすると、画素間隔はＷ／Ｎ［ｍｍ／画素］となる。したがって、長さ単位の視差ｄ［ｍｍ］を画素単位の視差ｄ"［画素］に変換するためには、次式を用いることができる。
　　ｄ"＝ｄ／（Ｗ／Ｎ）
　なお、ここでは、一般的視覚特性に基づいた補正特性の設定について説明したが、この補正特性は視聴者の好みに応じて適宜設定するようにしてもよい。この場合、ユーザから必要なパラメータを入力させ、これを受けて補正特性設定部１３０が補正特性を設定することになる。
　図６は、本発明の第１の実施の形態における視差補正部１５０による視差補正の他の例を示す図である。横軸が入力視差ｄ、縦軸が補正後の補正視差ｄ'を示す点は図３と同様である。
　このグラフでは、許容最大視差ｄｍａｘおよび許容最小視差ｄｍｉｎに挟まれた領域を複数の範囲に分割し、各範囲において適切に視差の再現が可能となるように補正特性を設定している。この場合、各範囲を結ぶ交点の座標を、補正特性設定部１３０において設定する必要がある。
　ここでは、補正特性設定部１３０によって設定される補正特性として、図３のようなシグモイド関数の例、および、図６のような折れ線グラフの例を挙げたが、これ以外の非線形な対応関係を有する補正特性を設定することができる。例えば、逆正接（アークタンジェント）関数により設定することが考えられる。
　［画像合成］
　図７は、本発明の第１の実施の形態における画像合成部１６０による画像合成の一例を示す図である。入力画像の左画像Ｌの座標（ｉ，ｊ）における画素をＬ（ｉ，ｊ）とする。このとき、入力画像の右画像Ｒでは入力視差ｄだけ水平方向にシフトした位置になるため、Ｌ（ｉ，ｊ）に対応する画素はＲ（ｉ＋ｄ，ｊ）となる。
　一方、出力画像の右画像Ｒ'では、補正視差ｄ'だけ水平方向にシフトした位置になるため、Ｌ（ｉ，ｊ）に対応する画素はＲ'（ｉ＋ｄ'，ｊ）になる。また、ここでは左画像を基準としているため、入力画像の左画像Ｌと出力画像の左画像Ｌ'とは一致する。したがって、画像合成部１６０によって合成された出力画像の左画像Ｌ'および右画像Ｒ'は次式により得られる。
　　Ｌ'（ｉ，ｊ）＝Ｌ（ｉ，ｊ）
　　Ｒ'（ｉ＋ｄ'，ｊ）＝（ｄ'・Ｌ（ｉ，ｊ）＋｜ｄ－ｄ'｜・Ｒ（ｉ＋ｄ，ｊ））
　　　　　　　　　　　　　／（｜ｄ－ｄ'｜＋ｄ'）
　なお、この例では左画像を基準として右画像を合成しているが、これとは逆に、右画像を基準として左画像を合成してもよい。
　［動作］
　図８は、本発明の第１の実施の形態における視差変換装置１００の動作例を示す図である。まず、補正特性設定部１３０において、初期設定として視差補正の補正特性が設定される（ステップＳ９１０）。そして、視差検出部１１０において、入力画像の左画像Ｌおよび右画像Ｒから視差が検出され、視差マップｄＭが生成される（ステップＳ９２０）。このようにして設定された補正特性により、視差補正部１５０において視差マップｄＭの視差が補正され、補正視差マップｄＭ'が生成される（ステップＳ９４０）。
　このようにして生成された補正視差マップｄＭ'の視差に基づいて、画像合成部１６０において入力画像から出力画像が合成される（ステップＳ９５０）。そして、この合成された出力画像が、表示制御装置３０を介して画像表示装置４０に表示される（ステップＳ９９０）。
　このように、本発明の第１の実施の形態によれば、補正特性設定部１３０によって設定された補正特性に従って視差補正部１５０が入力画像の視差を補正し、補正された視差により画像合成部１６０が出力画像を合成する。これにより、過剰な奥行き感を抑制し、視聴者にとって快適な立体映像の提示を行うことができる。
　＜２．第２の実施の形態＞
　［視差変換装置］
　図９は、本発明の第２の実施の形態における視差変換装置１００の構成例を示す図である。この第２の実施の形態における視差変換装置１００は、第１の実施の形態と比べて、領域設定部１４０をさらに具備している点が異なっている。
　領域設定部１４０は、視差マップｄＭにおいて複数の領域を設定するものである。図１０は、本発明の第２の実施の形態における領域設定部１４０による複数の領域設定の一例である。例えば、図１０（ａ）のように、視差マップｄＭの中央の領域＃１に対して、左右端に該当する領域＃２を設定する。このように領域＃１および領域＃２を設定することにより、それぞれの領域において異なる補正特性を設定することを可能とする。
　補正特性設定部１３０は、領域設定部１４０によって設定された各領域に対して別々に補正特性を設定する。例えば、視差マップｄＭの中央の領域＃１に対しては図１０（ｂ）のように正負の両方向についてシグモイド関数に基づいて補正し、左右端に該当する領域＃２に対しては図１０（ｃ）のように負方向（手前側）への飛び出しを行わないように補正する。これにより、左右端における不自然な飛び出しを回避して、観察者に与える違和感（遮蔽の矛盾）を解消することができる。
　この場合、領域間の不連続性を避けるため、異なる領域間に緩衝領域を設け、緩衝領域内では隣接する両領域からの距離に応じた２つの補正特性の加重和によって補正視差が決定されるようにしてもよい。図１１は、本発明の第２の実施の形態において補正特性の加重和を実現する際の重みの例を示す図である。この図には、領域＃１用の重みｐ１（ｘ）および領域＃２用の重みｐ２（ｘ）が示されている。領域＃１と領域＃２との間に緩衝領域を設け、この緩衝領域においては元の領域の中心から離れるほど重みｐ１（ｘ）またはｐ２（ｘ）を減少させるように設定する。重みｐ１（ｘ）とｐ２（ｘ）の関係は次式のようになる。
　　ｐ１（ｘ）＋ｐ２（ｘ）＝１
そして、このように設定された重みｐ１（ｘ）またはｐ２（ｘ）を利用して、次式のように最終的な補正視差ｄ'を得る。ただし、Ｆ１（ｄ）は領域＃１用の補正関数であり、Ｆ２（ｄ）は領域＃２用の補正関数である。
　　ｄ'＝ｐ１（ｘ）×Ｆ１（ｄ）＋ｐ２（ｘ）×Ｆ２（ｄ）
　［動作］
　本発明の第２の実施の形態の動作は、図８により説明した第１の実施の形態の処理手順のうち、ステップＳ９１０の初期設定において、領域設定部１４０が複数の領域を設定し、補正特性設定部１３０が領域毎に補正特性を設定する点が異なっている。これ以外の点では第１の実施の形態の動作と同様であるため、ここでは詳細な説明は省略する。
　このように、本発明の第２の実施の形態によれば、領域設定部１４０が視差マップｄＭにおいて複数の領域を設定することにより、領域毎に適切な補正特性を設定し、画枠近辺における遮蔽の矛盾を解消することができる。
　＜３．第３の実施の形態＞
　［視差変換装置］
　図１２は、本発明の第３の実施の形態における視差変換装置１００の構成例を示す図である。この第３の実施の形態における視差変換装置１００は、第１の実施の形態と比べて、画像合成部２６０における画像合成の内容が異なる。以下、この画像合成部２６０の内容について説明する。
　［画像合成］
　図１３は、本発明の第３の実施の形態における画像合成部２６０の構成例を示す図である。この画像合成部２６０は、視差／奥行き変換部２６１と、中央単眼画像合成部２６３と、３Ｄマッピング部２６４と、立体画像合成部２６５とを備えている。
　視差／奥行き変換部２６１は、補正視差マップｄＭ'に含まれる視差を奥行き方向の距離に変換して、補正奥行きマップＤＰＭ'を生成するものである。中央単眼画像合成部２６３は、入力画像の左画像Ｌおよび右画像Ｒと視差マップｄＭとから中央単眼画像Ｃを合成するものである。ここで、中央単眼画像Ｃは、左眼と右眼の間に仮想的に配置された中央単眼から見た画像である。中央単眼画像Ｃは、視距離ＤＤにある表示面に配置されるものと想定される。３Ｄマッピング部２６４は、中央単眼画像Ｃを補正奥行きマップＤＰＭ'に従って３次元空間の奥行き曲面である補正３Ｄマップ３ＤＴＭ'にマッピングするものである。立体画像合成部２６５は、補正３Ｄマップ３ＤＴＭ'にマッピングされた画像を表示面に射影して、左画像Ｌ'および右画像Ｒ'からなる立体画像を合成するものである。なお、３Ｄマッピング部２６４は、請求の範囲に記載の３次元マッピング部の一例である。
　［視差／奥行き変換］
　図１４は、本発明の第３の実施の形態における視差／奥行き変換部２６１の処理例を示す図である。同図のように、両眼の距離を両眼距離ｅ、表示面までの距離を視距離ＤＤとすると、次式により、表示面における視差ｄから奥行きＤＰが求められる。
　　ＤＰ＝ｅ・ＤＤ／（ｅ－ｄ）
　視差／奥行き変換部２６１は、補正視差マップｄＭ'に含まれる視差を上式の視差ｄに当てはめて奥行きＤＰを求める。求められた奥行きＤＰは、画像の各画素または画素群毎に対応して奥行きを保持する補正奥行きマップＤＰＭ'として３Ｄマッピング部２６４に供給される。なお、上式により求められる奥行きＤＰの水平方向の座標は不均一分布となるため、補間などを用いて画像上の各画素に対応する位置における奥行きを求め、２次元配列として保存しておいてもよい。
　［中央単眼画像合成］
　図１５は、本発明の第３の実施の形態における中央単眼画像合成部２６３の処理例を示す図である。位置（ｉ，ｊ）における左画像Ｌ（ｉ，ｊ）を基準とすると、入力視差ｄの右画像ＲはＲ（ｉ＋ｄ，ｊ）となる。そこで、同図のように、中央単眼画像Ｃは左画像と右画像の中間位置のＣ（ｉ＋ｄ／２，ｊ）とする。すなわち、中央単眼画像Ｃは次式により表される。
　　Ｃ（ｉ＋ｄ／２，ｊ）＝（Ｌ（ｉ，ｊ）＋Ｒ（ｉ＋ｄ，ｊ））／２
このように、中央単眼画像合成部２６３は、水平方向において左画像Ｌと右画像Ｒの中間位置とし、垂直方向は左画像Ｌおよび右画像Ｒと同じ位置とした中央単眼画像Ｃを合成する。この合成された中央単眼画像Ｃは３Ｄマッピング部２６４に供給される。
　［３Ｄマッピングおよび立体画像合成］
　図１６は、本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による処理概要を示す図である。３Ｄマッピング部２６４は、図１６（ａ）に示すように、左眼と右眼の間に想定された仮想中央眼から中央単眼画像Ｃを見た画素または画素群において、補正奥行きマップＤＰＭ'によって示される奥行きをさらに見込んだ位置に奥行き曲面をマッピングする。この奥行き曲面は補正３Ｄマップ３ＤＴＭ'であり、３次元空間（ｘ，ｙ，ｚ）において特定される。
　立体画像合成部２６５は、図１６（ｂ）に示すように、左眼および右眼から補正３Ｄマップ３ＤＴＭ'を見込んだ際の画像を表示面へ射影する。これにより、出力画像の左画像Ｌ'および右画像Ｒ'が合成される。
　図１７は、本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による処理の詳細を示す図である。左眼と右眼の間に想定された仮想中央眼から視距離ＤＤの中央単眼画像Ｃを見た画素または画素群において、補正奥行きマップＤＰＭ'によって示される奥行きをさらに見込んだ位置に奥行き曲面が３Ｄマッピング部２６４によってマッピングされる。これにより、中央単眼画像Ｃの水平方向の位置ｘＣ０の画素は、補正奥行きマップＤＰＭ'における水平方向の位置ｘｄ０にマッピングされる。
　このようにして補正奥行きマップＤＰＭ'にマッピングされた画素は、立体画像合成部２６５によって、右眼から見た直線と右画像との交点（水平方向の位置ｘＲ０）において右画像に射影される。同様に、左眼から見た直線と左画像との交点において左画像に射影される。
　右画像について、右眼と右画像上の交点（水平方向の位置ｘＲ０）を通る直線は、次式より表される。
　　ｚ（ｘ）＝（－ＤＤ／（ｅ／２－ｘＲ０））・ｘ＋
　　　　　　　（ＤＤ・ｅ／２）／（ｅ／２－ｘＲ０）
　図１８は、本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による奥行き曲面上の画素選択の一例を示す図である。３Ｄマッピング部２６４は、補正奥行きマップＤＰＭ'を水平方向にスキャンし、次式が最小となる水平画素位置をｘｄ０とする。
　　Ｅ（ｘ）＝ＤＰＭ'（ｘ，ｙ）－（（－ＤＤ／（ｅ／２－ｘＲ０））・ｘ＋
　　　　　　　　　　　　　　　　　（ＤＤ×ｅ／２）／（ｅ／２－ｘＲ０））
上式が最小になる位置が複数ある場合には、ｘＲ０に最も近いものを選択するようにしてもよい。
　右眼の位置（ｅ／２，０）と位置（ｘｄ０，ＤＰ（ｘｄ０））を通過する直線を算出し、この直線が単眼中央画像Ｃと交わる交点の画素値を右画像の位置ｘＲ０の画素値とする。この交点が隣接画素の中間に位置する場合には、両側からの補間により計算を行う。
　図１９は、本発明の第３の実施の形態における３Ｄマッピング部２６４および立体画像合成部２６５による奥行き曲面上の画素選択の他の例を示す図である。位置ｘｄ０の選択にあたり、上述の式Ｅ（ｘ）の最小値を与える位置ｘｍｉｎとその前後のｘ（ｍｉｎ－１）およびｘ（ｍｉｎ＋１）から、その間のＤＰ（ｘ）を２次曲線で近似し、その近似曲線と直線の差が最小となる位置と奥行き量を求めるようにしてもよい。
　［動作］
　本発明の第３の実施の形態の動作は、図８により説明した第１の実施の形態の処理手順のうち、ステップＳ９５０の画像合成において、中央単眼画像に基づいて視差補正を反映して合成を行う点が異なっている。これ以外の点では第１の実施の形態の動作と同様であるため、ここでは詳細な説明は省略する。
　このように、本発明の第３の実施の形態によれば、検出された視差に応じた中央単眼画像を合成して、この中央単眼画像に基づいて視差補正を反映することにより、視聴者にとって快適な立体映像の提示を行うことができる。
　＜４．第４の実施の形態＞
　［視差変換装置］
　図２０は、本発明の第４の実施の形態における視差変換装置１００の構成例を示す図である。この第４の実施の形態における視差変換装置１００は、第１の実施の形態と比べて、画像合成部３６０における画像合成の内容が異なる。以下、この画像合成部３６０の内容について説明する。
　［画像合成］
　図２１は、本発明の第４の実施の形態における画像合成部３６０の構成例を示す図である。この画像合成部３６０は、視差／奥行き変換部３６１と、ダイレクト３Ｄマッピング部３６２と、中央単眼画像合成部３６３と、３Ｄマッピング部３６４と、立体画像合成部３６５とを備えている。この画像合成部３６０は、ダイレクト３Ｄマッピング部３６２によって３Ｄマップを生成して、中央単眼画像合成部３６３がこの３Ｄマップから中央単眼画像Ｃを合成する点以外において、上述の第３の実施の形態における画像合成部２６０と同様の構成を備える。ダイレクト３Ｄマッピング部３６２は、入力画像の左画像および右画像と視差マップｄＭとから３Ｄマップ３ＤＴＭを生成するものである。なお、ダイレクト３Ｄマッピング部３６２は、請求の範囲に記載のダイレクト３次元マッピング部の一例である。また、３Ｄマッピング部３６４は、請求の範囲に記載の３次元マッピング部の一例である。
　図２２は、本発明の第４の実施の形態におけるダイレクト３Ｄマッピング部３６２による処理例を示す図である。左画像Ｌ（ｘ'，ｙ）を基準として、水平方向に視差ｄだけずれた位置の右画像Ｒ（ｘ'＋ｄ，ｙ）を想定する。ダイレクト３Ｄマッピング部３６２は、左眼から左画像Ｌ（ｘ'，ｙ）を見込んだ直線と、右眼から右画像Ｒ（ｘ'＋ｄ，ｙ）を見込んだ直線との交点を３Ｄマップ上の点３ＤＴＭ（ｘ，ｙ，ＤＰ）とする。すなわち、次式により３ＤＴＭ（ｘ，ｙ，ＤＰ）が得られる。
　　３ＤＴＭ（ｘ，ｙ，ＤＰ）＝（Ｌ（ｘ'，ｙ）＋Ｒ（ｘ'＋ｄ，ｙ））／２
　図２３は、本発明の第４の実施の形態における中央単眼画像合成部３６３による処理例を示す図である。中央単眼画像合成部３６３は、左眼と右眼の間に想定された仮想中央眼に対して、奥行き曲面である３Ｄマップ３ＤＴＭ（ｘ，ｙ，ｚ）の各点から表示面へ射影して、中央単眼画像Ｃを合成するものである。すなわち、この中央単眼画像合成部３６３は、図１６（ａ）により説明した３Ｄマッピング部２６４とは逆の動作を行うことになる。
　［動作］
　本発明の第４の実施の形態の動作は、図８により説明した第１の実施の形態の処理手順のうち、ステップＳ９５０の画像合成において、中央単眼画像に基づいて視差補正を反映して合成を行う点が異なっている。これ以外の点では第１の実施の形態の動作と同様であるため、ここでは詳細な説明は省略する。
　このように、本発明の第４の実施の形態によれば、入力画像から視差に応じた中央単眼画像を直接合成して、この中央単眼画像に基づいて視差補正を反映することにより、視聴者にとって快適な立体映像の提示を行うことができる。
　＜５．第５の実施の形態＞
　［視差変換装置］
　図２４は、本発明の第５の実施の形態における視差変換装置１００の構成例を示す図である。この第５の実施の形態における視差変換装置１００は、第１の実施の形態と比べて、視差の累積度数分布を生成する視差解析部１２０をさらに備え、その累積度数分布に基づいて視差補正部４５０が視差補正を行う点が異なっている。以下、視差解析部１２０による視差解析および視差補正部４５０による視差補正の内容について説明する。
　［視差解析および視差補正］
　図２５は、本発明の第５の実施の形態における視差解析部１２０による視差解析の例を示す図である。視差解析部１２０は、図２５（ａ）に示すように、視差マップｄＭの画像内の視差ｄのヒストグラムを生成する。同図において、横軸は視差ｄであり、縦軸は視差ｄに対する頻度ｈ（ｄ）を示している。
　そして、視差解析部１２０は、視差ｄのヒストグラムを平坦化するように視差補正部４５０の入出力特性を変化させることにより、視差のヒストグラムを最大化する。これにより、視差の出現頻度がどれも同じになるように平坦化され、結果として立体画像の奥行き感を動的に変更することができる。
　平坦化を行った後の視差ｄ'は、次式のように、平坦化後の視差の最大値ｄｍａｘと累積度数分布Ｐ（ｚ）の乗算として表される。
　　ｄ'＝ｄｍａｘ×Ｐ（ｚ）
ただし、累積度数分布Ｐ（ｚ）は総データ数によって正規化されたものである。したがって、Ｐ（ｚ）＜１．０である。
　ここで、累積度数分布Ｐ（ｚ）は、次式により表される。
　　Ｐ（ｚ）＝（１／Ｎ）×Σｈ（ｄ）
ただし、総和Σは、ｄ＝０からｚまでを定義域とする。すなわち、ここでは視差ｄが正の範囲のみに着目している。負の範囲については、別途同様の処理を行う必要がある。
　図２５（ｂ）は、このようにして得られた平坦化後の視差ｄ'を示している。この累積度数分布Ｐ（ｚ）に基づく平坦化後の視差ｄ'は、正の範囲および負の範囲の両者が視差解析部１２０から視差補正部４５０に供給される。なお、平坦化後の視差ｄ'は、上述のように累積度数分布Ｐ（ｚ）にｄｍａｘを乗じたものであるため、この明細書では広義の累積度数分布として扱う。
　視差補正部４５０は、視差解析部１２０から供給された累積度数分布に基づいて視差補正を行う。すなわち、第１の実施の形態ではシグモイド関数等の非線形関数を用いて視差補正を行っていたが、この第５の実施の形態では累積度数分布の曲線を利用して視差補正を行う。これにより、画像の視差分布に応じて補正特性を動的に変更して視差補正を行うことができる。なお、補正特性設定部１３０によって設定された許容最大視差ｄｍａｘおよび許容最小視差ｄｍｉｎに漸近するようにゲインを調整する点については第１の実施の形態と同様である。
　［動作］
　図２６は、本発明の第５の実施の形態における視差変換装置１００の動作例を示す図である。まず、補正特性設定部１３０において、初期設定として視差補正の補正特性が設定される（ステップＳ９１０）。そして、視差検出部１１０において、入力画像の左画像Ｌおよび右画像Ｒから視差が検出され、視差マップｄＭが生成される（ステップＳ９２０）。また、視差マップｄＭの画像内の視差ｄが視差解析部１２０によって解析され、視差のヒストグラムから累積度数分布が生成される（ステップＳ９３０）。そして、設定された補正特性および累積度数分布により、視差補正部４５０において視差マップｄＭの視差が補正され、補正視差マップｄＭ'が生成される（ステップＳ９４０）。
　このようにして生成された補正視差マップｄＭ'の視差に基づいて、画像合成部１６０において入力画像から出力画像が合成される（ステップＳ９５０）。そして、この合成された出力画像が、表示制御装置３０を介して画像表示装置４０に表示される（ステップＳ９９０）。
　このように、本発明の第５の実施の形態によれば、視差解析部１２０において視差マップｄＭの画像内の視差を解析して得られた累積度数分布を利用して、視差補正部４５０が入力画像の視差を補正する。これにより、画像内の視差に応じて立体画像の奥行き感を動的に変更することができる。
　＜６．第６の実施の形態＞
　［視差変換装置］
　図２７は、本発明の第６の実施の形態における視差変換装置１００の構成例を示す図である。この第６の実施の形態における視差変換装置１００は、第１の実施の形態と比べて、補正特性設定部５３０において成分に応じた補正特性を設定し、視差補正部５５０において成分毎に視差補正を行う点が異なっている。以下、視差補正部５５０による視差補正の内容について説明する。
　［視差補正］
　図２８は、本発明の第６の実施の形態における視差補正部５５０の構成例を示す図である。この視差補正部５５０は、成分分割部５５１と、第１成分視差補正部５５２と、第２成分視差補正部５５３と、成分合成部５５４とを備えている。
　成分分割部５５１は、視差マップｄＭの画像内の視差について成分毎に分割するものである。例えば、視差の大局的な成分として低周波成分を、視差のディテール成分として高周波成分を抽出する。これにより、成分の異なる２つの画像が得られる。この成分分割部５５１としては、例えば、通常の帯域分割フィルタや、エッジ保存型フィルタなどを用いることによって、視差の周波数成分に応じた成分を抽出することができる。
　第１成分視差補正部５５２および第２成分視差補正部５５３は、対応する各成分に対して視差補正を行うものである。この視差補正の際には、補正特性設定部５３０によって設定された補正特性に従って補正を行う。例えば、大局的な成分に対しては、第１の実施の形態において説明したような視差の圧縮を行い、ディテール成分については視差補正を行うことなく（もしくは補正前後で変化のない視差補正により）そのまま保存することが考えられる。これにより、奥行き変化のディテールを維持しつつ、視差のダイナミックレンジを許容範囲内に抑えることができる。なお、第１成分視差補正部５５２および第２成分視差補正部５５３は、請求の範囲に記載の成分視差補正部の一例である。
　成分合成部５５４は、第１成分視差補正部５５２および第２成分視差補正部５５３の出力を合成するものである。この成分合成部５５４は、例えば、加算器により実現することができる。
　なお、ここでは成分分割部５５１が２つの成分に分割することを想定したが、これに限定されず、必要に応じて３以上の成分に分割して、各成分に応じた補正を行うようにしてもよい。
　このように、本発明の第６の実施の形態によれば、成分分割部５５１によって視差成分の異なる複数の画像に分割し、それぞれ異なる補正特性によって視差補正を行うことにより、それぞれの成分に適した視差補正を実現することができる。例えば、ディテール成分については視差補正を抑制することにより、奥行き変化のディテールを維持しつつ、視差のダイナミックレンジを許容範囲内に抑えることができる。
　なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc）等を用いることができる。
　１０　画像記憶装置
　３０　表示制御装置
　４０　画像表示装置
　１００　視差変換装置
　１１０　視差検出部
　１２０　視差解析部
　１３０、５３０　補正特性設定部
　１４０　領域設定部
　１５０、４５０、５５０　視差補正部
　１６０、２６０、３６０　画像合成部
　２６１、３６１　視差／奥行き変換部
　３６２　ダイレクト３Ｄマッピング部
　２６３、３６３　中央単眼画像合成部
　２６４、３６４　３Ｄマッピング部
　２６５、３６５　立体画像合成部
　５５１　成分分割部
　５５２　第１成分視差補正部
　５５３　第２成分視差補正部
　５５４　成分合成部

Claims (14)

  1. 　入力画像の左画像および右画像から視差を検出して、画素または画素群毎の視差を保持する視差マップを生成する視差検出部と、
    　前記視差マップにおける視差を補正する際の補正特性を設定する補正特性設定部と、
    　前記設定された補正特性に従って前記視差マップにおける視差を補正して補正視差マップを生成する視差補正部と、
    　前記補正視差マップに従って前記入力画像の左画像および右画像から出力画像の左画像および右画像を合成する画像合成部と
    を具備する視差変換装置。
  2. 　前記視差マップにおいて少なくとも２つの領域を設定する領域設定部をさらに具備し、
    　前記補正特性設定部は、前記少なくとも２つの領域毎に前記補正特性を設定し、
    　前記視差補正部は、前記視差マップにおける前記少なくとも２つの領域に応じた前記補正特性に従って前記視差マップにおける視差を補正する
    請求項１記載の視差変換装置。
  3. 　前記視差補正部は、前記少なくとも２つの領域が隣接する所定の緩衝領域においては隣接する領域に応じた前記補正特性の加重和に従って前記視差マップにおける視差を補正する請求項２記載の視差変換装置。
  4. 　前記補正特性設定部は、前記少なくとも２つの領域のうち前記視差マップにおける左右端に該当する領域においては手前側への奥行きを抑制するように前記補正特性を設定する請求項２記載の視差変換装置。
  5. 　前記補正特性設定部は、前記視差マップにおける少なくとも２つの成分毎に前記補正特性を設定し、
    　前記視差補正部は、
    　前記視差マップを前記成分毎に分割する成分分割部と、
    　前記成分毎に設定された前記補正特性に従って前記視差マップにおける視差を成分毎に補正する成分視差補正部と、
    　前記成分毎に補正された視差マップを合成して前記補正視差マップを生成する成分合成部と
    を備える
    請求項１記載の視差変換装置。
  6. 　前記補正特性設定部において設定される前記成分は、前記視差マップにおける視差の周波数に応じた成分である請求項５記載の視差変換装置。
  7. 　前記補正特性設定部において設定される前記補正特性は、前記視差マップにおける視差がゼロとなる近傍においては傾きが１であり、前記視差マップにおける視差が大きくなるに従って所定の値に収束する非線形特性である請求項１記載の視差変換装置。
  8. 　前記補正特性設定部において設定される前記補正特性は、シグモイド関数に基づいて定義される請求項７記載の視差変換装置。
  9. 　前記画像合成部は、
    　前記視差マップにおける視差に基づいて前記入力画像の左画像および右画像から中央単眼画像を合成する中央単眼画像合成部と、
    　前記補正視差マップの視差から奥行きに変換して補正奥行きマップを生成する視差／奥行き変換部と、
    　前記補正奥行きマップに基づいて前記中央単眼画像を３次元空間にマッピングすることにより補正３次元マップを生成する３次元マッピング部と、
    　前記補正３次元マップを表示面に射影することによって前記出力画像の右画像および左画像を合成する立体画像合成部と
    を備える
    請求項１記載の視差変換装置。
  10. 　前記画像合成部は、
    　前記視差マップにおける視差に基づいて前記入力画像の左画像および右画像を３次元空間にマッピングすることにより３次元マップを生成するダイレクト３次元マッピング部と、
    　前記３次元マップを仮想中央眼に対する表示面に射影することによって中央単眼画像を合成する中央単眼画像合成部と、
    　前記補正視差マップの視差から奥行きに変換して補正奥行きマップを生成する視差／奥行き変換部と、
    　前記補正奥行きマップに基づいて前記中央単眼画像を３次元空間にマッピングすることにより補正３次元マップを生成する３次元マッピング部と、
    　前記補正３次元マップを表示面に射影することによって前記出力画像の右画像および左画像を合成する立体画像合成部と
    を備える
    請求項１記載の視差変換装置。
  11. 　前記視差マップにおける視差を解析して当該視差の累積度数分布を生成する視差解析部をさらに具備し、
    　前記視差補正部は、前記累積度数分布および前記補正特性に基づいて前記視差マップにおける視差を補正する
    請求項１記載の視差変換装置。
  12. 　左画像および右画像を立体画像の対として備える入力画像を供給する入力画像供給部と、
    　前記入力画像の左画像および右画像から視差を検出して、画素または画素群毎の視差を保持する視差マップを生成する視差検出部と、
    　前記視差マップにおける視差を補正する際の補正特性を設定する補正特性設定部と、
    　前記設定された補正特性に従って前記視差マップにおける視差を補正して補正視差マップを生成する視差補正部と、
    　前記補正視差マップに従って前記入力画像の左画像および右画像から出力画像の左画像および右画像を合成する画像合成部と、
    　前記出力画像を表示する画像表示装置と
    を具備する立体画像表示システム。
  13. 　画素または画素群毎の視差を保持する視差マップにおける視差を補正する際の補正特性を設定する補正特性設定手順と、
    　入力画像の左画像および右画像から視差を検出して、前記視差マップを生成する視差検出手順と、
    　前記視差マップにおける視差を補正する際の補正特性を設定する補正特性設定手順と、
    　前記設定された補正特性に従って前記視差マップにおける視差を補正して補正視差マップを生成する視差補正手順と、
    　前記補正視差マップに従って前記入力画像の左画像および右画像から出力画像の左画像および右画像を合成する画像合成手順と、
    　前記出力画像を表示装置に表示させる画像表示手順と
    を具備する視差変換方法。
  14. 　画素または画素群毎の視差を保持する視差マップにおける視差を補正する際の補正特性を設定する補正特性設定手順と、
    　入力画像の左画像および右画像から視差を検出して、前記視差マップを生成する視差検出手順と、
    　前記設定された補正特性に従って前記視差マップにおける視差を補正して補正視差マップを生成する視差補正手順と、
    　前記補正視差マップに従って前記入力画像の左画像および右画像から出力画像の左画像および右画像を合成する画像合成手順と、
    　前記出力画像を表示装置に表示させる画像表示手順と
    をコンピュータに実行させるためのプログラム。
PCT/JP2011/061972 2010-06-07 2011-05-25 立体画像表示システム、視差変換装置、視差変換方法およびプログラム WO2011155330A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/386,166 US8605994B2 (en) 2010-06-07 2011-05-25 Stereoscopic image display system, disparity conversion device, disparity conversion method and program
BR112012002300A BR112012002300A2 (pt) 2010-06-07 2011-05-25 dispositivo de conversão de disparidade, sistema de exibição de imagem estereoscópica, método de conversão de disparidade, e, programa
CN201180003076.4A CN102474644B (zh) 2010-06-07 2011-05-25 立体图像显示系统、视差转换装置、视差转换方法
EP11792287.2A EP2445223B1 (en) 2010-06-07 2011-05-25 Three-dimensional image display system, disparity conversion device, disparity conversion method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010129507A JP5556394B2 (ja) 2010-06-07 2010-06-07 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2010-129507 2010-06-07

Publications (1)

Publication Number Publication Date
WO2011155330A1 true WO2011155330A1 (ja) 2011-12-15

Family

ID=45097938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061972 WO2011155330A1 (ja) 2010-06-07 2011-05-25 立体画像表示システム、視差変換装置、視差変換方法およびプログラム

Country Status (6)

Country Link
US (1) US8605994B2 (ja)
EP (1) EP2445223B1 (ja)
JP (1) JP5556394B2 (ja)
CN (1) CN102474644B (ja)
BR (1) BR112012002300A2 (ja)
WO (1) WO2011155330A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013157726A (ja) * 2012-01-27 2013-08-15 Canon Inc 撮像装置および撮像装置の制御方法
US20130315472A1 (en) * 2011-02-18 2013-11-28 Sony Corporation Image processing device and image processing method
CN103729860A (zh) * 2013-12-31 2014-04-16 华为软件技术有限公司 一种图像目标跟踪的方法和装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012054912A (ja) * 2010-08-02 2012-03-15 Sharp Corp 映像処理装置、表示装置及び映像処理方法
KR20120055102A (ko) * 2010-11-23 2012-05-31 삼성전자주식회사 영상처리장치 및 영상처리방법
JP5318168B2 (ja) * 2011-09-07 2013-10-16 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
US20130202191A1 (en) * 2012-02-02 2013-08-08 Himax Technologies Limited Multi-view image generating method and apparatus using the same
JP6145779B2 (ja) * 2012-02-02 2017-06-14 サン パテント トラスト 符号化方法、復号方法、符号化装置、および復号装置
TWI432883B (zh) * 2012-03-12 2014-04-01 Silicon Motion Inc 立體取像方法、立體影像攝影機、與立體影像攝影機水平校正機台
CN102692806B (zh) * 2012-06-04 2015-08-05 济南大学 自由视点四维空间视频序列的采集与形成方法
US9628770B2 (en) * 2012-06-14 2017-04-18 Blackberry Limited System and method for stereoscopic 3-D rendering
WO2014007414A1 (en) 2012-07-06 2014-01-09 Lg Electronics Inc. Terminal for increasing visual comfort sensation of 3d object and control method thereof
US20140063206A1 (en) * 2012-08-28 2014-03-06 Himax Technologies Limited System and method of viewer centric depth adjustment
CN103686118A (zh) * 2012-09-19 2014-03-26 珠海扬智电子科技有限公司 影像深度调整方法与装置
US9300942B2 (en) 2012-10-18 2016-03-29 Industrial Technology Research Institute Method and control system for three-dimensional video playback using visual fatigue estimation
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
TWI478146B (zh) * 2013-01-15 2015-03-21 Au Optronics Corp 降低立體影像串擾的方法及其顯示系統
KR101960897B1 (ko) * 2013-02-06 2019-07-16 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 표시 방법
DE102013204301A1 (de) * 2013-03-12 2014-09-18 C.R.S. Iimotion Gmbh Tiefenanpassung von stereoskopischen Bildern
KR20140115854A (ko) * 2013-03-22 2014-10-01 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
US20160150209A1 (en) * 2013-06-19 2016-05-26 Telefonaktiebolaget L M Ericsson (Publ) Depth Range Adjustment of a 3D Video to Match the Depth Range Permissible by a 3D Display Device
CN105432081B (zh) * 2013-08-06 2019-12-31 索尼电脑娱乐公司 三维图像生成设备、三维图像生成方法、程序和信息存储介质
WO2015029318A1 (ja) * 2013-08-26 2015-03-05 パナソニックＩｐマネジメント株式会社 ３次元表示装置および３次元表示方法
JP2015154101A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置及び電子機器
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
JP2017108194A (ja) * 2014-04-22 2017-06-15 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
EP2950269A1 (en) * 2014-05-27 2015-12-02 Thomson Licensing Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
CN104539924A (zh) * 2014-12-03 2015-04-22 深圳市亿思达科技集团有限公司 基于人眼追踪的全息显示方法及全息显示装置
CN104869390B (zh) * 2015-06-15 2017-03-22 四川大学 一种基于投影变换的自由立体显示深度数据校正方法
CN105657401B (zh) * 2016-01-13 2017-10-24 深圳创维－Rgb电子有限公司 一种裸眼3d显示方法、系统及裸眼3d显示装置
WO2018078798A1 (ja) * 2016-10-28 2018-05-03 三菱電機株式会社 表示制御装置及び表示制御方法
CN108600742B (zh) * 2018-05-17 2020-03-20 苏州科技大学 一种基于立体显示的中央眼测试系统及方法
CN112365586B (zh) * 2020-11-25 2023-07-18 厦门瑞为信息技术有限公司 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
WO2023032206A1 (ja) * 2021-09-06 2023-03-09 日本電信電話株式会社 データ処理装置、データ処理方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004221699A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2005091508A (ja) 2003-09-12 2005-04-07 Advanced Telecommunication Research Institute International 立体画像表示装置および立体画像表示方法
JP2006114023A (ja) 2004-10-14 2006-04-27 Sony Corp 画像処理装置及び方法
WO2009139740A1 (en) * 2008-05-12 2009-11-19 Thomson Licensing System and method for measuring potential eyestrain of stereoscopic motion pictures

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787598B2 (ja) * 1991-06-06 1995-09-20 株式会社エイ・ティ・アール視聴覚機構研究所 視差補正装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
JP2001103514A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
GB0329312D0 (en) 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
GB2417628A (en) 2004-08-26 2006-03-01 Sharp Kk Creating a new image from two images of a scene
JP4177826B2 (ja) * 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US7586489B2 (en) * 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
US8311347B2 (en) 2006-11-10 2012-11-13 Microsoft Corporation Image compression based on parameter-assisted inpainting
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
NZ567986A (en) * 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
JP4625517B2 (ja) * 2008-10-27 2011-02-02 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004221699A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2005091508A (ja) 2003-09-12 2005-04-07 Advanced Telecommunication Research Institute International 立体画像表示装置および立体画像表示方法
JP2006114023A (ja) 2004-10-14 2006-04-27 Sony Corp 画像処理装置及び方法
WO2009139740A1 (en) * 2008-05-12 2009-11-19 Thomson Licensing System and method for measuring potential eyestrain of stereoscopic motion pictures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2445223A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130315472A1 (en) * 2011-02-18 2013-11-28 Sony Corporation Image processing device and image processing method
US9361734B2 (en) * 2011-02-18 2016-06-07 Sony Corporation Image processing device and image processing method
US9716873B2 (en) 2011-02-18 2017-07-25 Sony Corporation Image processing device and image processing method
JP2013157726A (ja) * 2012-01-27 2013-08-15 Canon Inc 撮像装置および撮像装置の制御方法
CN103729860A (zh) * 2013-12-31 2014-04-16 华为软件技术有限公司 一种图像目标跟踪的方法和装置

Also Published As

Publication number Publication date
JP5556394B2 (ja) 2014-07-23
EP2445223B1 (en) 2015-07-01
US20120148147A1 (en) 2012-06-14
CN102474644B (zh) 2015-12-16
JP2011259045A (ja) 2011-12-22
BR112012002300A2 (pt) 2016-05-31
EP2445223A4 (en) 2013-06-19
CN102474644A (zh) 2012-05-23
EP2445223A1 (en) 2012-04-25
US8605994B2 (en) 2013-12-10

Similar Documents

Publication Publication Date Title
JP5556394B2 (ja) 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US9934575B2 (en) Image processing apparatus, method and computer program to adjust 3D information based on human visual characteristics
JP5962393B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5444955B2 (ja) 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US8866884B2 (en) Image processing apparatus, image processing method and program
WO2011033673A1 (ja) 画像処理装置
WO2011135760A1 (ja) 立体映像処理装置及び立体映像処理方法
JP5402504B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
JP2010063083A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20120163701A1 (en) Image processing device, image processing method, and program
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20130293533A1 (en) Image processing apparatus and image processing method
JP2012244396A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2014042238A (ja) ３ｄビジュアルコンテントのデプスベースイメージスケーリング用の装置及び方法
JP2013135357A (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
WO2014038476A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US20130187907A1 (en) Image processing apparatus, image processing method, and program
JP5488482B2 (ja) 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
JP2014022867A (ja) 画像処理装置および方法、並びにプログラム
JP2012105202A (ja) 画像処理装置及びその制御方法
JP2012060246A (ja) 画像処理装置、集積回路装置
JP6217486B2 (ja) 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム
JP5691966B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
KR101239149B1 (ko) 다시점 3차원 영상 변환 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003076.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011792287

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13386166

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 877/CHENP/2012

Country of ref document: IN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792287

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012002300

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112012002300

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120131