[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013157779A1 - Image processing apparatus for determining distortion of synthetic image and method therefor - Google Patents

Image processing apparatus for determining distortion of synthetic image and method therefor Download PDF

Info

Publication number
WO2013157779A1
WO2013157779A1 PCT/KR2013/003056 KR2013003056W WO2013157779A1 WO 2013157779 A1 WO2013157779 A1 WO 2013157779A1 KR 2013003056 W KR2013003056 W KR 2013003056W WO 2013157779 A1 WO2013157779 A1 WO 2013157779A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distortion
resolution
determining
depth
Prior art date
Application number
PCT/KR2013/003056
Other languages
French (fr)
Korean (ko)
Inventor
오병태
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130035270A external-priority patent/KR102029680B1/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2013157779A1 publication Critical patent/WO2013157779A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations

Definitions

  • Embodiments are directed to an image processing apparatus and method for determining distortion of a composite image, and more particularly, to an image processing apparatus and method for determining distortion of a composite image in consideration of resolutions of a depth image and a color image.
  • the depth image refers to an image representing depth information of the color image.
  • the depth image is additional information for generating a composite image of two or more color images.
  • the distortion of the depth image used as reference information for compressing the depth image in the 3DV system may be determined as the distortion of the synthesized image corresponding to the intermediate view.
  • the composite image is generated using the color image and the depth image.
  • it is necessary to consider the resolution of the color image and the depth image.
  • it is also necessary to determine the distortion of the final composite image when the composite image corresponding to the plurality of viewpoints exists.
  • An image processing apparatus may include a resampling unit configured to resample a color image and a depth image corresponding to a first view and a second adjacent view; And a distortion determiner configured to determine distortion of the composite image based on the color image and the depth image by using the resampled result.
  • the resampling unit may resample the same to have the same resolution.
  • the resampling unit may resample the resolution so that the resolution is the same when the resolution of the color image is different from each other between the first view and the second view, or the resolution of the depth image is different between the first view and the second view.
  • the resampling unit may resample the resolution so that the resolution is the same when the resolution between the composite image and the depth image or the color image of the intermediate view is different.
  • the distortion determiner may determine the area of the distortion area based on the warped pixels in the composite image as the distortion of the composite image.
  • an image processing apparatus includes a weight determination unit configured to determine a weight of a composite image corresponding to a plurality of intermediate viewpoints with respect to a target viewpoint of a reference image; And a distortion determiner configured to determine distortion of the final synthesized image related to the reference image by using the determined weight.
  • the weight determining unit may determine a weight in consideration of the number of the intermediate viewpoints and the distance between the target viewpoint and the intermediate viewpoint.
  • the weight determiner may determine a weight to be applied to distortion of a composite image corresponding to a plurality of intermediate views in order to determine distortion of a target view of the reference image.
  • the distortion determiner may determine the distortion of the final synthesized image by applying a weight to an area of the distortion area based on the warped pixels in the synthesized image.
  • An image processing method may include resampling in consideration of resolutions of a color image and a depth image corresponding to a first view and a second adjacent view; And determining distortion of the synthesized image based on the color image and the depth image using the resampled result.
  • the resampling may include resampling such that the resolution is the same when the resolution between the color image and the depth image is different from each other at the first or second viewpoint.
  • the resampling may include resampling such that the resolution is the same when the resolution of the color image is different between the first view and the second view, or when the resolution of the depth image is different between the first view and the second view.
  • the resampling may include resampling such that the resolution is the same when the resolution between the composite image of the intermediate view and the input depth image or color image is different.
  • the area of the distortion area based on the warped pixels in the composite image may be determined as the distortion of the composite image.
  • an image processing method includes determining a weight of a synthesized image corresponding to a plurality of intermediate viewpoints with respect to a target viewpoint of a reference image; And determining the distortion of the final synthesized image related to the reference image by using the determined weight.
  • the weight may be determined in consideration of the number of the intermediate viewpoints and the distance between the target viewpoint and the intermediate viewpoint.
  • the determining of the weight may include determining a weight to be applied to distortion of a composite image corresponding to a plurality of intermediate views in order to determine distortion of a target view of the reference image.
  • the determining of the distortion of the final synthesized image may be determined as the distortion of the final synthesized image by applying a weight to an area of the distortion area based on the warped pixels in the synthesized image.
  • FIG. 1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating an image processing apparatus according to another exemplary embodiment.
  • FIG. 3 is a diagram illustrating a method of determining distortion of a composite image.
  • FIG. 4 is a diagram illustrating a process of generating a composite image of an intermediate view.
  • FIG. 5 is a diagram illustrating a distortion area of a composite image of an intermediate view.
  • FIG. 6 is a diagram illustrating a distortion area of a composite image of an intermediate view derived according to linear interpolation.
  • FIG. 7 is a diagram illustrating a process of determining distortion of a composite image of an intermediate view using a triangle.
  • FIG. 8 is a diagram illustrating a process of determining distortion of a synthesized image when an occlusion area occurs.
  • FIG. 9 is a diagram illustrating a process of determining distortion of a composite image when the resolutions of the color image and the depth image are different at the same time point.
  • FIG. 10 is a diagram illustrating a process of determining distortion of a composite image when resolutions of a color image and a depth image are different between viewpoints.
  • FIG. 11 is a diagram illustrating a process of determining a distortion of a final synthesized image from a plurality of intermediate views of composite images.
  • FIG. 1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment.
  • the image processing apparatus 100 may include a resampling unit 101 and a distortion determiner 102.
  • the resampling unit 101 may resample by considering the resolutions of the color image and the depth image corresponding to the first viewpoint and the adjacent second viewpoint.
  • the color image may be represented by a texture applied to the 3D object.
  • the depth image may be represented as a depth map.
  • the resampling unit 101 when the resolution between the color image and the depth image is different from each other at the first or second view, resampling unit 101 resamples any one of the color image and the depth image such that the resolutions of the color image and the depth image are the same. can do. That is, when the color image and the depth image have different resolutions at the same time, the resampling unit 101 may resample the color image and the depth image to have the same resolution.
  • the resampling unit 101 when the resolution of the color image is different from each other or the resolution of the depth image is different between the first view and the second view, the resampling unit 101 resamples the same resolution. can do. That is, when the color images have different resolutions at different viewpoints, the resampling unit 101 may resample the color images to have the same resolution. Similarly, when the depth images have different resolutions at different viewpoints, the resampling unit 101 may resample the resolutions of the depth images between viewpoints.
  • the resampling unit 101 may resample the same resolution. That is, when the resolution between the composite image and the depth image is different or when the resolution between the composite image and the color image is different, the resampling unit 101 may resample the same resolution.
  • the distortion determiner 102 may determine the distortion of the synthesized image based on the color image and the depth image by using the resampled result. That is, the image processing apparatus may determine the distortion of the synthesized image after matching the resolutions of the depth image and the color image at the same time point and at different time points. As described above, the distortion of the depth image used to encode the depth image may be determined as the distortion of the composite image based on the depth image and the color image.
  • the distortion determiner 102 may determine the area of the distortion area based on the warped pixels in the composite image as the distortion of the composite image.
  • the distortion area may be generated by determining the actual value of the warped pixels to be different from each other due to the encoding / decoding of the color image or the encoding / decoding of the depth image.
  • FIG. 2 is a diagram illustrating an image processing apparatus according to another exemplary embodiment.
  • the image processing apparatus 200 may include a weight determiner 201 and a distortion determiner 202.
  • the weight determiner 201 may determine weights associated with the composite image corresponding to the plurality of intermediate views. For example, the weight determiner 201 may determine the weight in consideration of the number and positions of the intermediate views. In detail, the weight determiner 201 may determine, as a weight, an influence of the composite image corresponding to the plurality of intermediate views on the reference image. A process of determining the weight will be described in more detail with reference to FIG. 11.
  • the distortion determiner 202 may determine the distortion of the final composite image related to the reference image by using the weight.
  • FIG. 3 is a diagram illustrating a method of determining distortion of a composite image.
  • Distortion of the composite image at the midpoint is called ground-truth as the intermediate image (V) synthesized by the warping function (f w ) based on the original color image (C) and the original depth image (D).
  • V intermediate image synthesized by the warping function (f w ) based on the original color image (C) and the original depth image (D).
  • the difference between the color image C ′ generated through the encoding / decoding process and the intermediate image V ′ synthesized into the depth image D ′ is calculated.
  • the distortion of the composite image of the intermediate view may be determined according to Equation 1 below.
  • D syn represents a distortion of a synthesized image of an intermediate view.
  • C denotes an original color image
  • D denotes an original depth image
  • C ′ denotes a color image generated through an encoding / decoding process
  • D ′ denotes a depth image generated through an encoding / decoding process.
  • the color image C ' means a result in which the noise of the color image generated by encoding or decoding is included in the original color image C
  • the depth image D' is generated by encoding or decoding in the original depth image D. It means the result that includes the noise of the depth image.
  • V means an intermediate image obtained by combining the color image C and the depth image D with the warping function f w
  • Equation 1 the disparity error of the actual depth image represents a linear relationship with the depth error of the depth image.
  • the shift error of the depth image is determined by Equation 2 below.
  • Equation (2) Denotes a shift error of the depth image, and ⁇ Depth denotes a depth error of the depth image caused by noise generated during the encoding / decoding process.
  • a denotes a parameter determined by a camera setting value, and ⁇ x denotes a distance between a currently encoded view and a view of a composite image.
  • Equation 3 the distortion of the composite image of the intermediate view is expressed by Equation 3 below.
  • D syn denotes a distortion of the synthesized image of an intermediate view
  • C denotes an original color image
  • C ′ denotes a color image including noise of a color image generated by encoding or decoding in the original color image C.
  • C (x, y) means pixels of the original color image. Denotes a shift error of the depth image, and p denotes an arbitrary value.
  • Equation 3 shows Equation 3 in a simpler form.
  • the pixel C (x, y) of the arbitrary color image should be moved to the position of C (x ', y) in the composite image of the intermediate view by the depth value D (x, y).
  • the depth value D (x, y) is changed to the depth value D '(x, y) due to an error generated through the encoding / decoding process.
  • the pixel C (x, y) of the color image is actually (x '+ ⁇ D (x, y), y) rather than (x', y) due to an error of the depth value D (x, y).
  • ⁇ D (x, y) means the difference between D (x, y) and D '(x, y).
  • Equation 3 represents the pixel C (x, y) of the color image moving to C (x ', y) and the pixel C' of the color image moving to the position (x '+ ⁇ D (x, y), y).
  • the difference between (x + ⁇ D (x, y), y) is defined as the distortion of the composite image at the intermediate view.
  • FIG. 4 is a diagram illustrating a process of generating a composite image of an intermediate view.
  • pixel C of each color image k is warped by the pixel D k of the corresponding depth image.
  • each pixel may not exactly match the integer grid indicated by the dotted line in the actual midpoint composite image.
  • the values reflected in the actual integer grid are interpolated values.
  • FIG. 5 is a diagram illustrating a distortion area of a composite image of an intermediate view.
  • pixels C ' 1 ... C' n of a color image are changed to pixels D ' 1 ... D' n of a depth image.
  • values that should be actually warped may be warped to other values due to an error generated by an encoding / decoding process.
  • an area existing between curves A (x) and B (x) may be defined as a distortion area.
  • Equation 4 the distortion of the composite image of the intermediate view is determined according to Equation 4 below.
  • Equation 4 D syn denotes a distortion of a synthesized image of an intermediate view. That is, according to Equation 4, when the interpolated curve A (x) is changed to a curve B (x) reflecting an error based on encoding or decoding after the original image is warped, the distortion of the composite image of the intermediate view is curved A ( The area of the distortion area existing between x) and the curve B (x) is determined.
  • FIG. 6 is a diagram illustrating a distortion area of a composite image of an intermediate view derived according to linear interpolation.
  • FIG. 6 shows the result of simplifying FIG. 5 according to an interpolation method. Then, as illustrated in FIG. 6, the area of the distortion area of the synthesized image of the intermediate view may be more simply calculated by using a straight line that simplifies the curve according to the interpolation method.
  • FIG. 6 a linear interpolation scheme is applied to obtain the area of the distortion region. Then, the curve shown in FIG. 5 becomes a straight line connecting two points by linear interpolation as shown in FIG.
  • a distance value per pixel may be calculated, squared and added without processing several pixel values constituting the curve at once.
  • an error generated when the current pixel value (C k , D k ) is changed to the value (C ′ k , D ′ k ) due to encoding or decoding is considered. That is, the region shown in FIG. 6 occurs due to an error generated in the pixel at the k position.
  • linear interpolation is applied to the curve so that an error of a pixel in which a straight line exists at a specific position affects pixels located around the specific position. That is, if an error occurs in the pixel at the k position, it is influenced by the pixel values existing at the (k-1) position and the (k + 1) position.
  • the distortion caused by the pixel at the k position may be determined by the area of the distortion region generated due to the error of the pixel at the k position.
  • the distortion based on the pixel at the k position in Figure 6 is determined by the following equation (5).
  • Equation 5 ⁇ D syn denotes a distortion generated due to an error of a pixel at a k position, and k, k ⁇ 1, and k + 1 denote a pixel position.
  • a (K) represents the value of the k position in the linear interpolated curve A (X)
  • B (K) represents the value of the k position in the linear interpolated curve B (X).
  • Equation 6 the final distortion of all the pixels present in the linear interpolated curve is determined by Equation 6 below.
  • the final distortion D syn can be derived by adding all the DELTA D syn generated due to the error of each pixel present in the linear interpolated curve.
  • p means any number.
  • FIG. 7 is a diagram illustrating a process of determining distortion of a composite image of an intermediate view using a triangle.
  • FIG. 7 illustrates a simpler process of calculating Equation 5 described above. If only the decoded color image C 'is used without using the original color image C, the error is only in the y-axis direction as shown in FIG. Is generated. As a result, the area of the distortion area caused by the error of the pixel at the k position may be determined by the area of a triangle composed of pixels at k, k-1, and k + 1 positions constituting the decoded color image C ′.
  • Equation 7 the area of the distortion region of FIG. 7 may be represented by Equation 7 below.
  • Equation 7 D syn means distortion generated due to an error of a pixel at a k position in FIG. 7.
  • DELTA D can be derived from Equation 2.
  • the decoded color image is used when calculating the distortion based on the distortion region.
  • the decoded color image may be replaced with other similar information.
  • the original color image may be used instead of the decoded color image.
  • a color image in which a specific filter is applied to the original color image may be used instead of the decoded color image.
  • the filter and the filter parameter may be more accurately determined based on the relationship between the original color image of the adjacent view and the decoded color image.
  • FIG. 8 is a diagram illustrating a process of determining distortion of a synthesized image when an occlusion area occurs.
  • the pixel value of the color image which is influenced next after the current pixel C (x, y) through a warping process is not C (x + 1, y) but C (x + 3, y).
  • the distortion region may be expressed according to Equation 8 in consideration of the problems caused by the occlusion region or the hole region after the actual warping.
  • Equation 8 D syn means distortion generated due to an error of a pixel at a k position in FIG. 8.
  • DELTA D can be derived from Equation 2.
  • k L and k R are determined according to the following equation (9).
  • Equation 9 k L represents a position (k-1 to kl) of a pixel existing on the left side of the k position when an error occurs in the pixel at the k position.
  • K R represents a position (k + 1 to k + r) of the pixel existing on the right side with respect to the k position.
  • Equation 9 the condition that the distortion area becomes 0 is when the value of the current pixel is located in the occlusion area after warping. In this case, since the value of k L is greater than 0, the value of the distortion function of the synthesized image may be set to 0.
  • VSD mid-view synthesis distortion
  • SSD sum of squared distortion
  • SAD sum of absolute distortion
  • Equation 10 Dist denotes a distortion finally used, VSD denotes a distortion of a synthesis region at an intermediate time point, and SSD denotes a conventional distortion.
  • means a weight greater than 0 and less than 1.
  • ⁇ V which is a Lagrangian multiplier applied to the rate-distortion cost function based on VSD
  • ⁇ D which is a Lagrangian multiplier applied to the rate-distortion cost function based on SSD.
  • the final rate-distortion cost function J may be expressed as a weighted sum of the SSD-based cost function J D and the VSD-based cost function J V , as shown in Equation 11 below.
  • Equation 11 J means a rate-distortion cost function, ⁇ means a weight greater than 0 and less than 1, and may be provided as a configuration of an encoding apparatus.
  • VSD View Synthesis Distortion
  • SSD Sud of Squared Distortion
  • the SSD may be determined by summing the square of the difference between the original depth block and the encoded depth block.
  • ⁇ V denotes a Lagrange multiplier applied to the VSD-based rate-distortion cost function
  • ⁇ D denotes a Lagrange multiplier applied to the SSD-based rate-distortion cost function.
  • ⁇ V can be adjusted because VSD takes a different distortion domain. Referring to Equation 11, it can be seen that the depth distortion in the high texture area is generally more harmful to the rate-distortion cost function than the distortion of the depth image in the low texture area.
  • the rate-distortion cost function obtained in Equation 11 is changed according to the viewpoint of the synthesized image. If there are two or more viewpoints of the composite image, the rate-distortion cost function is finally determined by the weighted sum of the cost functions obtained at each of the viewpoints of the composite image.
  • FIG. 9 is a diagram illustrating a process of determining distortion of a composite image when the resolutions of the color image and the depth image are different at the same time point.
  • Coding distortion in the depth image may not linearly affect the distortion of the synthesized image.
  • the influence of the distortion of the depth image may vary according to the information of the corresponding color image. For example, the same depth distortion in the region where color is present and the region where color is not present may cause distortion of different composite images.
  • a new type of distortion function for measuring view distortion of a synthesized image by analyzing view warping or view rendering is required.
  • the distortion of the composite image may be determined by Equation 12.
  • the synthesized image is synthesized from images of different viewpoints, and the distortion of the synthesized image may be expressed as view synthesis distortion (VSD).
  • VSD view synthesis distortion
  • C means an original color image
  • D means an original depth image.
  • x, y represents the pixel position in the macro block. Denotes a proportional coefficient and may be determined by a 3D camera parameter. May be determined according to Equation 13.
  • Equation 13 f denotes a focal length of a camera, and L denotes a baseline between a current view and a rendered view.
  • Z near means the depth closest to the scene, and Z far means the depth farthest from the scene.
  • Equation 12 may be changed to Equation 14 below.
  • C I means a color image at view I, which is a basic view.
  • Equations 12 to 15 are determined assuming that the resolutions of the depth image and the color image are the same. If the resolutions of the depth image and the color image are different from each other, it is necessary to adjust the resolutions of the depth image and the color image in order to apply the equations (12) to (15). For example, if the resolution of the depth image is 1/2 of the resolution of the color image, it is necessary to adjust the resolution so that the resolution of the depth image is the same as the resolution of the color image.
  • the image processing apparatus may make the resolutions of the depth image and the color image the same through resampling. As mentioned above, if the resolution of the depth image is 1/2 of the resolution of the color image, it is necessary to increase the resolution by upsampling the depth image. Then, the image processing apparatus may determine the distortion of the composite image by using Equation 12 instead of the modified Equation 16. In this case, the image processing apparatus may compress the depth image and then resample it in the process of compositing the color image. Resampling may be performed through image interpolation.
  • the resolution of the depth image may be lower than that of the color image. Therefore, the image processing apparatus may perform resampling for each block in the depth image such that the resolution of the color image and the resolution of the depth image are the same.
  • the color image C1 902 and the depth image D1 903 have different resolutions at a time point 1.
  • the color image C2 904 and the depth image D2 905 have different resolutions.
  • the image processing apparatus may resample the depth image D1 903 such that the resolution of the depth image D1 903 is the same as the resolution of the color image C1 902.
  • the image processing apparatus may resample the depth image D2 905 such that the resolution of the depth image D2 905 is the same as the resolution of the color image C2 904.
  • the synthesized image 901 of the intermediate view is generated according to the resampled result, and the image processing apparatus may determine the distortion of the synthesized image 901.
  • FIG. 10 is a diagram illustrating a process of determining distortion of a composite image when resolutions of a color image and a depth image are different between viewpoints.
  • the color image C1 1002 and the depth image D1 1003 have the same resolution at a time point 1.
  • the color image C1 1002 of the viewpoint 1 and the color image C2 1004 of the viewpoint 2 are different from each other in resolution.
  • the depth image D1 1003 of the viewpoint 1 and the depth image D2 1005 of the viewpoint 2 are different from each other in resolution.
  • the image processing apparatus may resample the color image C1 1002 such that the resolution of the color image C1 1002 and the resolution of the color image C2 1004 are the same.
  • the image processing apparatus may resample the depth image D1 1003 such that the resolution of the depth image D1 1003 and the resolution of the depth image D2 1005 are the same.
  • the resolution of the composite image 1001 may be different from that of the color image C2 1004 and the depth image D2 1005.
  • the image processing apparatus may resample the color image C1 1002, the depth image D1 1003, the color image C2 1004, and the depth image D2 1005 to have the same resolution as that of the composite image 1001. have.
  • FIG. 11 is a diagram illustrating a process of determining a distortion of a final synthesized image from a plurality of intermediate views of composite images.
  • the image processing apparatus may combine the synthesized images V1, V2, and V3 1102 to 1104 corresponding to a plurality of intermediate viewpoints. It is available.
  • VSD means distortion of a composite image corresponding to one viewpoint. If there are composite images corresponding to N intermediate views, the distortion of the final composite image may be determined according to Equation 17 below.
  • Equation 17 is an average of the composite distortion VSD i at each intermediate time i.
  • W i denotes a weight of the intermediate view i on the final synthesized image. That is, when generating the final synthesized image for the reference image, W i represents the contribution of the synthesized image corresponding to the intermediate view i to the final synthesized image.
  • N represents the number of synthesized images of intermediate views.
  • W i may mean a weight indicating how much the current view i contributes to the rendered target view point. In this case, the closer the current time i is to the target time, the larger W i may be.
  • a viewpoint of the reference image C1 1101 may be defined as a target viewpoint.
  • the distortion at the target viewpoint may be determined as the distortion of the composite image of the plurality of intermediate viewpoints adjacent to the target viewpoint.
  • an intermediate viewpoint adjacent to the target viewpoint corresponding to the reference image C1 1101 means a viewpoint of the synthesized image V1 1102, the synthesized image V2 1103, and the synthesized image V3 1104.
  • the distortion at the target viewpoint may be determined by applying weights to the plurality of composite images.
  • the weight of each of the intermediate images of the intermediate view with respect to the distortion at the target view may increase as the target view is closer.
  • the composite image V1 1102 is positioned at 1/4 between the reference image C1 1101 and the reference image C2 1102.
  • the synthesized image V2 1103 is located at 1/2 between the reference image C1 1101 and the reference image C2 1102.
  • the composite image V3 1104 is positioned at 3/4 between the reference image C1 1101 and the reference image C2 1102. Then, the weight of the composite image V1 1102 is 3/4 with respect to the distortion of the target viewpoint.
  • the weight of the composite image V2 1103 is 2/4 and the weight of the composite image V3 1104 is 1/4 with respect to the distortion of the target viewpoint.
  • the distortion of the final composite image related to the reference image C1 1101 may be determined as in Equation 18 below.
  • the image processing apparatus may determine the distortion of the final composite image in a simple manner according to Equation 19 below.
  • the final distortion of the final synthesized image may be determined using only one operation without N VSD operations.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

An image processing apparatus for defining a synthetic function of a synthetic image and a method therefor are disclosed. The image processing apparatus can define a distortion function of a synthetic image after re-sampling on the basis of the resolution of a depth image and a color image corresponding to the same point in time or different points in time.

Description

합성 영상의 왜곡을 결정하는 영상 처리 장치 및 방법Image processing apparatus and method for determining distortion of a composite image
실시예들은 합성 영상의 왜곡을 결정하는 영상 처리 장치 및 방법에 관한 것으로, 보다 구체적으로는 깊이 영상과 컬러 영상의 해상도를 고려하여 합성 영상의 왜곡을 결정하는 영상 처리 장치 및 방법에 관한 것이다.Embodiments are directed to an image processing apparatus and method for determining distortion of a composite image, and more particularly, to an image processing apparatus and method for determining distortion of a composite image in consideration of resolutions of a depth image and a color image.
깊이 영상은 컬러 영상이 가지고 있는 깊이 정보를 표현하는 영상을 의미한다. 3DV 시스템에서 깊이 영상은 2장 이상의 컬러 영상에 대한 합성 영상을 생성하기 위한 부가 정보이다. 3DV 시스템에서 깊이 영상을 압축하기 위해 기준 정보로 이용하는 깊이 영상의 왜곡은 중간 시점에 대응하는 합성 영상의 왜곡으로 결정될 수 있다.The depth image refers to an image representing depth information of the color image. In the 3DV system, the depth image is additional information for generating a composite image of two or more color images. The distortion of the depth image used as reference information for compressing the depth image in the 3DV system may be determined as the distortion of the synthesized image corresponding to the intermediate view.
이 때, 합성 영상은 컬러 영상과 깊이 영상을 이용하여 생성된다. 하지만, 합성 영상을 생성할 때, 컬러 영상과 깊이 영상의 해상도를 고려할 필요가 있다. 뿐만 아니라, 복수의 시점에 대응하는 합성 영상이 존재할 때 최종적인 합성 영상의 왜곡을 결정하는 것도 필요하다.At this time, the composite image is generated using the color image and the depth image. However, when generating the composite image, it is necessary to consider the resolution of the color image and the depth image. In addition, it is also necessary to determine the distortion of the final composite image when the composite image corresponding to the plurality of viewpoints exists.
일실시예에 따른 영상 처리 장치는 제1 시점 및 인접한 제2 시점에 대응하는 컬러 영상 및 깊이 영상의 해상도를 고려하여 리샘플링하는 리샘플링부; 및 리샘플링된 결과를 이용하여 컬러 영상 및 깊이 영상에 기초한 합성 영상의 왜곡(distortion)을 결정하는 왜곡 결정부를 포함할 수 있다.An image processing apparatus according to an embodiment may include a resampling unit configured to resample a color image and a depth image corresponding to a first view and a second adjacent view; And a distortion determiner configured to determine distortion of the composite image based on the color image and the depth image by using the resampled result.
상기 리샘플링부는, 제1 시점 또는 제2 시점에서 컬러 영상과 깊이 영상 간의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링할 수 있다.When the resolution between the color image and the depth image is different from each other at the first or second view, the resampling unit may resample the same to have the same resolution.
상기 리샘플링부는, 제1 시점과 제2 시점 간에 컬러 영상의 해상도가 서로 다르거나 또는 제1 시점과 제2 시점 간에 깊이 영상의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링할 수 있다.The resampling unit may resample the resolution so that the resolution is the same when the resolution of the color image is different from each other between the first view and the second view, or the resolution of the depth image is different between the first view and the second view.
상기 리샘플링부는, 상기 중간 시점의 합성 영상 및 깊이 영상 또는 컬러 영상 간의 해상도가 다른 경우, 상기 해상도가 동일하도록 리샘플링할 수 있다.The resampling unit may resample the resolution so that the resolution is the same when the resolution between the composite image and the depth image or the color image of the intermediate view is different.
상기 왜곡 결정부는, 상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적을 합성 영상의 왜곡으로 결정할 수 있다.The distortion determiner may determine the area of the distortion area based on the warped pixels in the composite image as the distortion of the composite image.
다른 실시예에 따른 영상 처리 장치는 참조 영상의 타겟 시점에 대해 복수의 중간 시점에 대응하는 합성 영상의 가중치를 결정하는 가중치 결정부; 및 상기 결정된 가중치를 이용하여 참조 영상과 관련된 최종적인 합성 영상의 왜곡을 결정하는 왜곡 결정부를 포함할 수 있다.According to another exemplary embodiment, an image processing apparatus includes a weight determination unit configured to determine a weight of a composite image corresponding to a plurality of intermediate viewpoints with respect to a target viewpoint of a reference image; And a distortion determiner configured to determine distortion of the final synthesized image related to the reference image by using the determined weight.
상기 가중치 결정부는, 상기 중간 시점의 개수와 타겟 시점과 중간 시점 간의 거리를 고려하여 가중치를 결정할 수 있다. The weight determining unit may determine a weight in consideration of the number of the intermediate viewpoints and the distance between the target viewpoint and the intermediate viewpoint.
상기 가중치 결정부는, 상기 참조 영상의 타겟 시점의 왜곡을 결정하기 위해 복수의 중간 시점에 대응하는 합성 영상의 왜곡에 적용될 가중치를 결정할 수 있다.The weight determiner may determine a weight to be applied to distortion of a composite image corresponding to a plurality of intermediate views in order to determine distortion of a target view of the reference image.
상기 왜곡 결정부는, 상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적에 가중치를 적용하여 최종적인 합성 영상의 왜곡으로 결정할 수 있다.The distortion determiner may determine the distortion of the final synthesized image by applying a weight to an area of the distortion area based on the warped pixels in the synthesized image.
일실시예에 따른 영상 처리 방법은 제1 시점 및 인접한 제2 시점에 대응하는 컬러 영상 및 깊이 영상의 해상도를 고려하여 리샘플링하는 단계; 및 리샘플링된 결과를 이용하여 컬러 영상 및 깊이 영상에 기초한 합성 영상의 왜곡(distortion)을 결정하는 단계를 포함할 수 있다.An image processing method according to an embodiment may include resampling in consideration of resolutions of a color image and a depth image corresponding to a first view and a second adjacent view; And determining distortion of the synthesized image based on the color image and the depth image using the resampled result.
상기 리샘플링하는 단계는, 제1 시점 또는 제2 시점에서 컬러 영상과 깊이 영상 간의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링할 수 있다.The resampling may include resampling such that the resolution is the same when the resolution between the color image and the depth image is different from each other at the first or second viewpoint.
상기 리샘플링하는 단계는, 제1 시점과 제2 시점 간에 컬러 영상의 해상도가 서로 다르거나 또는 제1 시점과 제2 시점 간에 깊이 영상의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링할 수 있다.The resampling may include resampling such that the resolution is the same when the resolution of the color image is different between the first view and the second view, or when the resolution of the depth image is different between the first view and the second view.
상기 리샘플링하는 단계는, 상기 중간 시점의 합성 영상 및 입력된 깊이 영상 또는 컬러 영상 간의 해상도가 다른 경우, 상기 해상도가 동일하도록 리샘플링할 수 있다.The resampling may include resampling such that the resolution is the same when the resolution between the composite image of the intermediate view and the input depth image or color image is different.
상기 합성 영상의 왜곡을 결정하는 단계는, 상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적을 합성 영상의 왜곡으로 결정할 수 있다.In the determining of the distortion of the composite image, the area of the distortion area based on the warped pixels in the composite image may be determined as the distortion of the composite image.
다른 실시예에 따른 영상 처리 방법은 참조 영상의 타겟 시점에 대해 복수의 중간 시점에 대응하는 합성 영상의 가중치를 결정하는 단계; 및 상기 결정된 가중치를 이용하여 참조 영상과 관련된 최종적인 합성 영상의 왜곡을 결정하는 단계를 포함할 수 있다.According to another exemplary embodiment, an image processing method includes determining a weight of a synthesized image corresponding to a plurality of intermediate viewpoints with respect to a target viewpoint of a reference image; And determining the distortion of the final synthesized image related to the reference image by using the determined weight.
상기 가중치를 결정하는 단계는, 상기 중간 시점의 개수와 타겟 시점과 중간 시점 간의 거리를 고려하여 가중치를 결정할 수 있다.In the determining of the weight, the weight may be determined in consideration of the number of the intermediate viewpoints and the distance between the target viewpoint and the intermediate viewpoint.
상기 가중치를 결정하는 단계는, 상기 참조 영상의 타겟 시점의 왜곡을 결정하기 위해 복수의 중간 시점에 대응하는 합성 영상의 왜곡에 적용될 가중치를 결정할 수 있다.The determining of the weight may include determining a weight to be applied to distortion of a composite image corresponding to a plurality of intermediate views in order to determine distortion of a target view of the reference image.
상기 최종적인 합성 영상의 왜곡을 결정하는 단계는, 상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적에 가중치를 적용하여 최종적인 합성 영상의 왜곡으로 결정할 수 있다.The determining of the distortion of the final synthesized image may be determined as the distortion of the final synthesized image by applying a weight to an area of the distortion area based on the warped pixels in the synthesized image.
도 1은 일실시예에 따른 영상 처리 장치를 도시한 도면이다.1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment.
도 2는 다른 실시예에 따른 영상 처리 장치를 도시한 도면이다.2 is a diagram illustrating an image processing apparatus according to another exemplary embodiment.
도 3은 합성 영상의 왜곡을 결정하는 방법을 도시한 도면이다.3 is a diagram illustrating a method of determining distortion of a composite image.
도 4는 중간 시점의 합성 영상을 생성하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of generating a composite image of an intermediate view.
도 5는 중간 시점의 합성 영상에 대한 왜곡 영역을 도시한 도면이다.5 is a diagram illustrating a distortion area of a composite image of an intermediate view.
도 6은 선형 보간에 따라 도출된 중간 시점의 합성 영상의 왜곡 영역을 도시한 도면이다.FIG. 6 is a diagram illustrating a distortion area of a composite image of an intermediate view derived according to linear interpolation.
도 7은 삼각형을 이용하여 중간 시점의 합성 영상의 왜곡을 결정하는 과정을 도시한 도면이다.FIG. 7 is a diagram illustrating a process of determining distortion of a composite image of an intermediate view using a triangle.
도 8은 폐색 영역이 발생했을 때 합성 영상의 왜곡을 결정하는 과정을 도시한 도면이다.8 is a diagram illustrating a process of determining distortion of a synthesized image when an occlusion area occurs.
도 9는 같은 시점에서 컬러 영상과 깊이 영상의 해상도가 서로 다른 경우 합성 영상의 왜곡을 결정하는 과정을 설명하는 도면이다.FIG. 9 is a diagram illustrating a process of determining distortion of a composite image when the resolutions of the color image and the depth image are different at the same time point.
도 10은 컬러 영상과 깊이 영상의 해상도가 시점 간에 서로 다른 경우 합성 영상의 왜곡을 결정하는 과정을 설명하는 도면이다.FIG. 10 is a diagram illustrating a process of determining distortion of a composite image when resolutions of a color image and a depth image are different between viewpoints.
도 11은 복수의 중간 시점의 합성 영상으로부터 최종적인 합성 영상의 왜곡을 결정하는 과정을 설명하는 도면이다.FIG. 11 is a diagram illustrating a process of determining a distortion of a final synthesized image from a plurality of intermediate views of composite images.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일실시예에 따른 영상 처리 장치를 도시한 도면이다.1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment.
영상 처리 장치(100)는 리샘플링부(101) 및 왜곡 결정부(102)를 포함할 수 있다.The image processing apparatus 100 may include a resampling unit 101 and a distortion determiner 102.
리샘플링부(101)는 제1 시점 및 인접한 제2 시점에 대응하는 컬러 영상 및 깊이 영상의 해상도를 고려하여 리샘플링할 수 있다. 경우에 따라, 컬러 영상은 3차원 오브젝트에 적용되는 텍스쳐(texture)로 표현될 수 있다. 그리고, 깊이 영상은 깊이 맵(depth map)으로 표현될 수 있다.The resampling unit 101 may resample by considering the resolutions of the color image and the depth image corresponding to the first viewpoint and the adjacent second viewpoint. In some cases, the color image may be represented by a texture applied to the 3D object. The depth image may be represented as a depth map.
일례로, 리샘플링부(101)는 제1 시점 또는 제2 시점에서 컬러 영상과 깊이 영상 간의 해상도가 서로 다른 경우, 컬러 영상과 깊이 영상의 해상도가 서로 동일하도록 컬러 영상 또는 깊이 영상 중 어느 하나를 리샘플링할 수 있다. 즉, 동일 시점에서 컬러 영상과 깊이 영상이 서로 다른 해상도를 가지는 경우, 리샘플링부(101)는 컬러 영상과 깊이 영상이 동일한 해상도를 가지도록 리샘플링할 수 있다.For example, when the resolution between the color image and the depth image is different from each other at the first or second view, the resampling unit 101 resamples any one of the color image and the depth image such that the resolutions of the color image and the depth image are the same. can do. That is, when the color image and the depth image have different resolutions at the same time, the resampling unit 101 may resample the color image and the depth image to have the same resolution.
다른 일례로, 리샘플링부(101)는 제1 시점과 제2 시점 간에 컬러 영상의 해상도가 서로 다르거나 또는 제1 시점과 제2 시점 간에 깊이 영상의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링할 수 있다. 즉, 서로 다른 시점에서 컬러 영상이 다른 해상도를 가지는 경우, 리샘플링부(101)는 시점 간 컬러 영상의 해상도가 동일하도록 리샘플링할 수 있다. 마찬가지로, 서로 다른 시점에서 깊이 영상이 다른 해상도를 가지는 경우, 리샘플링부(101)는 시점 간 깊이 영상의 해상도가 동일하도록 리샘플링할 수 있다.As another example, when the resolution of the color image is different from each other or the resolution of the depth image is different between the first view and the second view, the resampling unit 101 resamples the same resolution. can do. That is, when the color images have different resolutions at different viewpoints, the resampling unit 101 may resample the color images to have the same resolution. Similarly, when the depth images have different resolutions at different viewpoints, the resampling unit 101 may resample the resolutions of the depth images between viewpoints.
또 다른 일례로, 리샘플링부(101)는 중간 시점의 합성 영상 및 깊이 영상 또는 컬러 영상 간의 해상도가 다른 경우, 해상도가 동일하도록 리샘플링할 수 있다. 즉, 합성 영상과 깊이 영상 간의 해상도가 다른 경우 또는 합성 영상과 컬러 영상 간의 해상도가 다른 경우, 리샘플링부(101)는 해상도가 동일하도록 리샘플링할 수 있다.As another example, when the resolution between the composite image and the depth image or the color image of the intermediate view is different, the resampling unit 101 may resample the same resolution. That is, when the resolution between the composite image and the depth image is different or when the resolution between the composite image and the color image is different, the resampling unit 101 may resample the same resolution.
리샘플링하는 과정에 대해서는 도 9 및 도 10에서 구체적으로 설명하기로 한다.The resampling process will be described in detail with reference to FIGS. 9 and 10.
왜곡 결정부(102)는 리샘플링된 결과를 이용하여 컬러 영상 및 깊이 영상에 기초한 합성 영상의 왜곡(distortion)을 결정할 수 있다. 즉, 영상 처리 장치는 동일 시점, 다른 시점에 대해 깊이 영상과 컬러 영상의 해상도를 동일하게 맞춘 후 합성 영상의 왜곡을 결정할 수 있다. 앞서 설명하였듯이, 깊이 영상을 부호화하기 위해 활용되는 깊이 영상의 왜곡은 깊이 영상과 컬러 영상에 기초한 합성 영상의 왜곡으로 결정될 수 있다.The distortion determiner 102 may determine the distortion of the synthesized image based on the color image and the depth image by using the resampled result. That is, the image processing apparatus may determine the distortion of the synthesized image after matching the resolutions of the depth image and the color image at the same time point and at different time points. As described above, the distortion of the depth image used to encode the depth image may be determined as the distortion of the composite image based on the depth image and the color image.
일례로, 왜곡 결정부(102)는 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적을 합성 영상의 왜곡으로 결정할 수 있다. 구체적으로, 왜곡 영역은 와핑된 픽셀들의 실제값이 컬러 영상의 부호화/복호화 또는 깊이 영상의 부호화/복호화로 인해 다른값으로 결정됨으로써 발생할 수 있다.For example, the distortion determiner 102 may determine the area of the distortion area based on the warped pixels in the composite image as the distortion of the composite image. In detail, the distortion area may be generated by determining the actual value of the warped pixels to be different from each other due to the encoding / decoding of the color image or the encoding / decoding of the depth image.
합성 영상의 왜곡을 결정하는 과정에 대해서는 도 3 내지 도 8에서 설명하기로 한다.A process of determining the distortion of the synthesized image will be described with reference to FIGS. 3 to 8.
도 2는 다른 실시예에 따른 영상 처리 장치를 도시한 도면이다.2 is a diagram illustrating an image processing apparatus according to another exemplary embodiment.
도 2를 참고하면, 영상 처리 장치(200)는 가중치 결정부(201) 및 왜곡 결정부(202)를 포함할 수 있다.Referring to FIG. 2, the image processing apparatus 200 may include a weight determiner 201 and a distortion determiner 202.
가중치 결정부(201)는 복수의 중간 시점에 대응하는 합성 영상과 관련된 가중치를 결정할 수 있다. 일례로, 가중치 결정부(201)는 중간 시점의 개수와 위치를 고려하여 가중치를 결정할 수 있다. 구체적으로, 가중치 결정부(201)는 참조 영상에 대해 복수의 중간 시점에 대응하는 합성 영상이 미치는 영향을 가중치로 결정할 수 있다. 가중치를 결정하는 과정에 대해서는 도 11에서 보다 구체적으로 설명하기로 한다.The weight determiner 201 may determine weights associated with the composite image corresponding to the plurality of intermediate views. For example, the weight determiner 201 may determine the weight in consideration of the number and positions of the intermediate views. In detail, the weight determiner 201 may determine, as a weight, an influence of the composite image corresponding to the plurality of intermediate views on the reference image. A process of determining the weight will be described in more detail with reference to FIG. 11.
왜곡 결정부(202)는 가중치를 이용하여 참조 영상과 관련된 최종적인 합성 영상의 왜곡을 결정할 수 있다.The distortion determiner 202 may determine the distortion of the final composite image related to the reference image by using the weight.
도 3은 합성 영상의 왜곡을 결정하는 방법을 도시한 도면이다.3 is a diagram illustrating a method of determining distortion of a composite image.
중간 시점의 합성 영상의 왜곡(distortion)은 원래의 컬러 영상(C)과 원래의 깊이 영상(D)에 기초한 와핑(warping) 함수(fw)로 합성되는 중간 영상(V)을 ground-truth라고 하고, 부호화/복호화 과정을 통해 생성되는 컬러 영상(C')과 깊이 영상(D')으로 합성되는 중간 영상(V')의 차이를 계산하여 얻게 된다. Distortion of the composite image at the midpoint is called ground-truth as the intermediate image (V) synthesized by the warping function (f w ) based on the original color image (C) and the original depth image (D). The difference between the color image C ′ generated through the encoding / decoding process and the intermediate image V ′ synthesized into the depth image D ′ is calculated.
중간 시점의 합성 영상의 왜곡은 하기 수학식 1에 따라 결정될 수 있다.The distortion of the composite image of the intermediate view may be determined according to Equation 1 below.
Figure PCTKR2013003056-appb-I000001
Figure PCTKR2013003056-appb-I000001
수학식 1에서 Dsyn는 중간 시점의 합성 영상의 왜곡을 나타낸다. 그리고, C는 원래의 컬러 영상, D는 원래의 깊이 영상을 의미하고, C'는 부호화/복호화 과정을 통해 생성되는 컬러 영상, D'는 부호화/복호화 과정을 통해 생성되는 깊이 영상을 의미한다. 여기서, 컬러 영상 C'는 원래의 컬러 영상 C에 부호화 또는 복호화에 의해 발생된 컬러 영상의 노이즈가 포함된 결과를 의미하고, 깊이 영상 D'는 원래의 깊이 영상 D에 부호화 또는 복호화에 의해 발생된 깊이 영상의 노이즈가 포함된 결과를 의미한다. 또한, V는 컬러 영상 C와 깊이 영상 D을 와핑 함수 fw로 합성한 중간 영상을 의미하고, V'는 컬러 영상 C'와 깊이 영상 D'를 와핑 함수 fw로 합성한 중간 영상을 의미한다.In Equation 1, D syn represents a distortion of a synthesized image of an intermediate view. C denotes an original color image, D denotes an original depth image, C ′ denotes a color image generated through an encoding / decoding process, and D ′ denotes a depth image generated through an encoding / decoding process. Here, the color image C 'means a result in which the noise of the color image generated by encoding or decoding is included in the original color image C, and the depth image D' is generated by encoding or decoding in the original depth image D. It means the result that includes the noise of the depth image. In addition, V means an intermediate image obtained by combining the color image C and the depth image D with the warping function f w , and V 'means an intermediate image obtained by combining the color image C' and the depth image D 'with the warping function f w . .
수학식 1에서 볼 수 있듯이, 실제 깊이 영상의 변이(Disparity) 오차는 깊이 영상의 깊이(Depth) 오차와 선형적인 관계를 나타낸다. 깊이 영상의 변이 오차는 하기 수학식 2로 결정된다.As shown in Equation 1, the disparity error of the actual depth image represents a linear relationship with the depth error of the depth image. The shift error of the depth image is determined by Equation 2 below.
Figure PCTKR2013003056-appb-I000002
Figure PCTKR2013003056-appb-I000002
수학식 2에서
Figure PCTKR2013003056-appb-I000003
는 깊이 영상의 변이 오차를 의미하고, ΔDepth는 부호화/복호화 과정에서 발생하는 노이즈로 인해 발생하는 깊이 영상의 깊이 오차를 의미한다. a는 카메라의 셋팅값에 의해 결정되는 파라미터를 의미하며, δx는 현재 부호화하고 있는 시점과 합성 영상의 시점 간 거리 (distance)를 의미한다.
In equation (2)
Figure PCTKR2013003056-appb-I000003
Denotes a shift error of the depth image, and ΔDepth denotes a depth error of the depth image caused by noise generated during the encoding / decoding process. a denotes a parameter determined by a camera setting value, and δx denotes a distance between a currently encoded view and a view of a composite image.
이에 따라, 중간 시점의 합성 영상의 왜곡은 하기 수학식 3과 같다.Accordingly, the distortion of the composite image of the intermediate view is expressed by Equation 3 below.
Figure PCTKR2013003056-appb-I000004
Figure PCTKR2013003056-appb-I000004
Dsyn는 중간 시점의 합성 영상의 왜곡을 의미하고, C는 원래의 컬러 영상, C'는 원래의 컬러 영상 C에 부호화 또는 복호화에 의해 발생된 컬러 영상의 노이즈가 포함된 컬러 영상을 의미한다. C(x,y)는 원래의 컬러 영상의 픽셀을 의미한다. 는 깊이 영상의 변이 오차를 의미하며, p는 임의의 값을 나타낸다. D syn denotes a distortion of the synthesized image of an intermediate view, C denotes an original color image, and C ′ denotes a color image including noise of a color image generated by encoding or decoding in the original color image C. C (x, y) means pixels of the original color image. Denotes a shift error of the depth image, and p denotes an arbitrary value.
도 3은 수학식 3을 보다 간단한 형태로 나타내고 있다. 여기서 임의의 컬러 영상의 픽셀 C(x,y)는 깊이값 D(x,y)에 의하여 중간 시점의 합성 영상에서 C(x',y)의 위치로 이동하여야 한다. 그러나, 깊이값 D(x,y)은 부호화/복호화 과정을 통해 발생된 오차로 인해 깊이값 D'(x,y)로 변하게 된다. 이에 따라, 컬러 영상의 픽셀 C(x,y)는 깊이값 D(x,y)의 오차로 인하여 실제로 (x',y)가 아닌 (x'+△D(x,y), y)로 이동한다. 여기서, △D(x,y)는 D(x,y)와 D'(x,y)의 차이를 의미한다.3 shows Equation 3 in a simpler form. Here, the pixel C (x, y) of the arbitrary color image should be moved to the position of C (x ', y) in the composite image of the intermediate view by the depth value D (x, y). However, the depth value D (x, y) is changed to the depth value D '(x, y) due to an error generated through the encoding / decoding process. Accordingly, the pixel C (x, y) of the color image is actually (x '+ ΔD (x, y), y) rather than (x', y) due to an error of the depth value D (x, y). Move. Here, ΔD (x, y) means the difference between D (x, y) and D '(x, y).
따라서 수학식 3은 C(x',y)로 이동하는 컬러 영상의 픽셀 C(x,y)와 (x'+△D(x,y), y)위치로 이동하는 컬러 영상의 픽셀 C'(x+△D(x,y), y)의 차이를 중간 시점의 합성 영상의 왜곡으로 정의하고 있다.Therefore, Equation 3 represents the pixel C (x, y) of the color image moving to C (x ', y) and the pixel C' of the color image moving to the position (x '+ ΔD (x, y), y). The difference between (x + ΔD (x, y), y) is defined as the distortion of the composite image at the intermediate view.
도 4는 중간 시점의 합성 영상을 생성하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of generating a composite image of an intermediate view.
도 4를 참고하면, 하나의 row의 컬러 영상의 픽셀들(C1 ... Cn)과 깊이 영상의 픽셀들(D1 ... Dn)이 있을 때, 각각의 컬러 영상의 픽셀 Ck는 해당 깊이 영상의 픽셀 Dk에 의하여 와핑(warping)이 된다.Referring to FIG. 4, when there are pixels C 1 ... C n of a color image of one row and pixels D 1 ... D n of a depth image, pixel C of each color image k is warped by the pixel D k of the corresponding depth image.
와핑 이후에 각각의 픽셀은 실제 중간 시점의 합성 영상에서 점선으로 표시된 integer grid 에 정확하게 일치하지 않을 수 있다. 도 4를 참고하면, 실제 integer grid에 반영되는 값은 보간된 값들이 된다.After warping, each pixel may not exactly match the integer grid indicated by the dotted line in the actual midpoint composite image. Referring to FIG. 4, the values reflected in the actual integer grid are interpolated values.
도 5는 중간 시점의 합성 영상에 대한 왜곡 영역을 도시한 도면이다.5 is a diagram illustrating a distortion area of a composite image of an intermediate view.
만약, 부호화/복호화 과정으로 인하여 컬러 영상의 픽셀(C'1 ... C'n)들은 깊이 영상의 픽셀(D'1 ... D'n)으로 변하였다고 가정하자. 도 5에서 볼 수 있듯이, 부호화/복호화 과정에 따라 발생한 오차로 인해 실제 와핑되어야 하는 값들이 다른 값들로 와핑될 수 있다.If, due to the encoding / decoding process, it is assumed that pixels C ' 1 ... C' n of a color image are changed to pixels D ' 1 ... D' n of a depth image. As shown in FIG. 5, values that should be actually warped may be warped to other values due to an error generated by an encoding / decoding process.
이 때, 와핑된 값들에서 컬러 영상의 부호화/복호화 과정을 통하여 생기는 오차, 즉 △Ck = Ck - C'k 는 y축 방향으로 픽셀값들을 변화시킨다. 그리고, 깊이 영상의 부호화/복호화 과정을 통하여 생기는 오차, 즉 △Dk = Dk - D'k 는 x축 방향으로 픽셀값들을 변화시킨다. In this case, an error, ΔC k = C k − C ′ k , generated during the encoding / decoding process of the color image from the warped values changes the pixel values in the y-axis direction. In addition, an error generated through the encoding / decoding process of the depth image, that is, ΔD k = D k −D ′ k , changes pixel values in the x-axis direction.
도 5를 참고하면, 원래의 영상 정보를 통하여 와핑된 후 보간된 곡선 A(x)는, 부호화/복호화 과정에서 생기는 오차로 인해 곡선 B(x)로 변하게 된다. 본 발명의 일실시예에 따르면, 곡선 A(x)와 B(x) 사이에 존재하는 영역이 왜곡 영역으로 정의될 수 있다.Referring to FIG. 5, the curve A (x) interpolated after warping through the original image information is changed to the curve B (x) due to an error generated during the encoding / decoding process. According to an embodiment of the present invention, an area existing between curves A (x) and B (x) may be defined as a distortion area.
도 5에서 중간 시점의 합성 영상의 왜곡은 하기 수학식 4에 따라 결정된다.In FIG. 5, the distortion of the composite image of the intermediate view is determined according to Equation 4 below.
Figure PCTKR2013003056-appb-I000005
Figure PCTKR2013003056-appb-I000005
수학식 4에서, Dsyn는 중간 시점의 합성 영상의 왜곡을 의미한다. 즉, 수학식 4에 의하면, 원래 영상이 와핑된 후 보간된 곡선 A(x)가 부호화 또는 복호화에 기초한 오차가 반영된 곡선 B(x)로 변하는 경우, 중간 시점의 합성 영상의 왜곡은 곡선 A(x)와 곡선 B(x)의 사이에 존재하는 왜곡 영역의 면적으로 결정된다.In Equation 4, D syn denotes a distortion of a synthesized image of an intermediate view. That is, according to Equation 4, when the interpolated curve A (x) is changed to a curve B (x) reflecting an error based on encoding or decoding after the original image is warped, the distortion of the composite image of the intermediate view is curved A ( The area of the distortion area existing between x) and the curve B (x) is determined.
도 6은 선형 보간에 따라 도출된 중간 시점의 합성 영상의 왜곡 영역을 도시한 도면이다.FIG. 6 is a diagram illustrating a distortion area of a composite image of an intermediate view derived according to linear interpolation.
도 6은 보간 방법에 따라 도 5를 단순화시킨 결과를 나타낸다. 그러면, 도 6에 도시된 바와 같이, 보간 방법에 따라 곡선을 단순화한 직선을 이용하면 중간 시점의 합성 영상의 왜곡 영역의 면적이 보다 간단하게 계산될 수 있다.6 shows the result of simplifying FIG. 5 according to an interpolation method. Then, as illustrated in FIG. 6, the area of the distortion area of the synthesized image of the intermediate view may be more simply calculated by using a straight line that simplifies the curve according to the interpolation method.
도 6에서, 왜곡 영역의 면적을 구하기 위해 선형 보간(linear interpolation) 방식이 적용되었다. 그러면, 도 5에 도시된 곡선은 도 6에 도시된 것과 같이 선형 보간에 의해 두 점 사이를 연결하는 직선으로 된다.In FIG. 6, a linear interpolation scheme is applied to obtain the area of the distortion region. Then, the curve shown in FIG. 5 becomes a straight line connecting two points by linear interpolation as shown in FIG.
또한, 본 발명의 일실시예에 따르면, 곡선을 구성하는 여러 픽셀값들을 한번에 처리하지 않고 하나의 픽셀당 거리값을 구하고, 이를 제곱하여 더할 수 있다.In addition, according to an embodiment of the present invention, a distance value per pixel may be calculated, squared and added without processing several pixel values constituting the curve at once.
도 6을 참고하면, 현재 픽셀값인 (Ck, Dk)값이 부호화 또는 복호화로 인해서 (C'k, D'k)값으로 변하였을때 생기는 오차를 고려한다. 즉, k 위치의 픽셀에서 발생된 오차로 인해 도 6에 도시된 영역이 발생한다. 이 때, 도 6과 같이 곡선에 선형 보간이 적용되어 직선이 특정 위치에 존재하는 픽셀의 오차는 특정 위치의 주변에 위치한 픽셀들에게 영향을 미친다. 즉, k 위치의 픽셀에서 오차가 생기면 (k-1) 위치와 (k+1) 위치에 존재하는 픽셀값들에 의하여 영향이 미친다.Referring to FIG. 6, an error generated when the current pixel value (C k , D k ) is changed to the value (C ′ k , D ′ k ) due to encoding or decoding is considered. That is, the region shown in FIG. 6 occurs due to an error generated in the pixel at the k position. In this case, as shown in FIG. 6, linear interpolation is applied to the curve so that an error of a pixel in which a straight line exists at a specific position affects pixels located around the specific position. That is, if an error occurs in the pixel at the k position, it is influenced by the pixel values existing at the (k-1) position and the (k + 1) position.
이렇게 되면 k 위치의 픽셀에 의한 왜곡은 k 위치의 픽셀의 오차로 인해 발생된 왜곡 영역의 면적으로 결정될 수 있다.In this case, the distortion caused by the pixel at the k position may be determined by the area of the distortion region generated due to the error of the pixel at the k position.
즉, 도 6에서 k 위치의 픽셀에 기초한 왜곡은 하기 수학식 5로 결정된다.That is, the distortion based on the pixel at the k position in Figure 6 is determined by the following equation (5).
Figure PCTKR2013003056-appb-I000006
Figure PCTKR2013003056-appb-I000006
수학식 5에서, △Dsyn는 k위치의 픽셀의 오차로 인해 발생되는 왜곡을 의미하고, k, k-1, k+1은 픽셀의 위치를 의미한다. A(K)는 선형 보간된 곡선 A(X)에서 k 위치의 값을 나타내고, B(K)는 선형 보간된 곡선 B(X)에서 k 위치의 값을 나타낸다.In Equation 5, ΔD syn denotes a distortion generated due to an error of a pixel at a k position, and k, k−1, and k + 1 denote a pixel position. A (K) represents the value of the k position in the linear interpolated curve A (X), and B (K) represents the value of the k position in the linear interpolated curve B (X).
이에 따라 선형 보간된 곡선에 존재하는 모든 픽셀의 최종적인 왜곡은 하기 수학식 6으로 결정된다.Accordingly, the final distortion of all the pixels present in the linear interpolated curve is determined by Equation 6 below.
Figure PCTKR2013003056-appb-I000007
Figure PCTKR2013003056-appb-I000007
수학식 6에 의하면, 최종적인 왜곡인 Dsyn는 선형 보간된 곡선에 존재하는 픽셀들 각각의 오차로 인해 발생된 △Dsyn를 모두 더하여 도출될 수 있다. p는 임의의 수를 의미한다.According to Equation 6, the final distortion D syn can be derived by adding all the DELTA D syn generated due to the error of each pixel present in the linear interpolated curve. p means any number.
도 7은 삼각형을 이용하여 중간 시점의 합성 영상의 왜곡을 결정하는 과정을 도시한 도면이다.FIG. 7 is a diagram illustrating a process of determining distortion of a composite image of an intermediate view using a triangle.
도 7은 앞서 설명한 수학식 5를 보다 간단하게 계산하는 과정을 나타낸다. 원래의 컬러 영상 C를 사용하지 않고 복호화된 컬러 영상 C'만을 이용하면 도 7과 같이 y축 방향으로만 오차
Figure PCTKR2013003056-appb-I000008
가 발생된다. 결국, k 위치의 픽셀의 오차로 인하여 생기는 왜곡 영역의 면적은 대략적으로 복호화된 컬러 영상 C'를 구성하는 k, k-1, k+1 위치의 픽셀로 구성된 삼각형의 면적으로 결정될 수 있다.
FIG. 7 illustrates a simpler process of calculating Equation 5 described above. If only the decoded color image C 'is used without using the original color image C, the error is only in the y-axis direction as shown in FIG.
Figure PCTKR2013003056-appb-I000008
Is generated. As a result, the area of the distortion area caused by the error of the pixel at the k position may be determined by the area of a triangle composed of pixels at k, k-1, and k + 1 positions constituting the decoded color image C ′.
이에 따라, 도 7의 왜곡 영역의 면적은 하기 수학식 7로 표현될 수 있다.Accordingly, the area of the distortion region of FIG. 7 may be represented by Equation 7 below.
Figure PCTKR2013003056-appb-I000009
Figure PCTKR2013003056-appb-I000009
수학식 7에서, Dsyn는 도 7에서 k 위치의 픽셀의 오차로 인해 발생되는 왜곡을 의미한다. C'는 복호화된 컬러 영상을 나타낸다. △D는 수학식 2를 통해 도출될 수 있다.In Equation 7, D syn means distortion generated due to an error of a pixel at a k position in FIG. 7. C 'represents a decoded color image. DELTA D can be derived from Equation 2.
수학식 7에서 왜곡 영역에 기초한 왜곡을 계산할 때 복호화된 컬러 영상이 이용되었다. 복호화된 컬러 영상은 다른 유사정보로 대체될 수 있다. 일례로. 복호화된 컬러 영상 대신 원래의 컬러 영상이 이용될 수 있다. 다른 일례로, 복호화된 컬러 영상 대신 원래의 컬러 영상에 특정한 필터를 적용한 컬러 영상이 이용될 수 있다. 이 때, 필터와 필터 파라미터는 인접 시점(view)의 원래의 컬러 영상과 복호화된 컬러 영상과의 관계에 기초하여 보다 정확하게 결정될 수 있다.In Equation 7, the decoded color image is used when calculating the distortion based on the distortion region. The decoded color image may be replaced with other similar information. As an example. The original color image may be used instead of the decoded color image. As another example, a color image in which a specific filter is applied to the original color image may be used instead of the decoded color image. In this case, the filter and the filter parameter may be more accurately determined based on the relationship between the original color image of the adjacent view and the decoded color image.
도 8은 폐색 영역이 발생했을 때 합성 영상의 왜곡을 결정하는 과정을 도시한 도면이다.8 is a diagram illustrating a process of determining distortion of a synthesized image when an occlusion area occurs.
앞서 설명하였듯이, 곡선 B(x)에서 위치 k에 존재하는 현재 픽셀에 대하여 주변 픽셀을 위치 k-1와 위치 k+1에 존재하는 것으로 가정하였다. 그러나, 실제 와핑(warping)과정에 있어서 위치 k-1와 위치 k+1에 존재하는 주변 픽셀이 컬러 영상의 픽셀 기준으로 위치 k에 존재하는 현재 픽셀의 실제 주변 픽셀인지 알아내는 과정이 필요하다.As described above, it is assumed that the peripheral pixels exist at positions k-1 and k + 1 with respect to the current pixel existing at position k in the curve B (x). However, in the actual warping process, it is necessary to determine whether the surrounding pixels at the positions k-1 and k + 1 are the actual surrounding pixels of the current pixel at the position k based on the pixel of the color image.
도 8을 참고하면, 와핑(warping)과정을 통해서 현재 픽셀 C(x,y) 이후 다음에 영향을 미치는 컬러 영상의 픽셀값은 C(x+1,y)가 아니고 C(x+3,y)가 된다. 본 발명의 일실시예에 따르면, 실제 와핑 이후에 폐색 영역이나 홀 영역으로 인한 문제점을 고려하여 하기 수학식 8에 따라 왜곡 영역을 표현할 수 있다.Referring to FIG. 8, the pixel value of the color image which is influenced next after the current pixel C (x, y) through a warping process is not C (x + 1, y) but C (x + 3, y). ) According to an embodiment of the present invention, the distortion region may be expressed according to Equation 8 in consideration of the problems caused by the occlusion region or the hole region after the actual warping.
Figure PCTKR2013003056-appb-I000010
Figure PCTKR2013003056-appb-I000010
Figure PCTKR2013003056-appb-I000011
Figure PCTKR2013003056-appb-I000011
수학식 8에서, Dsyn는 도 8에서 k 위치의 픽셀의 오차로 인해 발생되는 왜곡을 의미한다. C'는 복호화된 컬러 영상을 나타낸다. △D는 수학식 2를 통해 도출될 수 있다.In Equation 8, D syn means distortion generated due to an error of a pixel at a k position in FIG. 8. C 'represents a decoded color image. DELTA D can be derived from Equation 2.
여기서, kL과 kR은 하기 수학식 9에 따라 결정된다.Here, k L and k R are determined according to the following equation (9).
Figure PCTKR2013003056-appb-I000012
Figure PCTKR2013003056-appb-I000012
수학식 9에서, kL은 k 위치의 픽셀에 오차가 발생하는 경우, k 위치를 중심으로 왼쪽에 존재하는 픽셀의 위치(k-1부터 k-l)를 나타낸다. 그리고, kR은 k 위치를 중심으로 오른쪽에 존재하는 픽셀의 위치(k+1부터 k+r)를 나타낸다.In Equation 9, k L represents a position (k-1 to kl) of a pixel existing on the left side of the k position when an error occurs in the pixel at the k position. K R represents a position (k + 1 to k + r) of the pixel existing on the right side with respect to the k position.
수학식 9에서, 왜곡 영역이 0이 되는 조건은 현재 픽셀의 값이 와핑 후에 폐색 영역(Occlusion)에 위치할 경우이다. 이 경우, kL 값이 0보다 크게 되는 경우이므로, 합성 영상의 왜곡 함수의 값은 0으로 설정될 수 있다.In Equation 9, the condition that the distortion area becomes 0 is when the value of the current pixel is located in the occlusion area after warping. In this case, since the value of k L is greater than 0, the value of the distortion function of the synthesized image may be set to 0.
앞서 설명한 중간 시점의 합성 영역의 왜곡(VSD: View Synthesis Distortion)은 기존의 왜곡인 SSD(Sum of squared distortion) 또는 SAD(sum of absolute distortion)를 대체하거나 혼용되어 사용될 수 있다. 일례로, 최종적으로 사용되는 왜곡은 하기 수학식 10에 따라 결정될 수 있다.The above-described mid-view synthesis distortion (VSD) may be used as a replacement or mixed with conventional distortion of sum of squared distortion (SSD) or sum of absolute distortion (SAD). In one example, the distortion finally used may be determined according to the following equation (10).
Figure PCTKR2013003056-appb-I000013
Figure PCTKR2013003056-appb-I000013
수학식 10에서 Dist는 최종적으로 사용되는 왜곡을 의미하고, VSD는 중간 시점의 합성 영역의 왜곡을 의미하며, SSD는 기존의 왜곡을 의미한다. ω는 0보다 크고 1보다 작은 가중치를 의미한다.In Equation 10, Dist denotes a distortion finally used, VSD denotes a distortion of a synthesis region at an intermediate time point, and SSD denotes a conventional distortion. ω means a weight greater than 0 and less than 1.
또한, VSD 기반의 율-왜곡 비용 함수(Rate-Distortion cost function)에 적용되는 라그랑지 승수(Lagrangian multiplier)인 λV은 SSD 기반의 율-왜곡 비용 함수에 적용되는 라그랑지 승수인 λD와 다르게 설정될 수 있다. 이 경우, 최종적인 율-왜곡 비용 함수를 도출할 때, VSD 기반의 비용 함수와 SSD 기반의 비용 함수를 동시에 고려할 수 있다.Also, λ V, which is a Lagrangian multiplier applied to the rate-distortion cost function based on VSD, is different from λ D , which is a Lagrangian multiplier applied to the rate-distortion cost function based on SSD. Can be set. In this case, when the final rate-distortion cost function is derived, the VSD-based cost function and the SSD-based cost function can be considered simultaneously.
일례로, 최종적인 율-왜곡 비용 함수 J는 하기 수학식 11과 같이 SSD 기반의 비용 함수(JD)와 VSD기반 비용 함수(JV)의 가중합(weighted sum)으로 표현할 수 있다.For example, the final rate-distortion cost function J may be expressed as a weighted sum of the SSD-based cost function J D and the VSD-based cost function J V , as shown in Equation 11 below.
Figure PCTKR2013003056-appb-I000014
Figure PCTKR2013003056-appb-I000014
수학식 11에서, J는 율-왜곡 비용 함수(rate-distortion cost function)를 의미하고, ω는 0보다 크고 1보다 작은 가중치를 의미하며, 부호화 장치의 구성(configuration)으로 제공될 수 있다. 그리고, VSD(View Synthesis Distortion)는 중간 시점에 대응하는 합성 영역의 왜곡을 의미하고, SSD(Sum of Squared Distortion)는 기존의 왜곡을 의미한다. 여기서, SSD는 원본 깊이 블록과 인코딩된 깊이 블록 간의 차이의 제곱을 합산한 것으로 결정될 수 있다. 또한, λV는 VSD 기반의 율-왜곡 비용 함수에 적용되는 라그랑지 승수를 의미하고, λD는 SSD 기반의 율-왜곡 비용 함수에 적용되는 라그랑지 승수를 의미한다. VSD가 다른 왜곡 도메인(distortion domain)을 취하기 때문에 λV는 조절될 수 있다. 수학식 11을 참고하면, 높은 텍스쳐 영역(high texture area)에서의 깊이 왜곡은 일반적으로 낮은 텍스쳐 영역에서의 깊이 영상의 왜곡보다 율-왜곡 비용 함수에 더 해로운(harmful) 것을 알 수 있다.In Equation 11, J means a rate-distortion cost function, ω means a weight greater than 0 and less than 1, and may be provided as a configuration of an encoding apparatus. In addition, VSD (View Synthesis Distortion) means distortion of the synthesis region corresponding to the intermediate view, and SSD (Sum of Squared Distortion) means conventional distortion. Here, the SSD may be determined by summing the square of the difference between the original depth block and the encoded depth block. In addition, λ V denotes a Lagrange multiplier applied to the VSD-based rate-distortion cost function, and λ D denotes a Lagrange multiplier applied to the SSD-based rate-distortion cost function. Λ V can be adjusted because VSD takes a different distortion domain. Referring to Equation 11, it can be seen that the depth distortion in the high texture area is generally more harmful to the rate-distortion cost function than the distortion of the depth image in the low texture area.
수학식 11에서 얻어지는 율-왜곡 비용 함수는 합성 영상의 시점에 따라 변하게 된다. 만약 합성 영상의 시점이 2개 이상이라면 최종적으로 율-왜곡 비용 함수는 합성 영상의 시점 각각에서 얻어진 비용 함수의 가중합으로 결정된다.The rate-distortion cost function obtained in Equation 11 is changed according to the viewpoint of the synthesized image. If there are two or more viewpoints of the composite image, the rate-distortion cost function is finally determined by the weighted sum of the cost functions obtained at each of the viewpoints of the composite image.
도 9는 같은 시점에서 컬러 영상과 깊이 영상의 해상도가 서로 다른 경우 합성 영상의 왜곡을 결정하는 과정을 설명하는 도면이다.FIG. 9 is a diagram illustrating a process of determining distortion of a composite image when the resolutions of the color image and the depth image are different at the same time point.
깊이 영상에서 부호화 왜곡(coding distortion)은 합성 영상의 왜곡에 선형적으로 영향을 미치지 않을 수 있다. 그리고, 깊이 영상의 왜곡의 영향은 대응하는 컬러 영상의 정보에 따라 가변될 수 있다. 예를 들어, 컬러가 존재하는 영역과 컬러가 존재하지 않은 영역에서 동일한 깊이 왜곡은 서로 다른 합성 영상의 왜곡을 야기할 수 있다. 깊이 기반의 향상된 3차원 영상 부호화의 효율적인 율-왜곡(rate-distortion)의 최적화를 위해, 시점 와핑 또는 시점 렌더링 과정을 분석함으로써 합성 영상의 시점 왜곡을 측정하는 새로운 형태의 왜곡 함수가 요구된다.Coding distortion in the depth image may not linearly affect the distortion of the synthesized image. The influence of the distortion of the depth image may vary according to the information of the corresponding color image. For example, the same depth distortion in the region where color is present and the region where color is not present may cause distortion of different composite images. In order to efficiently optimize rate-distortion of depth-based 3D image coding, a new type of distortion function for measuring view distortion of a synthesized image by analyzing view warping or view rendering is required.
일례에 따르면, 합성 영상의 왜곡은 수학식 12로 결정될 수 있다. 여기서, 합성 영상은 서로 다른 시점의 영상을 합성한 것으로, 합성 영상의 왜곡은 VSD(view synthesis distortion: VSD)로 표현될 수 있다.According to an example, the distortion of the composite image may be determined by Equation 12. Here, the synthesized image is synthesized from images of different viewpoints, and the distortion of the synthesized image may be expressed as view synthesis distortion (VSD).
Figure PCTKR2013003056-appb-I000015
Figure PCTKR2013003056-appb-I000015
여기서, C는 원본 컬러 영상을 의미하고, D는 원본 깊이 영상을 의미한다.
Figure PCTKR2013003056-appb-I000016
는 재구성된((reconstructed) 컬러 영상을 의미한다. 일례로,
Figure PCTKR2013003056-appb-I000017
는 부호화되거나 또는 복호화된 컬러 영상을 포함할 수 있다. 또한,
Figure PCTKR2013003056-appb-I000018
는 재구성된(reconstructed) 깊이 영상을 의미한다. 일례로,
Figure PCTKR2013003056-appb-I000019
는 부호화되거나 또는 복호화된 깊이 영상을 의미한다. x,y는 매크로 블록 내의 픽셀 위치를 나타낸다.
Figure PCTKR2013003056-appb-I000020
는 비례 계수(proportional coefficient)를 의미하며, 3차원 카메라 파라미터로 결정될 수 있다.
Figure PCTKR2013003056-appb-I000021
는 하기 수학식 13에 따라 결정 될 수 있다.
Here, C means an original color image, and D means an original depth image.
Figure PCTKR2013003056-appb-I000016
Means a reconstructed color image. For example,
Figure PCTKR2013003056-appb-I000017
May include a coded or decoded color image. Also,
Figure PCTKR2013003056-appb-I000018
Denotes a reconstructed depth image. For example,
Figure PCTKR2013003056-appb-I000019
Denotes a coded or decoded depth image. x, y represents the pixel position in the macro block.
Figure PCTKR2013003056-appb-I000020
Denotes a proportional coefficient and may be determined by a 3D camera parameter.
Figure PCTKR2013003056-appb-I000021
May be determined according to Equation 13.
Figure PCTKR2013003056-appb-I000022
Figure PCTKR2013003056-appb-I000022
수학식 13에서, f는 카메라의 초점 길이(focal length)를 의미하고, L은 현재 시점(current view)와 렌더링된 뷰(rendered view) 간의 베이스라인을 의미한다. 그리고, Znear은 장면(scene)에서 가장 가까운 깊이를 의미하고, Zfar는 장면에서 가장 먼 깊이를 의미한다.In Equation 13, f denotes a focal length of a camera, and L denotes a baseline between a current view and a rendered view. Z near means the depth closest to the scene, and Z far means the depth farthest from the scene.
한편, 재구성된 컬러 영상이 사용가능하지 않은 경우, 재구성된 컬러 영상 대신에 원본 컬러 영상이 사용될 수 있다. 예를 들어, 깊이 영상이 컬러 영상보다 먼저 부호화되는 경우, 재구성된 컬러 영상이 사용 가능하지 않은 경우를 의미한다. 그러면, 수학식 12는 하기 수학식 14와 같이 변경될 수 있다.On the other hand, if the reconstructed color image is not available, the original color image may be used instead of the reconstructed color image. For example, when the depth image is encoded before the color image, it means that the reconstructed color image is not available. Then, Equation 12 may be changed to Equation 14 below.
Figure PCTKR2013003056-appb-I000023
Figure PCTKR2013003056-appb-I000023
여기서,
Figure PCTKR2013003056-appb-I000024
는 기본 시점(base view)인 I 시점에서 원본 컬러 영상과 복호화된 컬러 영상 간의 비율을 의미한다.
Figure PCTKR2013003056-appb-I000025
는 하기 수학식 15에 따라 결정될 수 있다.
here,
Figure PCTKR2013003056-appb-I000024
Denotes the ratio between the original color image and the decoded color image at view I, which is the base view.
Figure PCTKR2013003056-appb-I000025
May be determined according to Equation 15 below.
Figure PCTKR2013003056-appb-I000026
Figure PCTKR2013003056-appb-I000026
여기서, CI는 기본 시점인 I 시점에서 컬러 영상을 의미한다.Here, C I means a color image at view I, which is a basic view.
수학식 12 내지 수학식 15는 깊이 영상과 컬러 영상의 해상도가 서로 동일하다는 것을 가정하여 결정된 것이다. 만약 깊이 영상과 컬러 영상의 해상도가 서로 다르다면, 수학식 12 내지 수학식 15를 적용하기 위해 깊이 영상과 컬러 영상의 해상도를 조절할 필요가 있다. 예를 들어, 깊이 영상의 해상도가 컬러 영상의 해상도의 1/2이라면, 깊이 영상의 해상도를 컬러 영상의 해상도와 동일하도록 해상도를 조절할 필요가 있다. Equations 12 to 15 are determined assuming that the resolutions of the depth image and the color image are the same. If the resolutions of the depth image and the color image are different from each other, it is necessary to adjust the resolutions of the depth image and the color image in order to apply the equations (12) to (15). For example, if the resolution of the depth image is 1/2 of the resolution of the color image, it is necessary to adjust the resolution so that the resolution of the depth image is the same as the resolution of the color image.
다시 말해서, 깊이 영상과 컬러 영상의 해상도가 서로 다르다면, 영상 처리 장치는 해상도 매핑 과정을 수행할 수 있다. 즉, 해상도 매핑은 현재의 깊이 영상의 픽셀에 대응하는 컬러 영상의 픽셀을 찾는 과정을 의미한다. 즉, 깊이 영상의 해상도가 W*H이고, 컬러 영상의 해상도가 W'*H'=pW*qH인 경우, 깊이 영상의 픽셀 (x,y)은 컬러 영상에서 (x',y')=(Round(px), Round(qy))가 된다. 이 경우, 수학식 12는 수학식 16으로 된다.In other words, if the resolutions of the depth image and the color image are different from each other, the image processing apparatus may perform a resolution mapping process. That is, resolution mapping refers to a process of finding a pixel of a color image corresponding to a pixel of a current depth image. That is, when the resolution of the depth image is W * H and the resolution of the color image is W '* H' = pW * qH, the pixel (x, y) of the depth image is (x ', y') = in the color image. (Round (px), Round (qy)). In this case, Equation 12 becomes Equation 16.
Figure PCTKR2013003056-appb-I000027
Figure PCTKR2013003056-appb-I000027
일실시예에 따르면, 영상 처리 장치는 리샘플링을 통해 깊이 영상과 컬러 영상의 해상도를 서로 동일하도록 할 수 있다. 앞서 언급하였듯이, 깊이 영상의 해상도가 컬러 영상의 해상도의 1/2이라면, 깊이 영상을 업샘플링하여 해상도를 증가시키는 것이 필요하다. 그러면, 영상 처리 장치는 변형된 수학식 16이 아닌 수학식 12를 이용하여 합성 영상의 왜곡을 결정할 수 있다. 이 때, 영상 처리 장치는 깊이 영상을 압축한 후 컬러 영상과 합성하는 과정에서 리샘플링할 수 있다. 리샘플링은 영상 보간을 통해 수행될 수 있다.According to an embodiment, the image processing apparatus may make the resolutions of the depth image and the color image the same through resampling. As mentioned above, if the resolution of the depth image is 1/2 of the resolution of the color image, it is necessary to increase the resolution by upsampling the depth image. Then, the image processing apparatus may determine the distortion of the composite image by using Equation 12 instead of the modified Equation 16. In this case, the image processing apparatus may compress the depth image and then resample it in the process of compositing the color image. Resampling may be performed through image interpolation.
일례로, 컬러 영상보다 깊이 영상의 해상도가 낮을 수 있다. 그래서, 영상 처리 장치는 컬러 영상의 해상도와 깊이 영상의 해상도를 동일하도록 깊이 영상에서 각 블록마다 리샘플링을 수행할 수 있다.For example, the resolution of the depth image may be lower than that of the color image. Therefore, the image processing apparatus may perform resampling for each block in the depth image such that the resolution of the color image and the resolution of the depth image are the same.
도 9를 참고하면, 시점 1에서 컬러 영상 C1(902)와 깊이 영상 D1(903)은 서로 해상도가 다르다. 마찬가지로, 시점 2에서 컬러 영상 C2(904)와 깊이 영상 D2(905)는 서로 해상도가 다르다. 그래서, 영상 처리 장치는 깊이 영상 D1(903)의 해상도를 컬러 영상 C1(902)의 해상도와 동일하도록 깊이 영상 D1(903)을 리샘플링할 수 있다. 마찬가지로, 영상 처리 장치는 깊이 영상 D2(905)의 해상도를 컬러 영상 C2(904)의 해상도와 동일하도록 깊이 영상 D2(905)을 리샘플링할 수 있다. 리샘플링된 결과에 따라 중간 시점의 합성 영상(901)이 생성되며, 영상 처리 장치는 합성 영상(901)의 왜곡을 결정할 수 있다.Referring to FIG. 9, the color image C1 902 and the depth image D1 903 have different resolutions at a time point 1. Similarly, at time 2, the color image C2 904 and the depth image D2 905 have different resolutions. Thus, the image processing apparatus may resample the depth image D1 903 such that the resolution of the depth image D1 903 is the same as the resolution of the color image C1 902. Similarly, the image processing apparatus may resample the depth image D2 905 such that the resolution of the depth image D2 905 is the same as the resolution of the color image C2 904. The synthesized image 901 of the intermediate view is generated according to the resampled result, and the image processing apparatus may determine the distortion of the synthesized image 901.
도 10은 컬러 영상과 깊이 영상의 해상도가 시점 간에 서로 다른 경우 합성 영상의 왜곡을 결정하는 과정을 설명하는 도면이다.FIG. 10 is a diagram illustrating a process of determining distortion of a composite image when resolutions of a color image and a depth image are different between viewpoints.
도 10을 참고하면, 시점 1에서 컬러 영상 C1(1002)와 깊이 영상 D1(1003)은 해상도가 동일하다. 하지만, 시점 1의 컬러 영상 C1(1002)와 시점 2의 컬러 영상 C2(1004)는 서로 해상도가 다르다. 그리고, 시점 1의 깊이 영상 D1(1003)와 시점 2의 깊이 영상 D2(1005)는 서로 해상도가 다르다.Referring to FIG. 10, the color image C1 1002 and the depth image D1 1003 have the same resolution at a time point 1. However, the color image C1 1002 of the viewpoint 1 and the color image C2 1004 of the viewpoint 2 are different from each other in resolution. The depth image D1 1003 of the viewpoint 1 and the depth image D2 1005 of the viewpoint 2 are different from each other in resolution.
그러면, 중간 시점의 합성 영상(1001)을 생성하기 위해, 영상 처리 장치는 컬러 영상 C1(1002)의 해상도와 컬러 영상 C2(1004)의 해상도가 동일하도록 컬러 영상 C1(1002)를 리샘플링할 수 있다. 또한, 영상 처리 장치는 깊이 영상 D1(1003)의 해상도와 깊이 영상 D2(1005)의 해상도가 동일하도록 깊이 영상 D1(1003)를 리샘플링할 수 있다.Then, in order to generate the composite image 1001 of the intermediate view, the image processing apparatus may resample the color image C1 1002 such that the resolution of the color image C1 1002 and the resolution of the color image C2 1004 are the same. . Also, the image processing apparatus may resample the depth image D1 1003 such that the resolution of the depth image D1 1003 and the resolution of the depth image D2 1005 are the same.
만약, 합성 영상(1001)의 해상도가 컬러 영상 C1(1002)와 깊이 영상 D1(1003)의 해상도 뿐만 아니라, 컬러 영상 C2(1004)와 깊이 영상 D2(1005)의 해상도와도 다를 수 있다. 이 경우, 영상 처리 장치는 컬러 영상 C1(1002)와 깊이 영상 D1(1003), 컬러 영상 C2(1004)와 깊이 영상 D2(1005)의 해상도가 합성 영상(1001)의 해상도와 동일하도록 리샘플링할 수 있다.If the resolution of the composite image 1001 is different from the resolution of the color image C1 1002 and the depth image D1 1003, the resolution of the composite image 1001 may be different from that of the color image C2 1004 and the depth image D2 1005. In this case, the image processing apparatus may resample the color image C1 1002, the depth image D1 1003, the color image C2 1004, and the depth image D2 1005 to have the same resolution as that of the composite image 1001. have.
도 11은 복수의 중간 시점의 합성 영상으로부터 최종적인 합성 영상의 왜곡을 결정하는 과정을 설명하는 도면이다.FIG. 11 is a diagram illustrating a process of determining a distortion of a final synthesized image from a plurality of intermediate views of composite images.
도 11에서, 입력된 참조 영상 C1(1101)과 참조 영상 C2(1105) 사이에 복수의 중간 시점에 대응하는 합성 영상(V1, V2, V3)(1102~1104)이 존재한다고 가정한다. 참조 영상 C1(1101)과 참조 영상 C2(1105)에 기초한 최종적인 합성 영상을 도출하기 위해서, 영상 처리 장치는 복수의 중간 시점에 대응하는 합성 영상(V1, V2, V3)(1102~1104)을 이용할 수 있다.In FIG. 11, it is assumed that synthetic images V1, V2, and V3 1102 to 1104 corresponding to a plurality of intermediate views exist between the input reference image C1 1101 and the reference image C2 1105. In order to derive the final synthesized image based on the reference image C1 1101 and the reference image C2 1105, the image processing apparatus may combine the synthesized images V1, V2, and V3 1102 to 1104 corresponding to a plurality of intermediate viewpoints. It is available.
앞서 설명한 수학식 12에서 VSD는 하나의 시점에 대응하는 합성 영상의 왜곡을 의미한다. 만약, N개의 중간 시점에 대응하는 합성 영상이 존재하는 경우, 최종적인 합성 영상의 왜곡은 하기 수학식 17에 따라 결정될 수 있다.In Equation 12, VSD means distortion of a composite image corresponding to one viewpoint. If there are composite images corresponding to N intermediate views, the distortion of the final composite image may be determined according to Equation 17 below.
Figure PCTKR2013003056-appb-I000028
Figure PCTKR2013003056-appb-I000028
수학식 17이 적용되기 위해서는, 각각의 중간 시점 i에서의 합성 영상의 왜곡인 VSDi가 고려되어야 한다. 일례로, 수학식 17은 각각의 중간 시점 i에서의 합성 왜곡 VSDi를 평균한 것이다. 여기서, Wi는 중간 시점 i가 최종적인 합성 영상에 미치는 가중치를 의미한다. 즉, 참조 영상에 대한 최종적인 합성 영상을 생성할 때 Wi는 중간 시점 i에 대응하는 합성 영상이 최종적인 합성 영상에 미치는 기여도를 나타낸다. N은 중간 시점의 합성 영상의 개수를 나타낸다. 일례로, Wi는 렌더링된 타겟 시점에 현재 시점 i가 얼마나 기여하는 지를 나타내는 가중치를 의미할 수 있다. 이 때, 현재 시점 i가 타겟 시점에 가까울수록 Wi는 커질 수 있다.For Equation 17 to be applied, VSD i, which is a distortion of the synthesized image at each intermediate view point i, must be considered. In one example, Equation 17 is an average of the composite distortion VSD i at each intermediate time i. Here, W i denotes a weight of the intermediate view i on the final synthesized image. That is, when generating the final synthesized image for the reference image, W i represents the contribution of the synthesized image corresponding to the intermediate view i to the final synthesized image. N represents the number of synthesized images of intermediate views. For example, W i may mean a weight indicating how much the current view i contributes to the rendered target view point. In this case, the closer the current time i is to the target time, the larger W i may be.
도 11에서, 참조 영상 C1(1101)의 시점은 타겟 시점으로 정의될 수 있다. 그러면, 타겟 시점에서의 왜곡은 타겟 시점에 인접하는 복수의 중간 시점의 합성 영상의 왜곡으로 결정될 수 있다. 여기서, 참조 영상 C1(1101)에 대응하는 타겟 시점에 인접하는 중간 시점은 합성 영상 V1(1102), 합성 영상 V2(1103) 및 합성 영상 V3(1104)의 시점을 의미한다. 일례로, 타겟 시점에서의 왜곡은 복수의 합성 영상에 가중치를 적용함으로써 결정될 수 있다.In FIG. 11, a viewpoint of the reference image C1 1101 may be defined as a target viewpoint. Then, the distortion at the target viewpoint may be determined as the distortion of the composite image of the plurality of intermediate viewpoints adjacent to the target viewpoint. Here, an intermediate viewpoint adjacent to the target viewpoint corresponding to the reference image C1 1101 means a viewpoint of the synthesized image V1 1102, the synthesized image V2 1103, and the synthesized image V3 1104. As an example, the distortion at the target viewpoint may be determined by applying weights to the plurality of composite images.
이 때, 타겟 시점에서의 왜곡에 대해 중간 시점의 합성 영상 각각의 가중치는 타겟 시점과 가까울수록 커질 수 있다. 도 11에서, 합성 영상 V1(1102)는 참조 영상 C1(1101)와 참조 영상 C2(1102) 사이의 1/4에 위치한다. 그리고, 합성 영상 V2(1103)는 참조 영상 C1(1101)와 참조 영상 C2(1102) 사이의 1/2에 위치한다. 또한, 합성 영상 V3(1104)는 참조 영상 C1(1101)와 참조 영상 C2(1102) 사이의 3/4에 위치한다. 그러면, 타겟 시점의 왜곡에 대해 합성 영상 V1(1102)의 가중치는 3/4이다. 그리고, 타겟 시점의 왜곡에 대해 합성 영상 V2(1103)의 가중치는 2/4이며, 합성 영상 V3(1104)의 가중치는 1/4이다.In this case, the weight of each of the intermediate images of the intermediate view with respect to the distortion at the target view may increase as the target view is closer. In FIG. 11, the composite image V1 1102 is positioned at 1/4 between the reference image C1 1101 and the reference image C2 1102. The synthesized image V2 1103 is located at 1/2 between the reference image C1 1101 and the reference image C2 1102. In addition, the composite image V3 1104 is positioned at 3/4 between the reference image C1 1101 and the reference image C2 1102. Then, the weight of the composite image V1 1102 is 3/4 with respect to the distortion of the target viewpoint. The weight of the composite image V2 1103 is 2/4 and the weight of the composite image V3 1104 is 1/4 with respect to the distortion of the target viewpoint.
그러면, 참조 영상 C1(1101)과 관련된 최종적인 합성 영상의 왜곡은 하기 수학식 18과 같이 결정될 수 있다.Then, the distortion of the final composite image related to the reference image C1 1101 may be determined as in Equation 18 below.
Figure PCTKR2013003056-appb-I000029
Figure PCTKR2013003056-appb-I000029
하지만, 수학식 17이나 수학식 18에 의하면, 중간 시점의 개수에 따라 VSD가 반복적으로 계산될 필요가 있다. 그래서, 영상 처리 장치는 하기 수학식 19에 따라 간단한 방식으로 최종적인 합성 영상의 왜곡을 결정할 수 있다.However, according to equations (17) and (18), the VSD needs to be repeatedly calculated according to the number of intermediate views. Thus, the image processing apparatus may determine the distortion of the final composite image in a simple manner according to Equation 19 below.
Figure PCTKR2013003056-appb-I000030
Figure PCTKR2013003056-appb-I000030
즉, 수학식 19에 의하면, α 파라미터를 제외한 나머지는 동일하므로 N번의 VSD 연산없이 한번에 연산만으로 최종적인 합성 영상의 왜곡을 결정할 수 있다.That is, according to Equation 19, since the rest except for the α parameter is the same, the final distortion of the final synthesized image may be determined using only one operation without N VSD operations.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
 이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or even if replaced or substituted by equivalents, an appropriate result can be achieved.
 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.

Claims (18)

  1. 제1 시점 및 인접한 제2 시점에 대응하는 컬러 영상 및 깊이 영상의 해상도를 고려하여 리샘플링하는 리샘플링부; 및A resampling unit for resampling in consideration of resolutions of a color image and a depth image corresponding to a first view and a second adjacent view; And
    리샘플링된 결과를 이용하여 컬러 영상 및 깊이 영상에 기초한 합성 영상의 왜곡(distortion)을 결정하는 왜곡 결정부Distortion determiner for determining distortion of the composite image based on the color image and the depth image using the resampled result
    를 포함하는 영상 처리 장치.Image processing apparatus comprising a.
  2. 제1항에 있어서,The method of claim 1,
    상기 리샘플링부는,The resampling unit,
    제1 시점 또는 제2 시점에서 컬러 영상과 깊이 영상 간의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링하는 영상 처리 장치.And resampling the resolution so that the resolution is the same when the resolution is different between the color image and the depth image at the first view or the second view.
  3. 제1항에 있어서,The method of claim 1,
    상기 리샘플링부는,The resampling unit,
    제1 시점과 제2 시점 간에 컬러 영상의 해상도가 서로 다르거나 또는 제1 시점과 제2 시점 간에 깊이 영상의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링하는 영상 처리 장치.And resampling the resolution so that the resolution is the same when the resolution of the color image is different between the first viewpoint and the second viewpoint or when the depth image has a different resolution between the first viewpoint and the second viewpoint.
  4. 제1항에 있어서,The method of claim 1,
    상기 리샘플링부는,The resampling unit,
    상기 중간 시점의 합성 영상 및 깊이 영상 또는 컬러 영상 간의 해상도가 다른 경우, 상기 해상도가 동일하도록 리샘플링하는 영상 처리 장치.And resampling the resolution so that the resolution is the same when the resolution between the composite image and the depth image or the color image of the intermediate view is different.
  5. 제1항에 있어서,The method of claim 1,
    상기 왜곡 결정부는,The distortion determining unit,
    상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적을 합성 영상의 왜곡으로 결정하는 영상 처리 장치.And an area of a distortion area based on a warped pixel in the synthesized image as a distortion of the synthesized image.
  6. 참조 영상의 타겟 시점에 대해 복수의 중간 시점에 대응하는 합성 영상의 가중치를 결정하는 가중치 결정부; 및A weight determination unit configured to determine weights of the synthesized images corresponding to the plurality of intermediate views with respect to the target viewpoint of the reference image; And
    상기 결정된 가중치를 이용하여 참조 영상과 관련된 최종적인 합성 영상의 왜곡을 결정하는 왜곡 결정부Distortion determiner for determining the distortion of the final composite image associated with the reference image by using the determined weight
    를 포함하는 영상 처리 장치.Image processing apparatus comprising a.
  7. 제6항에 있어서,The method of claim 6,
    상기 가중치 결정부는,The weight determination unit,
    상기 중간 시점의 개수와 타겟 시점과 중간 시점 간의 거리를 고려하여 가중치를 결정하는 영상 처리 장치.And determining a weight in consideration of the number of the intermediate viewpoints and the distance between a target viewpoint and the intermediate viewpoint.
  8. 제7항에 있어서,The method of claim 7, wherein
    상기 가중치 결정부는,The weight determination unit,
    상기 참조 영상의 타겟 시점의 왜곡을 결정하기 위해 복수의 중간 시점에 대응하는 합성 영상의 왜곡에 적용될 가중치를 결정하는 영상 처리 장치.And determining a weight to be applied to distortion of a composite image corresponding to a plurality of intermediate views to determine distortion of a target viewpoint of the reference image.
  9. 제6항에 있어서,The method of claim 6,
    상기 왜곡 결정부는,The distortion determining unit,
    상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적에 가중치를 적용하여 최종적인 합성 영상의 왜곡으로 결정하는 영상 처리 장치.And determining a final distortion of the composite image by applying a weight to an area of the distortion region based on the warped pixels in the composite image.
  10. 제1 시점 및 인접한 제2 시점에 대응하는 컬러 영상 및 깊이 영상의 해상도를 고려하여 리샘플링하는 단계; 및Resampling in consideration of resolutions of the color image and the depth image corresponding to the first viewpoint and the adjacent second viewpoint; And
    리샘플링된 결과를 이용하여 컬러 영상 및 깊이 영상에 기초한 합성 영상의 왜곡(distortion)을 결정하는 단계Determining distortion of the composite image based on the color image and the depth image using the resampled result
    를 포함하는 영상 처리 방법.Image processing method comprising a.
  11. 제10항에 있어서,The method of claim 10,
    상기 리샘플링하는 단계는,Resampling is,
    제1 시점 또는 제2 시점에서 컬러 영상과 깊이 영상 간의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링하는 영상 처리 방법.And resampling the resolution so that the resolution is the same when the resolution is different between the color image and the depth image at the first or second viewpoint.
  12. 제10항에 있어서,The method of claim 10,
    상기 리샘플링하는 단계는,Resampling is,
    제1 시점과 제2 시점 간에 컬러 영상의 해상도가 서로 다르거나 또는 제1 시점과 제2 시점 간에 깊이 영상의 해상도가 서로 다른 경우, 상기 해상도가 동일하도록 리샘플링하는 영상 처리 방법.And resampling the resolution so that the resolution is the same when the resolution of the color image is different between the first view and the second view or when the resolution of the depth image is different between the first view and the second view.
  13. 제10항에 있어서,The method of claim 10,
    상기 리샘플링하는 단계는,Resampling is,
    상기 중간 시점의 합성 영상 및 입력된 깊이 영상 또는 컬러 영상 간의 해상도가 다른 경우, 상기 해상도가 동일하도록 리샘플링하는 영상 처리 방법.And resampling the resolution so that the resolution is the same when the resolution between the composite image and the input depth image or the color image of the intermediate view is different.
  14. 제10항에 있어서,The method of claim 10,
    상기 합성 영상의 왜곡을 결정하는 단계는,Determining the distortion of the composite image,
    상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적을 합성 영상의 왜곡으로 결정하는 영상 처리 방법.And determining an area of a distortion area based on a warped pixel in the synthesized image as a distortion of the synthesized image.
  15. 참조 영상의 타겟 시점에 대해 복수의 중간 시점에 대응하는 합성 영상의 가중치를 결정하는 단계; 및Determining a weight of the synthesized image corresponding to the plurality of intermediate views with respect to the target view of the reference image; And
    상기 결정된 가중치를 이용하여 참조 영상과 관련된 최종적인 합성 영상의 왜곡을 결정하는 단계Determining distortion of the final synthesized image related to the reference image by using the determined weights
    를 포함하는 영상 처리 방법.Image processing method comprising a.
  16. 제15항에 있어서,The method of claim 15,
    상기 가중치를 결정하는 단계는,Determining the weight,
    상기 중간 시점의 개수와 타겟 시점과 중간 시점 간의 거리를 고려하여 가중치를 결정하는 영상 처리 방법.And determining a weight in consideration of the number of the intermediate viewpoints and the distance between a target viewpoint and the intermediate viewpoint.
  17. 제16항에 있어서,The method of claim 16,
    상기 가중치를 결정하는 단계는,Determining the weight,
    상기 참조 영상의 타겟 시점의 왜곡을 결정하기 위해 복수의 중간 시점에 대응하는 합성 영상의 왜곡에 적용될 가중치를 결정하는 영상 처리 방법.And determining a weight to be applied to distortion of a composite image corresponding to a plurality of intermediate views to determine distortion of a target viewpoint of the reference image.
  18. 제15항에 있어서,The method of claim 15,
    상기 최종적인 합성 영상의 왜곡을 결정하는 단계는,Determining the distortion of the final composite image,
    상기 합성 영상에서 와핑(warping)된 픽셀에 기초한 왜곡 영역의 면적에 가중치를 적용하여 최종적인 합성 영상의 왜곡으로 결정하는 영상 처리 방법.And determining a final distortion of the composite image by applying a weight to an area of a distortion region based on the warped pixels in the composite image.
PCT/KR2013/003056 2012-04-16 2013-04-11 Image processing apparatus for determining distortion of synthetic image and method therefor WO2013157779A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261624561P 2012-04-16 2012-04-16
US61/624,561 2012-04-16
KR10-2013-0035270 2013-04-01
KR1020130035270A KR102029680B1 (en) 2012-04-16 2013-04-01 Image processing apparatus and method for determining distortion of synthesized image

Publications (1)

Publication Number Publication Date
WO2013157779A1 true WO2013157779A1 (en) 2013-10-24

Family

ID=49383677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003056 WO2013157779A1 (en) 2012-04-16 2013-04-11 Image processing apparatus for determining distortion of synthetic image and method therefor

Country Status (1)

Country Link
WO (1) WO2013157779A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072851A1 (en) * 2002-06-15 2006-04-06 Microsoft Corporation Deghosting mosaics using multiperspective plane sweep
US20080205791A1 (en) * 2006-11-13 2008-08-28 Ramot At Tel-Aviv University Ltd. Methods and systems for use in 3d video generation, storage and compression
KR100989435B1 (en) * 2009-03-16 2010-10-26 광주과학기술원 Method and apparatus for processing multi-viewpoint image
US20110115886A1 (en) * 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering
US20110234769A1 (en) * 2010-03-23 2011-09-29 Electronics And Telecommunications Research Institute Apparatus and method for displaying images in image system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072851A1 (en) * 2002-06-15 2006-04-06 Microsoft Corporation Deghosting mosaics using multiperspective plane sweep
US20080205791A1 (en) * 2006-11-13 2008-08-28 Ramot At Tel-Aviv University Ltd. Methods and systems for use in 3d video generation, storage and compression
KR100989435B1 (en) * 2009-03-16 2010-10-26 광주과학기술원 Method and apparatus for processing multi-viewpoint image
US20110115886A1 (en) * 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering
US20110234769A1 (en) * 2010-03-23 2011-09-29 Electronics And Telecommunications Research Institute Apparatus and method for displaying images in image system

Similar Documents

Publication Publication Date Title
WO2011155704A2 (en) 3d video encoding/decoding apparatus and 3d video encoding/decoding method using depth transition data
WO2019194522A1 (en) Method and device for processing duplicate points
WO2013162273A1 (en) Method and apparatus for processing video signal
WO2015194865A1 (en) Device and method for recognizing location of mobile robot by means of search-based correlation matching
WO2017160117A1 (en) Method and apparatus for processing intra-prediction-based video signal
WO2012044124A2 (en) Method for encoding and decoding images and apparatus for encoding and decoding using same
WO2017043766A1 (en) Video encoding and decoding method and device
WO2018066760A1 (en) Method for acquiring optimal spherical image by using multiple cameras
WO2015057033A1 (en) Method and apparatus for coding/decoding 3d video
JP4353460B2 (en) Movie data processing apparatus and method, and program
WO2009151292A2 (en) Image conversion method and apparatus
WO2017222301A1 (en) Encoding apparatus and method, and decoding apparatus and method
WO2020040521A1 (en) Method for synthesizing intermediate view of light field, system for synthesizing intermediate view of light field, and method for compressing light field
JP3194258B2 (en) Image coding method
WO2015030322A1 (en) Guide image generation device and method using parameters
WO2013157779A1 (en) Image processing apparatus for determining distortion of synthetic image and method therefor
WO2018131838A1 (en) Method and device for image decoding according to intra-prediction in image coding system
WO2013133587A1 (en) Method and apparatus for processing video signals
WO2015182927A1 (en) Multi-view video signal processing method and apparatus
WO2018212582A1 (en) Intra prediction encoding or decoding method and device
WO2018110822A1 (en) Method of projecting image onto curved projection area and projection system therefor
WO2022203464A2 (en) Method for real-time omnidirectional stereo matching using multi-view fisheye lenses and system therefor
WO2023210884A1 (en) Device and method for removing noise on basis of non-local means
WO2015115866A1 (en) Method and apparatus for interpolating color signal of image
EP1042918A1 (en) Static image generation method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13777784

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13777784

Country of ref document: EP

Kind code of ref document: A1