KR101797035B1 - Method for converting overlaying area into 3D image and apparatus thereof - Google Patents
Method for converting overlaying area into 3D image and apparatus thereof Download PDFInfo
- Publication number
- KR101797035B1 KR101797035B1 KR1020110004537A KR20110004537A KR101797035B1 KR 101797035 B1 KR101797035 B1 KR 101797035B1 KR 1020110004537 A KR1020110004537 A KR 1020110004537A KR 20110004537 A KR20110004537 A KR 20110004537A KR 101797035 B1 KR101797035 B1 KR 101797035B1
- Authority
- KR
- South Korea
- Prior art keywords
- overlay area
- depth
- depth value
- value
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하고, 입력된 단안 영상에 포함된 오버레이 영역을 검출하고, 검출된 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 균일한 값으로 보정하고, 보정된 깊이 지도에 기초하여 양안 영상을 생성하는 단계를 포함하는 오버레이 영역의 3D 영상 변환 방법이 개시되어 있다.A depth map for displaying a perspective view is generated from the input monocular image, an overlay area included in the inputted monocular image is detected, and a depth value in the depth map is corrected to a uniform value for the overlay area detected And generating a binocular image based on the corrected depth map.
Description
본 발명은 오버레이 영역의 3D 영상 변환 방법에 관한 것으로서, 더욱 상세하게는 3D 영상으로 변환함에 있어서, 오버레이 영역이 균일한 깊이감을 갖도록 함으로써 왜곡 현상을 방지하는 3D 영상 변환 방법에 관한 것이다.The present invention relates to a 3D image conversion method for an overlay area, and more particularly, to a 3D image conversion method for preventing a distortion phenomenon by allowing an overlay area to have a uniform depth sense in converting to a 3D image.
인간이 입체감을 느끼는 가장 큰 요인은 하나의 물체를 좌안과 우안으로 서로 다른 방향에서 주시함으로써 생기는 좌/우 망막 상의 공간적 차이 때문이다. 이러한 차이를 2차원 평면인 디스플레이 장치에서 느낄 수 있게 하기 위해 좌안과 우안에 서로 다른 영상 즉, 양안 영상(stereoscopic image)을 디스플레이함으로써 3차원 영상을 보고 있는 것으로 시청자(viewer)가 느끼게 할 수 있다.The most important factor that human beings sense three-dimensionally is the spatial difference in the left / right retina due to the observation of one object in different directions from the left eye and right eye. In order to make such a difference in a two-dimensional plane display device, a viewer can feel that a three-dimensional image is being viewed by displaying different images, i.e., a stereoscopic image, in the left and right eyes.
이러한 3차원 영상은 제작 당시에 여러 대의 카메라를 이용하여 생성할 수도 있으나, 기존에 제작된 2차원 영상을 차후에 3차원 영상으로 변환할 수도 있다. 이러한 3D 영상 변환 기술에서는 양안 시차를 고려하여 좌우안 영상으로 분리하여 생성한 후, 이를 결합하여 재생하고, 시청자는 셔터 및 편광 방식 안경 등을 착용해 좌안으로 보이는 영상과 우안으로 보이는 영상을 분리하여 관찰함으로써 3차원 영상을 보는 것으로 느끼게 된다.Such a three-dimensional image can be generated by using a plurality of cameras at the time of production, but it is also possible to convert an existing two-dimensional image into a three-dimensional image in the future. In this 3D image conversion technology, the left eye and the right eye are separately generated in consideration of the binocular disparity, and then the combined images are reproduced. The viewer wears a shutter and a polarizing glasses to separate the image of the left eye and the image of the right eye By observing it, I feel that I see a 3D image.
그러나, 종래의 자막 영역의 3D 영상 변환 기술에서는 2D 영상 내에 포함된 자막 영역에 대한 별도의 처리 방식이 없었으며, 다만 자막에 대한 메타데이터가 영상데이터에 부가되어 수신되는 경우에는 자막 영역에 대한 메타데이터를 활용하여 자막 영역을 2D로 강제 변환하기도 한다.However, in the conventional 3D image conversion technology of the caption area, there is no separate processing method for the caption area included in the 2D image. However, when the metadata about the caption is added to the image data and received, Data is also used to coerce the subtitle area into 2D.
그러나 자막 영역을 2D로 강제 변환하기 때문에, 3D 영상 변환 후에는 자막 영역과 주변 배경의 불연속적인 깊이감으로 인한 시청 방해가 발생하거나, 자막 영역이 배경 영상 뒤편에 표시되는 등의 왜곡 현상이 발생하여 이로 인해 시청 피로감이 여전히 남게 된다.However, since the caption area is coercively converted to 2D, after the 3D image conversion, disturbance occurs due to the discontinuous depth sense of the caption area and the surrounding background, or distortion occurs such that the caption area is displayed behind the background image This leaves the audience with tiredness.
본 발명의 목적은 오버레이 영역에 대한 메타 데이터가 없는 일반적인 2D 영상에 대해서 오버레이 영역을 검출한 후에, 해당 영역에 대한 주변 배경의 깊이감과의 관계를 고려하여, 상기 오버레이 영역에 깊이값을 균일하게 할당함으로써, 오버 레이 영역의 3D 효과로 인한 시청 피로감을 줄이며 오버레이 영역과 주변 배경의 불연속적인 깊이감이 발생하지 않도록 하는 오버레이 영역의 3D 영상 변환 방법 및 장치를 제공하는 것이다.An object of the present invention is to provide a method and apparatus for detecting an overlay area for a general 2D image having no metadata for an overlay area and then uniformly assigning a depth value to the overlay area, The present invention provides a 3D image conversion method and apparatus for an overlay area that reduces viewing fatigue due to a 3D effect of an overlay area and prevents discontinuous depth sensing of an overlay area and a surrounding background.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계와; 상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계와; 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 단계와; 상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of converting a 3D image of an overlay region, the method comprising: generating a depth map representing a perspective from an input monocular image; Detecting an overlay area included in the input monocular image; Correcting a depth value in the depth map for at least one of the detected overlay area and background image; And generating a binocular image based on the corrected depth map.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 보정한다.According to another embodiment of the present invention, the correcting step corrects the value to a value approximate to the depth value assigned to the peripheral area of the detected overlay area.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 단계와; 상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 단계와; 상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 단계를 더 포함한다.According to another embodiment of the present invention, the correcting step may include searching at least one depth value for a background image located at a boundary portion of the detected overlay area; Calculating an average value of the at least one depth value searched; And uniformly assigning the calculated average value to the depth value of the overlay area.
본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역을 검출하는 단계는 상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출한다.According to another embodiment of the present invention, the step of detecting the overlay area extracts an overlay area by analyzing edges and color components in the input monocular image.
본 발명의 또 다른 실시예에 따르면, 양안 영상을 생성하는 단계는 상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성한다.According to another embodiment of the present invention, the step of generating a binocular image may include the steps of: calculating a binocular disparity from a completed depth map by reflecting a correction value for the overlay area to generate a binocular image in the left and right eyes;
본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역을 검출하는 단계는 상기 오버레이 영역의 위치 정보에 기초하여 수행되고, 상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보이다. According to another embodiment of the present invention, the step of detecting the overlay area is performed based on the positional information of the overlay area, and the positional information of the overlay area may include coordinates indicating the position of the overlay area, Bitmap information indicating the location.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하는 단계를 더 포함하고, 상기 보정하는 단계는 상기 판단 결과, 상기 보정을 수행하도록 결정된 경우에 한하여 수행된다. According to another embodiment of the present invention, the step of correcting further comprises the step of determining whether to perform the correction based on at least one of the position, size and movement of the overlay area, Step is performed only when it is determined to perform the correction as a result of the determination.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정한다. According to another embodiment of the present invention, the correcting step corrects all the objects of the background image to have the same depth value.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정한다. According to another embodiment of the present invention, the correcting step corrects the difference between the depth values of each of the objects of the background image to be reduced.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정한다. According to another embodiment of the present invention, the step of correcting may further include a step of correcting a depth value of the background image by a predetermined depth from an average value of depth values of objects of the background image, Is set as the depth value of the overlay area.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정한다. According to another embodiment of the present invention, the correcting step sets the depth value at the center of the overlay area or the depth value at the boundary of the overlay area as the depth value of the entire overlay area.
본 발명의 또 다른 실시예에 따르면, 상기 보정이 수행된 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 수행하는 단계를 더 포함한다. According to another embodiment of the present invention, there is further provided a method for performing filtering on the overlay area to remove a difference between a depth value of the overlay area and a depth value of the background image after the correction is performed .
본 발명의 또 다른 실시예에 따르면,상기 보정하는 단계는 상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 수행된다. According to another embodiment of the present invention, the correcting step is performed using a depth value obtained by applying weights to depth values of the background image and the overlay area, respectively.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정한다. According to another embodiment of the present invention, the step of correcting may further include setting one of a minimum value, a maximum value, and an average value of a depth value of each of the plurality of overlay areas, Set the depth value.
본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정한다. According to another embodiment of the present invention, the correcting step sets a depth value input from a user as a depth value of the overlay area.
본 발명의 또 다른 실시예에 따르면, 상기 양안 영상을 생성하는 단계는 상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 수행된다. According to another embodiment of the present invention, the step of generating the binocular image is performed by referring to only the pixel values in the background image without referring to the pixel values in the overlay area.
한편, 상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 오버레이 영역의 3D 영상 변환 장치는 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부와; 상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부와; 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부와; 상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for converting a 3D image of an overlay region, the apparatus comprising: a depth map generator for generating a depth map for displaying a perspective from an inputted monocular image; An overlay area detector for detecting an overlay area included in the inputted monocular image; A depth value correcting unit for correcting a depth value in the depth map for at least one of the detected overlay area and background image; And a binocular image generating unit for generating a binocular image based on the corrected depth map.
본 발명의 또 다른 실시예에 따르면, 상기 깊이값 보정부는 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정한다.According to another embodiment of the present invention, the depth value correcting unit corrects the depth value of the overlay area to a value approximate to the depth value assigned to the peripheral area of the detected overlay area.
본 발명의 또 다른 실시예에 따르면, 상기 깊이값 보정부는 상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와; 상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함하며, 상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당한다.According to another embodiment of the present invention, the depth value correction unit may include a search unit for searching at least one depth value for a background image located at a boundary portion of the detected overlay area; And a mean value calculator for calculating an average value of at least one of the searched depth values, wherein the calculated average value is uniformly allocated to a depth value of the overlay area.
본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역 검출부는 상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출한다. According to another embodiment of the present invention, the overlay area detecting unit extracts an overlay area by analyzing edges and color components in the input monocular image.
본 발명의 또 다른 실시예에 따르면, 상기 양안 영상 생성부는 상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성한다.According to still another embodiment of the present invention, the binocular image generation unit generates binocular images by calculating binocular disparity from the completed depth map by reflecting the correction value for the overlay area.
상기 기술적 과제를 해결하기 위해 본 발명의 일 실시예는 상기된 3D 영상 변환 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.According to an aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing the above-described 3D image conversion method.
본 발명의 실시예에 따른 오버레이 영역의 3D 영상 변환 방법에 따르면, 3D 영상으로의 변환 결과, 적용 전에는 같은 글자라도 위치에 따라 서로 다른 양안 시차를 부여하게 되지만, 본 발명에서 제시한 오버레이 영역 3D 변환 기술을 적용하면 오버레이 영역에 균일한 양안 시차가 부여되므로 오버레이 영역이 동일한 깊이감을 가지게 되고 왜곡 현상이 발생하지 않는다. 또한 오버 레이 영역이 오버레이 영역의 주변에 위치한 배경 영역과 유사한 깊이감을 가지게 되고, 오버레이 영역이 검출되면 배경 영상의 깊이 값이 보정되므로, 오버 레이 영역의 3D 효과에 따른 시청 피로감이 저감된다.According to the 3D image conversion method of the overlay area according to the embodiment of the present invention, even if the same letter is given as a result of the conversion into the 3D image, different binocular parallax is given depending on the position. However, Technology, a uniform binocular parallax is given to the overlay area, so that the overlay area has the same depth sense and no distortion occurs. In addition, the overlay area has a similar depth feeling to the background area located around the overlay area, and when the overlay area is detected, the depth value of the background image is corrected, so that viewing fatigue due to the 3D effect of the overlay area is reduced.
도 1은 자막 영역을 포함하는 단안 영상 프레임의 일 예를 나타내기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.
도 3은 본 발명의 제2 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.
도 4는 도 2에서 오버레이 영역에 대한 깊이값을 보정하는 단계의 일 실시예를 설명하기 위한 플로우 차트이다.
도 5a는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용하지 않은 예를 나타내는 도면이다.
도 5b는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용한 예를 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른, 오버레이 영역의 3D 영상 변환 장치를 나타내는 기능 블록도이다.
상기 몇 개의 도면에 있어서 대응하는 도면 번호는 대응하는 부분을 가리킨다. 도면이 본 발명의 실시예들을 나타내고 있지만, 도면이 축척에 따라 도시된 것은 아니며 본 발명을 보다 잘 나타내고 설명하기 위해 어떤 특징부는 과장되어 있을 수 있다.1 is a diagram illustrating an example of a monocular image frame including a caption area.
2 is a flowchart for explaining a 3D image conversion method of an overlay area according to an embodiment of the present invention.
3 is a flowchart for explaining a 3D image conversion method of an overlay area according to a second embodiment of the present invention.
FIG. 4 is a flowchart for explaining an embodiment of the step of correcting the depth value for the overlay area in FIG.
5A is a diagram illustrating an example in which an embodiment of the present invention is not applied when an overlay area is converted into a 3D image.
FIG. 5B is a diagram illustrating an example in which an embodiment of the present invention is applied when an overlay area is converted into a 3D image.
FIG. 6 is a functional block diagram illustrating an overlay area 3D image conversion apparatus according to another embodiment of the present invention.
Corresponding reference numerals in the several drawings indicate corresponding parts. Although the drawings illustrate embodiments of the invention, the drawings are not drawn to scale and certain features may be exaggerated for better illustrating and describing the invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 자막 영역을 포함하는 단안 영상 프레임의 일 예를 나타내기 위한 도면이다.1 is a diagram illustrating an example of a monocular image frame including a caption area.
도 1을 참조하면, 본 발명에서 관심을 가지고 바라보는 자막 영역(120)을 기준으로 볼 때, 영상 프레임(110) 내에서는 자막 외 다른 부분은 배경으로 볼 수 있다. 배경에는 여러 피사체(객체)가 등장할 수 있으며, 이들은 3D 영상으로 변환될 때가 각기 다른 깊이값(depth value)를 부여받게 되고, 그에 따라 서로 다른 양안 시차가 적용되어 3D 영상으로 디스플레이된다.Referring to FIG. 1, in the
이때 종래 기술에 따르면, 3D 영상으로 변환될 때 자막 영역(120)이 함께 변환됨으로써 각각의 글자에 서로 다른 깊이값을 할당받고, 서로 다른 양안 시차값이 적용될 수 있다. 한편, 자막 영역(120)만을 별도로 2D 변환하는 경우에 있어서도, 단순히 양안 시차값을 "0"(zero)으로 설정하므로 주변 배경의 깊이감과 상관없이 원근감에 관한 z축을 기준으로 맨 앞에 놓이거나, 맨 뒤에 놓이는 경우가 발생한다. In this case, according to the related art, when the 3D image is converted, the
이런 경우에, 불연속적인 깊이감을 갖는 자막의 3D 효과로 인하여 시청자는 장시간동안 영상을 시청할 때 피로감을 느끼게 된다.In this case, the viewer experiences fatigue when watching the video for a long time due to the 3D effect of the subtitle having a discontinuous depth sense.
따라서, 본 발명에서는 2D 영상에 대해서 자막 영역, OSD(On Screen Display), 영역, 방송사 Logo 영역 등을 포함하는 오버레이 영역(Overlaying area)을 검출한 후에, 주변 배경의 깊이값과의 관계를 고려한 소정의 깊이값을 해당 오버레이 영역에 균일하게 할당함으로써 오버레이 영역과 주변 배경의 불연속적인 깊이감이 발생하지 않도록 하는 방법을 제안한다.Therefore, in the present invention, after detecting an overlay area including a caption area, an OSD (On Screen Display), an area, and a broadcasting company logo area for a 2D image, The depth value of the overlay area is uniformly allocated to the overlay area so that the discontinuous depth feeling of the overlay area and the surrounding background does not occur.
또한, 2D 영상에서 오버레이 영역이 검출되면, 2D 영상을 3D 영상으로 변환할 때 배경 영상의 깊이 값을 보정하는 방법을 제안한다. Also, when the overlay area is detected in the 2D image, a method of correcting the depth value of the background image when converting the 2D image into the 3D image is proposed.
도 2는 본 발명의 일 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.2 is a flowchart for explaining a 3D image conversion method of an overlay area according to an embodiment of the present invention.
도 2를 참조하면, 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계(210)와 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계(220)와 검출된 오버레이 영역에 대하여, 상기 깊이 지도에서의 깊이값을 균일한 값으로 보정하는 단계(230)와 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계(240)를 포함한다Referring to FIG. 2, a 3D image conversion method of an overlay area according to an exemplary embodiment includes a
먼저 단계 210에서는, 입력된 2D 영상에 대한 깊이 지도(depth map)를 생성한다. 깊이 지도란, 영상 내의 객체들 사이에 대한 3차원 거리 차이를 나타내는 지도로서, 각 픽셀마다 0부터 255 사이의 값으로 표현된다. 흑/백으로 기준으로 나타낼 때 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낸다.First, in
다음으로 단계 220에서는, 단안 영상에 포함된 오버레이 영역을 검출한다. 오버레이 영역을 검출하는 기법의 일 예로, 단안 영상에서 경계(edge)와 색상(color) 성분을 분석하여 오버레이 영역을 추출하는 방법이 있다. 이때, 오버레이 영역에 해당하는 사각형을 추출할 수도 있다.Next, at
또한, 오버레이 영역 추출 방법으로 경계(edge), 색상(color) 뿐만 아니라 텍스처(texture) 정보와 같은 하위 계층(low-level)의 특징을 기반으로 하거나, 영상 내 삽입된 글자에 높이감을 주기 위해 경계부분에는 해당 글자와 다른 색으로 표현한다는 점을 이용한 천이(transition) 영역 검색 기법 등이 있다. 다음으로 단계 230에서는, 검출된 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 보정한다. 이때, 오버레이 영역에 대한 보정값은 일정한 값으로 균일하게 할당된다. 즉, 오버레이 영역에 대해서는 각각의 글자에 대한 깊이감이 서로 달라지지 않게 표현되도록 균일한 깊이값을 부여하는 것이다.In addition, the overlay area extraction method may be based on low-level features such as edge and color as well as texture information, And a transition area search technique using the fact that the character is represented in a different color from the corresponding character. Next, in
이렇게 오버레이 영역의 깊이값을 보정하는 경우에 있어서, 보정값이 되는 기준은 바로 주변 영역의 깊이값들이다. 즉, 변환된 3D 영상에 있어서 자막이 주변 배경 영상과 이질적이지 않고, 불연속적으로 표현되지 않기 위하여 주변 배경 영상의 깊이값과 유사한 값을 가질 필요가 있다. 따라서, 본 발명의 일 실시예에서는 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정한다.In the case of correcting the depth value of the overlay area, the reference value serving as the correction value is the depth value of the surrounding area. That is, in the converted 3D image, it is necessary to have a value similar to the depth value of the surrounding background image so that the caption is not heterogeneous with the surrounding background image and is not expressed discontinuously. Therefore, in an embodiment of the present invention, the depth value of the overlay area is corrected to a value approximate to the depth value assigned to the peripheral area of the overlay area detected.
마지막으로 단계 240에서는, 상기 보정 과정으로 완성된 깊이 지도에 기초하여 좌우안의 양안 영상을 생성한다. 즉, 깊이 지도를 참조하여 양안 시차를 계산하고, 영상 내에 표시되는 객체들을 각각의 양안 시차만큼 이동시킴으로써 좌우안 영상을 생성한다.Finally, in
이렇게 변환된 3D 영상을 보면, 영상내 오버레이 영역은 주변 배경과 유사한 깊이감을 가짐으로써 연속성을 유지하고, 동시에 자막 내의 각각의 글자들은 동일한 양안 시차값을 부여받아 왜곡 현상이 발생하지 않는다.In the 3D image thus transformed, the overlay area in the image maintains continuity by having a depth sense similar to that of the surrounding background, and at the same time, each letter in the caption is given the same binocular parallax value, and distortion does not occur.
도 3은 본 발명의 제2 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.3 is a flowchart for explaining a 3D image conversion method of an overlay area according to a second embodiment of the present invention.
단계 310에서는, 입력된 2D 영상에 대한 깊이 지도(depth map)를 생성한다. 단계 320에서는, 단안 영상에 포함된 오버레이 영역을 검출한다.In
이때, 오버레이 영역은 오버레이 영역의 위치 정보에 기초하여 검출될 수도 있다. 예컨대, 검출하고자 하는 오버레이 영역이 디스플레이 장치에서 생성한 OSD를 나타내는 영역인 경우에는 디스플레이 장치로부터 그 OSD 영역의 위치 정보를 제공받아 OSD 영역을 검출할 수 있다. 이때, OSD 영역의 위치 정보는 OSD 영역에 대한 좌표 값의 형태를 가질 수도 있지만, OSD 영역은 1로 표시되고, OSD 영역 외의 배경 영상은 0으로 표시된 비트맵 형태를 가질 수도 있다. At this time, the overlay area may be detected based on the position information of the overlay area. For example, when the overlay area to be detected is an area representing the OSD generated by the display device, the OSD area can be detected by receiving the position information of the OSD area from the display device. At this time, the position information of the OSD area may have the form of a coordinate value for the OSD area, but the OSD area may be displayed as 1, and the background image outside the OSD area may have a bitmap shape as 0.
단계 330에서는, 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정할 것인지 여부를 판단한다. In
만일, 깊이값을 보정한다면 단계 340으로 진행하고, 그렇지 않다면 단계 350으로 진행한다. If the depth value is corrected, proceed to step 340, otherwise proceed to step 350.
이와 같이 본 실시예에서는 도 2의 실시예와는 달리 무조건 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 보정하는 것이 아니라, 오버레이 영역이 소정의 조건을 만족하는 경우에 한하여 보정을 수행한다. In this manner, unlike the embodiment of FIG. 2, the present embodiment does not correct the depth value in the depth map for the unconditional overlay area, but performs correction only when the overlay area satisfies a predetermined condition.
예컨대, 오버레이 영역의 위치, 크기, 이동 여부 등에 기초하여 깊이값의 보정 여부가 결정될 수 있다. 보다 구체적으로는, 오버레이 영역이 중앙에 위치하거나, 오버레이 영역의 크기가 소정의 임계치보다 크거나, 오버레이 영역이 이동하지 않는 경우 등에는 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정할 수 있다. For example, whether or not the depth value is corrected can be determined based on the position, size, and movement of the overlay area. More specifically, when the overlay area is located at the center, the size of the overlay area is larger than the predetermined threshold value, the overlay area is not moving, or the like, at least one of the overlay area and the background image, Can be corrected.
단계 340에서는, 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정한다. In
즉, 본 실시예에서는 다음과 같이 3가지 종류의 깊이값 보정 방법이 수행된다. That is, in this embodiment, three kinds of depth value correction methods are performed as follows.
첫째는, 배경 영상에 대해서만 깊이 지도에서의 깊이값을 보정하는 방법이다. First, it is a method of correcting the depth value in the depth map only for the background image.
첫번째 보정 방법에서는, i) 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 방법 또는 ii) 배경 영상의 객체들 각각의 깊이값들간의 차이를 줄이는 방법이 이용될 수 있다. ii)의 경우에 배경 영상의 객체들 각각의 깊이값들간의 차이를 소정 비율만큼 줄일 수 있다.In the first correction method, i) a method of correcting all the background image objects to have the same depth value, or ii) a method of reducing the difference between the depth values of each of the background image objects can be used. ii), the difference between the depth values of the background image objects can be reduced by a predetermined ratio.
예컨대, OSD가 화면에 디스플레이 되는 경우에 첫번째 보정 방법을 적용하게 되면 배경 영상이 2D 영상으로 보이거나 2D 영상에 가깝게 보이게 되므로 사용자는 OSD 영역을 덜 피로하게 시청할 수 있게 된다. For example, when the OSD is displayed on the screen, if the first correction method is applied, the background image becomes a 2D image or a 2D image, so that the user can watch the OSD area with less fatigue.
둘째는, 오버레이 영역에 대해서만 깊이 지도에서의 깊이값을 보정하는 방법이다.The second method is to correct the depth value in the depth map only for the overlay area.
두번째 보정 방법에서는, i) 오버레이 영역의 양안 시차 값을 0으로 설정하는 방법, ii) 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값보다 소정의 깊이만큼 높은 깊이 값을 오버레이 영역의 깊이값으로서 설정하는 방법, iii) 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 오버레이 영역의 깊이값으로서 설정하는 방법, iv) 오버레이 영역의 중앙에서의 깊이값 또는 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 방법, v) 배경 영상의 깊이값과 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 오버레이 영역의 깊이값으로서 설정하는 방법, vi) 임의의 디폴트 값(default value)을 오버레이 영역의 깊이값으로 설정하는 방법, vii) 오버레이 영역이 복수개인 경우에 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값을 모든 오버레이 영역의 깊이값으로 설정하는 방법, viii) 사용자가 입력한 깊이 값을 오버레이 영역의 깊이값으로 설정하는 방법, ix) 오버레이 영역 주변의 배경 영상의 깊이값을 이용하여 보정하는 방법 등이 이용될 수 있다. In the second correction method, i) a method of setting the binocular parallax value of the overlay area to 0, ii) a method of setting a depth value of a predetermined depth higher than the highest depth value of objects in the background image as a depth value of the overlay area Iii) a method of setting a depth value higher than the average value of the depth values of objects of the background image by a predetermined depth as the depth value of the overlay area, iv) a method of setting the depth value at the center of the overlay area or the depth A method of setting the value as the depth value of the overlay area, v) a method of setting the depth value obtained by applying the weight to the depth value of the background image and the depth value of the overlay area as the depth value of the overlay area, A method of setting a default value as a depth value of an overlay area, and vii) a method of setting a plurality of overlays A method of setting the minimum value, the maximum value or the average value of the depth value of each area as the depth value of all the overlay areas, viii) a method of setting the depth value inputted by the user as the depth value of the overlay area, ix) A method of correcting using a depth value of a background image, or the like can be used.
이때, v) 배경 영상의 깊이값과 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 오버레이 영역의 깊이값으로서 설정하는 방법은 수학식 1을 참조하여 설명한다. 예컨대, 배경 영상의 깊이값과 오버레이 영역의 깊이값 각각에게 적용되는 가중치가 0.7과 0.3이라고 하면, 배경 영상의 객체들의 깊이값들의 평균 값(Dbaver)을 계산한 후, 그 배경 영상의 객체들의 깊이값들의 평균 값(Dbaver)에 0.7을 곱하고, 오버레이 영역의 깊이값(Do)에 0.3을 곱한 후, 양 값을 합산함으로써, 오버레이 영역의 새로운 깊이값으로서 설정될 보정된 깊이 값(Dco)이 계산될 수 있다. The method of setting the depth value obtained by applying the weights to the depth value of the background image and the depth value of the overlay area as the depth value of the overlay area will be described with reference to Equation (1). For example, if the weights applied to the depth values of the background image and the overlay area are 0.7 and 0.3, respectively, the average value (Dbaver) of the depth values of the background image objects is calculated, The corrected depth value Dco to be set as a new depth value of the overlay area is calculated by multiplying the average value Dbaver of the values by 0.7, multiplying the depth value Do of the overlay area by 0.3, .
[수학식 1][Equation 1]
한편, vii)의 오버레이 영역 주변의 배경 영상의 깊이값을 이용하여 오버레이 영역에 대해 깊이값을 보정하는 방법은 도 4를 참조하여 후술한다. On the other hand, a method of correcting the depth value for the overlay area using the depth value of the background image around the overlay area of vii) will be described with reference to FIG.
한편, 두번째 보정 방법에 따라 오버레이 영역에 대해서만 깊이 지도에서의 깊이값이 보정되면 오버레이 영역의 깊이값과 배경 영상의 깊이값이 심하게 차이가 나게 되어 오버레이 영역의 경계에서 왜곡이 발생할 수 있다. 따라서, 다른 실시예에서는 이와 같은 왜곡을 제거하기 위하여 오버레이 영역에 대하여 미디언 필터(median filter), 가중 평균 필터(weighted average filter) 또는 멕시멈 필터(maximum filter)와 같은 스무딩 필터(smoothing filter)가 적용될 수 있다. On the other hand, according to the second correction method, if the depth value in the depth map is corrected only for the overlay area, the depth value of the overlay area and the depth value of the background image are significantly different, and distortion may occur at the boundary of the overlay area. Therefore, in another embodiment, a smoothing filter such as a median filter, a weighted average filter, or a maximum filter is applied to the overlay area in order to remove such distortion Can be applied.
다만, 본 발명의 일실시예는 스무딩 필터 외에도 오버레이 영역의 깊이값과 배경 영상의 깊이값의 차이를 제거할 수 있는 모든 종류의 필터가 이용될 수 있다. 예컨대, 다른 실시예에서는 스무딩 필터 대신에 로우패스 필터가 이용될 수 있다. However, in an embodiment of the present invention, all kinds of filters capable of removing the difference between the depth value of the overlay area and the depth value of the background image may be used in addition to the smoothing filter. For example, in other embodiments, a low pass filter may be used in place of the smoothing filter.
셋째는, 배경 영상과 오버레이 영역 모두에 대하여 깊이 지도에서의 깊이값을 보정하는 방법이다.The third method is to correct the depth value in the depth map for both the background image and the overlay area.
다른 실시예에서는, 오버레이 영역의 종류에 따라 전술한 첫번째 내지 세번째 보정 방법 중에서 어느 보정 방법을 이용하여 보정을 수행할 것인지가 결정될 수도 있다. In another embodiment, it may be determined which of the above-described first to third correction methods to perform correction depending on the type of overlay area.
예컨대, 오버레이 영역이 자막을 나타내는 영역인 경우에는 오버레이 영역의 깊이값만을 보정하고, 오버레이 영역이 OSD를 나타내는 영역인 경우에는 오버레이 영역과 배경 영상 모두의 깊이값을 보정하거나, 배경 영상의 깊이값만을 보정할 수 있다. For example, when the overlay area is an area representing subtitles, only the depth value of the overlay area is corrected. When the overlay area is an area representing the OSD, the depth value of both the overlay area and the background image is corrected. Can be corrected.
단계 350에서는, 단계 340에서의 보정 과정으로 완성된 깊이 지도에 기초하여 좌우안의 양안 영상을 생성하거나, 깊이값이 보정되지 않은 단계 310의 깊이 지도에 기초하여 좌우안의 양안 영상을 생성한다. In
이때, 좌우안의 양안 영상은 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 배경 영상 내의 픽셀 값들만을 참조하여 생성될 수 있다. At this time, the left and right binocular images can be generated by referring only to the pixel values in the background image without referring to the pixel values in the overlay area.
도 4는 도 2에서 오버레이 영역에 대한 깊이값을 보정하는 단계의 일 실시예를 설명하기 위한 플로우 차트이다.FIG. 4 is a flowchart for explaining an embodiment of the step of correcting the depth value for the overlay area in FIG.
도 4를 참조하면, 오버레이 영역에 대한 깊이값을 보정하는 일 예로서 주변 배경의 평균 깊이값을 이용하는 방법이 개시된다.Referring to FIG. 4, a method of using an average depth value of a surrounding background is disclosed as an example of correcting a depth value for an overlay area.
각 동작 과정을 살펴보면, 먼저 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하고(410), 검색된 적어도 하나 이상의 깊이값의 평균값을 계산한 후(420), 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당할 수 있다(430). At least one depth value is searched for at least one depth value of the background image located at the boundary of the overlay area detected in
아울러, 평균값 뿐만 아니라 오버레이 영역을 둘러싼 주변 영역의 깊이값들을 검색하여 이들의 중간값, 최빈값 등을 적용하는 것도 가능하다.It is also possible to search the depth values of the surrounding area surrounding the overlay area as well as the average value, and to apply the intermediate values, the mode values, and the like.
도 5a는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용하지 않은 예를 나타내는 도면이다. 한편, 도 5b는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용한 예를 나타내는 도면이다.5A is a diagram illustrating an example in which an embodiment of the present invention is not applied when an overlay area is converted into a 3D image. Meanwhile, FIG. 5B is a diagram showing an example in which an embodiment of the present invention is applied when an overlay area is converted into a 3D image.
도 5a를 참조하면, 먼저 오버레이 영역에 대한 좌안 영상(510)과 우안 영상(520)이 나타나 있다. 좌우안 영상에 표현된 자막의 위치를 a1, a2, a3로 서로 비교해 보면(여기서 실선은 좌안 영상(510)의 각 글자의 위치를 나타내며, 점선은 아래 우안 영상(520)의 각 글자의 위치를 나타낸다), 각각의 글자에 적용된 양안 시차가 서로 다르게 표현되어 있음을 알 수 있다. 이는 도 5b에서 대응되는 부분인 b1, b2, b3를 비교하여 살펴보면 보다 명확히 알 수 있다. 도 5a와 같은 상태로 자막이 3차원 디스플레이 되는 경우에는, 시청자는 자막을 판독하기가 어렵고 장시간 시청시 피로감이 가중된다. Referring to FIG. 5A, a
그러나, 본 발명의 일 실시예가 적용된 도 5b를 다시 참조하면, 오버레이 영역에 대한 좌안 영상(510)과 우안 영상(520)에 표현된 자막의 위치를 b1, b2, b3로 서로 비교해 볼 때, 각각의 글자에 적용된 양안 시차가 서로 균일하게 표현되어 있음을 알 수 있다(이는 도 5a에서 대응되는 부분인 a1, a2, a3와 비교하면 보다 명확히 알 수 있다). 이렇게 도 5b와 같은 상태로 자막이 3차원 디스플레이 되는 경우에는, 오버레이 영역에서 왜곡 현상이 발생하지 않고 시청자는 보다 편안하게 자막을 판독할 수 있다. However, when the positions of the captions represented in the
도 6은 본 발명의 다른 실시예에 따른, 오버레이 영역의 3D 영상 변환 장치를 나타내는 기능 블록도이다.FIG. 6 is a functional block diagram illustrating an overlay area 3D image conversion apparatus according to another embodiment of the present invention.
도 6을 참조하면, 오버레이 영역의 3D 영상 변환 장치(600)의 일 실시예는 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부(610)와 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부(620)와 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부(630)와 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부(640)를 포함한다.6, an embodiment of the 3D
한편, 상기 깊이값 보정부(630)는, 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함할 수 있다.The depth
한편, 상술한 본 발명의 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. Meanwhile, the 3D image conversion method of the overlay area according to an embodiment of the present invention can be realized by a general-purpose digital computer that can be created as a program that can be executed by a computer and operates the program using a computer- Can be implemented.
또한, 상술한 바와 같이 본 발명에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. In addition, as described above, the structure of data used in the present invention can be recorded on a computer-readable recording medium through various means.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (33)
입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계와;
상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계와;
상기 검출된 오버레이 영역의 종류에 기초하여, 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 단계와;
상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3D 영상 변환 방법.A 3D image conversion method of an overlay area,
Generating a depth map representing a perspective from an inputted monocular image;
Detecting an overlay area included in the input monocular image;
Correcting a depth value in the depth map for at least one of the detected overlay area and background image based on the detected type of the overlay area;
And generating a binocular image based on the corrected depth map.
상기 보정하는 단계는, 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 보정하는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
Wherein the correcting step corrects the value to a value approximate to a depth value assigned to a peripheral area of the detected overlay area.
상기 보정하는 단계는,
상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 단계와;
상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 단계와;
상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 변환 방법.3. The method of claim 2,
Wherein the correcting comprises:
Searching at least one depth value for a background image located at a boundary portion of the detected overlay area;
Calculating an average value of the at least one depth value searched;
And uniformly assigning the calculated average value to a depth value of the overlay area.
상기 오버레이 영역을 검출하는 단계는,
상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출하는 것을 특징으로 하는 3D 영상 변환 방법.3. The method of claim 2,
Wherein the detecting the overlay region comprises:
Wherein an overlay region is extracted by analyzing edges and color components in the input monocular image.
상기 양안 영상을 생성하는 단계는,
상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 방법.3. The method of claim 2,
Wherein the step of generating the binocular image comprises:
And calculating a binocular disparity from the completed depth map by reflecting the correction value for the overlay area to generate a left and right binocular image.
상기 오버레이 영역을 검출하는 단계는 상기 오버레이 영역의 위치 정보에 기초하여 수행되고,
상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보인 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
Wherein the step of detecting the overlay area is performed based on the positional information of the overlay area,
Wherein the position information of the overlay area is bitmap information indicating a position of the overlay area or a position of the overlay area.
상기 보정하는 단계는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하는 단계를 더 포함하고,
상기 보정하는 단계는 상기 판단 결과, 상기 보정을 수행하도록 결정된 경우에 한하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
Wherein the correcting step further comprises determining whether to perform the correction based on at least one of a position, a size and a movement of the overlay area,
Wherein the correcting step is performed only when it is determined to perform the correction as a result of the determination.
상기 보정하는 단계는,
상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
Wherein the correcting comprises:
And corrects the objects of the background image to have the same depth value.
상기 보정하는 단계는,
상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정하는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
Wherein the correcting comprises:
And corrects the difference between the depth values of the objects of the background image to be reduced.
상기 보정하는 단계는,
상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정하는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
Wherein the correcting comprises:
Wherein a depth value of the overlay area is set to a depth value that is higher than a mean value of depth values of objects of the background image or depth values of objects of the background image by a predetermined depth, Conversion method.
상기 보정하는 단계는
상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
The step of correcting
Wherein the depth value at the center of the overlay area or the depth value at the boundary of the overlay area is set as the depth value of the entire overlay area.
상기 보정이 수행된 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 수행하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 변환 방법.12. The method of claim 11,
Further comprising performing filtering on the overlay area to remove a difference between a depth value of the overlay area and a depth value of the background image after the correction is performed.
상기 보정하는 단계는
상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
The step of correcting
And a depth value obtained by applying weights to depth values of the background image and the overlay area, respectively.
상기 보정하는 단계는
상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.The method of claim 1, wherein
The step of correcting
Wherein one of a minimum value, a maximum value, and an average value of depth values of each of the plurality of overlay areas is set as a depth value of each of the plurality of overlay areas when the number of the overlay areas is plural.
상기 보정하는 단계는
사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
The step of correcting
Wherein the depth value input from the user is set as the depth value of the overlay area.
상기 양안 영상을 생성하는 단계는
상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.The method according to claim 1,
The step of generating the binocular image comprises:
Wherein the pixel values in the overlay region are not referenced but are referenced only to pixel values in the background image.
입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부와;
상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부와;
상기 검출된 오버레이 영역의 종류에 기초하여, 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부와;
상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부를 포함하는 것을 특징으로 하는 3D 영상 변환 장치.A 3D image converting apparatus in an overlay area,
A depth map generating unit for generating a depth map for displaying a perspective from an input monocular image;
An overlay area detector for detecting an overlay area included in the inputted monocular image;
A depth value correcting unit for correcting a depth value in the depth map for at least one of the detected overlay area and the background image based on the detected type of the overlay area;
And a binocular image generating unit for generating a binocular image based on the corrected depth map.
상기 깊이값 보정부는, 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
Wherein the depth value correcting unit corrects the depth value of the overlay area to a value approximate to the depth value assigned to the peripheral area of the detected overlay area.
상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와;
상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함하며,
상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 것을 특징으로 하는 3D 영상 변환 장치.19. The apparatus of claim 18,
A search unit for searching at least one depth value for a background image located at a boundary portion of the detected overlay region;
And an average value calculation unit for calculating an average value of the searched depth values,
Wherein the controller is configured to uniformly assign the calculated average value to the depth value of the overlay area.
상기 오버레이 영역 검출부는,
상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출하는 것을 특징으로 하는 3D 영상 변환 장치.19. The method of claim 18,
The overlay area detecting unit
Wherein an overlay area is extracted by analyzing edges and color components in the input monocular image.
상기 양안 영상 생성부는,
상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 장치.19. The method of claim 18,
Wherein the binocular image generating unit comprises:
And the binocular disparity is calculated from the completed depth map by reflecting the correction value for the overlay area to generate a left and right binocular image.
상기 오버레이 영역 검출부는
상기 오버레이 영역의 위치 정보에 기초하여 상기 오버레이 영역을 검출하고,
상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보인 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
The overlay area detecting unit
Detecting the overlay area based on position information of the overlay area,
Wherein the position information of the overlay area is bitmap information indicating a position of the overlay area or a position of the overlay area.
상기 깊이값 보정부는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하고, 상기 판단 결과 상기 보정을 수행하도록 결정된 경우에 한하여 상기 보정을 수행하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
The depth value correcting unit may determine whether to perform the correction based on at least one of the position, size and movement of the overlay area, and perform the correction only when it is determined that the correction is to be performed Characterized by a 3D image conversion device.
상기 깊이값 보정부는,
상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
Wherein the depth value correcting unit comprises:
And corrects the objects of the background image to have the same depth value.
상기 깊이값 보정부는,
상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
Wherein the depth value correcting unit comprises:
And corrects a difference between depth values of objects of the background image to be reduced.
상기 깊이값 보정부는,
상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
Wherein the depth value correcting unit comprises:
Wherein a depth value of the overlay area is set to a depth value that is higher than a mean value of depth values of objects of the background image or depth values of objects of the background image by a predetermined depth, Conversion device.
상기 깊이값 보정부는
상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
The depth value correction unit
Wherein the depth value at the center of the overlay area or the depth value at the boundary of the overlay area is set as the depth value of the entire overlay area.
상기 깊이값 보정부는
상기 보정을 수행한 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 더 수행하는 것을 특징으로 하는 3D 영상 변환 장치.28. The method of claim 27,
The depth value correction unit
Wherein filtering is further performed on the overlay area to remove a difference between a depth value of the overlay area and a depth value of the background image after performing the correction.
상기 깊이값 보정부는
상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 상기 보정을 수행하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
The depth value correction unit
Wherein the correction is performed using depth values obtained by applying weights to depth values of the background image and the overlay area, respectively.
상기 깊이값 보정부는
상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.The method of claim 17, wherein
The depth value correction unit
And sets one of a minimum value, a maximum value, and an average value of depth values of each of the plurality of overlay areas as a depth value of each of the plurality of overlay areas when the number of the overlay areas is plural.
상기 깊이값 보정부는
사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
The depth value correction unit
And sets the depth value input from the user as the depth value of the overlay area.
상기 양안 영상 생성부는
상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 상기 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 장치.18. The method of claim 17,
The binocular image generating unit
And generates the binocular image by referring to only pixel values in the background image without referring to pixel values in the overlay area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/023,887 US9398289B2 (en) | 2010-02-09 | 2011-02-09 | Method and apparatus for converting an overlay area into a 3D image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20100012026 | 2010-02-09 | ||
KR1020100012026 | 2010-02-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110093616A KR20110093616A (en) | 2011-08-18 |
KR101797035B1 true KR101797035B1 (en) | 2017-11-13 |
Family
ID=44930250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110004537A KR101797035B1 (en) | 2010-02-09 | 2011-01-17 | Method for converting overlaying area into 3D image and apparatus thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101797035B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019139441A1 (en) * | 2018-01-12 | 2019-07-18 | 삼성전자 주식회사 | Image processing device and method |
WO2019151704A1 (en) * | 2018-01-31 | 2019-08-08 | 공간정보기술(주) | Method and system for measuring three-dimensional visibility using traffic monitoring camera |
US11470298B2 (en) | 2019-11-11 | 2022-10-11 | Samsung Electronics Co., Ltd. | Method and apparatus with updating of algorithm for generating disparity image |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101970563B1 (en) * | 2012-11-23 | 2019-08-14 | 엘지디스플레이 주식회사 | Device for correcting depth map of three dimensional image and method for correcting the same |
KR20170052364A (en) | 2015-11-04 | 2017-05-12 | 삼성전자주식회사 | Display apparatus and control method thereof |
KR20220014678A (en) | 2020-07-29 | 2022-02-07 | 삼성전자주식회사 | Method and apparatus for estimating depth of images |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100757259B1 (en) * | 2004-10-25 | 2007-09-11 | 전자부품연구원 | 2d/3d converting method of compressed motion pictures using motion vectors therein, and device thereby |
-
2011
- 2011-01-17 KR KR1020110004537A patent/KR101797035B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100757259B1 (en) * | 2004-10-25 | 2007-09-11 | 전자부품연구원 | 2d/3d converting method of compressed motion pictures using motion vectors therein, and device thereby |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019139441A1 (en) * | 2018-01-12 | 2019-07-18 | 삼성전자 주식회사 | Image processing device and method |
WO2019151704A1 (en) * | 2018-01-31 | 2019-08-08 | 공간정보기술(주) | Method and system for measuring three-dimensional visibility using traffic monitoring camera |
US11470298B2 (en) | 2019-11-11 | 2022-10-11 | Samsung Electronics Co., Ltd. | Method and apparatus with updating of algorithm for generating disparity image |
Also Published As
Publication number | Publication date |
---|---|
KR20110093616A (en) | 2011-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9398289B2 (en) | Method and apparatus for converting an overlay area into a 3D image | |
KR101975247B1 (en) | Image processing apparatus and image processing method thereof | |
KR101055411B1 (en) | Method and apparatus of generating stereoscopic image | |
JP5750505B2 (en) | 3D image error improving method and apparatus | |
EP2382791B1 (en) | Depth and video co-processing | |
Feng et al. | Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications | |
JP5969537B2 (en) | 3D video converter and conversion method for 2D video based on visual interest | |
EP2582143A2 (en) | Method and device for converting three-dimensional image using depth map information | |
US20140009462A1 (en) | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects | |
JP2012227924A (en) | Image analysis apparatus, image analysis method and program | |
KR101797035B1 (en) | Method for converting overlaying area into 3D image and apparatus thereof | |
CN102186023B (en) | Binocular three-dimensional subtitle processing method | |
JP2013527646A5 (en) | ||
CN103260039A (en) | Image processing apparatus, image processing method, and program | |
US8982187B2 (en) | System and method of rendering stereoscopic images | |
KR20100109069A (en) | Device for generating visual attention map and method thereof | |
CN104144334A (en) | Subtitle detection for stereoscopic video contents | |
KR101720161B1 (en) | Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that | |
KR20140058744A (en) | A system for stereoscopic images with hole-filling and method thereof | |
KR101660808B1 (en) | Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that | |
Schmeing et al. | Depth image based rendering | |
Nam et al. | Hole‐Filling Methods Using Depth and Color Information for Generating Multiview Images | |
KR20100036683A (en) | Method and apparatus for output image | |
JP6131256B6 (en) | Video processing apparatus and video processing method thereof | |
Croci et al. | Saliency-based sharpness mismatch detection for stereoscopic omnidirectional images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
R401 | Registration of restoration |