[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101797035B1 - Method for converting overlaying area into 3D image and apparatus thereof - Google Patents

Method for converting overlaying area into 3D image and apparatus thereof Download PDF

Info

Publication number
KR101797035B1
KR101797035B1 KR1020110004537A KR20110004537A KR101797035B1 KR 101797035 B1 KR101797035 B1 KR 101797035B1 KR 1020110004537 A KR1020110004537 A KR 1020110004537A KR 20110004537 A KR20110004537 A KR 20110004537A KR 101797035 B1 KR101797035 B1 KR 101797035B1
Authority
KR
South Korea
Prior art keywords
overlay area
depth
depth value
value
image
Prior art date
Application number
KR1020110004537A
Other languages
Korean (ko)
Other versions
KR20110093616A (en
Inventor
권오재
이진성
민종술
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/023,887 priority Critical patent/US9398289B2/en
Publication of KR20110093616A publication Critical patent/KR20110093616A/en
Application granted granted Critical
Publication of KR101797035B1 publication Critical patent/KR101797035B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하고, 입력된 단안 영상에 포함된 오버레이 영역을 검출하고, 검출된 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 균일한 값으로 보정하고, 보정된 깊이 지도에 기초하여 양안 영상을 생성하는 단계를 포함하는 오버레이 영역의 3D 영상 변환 방법이 개시되어 있다.A depth map for displaying a perspective view is generated from the input monocular image, an overlay area included in the inputted monocular image is detected, and a depth value in the depth map is corrected to a uniform value for the overlay area detected And generating a binocular image based on the corrected depth map.

Description

오버레이 영역의 3D 영상 변환 방법 및 그 장치{Method for converting overlaying area into 3D image and apparatus thereof}TECHNICAL FIELD [0001] The present invention relates to a 3D image conversion method and apparatus for an overlay area,

본 발명은 오버레이 영역의 3D 영상 변환 방법에 관한 것으로서, 더욱 상세하게는 3D 영상으로 변환함에 있어서, 오버레이 영역이 균일한 깊이감을 갖도록 함으로써 왜곡 현상을 방지하는 3D 영상 변환 방법에 관한 것이다.The present invention relates to a 3D image conversion method for an overlay area, and more particularly, to a 3D image conversion method for preventing a distortion phenomenon by allowing an overlay area to have a uniform depth sense in converting to a 3D image.

인간이 입체감을 느끼는 가장 큰 요인은 하나의 물체를 좌안과 우안으로 서로 다른 방향에서 주시함으로써 생기는 좌/우 망막 상의 공간적 차이 때문이다. 이러한 차이를 2차원 평면인 디스플레이 장치에서 느낄 수 있게 하기 위해 좌안과 우안에 서로 다른 영상 즉, 양안 영상(stereoscopic image)을 디스플레이함으로써 3차원 영상을 보고 있는 것으로 시청자(viewer)가 느끼게 할 수 있다.The most important factor that human beings sense three-dimensionally is the spatial difference in the left / right retina due to the observation of one object in different directions from the left eye and right eye. In order to make such a difference in a two-dimensional plane display device, a viewer can feel that a three-dimensional image is being viewed by displaying different images, i.e., a stereoscopic image, in the left and right eyes.

이러한 3차원 영상은 제작 당시에 여러 대의 카메라를 이용하여 생성할 수도 있으나, 기존에 제작된 2차원 영상을 차후에 3차원 영상으로 변환할 수도 있다. 이러한 3D 영상 변환 기술에서는 양안 시차를 고려하여 좌우안 영상으로 분리하여 생성한 후, 이를 결합하여 재생하고, 시청자는 셔터 및 편광 방식 안경 등을 착용해 좌안으로 보이는 영상과 우안으로 보이는 영상을 분리하여 관찰함으로써 3차원 영상을 보는 것으로 느끼게 된다.Such a three-dimensional image can be generated by using a plurality of cameras at the time of production, but it is also possible to convert an existing two-dimensional image into a three-dimensional image in the future. In this 3D image conversion technology, the left eye and the right eye are separately generated in consideration of the binocular disparity, and then the combined images are reproduced. The viewer wears a shutter and a polarizing glasses to separate the image of the left eye and the image of the right eye By observing it, I feel that I see a 3D image.

그러나, 종래의 자막 영역의 3D 영상 변환 기술에서는 2D 영상 내에 포함된 자막 영역에 대한 별도의 처리 방식이 없었으며, 다만 자막에 대한 메타데이터가 영상데이터에 부가되어 수신되는 경우에는 자막 영역에 대한 메타데이터를 활용하여 자막 영역을 2D로 강제 변환하기도 한다.However, in the conventional 3D image conversion technology of the caption area, there is no separate processing method for the caption area included in the 2D image. However, when the metadata about the caption is added to the image data and received, Data is also used to coerce the subtitle area into 2D.

그러나 자막 영역을 2D로 강제 변환하기 때문에, 3D 영상 변환 후에는 자막 영역과 주변 배경의 불연속적인 깊이감으로 인한 시청 방해가 발생하거나, 자막 영역이 배경 영상 뒤편에 표시되는 등의 왜곡 현상이 발생하여 이로 인해 시청 피로감이 여전히 남게 된다.However, since the caption area is coercively converted to 2D, after the 3D image conversion, disturbance occurs due to the discontinuous depth sense of the caption area and the surrounding background, or distortion occurs such that the caption area is displayed behind the background image This leaves the audience with tiredness.

본 발명의 목적은 오버레이 영역에 대한 메타 데이터가 없는 일반적인 2D 영상에 대해서 오버레이 영역을 검출한 후에, 해당 영역에 대한 주변 배경의 깊이감과의 관계를 고려하여, 상기 오버레이 영역에 깊이값을 균일하게 할당함으로써, 오버 레이 영역의 3D 효과로 인한 시청 피로감을 줄이며 오버레이 영역과 주변 배경의 불연속적인 깊이감이 발생하지 않도록 하는 오버레이 영역의 3D 영상 변환 방법 및 장치를 제공하는 것이다.An object of the present invention is to provide a method and apparatus for detecting an overlay area for a general 2D image having no metadata for an overlay area and then uniformly assigning a depth value to the overlay area, The present invention provides a 3D image conversion method and apparatus for an overlay area that reduces viewing fatigue due to a 3D effect of an overlay area and prevents discontinuous depth sensing of an overlay area and a surrounding background.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계와; 상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계와; 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 단계와; 상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of converting a 3D image of an overlay region, the method comprising: generating a depth map representing a perspective from an input monocular image; Detecting an overlay area included in the input monocular image; Correcting a depth value in the depth map for at least one of the detected overlay area and background image; And generating a binocular image based on the corrected depth map.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 보정한다.According to another embodiment of the present invention, the correcting step corrects the value to a value approximate to the depth value assigned to the peripheral area of the detected overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 단계와; 상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 단계와; 상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 단계를 더 포함한다.According to another embodiment of the present invention, the correcting step may include searching at least one depth value for a background image located at a boundary portion of the detected overlay area; Calculating an average value of the at least one depth value searched; And uniformly assigning the calculated average value to the depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역을 검출하는 단계는 상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출한다.According to another embodiment of the present invention, the step of detecting the overlay area extracts an overlay area by analyzing edges and color components in the input monocular image.

본 발명의 또 다른 실시예에 따르면, 양안 영상을 생성하는 단계는 상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성한다.According to another embodiment of the present invention, the step of generating a binocular image may include the steps of: calculating a binocular disparity from a completed depth map by reflecting a correction value for the overlay area to generate a binocular image in the left and right eyes;

본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역을 검출하는 단계는 상기 오버레이 영역의 위치 정보에 기초하여 수행되고, 상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보이다. According to another embodiment of the present invention, the step of detecting the overlay area is performed based on the positional information of the overlay area, and the positional information of the overlay area may include coordinates indicating the position of the overlay area, Bitmap information indicating the location.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하는 단계를 더 포함하고, 상기 보정하는 단계는 상기 판단 결과, 상기 보정을 수행하도록 결정된 경우에 한하여 수행된다. According to another embodiment of the present invention, the step of correcting further comprises the step of determining whether to perform the correction based on at least one of the position, size and movement of the overlay area, Step is performed only when it is determined to perform the correction as a result of the determination.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정한다. According to another embodiment of the present invention, the correcting step corrects all the objects of the background image to have the same depth value.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정한다. According to another embodiment of the present invention, the correcting step corrects the difference between the depth values of each of the objects of the background image to be reduced.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는, 상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정한다. According to another embodiment of the present invention, the step of correcting may further include a step of correcting a depth value of the background image by a predetermined depth from an average value of depth values of objects of the background image, Is set as the depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정한다. According to another embodiment of the present invention, the correcting step sets the depth value at the center of the overlay area or the depth value at the boundary of the overlay area as the depth value of the entire overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 보정이 수행된 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 수행하는 단계를 더 포함한다. According to another embodiment of the present invention, there is further provided a method for performing filtering on the overlay area to remove a difference between a depth value of the overlay area and a depth value of the background image after the correction is performed .

본 발명의 또 다른 실시예에 따르면,상기 보정하는 단계는 상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 수행된다. According to another embodiment of the present invention, the correcting step is performed using a depth value obtained by applying weights to depth values of the background image and the overlay area, respectively.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정한다. According to another embodiment of the present invention, the step of correcting may further include setting one of a minimum value, a maximum value, and an average value of a depth value of each of the plurality of overlay areas, Set the depth value.

본 발명의 또 다른 실시예에 따르면, 상기 보정하는 단계는 사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정한다. According to another embodiment of the present invention, the correcting step sets a depth value input from a user as a depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 양안 영상을 생성하는 단계는 상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 수행된다. According to another embodiment of the present invention, the step of generating the binocular image is performed by referring to only the pixel values in the background image without referring to the pixel values in the overlay area.

한편, 상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 오버레이 영역의 3D 영상 변환 장치는 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부와; 상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부와; 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부와; 상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for converting a 3D image of an overlay region, the apparatus comprising: a depth map generator for generating a depth map for displaying a perspective from an inputted monocular image; An overlay area detector for detecting an overlay area included in the inputted monocular image; A depth value correcting unit for correcting a depth value in the depth map for at least one of the detected overlay area and background image; And a binocular image generating unit for generating a binocular image based on the corrected depth map.

본 발명의 또 다른 실시예에 따르면, 상기 깊이값 보정부는 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정한다.According to another embodiment of the present invention, the depth value correcting unit corrects the depth value of the overlay area to a value approximate to the depth value assigned to the peripheral area of the detected overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 깊이값 보정부는 상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와; 상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함하며, 상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당한다.According to another embodiment of the present invention, the depth value correction unit may include a search unit for searching at least one depth value for a background image located at a boundary portion of the detected overlay area; And a mean value calculator for calculating an average value of at least one of the searched depth values, wherein the calculated average value is uniformly allocated to a depth value of the overlay area.

본 발명의 또 다른 실시예에 따르면, 상기 오버레이 영역 검출부는 상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출한다. According to another embodiment of the present invention, the overlay area detecting unit extracts an overlay area by analyzing edges and color components in the input monocular image.

본 발명의 또 다른 실시예에 따르면, 상기 양안 영상 생성부는 상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성한다.According to still another embodiment of the present invention, the binocular image generation unit generates binocular images by calculating binocular disparity from the completed depth map by reflecting the correction value for the overlay area.

상기 기술적 과제를 해결하기 위해 본 발명의 일 실시예는 상기된 3D 영상 변환 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.According to an aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing the above-described 3D image conversion method.

본 발명의 실시예에 따른 오버레이 영역의 3D 영상 변환 방법에 따르면, 3D 영상으로의 변환 결과, 적용 전에는 같은 글자라도 위치에 따라 서로 다른 양안 시차를 부여하게 되지만, 본 발명에서 제시한 오버레이 영역 3D 변환 기술을 적용하면 오버레이 영역에 균일한 양안 시차가 부여되므로 오버레이 영역이 동일한 깊이감을 가지게 되고 왜곡 현상이 발생하지 않는다. 또한 오버 레이 영역이 오버레이 영역의 주변에 위치한 배경 영역과 유사한 깊이감을 가지게 되고, 오버레이 영역이 검출되면 배경 영상의 깊이 값이 보정되므로, 오버 레이 영역의 3D 효과에 따른 시청 피로감이 저감된다.According to the 3D image conversion method of the overlay area according to the embodiment of the present invention, even if the same letter is given as a result of the conversion into the 3D image, different binocular parallax is given depending on the position. However, Technology, a uniform binocular parallax is given to the overlay area, so that the overlay area has the same depth sense and no distortion occurs. In addition, the overlay area has a similar depth feeling to the background area located around the overlay area, and when the overlay area is detected, the depth value of the background image is corrected, so that viewing fatigue due to the 3D effect of the overlay area is reduced.

도 1은 자막 영역을 포함하는 단안 영상 프레임의 일 예를 나타내기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.
도 3은 본 발명의 제2 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.
도 4는 도 2에서 오버레이 영역에 대한 깊이값을 보정하는 단계의 일 실시예를 설명하기 위한 플로우 차트이다.
도 5a는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용하지 않은 예를 나타내는 도면이다.
도 5b는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용한 예를 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른, 오버레이 영역의 3D 영상 변환 장치를 나타내는 기능 블록도이다.
상기 몇 개의 도면에 있어서 대응하는 도면 번호는 대응하는 부분을 가리킨다. 도면이 본 발명의 실시예들을 나타내고 있지만, 도면이 축척에 따라 도시된 것은 아니며 본 발명을 보다 잘 나타내고 설명하기 위해 어떤 특징부는 과장되어 있을 수 있다.
1 is a diagram illustrating an example of a monocular image frame including a caption area.
2 is a flowchart for explaining a 3D image conversion method of an overlay area according to an embodiment of the present invention.
3 is a flowchart for explaining a 3D image conversion method of an overlay area according to a second embodiment of the present invention.
FIG. 4 is a flowchart for explaining an embodiment of the step of correcting the depth value for the overlay area in FIG.
5A is a diagram illustrating an example in which an embodiment of the present invention is not applied when an overlay area is converted into a 3D image.
FIG. 5B is a diagram illustrating an example in which an embodiment of the present invention is applied when an overlay area is converted into a 3D image.
FIG. 6 is a functional block diagram illustrating an overlay area 3D image conversion apparatus according to another embodiment of the present invention.
Corresponding reference numerals in the several drawings indicate corresponding parts. Although the drawings illustrate embodiments of the invention, the drawings are not drawn to scale and certain features may be exaggerated for better illustrating and describing the invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 자막 영역을 포함하는 단안 영상 프레임의 일 예를 나타내기 위한 도면이다.1 is a diagram illustrating an example of a monocular image frame including a caption area.

도 1을 참조하면, 본 발명에서 관심을 가지고 바라보는 자막 영역(120)을 기준으로 볼 때, 영상 프레임(110) 내에서는 자막 외 다른 부분은 배경으로 볼 수 있다. 배경에는 여러 피사체(객체)가 등장할 수 있으며, 이들은 3D 영상으로 변환될 때가 각기 다른 깊이값(depth value)를 부여받게 되고, 그에 따라 서로 다른 양안 시차가 적용되어 3D 영상으로 디스플레이된다.Referring to FIG. 1, in the image frame 110, other parts than the caption may be viewed as a background, with reference to the caption area 120, which is viewed with interest in the present invention. A plurality of objects (objects) may appear in the background, and when they are converted into 3D images, different depth values are given, and different binocular disparities are applied to display them as 3D images.

이때 종래 기술에 따르면, 3D 영상으로 변환될 때 자막 영역(120)이 함께 변환됨으로써 각각의 글자에 서로 다른 깊이값을 할당받고, 서로 다른 양안 시차값이 적용될 수 있다. 한편, 자막 영역(120)만을 별도로 2D 변환하는 경우에 있어서도, 단순히 양안 시차값을 "0"(zero)으로 설정하므로 주변 배경의 깊이감과 상관없이 원근감에 관한 z축을 기준으로 맨 앞에 놓이거나, 맨 뒤에 놓이는 경우가 발생한다. In this case, according to the related art, when the 3D image is converted, the caption regions 120 are transformed together so that different depth values are assigned to the respective characters, and different binocular parallax values can be applied. On the other hand, even when only the caption area 120 is subjected to 2D conversion, since the binocular parallax value is simply set to " 0 "(zero), the binocular parallax value can be set at the head with respect to the z- The case of being placed behind occurs.

이런 경우에, 불연속적인 깊이감을 갖는 자막의 3D 효과로 인하여 시청자는 장시간동안 영상을 시청할 때 피로감을 느끼게 된다.In this case, the viewer experiences fatigue when watching the video for a long time due to the 3D effect of the subtitle having a discontinuous depth sense.

따라서, 본 발명에서는 2D 영상에 대해서 자막 영역, OSD(On Screen Display), 영역, 방송사 Logo 영역 등을 포함하는 오버레이 영역(Overlaying area)을 검출한 후에, 주변 배경의 깊이값과의 관계를 고려한 소정의 깊이값을 해당 오버레이 영역에 균일하게 할당함으로써 오버레이 영역과 주변 배경의 불연속적인 깊이감이 발생하지 않도록 하는 방법을 제안한다.Therefore, in the present invention, after detecting an overlay area including a caption area, an OSD (On Screen Display), an area, and a broadcasting company logo area for a 2D image, The depth value of the overlay area is uniformly allocated to the overlay area so that the discontinuous depth feeling of the overlay area and the surrounding background does not occur.

또한, 2D 영상에서 오버레이 영역이 검출되면, 2D 영상을 3D 영상으로 변환할 때 배경 영상의 깊이 값을 보정하는 방법을 제안한다. Also, when the overlay area is detected in the 2D image, a method of correcting the depth value of the background image when converting the 2D image into the 3D image is proposed.

도 2는 본 발명의 일 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.2 is a flowchart for explaining a 3D image conversion method of an overlay area according to an embodiment of the present invention.

도 2를 참조하면, 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계(210)와 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계(220)와 검출된 오버레이 영역에 대하여, 상기 깊이 지도에서의 깊이값을 균일한 값으로 보정하는 단계(230)와 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계(240)를 포함한다Referring to FIG. 2, a 3D image conversion method of an overlay area according to an exemplary embodiment includes a step 210 of generating a depth map indicating a perspective from an input monocular image, (230) for the detected overlay area to a uniform depth value in the depth map, and generating a binocular image based on the corrected depth map (step 240)

먼저 단계 210에서는, 입력된 2D 영상에 대한 깊이 지도(depth map)를 생성한다. 깊이 지도란, 영상 내의 객체들 사이에 대한 3차원 거리 차이를 나타내는 지도로서, 각 픽셀마다 0부터 255 사이의 값으로 표현된다. 흑/백으로 기준으로 나타낼 때 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낸다.First, in step 210, a depth map for the input 2D image is generated. A depth map is a map showing the difference in three-dimensional distance between objects in an image, and is represented by a value between 0 and 255 for each pixel. The black (low value) indicates far from the viewer, and the white (high value) indicates the nearest viewer.

다음으로 단계 220에서는, 단안 영상에 포함된 오버레이 영역을 검출한다. 오버레이 영역을 검출하는 기법의 일 예로, 단안 영상에서 경계(edge)와 색상(color) 성분을 분석하여 오버레이 영역을 추출하는 방법이 있다. 이때, 오버레이 영역에 해당하는 사각형을 추출할 수도 있다.Next, at step 220, an overlay area included in the monocular image is detected. As an example of a technique for detecting an overlay area, there is a method of extracting an overlay area by analyzing edges and color components in a monocular image. At this time, a rectangle corresponding to the overlay area may be extracted.

또한, 오버레이 영역 추출 방법으로 경계(edge), 색상(color) 뿐만 아니라 텍스처(texture) 정보와 같은 하위 계층(low-level)의 특징을 기반으로 하거나, 영상 내 삽입된 글자에 높이감을 주기 위해 경계부분에는 해당 글자와 다른 색으로 표현한다는 점을 이용한 천이(transition) 영역 검색 기법 등이 있다. 다음으로 단계 230에서는, 검출된 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 보정한다. 이때, 오버레이 영역에 대한 보정값은 일정한 값으로 균일하게 할당된다. 즉, 오버레이 영역에 대해서는 각각의 글자에 대한 깊이감이 서로 달라지지 않게 표현되도록 균일한 깊이값을 부여하는 것이다.In addition, the overlay area extraction method may be based on low-level features such as edge and color as well as texture information, And a transition area search technique using the fact that the character is represented in a different color from the corresponding character. Next, in step 230, the depth value in the depth map is corrected for the detected overlay area. At this time, the correction value for the overlay area is uniformly assigned to a constant value. That is, in the overlay area, a uniform depth value is given so that the depth perception of each character does not differ from one another.

이렇게 오버레이 영역의 깊이값을 보정하는 경우에 있어서, 보정값이 되는 기준은 바로 주변 영역의 깊이값들이다. 즉, 변환된 3D 영상에 있어서 자막이 주변 배경 영상과 이질적이지 않고, 불연속적으로 표현되지 않기 위하여 주변 배경 영상의 깊이값과 유사한 값을 가질 필요가 있다. 따라서, 본 발명의 일 실시예에서는 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정한다.In the case of correcting the depth value of the overlay area, the reference value serving as the correction value is the depth value of the surrounding area. That is, in the converted 3D image, it is necessary to have a value similar to the depth value of the surrounding background image so that the caption is not heterogeneous with the surrounding background image and is not expressed discontinuously. Therefore, in an embodiment of the present invention, the depth value of the overlay area is corrected to a value approximate to the depth value assigned to the peripheral area of the overlay area detected.

마지막으로 단계 240에서는, 상기 보정 과정으로 완성된 깊이 지도에 기초하여 좌우안의 양안 영상을 생성한다. 즉, 깊이 지도를 참조하여 양안 시차를 계산하고, 영상 내에 표시되는 객체들을 각각의 양안 시차만큼 이동시킴으로써 좌우안 영상을 생성한다.Finally, in step 240, left and right binocular images are generated based on the depth map completed by the correction process. That is, the binocular disparity is calculated by referring to the depth map, and the left and right eye images are generated by moving the objects displayed in the image by the binocular disparity.

이렇게 변환된 3D 영상을 보면, 영상내 오버레이 영역은 주변 배경과 유사한 깊이감을 가짐으로써 연속성을 유지하고, 동시에 자막 내의 각각의 글자들은 동일한 양안 시차값을 부여받아 왜곡 현상이 발생하지 않는다.In the 3D image thus transformed, the overlay area in the image maintains continuity by having a depth sense similar to that of the surrounding background, and at the same time, each letter in the caption is given the same binocular parallax value, and distortion does not occur.

도 3은 본 발명의 제2 실시예에 따른, 오버레이 영역의 3D 영상 변환 방법을 설명하기 위한 플로우 차트이다.3 is a flowchart for explaining a 3D image conversion method of an overlay area according to a second embodiment of the present invention.

단계 310에서는, 입력된 2D 영상에 대한 깊이 지도(depth map)를 생성한다. 단계 320에서는, 단안 영상에 포함된 오버레이 영역을 검출한다.In step 310, a depth map for the input 2D image is generated. In step 320, the overlay area included in the monocular image is detected.

이때, 오버레이 영역은 오버레이 영역의 위치 정보에 기초하여 검출될 수도 있다. 예컨대, 검출하고자 하는 오버레이 영역이 디스플레이 장치에서 생성한 OSD를 나타내는 영역인 경우에는 디스플레이 장치로부터 그 OSD 영역의 위치 정보를 제공받아 OSD 영역을 검출할 수 있다. 이때, OSD 영역의 위치 정보는 OSD 영역에 대한 좌표 값의 형태를 가질 수도 있지만, OSD 영역은 1로 표시되고, OSD 영역 외의 배경 영상은 0으로 표시된 비트맵 형태를 가질 수도 있다. At this time, the overlay area may be detected based on the position information of the overlay area. For example, when the overlay area to be detected is an area representing the OSD generated by the display device, the OSD area can be detected by receiving the position information of the OSD area from the display device. At this time, the position information of the OSD area may have the form of a coordinate value for the OSD area, but the OSD area may be displayed as 1, and the background image outside the OSD area may have a bitmap shape as 0.

단계 330에서는, 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정할 것인지 여부를 판단한다. In step 330, it is determined whether or not to correct the depth value in the depth map for at least one of the detected overlay area and the background image.

만일, 깊이값을 보정한다면 단계 340으로 진행하고, 그렇지 않다면 단계 350으로 진행한다. If the depth value is corrected, proceed to step 340, otherwise proceed to step 350.

이와 같이 본 실시예에서는 도 2의 실시예와는 달리 무조건 오버레이 영역에 대하여 깊이 지도에서의 깊이값을 보정하는 것이 아니라, 오버레이 영역이 소정의 조건을 만족하는 경우에 한하여 보정을 수행한다. In this manner, unlike the embodiment of FIG. 2, the present embodiment does not correct the depth value in the depth map for the unconditional overlay area, but performs correction only when the overlay area satisfies a predetermined condition.

예컨대, 오버레이 영역의 위치, 크기, 이동 여부 등에 기초하여 깊이값의 보정 여부가 결정될 수 있다. 보다 구체적으로는, 오버레이 영역이 중앙에 위치하거나, 오버레이 영역의 크기가 소정의 임계치보다 크거나, 오버레이 영역이 이동하지 않는 경우 등에는 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정할 수 있다. For example, whether or not the depth value is corrected can be determined based on the position, size, and movement of the overlay area. More specifically, when the overlay area is located at the center, the size of the overlay area is larger than the predetermined threshold value, the overlay area is not moving, or the like, at least one of the overlay area and the background image, Can be corrected.

단계 340에서는, 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여 깊이 지도에서의 깊이값을 보정한다. In step 340, the depth value in the depth map is corrected for at least one of the detected overlay area and background image.

즉, 본 실시예에서는 다음과 같이 3가지 종류의 깊이값 보정 방법이 수행된다. That is, in this embodiment, three kinds of depth value correction methods are performed as follows.

첫째는, 배경 영상에 대해서만 깊이 지도에서의 깊이값을 보정하는 방법이다. First, it is a method of correcting the depth value in the depth map only for the background image.

첫번째 보정 방법에서는, i) 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 방법 또는 ii) 배경 영상의 객체들 각각의 깊이값들간의 차이를 줄이는 방법이 이용될 수 있다. ii)의 경우에 배경 영상의 객체들 각각의 깊이값들간의 차이를 소정 비율만큼 줄일 수 있다.In the first correction method, i) a method of correcting all the background image objects to have the same depth value, or ii) a method of reducing the difference between the depth values of each of the background image objects can be used. ii), the difference between the depth values of the background image objects can be reduced by a predetermined ratio.

예컨대, OSD가 화면에 디스플레이 되는 경우에 첫번째 보정 방법을 적용하게 되면 배경 영상이 2D 영상으로 보이거나 2D 영상에 가깝게 보이게 되므로 사용자는 OSD 영역을 덜 피로하게 시청할 수 있게 된다. For example, when the OSD is displayed on the screen, if the first correction method is applied, the background image becomes a 2D image or a 2D image, so that the user can watch the OSD area with less fatigue.

둘째는, 오버레이 영역에 대해서만 깊이 지도에서의 깊이값을 보정하는 방법이다.The second method is to correct the depth value in the depth map only for the overlay area.

두번째 보정 방법에서는, i) 오버레이 영역의 양안 시차 값을 0으로 설정하는 방법, ii) 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값보다 소정의 깊이만큼 높은 깊이 값을 오버레이 영역의 깊이값으로서 설정하는 방법, iii) 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 오버레이 영역의 깊이값으로서 설정하는 방법, iv) 오버레이 영역의 중앙에서의 깊이값 또는 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 방법, v) 배경 영상의 깊이값과 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 오버레이 영역의 깊이값으로서 설정하는 방법, vi) 임의의 디폴트 값(default value)을 오버레이 영역의 깊이값으로 설정하는 방법, vii) 오버레이 영역이 복수개인 경우에 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값을 모든 오버레이 영역의 깊이값으로 설정하는 방법, viii) 사용자가 입력한 깊이 값을 오버레이 영역의 깊이값으로 설정하는 방법, ix) 오버레이 영역 주변의 배경 영상의 깊이값을 이용하여 보정하는 방법 등이 이용될 수 있다. In the second correction method, i) a method of setting the binocular parallax value of the overlay area to 0, ii) a method of setting a depth value of a predetermined depth higher than the highest depth value of objects in the background image as a depth value of the overlay area Iii) a method of setting a depth value higher than the average value of the depth values of objects of the background image by a predetermined depth as the depth value of the overlay area, iv) a method of setting the depth value at the center of the overlay area or the depth A method of setting the value as the depth value of the overlay area, v) a method of setting the depth value obtained by applying the weight to the depth value of the background image and the depth value of the overlay area as the depth value of the overlay area, A method of setting a default value as a depth value of an overlay area, and vii) a method of setting a plurality of overlays A method of setting the minimum value, the maximum value or the average value of the depth value of each area as the depth value of all the overlay areas, viii) a method of setting the depth value inputted by the user as the depth value of the overlay area, ix) A method of correcting using a depth value of a background image, or the like can be used.

이때, v) 배경 영상의 깊이값과 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 오버레이 영역의 깊이값으로서 설정하는 방법은 수학식 1을 참조하여 설명한다. 예컨대, 배경 영상의 깊이값과 오버레이 영역의 깊이값 각각에게 적용되는 가중치가 0.7과 0.3이라고 하면, 배경 영상의 객체들의 깊이값들의 평균 값(Dbaver)을 계산한 후, 그 배경 영상의 객체들의 깊이값들의 평균 값(Dbaver)에 0.7을 곱하고, 오버레이 영역의 깊이값(Do)에 0.3을 곱한 후, 양 값을 합산함으로써, 오버레이 영역의 새로운 깊이값으로서 설정될 보정된 깊이 값(Dco)이 계산될 수 있다. The method of setting the depth value obtained by applying the weights to the depth value of the background image and the depth value of the overlay area as the depth value of the overlay area will be described with reference to Equation (1). For example, if the weights applied to the depth values of the background image and the overlay area are 0.7 and 0.3, respectively, the average value (Dbaver) of the depth values of the background image objects is calculated, The corrected depth value Dco to be set as a new depth value of the overlay area is calculated by multiplying the average value Dbaver of the values by 0.7, multiplying the depth value Do of the overlay area by 0.3, .

[수학식 1][Equation 1]

Figure 112011003697685-pat00001
Figure 112011003697685-pat00001

한편, vii)의 오버레이 영역 주변의 배경 영상의 깊이값을 이용하여 오버레이 영역에 대해 깊이값을 보정하는 방법은 도 4를 참조하여 후술한다. On the other hand, a method of correcting the depth value for the overlay area using the depth value of the background image around the overlay area of vii) will be described with reference to FIG.

한편, 두번째 보정 방법에 따라 오버레이 영역에 대해서만 깊이 지도에서의 깊이값이 보정되면 오버레이 영역의 깊이값과 배경 영상의 깊이값이 심하게 차이가 나게 되어 오버레이 영역의 경계에서 왜곡이 발생할 수 있다. 따라서, 다른 실시예에서는 이와 같은 왜곡을 제거하기 위하여 오버레이 영역에 대하여 미디언 필터(median filter), 가중 평균 필터(weighted average filter) 또는 멕시멈 필터(maximum filter)와 같은 스무딩 필터(smoothing filter)가 적용될 수 있다. On the other hand, according to the second correction method, if the depth value in the depth map is corrected only for the overlay area, the depth value of the overlay area and the depth value of the background image are significantly different, and distortion may occur at the boundary of the overlay area. Therefore, in another embodiment, a smoothing filter such as a median filter, a weighted average filter, or a maximum filter is applied to the overlay area in order to remove such distortion Can be applied.

다만, 본 발명의 일실시예는 스무딩 필터 외에도 오버레이 영역의 깊이값과 배경 영상의 깊이값의 차이를 제거할 수 있는 모든 종류의 필터가 이용될 수 있다. 예컨대, 다른 실시예에서는 스무딩 필터 대신에 로우패스 필터가 이용될 수 있다. However, in an embodiment of the present invention, all kinds of filters capable of removing the difference between the depth value of the overlay area and the depth value of the background image may be used in addition to the smoothing filter. For example, in other embodiments, a low pass filter may be used in place of the smoothing filter.

셋째는, 배경 영상과 오버레이 영역 모두에 대하여 깊이 지도에서의 깊이값을 보정하는 방법이다.The third method is to correct the depth value in the depth map for both the background image and the overlay area.

다른 실시예에서는, 오버레이 영역의 종류에 따라 전술한 첫번째 내지 세번째 보정 방법 중에서 어느 보정 방법을 이용하여 보정을 수행할 것인지가 결정될 수도 있다. In another embodiment, it may be determined which of the above-described first to third correction methods to perform correction depending on the type of overlay area.

예컨대, 오버레이 영역이 자막을 나타내는 영역인 경우에는 오버레이 영역의 깊이값만을 보정하고, 오버레이 영역이 OSD를 나타내는 영역인 경우에는 오버레이 영역과 배경 영상 모두의 깊이값을 보정하거나, 배경 영상의 깊이값만을 보정할 수 있다. For example, when the overlay area is an area representing subtitles, only the depth value of the overlay area is corrected. When the overlay area is an area representing the OSD, the depth value of both the overlay area and the background image is corrected. Can be corrected.

단계 350에서는, 단계 340에서의 보정 과정으로 완성된 깊이 지도에 기초하여 좌우안의 양안 영상을 생성하거나, 깊이값이 보정되지 않은 단계 310의 깊이 지도에 기초하여 좌우안의 양안 영상을 생성한다. In step 350, left and right binocular images are generated on the basis of the depth map completed by the correction process in step 340, and left and right binocular images are generated based on the depth map of step 310 in which the depth value is not corrected.

이때, 좌우안의 양안 영상은 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 배경 영상 내의 픽셀 값들만을 참조하여 생성될 수 있다. At this time, the left and right binocular images can be generated by referring only to the pixel values in the background image without referring to the pixel values in the overlay area.

도 4는 도 2에서 오버레이 영역에 대한 깊이값을 보정하는 단계의 일 실시예를 설명하기 위한 플로우 차트이다.FIG. 4 is a flowchart for explaining an embodiment of the step of correcting the depth value for the overlay area in FIG.

도 4를 참조하면, 오버레이 영역에 대한 깊이값을 보정하는 일 예로서 주변 배경의 평균 깊이값을 이용하는 방법이 개시된다.Referring to FIG. 4, a method of using an average depth value of a surrounding background is disclosed as an example of correcting a depth value for an overlay area.

각 동작 과정을 살펴보면, 먼저 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하고(410), 검색된 적어도 하나 이상의 깊이값의 평균값을 계산한 후(420), 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당할 수 있다(430). At least one depth value is searched for at least one depth value of the background image located at the boundary of the overlay area detected in step 410. The average depth value of at least one depth value is calculated 420, The average value may be uniformly allocated to the depth value of the overlay area (430).

아울러, 평균값 뿐만 아니라 오버레이 영역을 둘러싼 주변 영역의 깊이값들을 검색하여 이들의 중간값, 최빈값 등을 적용하는 것도 가능하다.It is also possible to search the depth values of the surrounding area surrounding the overlay area as well as the average value, and to apply the intermediate values, the mode values, and the like.

도 5a는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용하지 않은 예를 나타내는 도면이다. 한편, 도 5b는 오버레이 영역을 3D 영상으로 변환 시에 본 발명의 일 실시예를 적용한 예를 나타내는 도면이다.5A is a diagram illustrating an example in which an embodiment of the present invention is not applied when an overlay area is converted into a 3D image. Meanwhile, FIG. 5B is a diagram showing an example in which an embodiment of the present invention is applied when an overlay area is converted into a 3D image.

도 5a를 참조하면, 먼저 오버레이 영역에 대한 좌안 영상(510)과 우안 영상(520)이 나타나 있다. 좌우안 영상에 표현된 자막의 위치를 a1, a2, a3로 서로 비교해 보면(여기서 실선은 좌안 영상(510)의 각 글자의 위치를 나타내며, 점선은 아래 우안 영상(520)의 각 글자의 위치를 나타낸다), 각각의 글자에 적용된 양안 시차가 서로 다르게 표현되어 있음을 알 수 있다. 이는 도 5b에서 대응되는 부분인 b1, b2, b3를 비교하여 살펴보면 보다 명확히 알 수 있다. 도 5a와 같은 상태로 자막이 3차원 디스플레이 되는 경우에는, 시청자는 자막을 판독하기가 어렵고 장시간 시청시 피로감이 가중된다. Referring to FIG. 5A, a left eye image 510 and a right eye image 520 for an overlay area are shown. When the positions of the subtitles represented by the left and right eye images are compared with each other by a1, a2, and a3 (solid lines represent the positions of the respective characters of the left eye image 510 and dotted lines represent positions of the respective characters of the lower right eye image 520 , And the binocular disparity applied to each character is expressed differently. This can be more clearly understood by comparing the corresponding parts b1, b2 and b3 in FIG. 5B. In the case where the subtitles are three-dimensionally displayed in the state as shown in FIG. 5A, the viewer is difficult to read the subtitles and the fatigue is increased during long-time viewing.

그러나, 본 발명의 일 실시예가 적용된 도 5b를 다시 참조하면, 오버레이 영역에 대한 좌안 영상(510)과 우안 영상(520)에 표현된 자막의 위치를 b1, b2, b3로 서로 비교해 볼 때, 각각의 글자에 적용된 양안 시차가 서로 균일하게 표현되어 있음을 알 수 있다(이는 도 5a에서 대응되는 부분인 a1, a2, a3와 비교하면 보다 명확히 알 수 있다). 이렇게 도 5b와 같은 상태로 자막이 3차원 디스플레이 되는 경우에는, 오버레이 영역에서 왜곡 현상이 발생하지 않고 시청자는 보다 편안하게 자막을 판독할 수 있다. However, when the positions of the captions represented in the left eye image 510 and the right eye image 520 of the overlay area are compared with each other by b1, b2, and b3, respectively, referring to FIG. 5B to which one embodiment of the present invention is applied, (Which can be more clearly seen in comparison with corresponding portions a1, a2 and a3 in FIG. 5A). Thus, when the subtitles are three-dimensionally displayed in the state as shown in FIG. 5B, distortion does not occur in the overlay area, and the viewer can read the subtitles more comfortably.

도 6은 본 발명의 다른 실시예에 따른, 오버레이 영역의 3D 영상 변환 장치를 나타내는 기능 블록도이다.FIG. 6 is a functional block diagram illustrating an overlay area 3D image conversion apparatus according to another embodiment of the present invention.

도 6을 참조하면, 오버레이 영역의 3D 영상 변환 장치(600)의 일 실시예는 입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부(610)와 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부(620)와 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부(630)와 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부(640)를 포함한다.6, an embodiment of the 3D image conversion apparatus 600 of the overlay area includes a depth map generating unit 610 for generating a depth map for displaying a perspective from an input monocular image, An overlay area detecting unit 620 for detecting an overlay area included in the image and a depth value correcting unit 630 for correcting the depth value in the depth map with respect to at least one of the detected overlay area and background image, And a binocular image generating unit 640 for generating a binocular image based on the binocular image.

한편, 상기 깊이값 보정부(630)는, 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함할 수 있다.The depth value correcting unit 630 may include a search unit for searching at least one depth value for a background image located at a boundary portion of the detected overlay region and an average value calculating unit for calculating an average value of at least one depth value searched .

한편, 상술한 본 발명의 일 실시예에 따른 오버레이 영역의 3D 영상 변환 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. Meanwhile, the 3D image conversion method of the overlay area according to an embodiment of the present invention can be realized by a general-purpose digital computer that can be created as a program that can be executed by a computer and operates the program using a computer- Can be implemented.

또한, 상술한 바와 같이 본 발명에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. In addition, as described above, the structure of data used in the present invention can be recorded on a computer-readable recording medium through various means.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (33)

오버레이 영역(Overlaying area)의 3D 영상 변환 방법에 있어서,
입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 단계와;
상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 단계와;
상기 검출된 오버레이 영역의 종류에 기초하여, 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 단계와;
상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
A 3D image conversion method of an overlay area,
Generating a depth map representing a perspective from an inputted monocular image;
Detecting an overlay area included in the input monocular image;
Correcting a depth value in the depth map for at least one of the detected overlay area and background image based on the detected type of the overlay area;
And generating a binocular image based on the corrected depth map.
제1항에 있어서,
상기 보정하는 단계는, 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 보정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
Wherein the correcting step corrects the value to a value approximate to a depth value assigned to a peripheral area of the detected overlay area.
제2항에 있어서,
상기 보정하는 단계는,
상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 단계와;
상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 단계와;
상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
3. The method of claim 2,
Wherein the correcting comprises:
Searching at least one depth value for a background image located at a boundary portion of the detected overlay area;
Calculating an average value of the at least one depth value searched;
And uniformly assigning the calculated average value to a depth value of the overlay area.
제2항에 있어서,
상기 오버레이 영역을 검출하는 단계는,
상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출하는 것을 특징으로 하는 3D 영상 변환 방법.
3. The method of claim 2,
Wherein the detecting the overlay region comprises:
Wherein an overlay region is extracted by analyzing edges and color components in the input monocular image.
제2항에 있어서,
상기 양안 영상을 생성하는 단계는,
상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 방법.
3. The method of claim 2,
Wherein the step of generating the binocular image comprises:
And calculating a binocular disparity from the completed depth map by reflecting the correction value for the overlay area to generate a left and right binocular image.
제1항에 있어서,
상기 오버레이 영역을 검출하는 단계는 상기 오버레이 영역의 위치 정보에 기초하여 수행되고,
상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보인 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
Wherein the step of detecting the overlay area is performed based on the positional information of the overlay area,
Wherein the position information of the overlay area is bitmap information indicating a position of the overlay area or a position of the overlay area.
제1항에 있어서,
상기 보정하는 단계는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하는 단계를 더 포함하고,
상기 보정하는 단계는 상기 판단 결과, 상기 보정을 수행하도록 결정된 경우에 한하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
Wherein the correcting step further comprises determining whether to perform the correction based on at least one of a position, a size and a movement of the overlay area,
Wherein the correcting step is performed only when it is determined to perform the correction as a result of the determination.
제1항에 있어서,
상기 보정하는 단계는,
상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
Wherein the correcting comprises:
And corrects the objects of the background image to have the same depth value.
제1항에 있어서,
상기 보정하는 단계는,
상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
Wherein the correcting comprises:
And corrects the difference between the depth values of the objects of the background image to be reduced.
제1항에 있어서,
상기 보정하는 단계는,
상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
Wherein the correcting comprises:
Wherein a depth value of the overlay area is set to a depth value that is higher than a mean value of depth values of objects of the background image or depth values of objects of the background image by a predetermined depth, Conversion method.
제1항에 있어서,
상기 보정하는 단계는
상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
The step of correcting
Wherein the depth value at the center of the overlay area or the depth value at the boundary of the overlay area is set as the depth value of the entire overlay area.
제11항에 있어서,
상기 보정이 수행된 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 수행하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 변환 방법.
12. The method of claim 11,
Further comprising performing filtering on the overlay area to remove a difference between a depth value of the overlay area and a depth value of the background image after the correction is performed.
제1항에 있어서,
상기 보정하는 단계는
상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
The step of correcting
And a depth value obtained by applying weights to depth values of the background image and the overlay area, respectively.
제1항에 있어서
상기 보정하는 단계는
상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method of claim 1, wherein
The step of correcting
Wherein one of a minimum value, a maximum value, and an average value of depth values of each of the plurality of overlay areas is set as a depth value of each of the plurality of overlay areas when the number of the overlay areas is plural.
제1항에 있어서,
상기 보정하는 단계는
사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
The step of correcting
Wherein the depth value input from the user is set as the depth value of the overlay area.
제1항에 있어서,
상기 양안 영상을 생성하는 단계는
상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 수행되는 것을 특징으로 하는 3D 영상 변환 방법.
The method according to claim 1,
The step of generating the binocular image comprises:
Wherein the pixel values in the overlay region are not referenced but are referenced only to pixel values in the background image.
오버레이 영역의 3D 영상 변환 장치에 있어서,
입력된 단안 영상으로부터 원근감을 표시하는 깊이 지도(depth map)를 생성하는 깊이 지도 생성부와;
상기 입력된 단안 영상에 포함된 오버레이 영역을 검출하는 오버레이 영역 검출부와;
상기 검출된 오버레이 영역의 종류에 기초하여, 상기 검출된 오버레이 영역 및 배경 영상 중 적어도 하나에 대하여, 상기 깊이 지도에서의 깊이값을 보정하는 깊이값 보정부와;
상기 보정된 깊이 지도에 기초하여, 양안 영상을 생성하는 양안 영상 생성부를 포함하는 것을 특징으로 하는 3D 영상 변환 장치.
A 3D image converting apparatus in an overlay area,
A depth map generating unit for generating a depth map for displaying a perspective from an input monocular image;
An overlay area detector for detecting an overlay area included in the inputted monocular image;
A depth value correcting unit for correcting a depth value in the depth map for at least one of the detected overlay area and the background image based on the detected type of the overlay area;
And a binocular image generating unit for generating a binocular image based on the corrected depth map.
제17항에 있어서,
상기 깊이값 보정부는, 상기 검출된 오버레이 영역의 주변 영역에 할당된 깊이값에 근사한 값으로 상기 오버레이 영역의 깊이값을 보정하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
Wherein the depth value correcting unit corrects the depth value of the overlay area to a value approximate to the depth value assigned to the peripheral area of the detected overlay area.
제18항에 있어서, 상기 깊이값 보정부는,
상기 검출된 오버레이 영역의 경계 부분에 위치한 배경 영상에 대하여 적어도 하나 이상의 깊이값을 검색하는 검색부와;
상기 검색된 적어도 하나 이상의 깊이값의 평균값을 계산하는 평균값 연산부를 더 포함하며,
상기 계산된 평균값을 상기 오버레이 영역의 깊이값으로 균일하게 할당하는 것을 특징으로 하는 3D 영상 변환 장치.
19. The apparatus of claim 18,
A search unit for searching at least one depth value for a background image located at a boundary portion of the detected overlay region;
And an average value calculation unit for calculating an average value of the searched depth values,
Wherein the controller is configured to uniformly assign the calculated average value to the depth value of the overlay area.
제18항에 있어서,
상기 오버레이 영역 검출부는,
상기 입력된 단안 영상에서 경계(edge)와 색상(color)성분을 분석하여 오버레이 영역을 추출하는 것을 특징으로 하는 3D 영상 변환 장치.
19. The method of claim 18,
The overlay area detecting unit
Wherein an overlay area is extracted by analyzing edges and color components in the input monocular image.
제18항에 있어서,
상기 양안 영상 생성부는,
상기 오버레이 영역에 대한 보정값을 반영하여 완성된 깊이 지도로부터 양안 시차를 계산하여 좌우안의 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 장치.
19. The method of claim 18,
Wherein the binocular image generating unit comprises:
And the binocular disparity is calculated from the completed depth map by reflecting the correction value for the overlay area to generate a left and right binocular image.
제17항에 있어서,
상기 오버레이 영역 검출부는
상기 오버레이 영역의 위치 정보에 기초하여 상기 오버레이 영역을 검출하고,
상기 오버레이 영역의 위치 정보는 상기 오버레이 영역의 위치를 나타내는 좌표 또는 상기 오버레이 영역의 위치를 나타내는 비트맵 정보인 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
The overlay area detecting unit
Detecting the overlay area based on position information of the overlay area,
Wherein the position information of the overlay area is bitmap information indicating a position of the overlay area or a position of the overlay area.
제17항에 있어서,
상기 깊이값 보정부는, 상기 오버레이 영역의 위치, 크기 및 이동 여부 중 적어도 하나에 기초하여 상기 보정을 수행할 것인지를 판단하고, 상기 판단 결과 상기 보정을 수행하도록 결정된 경우에 한하여 상기 보정을 수행하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
The depth value correcting unit may determine whether to perform the correction based on at least one of the position, size and movement of the overlay area, and perform the correction only when it is determined that the correction is to be performed Characterized by a 3D image conversion device.
제17항에 있어서,
상기 깊이값 보정부는,
상기 배경 영상의 객체들이 모두 동일한 깊이값을 가지도록 보정하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
Wherein the depth value correcting unit comprises:
And corrects the objects of the background image to have the same depth value.
제17항에 있어서,
상기 깊이값 보정부는,
상기 배경 영상의 객체들 각각의 깊이값들간의 차이가 줄어들도록 보정하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
Wherein the depth value correcting unit comprises:
And corrects a difference between depth values of objects of the background image to be reduced.
제17항에 있어서,
상기 깊이값 보정부는,
상기 배경 영상의 객체들의 깊이값들 중 가장 높은 깊이값 또는 상기 배경 영상의 객체들의 깊이값들의 평균 값보다 소정의 깊이만큼 높은 깊이 값을 상기 오버레이 영역의 깊이값으로서 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
Wherein the depth value correcting unit comprises:
Wherein a depth value of the overlay area is set to a depth value that is higher than a mean value of depth values of objects of the background image or depth values of objects of the background image by a predetermined depth, Conversion device.
제17항에 있어서,
상기 깊이값 보정부는
상기 오버레이 영역의 중앙에서의 깊이값 또는 상기 오버레이 영역의 경계에서의 깊이값을 오버레이 영역 전체의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
The depth value correction unit
Wherein the depth value at the center of the overlay area or the depth value at the boundary of the overlay area is set as the depth value of the entire overlay area.
제27항에 있어서,
상기 깊이값 보정부는
상기 보정을 수행한 후에, 상기 오버레이 영역의 깊이값과 상기 배경 영상의 깊이값간의 차이를 제거하기 위한 필터링을 상기 오버레이 영역에 대하여 더 수행하는 것을 특징으로 하는 3D 영상 변환 장치.
28. The method of claim 27,
The depth value correction unit
Wherein filtering is further performed on the overlay area to remove a difference between a depth value of the overlay area and a depth value of the background image after performing the correction.
제17항에 있어서,
상기 깊이값 보정부는
상기 배경 영상의 깊이값과 상기 오버레이 영역의 깊이값에게 각각 가중치를 적용하여 얻어진 깊이값을 이용하여 상기 보정을 수행하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
The depth value correction unit
Wherein the correction is performed using depth values obtained by applying weights to depth values of the background image and the overlay area, respectively.
제17항에 있어서
상기 깊이값 보정부는
상기 오버레이 영역이 복수개일 때, 상기 복수개의 오버레이 영역 각각의 깊이값의 최소값, 최대값 또는 평균 값 중 하나를 상기 복수개의 오버레이 영역 각각의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
The method of claim 17, wherein
The depth value correction unit
And sets one of a minimum value, a maximum value, and an average value of depth values of each of the plurality of overlay areas as a depth value of each of the plurality of overlay areas when the number of the overlay areas is plural.
제17항에 있어서,
상기 깊이값 보정부는
사용자로부터 입력된 깊이 값을 상기 오버레이 영역의 깊이값으로 설정하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
The depth value correction unit
And sets the depth value input from the user as the depth value of the overlay area.
제17항에 있어서,
상기 양안 영상 생성부는
상기 오버레이 영역 내의 픽셀 값들은 참조하지 않고, 상기 배경 영상 내의 픽셀 값들만을 참조하여 상기 양안 영상을 생성하는 것을 특징으로 하는 3D 영상 변환 장치.
18. The method of claim 17,
The binocular image generating unit
And generates the binocular image by referring to only pixel values in the background image without referring to pixel values in the overlay area.
제1항 내지 제16항 중 어느 한 항에 기재된 3D 영상 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium on which a program for implementing the 3D image conversion method according to any one of claims 1 to 16 is recorded.
KR1020110004537A 2010-02-09 2011-01-17 Method for converting overlaying area into 3D image and apparatus thereof KR101797035B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/023,887 US9398289B2 (en) 2010-02-09 2011-02-09 Method and apparatus for converting an overlay area into a 3D image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100012026 2010-02-09
KR1020100012026 2010-02-09

Publications (2)

Publication Number Publication Date
KR20110093616A KR20110093616A (en) 2011-08-18
KR101797035B1 true KR101797035B1 (en) 2017-11-13

Family

ID=44930250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110004537A KR101797035B1 (en) 2010-02-09 2011-01-17 Method for converting overlaying area into 3D image and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101797035B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139441A1 (en) * 2018-01-12 2019-07-18 삼성전자 주식회사 Image processing device and method
WO2019151704A1 (en) * 2018-01-31 2019-08-08 공간정보기술(주) Method and system for measuring three-dimensional visibility using traffic monitoring camera
US11470298B2 (en) 2019-11-11 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus with updating of algorithm for generating disparity image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970563B1 (en) * 2012-11-23 2019-08-14 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same
KR20170052364A (en) 2015-11-04 2017-05-12 삼성전자주식회사 Display apparatus and control method thereof
KR20220014678A (en) 2020-07-29 2022-02-07 삼성전자주식회사 Method and apparatus for estimating depth of images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757259B1 (en) * 2004-10-25 2007-09-11 전자부품연구원 2d/3d converting method of compressed motion pictures using motion vectors therein, and device thereby

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757259B1 (en) * 2004-10-25 2007-09-11 전자부품연구원 2d/3d converting method of compressed motion pictures using motion vectors therein, and device thereby

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139441A1 (en) * 2018-01-12 2019-07-18 삼성전자 주식회사 Image processing device and method
WO2019151704A1 (en) * 2018-01-31 2019-08-08 공간정보기술(주) Method and system for measuring three-dimensional visibility using traffic monitoring camera
US11470298B2 (en) 2019-11-11 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus with updating of algorithm for generating disparity image

Also Published As

Publication number Publication date
KR20110093616A (en) 2011-08-18

Similar Documents

Publication Publication Date Title
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
KR101975247B1 (en) Image processing apparatus and image processing method thereof
KR101055411B1 (en) Method and apparatus of generating stereoscopic image
JP5750505B2 (en) 3D image error improving method and apparatus
EP2382791B1 (en) Depth and video co-processing
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
JP5969537B2 (en) 3D video converter and conversion method for 2D video based on visual interest
EP2582143A2 (en) Method and device for converting three-dimensional image using depth map information
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
JP2012227924A (en) Image analysis apparatus, image analysis method and program
KR101797035B1 (en) Method for converting overlaying area into 3D image and apparatus thereof
CN102186023B (en) Binocular three-dimensional subtitle processing method
JP2013527646A5 (en)
CN103260039A (en) Image processing apparatus, image processing method, and program
US8982187B2 (en) System and method of rendering stereoscopic images
KR20100109069A (en) Device for generating visual attention map and method thereof
CN104144334A (en) Subtitle detection for stereoscopic video contents
KR101720161B1 (en) Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that
KR20140058744A (en) A system for stereoscopic images with hole-filling and method thereof
KR101660808B1 (en) Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that
Schmeing et al. Depth image based rendering
Nam et al. Hole‐Filling Methods Using Depth and Color Information for Generating Multiview Images
KR20100036683A (en) Method and apparatus for output image
JP6131256B6 (en) Video processing apparatus and video processing method thereof
Croci et al. Saliency-based sharpness mismatch detection for stereoscopic omnidirectional images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration