KR101639949B1 - Apparatus and method for stereoscopic image post-processing with reduced visual fatigue - Google Patents
Apparatus and method for stereoscopic image post-processing with reduced visual fatigue Download PDFInfo
- Publication number
- KR101639949B1 KR101639949B1 KR1020150079968A KR20150079968A KR101639949B1 KR 101639949 B1 KR101639949 B1 KR 101639949B1 KR 1020150079968 A KR1020150079968 A KR 1020150079968A KR 20150079968 A KR20150079968 A KR 20150079968A KR 101639949 B1 KR101639949 B1 KR 101639949B1
- Authority
- KR
- South Korea
- Prior art keywords
- color model
- brightness
- stereoscopic images
- stereoscopic
- background
- Prior art date
Links
Images
Classifications
-
- H04N13/0033—
-
- H04N13/0007—
-
- H04N13/0048—
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명의 실시예들에 따른 입체 영상 표시 장치는 소정의 동영상 인코딩 포맷에 의해 인코딩되어 있는 소스 영상 데이터를 디코딩하여 입체 영상 데이터를 복원하는 영상 복호화부, 복원된 입체 영상 데이터로부터 원본 입체 영상들을 분리하는 입체 영상 분리부, 원본 입체 영상들에 대해 물체 영역과 배경 영역의 밝기 대비값을 소정의 기준 밝기 대비값에 따라 보정한 보정 입체 영상들을 생성하는 입체 영상 후처리 장치 및 보정 입체 영상들을 소정의 입체 영상 표시 방식에 따라 포맷팅하여 디스플레이에 전달하는 포맷터를 포함할 수 있다.The stereoscopic image display apparatus according to embodiments of the present invention includes an image decoding unit for decoding the source image data encoded by a predetermined moving picture encoding format to recover stereoscopic image data, an image decoding unit for separating the original stereoscopic images from the reconstructed stereoscopic image data, A stereoscopic image post-processing unit for generating corrected stereoscopic images by correcting the brightness contrast values of the object area and the background area with respect to a predetermined reference brightness contrast value with respect to the original stereoscopic images, And may include a formatter for formatting according to a stereoscopic image display method and transmitting the formatted image to a display.
Description
본 발명은 입체 영상 기술에 관한 것으로, 더욱 상세하게는, 입체 영상의 시각 피로도에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereoscopic image technique, and more particularly, to a visual fatigue of a stereoscopic image.
입체영상을 표시하는 가장 잘 알려진 방법으로 보색관계에 있는 색필터를 이용하는 색안경으로 적챙색으로 표시되는 좌안 영상과 우안 영상을 분리 선택하는 방식, 서로 다른 편광으로 표시되는 좌안 영상과 우안 영상을 편광안경으로 분리 선택하는 방식, 셔터 안경을 이용하여 좌안 영상은 좌안에만 보이도록 하고 우안 영상은 우안에만 보이도록 하는 방식 등이 있다. 색안경을 이용하는 방식은 물체가 천연색으로 표시되지 않는 단점이 있다. 편광안경을 이용하는 방식은 편광능에 따라 좌안 영상이 우안에 보이거나 우안 영상이 좌안에 보이게 되어 입체감이 떨어지는 단점이 있다. 셔터 안경을 이용하는 방식은 셔터의 개폐에 의해 영상이 깜박거리는 것처럼 보이는 단점이 있다. 이러한 단점들을 극복하고 3차원 영상을 더욱 실감나게 표현할 수 있는 다양한 방법들이 연구되고 있다. The most well-known method for displaying stereoscopic images is a method of separating left eye image and right eye image, which are represented by red arrows, using a color filter having a complementary color relationship, a method of selecting a left eye image and a right eye image, A method of selecting the left eye image only on the left eye using the shutter glasses, and a method of making the right eye image appear only on the right eye. The method using sunglasses has the disadvantage that the object is not displayed in natural color. In the method using polarizing glasses, the left eye image is seen in the right eye or the right eye image is displayed in the left eye according to the polarization ability, and the stereoscopic effect is deteriorated. The method using the shutter glasses has a disadvantage in that the image appears to blink due to the opening and closing of the shutter. Various methods for overcoming these drawbacks and expressing 3D images more realistically are being studied.
한편, 시청자가 입체영상을 시청할 때 생기는 문제점 중의 하나로 고스트 현상이 있다. 고스트 현상이란, 디스플레이에 잔상이 남아서 번져보이는 현상인데, 입체영상에서 발생하는 고스트 현상은 이미지가 겹쳐서 보이게 되어 시청자의 시각 피로도를 가중시켜고, 두통, 어지러움 등을 유발하여, 시청자로 하여금 장시간 입체영상을 시청할 수 없게 만드는 원인이 된다. 따라서, 입체영상 관련 시장의 확대를 위해서는 이러한 고스트 현상을 억제하거나 최소화하여 시청자의 시각 피로도를 해소시켜야 한다.On the other hand, ghost phenomenon is one of the problems that a viewer sees when viewing a stereoscopic image. The ghost phenomenon is a phenomenon in which an afterimage remains on the display, and the ghost phenomenon occurring in the stereoscopic image causes the images to overlap, increasing the visual fatigue of the viewer, causing a headache, dizziness, etc., And the like. Accordingly, in order to expand the stereoscopic-related market, it is necessary to suppress or minimize the ghost phenomenon to eliminate the visual fatigue of viewers.
그 밖에 입체감을 살리기 위한 뎁스 설정이 과도하면 오히려 시각 피로도를 유발하기도 한다. 뎁스에 의한 입체감은 사람에 따라 다르기 때문에 뎁스로 인한 시각 피로도도 사람에 따라 다르게 나타난다. 그렇다고 시각 피로도를 줄이기 위해 뎁스를 줄이면 누구에게나 입체감이 줄어들기 때문에 뎁스를 줄이는 것이 해법은 아니다.In addition, excessive depth setting for the three-dimensional feeling can cause visual fatigue. The depth of vision due to the depth varies depending on the person, so the visual fatigue due to the depth also varies depending on the person. However, reducing depth to reduce visual fatigue is not a solution because it reduces the depth of detail for everyone.
이렇듯 기존의 입체영상 시청 중에 입체감을 유지하면서 시각 피로도를 줄이기 위한 기법이 필요하다.Thus, there is a need for a technique for reducing the visual fatigue while maintaining the stereoscopic effect during the stereoscopic viewing.
본 발명이 해결하고자 하는 과제는 시각 피로도를 줄일 수 있는 입체 영상 후처리 장치 및 방법을 제공하는 데에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a stereoscopic image post-processing apparatus and method capable of reducing visual fatigue.
본 발명이 해결하고자 하는 과제는 명암 대비를 기초로 시각 피로도를 줄일 수 있는 입체 영상 후처리 장치 및 방법을 제공하는 데에 있다.The object of the present invention is to provide a stereoscopic image post-processing apparatus and method capable of reducing visual fatigue based on contrast.
본 발명이 해결하고자 하는 과제는 뎁스를 조절하여 입체감을 훼손하지 않고 시각 피로도를 줄일 수 있는 입체 영상 후처리 장치 및 방법을 제공하는 데에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a stereoscopic image post-processing apparatus and method capable of reducing visual fatigue without damaging the stereoscopic effect by adjusting the depth.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해될 수 있을 것이다.The solution to the problem of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명의 일 측면에 따른 입체 영상 표시 장치는,A stereoscopic image display device according to an aspect of the present invention includes:
소정의 동영상 인코딩 포맷에 의해 인코딩되어 있는 소스 영상 데이터를 디코딩하여 입체 영상 데이터를 복원하는 영상 복호화부;An image decoding unit decoding the source image data encoded by the predetermined moving picture encoding format to reconstruct the stereoscopic image data;
복원된 입체 영상 데이터로부터 원본 입체 영상들을 분리하는 입체 영상 분리부;A stereoscopic image separating unit for separating the original stereoscopic images from the restored stereoscopic image data;
원본 입체 영상들에 대해 물체 영역과 배경 영역의 밝기 대비값을 소정의 기준 밝기 대비값에 따라 보정한 보정 입체 영상들을 생성하는 입체 영상 후처리 장치; 및A stereoscopic image post-processing device for generating corrected stereoscopic images in which brightness contrast values of an object area and a background area of the original stereoscopic images are corrected according to a predetermined reference brightness contrast value; And
보정 입체 영상들을 소정의 입체 영상 표시 방식에 따라 포맷팅하여 디스플레이에 전달하는 포맷터를 포함할 수 있다.And a formatter for formatting the corrected stereoscopic images according to a predetermined stereoscopic image display method and transmitting the formatted stereoscopic images to the display.
일 실시예에 따라, 상기 입체 영상 후처리 장치는,According to one embodiment, the stereoscopic image post-
원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분하는 물체 배경 식별부;An object background identification unit for distinguishing an object region and a background region having a three-dimensional sense from the original stereoscopic images;
제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환하는 색모델 변환부;A color model converting unit for converting original stereoscopic images of the first color model into converted stereoscopic images of a second color model including a brightness component;
식별된 물체 영역과 배경 영역을 제2 색모델의 변환 입체 영상들에 중첩하여, 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 획득하고, 물체 영역과 배경 영역의 밝기 대비값이 소정의 기준 밝기 대비값에 따라 보정되도록 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 조정함으로써, 제2 색모델의 보정 입체 영상들을 생성하는 밝기 대비값 보정부; 및The identified object region and background region are superimposed on the converted stereoscopic images of the second color model to acquire the brightness distribution of the object region and the brightness distribution of the background region respectively and if the brightness contrast value of the object region and the background region is smaller than a predetermined reference A brightness contrast value correcting unit for generating corrected stereoscopic images of the second color model by respectively adjusting the brightness distribution of the object area and the brightness distribution of the background area so as to be corrected according to the brightness contrast value; And
조정된 물체 영역의 밝기 분포와 조정된 배경 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환하는 색모델 역변환부를 포함할 수 있다.And a color model inverse transformer for inversely converting the corrected stereoscopic images of the second color model having the brightness distribution of the adjusted object region and the brightness distribution of the adjusted background region into the corrected stereoscopic images of the first color model.
일 실시예에 따라, 상기 물체 배경 식별부는 원본 입체 영상들의 디스패리티 맵을 기초로 물체 영역과 배경 영역을 구분하도록 동작할 수 있다.According to an exemplary embodiment, the object background identification unit may operate to distinguish the object region and the background region based on the disparity map of the original stereoscopic images.
일 실시예에 따라, 상기 물체 배경 식별부는According to one embodiment, the object background identification unit
원본 입체 영상들을 그레이 스케일(Gray Scale)의 영상들로 변환하는 그레이 스케일 영상 변환부;A gray scale image converting unit for converting the original stereoscopic images into images of gray scale;
복수의 그레이 스케일 영상들의 각각에서 동일 위치의 블록들끼리 상관 연산한 상관값에 따라 물체 영역과 배경 영역을 구분하는 경계를 검출하는 물체 경계 검출부; 및An object boundary detection unit that detects a boundary that separates an object region and a background region according to a correlation value obtained by correlating blocks in the same position in each of a plurality of gray scale images; And
검출된 경계에 의해 분할되는 영역들 중 물체 영역을 결정하는 물체 영역 결정부를 포함할 수 있다.And an object region determining unit that determines an object region among the regions divided by the detected boundaries.
일 실시예에 따라, 상기 색모델 변환부에서 제1 색모델은 RGB 색모델이고, 제2 색모델은 HSI 색모델, HSL 색모델, HSV 색모델, YCbCr 색모델, YUV 색모델, YIQ 색모델 중 하나일 수 있다.According to one embodiment, the first color model in the color model conversion unit is an RGB color model, and the second color model is an HSI color model, an HSL color model, an HSV color model, a YCbCr color model, a YUV color model, ≪ / RTI >
일 실시예에 따라, 상기 밝기 대비값 보정부는 According to one embodiment, the brightness contrast value correcting unit
제2 색모델의 변환 입체 영상들 중에 물체 영역에 속하는 픽셀들의 물체 영역 밝기 평균과 배경 영역에 속하는 픽셀들의 배경 영역 밝기 평균을 각각 획득하고,Acquiring an average of the object area brightness of pixels belonging to the object area and a brightness average of the background area of pixels belonging to the background area among the converted stereoscopic images of the second color model,
보정 전의 물체 영역 밝기 평균에 대한 배경 영역 밝기 평균의 비율로서 산출되는 보정 전의 밝기 대비값을 기준 밝기 대비값으로 보정할 수 있도록 밝기 보정량을 다음 수학식The brightness correction amount is calculated by the following equation so that the brightness contrast value before correction calculated as the ratio of the background area brightness average to the object area brightness average before correction can be corrected to the reference brightness contrast value:
에 따라 산출하며(여기서, k는 기준 밝기 대비값, IO는 물체 영역 밝기 평균, IB는 배경 영역 밝기 평균, q는 밝기 보정량이다), (Where, k is a reference brightness contrast value, I O is an average brightness of an object region, I B is a brightness average of a background region, and q is a brightness correction amount)
밝기 보정량만큼 물체 영역 밝기 분포를 보정함으로써, 제2 색모델의 보정 입체 영상들을 생성하도록 동작할 수 있다.And correct the object area brightness distribution by the brightness correction amount to generate corrected stereoscopic images of the second color model.
일 실시예에 따라, 상기 기준 밝기 대비값은 30%일 수 있다.According to one embodiment, the reference brightness contrast value may be 30%.
일 실시예에 따라, 상기 기준 밝기 대비값은 30% 이하의 하한과 30% 이상의 상한을 가지는 범위로 정의될 수 있다.According to an exemplary embodiment, the reference brightness contrast value may be defined as a range having a lower limit of 30% or less and an upper limit of 30% or more.
일 실시예에 따라, 상기 밝기 대비값 보정부는 물체 영역 내에서 경계로부터 거리를 기초로 차등적으로 부여되는 가중치에 밝기 보정량을 곱한 값을 각 픽셀들의 밝기 데이터에 부가하도록 동작할 수 있다.According to one embodiment, the brightness contrast value correcting unit may be operable to add, to the brightness data of each of the pixels, a value obtained by multiplying a brightness correction amount by a weight differentially given based on the distance from the boundary in the object zone.
본 발명의 다른 실시예에 따라 입체 영상 표시 장치에서 원본 입체 영상들을 보정하여 보정 입체 영상들을 생성하는 입체 영상 후처리 장치는According to another embodiment of the present invention, a stereoscopic image post-processing apparatus for correcting original stereoscopic images and generating corrected stereoscopic images in a stereoscopic image display apparatus includes:
원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분하는 물체 배경 식별부;An object background identification unit for distinguishing an object region and a background region having a three-dimensional sense from the original stereoscopic images;
제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환하는 색모델 변환부;A color model converting unit for converting original stereoscopic images of the first color model into converted stereoscopic images of a second color model including a brightness component;
물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 소정의 기준 밝기 대비값에 따라 각각 조정함으로써, 제2 색모델의 보정 입체 영상들을 생성하는 밝기 대비값 보정부; 및A brightness contrast value correcting unit for generating corrected stereoscopic images of the second color model by respectively adjusting the brightness distribution of the object region and the brightness distribution of the background region according to a predetermined reference brightness contrast value; And
조정된 물체 영역의 밝기 분포와 조정된 배경 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환하는 색모델 역변환부를 포함할 수 있다.And a color model inverse transformer for inversely converting the corrected stereoscopic images of the second color model having the brightness distribution of the adjusted object region and the brightness distribution of the adjusted background region into the corrected stereoscopic images of the first color model.
본 발명의 또 다른 측면에 따라, 입체 영상 표시 장치에서 원본 입체 영상들을 보정하여 보정 입체 영상들을 생성하는 입체 영상 후처리 방법은According to still another aspect of the present invention, there is provided a stereoscopic image post-processing method for correcting original stereoscopic images in a stereoscopic image display device to generate corrected stereoscopic images,
상기 입체 영상 표시 장치가,Wherein the stereoscopic image display device comprises:
원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분하는 단계;A step of distinguishing the object region and the background region having a stereoscopic effect from the original stereoscopic images;
제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환하는 단계;Converting original stereoscopic images of the first color model into converted stereoscopic images of a second color model including a brightness component;
물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 소정의 기준 밝기 대비값에 따라 각각 조정함으로써, 제2 색모델의 보정 입체 영상들을 생성하는 단계; 및Generating corrected stereoscopic images of the second color model by adjusting the brightness distribution of the object region and the brightness distribution of the background region respectively according to a predetermined reference brightness contrast value; And
조정된 물체 영역의 밝기 분포와 조정된 배경 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환하는 단계를 포함할 수 있다.Converting the corrected stereoscopic images of the second color model having the brightness distribution of the adjusted object region and the brightness distribution of the adjusted background region into the corrected stereoscopic images of the first color model.
일 실시예에 따라, 상기 물체 영역과 배경 영역을 서로 구분하는 단계는According to one embodiment, the step of distinguishing the object zone from the background zone
원본 입체 영상들의 디스패리티 맵을 기초로 물체 영역과 배경 영역을 구분하는 단계를 포함할 수 있다.And separating the object area and the background area based on the disparity map of the original stereoscopic images.
일 실시예에 따라, 상기 물체 영역과 배경 영역을 서로 구분하는 단계는According to one embodiment, the step of distinguishing the object zone from the background zone
원본 입체 영상들을 그레이 스케일의 영상들로 변환하는 단계;Converting the original stereoscopic images into grayscale images;
복수의 그레이 스케일 영상들의 각각에서 동일 위치의 블록들끼리 상관 연산한 상관값에 따라 물체 영역과 배경 영역을 구분하는 경계를 검출하는 단계; 및Detecting a boundary that separates an object region and a background region according to a correlation value obtained by correlating blocks in the same position in each of a plurality of gray scale images; And
검출된 경계에 의해 분할되는 영역들 중 물체 영역을 결정하는 단계를 포함할 수 있다.And determining an object zone among the zones divided by the detected boundary.
일 실시예에 따라, 상기 색모델 변환부에서 제1 색모델은 RGB 색모델이고, 제2 색모델은 HSI 색모델, HSL 색모델, HSV 색모델, YCbCr 색모델, YUV 색모델, YIQ 색모델 중 하나일 수 있다.According to one embodiment, the first color model in the color model conversion unit is an RGB color model, and the second color model is an HSI color model, an HSL color model, an HSV color model, a YCbCr color model, a YUV color model, ≪ / RTI >
일 실시예에 따라, 상기 제2 색모델의 보정 입체 영상들을 생성하는 단계는,According to an embodiment, the step of generating corrected stereoscopic images of the second color model comprises:
제2 색모델의 변환 입체 영상들 중에 물체 영역에 속하는 픽셀들의 물체 영역 밝기 평균과 배경 영역에 속하는 픽셀들의 배경 영역 밝기 평균을 각각 획득하는 단계;Obtaining an average of the object area brightness of pixels belonging to the object area and a brightness average of the background area of pixels belonging to the background area among the converted stereoscopic images of the second color model;
보정 전의 물체 영역 밝기 평균에 대한 배경 영역 밝기 평균의 비율로서 산출되는 보정 전의 밝기 대비값을 기준 밝기 대비값으로 보정할 수 있도록 밝기 보정량을 다음 수학식The brightness correction amount is calculated by the following equation so that the brightness contrast value before correction calculated as the ratio of the background area brightness average to the object area brightness average before correction can be corrected to the reference brightness contrast value:
에 따라 산출하는 단계(여기서, k는 기준 밝기 대비값, IO는 물체 영역 밝기 평균, IB는 배경 영역 밝기 평균, q는 밝기 보정량이다); 및Calculating in accordance with (here, k is compared to the reference brightness value, I O is the mean, I B is the background area brightness average brightness object zone, q is a brightness correction amount); And
밝기 보정량만큼 물체 영역 밝기 분포를 보정함으로써, 제2 색모델의 보정 입체 영상들을 생성하는 단계를 포함할 수 있다.And correcting the object region brightness distribution by the brightness correction amount to generate corrected stereoscopic images of the second color model.
일 실시예에 따라, 상기 기준 밝기 대비값은 30%일 수 있다.According to one embodiment, the reference brightness contrast value may be 30%.
일 실시예에 따라, 상기 기준 밝기 대비값은 30% 이하의 하한과 30% 이상의 상한을 가지는 범위로 정의될 수 있다.According to an exemplary embodiment, the reference brightness contrast value may be defined as a range having a lower limit of 30% or less and an upper limit of 30% or more.
일 실시예에 따라, 상기 밝기 보정량만큼 물체 영역 밝기 분포를 보정함으로써, 제2 색모델의 보정 입체 영상들을 생성하는 단계는,According to one embodiment, the step of generating corrected stereoscopic images of the second color model by correcting the object area brightness distribution by the brightness correction amount comprises:
물체 영역 내에서 경계로부터 거리를 기초로 차등적으로 부여되는 가중치에 밝기 보정량을 곱한 값을 각 픽셀들의 밝기 데이터에 부가하는 단계를 포함할 수 있다.And adding a value obtained by multiplying a weight given differentially based on the distance from the boundary in the object region by the brightness correction amount, to the brightness data of each pixel.
본 발명의 시각 피로도를 줄일 수 있는 입체 영상 후처리 장치 및 방법에 따르면, 명암 대비를 기초로 시각 피로도를 줄일 수 있다.According to the stereoscopic image post-processing apparatus and method capable of reducing the visual fatigue of the present invention, visual fatigue can be reduced based on contrast.
본 발명의 시각 피로도를 줄일 수 있는 입체 영상 후처리 장치 및 방법에 따르면, 뎁스를 조절하여 입체감을 훼손하지 않고 시각 피로도를 줄일 수 있다.According to the stereoscopic image post-processing apparatus and method capable of reducing the visual fatigue of the present invention, it is possible to reduce the visual fatigue without damaging the three-dimensional feeling by adjusting the depth.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 따른 입체 영상 후처리 장치 및 이를 포함하는 입체 영상 표시 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 후처리 방법이 도시된 순서도이다.
도 3, 도 4 및 도 5는 본 발명의 일 실시예에 따른 입체 영상 후처리 장치의 성능을 예시하기 위해, 보정되기 전, 영상 전체의 밝기를 일괄적으로 증가시킨 경우, 그리고 본 발명의 일 실시예에 따른 입체 영상 후처리 방법에 따라 물체와 배경의 밝기 비율을 보정한 후의 좌우 입체 영상들을 각각 예시한 사진들이다.1 is a block diagram illustrating a stereoscopic image post-processing apparatus and a stereoscopic image display apparatus including the stereoscopic image post-processing apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a stereoscopic image post-processing method according to an embodiment of the present invention.
FIGS. 3, 4 and 5 illustrate the performance of the stereoscopic image post-processing apparatus according to an embodiment of the present invention. FIG. 3 illustrates a case where the brightness of the whole image is increased collectively before correction, And the left and right stereoscopic images after correcting the brightness ratio of the object and the background according to the stereoscopic image post-processing method according to the embodiment.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.For the embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be practiced in various forms, The present invention should not be construed as limited to the embodiments described in Figs.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
본 명세서의 전반에 걸쳐, "밝기" 용어는 픽셀 데이터에서 색상 성분이 제거된(achomoatic) 성분으로서, 맥락과 색모델에 따라 휘도(Luminance, Y), 루마(Luma, Y'), 또는 명도(Intensity, I)를 의미할 수 있다.Throughout this specification, the term "brightness" is used as an achromatic component in pixel data, including luminance, Y, luma, Y ' Intensity, I).
도 1은 본 발명의 일 실시예에 따른 입체 영상 후처리 장치 및 이를 포함하는 입체 영상 표시 장치를 예시한 블록도이다.1 is a block diagram illustrating a stereoscopic image post-processing apparatus and a stereoscopic image display apparatus including the stereoscopic image post-processing apparatus according to an embodiment of the present invention.
도 1을 참조하면, 입체 영상 표시 장치(10)는 영상 복호화부(11), 입체 영상 분리부(12), 입체 영상 후처리 장치(100), 포맷터(13) 및 디스플레이(14) 포함할 수 있다.Referring to FIG. 1, the stereoscopic
영상 복호화부(11)는 소정의 동영상 인코딩 포맷에 의해 인코딩되어 있는 소스 영상 데이터를 디코딩하여 입체 영상 데이터를 복원한다.The image decoding unit 11 decodes the source image data encoded by the predetermined moving image encoding format to reconstruct the stereoscopic image data.
입체 영상 분리부(12)는 복원된 입체 영상 데이터로부터, 예를 들어 스테레오스코픽 입체 영상의 경우에 두 개의 영상 즉, 좌영상과 우영상의 원본 입체 영상들을 분리한다.The stereoscopic
입체 영상 후처리 장치(100)는 원본 입체 영상들에 대해 물체 영역과 배경 영역의 밝기 대비값을 소정의 기준 밝기 대비값에 따라 보정한 보정 입체 영상들을 생성한다.The stereoscopic image post-processing apparatus 100 generates corrected stereoscopic images in which the brightness contrast values of the object area and the background area of the original stereoscopic images are corrected according to a predetermined reference brightness contrast value.
포맷터(13)는 보정 입체 영상들을 소정의 입체 영상 표시 방식, 예를 들어 시분할 셔터글래스 방식 또는 편광 방식에 따라 포맷팅하여 디스플레이(14)에 전달한다.The
본 발명의 실시예에 따른 입체 영상 후처리 장치(100)는 원본 입체 영상들에 대해 물체 영역과 배경 영역의 밝기 대비값을 소정의 기준 밝기 대비값에 따라 보정한 보정 입체 영상들을 생성하기 위해, 물체 배경 식별부(110), 색모델 변환부(120), 밝기 대비값 보정부(130) 및 색모델 역변환부(140)를 포함할 수 있다.The stereoscopic image post-processing apparatus 100 according to an exemplary embodiment of the present invention includes a stereoscopic image post-processing apparatus 100 for generating corrected stereoscopic images in which brightness contrast values of an object area and a background area of original stereoscopic images are corrected according to a predetermined reference brightness contrast value, An object background identification unit 110, a color
물체 배경 식별부(110)는 원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분한다. 어느 정도의 입체감을 기준으로 물체 영역과 배경 영역을 구분할 것인지는 설계자가 경험적으로 결정할 수 있다.The object background identification unit 110 distinguishes the object area having a three-dimensional sense from the original stereoscopic images and the background area. The designer can decide empirically whether the object area and the background area should be distinguished based on a certain degree of three-dimensional feeling.
좀더 구체적으로, 실시예에 따라, 물체 배경 식별부(110)는 원본 입체 영상들의 디스패리티(disparity) 맵을 기초로 물체 영역과 배경 영역을 구분할 수 있다.More specifically, according to the embodiment, the object background identification unit 110 can distinguish the object area from the background area based on a disparity map of the original stereoscopic images.
다른 실시예에서, 물체 배경 식별부(110)는 원본 입체 영상들을 그레이 스케일(Gray Scale)의 영상들로 변환하는 그레이 스케일 영상 변환부(111)와, 복수의 그레이 스케일 영상들의 각각에서 동일 위치의 블록들끼리 상관 연산한 상관값에 따라 물체 영역과 배경 영역을 구분하는 경계(Edge)를 검출하는 물체 경계 검출부(112), 검출된 경계에 의해 분할되는 영역들 중 물체 영역을 결정하는 물체 영역 결정부(113)를 포함할 수 있다.In another embodiment, the object background identification unit 110 includes a gray-scale image conversion unit 111 for converting original stereoscopic images into images of gray scale, An object
그레이 스케일 영상 변환부(111)는 원본 입체 영상들의 각 픽셀 데이터를 예를 들어 제1 색모델인 RGB 색모델 중 어느 한 색상 성분의 값 또는 둘 이상의 색상 성분들의 평균 값으로 대체하여 그레이 스케일 입체 영상들을 생성한다.The gray-scale image conversion unit 111 converts each pixel data of the original stereoscopic images, for example, by replacing a value of one of the RGB color models, that is, the first color model, or an average value of two or more color components, Lt; / RTI >
한편, 그레이 스케일 영상들에 대해, 소정의 경계 검출 알고리즘을 통해 경계를 검출할 수 있다.On the other hand, for gray-scale images, a boundary can be detected through a predetermined boundary detection algorithm.
예를 들어, 동일 위치에 있는 두 블록들이 배경일 경우에는 두 블록들은 거의 동일한 픽셀값들을 가지므로 상관값이 높게 산출될 것이다. 반면에, 두 블록들 중 어느 한 블록이 어느 한 영상에서는 물체이면, 특히 물체의 가장자리에 해당하고, 다른 영상에서는 배경에 해당한다면, 두 블록들은 다른 픽셀값들을 가질 가능성이 높고 상관값이 낮게 산출될 것이다. 두 블록 모두 물체인 경우에도 두 블록들은 거의 동일한 픽셀값들을 가지므로 상관값이 높게 산출될 수 있다.For example, if two blocks at the same position are in the background, the two blocks have almost the same pixel values, so that the correlation value will be calculated to be high. On the other hand, if any one of the two blocks corresponds to the edge of an object in one image and corresponds to the background in another image, then the two blocks are likely to have different pixel values and the correlation value is calculated to be low Will be. Even if both blocks are objects, since the two blocks have almost the same pixel values, the correlation value can be calculated to be high.
이러한 예시적인 방식으로 물체 경계 검출부(112)는 간단하게 물체 영역과 배경 영역의 경계를 검출할 수 있다.In this exemplary manner, the object
이어서, 물체 영역 결정부(113)는 검출된 경계로써 나뉘는 두 영역들 중에서, 경계가 폐경로를 이루는 영역을 물체 영역으로, 그렇지 않은 영역은 배경 영역들로 결정할 수 있다. Subsequently, the object region determining unit 113 can determine an area constituting the menopause path as an object area, and an area not including the boundary as background areas, from among the two areas divided by the detected boundary.
실시예에 따라서는, 물체 영역 결정부(113)는 폐경로를 이루는 영역과 그렇지 않은 영역 내의 몇몇 대표적인 픽셀 위치들에 관하여 디스패리티 맵을 참조하여, 해당 영역이 물체 영역인지 배경 영역인지 결정할 수도 있다.Depending on the embodiment, the object region determining unit 113 may determine whether the corresponding region is an object region or a background region with reference to a disparity map with respect to several representative pixel positions in a region constituting a menopause path and in an area not constituting the menopausal path .
물체 배경 식별부(110)에서 물체 영역과 배경 영역의 구분은 엄밀하지 않아도 되지만, 설계자는, 상황에 따라, 정확도와 연산량 및 속도 사이에서 타협할 수 있다.Although the distinction between the object region and the background region in the object background discrimination section 110 is not strict, the designer can compromise between accuracy, calculation amount and speed depending on the situation.
다음으로, 색모델 변환부(120)는 제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환한다.Next, the color
예시적으로, 제1 색모델은 예를 들어 RGB 색모델이고, 제2 색모델은 명도 성분을 포함하는 HSI(Hue, Saturation, Intensity) 색모델, HSL 색모델, HSV 색모델이거나, 또는 휘도 성분을 포함하는 YCbCr 색모델, YUV 색모델, YIQ 색모델 또는 이들과 등가이거나 이들을 대체할 수 있는 그 밖의 색모델들일 수 있다.Illustratively, the first color model may be an RGB color model, the second color model may be a HSI (Hue, Saturation, Intensity) color model, an HSL color model, an HSV color model, A YCbCr color model, a YUV color model, a YIQ color model, or other color models equivalent to or capable of replacing them.
제1 색모델과 제2 색모델들이 CIE(Commission Internationale de L'eclairage) 등의 권위 있는 기관에서 정의하는 바에 따라 서로 변환 또는 역변환될 수 있음은 주지된 사실이므로 설명을 생략한다.It is well known that the first color model and the second color models can be transformed or inversely transformed according to a definition defined by an authority such as CIE (Commission Internationale de L'eclairage).
이어서, 밝기 대비값 보정부(130)는 식별된 물체 영역과 배경 영역을 제2 색모델의 변환 입체 영상들에 중첩하여, 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 획득하고, 물체 영역과 배경 영역의 밝기 대비값이 소정의 기준 밝기 대비값에 따라 보정되도록 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 조정함으로써, 제2 색모델의 보정 입체 영상들을 생성한다.Next, the brightness contrast
구체적으로, 밝기 대비값 보정부(130)는 제2 색모델의 변환 입체 영상들 중에 물체 영역에 속하는 픽셀들의 물체 영역 밝기 평균과 배경 영역에 속하는 픽셀들의 배경 영역 밝기 평균을 각각 획득할 수 있다.Specifically, the brightness contrast
또한 밝기 대비값 보정부(130)는 보정 전의 물체 영역 밝기 평균에 대한 배경 영역 밝기 평균의 비율로서 산출되는 보정 전의 밝기 대비값을 기준 밝기 대비값으로 보정할 수 있도록 밝기 보정량을 다음 수학식 1 및 2와 같이 결정할 수 있다.Also, the brightness contrast
여기서, k는 기준 밝기 대비값, IO는 물체 영역 밝기 평균, IB는 배경 영역 밝기 평균, q는 밝기 보정량이다.Here, k is a reference brightness contrast value, I O is an average brightness of an object region, I B is a brightness average of a background region, and q is a brightness correction amount.
밝기 대비값 보정부(130)는 밝기 보정량 q 만큼 물체 영역 밝기 분포를 보정함으로써, 예를 들어 밝기 보정량 q을 물체 영역 내의 모든 픽셀들의 밝기 데이터에 부가함으로써, 제2 색모델의 보정 입체 영상들을 생성한다.The brightness contrast
실시예에 따라, k는 30%일 수 있다. 물체와 배경 사이에 30%를 초과하는 밝기 대비값, 예를 들어 명도 차이가 있을 경우에는 사람에 따라 다소 부자연스러운 느낌을 받을 수 있다. 반면에 물체와 배경 사이에 30%를 밑도는 밝기 대비값, 예를 들어 명도 차이가 있을 경우에는 사람에 따라 입체감이 급격히 하락할 수 있다.Depending on the embodiment, k may be 30%. If there is a brightness contrast value of more than 30% between the object and the background, for example, a difference in brightness, the person may feel a somewhat unnatural feeling. On the other hand, if there is a brightness contrast value of less than 30% between the object and the background, for example, a brightness difference, the three-dimensional feeling may drop sharply depending on the person.
따라서, 밝기 대비값 보정부(130)는 물체와 배경 사이에 보정 전 밝기 대비값이 기준 밝기 대비값을 밑돌면 30%로 증가시키고, 반대로 30%를 넘으면 30%로 하락시킬 수 있다.Accordingly, the brightness contrast
입체감은 배경이 아닌 물체에서 나타나는 것이 자연스러우므로, 물체와 배경 사이의 밝기 대비값의 보정은 배경의 밝기보다는 물체의 밝기를 보정하는 방식으로 수행되는 것이 타당하다.Since it is natural that a three-dimensional sensation appears in an object other than the background, it is reasonable that the correction of the brightness contrast value between the object and the background is performed by a method of correcting the brightness of the object rather than the brightness of the background.
실시예에 따라, 기준 밝기 대비값 k은 하나의 값이 아니라 범위, 예를 들어, 30 < k < 40일 수 있다. 이 경우에, 보정 전 밝기 대비값이 기준 밝기 대비값의 하한보다 낮으면 하한까지 올리고, 상한보다 높으면 상한까지 낮출 수 있다.According to an embodiment, the reference brightness contrast value k may be a range, not a single value, e.g., 30 < k < 40. In this case, if the contrast-before-correction brightness value is lower than the lower limit of the reference brightness contrast value, it is increased to the lower limit, and if it is higher than the upper limit brightness,
앞의 실시예에서는 배경에 대비하여 물체의 경계에서 갑자기 부자연스럽게 밝아지는 느낌이 있을 수도 있기 때문에, 다른 실시예에서 밝기 대비값 보정부(130)는 밝기 보정량 q을 그대로 더하는 대신에 물체 영역 내에서 경계로부터 거리를 기초로 차등적으로 부여되는 가중치에 밝기 보정량 q를 곱한 값을 각 픽셀들의 밝기 데이터에 부가할 수도 있다.The brightness contrast
색모델 역변환부(140)는 조정된 물체 영역의 밝기 분포와 조정된 배경 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환한다.The color model
도 2는 본 발명의 일 실시예에 따른 입체 영상 후처리 방법이 도시된 순서도이다.2 is a flowchart illustrating a stereoscopic image post-processing method according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시예에 따른 입체 영상 표시 장치(10)를 위한 입체 영상 후처리 방법은, 입체 영상 표시 장치(10)가, 원본 입체 영상들에 대해 물체 영역과 배경 영역의 밝기 대비값을 소정의 기준 밝기 대비값에 따라 보정한 보정 입체 영상들을 생성하기 위해, 단계(S21)에서 원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분하는 단계로부터 시작할 수 있다. 어느 정도의 입체감을 기준으로 물체 영역과 배경 영역을 구분할 것인지는 설계자가 경험적으로 결정할 수 있다.Referring to FIG. 2, a stereoscopic image post-processing method for a stereoscopic
구체적으로, 실시예에 따라, 단계(S21)에서, 입체 영상 표시 장치(10)는 원본 입체 영상들의 디스패리티 맵을 기초로 물체 영역과 배경 영역을 구분할 수 있다.Specifically, according to the embodiment, in step S21, the stereoscopic
실시예에 따라, 단계(S21)는, 입체 영상 표시 장치(10)가, 원본 입체 영상들을 그레이 스케일의 영상들로 변환하는 단계, 복수의 그레이 스케일 영상들의 각각에서 동일 위치의 블록들끼리 상관 연산한 상관값에 따라 물체 영역과 배경 영역을 구분하는 경계를 검출하는 단계 및 검출된 경계에 의해 분할되는 영역들 중 물체 영역을 결정하는 단계를 포함할 수 있다.According to the embodiment, step S21 is a step in which the stereoscopic
다음으로, 단계(S22)에서, 입체 영상 표시 장치(10)는 제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환한다.Next, in step S22, the stereoscopic
단계(S23)에서, 입체 영상 표시 장치(10)는 식별된 물체 영역과 배경 영역을 제2 색모델의 변환 입체 영상들에 중첩하여, 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 획득하고, 물체 영역과 배경 영역의 밝기 대비값이 소정의 기준 밝기 대비값에 따라 보정되도록 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 조정함으로써, 제2 색모델의 보정 입체 영상들을 생성한다.In step S23, the stereoscopic
실시예에 따라, 단계(S23)는, 입체 영상 표시 장치(10)가, 제2 색모델의 변환 입체 영상들 중에 물체 영역에 속하는 픽셀들의 물체 영역 밝기 평균과 배경 영역에 속하는 픽셀들의 배경 영역 밝기 평균을 각각 획득하는 단계, 보정 전의 물체 영역 밝기 평균에 대한 배경 영역 밝기 평균의 비율로서 산출되는 보정 전의 밝기 대비값을 기준 밝기 대비값으로 보정할 수 있도록 밝기 보정량을 상술한 수학식 1 및 2와 같이 결정하는 단계, 밝기 보정량 q 만큼 물체 영역 밝기 분포를 보정함으로써, 예를 들어 밝기 보정량 q을 물체 영역 내의 모든 픽셀들의 밝기 데이터에 부가함으로써, 제2 색모델의 보정 입체 영상들을 생성하는 단계를 포함할 수 있다.According to the embodiment, the step S23 is a step in which the stereoscopic
실시예에 따라, k는 30%일 수 있다. Depending on the embodiment, k may be 30%.
실시예에 따라, 기준 밝기 대비값 k은 소정의 하한과 상한을 가지는 범위일 수 있다.According to an embodiment, the reference brightness contrast value k may be a range having a predetermined lower limit and an upper limit.
다른 실시예에서 단계(S23)는, 입체 영상 표시 장치(10)가, 밝기 보정량 q을 그대로 부가하는 단계 대신에, 물체 영역 내에서 경계로부터 거리를 기초로 차등적으로 부여되는 가중치에 밝기 보정량 q를 곱한 값을 각 픽셀들의 밝기 데이터에 부가하는 단계를 포함할 수도 있다.The step S23 in the other embodiment is a method in which the three-dimensional
단계(S24)에서, 입체 영상 표시 장치(10)가, 조정된 물체 영역의 밝기 분포와 조정된 배경 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환한다.In step S24, the stereoscopic
단계(S25)에서, 입체 영상 표시 장치(10)가, 보정 입체 영상들을 소정의 입체 영상 표시 방식에 따라 포맷팅하여 디스플레이(14)에서 표시한다.In step S25, the stereoscopic
도 3, 도 4 및 도 5는 본 발명의 일 실시예에 따른 입체 영상 후처리 기법의 성능을 예시하기 위해, 보정되기 전, 영상 전체의 밝기를 일괄적으로 증가시킨 경우, 그리고 본 발명의 일 실시예에 따른 입체 영상 후처리 방법에 따라 물체와 배경의 밝기 대비값을 보정한 후의 좌우 입체 영상들을 각각 예시한 사진들이다.FIGS. 3, 4 and 5 illustrate the performance of the stereoscopic image post-processing technique according to an embodiment of the present invention. In FIG. 3, the brightness of the entire image is increased before correction, The left and right stereoscopic images after correcting the brightness contrast value of the object and the background according to the stereoscopic image post-processing method according to the embodiment, respectively.
도 3을 참조하면, 원통형의 검은 병이 다소 어두운 배경 앞에 세워져 있는 좌영상과 우영상이 예시되어 있다. 도 3은 보정되기 전의 상태로서, 밝기, 즉 명도가 낮아서 입체감의 중심인 원통형 병의 전면에 적힌 글자가 잘 구분되지 않는다. 또한 병이 전체적으로 균일한 명도를 가지기 때문에 평면적으로 보이고 그 자체로 원통이라는 느낌을 받기 어렵다. 병의 하단에 주변의 물체가 반사되는 형상은 거의 알아 볼 수 없다.Referring to FIG. 3, a left image and a right image in which a cylindrical black bottle is standing in front of a somewhat dark background are illustrated. 3 is a state before correction, in which the letters written on the front face of the cylindrical bottle which is the center of the three-dimensional feeling due to the brightness, that is, the brightness is low, are not well distinguished. Also, since the bottle has a uniform lightness as a whole, it looks like a plane, and it is difficult to obtain a feeling of being a cylinder itself. The shape of the reflection of objects around the bottom of the bottle is hardly noticeable.
도 4를 참조하면, 영상 전체의 밝기를 일괄적으로 증가시킨 경우의 좌영상과 우영상이 예시되어 있다. 도 4에서, 밝기가 향상되면서 입체감의 중심인 원통형 병의 전면에 적힌 글자가 잘 보이지만, 배경도 밝아지면서 전체적인 느낌이 원래의 영상과 달라지는 문제가 있다.Referring to FIG. 4, a left image and a right image in the case where the brightness of the whole image is collectively increased are illustrated. In FIG. 4, as the brightness is improved, the letters written on the front face of the cylindrical bottle, which is the center of the three-dimensional feeling, are clearly visible, but the background is also brighter and the overall feeling is different from the original image.
도 5를 참조하면, 본 발명의 실시예에 따른 입체 영상 후처리 기법에 따라 영상 중 물체의 밝기만 향상된 좌영상과 우영상이 예시되어 있다. 입체감의 중심인 원통형 병의 전면에 적힌 글자가 잘 보여 시인성이 개선되고 병의 뚜껑 부위에서 조명에 따른 계조 차이가 드러날 정도로 입체감도 향상되었으며, 그럼에도 배경은 보정 전과 거의 변함이 없어 원래 영상의 전체적인 느낌이 유지된다.Referring to FIG. 5, left and right images having improved brightness of an object are illustrated according to a stereoscopic image post-processing technique according to an embodiment of the present invention. As the letters on the front of the cylindrical bottle, which is the center of the three-dimensional feeling, are well visible, the visibility is improved and the three-dimensional feeling is improved so that the difference in gradation due to illumination is improved at the bottle lid portion. However, / RTI >
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. It will be understood that variations and specific embodiments which may occur to those skilled in the art are included within the scope of the present invention.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Further, the apparatus according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include ROM, RAM, optical disk, magnetic tape, floppy disk, hard disk, nonvolatile memory and the like. The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
10 입체 영상 표시 장치
11 영상 복호화부
12 입체 영상 분리부
100 입체 영상 후처리 장치
110 물체 배경 식별부
111 그레이 스케일 영상 변환부
112 물체 경계 검출부
113 물체 영역 결정부
120 색모델 변환부
130 밝기 대비값 보정부
140 색모델 역변환부
13 포맷터
14 디스플레이10 Stereoscopic Image Display
11 image decoding unit
12 stereoscopic image separation unit
100 stereoscopic image post-processing device
110 Object Background Identification Unit
111 gray scale image conversion unit
112 object boundary detector
113 Object Area Decision Unit
120 color model conversion unit
130 brightness contrast value correction unit
140 color model inverted part
13 Formatter
14 display
Claims (10)
복원된 입체 영상 데이터로부터 원본 입체 영상들을 분리하는 입체 영상 분리부;
상기 원본 입체 영상들의 각각에 대해 물체 영역과 배경 영역의 밝기 대비값을 소정의 기준 밝기 대비값에 따라 보정한 보정 입체 영상을 각각 생성하는 입체 영상 후처리 장치; 및
상기 원본 입체 영상들의 각각에 대해 생성된 보정 입체 영상들을 소정의 입체 영상 표시 방식에 따라 포맷팅하여 디스플레이에 전달하는 포맷터를 포함하고,
상기 밝기 대비값은 상기 물체 영역의 보정 전의 평균 밝기를 밝기 보정량만큼 증가시킨 값과 상기 배경 영역의 보정 전 평균 밝기를 상기 밝기 보정량만큼 감소시킨 값의 비율로 정의되는 입체 영상 표시 장치.An image decoding unit decoding the source image data encoded by the predetermined moving picture encoding format to reconstruct the stereoscopic image data;
A stereoscopic image separating unit for separating the original stereoscopic images from the restored stereoscopic image data;
A stereoscopic image post-processing device for respectively generating a corrected stereoscopic image in which brightness contrast values of the object area and the background area are corrected according to a predetermined reference brightness contrast value for each of the original stereoscopic images; And
And a formatter for formatting the corrected stereoscopic images generated for each of the original stereoscopic images according to a predetermined stereoscopic image display method and transmitting the formatted stereoscopic images to a display,
Wherein the brightness contrast value is defined as a ratio of a value obtained by increasing an average brightness before correction of the object zone by a brightness correction amount and a value obtained by decreasing an average brightness before correction of the background area by the brightness correction amount.
원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분하는 물체 배경 식별부;
제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환하는 색모델 변환부;
식별된 물체 영역과 배경 영역을 제2 색모델의 변환 입체 영상들에 중첩하여, 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 획득하고, 물체 영역과 배경 영역의 밝기 대비값이 소정의 기준 밝기 대비값에 따라 보정되도록 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 각각 조정함으로써, 제2 색모델의 보정 입체 영상들을 생성하는 밝기 대비값 보정부; 및
조정된 물체 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환하는 색모델 역변환부를 포함하는 것을 특징으로 하는 입체 영상 표시 장치.The stereoscopic image post-processing apparatus according to claim 1,
An object background identification unit for distinguishing an object region and a background region having a three-dimensional sense from the original stereoscopic images;
A color model converting unit for converting original stereoscopic images of the first color model into converted stereoscopic images of a second color model including a brightness component;
The identified object region and background region are superimposed on the converted stereoscopic images of the second color model to acquire the brightness distribution of the object region and the brightness distribution of the background region respectively and if the brightness contrast value of the object region and the background region is smaller than a predetermined reference A brightness contrast value correcting unit for generating corrected stereoscopic images of the second color model by respectively adjusting the brightness distribution of the object area and the brightness distribution of the background area so as to be corrected according to the brightness contrast value; And
And a color model inverse transformer for inversely transforming the corrected stereoscopic images of the second color model having the brightness distribution of the adjusted object region into the corrected stereoscopic images of the first color model.
원본 입체 영상들을 그레이 스케일(Gray Scale)의 영상들로 변환하는 그레이 스케일 영상 변환부;
복수의 그레이 스케일 영상들의 각각에서 동일 위치의 블록들끼리 상관 연산한 상관값에 따라 물체 영역과 배경 영역을 구분하는 경계를 검출하는 물체 경계 검출부; 및
검출된 경계에 의해 분할되는 영역들 중 물체 영역을 결정하는 물체 영역 결정부를 포함하는 것을 특징으로 하는 입체 영상 표시 장치.The apparatus according to claim 2, wherein the object background identification unit
A gray scale image converting unit for converting the original stereoscopic images into images of gray scale;
An object boundary detection unit that detects a boundary that separates an object region and a background region according to a correlation value obtained by correlating blocks in the same position in each of a plurality of gray scale images; And
And an object region determining unit for determining an object region among the regions divided by the detected boundary.
원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분하는 물체 배경 식별부;
제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환하는 색모델 변환부;
상기 변환 입체 영상들의 각각에 대해 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 소정의 기준 밝기 대비값에 따라 각각 조정함으로써, 제2 색모델의 보정 입체 영상을 각각 생성하는 밝기 대비값 보정부; 및
상기 변환 입체 영상들의 각각에 대해 생성된, 조정된 물체 영역의 밝기 분포와 조정된 배경 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환하는 색모델 역변환부를 포함하고,
상기 밝기 대비값은 상기 물체 영역의 보정 전의 평균 밝기를 밝기 보정량만큼 증가시킨 값과 상기 배경 영역의 보정 전 평균 밝기를 상기 밝기 보정량만큼 감소시킨 값의 비율로 정의되는 입체 영상 후처리 장치.A stereoscopic image post-processing apparatus for correcting original stereoscopic images in a stereoscopic image display apparatus to generate corrected stereoscopic images,
An object background identification unit for distinguishing an object region and a background region having a three-dimensional sense from the original stereoscopic images;
A color model converting unit for converting original stereoscopic images of the first color model into converted stereoscopic images of a second color model including a brightness component;
A brightness contrast value correcting unit for respectively generating corrected stereoscopic images of the second color model by adjusting the brightness distribution of the object region and the brightness distribution of the background region with respect to each of the converted stereoscopic images according to a predetermined reference brightness contrast value; And
Converting the corrected stereoscopic images of the second color model having the brightness distribution of the adjusted object region and the brightness distribution of the adjusted background region generated for each of the converted stereoscopic images into the corrected stereoscopic images of the first color model Model inversion section,
Wherein the brightness contrast value is defined as a ratio of a value obtained by increasing an average brightness before correction of the object zone by a brightness correction amount and a value obtained by decreasing an average brightness before correction of the background area by the brightness correction amount.
상기 입체 영상 표시 장치가,
원본 입체 영상들로부터 입체감을 가지는 물체 영역과 배경 영역을 서로 구분하는 단계;
제1 색모델의 원본 입체 영상들을 밝기 성분을 포함하는 제2 색모델의 변환 입체 영상들로 변환하는 단계;
상기 변환 입체 영상들의 각각에 대해 물체 영역의 밝기 분포와 배경 영역의 밝기 분포를 소정의 기준 밝기 대비값에 따라 각각 조정함으로써, 제2 색모델의 보정 입체 영상을 각각 생성하는 단계; 및
상기 변환 입체 영상들의 각각에 대해 생성된, 조정된 물체 영역의 밝기 분포를 가지는 제2 색모델의 보정 입체 영상들을 제1 색모델의 보정 입체 영상들로 역변환하는 단계를 포함하고,
상기 밝기 대비값은 상기 물체 영역의 보정 전의 평균 밝기를 밝기 보정량만큼 증가시킨 값과 상기 배경 영역의 보정 전 평균 밝기를 상기 밝기 보정량만큼 감소시킨 값의 비율로 정의되는 것을 특징으로 하는 입체 영상 후처리 방법.A stereoscopic image post-processing method for correcting original stereoscopic images in a stereoscopic image display device to generate corrected stereoscopic images,
Wherein the stereoscopic image display device comprises:
A step of distinguishing the object region and the background region having a stereoscopic effect from the original stereoscopic images;
Converting original stereoscopic images of the first color model into converted stereoscopic images of a second color model including a brightness component;
Generating corrected stereoscopic images of the second color model by respectively adjusting the brightness distribution of the object area and the brightness distribution of the background area for each of the converted stereoscopic images according to a predetermined reference brightness contrast value; And
Transforming the corrected stereoscopic images of the second color model having the brightness distribution of the adjusted object area generated for each of the converted stereoscopic images into the corrected stereoscopic images of the first color model,
Wherein the brightness contrast value is defined as a ratio of a value obtained by increasing an average brightness before correction of the object zone by a brightness correction amount and a value obtained by decreasing an average brightness before correction of the background area by the brightness correction amount, Way.
원본 입체 영상들의 디스패리티 맵을 기초로 물체 영역과 배경 영역을 구분하는 단계를 포함하는 것을 특징으로 하는 입체 영상 후처리 방법.8. The method of claim 7, wherein the step of distinguishing the object zone from the background zone comprises:
And separating the object region and the background region based on the disparity map of the original stereoscopic images.
원본 입체 영상들을 그레이 스케일의 영상들로 변환하는 단계;
복수의 그레이 스케일 영상들의 각각에서 동일 위치의 블록들끼리 상관 연산한 상관값에 따라 물체 영역과 배경 영역을 구분하는 경계를 검출하는 단계; 및
검출된 경계에 의해 분할되는 영역들 중 물체 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 입체 영상 후처리 방법.8. The method of claim 7, wherein the step of distinguishing the object zone from the background zone comprises:
Converting the original stereoscopic images into grayscale images;
Detecting a boundary that separates an object region and a background region according to a correlation value obtained by correlating blocks in the same position in each of a plurality of gray scale images; And
And determining an object region among regions divided by the detected boundary.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150079968A KR101639949B1 (en) | 2015-06-05 | 2015-06-05 | Apparatus and method for stereoscopic image post-processing with reduced visual fatigue |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150079968A KR101639949B1 (en) | 2015-06-05 | 2015-06-05 | Apparatus and method for stereoscopic image post-processing with reduced visual fatigue |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140192446A Division KR101550554B1 (en) | 2014-12-29 | 2014-12-29 | Apparatus and method for stereoscopic image post-processing with reduced visual fatigue |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160082912A KR20160082912A (en) | 2016-07-11 |
KR101639949B1 true KR101639949B1 (en) | 2016-07-15 |
Family
ID=56499538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150079968A KR101639949B1 (en) | 2015-06-05 | 2015-06-05 | Apparatus and method for stereoscopic image post-processing with reduced visual fatigue |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101639949B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893746B2 (en) | 2020-02-04 | 2024-02-06 | Samsung Display Co., Ltd. | Image processor, display device having the same and operation method of display device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101119941B1 (en) * | 2010-12-17 | 2012-03-16 | 강원대학교 산학협력단 | Apparatus and method for improving quality of picture in the stereoscopic |
JP2012104921A (en) * | 2010-11-08 | 2012-05-31 | Sony Corp | Video signal processing device, video signal processing method, and computer program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101100784B1 (en) * | 2009-11-10 | 2012-01-02 | 광운대학교 산학협력단 | Method and apparatus for recognizing object |
KR101929042B1 (en) * | 2012-10-30 | 2018-12-14 | 엘지디스플레이 주식회사 | Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method |
-
2015
- 2015-06-05 KR KR1020150079968A patent/KR101639949B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012104921A (en) * | 2010-11-08 | 2012-05-31 | Sony Corp | Video signal processing device, video signal processing method, and computer program |
KR101119941B1 (en) * | 2010-12-17 | 2012-03-16 | 강원대학교 산학협력단 | Apparatus and method for improving quality of picture in the stereoscopic |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893746B2 (en) | 2020-02-04 | 2024-02-06 | Samsung Display Co., Ltd. | Image processor, display device having the same and operation method of display device |
Also Published As
Publication number | Publication date |
---|---|
KR20160082912A (en) | 2016-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2681294T3 (en) | Image processing system and computer readable recording medium | |
KR101913035B1 (en) | Semi transparent mark, a method for composing and detecting semi transparent mark,transparent mark and a method for composing and detecting transparent mark | |
CA2727218C (en) | Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images | |
CN107750370B (en) | Method and apparatus for determining a depth map for an image | |
US20080247670A1 (en) | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images | |
KR101975247B1 (en) | Image processing apparatus and image processing method thereof | |
WO2014183787A1 (en) | Method and apparatus for computing a synthesized picture | |
US7945088B2 (en) | Stereoscopic image generation apparatus | |
CN110268712A (en) | Method and apparatus for handling image attributes figure | |
US20130069934A1 (en) | System and Method of Rendering Stereoscopic Images | |
US20100098288A1 (en) | Method of processing images to combat copying | |
US20160180514A1 (en) | Image processing method and electronic device thereof | |
US9111377B2 (en) | Apparatus and method for generating a multi-viewpoint image | |
KR101720161B1 (en) | Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that | |
EP2498501A2 (en) | 3D image display method and apparatus thereof | |
KR102161785B1 (en) | Processing of disparity of a three dimensional image | |
KR101639949B1 (en) | Apparatus and method for stereoscopic image post-processing with reduced visual fatigue | |
KR20140004393A (en) | Display apparatus and control method thereof | |
KR101550554B1 (en) | Apparatus and method for stereoscopic image post-processing with reduced visual fatigue | |
KR101329069B1 (en) | Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device | |
US20130050448A1 (en) | Method, circuitry and system for better integrating multiview-based 3d display technology with the human visual system | |
KR20130057586A (en) | Apparatus and method for generating depth map, stereo-scopic image conversion apparatus and method usig that | |
EP2657909B1 (en) | Method and image processing device for determining disparity | |
Chang et al. | Ghosting reduction method for color anaglyphs | |
Rodríguez-López et al. | The Reverse Pulfrich Effect: Misperception of Motion in Depth |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |