KR100667810B1

KR100667810B1 - ３ｄ 영상의 깊이감 조정 장치 및 방법

Info

Publication number: KR100667810B1
Application number: KR1020050080611A
Authority: KR
Inventors: 하태현
Original assignee: 삼성전자주식회사
Priority date: 2005-08-31
Filing date: 2005-08-31
Publication date: 2007-01-11
Also published as: CN1925627A; US20070047040A1; CN100574462C; NL1032382A1; US8290244B2; NL1032382C2

Abstract

본 발명은 3D 영상의 깊이감을 조정하기 위한 장치 및 방법에 관한 것이다. 본 발명의 깊이감 조정 장치는, 좌안 영상과 우안 영상간의 시차를 측정하는 시차 측정부; 측정된 시차 및 디스플레이의 물리적 특성에 기초하여 좌안 영상과 우안 영상간의 물리적 이격거리를 계산하는 물리적 이격거리 계산부; 및 계산된 물리적 이격거리에 따라 깊이감을 조정하는 깊이감 조정부를 포함하여, 사용자가 제작 환경에서와는 다른 크기의 디스플레이 화면을 가지는 양안식 3D 디스플레이를 이용할 때, 시차를 적응적으로 조정하여 깊이감을 조정할 수 있다.

깊이감, 시차, 임계값, 디스플레이, 3D 영상

Description

３Ｄ 영상의 깊이감 조정 장치 및 방법{Apparatus for controlling depth of 3D picture and method therefor}

도 1은 디스플레이의 화면 크기의 변화에 따른 좌안 영상과 우안 영상간의 시차 변화를 나타내는 도면.

도 2는 동일한 위치에 있는 큰 물체와 작은 물체를 바라보았을 때 물체의 크기와 깊이감의 관계를 나타내는 도면.

도 3은 디스플레이의 화면 크기와 시청자의 위치에 따른 물체의 깊이감의 변화를 나타내는 도면.

도 4는 본 발명의 일 실시예에 따른 3D 영상의 깊이감을 적응적으로 조정하는 장치의 구성을 나타내는 도면.

도 5는 본 발명의 일 실시예에 따라 도 4의 깊이감 조정부에서 중간 시점 영상 합성 방법을 이용하여 깊이감을 조정하는 과정을 나타내는 도면.

도 6은 본 발명의 다른 실시예에 따라 도 4의 깊이감 조정부에서 좌안 영상 및 우안 영상을 수평이동하여 깊이감을 조정하는 과정을 나타내는 도면.

도 7은 본 발명의 일 실시예에 따른 3D 영상의 깊이감을 적응적으로 조정하는 방법을 나타내는 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

400: 깊이감 조정 장치 410: 시차 측정부

420: 물리적 이격거리 계산부 430: 깊이감 조정부

본 발명은 3D 입체 영상의 깊이감을 조정하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 사용자가 제작 환경에서와는 다른 화면 크기의 양안식(stereoscopic) 3D 디스플레이를 이용할 때 시차(disparity)를 적응적으로 조정하여 깊이감을 조정하기 위한 장치 및 방법에 관한 것이다.

현재 개발되고 있는 3D 입체 디스플레이에는 2D 평판 디스플레이에 필름 형태의 마이크로-폴러라이저(micro-polerizer)나 배리어(barrier), 렌티큘러-렌즈와 같은 도구를 사용하여, 사용자의 좌안과 우안에 서로 다른 시차를 가진 영상을 투사하여 디스플레이되는 영상에 입체감을 부여하는 방법이 주로 사용된다. 이러한 방식을 이용한 3D 입체 디스플레이는 그 디스플레이가 보여주는 시점의 수에 따라 크게 양안식 3D 디스플레이와 멀티뷰 3D 디스플레이로 나눌 수 있다. 양안식 3D 디스플레이는 서로 다른 두 시점의 영상을 디스플레이하며, 그 이상의 시점을 디스플레이하는 경우에는 멀티뷰 3D 디스플레이라 부른다.

영상 콘텐츠를 제작하기 위해서, 두 개의 입사 렌즈를 가진 양안식 카메라 또는 여러 개의 입사 렌즈를 가진 멀티뷰 카메라를 사용한 실사 영상을 제작하고, 한편에서는 컴퓨터 그래픽에 의해 스테레오 또는 멀티뷰 콘텐츠를 제작하기도 한 다. 이 때 3D 입체 카메라에 의해 제작된 영상이나, 컴퓨터 그래픽에 의해 제작된 영상 콘텐츠는 인간의 시각 특성을 고려해서 제작은 되었으나, 제작 환경 예를 들어, 사용한 디스플레이 장비의 해상도, 디스플레이의 크기 등의 특성이 사용자가 사용하는 디스플레이 환경과 다른 경우 제작시 의도한 입체감 있는 영상이 디스플레이되지 않는 문제점이 있다.

따라서, 본 발명이 이루고자 하는 기술적 과제는, 사용자가 제작 환경에서와는 다른 크기의 디스플레이 화면을 가지는 양안식 3D 디스플레이를 이용할 때 시차를 적응적으로 조정하여 깊이감을 조정하기 위한 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 상술한 목적을 달성하기 위해, 일 특징에 의한 3D 영상의 깊이감 조정 장치는, 좌안 영상과 우안 영상간의 시차를 측정하는 시차 측정부; 측정된 시차 및 디스플레이의 물리적 특성에 기초하여 좌안 영상과 우안 영상간의 물리적 이격거리를 계산하는 물리적 이격거리 계산부; 및 계산된 물리적 이격거리에 따라 깊이감을 조정하는 깊이감 조정부를 포함한다.

시차 측정부는, 좌안 영상과 우안 영상간의 시차를 추정하고 시차의 최대값, 최소값 및 평균값 중 적어도 하나의 값을 기준값으로 결정하는 것이 바람직하다. 디스플레이의 물리적 특성은 디스플레이의 픽셀의 물리적 크기이며, 물리적 이격거리 계산부는, 미리 저장된 한 픽셀의 물리적 크기를 판독하고, 판독된 픽셀의 크기 에 기준값을 곱하여 시차의 물리적 이격거리를 계산하는 것이 바람직하다.

깊이감 조정부는, 디스플레이의 물리적 특성에 따라 정해지는 임계값에 기초하여 물리적 이격거리를 조정한다. 깊이감 조정부는, 계산된 물리적 이격거리 중 최대값을 물리적 이격거리의 최대 임계값과 비교하여, 계산된 최대값이 최대 임계값보다 크면 최대값을 최대 임계값 이하로 조정하고, 이에 비례하여 영상 내의 물체에 대한 물리적 이격거리를 조정하는 것이 바람직하다.

또한, 깊이감 조정부는, 계산된 물리적 이격거리 중 평균값을 물리적 이격거리의 평균 임계값과 비교하여, 계산된 평균값이 평균 임계값보다 크면 계산된 평균값을 평균 임계값 이하로 조정하고, 이에 비례하여 영상내의 물체에 대한 물리적 이격거리를 조정하는 것이 바람직하다.

또한, 깊이감 조정부는, 계산된 물리적 이격거리 중 최대값을 물리적 이격거리의 최소 임계값과 비교하여, 계산된 최대값이 최소 임계값보다 작으면 계산된 최대값을 최소 임계값 이상으로 조정하고, 이에 비례하여 영상내의 물체에 대한 물리적 이격거리를 조정하는 것이 바람직하다.

또한, 깊이감 조정부는, 조정된 물리적 이격거리에 기초하여 중간 시점 영상 합성 프로세스를 이용하여 중간 영상을 재구성하고, 좌안 영상 또는 우안 영상 중 적어도 하나의 영상을 재구성된 중간 영상으로 대체하여 깊이감을 조정하는 것이 바람직하다. 깊이감 조정부는, 조정된 물리적 이격거리에 기초하여 좌안 영상 및 우안 영상을 수평이동하고 수평이동된 좌안 영상 및 우안 영상을 합성하여 깊이감을 조정하는 것이 바람직하다.

본 발명의 깊이감 조정 장치는, 깊이감 조정부로부터 출력되는 깊이감이 조정된 영상을 표시하는 디스플레이부를 포함하는 것이 바람직하다.

본 발명의 다른 특징에 따른 3D 영상의 깊이감 조정 방법은, 좌안 영상과 우안 영상간의 시차를 측정하는 시차 측정 단계; 측정된 시차 및 디스플레이의 물리적 특성에 기초하여 좌안 영상과 우안 영상간의 물리적 이격거리를 계산하는 물리적 이격거리 계산 단계; 및 계산된 물리적 이격거리에 따라 깊이감을 조정하는 깊이감 조정 단계를 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 디스플레이의 화면 크기의 변화에 따른 좌안 영상과 우안 영상간의 시차 변화를 나타내는 도면이다.

도 1의 (b)와 같은 디스플레이 화면에서 콘텐츠를 제작한 경우에는, 해당 콘텐츠는 제작시에 사용한 디스플레이 화면으로 재생할 때 최적의 깊이감(D2)를 가진다. 따라서, 3D 콘텐츠 제작자가 도 1의 (b)와 같은 디스플레이 화면과 같이 N2×M2(inch²)의 화면 크기를 가지는 3D 디스플레이에 적합한 콘텐츠를 제작하고, 도 1의 (b)의 화면 크기보다 작은 도 1의 (a)와 같은 N1×M1(inch²) 크기의 디스플레이에서 시청할 때, 깊이감이 감소하여 화면상의 물체의 실제 위치보다 훨씬 멀게 느껴지게 되며, 입체감이 떨어지게 된다.

사용자가 3D 디스플레이 제작시보다 큰 도 1의 (c)와 같은 N3×M3(inch²)의 디스플레이 화면으로 3D 콘텐츠를 시청할 때, 영상에 있는 물체의 위치가 실제 위치보다 훨씬 가깝게 느껴지게 되어 사용자에게 피로감을 일으키고, 어떤 경우에는 인간이 지각할 수 없는 깊이감을 벗어나 문제를 야기할 가능성도 있다.

도 2는 동일한 위치에 있는 큰 물체와 작은 물체를 바라보았을 때 물체의 크기와 깊이감의 관계를 나타내는 도면이다.

도 2에서와 같이, 현실 세계에서는 임의의 물체와 임의의 물체를 바라보는 관찰자의 거리가 일정할 때, 현재 관찰하는 물체보다 더 큰 물체를 같은 위치에 둔다고 하더라도 물체와 관찰자의 거리 즉, 깊이감은 변하지 않는다. 그러나, 양안 시차를 이용하는 3D 디스플레이에서는 좌안 영상과 우안 영상의 시차는 관찰자가 느끼는 깊이감에 비례하고, 좌안 영상과 우안 영상의 시차가 디스플레이 화면의 크기에 따라 변하기 때문에 도 1과 같은 문제점이 발생한다.

도 3은 디스플레이의 화면 크기와 시청자의 위치에 따른 시청하는 물체의 깊이감의 변화를 나타내는 도면이다.

도 3의 (a)에 대해 도 3의 (b)와 같이 사용자의 위치가 고정된 상태에서 화면의 크기가 커지면 시차가 증가하여, 깊이감이 증가한다. 도 3의 (b)에 대해 도 3의 (c)와 같이 사용자의 위치가 2배로 증가하면 깊이감도 비례하여 증가한다.

따라서, 제작할 때와 다른 크기의 디스플레이 화면으로 영상 콘텐츠를 시청할 경우에는 사용자가 사용하는 디스플레이에 적합하게 영상이 디스플레이되도록 깊이감을 조정할 필요가 있다.

도 4는 본 발명의 일 실시예에 따른 3D 영상의 깊이감을 적응적으로 조정하 는 장치의 구성을 나타내는 도면이다.

본 발명의 일 실시예에 따른 깊이감을 조정하는 장치(400)는 시차 측정부(410), 물리적 이격거리 계산부(420) 및 깊이감 조정부(430)를 포함한다.

시차 측정부(410)는, 입력되는 3D 입체 영상에서 좌안 영상과 우안 영상을 분리하고, 좌안 영상과 우안 영상간의 시차를 측정한다. 시차 측정부(410)는 좌안 영상과 우안 영상간의 시차를 추정하는 방법에 의해 시차를 측정한다. 시차를 추정하는 방법은 MPEG에서 사용하는 블록 기반 움직임 추정과 같은 원리를 이용할 수 있다. 먼저, 좌안 영상을 N×N 개의 균일한 블록으로 분할한다. 이어서, 좌안 영상 내의 각 블록에 대해 가장 유사한 블록을 SAD(Sum of Absolute Difference) 또는 MAD(Mean of Absolute)을 이용하여 우안 영상에서 추정한다. 이 때 기준 블록과 추정된 블록과의 거리를 시차 벡터(Disparity Vector)라고 정의하고, 그 단위는 픽셀이다. 즉, 좌안 영상과 우안 영상의 특정 위치의 시차는 좌안 영상과 우안 영상의 동일한 사물의 이격거리를 픽셀 단위로 표현하는 것을 의미한다.

또한, 시차 측정부(410)는 추정된 시차들의 최대값 d(max), 최소값 d(min) 및 평균값 d(mean)중 적어도 하나의 값을 기준값으로 결정하여 물리적 이격거리 계산부(420)에 전달한다.

물리적 이격거리 계산부(420)는 측정된 시차 및 디스플레이의 물리적 특성에 기초하여 좌안 영상과 우안 영상간의 물리적 이격거리를 계산하다. 더 상세하게는, 물리적 이격거리 계산부(420)는 미리 저장되어 있는 화면에 표시되는 하나의 픽셀의 물리적 크기 P를 판독하고, 판독된 픽셀의 물리적 크기 P와 시차 측정부 (410)에서 결정된 기준값을 곱함으로써, 좌안 영상과 우안 영상내의 물체들의 물리적 이격거리를 계산한다. 한 픽셀의 물리적 크기는 디스플레이의 롬(ROM)과 같은 저장 공간에 저장되어 이용될 수도 있다.

또한, 깊이감 조정부(430)는 디스플레이의 물리적 특성에 따라 정해지는 임계값에 기초하여 계산된 물리적 이격거리를 조정하고, 조정된 물리적 이격거리에 따라 깊이감을 조정한다. 깊이감 조정부(430)는 조정된 물리적 이격거리에 기초하여 중간 시점 영상 합성(intermediate view image construction) 프로세스를 이용하여 깊이감이 조정된 영상을 재구성하고, 재구성된 영상을 좌안 영상 또는 우안 영상 중 하나의 영상을 대체하여 대체된 영상과 나머지 영상을 출력한다. 대체된 영상과 나머지 영상이 표시되면 깊이감이 조정된 영상으로 보이게 된다. 또는, 깊이감 조정부(430)는 조정된 물리적 이격거리에 기초하여 좌안 영상 및 우안 영상을 수평이동하고 수평이동된 좌안 영상 및 우안 영상을 합성하여 깊이감이 조정된 영상을 출력한다. 한편, 깊이감 조정 장치(400)는 깊이감 조정부(430)로부터 출력된 3D 영상을 디스플레이하는 디스플레이부(도시되지 않음)를 포함하여 3D 영상을 출력하는 디스플레이 장치로 구현할 수 있다.

도 5 및 도 6을 참조하여 깊이감 조정부(430)가 깊이감을 조정하는 과정에 대해서 상세하게 설명한다.

도 5는 본 발명의 일 실시예에 따른 도 4의 깊이감 조정부(430)에서 중간 시점 영상 합성 방법을 이용하여 깊이감을 조정하는 과정을 나타내는 도면이다.

도 4의 깊이감 조정부(430)는 물리적 이격거리 계산부(420)에 의해 계산된 물리적 이격거리에 기초하여 깊이감을 조정한다. 또한, 깊이감 조정부(430)는 물리적 이격거리를 조정해야 할 필요가 있는 경우, 다음과 같은 동작을 수행한다.

깊이감 조정부(430)는 물리적 이격거리 계산부(420)로부터 계산된 물리적 이격거리 중 최대값을 수신하여 수신된 최대값을 물리적 이격거리의 최대 임계값과 비교한다. 그런 다음, 깊이감 조정부(430)는 수신된 최대값이 최대 임계값보다 크면 최대값을 최대 임계값 이하로 조정하고, 이에 비례하여 영상내의 물체에 대한 물리적 이격거리를 조정한다. 즉, 영상의 물체들에 대한 시차의 최대값에 디스플레이의 한 픽셀의 물리적 크기를 곱한 값을 미리 설정한 임계값 이하로 조정하고, 조정된 값에 비례하여 영상 전체적인 시차를 조정한다.

물리적 이격거리 중 최대값을 D(max)라 할 때, D(max)는 측정된 시차 중 최대값 d(max)에 한 픽셀의 물리적 크기 P를 곱한 값이다. 최대 임계값을 th(max)라 하면, th(max)은 실험적으로 정해지는 값으로서, 눈이나 기타 피로감을 일으키지 않도록 하는 범위에서 사용자가 이용하는 디스플레이에서 좌안 영상(51)과 우안 영상(53)의 물리적 이격거리 중 최대의 값이다. 최대 임계값은 피로감 등을 일으키지 않는 적정 범위의 깊이감 값 중 최대값을 통해 구해질 수 있다.

도 5를 참조하면, 좌안 영상(51)에서 물체까지의 거리를 d1이라고 하고, 우안 영상(53)에서 물체까지의 거리를 d2라 하고, 우안 영상(53)에서 d3은 좌안 영상(51)과 우안 영상(53) 내의 임의의 물체에 대한 시차를 나타낸다. 재구성된 영상(55)에서 d4는 사용자가 피로감을 느끼지 않도록 조정된 시차를 나타낸다. 즉, D(max) ＞ th(max)이면 아래의 수학식 1를 이용하여 임의의 물체에 대한 시차를 d4 로 하는 새로운 영상을 생성하여 기존의 우안 영상(53)을 대체하여 사용자의 피로감을 줄여줄 수 있다.

d4×P = th(max)×d3×P / D(max) = th(max)×d3×P / ( d(max)×P)

물리적 이격거리의 최대값이 최대 임계값보다는 작지만 영상 전체적으로 시차가 커서 사용자에게 피로감을 줄 경우도 있다. 이런 경우, 깊이감 조정부(430)는, 물리적 이격거리 계산부(420)에 의해 계산된 물리적 이격거리 중 평균값을 수신하여 물리적 이격거리의 평균 임계값과 비교한다. 그런 다음, 깊이감 조정부(430)는 계산된 평균값이 평균 임계값보다 크면 계산된 평균값을 평균 임계값 이하로 조정하여, 계산된 평균값이 평균 임계값으로 조정된 데 비례하여 영상내의 임의의 물체에 대한 물리적 이격거리를 조정한다.

물리적 이격거리 중 평균값을 D(mean)라 할 때, D(mean)은 시차 측정부(410)에서 계산된 시차 평균값 d(mean)에 한 픽셀의 물리적 크기 P를 곱한 값이다. 평균 임계값을 th(mean)이라 하면, th(mean)은 실험적으로 정해지는 값으로서, 눈이나 기타 피로감을 일으키지 않도록 하는 범위에서 사용자가 이용하는 디스플레이에서 좌안 영상(51)과 우안 영상(53)의 물리적 이격거리들을 평균한 값이다.

즉, D(mean) ＞ th(mean)이면 아래의 수학식 2를 이용하여 임의의 물체에 대한 시차가 d4가 되는 새로운 영상을 생성하여 기존의 우안 영상(53)을 대체하여 사용자의 피로감을 줄여줄 수 있다.

d4×P = th(mean)×d3×P / D(mean)

지금까지는 사용자가 입력된 3D 입체 영상이 최적 디스플레이가 될 수 있는 화면 크기보다 큰 화면을 사용하였을 경우에 대해 설명하였다. 반면에, 사용자가 입력된 3D 입체 영상이 최적으로 디스플레이될 수 있는 화면 크기보다 더 작은 디스플레이를 사용하였을 경우에는, 물리적 깊이감 또는 시차가 작아져서 눈의 피로는 더 적어지지만 깊이감이 떨어져서 입체감이 적어질 수 있다. 이 경우에는, 전체적인 시차를 키워서 입체감을 키울 필요가 있다.

따라서, 깊이감 조정부(430)는 물리적 이격거리 계산부(420)에 의해 계산된 물리적 이격거리 중 최대값을 물리적 이격거리의 최소 임계값과 비교한다. 그런 다음, 깊이감 조정부(430)는 계산된 최대값이 최소 임계값보다 작으면 계산된 최대값을 최소 임계값 이상으로 조정하고, 이에 비례하여 영상의 임의의 물체에 대해 물리적 이격거리를 조정한다.

최소 임계값을 th(min)이라 하면, th(min)은 실험적으로 정해지는 값으로서, 눈이나 기타 피로감을 일으키지 않도록 하는 범위에서 사용자가 이용하는 디스플레이에서 좌안 영상(51)과 우안 영상(53)의 물리적 이격거리 중 최소의 값이다.

즉, D(max) ＜ th(min)이면 아래의 수학식 3를 이용하여 임의의 물체에 대한 시차가 d4가 되는 새로운 영상을 생성하여 기존의 우안 영상(53)을 대체하여 입체감을 높일 수 있다.

d4×P = th(min)×d3×P / D(max)

요약하면, d4×P의 물리적인 이격거리를 가지는 영상을 중간 시점 영상 합성 방법에 의해서 재구성하고, 재구성된 중간 영상을 도 5의 (b)의 우안 영상(53)과 대체하여, 도 5의 (a)의 좌안 영상(51)과 도 5의 (c)의 중간 영상을 겹쳐서 출력한다. 한편, 깊이감을 조정하기 위하여 적정한 시차 d4 또는 적정한 물리적 이격거리 d4×P를 결정할 때, 입력된 3D 영상의 특성에 따라 수학식 1, 수학식 2 또는 수학식 3 중 하나를 선택적으로 이용하거나, 위의 수학식 중 2개 이상의 수학식을 병행하여 이용할 수 있다.

도 5에서는 물체의 좌측의 거리를 기준으로 적정한 시차를 결정하는 방법을 이용하여 우안 영상(53)을 재구성된 영상으로 대체하였다. 그러나, 물체의 우측의 거리를 기준으로 적정한 시차를 계산할 수도 있으며, 이 경우에는 좌안 영상(51)을 중간 시점 영상 합성 방법에 의해 재구성된 영상으로 대체하여, 즉, 도 5의 (c)의 영상과 중간 시점 영상 합성 방법에 의해 재구성된 영상을 겹쳐서 출력하는 방법도 가능하다.

도 6은 본 발명의 다른 실시예에 따라 도 4의 깊이감 조정부(430)에서 좌안 영상(51) 및 우안 영상(53)을 수평이동하여 깊이감을 조정하는 과정을 나타내는 도면이다.

좌안 영상(61)은 도 5의 좌안 영상(51)을 우측으로 수평이동한 영상을 나타내고, 빗금친 영역은 좌안 영상(51)을 우측으로 수평이동하여 손실되는 부분을 나타낸다. 우안 영상(63)은 도 5의 우안 영상(53)을 좌측으로 수평이동한 영상을 나타내고, 빗금친 영역은 우안 영상(53)을 좌측으로 수평이동하여 손실되는 부분을 나타낸다. 영상(65)은 수평이동된 좌안 영상(61) 및 우안 영상(63)을 합성한 영상이다. 따라서, 본 발명의 일 특성에 따라 좌우 영상의 시차가 도 5를 참조하여 설명한 바와 같이 결정된 d4와 같이 조정되도록 좌안 영상(51) 및 우안 영상(53)을 수평이동하는 것이 필요하다.

도 6을 참조하면, d4의 시차를 갖는 영상을 출력하기 위해서는 좌안 영상(61)에 대해서는 우측으로 d3-d4/2 만큼 수평이동하고, 우안 영상(63)에 대해서는 좌측으로 d3-d4/2만큼 수평이동한다. 따라서, 수평이동된 좌안 영상(61) 및 우안 영상(63)을 합성하면 d4의 시차를 갖는 3D 영상(65)을 생성할 수 있다. 도 5에서 설명한 바와 마찬가지로, 깊이감을 조정하기 위하여 적정한 시차 d4 또는 적정한 물리적 이격거리 d4×P를 결정할 때, 입력된 3D 영상의 특성에 따라 수학식 1, 수학식 2 또는 수학식 3 중 하나를 선택적으로 이용하거나, 위의 수학식 중 2개 이상의 수학식을 병행하여 이용할 수 있다.

도 7은 본 발명의 일 실시예에 따른 3D 디스플레이에 대한 깊이감을 적응적으로 조정하기 위한 방법을 나타내는 흐름도이다.

본 발명의 일 실시예에 따른 3D 영상의 깊이감을 조정하기 위해서, 좌안 영상과 우안 영상간의 시차를 측정한다(S 710).

측정된 시차 및 디스플레이의 물리적 특성에 기초하여 좌안 영상과 우안 영상간의 물리적 이격거리를 계산한다(S 720).

계산된 물리적 이격거리에 따라 깊이감을 조정한다(S 730). 깊이감이 조정된 영상은 디스플레이상에서 표시되어 입체감이 적응적으로 조정된 영상이 사용자 에게 제공될 수 있다.

본 발명에 따른 깊이감 조정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

본 발명에 따르면, 사용자가 제작 환경에서와는 다른 크기의 디스플레이 화면을 가지는 양안식 3D 디스플레이를 이용할 때, 시차를 적응적으로 조정하여 깊이감을 조정하기 위한 장치 및 방법을 제공할 수 있다.

Claims

3D 영상의 깊이감을 조정하는 장치에 있어서,

좌안 영상과 우안 영상간의 시차를 측정하는 시차 측정부;

상기 측정된 시차 및 디스플레이의 물리적 특성에 기초하여 상기 좌안 영상과 상기 우안 영상간의 물리적 이격거리를 계산하는 물리적 이격거리 계산부; 및

상기 계산된 물리적 이격거리에 따라 깊이감을 조정하는 깊이감 조정부를 포함하는 것을 특징으로 하는 깊이감 조정 장치.
제1항에 있어서, 상기 시차 측정부는,

상기 좌안 영상과 상기 우안 영상간의 시차를 추정하고 상기 시차의 최대값, 최소값 및 평균값 중 적어도 하나의 값을 기준값으로 결정하는 것을 특징으로 하는 깊이감 조정 장치.
제2항에 있어서,

상기 디스플레이의 물리적 특성은 상기 디스플레이의 픽셀의 물리적 크기이며,

상기 물리적 이격거리 계산부는, 상기 미리 저장된 한 픽셀의 물리적 크기를 판독하고, 상기 판독된 픽셀의 크기에 상기 기준값을 곱하여 상기 시차의 물리적 이격거리를 계산하는 것을 특징으로 하는 깊이감 조정 장치.
제3항에 있어서, 상기 깊이감 조정부는,

상기 디스플레이의 물리적 특성에 따라 정해지는 임계값에 기초하여 상기 물리적 이격거리를 조정하는 것을 특징으로 하는 깊이감 조정 장치.
제4항에 있어서, 상기 깊이감 조정부는,

상기 계산된 물리적 이격거리 중 최대값을 물리적 이격거리의 최대 임계값과 비교하여, 상기 계산된 최대값이 상기 최대 임계값보다 크면 상기 최대값을 상기 최대 임계값 이하로 조정하고, 이에 비례하여 영상 내의 물체에 대한 물리적 이격거리를 조정하는 것을 특징으로 하는 깊이감 조정 장치.
제4항에 있어서, 상기 깊이감 조정부는,

상기 계산된 물리적 이격거리 중 평균값을 물리적 이격거리의 평균 임계값과 비교하여, 상기 계산된 평균값이 상기 평균 임계값보다 크면 상기 평균값을 상기 평균 임계값 이하로 조정하고, 이에 비례하여 영상내의 물체에 대한 물리적 이격거리를 조정하는 것을 특징으로 하는 깊이감 조정 장치.
제4항에 있어서, 상기 깊이감 조정부는,

상기 계산된 물리적 이격거리 중 최대값을 물리적 이격거리의 최소 임계값과 비교하여, 상기 계산된 최대값이 상기 최소 임계값보다 작으면 상기 최대값을 상기 최소 임계값 이상으로 조정하고, 이에 비례하여 영상내의 물체에 대한 물리적 이격거리를 조정하는 것을 특징으로 하는 깊이감 조정 장치.
제4항에 있어서, 상기 깊이감 조정부는,

상기 조정된 물리적 이격거리에 기초하여 중간 시점 영상 합성 프로세스를 이용하여 중간 영상을 재구성하고, 상기 좌안 영상 또는 상기 우안 영상 중 적어도 하나의 영상을 상기 재구성된 중간 영상으로 대체하여 깊이감을 조정하는 것을 특징으로 하는 깊이감 조정 장치.
제4항에 있어서, 상기 깊이감 조정부는,

상기 조정된 물리적 이격거리에 기초하여 상기 좌안 영상 및 상기 우안 영상을 수평이동하고 상기 수평이동된 좌안 영상 및 우안 영상을 합성하여 깊이감을 조정하는 것을 특징으로 하는 깊이감 조정 장치.
제1항에 있어서,

상기 깊이감 조정부로부터 출력되는 깊이감이 조정된 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 하는 깊이감 조정 장치.
3D 영상의 깊이감을 조정하는 방법에 있어서,

좌안 영상과 우안 영상간의 시차를 측정하는 시차 측정 단계;

상기 측정된 시차 및 디스플레이의 물리적 특성에 기초하여 상기 좌안 영상과 상기 우안 영상간의 물리적 이격거리를 계산하는 물리적 이격거리 계산 단계; 및

상기 계산된 물리적 이격거리에 따라 깊이감을 조정하는 깊이감 조정 단계를 포함하는 것을 특징으로 하는 깊이감 조정 방법.
제11항에 있어서, 상기 시차 측정 단계는,

상기 좌안 영상과 상기 우안 영상간의 시차를 추정하고 상기 시차의 최대값, 최소값 및 평균값 중 적어도 하나의 값을 기준값으로 결정하는 단계를 포함하는 것을 특징으로 하는 깊이감 조정 방법.
제12항에 있어서,

상기 디스플레이의 물리적 특성은 상기 디스플레이의 픽셀의 물리적 크기이며,

상기 물리적 이격거리 계산 단계는, 상기 미리 저장된 한 픽셀의 물리적 크기를 판독하고, 상기 판독된 픽셀의 크기에 상기 기준값을 곱하여 상기 시차의 물리적 이격거리를 계산하는 단계를 포함하는 것을 특징으로 하는 깊이감 조정 방법.
제13항에 있어서, 상기 깊이감 조정 단계는,

상기 디스플레이의 물리적 특성에 따라 정해지는 임계값에 기초하여 상기 물 리적 이격거리를 조정하는 단계를 포함하는 것을 특징으로 하는 깊이감 조정 방법.
제14항에 있어서, 상기 깊이감 조정 단계는,

상기 계산된 물리적 이격거리 중 최대값을 물리적 이격거리의 최대 임계값과 비교하여, 상기 계산된 최대값이 상기 최대 임계값보다 크면 상기 최대값을 상기 최대 임계값 이하로 조정하고, 이에 비례하여 영상 내의 물체에 대한 물리적 이격거리를 조정하는 것을 특징으로 하는 깊이감 조정 방법.
제14항에 있어서, 상기 깊이감 조정 단계는,

상기 계산된 물리적 이격거리 중 평균값을 물리적 이격거리의 평균 임계값 과 비교하여, 상기 계산된 평균값이 상기 평균 임계값보다 크면 상기 평균값을 상기 평균 임계값 이하로 조정하고, 이에 비례하여 영상내의 물체에 대한 물리적 이격거리를 조정하는 것을 특징으로 하는 깊이감 조정 방법.
제14항에 있어서, 상기 깊이감 조정 단계는,

상기 계산된 물리적 이격거리 중 최대값을 물리적 이격거리의 최소 임계값과 비교하여, 상기 계산된 최대값이 상기 최소 임계값보다 작으면 상기 최대값을 상기 최소 임계값 이상으로 조정하고, 이에 비례하여 영상내의 물체에 대한 물리적 이격거리를 조정하는 것을 특징으로 하는 깊이감 조정 방법.
제14항에 있어서, 상기 깊이감 조정 단계는,

상기 조정된 물리적 이격거리에 기초하여 중간 시점 영상 합성 프로세스를 이용하여 중간 영상을 재구성하고, 상기 좌안 영상 또는 상기 우안 영상 중 적어도 하나의 영상을 상기 재구성된 중간 영상으로 대체하여 깊이감을 조정하는 것을 특징으로 하는 깊이감 조정 방법.
제14항에 있어서, 상기 깊이감 조정 단계는,

상기 조정된 물리적 이격거리에 기초하여 상기 좌안 영상 및 상기 우안 영상을 수평이동하고 상기 수평이동된 좌안 영상 및 우안 영상을 합성하여 깊이감을 조정하는 것을 특징으로 하는 깊이감 조정 방법.
제11항에 있어서,

상기 깊이감 조정부로부터 출력되는 깊이감이 조정된 영상을 표시하는 단계를 포함하는 것을 특징으로 하는 깊이감 조정 방법.
제11항 내지 제20항 중 어느 하나의 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.