KR102700868B1 - 3d객체에 대한 디스패리티의 조정을 수행하는 무안경 입체영상 표시장치 - Google Patents

Abstract

본 발명의 일 실시예에 따르는, 무안경 입체영상 표시장치의, 3D객체의 디스패리티 조정방법은, a) 화면에 양안시차를 갖는 제 1영상 및 제 2영상을 동시에 재생하여, 적어도 하나의 3D객체가 화면으로부터 이격된 공간 상에 입체적으로 표시되는 무안경 입체영상을 제공하는 단계; b) 공간 상에 입체적으로 표시된 3D객체 중 사용자가 바라보거나 선택한 3D객체를 식별하는 단계; 및 c) 화면에 대한 상기 3D객체의 디스패리티가 0이 되도록 상기 제 1영상 및 제 2영상 중 적어도 하나를 가공함으로써, 상기 3D객체가 화면 상에서 수렴 조절 불일치 없이 표시되도록 하는 단계를 포함하되, 상기 제 1영상 및 제 2영상 각각은 사용자의 우안으로 보여지는 2D영상 및 좌안으로 보여지는 2D영상이고, 상기 제 1영상과 제 2영상이 화면에 재생될 때 상기 제 1영상 내 상기 3D객체가 표현되는 위치와 상기 제 2영상 내 상기 3D객체가 표현되는 위치 간의 간격은, 상기 a)단계에서는 존재하나 상기 c)단계에서 제거되는 것이다.

Description

3D객체에 대한 디스패리티의 조정을 수행하는 무안경 입체영상 표시장치{METHOD FOR ADJUSTING DISPARITY OF 3D OBJECT AND DISPLAY DEVICE FOR GLASSES-FREE STEREOSCOPIC IMAGE FOR CARRYING OUT THE METHOD}

본 발명은 무안경 입체영상 기술 분야로서, 보다 상세하게는, 실시간 디스패리티(disparity) 조정을 통해 화면에서 입체적으로 표시되는 3D객체 중 사용자가 바라보는 3D객체를 화면 상에 수렴 조절 불일치(vergence-accommodation conflict) 없이 구현하는 무안경 입체영상 표시장치에 관한 것이다.

입체영상 표시기술은, 평면 디스플레이 하드웨어를 통해 인위적인 입체영상을 재현하는 기술이다. 시청자는 장소를 불문하고 입체영상 표시기술을 구현하는 텔레비전이나 모니터를 통해 3D영상을 감상할 수 있게 되었다.

입체영상의 시청 원리는 사람의 눈이 약 65mm 떨어져 있음으로 하여 발생하는 양안시차(binocular disparity)에 기반하는 것이다. 이에 따라 사람이 어떠한 사물을 바라볼 때, 좌안과 우안을 통해 약간 다른 각도로 뇌로 전달되게 되며, 뇌가 이를 융합함에 따라 입체감을 느끼게 된다.

입체영상 표시장치는, 이차원 디스플레이 장치에서 좌안과 우안에 대응하는 영상 2개를 동시에 표시하고, 이들을 좌안과 우안에 정확하게 전달하는 설계를 통해 가상의 입체감을 구현한다.

입체영상 표시장치는 안경 방식과 무안경 방식이 있으나, 최근에는 안경의 번거로움 탈피하고 자유로운 시청이 가능한 무안경 방식이 중심을 이루고 있다.

무안경 방식은, 렌티큘러 렌즈(lenticular lens) 방식, 패럴렉스 베리어(parallax barrier) 방식, 집적 영상(integral image) 방식, 홀로그래피(Holography) 방식 등으로 나눌 수 있다.

대표적으로 렌티큘러 렌즈 방식은, 패널 전면에 원통형이나 반원통형의 렌즈를 나열한 렌티큘러 렌즈를 부착하여 좌안 영상과 우안 영상을 분리하여 제공한다. 즉, 렌티큘러 렌즈를 통하여 좌우 영상을 굴절시켜 양안으로 각각의 영상을 보내는 방식이다.

한편, 종래 무안경 입체영상 표시장치는 일반적으로, 화면으로부터의 깊이감을 제공하는 가상공간 안에서의 객체 별 원근감이 다름에도, 사용자가 원경을 볼 때나 근경을 볼 때와 무관하게 동일한 입체영상이 제공되어 눈의 피로감이 일정 부분 동반될 수 밖에 없었다.

도 1(a)를 참조하면, 실제 현실에서 사람이 어떠한 사물을 바라본다고 할 때, 사물에 맺히는 초점과 두 눈의 시선이 모이는 폭주(vergence)의 거리가 일치하여 사물이 자연스레 편안하게 보인다. 마찬가지로, 화면 상에 맺힌 물체를 바라볼 때 양안에 의한 디스패리티는 발생하지 않는다. 여기서 폭주는 사물을 볼 때, 사람의 두 눈동자 축이 사물과 일치하도록 하는 것으로서, 시선이 먼 곳에서 가까운 곳으로 움직이면 눈동자가 수렴(convergence)하고, 반대로 가까운 곳에서 먼 곳으로 움직이면 발산(divergence)하게 된다.

반면 무안경 입체영상은, 양안시차에 기반하여, 사물이 화면에 위치하는 것이 아닌 화면에서 돌출되거나 화면의 안 쪽에 있는 것처럼 보이게 하는 입체감을 제공한다. 도 1(b)를 참조하면, 원경의 사물을 화면의 안 쪽에 구현하기 위해, 화면 상에 사물의 이미지를 왼쪽에서 재생하여 좌안으로 전달시키고, 동일한 사물의 또 다른 이미지를 오른쪽에서 재생하여 우안으로 전달시킨다. 이러한 경우 도 1(b)와 같이, 시청자의 폭주는 화면이 아닌 화면의 후방에 발생하게 된다. 반대로, 근경의 경우 화면에서 튀어 나온 것처럼 보이게 해야 하므로, 시청자의 폭주는 화면이 아닌 화면의 전방에 발생하게 된다.

그러나, 입체영상은 실제 화면에 재생되는 이미지에 의해 구현되는 것이기 때문에, 시청자가 원경을 바라보던 근경을 바라보던 시청자의 초점은 항상 화면에 맺히게 된다. 즉, 양 눈에 전달되는 사물들이 표시되는 위치는 화면으로 고정되는 반면 사람이 눈과 뇌로 인지하는 사물의 위치는 달라지게 된다. 결국 도 1(b)와 같이, 종래의 무안경 입체영상은 수렴 조절 불일치(vergence accommodation conflict, VAC)를 일으켜, 폭주각과 초점거리의 불일치로 인한 불쾌감과 눈의 피로감이 유발되는 한계가 존재한다.

이러한 문제점을 해결하기 위하여, 폭주각과 초점거리를 맞춰주는 방법으로 초다시점(super multi view, SMV) 디스플레이 등이 제안되었으나, 현실적으로 구현되거나 상용화되기 어려운 실정이다.

또한, 종래의 렌티큘러 방식의 무안경 입체영상 기술은, 양 눈에 전달되는 영상이 화면에 표시되는 위치를 안쪽 또는 바깥쪽으로 이동시켜 사물이 돌출되거나 안으로 들어가는 정도를 변경하여 입체감을 조절하는 것이 일반적이었다. 그러나, 이러한 방식은 시청자가 실제 바라보는 위치와 관계 없이 입체영상의 전체가 이동하는 것에 불과하여 여전히 VAC가 발생하므로, 시각적 피로의 해소에 큰 도움을 주지 못하고 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 무안경 입체영상 내 사용자가 바라보거나 바라보려는 3D객체의 화면에 대한 디스패리티를 실시간으로 조정함으로써, 수렴 조절 불일치 없이 해당 3D객체가 화면 상에 구현되는 무안경 입체영상 표시장치를 제공하는 데 그 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 일 실시예에 따르는, 무안경 입체영상 표시장치의, 3D객체의 디스패리티 조정방법은, a) 화면에 양안시차를 갖는 제 1영상 및 제 2영상을 동시에 재생하여, 적어도 하나의 3D객체가 화면으로부터 이격된 공간 상에 입체적으로 표시되는 무안경 입체영상을 제공하는 단계; b) 공간 상에 입체적으로 표시된 3D객체 중 사용자가 바라보거나 선택한 3D객체를 식별하는 단계; 및 c) 화면에 대한 상기 3D객체의 디스패리티가 0이 되도록 상기 제 1영상 및 제 2영상 중 적어도 하나를 가공함으로써, 상기 3D객체가 화면 상에서 수렴 조절 불일치 없이 표시되도록 하는 단계를 포함하되, 상기 제 1영상 및 제 2영상 각각은 사용자의 우안으로 보여지는 2D영상 및 좌안으로 보여지는 2D영상이고, 상기 제 1영상과 제 2영상이 화면에 재생될 때 상기 제 1영상 내 상기 3D객체가 표현되는 위치와 상기 제 2영상 내 상기 3D객체가 표현되는 위치 간의 간격은, 상기 a)단계에서는 존재하나 상기 c)단계에서 제거되는 것이다.

본 발명의 일 실시예에 따르면, 상기 제 1영상 및 제 2영상 각각은, 동일한 콘텐츠를, 서로 다른 위치에 배치된 카메라로 바라본 2D영상이다.

본 발명의 일 실시예에 따르면, 상기 b)단계는, 사용자의 시점을 실시간으로 추적하는 카메라 모듈을 통해 사용자가 바라보는 공간의 좌표를 확인하고 상기 좌표에 구현된 3D객체를 식별하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 b)단계는, 입력 모듈을 통하여 사용자가 화면 내 임의의 지점을 선택하거나 사용자가 무안경 입체영상을 통해 임의의 지점을 공간 터치하는 경우, 선택되거나 공간 터치된 지점에 표시된 객체에 대응하는 상기 콘텐츠 내의 공간 상의 좌표를 식별하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 c)단계는, 상기 3D객체에 대응하는 상기 콘텐츠 내의 공간 상의 좌표를 파악하고, 상기 좌표와 상기 카메라 사이의 거리에 기초하여 상기 제 1영상 및 제 2영상 중 적어도 하나의 위치에 대한 조정 거리를 산출하는 단계를 포함하되, 상기 조정 거리는 상기 간격을 제거하기 위한 것으로서 상기 간격과 대응되거나 비례하는 값이다.

본 발명의 일 실시예에 따르면, 상기 c)단계는, 상기 3D객체가 화면에서 이격된 위치에서의 카메라의 시야 폭, 상기 제 1영상 및 제 2영상에 대응하는 카메라 사이의 거리 및 상기 콘텐츠가 화면에서 차지하는 폭이 이용되는 수식을 기초로 상기 조정 거리를 산출하는 단계를 포함하되, 상기 3D객체가 화면에서 이격된 위치에서의 카메라의 시야 폭은, 상기 3D객체의 디스패리티를 통해 결정되는 것이다.

본 발명의 일 실시예에 따르면, 상기 c)단계는, 일 방향으로 상기 제 1영상 및 제 2영상 중 적어도 하나를 상기 조정 거리만큼 빗겨나가도록 수정하여 합성 영상(stereoscopic view)으로 합성한 후, 상기 제 1영상 및 제 2영상이 중첩된 영역만을 추출하고, 추출된 상태의 제 1영상 및 제 2영상을 기초로 구현되는 무안경 입체영상으로 변경하여 제공하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 c)단계는, 상기 제 1영상 및 제 2영상이 연결된 합성 영상(stereoscopic view)에서 상기 제 1영상 및 상기 제 2영상 중 적어도 하나를 일 방향으로 이동시켜 상기 조정 거리만큼 서로를 이격시키고, 상기 합성 영상의 사이즈에서 벗어나는 상기 제 1영상 및 상기 제 2영상 중 적어도 하나의 일부를 제거한 후, 화면에 맞춰 상기 제 1영상과 상기 제 2영상의 스케일(scale)을 각각 동일하게 조정하고, 스케일이 조정된 합성 영상에 기초하여 화면에 표시될 사이즈로 복원된 제 1영상 및 제 2영상을 렌더링하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 c)단계는, 상기 무안경 입체영상을 통해 입체적으로 표시되는 3D객체가 복수 개인 경우, 상기 b)단계에서 식별된 3D객체의 디스패리티가 0으로 조정됨에 따라 상기 3D객체를 제외한 나머지 3D객체의 디스패리티가 동시에 조정되는 것이다.

본 발명의 일 실시예에 따르는, 무안경 입체영상 표시장치는, 화면에 양안시차를 갖는 제 1영상 및 제 2영상을 동시에 재생하여, 적어도 하나의 3D객체가 화면으로부터 이격된 공간 상에 입체적으로 표시되는 무안경 입체영상을 제공하는 디스플레이 모듈; 상기 디스플레이 모듈을 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 디스플레이 모듈을 통해 공간 상에 입체적으로 표시된 3D객체 중 사용자가 바라보거나 선택한 3D객체를 식별하고, 화면에 대한 상기 3D객체의 디스패리티가 0이 되도록 상기 제 1영상 및 제 2영상 중 적어도 하나를 가공하여, 상기 3D객체가 화면 상에서 수렴 조절 불일치 없이 표시되도록 상기 디스플레이 모듈을 제어하되, 상기 제 1영상 및 제 2영상 각각은 사용자의 우안으로 보여지는 2D영상 및 좌안으로 보여지는 2D영상이고, 상기 제 1영상과 제 2영상이 화면에 재생될 때 상기 제 1영상 내 상기 3D객체가 표현되는 위치와 상기 제 2영상 내 상기 3D객체가 표현되는 위치 간의 간격은 상기 3D객체의 디스패리티가 0이 되면서 제거되는 것이다.

본 발명의 일 실시예는, 콘텐츠에 표현된 원근감에 대응하여 적어도 하나 이상의 3D객체가 화면에서 이격된 공간 상에 구현되어 입체감을 불러 일으키는 무안경 입체영상을 제공한다.

본 발명의 일 실시예는, 입체영상 내 사용자가 바라보거나 선택한 위치에 대한 디스패리티가 실시간으로 제거되는 무안경 입체영상을 제공한다.

본 발명의 일 실시예는, 입체영상 내 사용자가 바라보거나 선택한 3D객체가 화면 상에 위치하도록, 화면에 대한 객체의 디스패리티가 실시간으로 조정되는 무안경 입체영상을 제공한다.

본 발명의 일 실시예는, 사용자가 바라보거나 선택한 3D객체의 디스패리티가 0으로 조정되는 기준에 맞춰 전체적인 입체감이 조율되는 무안경 입체영상을 제공한다.

이에 따라, 입체감을 유지하는 동시에, 사용자가 바라보는 3D객체는 초점과 폭주각이 일치하게 되어 실제 현실에서 보여지는 사물과 마찬가지로 화면 상에 구현됨으로써, 시각적인 피로감과 불쾌함이 완화되는 무안경 입체영상이 실현된다.

도 1은 기존 무안경 입체영상에서 초점과 폭주각이 불일치하는 현상을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따르는 무안경 입체영상 표시장치의 구조를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따르는 3D객체의 디스패리티 조정방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따르는 디스패리티 조정 전의 3D객체를 설명하기 위한 개념도이다.
도 5은 본 발명의 일 실시예에 따르는 디스패리티 조정 후의 3D객체를 설명하기 위한 개념도이다.
도 6는 본 발명의 일 실시예에 따르는 영상의 조정 거리를 산출하는 과정을 설명하기 위한 개념도이다.
도 7및 도 8은 본 발명의 일 실시예에 따르는 3D객체의 디스패리티가 0으로 조정된 입체영상의 제공 과정을 그림으로 설명하는 동작 흐름도이다.
도 9 및 도 10은 본 발명의 일 실시예에 따르는 3D객체의 디스패리티 조정방법이 수행된 무안경 입체영상의 콘텐츠를 보여주는 예시도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 활용하여 본 발명의 일 실시예를 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따르는 무안경 입체영상 표시장치의 구조를 나타내는 블록도이다.

먼저, 본 발명의 일 실시예에 따르는 무안경 입체영상 표시장치(1)는, 사용자에게 입체영상을 제공하도록 설계된 장치로서, 픽셀(화소)들을 포함하는 장치라면 족하고 구현되는 형태는 본 발명을 한정하지 않는다.

무안경 입체영상 표시장치(1)는, 사람의 양안시차(binocular disparity)에 기반하는 것으로, 평면 디스플레이 장치에서 좌안과 우안에 대응하는 영상 2개를 동시에 재생하고, 이들을 좌안과 우안에 정확하게 전달하는 설계를 통해 가상의 입체감을 구현하도록 설계된 것이다. 여기서, 무안경 입체영상 표시장치(1)가 채택하는 무안경 방식은 Lenticular, parallax barrier, integral image, holography 방식 등 특별한 제한은 없으나, 렌티큘러(Lenticular)렌즈가 화면의 전방에 설치되어 다시점 이미지를 실용적으로 구현하는 렌티큘러 방식이 바람직하다.

도 2를 참조하면, 무안경 입체영상 표시장치(1)는 디스플레이 모듈(100), 렌티큘러 렌즈(200) 및 프로세서(300)를 포함할 수 있다.

디스플레이 모듈(100)은, 통상의 직사각형 형태로 제작된 디스플레이 패널을 포함할 수 있다. 즉, 디스플레이 패널은 수직축과 수평축으로 이루어지는 이차원 평면 패널일 수 있다.

디스플레이 패널은 화면을 이루도록 바둑판 식으로 배열된 복수의 픽셀을 포함할 수 있다. 픽셀은 제품에 따라 다양한 형상을 가질 수 있으나, 렌티큘러 렌즈(200)의 형상에 대응하여 직사각형으로 제작되는 것이 바람직하다.

일 실시예에 따르면, 픽셀은 서로 다른 세 개의 색상을 가지는 세 개의 서브 픽셀로 구성될 수 있다. 예를 들어, 픽셀은 RGB버티컬(vertical) 구조로서, 레드 컬러필터, 그린 컬러필터 및 블루 컬러필터가 나란히 평행하게 배치된 형태로 설계될 수 있으며, 서브 픽셀은 블랙 매트릭스(black matrix, BM) 부분을 제외하고 각 컬러필터가 노출되는 영역을 의미할 수 있다. 여기서, 디스플레이 패널은 동일한 색상의 서브 픽셀이 수직축을 따라 나란히 배열되고 서로 다른 색상의 서브 픽셀이 수평축을 따라 교번하여 배열되도록 설계될 수 있다.

일 실시예에 따르면, 디스플레이 모듈(100)은 프로세서(300)에 의해 입력되는 적어도 2개의 2D영상을 화면에 동시에 재생할 수 있다. 이 때, 디스플레이 모듈(100)은 입력되는 영상 중에서 적어도 하나의 영상은 사용자의 우안으로, 나머지 영상 중 적어도 하나의 영상은 사용자의 좌안으로 보이게 하도록, 각 서브 픽셀이 재생하는 영상을 컨트롤한다. 이와 같이, 디스플레이 모듈(100)은 프로세서(300)의 제어에 의해, 사용자의 양안시차를 이루도록 서로 다른 시점에 대응하는 영상들을 교번하여 동시에 재생할 수 있다. 여기서, 사용자의 우안으로 보여지는 2D영상을 제 1영상으로, 좌안으로 보여지는 2D영상을 제 2영상으로 정의하도록 한다.

렌티큘러 렌즈(200)는, 디스플레이 패널의 전면에 기 설정된 거리로 이격되어 배치될 수 있으며, 바람직하게는 화면의 전 영역을 커버하는 면적으로 설계될 수 있다. 여기서 패널에서 이격된 거리는 렌티큘러 렌즈(200)에서 패널까지의 물리적 거리에 렌즈의 굴절률이 반영되어 산출된 고정값일 수 있다.

렌티큘러 렌즈(200)는, 평행하게 나란히 배열된 복수의 볼록 렌즈를 포함할 수 있다. 즉, 렌티큘러 렌즈(200)는 화면의 수평축을 따라 패널의 전면에 연속 배치되는 복수의 볼록 렌즈로 구성될 수 있다. 한편, 볼록 렌즈는 반원통형이 바람직하나, 볼록 렌즈의 형상이 본 발명을 제한하는 것은 아니다.

일 실시예에 따르면, 렌티큘러 렌즈(200)는 화면의 수직축에 대해 시계 또는 반시계 방향으로 소정의 각도로 기울어져 배치될 수 있다. 표시장치(1)의 사용시, 양 눈의 초점에 위치한 서브 픽셀들이 재생하는 제 1영상 및 제 2영상이 렌티큘러 렌즈(200)에 의해 확대되어 사용자의 양 눈을 통해 보여지게 되며, 이에 따라 사용자는 3D객체가 입체적으로 표시되는 무안경 입체영상을 시청하게 된다. 이 때, 사용자의 초점은 렌티큘러 렌즈(200)가 기울어진 방향 및 각도에 따른 라인 형태로 형성되므로, 입체영상을 조회하기 위한 초점의 집합은 렌티큘러 렌즈(200)와 평행하게 형성되는 초점라인으로 정의될 수 있다.

프로세서(300)는, 사용자에게 제공하려는 소정의 콘텐츠에 대한 여러 시점의 2D영상을 수집할 수 있다. 프로세서(300)는 사용자의 입체영상 조회시 실시간으로, 수집된2D영상 중 적어도 두 개의 영상(제 1영상 및 제 2영상)을 이용하여 라이트필드(Light Fidel)기술에 기반한 입체영상 용 영상으로 변환한 후 디스플레이 모듈(100)에 입력할 수 있다. 즉, 프로세서(300)는 디스플레이 모듈(100)을 제어하여 무안경 입체영상을 사용자에게 제공하는 역할을 수행한다.

구체적인 예시로, 사용자가 표시장치(1)를 통해 무안경 입체영상을 조회할 때, 사용자의 양 눈에 대응하여 우안 초점라인과 좌안 초점라인이 화면 상에 형성되게 된다. 이 때, 프로세서(300)는 우안 초점라인이 통과하는 모든 서브 픽셀이 사용자의 우안으로 보이게 할 영상인 제 1영상(또는 그 일부)을 재생하도록, 좌안 초점라인이 통과하는 모든 서브 픽셀이 좌안으로 보이게 할 영상인 제 2영상(또는 그 일부)을 재생하도록 디스플레이 모듈(100)을 실시간으로 제어할 수 있다. 결과적으로, 렌티큘러 렌즈(200)에 의해 제 1영상 및 제 2영상이 확대되어 사용자의 양 눈으로 전달되며, 사용자는 동일한 콘텐츠에 대한 서로 다른 시점의 영상을 동시에 분리해서 보게 된다. 따라서, 사용자는 콘텐츠에 포함된 2D객체들이 원근감에 따라 화면에서 튀어나오거나 안으로 들어간 것처럼 3D객체로 보이는 뛰어난 입체감을 경험하게 된다.

한편, 본 발명의 무안경 입체영상 표시장치(1)는, 사용자가 바라보거나 선택한 3D객체를 기준으로 입체영상의 입체감을 조정하는 기능을 수행할 수 있다. 특히, 표시장치(1)는 실시간으로 사용자가 바라보거나 선택한 3D객체의 화면에 대한 디스패리티를 0으로 조정할 수 있다. 즉, 해당 3D객체는 화면 상에서 구현되어 해당 3D객체에 대한 사용자의 폭주각과 초점이 자연스레 일치된다. 이에 따라 사용자는, 시선이 도달한 가상의 3D객체를 실제 사물을 바라보는 것과 같이 편안하게 볼 수 있어 시각적인 피로감이 최소화되는 효과를 경험하게 된다.

3D객체의 디스패리티를 조정하기 위해, 먼저, 프로세서(300)는 사용자가 입체영상을 통해 바라보는 3D객체를 실시간으로 식별할 수 있다. 또는, 프로세서(300)는 입체영상을 통해 사용자가 바라보려거나 주의 깊게 보려고 선택한 3D객체를 실시간으로 식별할 수 있다.

이후, 프로세서(300)는, 식별된 3D객체의 화면에 대한 디스패리티를 판단할 수 있으며, 디스패리티가 0이 되도록 제 1영상 및 제 2영상 중 적어도 하나를 가공할 수 있다. 예를 들어, 프로세서(300)는 제 1영상 및 제 2영상 중 적어도 하나에 대하여 화면에 표시되는 위치를 조정할 수 있다. 이 때, 위치의 조정 거리는, 3D객체의 콘텐츠 내의 공간 상의 좌표와 카메라 사이의 거리에 기초하여 산출되며, 프로세서(300)는 제 1영상 및 제 2영상 중 적어도 하나를 조정 거리만큼 빗겨나가도록 수정하여 스테레오스코픽(stereoscopic) 영상으로 합성한 후 각 영상이 중첩된 영역만을 추출할 수 있다. 즉, 제 1영상이나 제 2영상에서 중첩되지 않은 영역은 삭제되며, 프로세서(300)는 중첩된 영역에 대한 제 1영상 및 제 2영상을 화면에 맞게 스케일링한 후 이들을 통해 입체영상 용 영상을 재구성한다.

디스플레이 모듈(100)은 프로세서(300)의 제어에 의해 재구성된 입체영상 용 영상을 화면에 재생하여 변경된 입체영상을 사용자에게 실시간으로 제공한다. 이에 따라, 디스패리티 조정 전에 해당 3D객체가 제 1영상에 표현된 위치와 제 2영상에 표현된 위치 간의 간격이 0으로 제거된다. 즉, 해당 3D객체에 대응하는 각 영상의 2D객체가 화면의 동일한 위치에 표시되며, 사용자에게는 해당 3D객체의 디스패리티가 0으로 되어 화면 상에 구현된 것처럼 보이게 된다. 이는, 사용자의 눈동자가 모이는 폭주 거리와 사용자의 초점 거리가 일치하게 되는 것으로, 해당 3D객체는 마치 실제 콘텐츠에 구성된 2D객체처럼 수렴 조절 불일치 없이 사용자에게 보여지게 된다.

이하, 도 3 내지 도 8을 활용하여 무안경 입체영상 표시장치(1)의 3D객체의 조정 방법에 대한 보다 구체적인 실시예를 설명하도록 한다. 도 3은 본 발명의 일 실시예에 따르는 3D객체의 디스패리티 조정방법의 순서도이며, 중복되는 내용은 전술한 내용으로 갈음하도록 한다.

먼저, 단계 S310 전에, 프로세서(300)는 입체영상 서비스를 위하여 기 제작되었거나 실시간으로 송출되는 콘텐츠를 여러 시점에서 촬영한 2D영상들을 수집할 수 있다. 예를 들어, 콘텐츠가 표시된 화면에서 기 설정된 거리만큼 떨어져 있되, 서로 다른 위치에 배치된 적어도 두 개 이상의 카메라를 통해, 동일한 콘텐츠에 대한 적어도 두 개 이상의 시점을 나타내는 2D영상들을 수집할 수 있다. 여기서, 콘텐츠가 표시된 화면은 디스플레이 모듈(100)의 화면으로 가정할 수 있다.

단계 S310에서, 사용자가 입체영상 조회를 요청하게 되면, 프로세서(300)는 수집된 2D영상 중 적어도 2개 이상을 화면에 재생하도록 디스플레이 모듈(100)에 입력할 수 있다. 프로세서(300)는 입력된 영상 중 하나 이상을 사용자의 우안으로 보여지게 할 제 1영상으로, 나머지 영상 중 하나 이상을 좌안으로 보여지게 할 제 2영상으로 결정할 수 있다. 즉, 일 실시예에 따르면, 제 1영상 및 제 2영상 각각은 동일한 콘텐츠를 서로 다른 위치에 배치된 카메라로 바라본 2D영상일 수 있다.

프로세서(300)는 제 1영상과 제 2영상을 스테레오스코픽 영상으로 합성한 후 렌더링하여 입체영상 용 영상을 실시간으로 생성하고 이를 재생하도록 디스플레이 모듈(100)을 제어할 수 있다. 이에 따라, 사용자의 우안 초점라인이 지나가는 서브 픽셀 영역이 제 1영상을 재생하고, 좌안 초점라인이 지나가는 서브 픽셀 영역이 제 2영상을 재생하여, 사용자의 양안시차에 따른 무안경 입체영상이 제공된다.

사용자는 무안경 입체영상을 통해 적어도 하나의 3D객체가 화면으로부터 이격된 공간 상에 표시되는 입체감을 느끼게 된다. 여기서 3D객체는, 제 1영상 및 제 2영상에 표시된 2D객체 각각이 사용자의 양안으로 분리되어 전달됨에 따라 입체적으로 보여지게 되는 가상의 객체이다.

구체적으로, 도 4(a)를 참조하면, 콘텐츠 내 근경으로 나타나는 2D객체의 경우, 제 1영상에 의해 화면의 왼 쪽에, 제 2영상에 의해 오른 쪽에 표시되어, 각각 사용자의 우안과 좌안으로 전달된다. 이로써, 사용자에게는 해당 2D객체에 대응하는 3D객체(40)가 화면에서 d만큼 전방으로 돌출된 것처럼 보여지게 된다. 반대로 도 4(b)를 참조하면, 콘텐츠 내 원경으로 설정된 2D객체의 경우, 제1영상에 의해 화면의 오른 쪽에, 제 2영상에 의해 왼 쪽에 표시되어, 각각 사용자의 우안과 좌안으로 전달된다. 이로써, 사용자에게는 해당 2D객체에 대응하는 3D객체(40)가 화면에서 d만큼 후방으로 들어간 것처럼 보여지게 된다. 한편, d는 3D객체(40)의 화면에 대한 깊이값의 절대값으로서, 그 크기는 콘텐츠에 포함된 2D객체 별 원근감에 따라 결정되고, 사용자의 시청위치에 따라 실시간으로 조정될 수도 있다.

한편 도 4를 참조하면, 원경이던 근경이던, 사용자의 시야에서 3D객체(40)가 표시되는 위치는 화면과 이격된 반면, 사용자의 초점이 맺히는 2D객체의 위치는 화면으로 일정하다. 즉, 사용자의 눈동자가 모이는 폭주각과 초점 간 불일치 현상이 발생한다. 따라서, 실제 콘텐츠에 표시된 2D객체 대비 3D객체(40)에 대한 디스패리티가 발생하게 되며, 본능적으로 사용자는 폭주와 초점 거리를 일치시키는 동작을 수행하므로 눈의 피로감을 일정 부분 감수할 수 밖에 없다.

이와 관련하여, 사용자에게 3D객체(40)를 화면에서 이격하여 입체적으로 보여주기 위해서는, 3D객체(40)가 제 1영상에서 표현되는 위치와 제 2영상에서 표현되는 위치 사이에는 소정의 간격(i)이 존재하여야 한다. 즉, 사용자의 시점에서 3D객체(40)는 양안시차에 따라 가상으로 구현되는 것이므로, 제 1영상의 2D객체와 제 2영상의 2D객체는 양 안으로 분리되어 전달되어야 하며, 이를 위해 실제 사용자의 초점이 맺히는 화면 상에서 각 영상의 2D객체는 깊이값(d)에 따라 기 설정된 간격(i)을 가지고 표시된다.

따라서, 도 5에 도시된 바와 같이, 제 1영상 내 3D객체가 표현되는 위치와 제 2영상 내 3D객체가 표현되는 위치 간 간격(i)을 0으로 제거하게 된다면, 해당 3D객체(80)의 깊이값(d) 또한 0이 되어 화면 상에 구현될 것이고, 이로 인해 사용자가 해당 3D객체(80)를 바라볼 때, 눈동자가 모이는 거리와 초점 거리는 일치하게 된다. 결과적으로, 해당 3D객체(80)는 2D객체처럼 수렴 조절 불일치 현상을 일으키지 않으며, 시각적인 피로의 문제도 현저하게 개선될 수 있다.

그러나, 사용자가 바라보는 위치와 관계없이 임의의 3D객체를 기준으로 디스패리티를 조정한다면 효과가 미미할 수 밖에 없으며, 입체감의 급변으로 오히려 사용자의 피로감과 불쾌감을 더 유발할 수 있기 때문에, 디스패리티를 0으로 조정하려는 3D객체의 공간좌표를 먼저 특정하여야 한다.

이를 위해, 단계 S320에서, 프로세서(300)는 사용자가 바라보는 3D객체를 실시간으로 식별하여, 디스패리티를 0으로 조정하려는 3D객체의 공간좌표를 특정할 수 있다.

관련된 실시예로서, 무안경 입체영상 표시장치(1)는 시점추적 기능(Eye-tracking)을 가진 카메라 모듈을 포함할 수 있다. 카메라 모듈은 사용자의 시점을 소정의 주기마다 계속적으로 추적하여 사용자의 시청위치를 실시간으로 감지한다. 소정의 주기는 예를 들어 초당 60회 이상일 수 있다. 또한, 카메라 모듈은 흔들림을 방지하기 위한 제1필터, 혼동을 방지하기 위한 제2필터 및 위치를 예측하기 위한 제3필터 중 적어도 하나 이상을 포함하는 오류 방지 필터를 포함하여, 높은 정확도를 가지도록 설계될 수 있다.

카메라 모듈은 감지한 시청위치를 프로세서(300)로 전달하며, 프로세서(300)는 해당 시청위치에서 입체영상이 정확하게 전달되도록 각 서브 픽셀의 영상 패턴을 조정할 수 있다. 이에 따라, 이미지가 섞여 보이거나 좌안에 우측 영상이 보이는 역상이 발생하는 등 입체감이 왜곡되는 현상이 방지되며, 시청위치가 변경되더라도 일정한 입체감이 제공될 수 있다.

프로세서(300)는 카메라 모듈로부터 감지된 사용자의 시청위치를 기 설정된 공간 좌표계로 해석할 수 있으며, 이에 기초하여 사용자가 바라보는 위치의 공간 좌표를 확인할 수 있다. 이에 따라, 프로세서(300)는 해당 좌표에 구현된 3D객체가 무엇인지 실시간으로 식별할 수 있다.

단계 S320에서, 프로세서(300)는 입체영상을 통해 사용자가 바라보려거나 주의 깊게 보려고 선택한 3D객체를 실시간으로 식별하여, 디스패리티를 0으로 조정하려는 3D객체를 특정할 수도 있다. 예를 들어, 사용자가 화면 내 임의의 지점을 터치하는 경우, 프로세서(300)는 해당 지점의 제 1영상 또는 제 2영상에 표시된 2D객체가 무엇인지 확인할 수 있으며, 이에 따라 2D객체가 입체적으로 표시된 3D객체의 좌표를 즉시 식별할 수 있다.

관련된 실시예로서, 무안경 입체영상 표시장치(1)는 사용자에게 공간터치 기능을 제공하도록 설계될 수 있다. 예를 들어, 디스플레이 모듈(100)은 가상의 평면을 생성할 수 있다. 가상의 평면은 사용자에게 공간터치 기능을 제공하는 공간 상의 특정 영역으로서, 사용자의 손 끝이 평면에 도달하게 되면 프로세서(300)는 사용자의 터치 입력이 수행된 것으로 인식하게 된다. 이와 관련, 디스플레이 모듈(100)은 가상의 평면 상에서의 터치를 감지하기 위한 적외선 센서(Infrared ray sensor, IR sensor)를 포함할 수 있으나, 감지 수단이 이에 한정되는 것은 아니다.

이어지는 실시예로서, 프로세서(300)는 사용자에게 입체영상이 제공된 후 각 3D객체의 콘텐츠 내의 좌표를 판단할 수 있으며, 디스플레이 모듈(100)은 판단된 좌표에 기초하여 각 3D객체의 위치 마다 가상의 평면을 생성할 수 있다. 이러한 경우 사용자는, 3D객체가 보여지는 원근감에 맞게 손을 뻗어 원하는 3D객체의 공간터치가 가능하므로, 입체감의 단절이 발생하지 않으며 보다 생동감 있는 선택이 이루어질 수 있다.

관련된 추가 실시예로서, 가상의 평면은 화면에서 기 설정된 이격 거리에 배치될 수 있다. 이러한 경우, 콘텐츠에 표현된 원근감에 따라 3D객체 별 디스패리티가 다르기 때문에, 3D객체가 구현되는 공간이 가상의 평면과 모두 일치한다고 볼 수 없다. 이와 관련하여, 프로세서(300)는 사용자의 객체 선택 요청에 대한 응답으로 각 3D객체가 가상의 평면에 투영되도록 디스플레이 모듈(100)을 제어할 수 있다. 예를 들어 프로세서(300)는, 사용자 시점의 좌표와 각 3D객체를 구현하기 위해 화면에 표시된 각 2D객체 별 좌표를 잇는 직선이, 가상의 평면과 만나는 지점의 좌표들을 각각 파악할 수 있다. 프로세서(300)는 파악된 각 좌표로 각 3D객체가 구현되도록 디스플레이 모듈(100)을 제어하며 이에 따라 사용자는 가상의 평면을 통해 특정 3D객체를 공간터치 할 수 있다. 즉, 사용자의 선택시, 3D객체들의 깊이값은 모두 가상의 평면과 화면 사이의 거리로 변경되나, 단계 S330에서 선택된 3D객체의 디스패리티가 0이 되면서 나머지 3D객체의 디스패리티도 즉시 조정되므로 사용자는 기존 조회하던 입체영상과 동일한 입체감을 다시 제공받게 된다.

3D객체의 콘텐츠 내의 좌표가 특정되면, 단계 S330에서, 프로세서(300)는 특정된 3D객체의 좌표와 카메라 사이의 거리를 판단하며, 해당 3D객체의 디스패리티를 0으로 만들기 위한 조정 거리를 산출할 수 있다. 여기서, 조정 거리는 제 1영상 및 제 2영상(즉, 좌안영상 및 우안영상) 중 적어도 하나를 가공하는 데 활용되는 수치이다.

구체적으로, 제 1영상 및 제 2영상으로 스테레오스코픽 영상을 합성할 때, 선택된 3D객체의 디스패리티가 제거되려면, 해당 좌표에 대응하는 2D객체가 같은 위치에서 겹쳐지도록 입체영상 용 영상이 만들어져야 한다. 즉, 제 1영상의 2D객체와 제 2영상의 2D객체 사이의 간격에 기초하여 제 1영상 및 제 2영상 중 적어도 하나의 위치를 조정시켜야 한다. 즉, 조정 거리는, 사용자의 양 안으로 전달되는 2D객체 사이의 간격과 대응되거나 비례하는 값으로서, 간격을 0으로 제거시키기 위한 2D영상(제 1영상 및 제 2영상)의 상대적인 이동 값을 의미한다.

일 실시예에 따르면, 프로세서(300)는 기 설정된 수식을 통해 조정 거리를 산출할 수 있으며, 도 6을 활용하여 이에 대한 과정을 설명하도록 한다.

먼저, 제 1영상을 수집하기 위해 배치된 카메라를 제 1카메라(c1)로, 제 2영상을 수집하기 위해 배치된 카메라를 제 2카메라(c2)로 정의한다. 예를 들어, 제 1 영상이 실제로 카메라로 촬영한 이미지가 아니고 컴퓨터로 제작한 가상이미지라 할 지라도, 해당 가상이미지를 실제로 카메라로 촬영했더라면 존재하였을 카메라를 제1카메라(c1)로 정의하는 것이다. 전술한대로, 제 1카메라(c1)와 제 2카메라(c2)는 각기 다른 위치에서 콘텐츠를 바라보기 위해 서로 일정 거리(cd) 떨어져 배치되도록 설정된다. 이후 프로세서(300)는 콘텐츠 상에서의 선택된 객체(60)의 좌표와 카메라 사이의 거리(fd)를 구한다. 또한 카메라의 화각(fov)은 미리 설정된 값이므로, 프로세서(300)는 아래 수식 1을 통하여 L을 구할 수 있다.

[수식 1]

여기서 L은, 3D객체(60)의 좌표에 대하여 디스패리티가 0으로 나타나게 되는 위치에서의 카메라(c1, c2)의 시야에 대한 폭을 의미한다. 다른 표현으로는, 3D객체(60)가 제 1영상 및 제 2영상에 표현되는 위치 간의 간격을 0으로 만들기 위한 지점에서 카메라가 볼 수 있는 공간의 폭으로 정의될 수 있다.

다음으로, L값을 구하였다면, 제 1카메라(c1)와 제 2카메라(c2) 사이의 거리(cd)와 화면에서 콘텐츠가 재생되는 폭(y)을 대입하여 조정거리(x)를 산출해야 한다.

제 1카메라(c1)와 제 2카메라(c2) 사이의 거리(cd)는 미리 설정된 값이고, 화면에서 콘텐츠가 재생되는 영역이 차지하는 폭(y) 또한 설정값이며, 수식 1을 통해 L값을 구하였으므로, 프로세서(300)는 아래 수식 2의 비례식을 통하여 조정 거리(x)를 산출할 수 있다.

[수식 2]

조정 거리가 산출되었다면, 프로세서(300)는 제 1영상 및 제 2영상 중 적어도 하나를 조정 거리에 따라 가공한 후, 가공된 영상을 이용하여 3D객체의 디스패리티가 0으로 변경된 무안경 입체영상을 사용자에게 제공할 수 있다.

일 실시예에 따르면, 프로세서(300)는 제 1영상 및 제 2영상 중 적어도 하나를 조정 거리만큼 빗겨나가도록 수정하여 합성 영상(stereoscopic view)으로 합성한 후, 각 영상이 중첩된 영역만을 추출할 수 있다.

즉, 프로세서(300)는 제 1영상 및 제 2영상 중 적어도 하나의 위치를 조정 거리에 따라 이동시킨 합성 영상(stereoscopic view)을 통해 입체영상 용 영상을 재구성할 수 있으며, 이를 디스플레이 모듈(100)에 입력하여 변경된 무안경 입체영상을 사용자에게 실시간으로 제공할 수 있다. 이에 대한 보다 구체적인 실시예를 도 7 및 도 8을 활용하여 간략히 설명하도록 한다.

단계 S310에서 입체영상이 제공된 상태이므로, 합성 영상은 제 1영상(A) 및 제 2영상(B)이 공백 없이 연결된 상태이다(S331).

프로세서(300)는, 산출된 조정 거리(x)만큼 제 1영상(A) 및 제 2영상(B)이 이격되도록, 제 1영상 및 제 2영상 중 적어도 하나를 화면의 수평 축을 따라 이동시킨다. 도 7에서는, 제 1영상(A)을 좌측으로 이동시킨 상태를 대표적으로 예시하였다(S332).

프로세서(300)는, 영상의 이동에 의해, 기존 합성 영상의 사이즈에서 벗어나는 제 1영상 및 제 2영상 중 적어도 하나의 일부를 제거한다. 도 7에서, 제 1영상(A) 내 빗금친 부분이 제거된다(S333).

프로세서(300)는, S333 상태에서 화면에 맞춰 제 1영상(A)과 제 2영상(B)의 스케일(scale)을 각각 동일하게 조정한다(S334).

프로세서(300)는, 스케일이 조정된 상태에서 화면을 통해 보여지는 영역만을 추출함으로써, 제 1영상 및 제 2영상 중 적어도 하나에서 3D객체의 표현 위치가 변경된 합성 영상을 생성한다(S335).

프로세서(300)는, S335 상태의 제 1영상(A) 및 제 2영상(B)을 화면에 표시될 사이즈로 복원한다(S336).

프로세서(300)는, 사이즈가 복원된 각 영상(A, B)을 렌더링하여 새로운 입체영상 용 영상을 생성한다(S337).

프로세서(300)는 생성된 입체영상 용 영상을 디스플레이 모듈(100)에 입력함으로써, 사용자가 바라보거나 선택한 3D객체의 디스패리티가 0으로 변경된 입체영상을 사용자에게 제공한다.

단계 S330이 수행되면, 단계 S340에서, 사용자에게 화면에서 돌출되거나 안으로 들어가게 보여졌던 3D객체는 수렴 조절 불일치의 현상 없이 화면 상에 표시된다. 즉, 사용자가 바라보거나 선택한 3D객체가 제 1영상 및 제 2영상에 표현된 위치 간의 간격이 제거되며, 이에 따라 사용자의 시선이 모이는 폭주와 사용자의 초점 거리가 일치하게 된다.

일 실시예에 따르면, 단계 S340에서, 사용자가 바라보거나 선택한 3D객체의 디스패리티가 0으로 조정됨에 따라, 입체영상 내 나머지 3D객체의 디스패리티 또한 동시에 조정된다. 즉, 콘텐츠에 포함된 모든 객체에 대한 디스패리티가 조정된다. 예를 들어, 화면에서 돌출되어 보이는 3D객체의 디스패리티가 0이 되어 화면 상에 표시되는 경우, 나머지 3D객체 또한 사용자의 위치에서 해당 디스패리티가 조정된 정도에 맞춰 안으로 더 들어가게 표시된다. 따라서, 사용자는 자신이 바라보거나 바라보려는 객체를 수렴 조절 불일치 없이 편안하게 확인할 수 있어 피로감을 더는 동시에, 디스패리티 조정 전에 느꼈던 입체감은 그대로 유지될 수 있다.

도 9에 도시된 무안경 입체영상의 예시를 통해, 3D객체의 디스패리티 조정방법의 과정과 결과를 콘텐츠 이미지로 확인할 수 있다. 먼저, 도 9(a)의 상단은 제1영상 및 제2영상(좌안영상 및 우안영상)을 각각 생성한 후, 렌더링하기 전의 상태를 의미한다. 도 9(a)의 하단은 렌더링이 완료된 후 사용자에게 입체적으로 보여지는 영상을 나타낸다. 본원 출원명세서 및 도면은 2D로 표현할 수 밖에 없기 때문에 도 9(a)의 하단의 이미지가 초점이 흐릿하게 보여지지만, 실제로는 9(a)의 하단의 이미지는 무안경 3D로 보여지는 영상이다. 그리고, 9(a)의 하단의 이미지는 디스패리티 조정 전의 입체영상 용 영상이다. 이를 살피면, 근경에 위치한 건물이 일반적인 입체영상 용 영상과 같이 제 1영상(91) 및 제 2영상(92)을 통해 일정 간격을 가지고 표시된 상태(93)를 확인할 수 있다. 따라서, 입체영상이 제공될 때, 해당 건물은 화면의 전방에 돌출된 상태로 사용자에게 보여지게 되는데, 폭주각과 초점이 일치하지 않아 눈의 피로감을 동반하게 된다.

도 9(b)는, 도 9(a) 이후 사용자가 돌출되어 보여지는 건물(93)을 선택하여 디스패리티 조정이 수행되는 예시를 보여준다. 도 9(b) 상단은 조정 거리만큼 제 1영상(91)이 이동된 합성 영상이 도시되어 있으며, 이는 렌더링이 이루어지기 전의 영상이다. 도 9(b)의 하단에는 상단의 합성 영상을 렌더링한 입체영상 용 영상이 도시되어 있다. 이를 통해, 사용자가 선택한 건물(94)이, 제 1영상(91) 및 제 2영상(92)을 통해 표현된 위치가 겹쳐지게 되어 또렷하게 표시된 상태(94)로 변경된 결과를 확인할 수 있다. 도 9(b)의 하단을 보면, 건물(94)만 선명하게 도시되어 있고, 나머지 영역은 흐릿하게 도시되어 있다. 즉, 렌더링된 입체영상 내에서 각 객체마다 깊이감이 다르다. 건물(94)의 디스패리티를 0으로 만들어서 렌더링된 화면에서 선명하게 보이게 하였다 할지라도 나머지 객체들은 여전히 디스패리티는 0이 아니기 때문에 렌더링된 화면에서 흐릿하게 보여지는 것이다. 물론, 도면을 2D로 밖에 표현할 수 없어서 본원 도면이 흐릿하게 도시되어 있는 것이지, 실제로 도 9(b)의 하단이미지를 바라보면 건물(94)을 제외한 나머지 영역들은 모두 입체적으로 보여진다. 따라서, 조정 전 입체영상에서 돌출된 상태로 보여지게 되었던 건물은, 조정 후에 수렴 조절 불일치 없이 실제 콘텐츠에 표시된 건물처럼 사용자에게 보여지게 되어, 눈의 피로감을 현저하게 감소시켜 준다.

도 10에는, 사용자가 바라보거나 선택한 3D객체가 달라짐에 따라, 실시간으로 변경되는 입체영상 용 영상의 예시가 도시되어 있다. 예를 들어, 먼저 사용자가 근경에 위치한 고층 건물(101)을 바라보는 경우, 도 10(a)에 도시된 바와 같이, 해당 고층 건물(101)의 디스패리티가 0이 되게 하는 입체영상 용 영상이 재생된다. 이 후, 사용자의 시점이 이동하여 원경에 위치한 건물(102)을 바라보게 되는 경우, 도 10(b)에 도시된 바와 같이, 해당 건물(102)의 디스패리티가 0이 되게 하는 입체영상 용 영상으로 실시간으로 변경된다. 즉, 도 10은, 사용자의 시점이나 선택에 따라 시차가 제거되는 객체가 즉시 변경되는 기술적 특징을 뒷받침하고 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 무안경 입체영상 표시장치
40: 3D객체
80: 3D객체
60: 3D객체
c1: 제 1카메라
c2: 제 2카메라

Claims (10)

1. 무안경 입체영상 표시장치의, 3D객체의 디스패리티(disparity) 조정방법에 있어서,
   a) 화면에 양안시차를 갖는 제 1영상 및 제 2영상을 동시에 재생하여, 적어도 하나의 3D객체가 화면으로부터 이격된 공간 상에 입체적으로 표시되는 무안경 입체영상을 제공하는 단계;
   b) 공간 상에 입체적으로 표시된 3D객체 중 사용자가 바라보거나 선택한 3D객체를 식별하는 단계; 및
   c) 화면에 대한 상기 3D객체의 디스패리티가 0이 되도록 상기 제 1영상 및 제 2영상 중 적어도 하나를 가공함으로써, 상기 3D객체가 화면 상에서 수렴 조절 불일치(vergence-accommodation conflict) 없이 표시되도록 하는 단계;를 포함하되,
   상기 제 1영상 및 제 2영상 각각은 사용자의 우안으로 보여지는 2D영상 및 좌안으로 보여지는 2D영상이고,
   상기 제 1영상과 제 2영상이 화면에 재생될 때 상기 제 1영상 내 상기 3D객체가 표현되는 위치와 상기 제 2영상 내 상기 3D객체가 표현되는 위치 간의 간격은, 상기 a)단계에서는 존재하나 상기 c)단계에서 제거되는 것이며,
   상기 b)단계는, 사용자의 시점을 실시간으로 추적하는 카메라 모듈을 통해 사용자가 바라보는 공간의 좌표를 확인하고 상기 좌표에 구현된 3D객체를 식별하는 단계;를 포함하는, 3D객체의 디스패리티 조정방법.
2. 제 1항에 있어서,
   상기 제 1영상 및 제 2영상 각각은, 동일한 콘텐츠를, 서로 다른 위치에 배치된 카메라로 바라본 2D영상인 것인, 3D객체의 디스패리티 조정방법.
3. 삭제
4. 제 2항에 있어서,
   상기 b)단계는, 입력 모듈을 통하여 사용자가 화면 내 임의의 지점을 선택하거나 사용자가 무안경 입체영상을 통해 임의의 지점을 공간 터치하는 경우, 선택되거나 공간 터치된 지점에 표시된 객체에 대응하는 상기 콘텐츠 내의 공간 상의 좌표를 식별하는 단계;를 포함하는, 3D객체의 디스패리티 조정방법.
5. 제 2항에 있어서,
   상기 c)단계는, 상기 3D객체에 대응하는 상기 콘텐츠 내의 공간 상의 좌표를 파악하고, 상기 좌표와 상기 카메라 사이의 거리에 기초하여 상기 제 1영상 및 제 2영상 중 적어도 하나의 위치에 대한 조정 거리를 산출하는 단계;를 포함하되,
   상기 조정 거리는 상기 간격을 제거하기 위한 것으로서 상기 간격과 대응되거나 비례하는 값인, 3D객체의 디스패리티 조정방법.
6. 제 5항에 있어서,
   상기 c)단계는,
   상기 3D객체가 화면에서 이격된 위치에서의 카메라의 시야 폭, 상기 제 1영상 및 제 2영상에 대응하는 카메라 사이의 거리 및 상기 콘텐츠가 화면에서 차지하는 폭이 이용되는 수식을 기초로 상기 조정 거리를 산출하는 단계;를 포함하되,
   상기 3D객체가 화면에서 이격된 위치에서의 카메라의 시야 폭은, 상기 3D객체의 디스패리티를 통해 결정되는 것인, 3D객체의 디스패리티 조정방법.
7. 제 5항에 있어서,
   상기 c)단계는, 일 방향으로 상기 제 1영상 및 제 2영상 중 적어도 하나를 상기 조정 거리만큼 빗겨나가도록 수정하여 합성 영상(stereoscopic view)으로 합성한 후, 상기 제 1영상 및 제 2영상이 중첩된 영역만을 추출하고, 추출된 상태의 제 1영상 및 제 2영상을 기초로 구현되는 무안경 입체영상으로 변경하여 제공하는 단계;를 포함하는, 3D객체의 디스패리티 조정방법.
8. 제 5항에 있어서,
   상기 c)단계는,
   상기 제 1영상 및 제 2영상이 연결된 합성 영상(stereoscopic view)에서 상기 제 1영상 및 상기 제 2영상 중 적어도 하나를 일 방향으로 이동시켜 상기 조정 거리만큼 서로를 이격시키고, 상기 합성 영상의 사이즈에서 벗어나는 상기 제 1영상 및 상기 제 2영상 중 적어도 하나의 일부를 제거한 후, 화면에 맞춰 상기 제 1영상과 상기 제 2영상의 스케일(scale)을 각각 동일하게 조정하고, 스케일이 조정된 합성 영상에 기초하여 화면에 표시될 사이즈로 복원된 제 1영상 및 제 2영상을 렌더링하는 단계;를 포함하는, 3D객체의 디스패리티 조정방법.
9. 제 1항에 있어서,
   상기 c)단계는,
   상기 무안경 입체영상을 통해 입체적으로 표시되는 3D객체가 복수 개인 경우, 상기 b)단계에서 식별된 3D객체의 디스패리티가 0으로 조정됨에 따라 상기 3D객체를 제외한 나머지 3D객체의 디스패리티가 동시에 조정되는 것인, 3D객체의 디스패리티 조정방법.
10. 무안경 입체영상 표시장치에 있어서,
    화면에 양안시차를 갖는 제 1영상 및 제 2영상을 동시에 재생하여, 적어도 하나의 3D객체가 화면으로부터 이격된 공간 상에 입체적으로 표시되는 무안경 입체영상을 제공하는 디스플레이 모듈;
    상기 디스플레이 모듈을 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 디스플레이 모듈을 통해 공간 상에 입체적으로 표시된 3D객체 중 사용자가 바라보거나 선택한 3D객체를 식별하고,
    화면에 대한 상기 3D객체의 디스패리티가 0이 되도록 상기 제 1영상 및 제 2영상 중 적어도 하나를 가공하여, 상기 3D객체가 화면 상에서 수렴 조절 불일치 없이 표시되도록 상기 디스플레이 모듈을 제어하되,
    상기 제 1영상 및 제 2영상 각각은 사용자의 우안으로 보여지는 2D영상 및 좌안으로 보여지는 2D영상이고,
    상기 제 1영상과 제 2영상이 화면에 재생될 때 상기 제 1영상 내 상기 3D객체가 표현되는 위치와 상기 제 2영상 내 상기 3D객체가 표현되는 위치 간의 간격은 상기 3D객체의 디스패리티가 0이 되면서 제거되는 것이며,
    상기 프로세서는, 상기 3D객체를 식별하는 과정에서, 사용자의 시점을 실시간으로 추적하는 카메라 모듈을 통해 사용자가 바라보는 공간의 좌표를 확인하고 상기 좌표에 구현된 3D객체를 식별하는 것인, 무안경 입체영상 표시장치.

Images