KR100679054B1

KR100679054B1 - 입체 영상을 디스플레이하는 장치 및 방법

Info

Publication number: KR100679054B1
Application number: KR1020060014766A
Authority: KR
Inventors: 류희섭; 배수현; 이영범
Original assignee: 삼성전자주식회사
Priority date: 2006-02-15
Filing date: 2006-02-15
Publication date: 2007-02-06
Also published as: US20070189599A1; US7876953B2

Abstract

본 발명은 입체 영상을 디스플레이하는 장치 및 방법에 관한 것으로서, 입체 영상을 구성하는 좌 영상 및 우 영상에 소정 영역을 설정하고, 각 영역에서 디스플레이된 폴리곤의 벡터 차를 이용하여 좌 영상과 우 영상의 수직 오차 및 회전 오차를 보상하는 입체 영상을 디스플레이하는 장치 및 방법에 관한 것이다.

본 발명의 실시예에 따른 입체 영상을 디스플레이하는 장치는 입체 영상을 구성하는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출하는 특징점 추출부와, 소정 지점과 상기 특징점간의 벡터 중 대표가 되는 벡터를 결정하는 대표 벡터 결정부와, 상기 좌 영상에서 결정된 벡터 및 상기 우 영상에서 결정된 벡터간의 차이를 이용하여 상기 좌 영상과 상기 우 영상간의 수직 오차 및 회전 오차 중 적어도 하나를 보정하는 오차 보정부 및 상기 수직 오차 및 상기 회전 오차 중 적어도 하나가 보정된 좌 영상 및 우 영상을 디스플레이하는 디스플레이부를 포함한다.

입체 영상, 폴리곤, 특징점, 대표 벡터, 수직 오차, 회전 오차

Description

입체 영상을 디스플레이하는 장치 및 방법{Apparatus and method for displaying three-dimensional image}

도 1a 내지 도 1b는 수직 오차 또는 회전 오차가 포함된 종래의 입체 영상을 나타낸 도면이다.

도 2는 본 발명의 실시예에 따른 입체 영상을 디스플레이하는 장치를 나타낸 블록도이다.

도 3은 본 발명의 실시예에 따른 특징점 추출 영역을 나타낸 도면이다.

도 4는 본 발명의 실시예에 따라 대표 벡터가 결정되는 것을 나타낸 도면이다.

도 5는 본 발명의 다른 실시예에 따라 대표 벡터가 결정되는 것을 나타낸 도면이다.

도 6은 본 발명의 실시예에 따른 수직 오차 보정을 나타낸 도면이다.

도 7은 본 발명의 실시예에 따른 회전 오차 보정을 나타낸 도면이다.

도 8은 본 발명의 실시예에 따른 입체 영상을 디스플레이하는 과정을 나타낸 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

210 : 영상 입력부 220 : 영역 생성부

230 : 특징점 추출부 240 : 폴리곤 생성부

250 : 대표 벡터 결정부 260 : 오차 산출부

270 : 오차 보정부 280 : 디스플레이부

290 : 입체 광학부

본 발명은 입체 영상을 디스플레이하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 입체 영상을 구성하는 좌 영상 및 우 영상에 소정 영역을 설정하고, 각 영역에서 디스플레이된 폴리곤의 벡터 차를 이용하여 좌 영상과 우 영상의 수직 오차 및 회전 오차를 보상하는 입체 영상을 디스플레이하는 장치 및 방법에 관한 것이다.

개선된 화질의 영상을 제공받고자 하는 사용자들의 욕구로 인하여 디지털 TV가 등장하게 되었는데, 디지털 TV는 개선된 화질뿐만 아니라 화면의 종횡비율을 기존의 아날로그 TV와 다르게 적용함으로써 보다 현장감 있는 영상을 사용자에게 제공하게 되었다.

한편, 영상의 화질이 2차원적인 영상에 대한 중요한 요소인 반면, 최근 3차원 입체 영상에 대한 사용자의 욕구가 증가하고 있고, 이에 대한 연구가 활발하게 진행되고 있다.

입체 영상 구현 방식에는 입체 안경을 착용하여야만 입체 영상을 감상할 수 있는 안경식과 디스플레이된 영상만으로 입체 영상을 감상할 수 있는 무안경식으로 구분될 수 있는데, 안경식으로는 편광 방식과 시분할 방식이 있으며 무안경식으로는 패럴랙스 배리어(Parallax Barrier) 방식과 렌트큘러(Lenticular) 방식이 있다.

기존의 3차원 입체 영상(이하, 입체 영상이라 한다) 방송 시스템들이 수년간에 걸쳐 일본, 유럽, 미국 등에서 개발되어 왔으나 그 상용화가 늦어지고 있는데, 상용화 지연의 가장 큰 이유로는 시각적인 피로 및 입체 안경 착용의 불편함 등이 있다.

입체 영상 시스템에서 발생하는 대표적 시각 피로 유발 현상에는 초점과 주시 연동 파괴(accommodation-convergence breakdown) 및 혼신(crosstalk) 현상 등이 있다.

초점과 주시 연동 파괴 현상은 실제 세계에서 사용자가 물체를 볼 때에는 초점과 주시각 조절이 연동되어 피곤함을 느끼지 않고 3차원의 깊이를 인식한다. 그러나, 기존의 입체 영상 시스템을 통하여 입체 영상을 보게 될 경우에는 큰 시차(disparity)에 의해 초점 및 주시 연동 파괴 현상이 발생한다. 즉, 사용자의 눈은 화면상의 평면에 초점을 맞추는 반면, 화면상의 시차가 생성하는 3차원상의 위치에 주시(converge)하게 되어 이 둘의 위치가 서로 일치하지 않게 된다.

그리고, 디스플레이되는 영상 중에 사용자 눈의 초점 심도 범위를 벗어나는 깊이를 가지는 부분이 있더라도 선명한 상태로 보여지기 때문에, 이 영역의 이중 영상이 눈을 피로하게 만든다.

혼신은 입체 영상 시스템에서 좌우 영상이 정확하게 분리되지 않음으로 인해 발생하는 현상으로서, 입체 안경의 영상 전환이 불완전하거나, 모니터상에서 발광인자의 잔광효과로 인해 나타나게 된다. 또한, 좌우 영상이 정확하게 분리되었다고 하더라도 사용자의 위치에 따라 분리되는 정도가 다르므로, 여전히 혼신은 존재하게 된다.

그리고, 입체 영상 시스템의 디스플레이 면과 사용자의 시야각(visual angle)이 수직을 이루지 않는 경우 사용자의 양안으로 입사된 영상은 사용자에 의하여 왜곡된 것으로 인식될 수도 있다.

초점과 주시 연동 파괴 및 혼신은 입체 영상을 구성하는 좌우 영상의 수평 오차에 기인한 것인데, 좌우 영상의 수직 오차 또는 회전 오차가 발생하여 사용자의 눈이 피로해질 수도 있다.

도 1a 수직 오차가 포함된 종래의 입체 영상을 나타낸 것으로서, 좌 영상(1a)에 포함된 그래픽 객체(11a) 및 우 영상(2a)에 포함된 그래픽 객체(12a)가 배치됨에 있어서 d만큼의 수직 오차(10a)가 발생하는 것을 나타낸다.

이에 따라, 좌 영상(1a) 및 우 영상(2a)이 합성된 영상(3a)에 포함된 그래픽 객체(13a)는 d만큼의 수직 오차(10a)가 존재하므로 사용자는 이에 따른 눈의 피로감을 느끼게 된다.

또한, 도 1b는 회전 오차가 포함된 종래의 입체 영상을 나타낸 것으로서, 좌 영상(1b)에 포함된 그래픽 객체(11b) 및 우 영상(2b)에 포함된 그래픽 객체(12b)가 배치됨에 있어서 θ만큼의 회전 오차(10b)가 발생하는 것을 나타낸다.

이에 따라, 좌 영상(1b) 및 우 영상(2b)이 합성된 영상(3b)에 포함된 그래픽 객체(13b)는 θ만큼의 회전 오차(10b)가 존재하므로 사용자는 이에 따른 눈의 피로감을 느끼게 된다.

한국 공개 특허 2005-0102156호는 입력된 스테레오 영상의 시차 값을 기준 영상에 적용하여 폐색 영역이 나타나는 시차 지도를 형성한 후 기준 영상 내의 그래픽 객체의 상대적인 위치에 따라 보상된 시차 지도에 소정의 임계값을 적용하여 스테레오 영상 내의 각 그래픽 객체를 분할하고, 수평 패럴랙스 방식에 따라 분할된 그래픽 객체를 차등적으로 수평 이동시켜 스테레오 영상과 다른 다시점 스테레오 영상을 생성하는 방법을 개시하고 있다.

그러나, 개시된 발명은 단지 좌우 영상의 수평 이동을 이용하여 다시점 스테레오 영상을 생성하는 방법만을 제시하고 있으며, 수직 오차 및 회전 오차에 대한 개선 방법은 제시하지 않고 있다.

따라서, 입체 영상을 디스플레이함에 있어서 수직 오차 및 회전 오차를 보정하는 발명의 등장이 요구된다.

본 발명은 입체 영상을 구성하는 좌 영상 및 우 영상에 소정 영역을 설정하고, 각 영역에서 디스플레이된 폴리곤의 벡터 차를 이용하여 좌 영상과 우 영상의 수직 오차 및 회전 오차를 보상하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 입체 영상을 디스플레이하는 장치는 입체 영상을 구성하는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출하는 특징점 추출부와, 소정 지점과 상기 특징점간의 벡터 중 대표가 되는 벡터를 결정하는 대표 벡터 결정부와, 상기 좌 영상에서 결정된 벡터 및 상기 우 영상에서 결정된 벡터간의 차이를 이용하여 상기 좌 영상과 상기 우 영상간의 수직 오차 및 회전 오차 중 적어도 하나를 보정하는 오차 보정부 및 상기 수직 오차 및 상기 회전 오차 중 적어도 하나가 보정된 좌 영상 및 우 영상을 디스플레이하는 디스플레이부를 포함한다.

본 발명의 실시예에 따른 입체 영상을 디스플레이하는 방법은 (a) 입체 영상을 구성하는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출하는 단계와, (b) 소정 지점과 상기 특징점간의 벡터 중 대표가 되는 벡터를 결정하는 단계와, (c) 상기 좌 영상에서 결정된 벡터 및 상기 우 영상에서 결정된 벡터간의 차이를 이용하여 상기 좌 영상과 상기 우 영상간의 수직 오차 또는 회전 오차를 보정하는 단계 및 (d) 상기 수직 오차 또는 상기 회전 오차가 보정된 좌 영상 및 우 영상을 디스플레이하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발 명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 입체 영상을 디스플레이하는 장치를 나타낸 블록도로서, 입체 영상을 디스플레이하는 장치(이하, 입체 영상 장치라 한다)(200)는 영상 입력부(210), 영역 생성부(220), 특징점 추출부(230), 폴리곤 생성부(240), 대표 벡터 결정부(250), 오차 산출부(260), 오차 보정부(270), 디스플레이부(280) 및 입체 광학부(290)를 포함하여 구성된다.

영상 입력부(210)는 2차원 영상을 입력받는 역할을 한다. 여기서, 2차원 영상은 저장부(미도시)에 저장된 것일 수 있고, 소정의 통신 수단에 의해 네트워크를 통해 전달된 것일 수도 있다. 또한, 2차원 영상은 3차원 입체 영상으로 변환될 수 있도록 사용자의 양안용 영상을 포함할 수 있다. 즉, 2차원 영상에는 좌안용 영상(이하, 좌 영상이라 한다) 및 우안용 영상(이하, 우 영상이라 한다)이 포함될 수 있는 것이다.

영역 생성부(220)는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출하기 위한 소정의 영역(이하, 특징점 추출 영역이라 한다)을 생성한다. 특징점 추출 영역은 좌 영상 또는 우 영상의 전체 영역 또는 일부 영역일 수 있는데, 연산량 증가에 의한 연산 부하를 감소시키기 위하여 영상의 일부 영역이 특징점 추출 영역으로 생성되는 것이 바람직하다. 또한, 특징점 추출 영역이 영상의 일부 영역인 경우 그 크기, 모양 및 위치는 사용자에 의하여 수동으로 결정되거나 영역 생성부(220)에 의하여 자동으로 결정될 수도 있다.

특징점 추출부(230)는 입체 영상을 구성하는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출한다. 즉, 특징점 추출 영역에 포함된 그래픽 객체의 특징점을 추출하는 것으로서, 특징점 추출부(230)는 3차원 폴리곤 모델을 삼각형의 폴리곤 메쉬(Polygon Mesh)로 표현하기 위하여 시점(Viewpoint)에 대응되는 각 정점(Vertex)의 위치를 결정하는 것이다. 여기서, 특징점 추출부(230)는 복잡한 3차원 폴리곤 모델을 표현하기 위하여 특징점의 수 또는 모서리의 수를 감소시킨 단순화된 폴리곤 모델을 생성할 수 있다. 그리고, 특징점 추출부(230)는 좌 영상 및 우 영상의 특징점을 추출함에 있어서 동일한 알고리즘을 사용하여 특징점을 추출할 수 있다.

폴리곤 생성부(240)는 특징점 추출부(230)에 의하여 추출된 그래픽 객체의 특징점을 서로 연결한 폴리곤을 생성한다. 다시 말해, 특징점 추출부(230)에 의하여 생성된 폴리곤 모델에 따라 디스플레이부(280)를 통하여 디스플레이되는 삼각형 정점의 좌표 및 색상을 계산하는 것으로서, 보이지 않는 면 또는 정점을 제거하고, 화면 모서리에 의하여 잘린 삼각형을 재구성하는 역할을 한다. 또한, 폴리곤 생성부(240)는 그래픽 객체에 광원이 사용되는 경우, 각 면의 법선 벡터에 대한 광원의 효과를 계산하여 각 정점의 색상을 계산할 수도 있다.

또한, 폴리곤 생성부(240)는 삼각형 정점의 좌표 및 색상을 위하여 삼각형 내부 픽셀 정보를 생성할 수도 있다. 즉, 삼각형 정점들의 색상과 화면상의 좌표를 사용하여 실제 영상이 출력되는 화면 픽셀의 색상을 계산하여 픽셀 버퍼(Pixel Buffer)에 저장하는 역할을 수행하는 것으로서, 폴리곤 생성부(240)는 화면 위에 출력되는 모든 픽셀에 대한 계산을 적어도 한번은 수행한다.

대표 벡터 결정부(250)는 영상 영역상의 소정 지점과 특징점간의 벡터 중 대표가 되는 벡터(이하, 대표 벡터라 한다)를 결정하는 역할을 한다. 즉, 소정 지점을 기준점으로 설정하고, 기준점에 대한 특징점의 방향 및 크기를 확인한 후에 그 중 하나의 특징점을 향하는 방향 및 크기를 대표 벡터로 결정하는 것이다.

여기서, 특징점에 근거하여 생성된 폴리곤의 중심과 특징점간의 벡터 중 수직 또는 수평에 가까운 벡터가 대표 벡터로 결정될 수 있다. 또한, 대표 벡터 결정부(250)는 하나의 벡터뿐만 아니라 복수 개의 벡터를 대표 벡터로 결정할 수도 있다.

오차 산출부(260)는 좌 영상의 대표 벡터와 우 영상의 대표 벡터간의 오차를 산출한다. 즉, 각 대표 벡터에 의한 방향 및 크기의 차이를 산출하는 것으로서, 오차 산출부(260)는 좌 영상 및 우 영상에서 각각 결정된 하나의 대표 벡터만을 이용하여 벡터간의 오차를 산출할 수 있으며, 좌 영상 및 우 영상에서 각각 결정된 복수 개의 대표 벡터를 이용하여 벡터간의 오차를 산출할 수도 있다.

오차 보정부(270)는 오차 산출부(260)에 의하여 산출된 오차를 이용하여 좌 영상과 우 영상간의 수직 오차 또는 회전 오차를 보정한다. 즉, 오차 보정부(270)는 좌 영상 또는 우 영상에 대한 기하학적 변형을 수행하여 수직 오차 또는 회전 오차를 감소시키는 것이다.

여기서, 오차 보정부(270)는 좌 영상 및 우 영상의 대표 벡터간의 차이가 소정의 임계치를 초과한 경우 수직 오차 또는 회전 오차를 보정할 수 있는데, 좌 영상 또는 우 영상 중 하나를 기준으로 나머지 영상을 수직 이동시키거나 회전시켜 수직 오차 또는 회전 오차를 감소시킬 수 있다. 수직 오차 및 회전 오차 보정에 대한 자세한 설명은 도 6 내지 도 7을 통하여 후술하기로 한다.

디스플레이부(280)는 수직 오차 또는 회전 오차가 보정된 좌 영상 및 우 영상을 디스플레이하는 역할을 한다. 좌 영상 및 우 영상이 동시에 디스플레이됨에 따라, 디스플레이되는 영상에는 양안 변이(Binocular Disparity), 운동 시차(Motion Parallax) 등의 광학 정보(Optical Information)와 같은 양안에 의해서 3차원 깊이를 인식할 수 있는 단서(Depth Clue)가 포함될 수 있다.

또한, 디스플레이부(280)에 의해 디스플레이되는 영상은 양안을 위한 깊이 단서뿐만 아니라 단안에 의해서 3차원 깊이를 인식할 수 있는 단서가 포함될 수도 있는데, 단안을 위한 깊이 단서로는 빛에 의한 반사, 그림자에 의한 효과, 가까이 있는 물체가 크게 보이는 상대적 크기, 다른 물체에 의한 중첩, 가까운 텍스처가 더 선명하게 보이는 텍스처 변화, 멀리 있는 물체가 흐릿하게 보이는 공간적 원근감, 가까운 물체가 빨리 지나가게 보이는 운동 시차 및 조망(Perspective) 등이 있다.

디스플레이부(280)는 입력된 영상 신호를 디스플레이할 수 있는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 영상 표시 수단이 구비된 모듈로서 입력된 영상 신호에 대한 2차원 영상을 디스플레이한다.

입체 광학부(290)는 디스플레이부(280)로부터 전달된 2차원 영상을 3차원 입체 영상으로 변환하는 역할을 한다. 즉, 입체 광학부(290)는 2차원 영상을 좌 영상 및 우 영상으로 분리하는 것으로서, 왼쪽 눈에는 좌안용 영상을, 오른쪽 눈에는 우안용 영상을 전달함으로써 사용자로 하여금 입체 영상을 느끼게 한다.

이러한, 입체 광학부(290)의 기능은 패럴랙스 배리어(Parallax Barrier) 방식 또는 렌티큘러(Lenticular) 방식에 의해 구현될 수 있다.

패럴랙스 배리어란, 슬릿(slit) 모양의 개구부가 나란히 배열된 판을 지칭하는데, 뒷면에 적당한 사이를 두고 좌우 2 안상 또는 다안상을 번갈아 배치하면 특정 지점에서 개구부를 통해 맨 눈으로 입체 영상을 관찰할 수 있다.

렌티큘러 방식은 배리어 대신에 작은 렌즈들의 배열로 이루어진 렌티큘러판(Lenticular Sheet)을 배치함으로써 좌우 2안상 또는 다안상을 분리하여 입체 영상을 구현하는 방식이다. 입체 광학부(290)를 통하여 좌우안용으로 분리된 영상을 보게 되므로 사용자는 입체 안경을 착용하지 않고도 입체 영상을 관찰할 수 있게 된다.

또한, 입체 광학부(290)는 편광 방식과 시분할 방식에 따라 좌 영상 및 우 영상이 포함된 2차원 영상을 좌우안용 입체 영상으로 분리함으로써, 입체 안경용 입체 영상을 생성할 수도 있다.

도 3은 본 발명의 실시예에 따른 특징점 추출 영역을 나타낸 도면으로서, 좌 영상 또는 우 영상(300)에서 소정 크기를 갖는 사각형 모양의 특징점 추출 영역(390)을 나타낸다. 도 3은 화면 영역의 일부가 특징점 추출 영역(390)으로 결정된 것을 나타내고 있으나, 화면 영역 전체가 특징점 추출 영역(390)으로 결정될 수도 있다.

특징점 추출 영역(390)은 영상 영역(300)의 1/4크기로 화면의 중앙에 배치되는 것이 바람직한데, 그 크기, 위치 및 모양은 사용자에 의하여 임의로 결정될 수 있으며 영역 생성부(220)에 의하여 자동으로 결정될 수도 있다.

여기서, 특징점 추출 영역(390)의 크기, 위치 및 모양을 자동으로 결정하기 위하여 영역 생성부(220)는 입력된 영상 분석을 수행할 수 있다. 예를 들어, 해변의 영상과 같이 특징점 추출이 용이하지 않은 영역은 특징점 추출 영역(390)에서 배제하고, 주파수가 높은 영상의 영역이 특징점 추출 영역(390)에 포함되도록 하는 것이다.

이를 위하여, 영역 생성부(220)는 좌 영상 또는 우 영상(300)에 대한 분석을 수행하고, 그 분석 결과에 따라 결정된 특징점 추출 영역(390)의 크기, 위치 및 모양을 좌 영상 및 우 영상에 동일하게 적용한다. 예를 들어, 좌 영역에 대한 분석을 수행하여 그에 따른 특징점 추출 영역(390)을 생성한 영역 생성부(220)는 좌 영역 에 대하여 생성된 특징점 추출 영역과 동일한 크기, 위치 및 모양의 특징점 추출 영역을 우 영상에 적용하는 것이다. 이에 따라, 좌 영상 및 우 영상에 포함된 동일한 그래픽 객체가 특징점 추출부(230)로 전달되고, 특징점 추출부(230)는 동일한 그래픽 객체의 특징점을 추출할 수 있게 된다.

도 4는 본 발명의 실시예에 따라 대표 벡터가 결정되는 것을 나타낸 도면으로서, 좌 영상 또는 우 영상(300)의 특징점 추출 영역(390)에 포함된 그래픽 객체의 특징점(401, 402, 403, 404, 405, 406)과 기준점(400)간의 벡터 중 하나가 결정되는 것을 나타낸다.

여기서, 기준점(400)은 그래픽 객체 즉, 특징점의 연결에 의해 생성된 폴리곤의 중앙으로 설정된 것을 가정한다. 이에 따라, 기준점(400)과 특징점간의 벡터가 형성되는데, 대표 벡터 결정부(250)는 그 중 수평 또는 수직에 가까운 벡터를 대표 벡터(410, 420)로 결정한다. 즉, 도 4에서 기준점(400)과 제 4 특징점(404)간의 벡터(410)가 수직에 가깝고, 기준점(400)과 제 6 특징점(406)간의 벡터(420)가 수평에 가까우므로 제 4 특징점(404)에 의한 벡터(410) 또는 제 6 특징점(406)에 의한 벡터(420)가 대표 벡터로 결정될 수 있는 것이다.

한편, 도 4에서 기준점(400)은 폴리곤의 중앙인 것을 나타내고 있으나, 기준점은 사용자에 의하여 임의로 설정될 수도 있으며, 대표 벡터 결정부(250)에 의하여 자동으로 결정될 수도 있다. 예를 들어, 기준점이 대표 벡터 결정부(250)에 의하여 자동으로 결정되는 경우 대표 벡터 결정부(250)는 좌 영상의 특징점 중 하나를 기준점으로 결정한 후에 좌 영상에 포함된 다른 특징점간의 벡터 중 수평 또는 수직에 가까운 벡터를 대표 벡터로 결정한다. 그리고, 대표 벡터 결정부(250)는 좌 영상에서 기준점으로 결정된 특징점의 좌표와 동일한 좌표를 우 영상의 기준점으로 설정하고, 그 기준점을 중심으로 우 영상의 특징점 추출 영역에 포함된 특징점간의 벡터 중 수평 또는 수직에 가까운 벡터를 대표 벡터로 결정한다.

또한, 대표 벡터 결정부(250)는 대표 벡터를 결정함에 있어서, 벡터의 크기를 고려할 수도 있다. 즉, 좌 영상 및 우 영상에서 수평 또는 수직에 가까운 벡터를 추출한 후에 유사한 크기의 벡터를 각 영상에서 추출하여 이를 대표 벡터로 결정하는 것이다.

도 5는 본 발명의 다른 실시예에 따라 대표 벡터가 결정되는 것을 나타낸 도면으로서, 복수 개의 벡터가 대표 벡터로 결정되는 것을 나타낸 도면이다.

하나의 벡터만을 대표 벡터로 결정한 후에 이에 대한 보정을 수행하는 것은 적절하지 않을 수 있다. 예를 들어, 도 5에서 좌 영상(501)의 대표 벡터(510)와 우 영상(502)의 대표 벡터(550)는 모두 화면에 대하여 수직에 가깝고 그 크기가 유사하므로 대표 벡터 결정부(250)에 의하여 대표 벡터로 결정될 수 있다. 그러나, 좌 영상(501)에서 대표 벡터(510)에 대응되는 특징점(511)과 우 영상(502)에서 대표 벡터(550)에 대응되는 특징점(551)은 동일한 그래픽 객체의 폴리곤에서의 서로 다른 특징점이다. 따라서, 이에 따른 영상 보정이 수행되면 좌 영상(501) 및 우 영상간(502)의 회전 오차는 더욱 커지게 된다.

이에 따라, 본 발명의 대표 벡터 결정부(250)는 복수 개의 대표 벡터를 결정할 수 있는데, 복수 개의 대표 벡터에는 각 벡터 중 그 크기가 가장 큰 벡터와 가 장 작은 벡터가 포함되는 것이 바람직하다. 즉, 대표 벡터 결정부(250)는 좌 영상(501)에서 화면에 대하여 수직에 가까운 제 1 벡터(510)와 크기가 가장 작은 제 2 벡터(520)를 대표 벡터로 결정한 후, 우 영상(502)에서 화면에 대하여 수직에 가까운 제 5 벡터(550)와 크기가 가장 작은 제 4 벡터(540)를 대표 벡터로 결정한다. 이 때, 제 1 벡터(510) 및 제 2 벡터(520)에 의한 각도(이하, 기준 벡터 각이라 한다)와 제 4 벡터(540) 및 제 5 벡터(550)에 의한 각도의 차이가 크므로 대표 벡터 결정부(250)는 우 영상(502)에서 기준 벡터 각과 유사한 각도를 형성하는 벡터의 조합을 추출한다. 여기서, 대표 벡터 결정부(250)는 벡터간의 각도뿐만 아니라 벡터의 크기를 고려하여 벡터의 조합을 추출하므로 제 3 벡터(530) 및 제 4 벡터(540)를 우 영상(502)의 대표 벡터로 결정할 수 있게 된다.

또한, 대표 벡터 결정부(250)는 기준점과 각 특징점간의 벡터를 모두 합한 벡터 합을 대표 벡터로 결정할 수도 있다.

도 6은 본 발명의 실시예에 따른 수직 오차 보정을 나타낸 도면으로서, 회전 오차는 없고 수직 오차만이 존재하는 좌 영상(601) 및 우 영상(602)을 나타낸 도면이다.

영역 생성부(220)에 의하여 생성된 특징점 추출 영역(691, 692)은 좌 영상(601) 및 우 영상(602)의 동일한 위치에 동일한 크기 및 모양으로 배치된다. 그리고, 특징점 추출부(230)에 의하여 특징점이 추출되고, 대표 벡터 결정부(250)는 좌 영상(601) 및 우 영상(602)의 대표 벡터(610, 620)를 결정한다.

이에 따라, 좌 영상(601) 및 우 영상(602)에서 수직에 가까운 벡터(610, 620)가 각각 대표 벡터로 결정되고, 이는 오차 산출부(260)로 전달된다. 그리고, 오차 산출부(260)는 좌 영상(601) 및 우 영상(602)의 대표 벡터(610, 620)간의 각도 및 크기 차이를 확인하는데, 여기서는 그 크기에 차이가 있음을 확인한다. 그리하여, 오차 산출부(260)는 좌 영상(601)의 대표 벡터(610)의 크기(611)가 |a|이고, 우 영상(602)의 대표 벡터(620)의 크기(621)가 |b|인 것을 확인하여 결국, 좌 영상(601)과 우 영상(602)간의 오차가 |a|-|b|인 것을 확인하게 된다.

오차 산출부(260)에 의하여 산출된 좌 영상(601) 및 우 영상(602)간의 오차는 오차 보정부(270)로 전달되고, 오차 보정부(270)는 전달받은 오차에 근거하여 우 영상(602)에 대한 기하학적 변형을 수행한다. 즉, |a|-|b|만큼 우 영상(602) 전체를 수직 이동시키는 것이다. 이에 따라, 기준 영상이 되는 좌 영상(601) 및 보정된 우 영상(603)이 디스플레이부(280)로 전달되고, 디스플레이부(280)는 전달받은 합성된 영상(604)을 디스플레이한다.

한편, 도 6은 좌 영상(601)을 기준 영상으로 우 영상(602)에 대한 영상 보정이 수행된 것을 나타내고 있으나, 우 영상(602)이 기준 영상으로 설정되어 좌 영상(601)에 대한 영상 보정이 수행될 수 있으며, 좌 영상(601)과 우 영상(602)간의 오차의 절반 크기 만큼 좌 영상(601) 및 우 영상(602)에 대한 영상 보정이 수행될 수도 있다. 즉, 좌 영상(601) 전체가 (|a|-|b|)/2만큼 위쪽으로 수직 이동하고, 우 영상(602) 전체가 (|a|-|b|)/2만큼 아래쪽으로 수직 이동할 수 있는 것이다.

도 7은 본 발명의 실시예에 따른 회전 오차 보정을 나타낸 도면으로서, 수직 오차는 없고 회전 오차만이 존재하는 좌 영상(701) 및 우 영상(702)을 나타낸 도면 이다.

영역 생성부(220)에 의하여 생성된 특징점 추출 영역(791, 792)은 좌 영상(701) 및 우 영상(702)의 동일한 위치에 동일한 크기 및 모양으로 배치된다. 그리고, 특징점 추출부(230)에 의하여 특징점이 추출되고, 대표 벡터 결정부(250)는 좌 영상(701) 및 우 영상(702)의 대표 벡터(710, 720)를 결정한다.

이에 따라, 좌 영상(701) 및 우 영상(702)에서 수직에 가까운 벡터(710, 720)가 각각 대표 벡터로 결정되고, 이는 오차 산출부(260)로 전달된다. 그리고, 오차 산출부(260)는 좌 영상(701) 및 우 영상(702)의 대표 벡터간의 각도 및 크기 차이를 확인하는데, 여기서는 그 각도에 차이가 있음을 확인한다. 그리하여, 오차 산출부(260)는 좌 영상(701)의 대표 벡터의 각도(711)가 화면에 대하여 수직이고, 우 영상(702)의 대표 벡터의 각도(721)가 화면의 수직선에 대하여 θ인 것을 확인하여 결국, 좌 영상(701)과 우 영상(702)간의 오차가 θ인 것을 확인하게 된다.

오차 산출부(260)에 의하여 산출된 좌 영상(701) 및 우 영상(702)간의 오차는 오차 보정부(270)로 전달되고, 오차 보정부(270)는 전달받은 오차에 근거하여 우 영상(702)에 대한 기하학적 변형을 수행한다. 즉, θ만큼 우 영상(702) 전체를 회전시키는 것이다. 이에 따라, 기준 영상이 되는 좌 영상(701) 및 보정된 우 영상(702)이 디스플레이부(280)로 전달되고, 디스플레이부(280)는 전달받은 합성된 영상(703)을 디스플레이한다.

한편, 도 7은 좌 영상(701)을 기준 영상으로 우 영상(702)에 대한 영상 보정이 수행된 것을 나타내고 있으나, 우 영상(702)이 기준 영상으로 설정되어 좌 영상 (701)에 대한 영상 보정이 수행될 수 있으며, 좌 영상(701)과 우 영상(702)간의 오차의 절반 크기 만큼 좌 영상(701) 및 우 영상(702)에 대한 영상 보정이 수행될 수도 있다. 즉, 좌 영상(701) 전체가 θ/2만큼 시계 방향으로 회전하고, 우 영상(702) 전체가 θ/2만큼 반시계 방향으로 회전할 수 있는 것이다.

입체 영상을 디스플레이하기 위하여 입체 영상 장치(200)의 영상 입력부(210)는 우선 2차원 영상을 입력받는다(S810). 여기서, 2차원 영상은 3차원 입체 영상으로 변환될 수 있도록 좌 영상 및 우 영상이 포함될 수 있다.

영상이 입력됨에 따라 영역 생성부(220)는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출하기 위한 특징점 추출 영역을 생성한다(S820). 특징점 추출 영역은 좌 영상 또는 우 영상의 전체 영역 또는 일부 영역일 수 있는데, 일부 영역인 경우 그 크기, 모양 및 위치는 사용자에 의하여 수동으로 결정될 수 있으며 영역 생성부(220)에 의하여 자동으로 생성될 수도 있다. 특징점 추출 영역의 크기, 모양 및 위치를 자동으로 결정하는 경우 영역 생성부(220)는 영상에 포함된 그래픽 객체의 특징을 참조할 수 있다. 즉, 영역 생성부(220)는 비교적 주파수가 높은 그래픽 객체가 포함된 영역을 특징점 추출 영역으로 생성할 수 있는 것이다.

생성된 특징점 추출 영역은 특징점 추출부(230)로 전달되고, 특징점 추출부(230)는 좌 영상 및 우 영상의 특징점 추출 영역에 포함된 그래픽 객체의 특징점을 추출한다(S830).

추출된 특징점은 폴리곤 생성부(240)로 전달되고, 폴리곤 생성부(240)는 그래픽 객체의 특징점을 서로 연결한 폴리곤을 생성한다(S840).

또한, 추출된 특징점은 대표 벡터 결정부(250)로 전달되는데, 대표 벡터 결정부(250)는 기준점과 특징점간의 벡터 중 대표 벡터를 결정한다(S850). 여기서, 기준점은 사용자에 의해 결정된 특정 지점일 수 있고 폴리곤의 중심일 수 있으며, 특징점 중 하나일 수도 있다.

좌 영상의 대표 벡터 및 우 영상의 대표 벡터는 오차 산출부(260)로 전달되고, 오차 산출부(260)는 각 대표 벡터간의 차이를 이용하여 좌 영상 및 우 영상의 오차를 산출한다(S860). 즉, 수직 오차 또는 회전 오차를 산출하는 것으로서, 수평 오차를 산출할 수도 있다.

산출된 오차는 오차 보정부(270)로 전달되고, 오차 보정부(270)는 전달받은 오차를 이용하여 좌 영상과 우 영상간의 수직 오차 또는 회전 오차를 보정한다(S870). 즉, 좌 영상 또는 우 영상에 대한 기하학적 변형을 수행하여 수직 오차 또는 회전 오차를 감소시키는 것이다. 이 때, 오차 보정부(270)는 좌 영상 및 우 영상 중 하나를 기준 영상으로 설정하고 나머지 영상에 대한 보정을 수행할 수 있으며, 좌 영상 및 우 영상 모두에 대한 보정을 수행할 수도 있다.

오차 보정부(270)에 의하여 보정된 영상은 디스플레이부(280)로 전달되고, 디스플레이부(280)는 보정된 영상을 디스플레이한다(S880). 즉, 기준 영상 및 보정된 영상의 합성 영상을 디스플레이하거나 좌 영상 및 우 영상이 모두 디스플레이된 경우 보정된 좌 영상 및 보정된 우 영상을 합성하여 디스플레이할 수도 있는 것이 다.

디스플레이된 영상은 입체 광학부(290)로 전달되고, 입체 광학부(290)는 디스플레이된 합성 영상을 좌 영상 및 우 영상으로 분리한다(S890). 이에 따라, 사용자는 입체 영상을 느낄 수 있게 되는데, 영상 분리를 위하여 입체 광학부(290)는 패럴랙스 배리어 방식 또는 렌티큘러 방식을 이용하여 나안용 입체 영상을 생성할 수 있으며, 편광 방식과 시분할 방식을 이용하여 안경용 입체 영상을 생성할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 입체 영상을 디스플레이하는 장치 및 방법에 따르면 입체 영상을 구성하는 좌 영상 및 우 영상에 소정 영역을 설정하고, 각 영역에서 디스플레이된 폴리곤의 벡터 차를 이용하여 좌 영상과 우 영상의 수직 오차 및 회전 오차를 보상함으로써 사용자에 의해 인식되는 눈의 피로감을 감소시키는 장점이 있다.

Claims

입체 영상을 구성하는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출하는 특징점 추출부;

소정 지점과 상기 특징점간의 벡터 중 대표가 되는 벡터를 결정하는 대표 벡터 결정부;

상기 좌 영상에서 결정된 벡터 및 상기 우 영상에서 결정된 벡터간의 차이를 이용하여 상기 좌 영상과 상기 우 영상간의 수직 오차 및 회전 오차 중 적어도 하나를 보정하는 오차 보정부; 및

상기 수직 오차 및 상기 회전 오차 중 적어도 하나가 보정된 좌 영상 및 우 영상을 디스플레이하는 디스플레이부를 포함하는 입체 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 특징점은 상기 좌 영상 및 상기 우 영상 중 소정 영역에 포함된 그래픽 객체의 특징점을 포함하는 입체 영상을 디스플레이하는 장치.
제 2항에 있어서,

상기 영역을 생성하는 영역 생성부를 더 포함하는 입체 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 대표가 되는 벡터는 상기 특징점에 근거하여 생성된 폴리곤의 중심과 상기 특징점간의 벡터 중 수직 또는 수평에 가까운 벡터를 포함하는 입체 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 대표가 되는 벡터는 적어도 하나 이상인 입체 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 오차 보정부는 상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 수직 이동시켜 상기 수직 오차를 보정하는 입체 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 오차 보정부는 상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 회전시켜 상기 회전 오차를 보정하는 입체 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 오차 보정부는 상기 벡터간의 차이가 소정 임계치를 초과한 경우 상기 수직 오차 또는 상기 회전 오차를 보정하는 입체 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 디스플레이된 좌 영상 및 우 영상을 광학적으로 분리하는 입체 광학부를 더 포함하는 입체 영상을 디스플레이하는 장치.
제 9항에 있어서,

상기 입체 광학부는 패럴랙스 배리어(Parallax Barrier) 방식, 렌티큘러(Lenticular) 방식, 편광 방식 및 시분할 방식 중 적어도 하나를 이용하여 상기 디스플레이된 좌 영상 및 우 영상을 광학적으로 분리하는 입체 영상을 디스플레이하는 장치.
(a) 입체 영상을 구성하는 좌 영상 및 우 영상에 포함된 그래픽 객체의 특징점을 추출하는 단계;

(b) 소정 지점과 상기 특징점간의 벡터 중 대표가 되는 벡터를 결정하는 단계;

(c) 상기 좌 영상에서 결정된 벡터 및 상기 우 영상에서 결정된 벡터간의 차이를 이용하여 상기 좌 영상과 상기 우 영상간의 수직 오차 및 회전 오차 중 적어 도 하나를 보정하는 단계; 및

(d) 상기 수직 오차 및 상기 회전 오차 중 적어도 하나가 보정된 좌 영상 및 우 영상을 디스플레이하는 단계를 포함하는 입체 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 특징점은 상기 좌 영상 및 상기 우 영상 중 소정 영역에 포함된 그래픽 객체의 특징점을 포함하는 입체 영상을 디스플레이하는 방법.
제 12항에 있어서,

상기 영역을 생성하는 단계를 더 포함하는 입체 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 대표가 되는 벡터는 상기 특징점에 근거하여 생성된 폴리곤의 중심과 상기 특징점간의 벡터 중 수직 또는 수평에 가까운 벡터를 포함하는 입체 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 대표가 되는 벡터는 적어도 하나 이상인 입체 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 (c) 단계는 상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 수직 이동시켜 상기 수직 오차를 보정하는 단계를 포함하는 입체 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 (c) 단계는 상기 좌 영상 또는 상기 우 영상 중 하나를 기준으로 나머지 영상을 회전시켜 상기 회전 오차를 보정하는 단계를 포함하는 입체 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 (c) 단계는 상기 벡터간의 차이가 소정 임계치를 초과한 경우 상기 수직 오차 또는 상기 회전 오차를 보정하는 단계를 포함하는 입체 영상을 디스플레이하는 방법.
제 11항에 있어서,

(e) 상기 디스플레이된 좌 영상 및 우 영상을 광학적으로 분리하는 단계를 더 포함하는 입체 영상을 디스플레이하는 방법.
제 19항에 있어서,

상기 (e) 단계는 패럴랙스 배리어(Parallax Barrier) 방식, 렌티큘러(Lenticular) 방식, 편광 방식 및 시분할 방식 중 적어도 하나를 이용하여 상기 디스플레이된 좌 영상 및 우 영상을 광학적으로 분리하는 단계를 포함하는 입체 영상을 디스플레이하는 방법.