KR20070078464A

KR20070078464A - 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법

Info

Publication number: KR20070078464A
Application number: KR1020060008694A
Authority: KR
Inventors: 배수현; 류희섭; 이영범
Original assignee: 삼성전자주식회사
Priority date: 2006-01-27
Filing date: 2006-01-27
Publication date: 2007-08-01
Also published as: US20070176914A1; KR101249988B1

Abstract

본 발명은 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법에 관한 것으로서, 사용자의 위치 벡터를 추출하고 추출된 위치 벡터에 따라 사용자의 양안에 입사되는 영상을 왜곡(warping)하여 사용자에게 적합한 입체 영상을 제공하는 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법에 관한 것이다.

본 발명의 실시예에 따른 사용자의 위치에 따른 영상을 디스플레이하는 장치는 사용자의 위치를 감지하는 위치 감지부와, 상기 위치에 대한 변화량을 측정하는 변화량 측정부와, 상기 변화량이 소정 임계치를 초과하는 경우, 입력된 영상을 보정하는 영상 보정부 및 상기 보정된 영상을 디스플레이하는 디스플레이부를 포함한다.

입체 영상, 워핑 매트릭스(Warping Matrix)

Description

사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법{Apparatus and method for displaying image according to the position of user}

도 1은 본 발명의 실시예에 따른 입체 영상을 디스플레이하는 방식을 나타낸 개념도이다.

도 2는 본 발명의 실시예에 따른 입체 영상 장치를 나타낸 블록도이다.

도 3은 본 발명의 실시예에 따른 영상 보정부를 나타낸 블록도이다.

도 4a 내지 도 4b는 본 발명의 실시예에 따른 영상의 보정을 나타낸 개념도이다.

도 5는 본 발명의 실시예에 따른 입체 영상 장치의 동작 과정을 나타낸 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

210 : 위치 감지부 220 : 변화량 측정부

230 : 저장부 240 : 영상 보정부

250 : 영상 입력부 260 : 디스플레이부

270 : 입체 광학부

본 발명은 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 사용자의 위치 벡터를 추출하고 추출된 위치 벡터에 따라 사용자의 양안에 입사되는 영상을 왜곡(warping)하여 사용자에게 적합한 입체 영상을 제공하는 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법에 관한 것이다.

개선된 화질의 영상을 제공받고자 하는 사용자들의 욕구로 인하여 디지털 TV가 등장하게 되었는데, 디지털 TV는 개선된 화질뿐만 아니라 화면의 종회비율을 기존의 아날로그 TV와 다르게 적용함으로써 보다 현장감 있는 영상을 사용자에게 제공하게 되었다.

한편, 영상의 화질이 2차원적인 영상에 대한 중요한 요소인 반면, 최근 3차원 입체 영상에 대한 사용자의 욕구가 증가하고 있고, 이에 대한 연구가 활발하게 진행되고 있다.

입체 영상 구현 방식에는 입체 안경을 착용하여야만 입체 영상을 감상할 수 있는 안경식과 디스플레이된 영상만으로 입체 영상을 감상할 수 있는 무안경식으로 구분될 수 있는데, 안경식으로는 편광 방식과 시분할 방식이 있으며 무안경식으로는 패럴랙스 배리어(Parallax Barrier) 방식과 렌티큘러(Lenticular) 방식이 있다.

기존의 3차원 입체 영상(이하, 입체 영상이라 한다) 방송 시스템들이 수 년간에 걸쳐 일본, 유럽, 미국 등에서 개발되어 왔으나 그 상용화가 늦어지고 있는데, 상용화 지연의 가장 큰 이유로는 시각적인 피로 및 입체 안경 착용의 불편함 등이 있다.

입체 영상 시스템에서 발생하는 대표적 시각 피로 유발 현상에는 초점과 주시 연동 파괴(accommodation-convergence breakdown) 및 혼신(crosstalk) 현상 등이 있다.

초점과 주시 연동 파괴 현상은 실제 세계에서 사용자가 물체를 볼 때에는 초점과 주시각 조절이 연동되어 피곤함을 느끼지 않고 3차원의 깊이를 인식한다. 그러나, 기존의 입체 영상 시스템을 통하여 입체 영상을 보게 될 경우에는 큰 시차(disparity)에 의해 초점 및 주시 연동 파괴 현상이 발생한다. 즉, 사용자의 눈은 화면상의 평면에 초점을 맞추는 반면, 화면상의 시차가 생성하는 3차원상의 위치에 주시(converge)하게 되어 이 둘의 위치가 서로 일치하지 않게 된다.

그리고, 디스플레이되는 영상 중에 사용자 눈의 초점 심도 범위를 벗어나는 깊이를 가지는 부분이 있더라도 선명한 상태로 보여지기 때문에, 이 영역의 이중 영상이 눈을 피로하게 만든다.

혼신은 입체 영상 시스템에서 좌우 영상이 정확하게 분리되지 않음으로 인해 발생하는 현상으로서, 입체 안경의 영상 전환이 불완전하거나, 모니터상에서 발광인자의 잔광효과로 인해 나타나게 된다. 또한, 좌우 영상이 정확하게 분리되었다고 하더라도 사용자의 위치에 따라 분리되는 정도가 다르므로, 여전히 혼신은 존재하게 된다.

그리고, 입체 영상 시스템의 디스플레이 면과 사용자의 시야각(visual angle)이 수직을 이루지 않는 경우 사용자의 양안으로 입사된 영상은 사용자에 의 하여 왜곡된 것으로 인식될 수도 있다.

한국 공개 특허 2002-014456호는 관찰자의 좌안과 우안 사이의 간격이 변경되면서 입체화상의 일부분이 변형되어 표시되는 것을 좌우 영상 확대/축소 장치의 좌우 영상에 대한 확대/축소 제어와 좌/우 영상의 이동으로 보정하는 입체 영상의 변형 보정 방법을 개시하고 있다.

그러나, 개시된 발명은 단지 사용자의 좌안 및 우안으로 입사되는 영상의 크기를 서로 다르게 변경시키는 것으로서, 이러한 방법으로는 디스플레이 면과 사용자의 시야각이 이루는 각도에 따른 입체 영상을 제공하기 어렵고 또한, 개시된 발명은 사용자로 하여금 입체 안경의 착용하도록 하므로, 안경 착용의 불편함을 해결하지 못하였다.

따라서, 입체 안경의 착용 없이도 혼신과 왜곡을 감소시키는 입체 영상 디스플레이 방법의 등장이 요구된다.

본 발명은 사용자의 위치 벡터를 추출하고 추출된 위치 벡터에 따라 사용자의 양안에 입사되는 영상을 왜곡(warping)하여 사용자에게 적합한 입체 영상을 제공하는데 그 목적이 있다.

또한, 본 발명은 종래의 영상 디스플레이 시스템에 입체 영상을 구현하는 별도의 수단을 부가시킴으로써 시스템의 전반적인 수정을 최소화하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 사용자의 위치에 따른 영상을 디스플레이하는 장치는 사용자의 위치를 감지하는 위치 감지부와, 상기 위치에 대한 변화량을 측정하는 변화량 측정부와, 상기 변화량이 소정 임계치를 초과하는 경우, 입력된 영상을 보정하는 영상 보정부, 및 상기 보정된 영상을 디스플레이하는 디스플레이부를 포함한다.

사용자의 위치에 따른 영상을 디스플레이하는 방법은 사용자의 위치를 감지하는 단계와, 상기 위치에 대한 변화량을 측정하는 단계와, 상기 변화량이 소정 임계치를 초과하는 경우, 입력된 영상을 보정하는 단계 및 상기 보정된 영상을 디스플레이하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 입체 영상을 디스플레이하는 방식을 나타낸 개념도로서, 사용자의 위치에 따른 영상을 디스플레이하는 장치(이하, 입체 영상 장치라 한다)(200)가 사용자(100)의 움직임을 감지하여 움직임의 크기에 대응되도록 영상을 왜곡(Warping)시키는 것을 나타낸 도면이다.

사용자(100)의 움직임을 감지하기 위하여 입체 영상 장치(200)에는 적어도 하나 이상의 위치 감지 수단(201, 202, 203, 204)이 구비될 수 있다. 위치 감지 수단(201, 202, 203, 204)은 사용자(100)의 위치를 감지하는 것으로서, 적외선 카메라, 디지털 카메라 또는 초음파 송수신기 등이 위치 감지 수단(201, 202, 203, 204)으로 이용되어 사용자(100)의 위치를 감지할 수 있다.

예를 들어, 위치 감지 수단(201, 202, 203, 204)이 적외선 카메라 또는 디지털 카메라인 경우 카메라에 감지된 사용자(100)의 형태를 이용하여 사용자(100)의 거리 및 움직임이 감지될 수 있고, 위치 감지 수단(201, 202, 203, 204)이 초음파 송수신기인 경우 초음파 송수신기에서 송신된 적어도 하나 이상의 초음파가 사용자(100)에 의하여 반사되고, 반사된 초음파가 다시 초음파 송수신기로 수신되고 분석됨으로써 사용자(100)의 거리 및 움직임이 감지될 수 있다.

또한, 입체 영상을 감상하기 위하여 사용자(100)는 입체 안경을 착용할 수도 있는데, 입체 안경에 구비된 지자기 센서 또는 관성 센서에 의하여 사용자(100)의 움직임이 감지되고 감지된 움직임이 소정의 통신 수단을 통하여 입체 영상 장치(200)에 전달됨으로써 입체 영상 장치(200)의 위치 감지 수단은 사용자(100)의 움직임을 감지할 수도 있다.

일반적으로, 사용자(100)의 위치가 변경되는 경우 사용자(100)는 디스플레이된 입체 영상이 왜곡된 것으로 인식하게 되는데, 입체 영상 장치(200)는 이러한 왜곡을 감소시키기 위하여 사용자(100)의 움직임만큼 인위적으로 왜곡된 입체 영상을 디스플레이한다. 이에 따라, 사용자(100)는 자신의 움직임에 관계없이 움직임의 이전과 유사한 입체 영상을 감상할 수 있게 된다.

입체 영상의 인위적인 왜곡 즉, 영상 보정은 워핑 매트릭스(Warping Matrix)가 이용되어 수행될 수 있다. 워핑 매트릭스는 최초 사용자의 위치와 움직임 이후 사용자의 위치가 반영된 것으로서, 디스플레이된 입체 영상에 적용된다. 워핑 매트릭스에 따라 입체 영상이 인위적으로 왜곡되므로 사용자(100)는 자신의 움직임에 따라 정상적인 입체 영상을 감상할 수 있게 된다.

도 2는 본 발명의 실시예에 따른 입체 영상 장치를 나타낸 블록도로서, 입체 영상 장치(200)는 위치 감지부(210), 변화량 측정부(220), 저장부(230), 영상 보정부(240), 영상 입력부(250), 디스플레이부(260) 및 입체 광학부(270)를 포함하여 구성된다.

위치 감지부(210)는 사용자의 위치를 감지하는 역할을 한다. 이를 위하여 위치 감지부(210)에는 적어도 하나 이상의 위치 감지 수단이 구비될 수 있다. 위치 감지 수단은 사용자의 위치를 감지하는 것으로서, 적외선 카메라, 디지털 카메라 또는 초음파 송수신기 등이 위치 감지 수단으로 이용되어 사용자의 위치를 감지할 수 있다.

예를 들어, 위치 감지 수단이 적외선 카메라 또는 디지털 카메라인 경우 카메라에 감지된 사용자의 형태를 이용하여 사용자의 거리 및 움직임이 감지될 수 있고, 위치 감지 수단이 초음파 송수신기인 경우 초음파 송수신기에서 송신된 적어도 하나 이상의 초음파가 사용자에 의하여 반사되고, 반사된 초음파가 다시 초음파 송수신기로 수신되고 분석됨으로써 사용자의 거리 및 움직임이 감지될 수 있다.

변화량 측정부(220)는 사용자의 위치에 대한 변화량 즉, 사용자와의 거리 및 상기 사용자의 상하좌우 이동량을 측정하는 역할을 한다. 여기서, 위치 감지부(210)로부터 수신된 사용자의 위치에 대한 변화량이 소정 임계치를 초과하는지 확인하는데, 변화량 측정부(220)는 위치 변화량이 임계치를 초과하는 경우 사용자의 동작 벡터를 영상 보정부(240)로 전달하고, 위치 변화량이 임계치 미만인 경우 작업을 종료한다. 임계치는 디스플레이부(260)의 디스플레이 성능에 따라 달라지며 사용자에 의하여 결정될 수도 있다.

영상 입력부(250)는 2차원 영상을 입력받는 역할을 한다. 여기서, 2차원 영상은 저장부(230)에 저장된 것일 수 있고, 소정의 통신 수단에 의해 네트워크를 통해 전달된 것일 수도 있다. 또한, 2차원 영상은 3차원 입체 영상으로 변환될 수 있도록 사용자의 양안용 영상을 포함할 수 있다. 즉, 2차원 영상에는 좌안용 영상 및 우안용 영상이 포함될 수 있는 것이다.

영상 보정부(240)는 영상 입력부(250)로 입력된 영상을 보정하는 역할을 한 다. 여기서, 영상 보정부(240)는 변화량 측정부(220)에 의하여 측정된 사용자의 위치 변화량에 대응되도록 영상을 보정하는데, 워핑 매트릭스를 이용하여 영상 보정을 수행할 수 있다.

또한, 영상 보정부(240)는 저장부(230)에 저장된 워핑 매트릭스를 이용하여 영상 보정을 수행할 수도 있다. 즉, 변화량 측정부(220)로부터 전달된 사용자의 위치 변화량과 유사한 위치 변화량을 저장부(230)에서 검색한 후에 유사한 것이 있으면, 그에 대응되어 저장된 워핑 매트릭스를 추출하여 입력된 영상에 적용하는 것이다. 영상 보정부(240)에 대한 자세한 설명은 도 3을 통하여 후술하기로 한다.

저장부(230)는 사용자의 위치 변화량에 대응되는 워핑 매트릭스를 저장하는 역할을 한다. 저장부(230)에 저장된 워핑 매트릭스는 사용자의 위치 변화량이 소정 임계치를 초과한 경우 영상 보정부(240)에 의하여 생성된 것으로서, 이는 사용자에 의하여 수정될 수도 있다. 즉, 사용자는 디스플레이부(260)를 통해 디스플레이된 기본 영상에 특정 워핑 매트릭스를 적용한 후 그 벡터량을 조절할 수 있는 것이다.

저장부(230)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 입체 영상 장치(200)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.

디스플레이부(260)는 영상 보정부(240)에 의하여 보정된 2차원 영상을 디스플레이하는 역할을 한다. 여기서, 2차원 영상은 일반적인 2차원 영상이 아닌 3차원 영상으로의 변환을 위한 2차원 영상일 수 있는 것으로서, 양안 변이(Binocular Disparity), 운동 시차(Motion Parallax) 등의 광학 정보(Optical Information)와 같은 양안에 의해서 3차원 깊이를 인식할 수 있는 단서(Depth Cue)가 포함될 수 있다.

또한, 디스플레이부(260)에 의해 디스플레이되는 2차원 영상은 양안을 위한 깊이 단서뿐만 아니라 단안에 의해서 3차원 깊이를 인식할 수 있는 단서가 포함될 수도 있는데, 단안을 위한 깊이 단서로는 빛에 의한 반사, 그림자에 의한 효과, 가까이 있는 물체가 크게 보이는 상대적 크기, 다른 물체에 의한 중첩, 가까운 텍스처가 더 선명하게 보이는 텍스처 변화, 멀리 있는 물체가 흐릿하게 보이는 공간적 원근감, 가까운 물체가 빨리 지나가게 보이는 운동 시차 및 조망(Perspective) 등이 이다.

디스플레이부(260)는 입력된 영상 신호를 디스플레이할 수 있는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 영상 표시 수단이 구비된 모듈로서 입력된 영상 신호에 대한 2차원 영상을 디스플레이 한다.

입체 광학부(270)는 디스플레이부(260)로부터 전달된 2차원 영상을 3차원 입체 영상으로 변환하는 역할을 한다. 즉, 입체 광학부(270)는 2차원 영상을 좌우안용 영상으로 분리하는 것으로서, 왼쪽 눈에는 좌안용 영상을, 오른쪽 눈에는 우안 용 영상을 전달함으로써 사용자로 하여금 입체 영상을 느끼게 한다.

이러한, 입체 광학부(270)의 기능은 패럴랙스 배리어(Parallax Barrier) 방식 또는 렌티큘러(Lenticular) 방식에 의해 구현될 수 있다.

패럴랙스 배리어란, 슬릿(Slit) 모양의 개구부가 나란히 배열된 판을 지칭하는데, 뒷면에 적당한 사이를 두고 좌우 2안상 또는 다안상을 번갈아 배치하면 특정 지점에서 개구부를 통해 맨 눈으로 입체 영상을 관찰할 수 있다.

렌티큘러 방식은 배리어 대신에 작은 렌즈들의 배열로 이루어진 렌티큘러 판(Lenticular Sheet)을 배치함으로써 좌우 2안상 또는 다안상을 분리하여 입체 영상을 구현하는 방식이다. 입체 광학부(270)를 통하여 좌우안용으로 분리된 영상을 보게 되므로 사용자는 입체 안경을 착용하지 않고도 입체 영상을 관찰할 수 있게 된다.

또한, 입체 광학부(270)는 편광 방식과 시분할 방식에 따라 2차원 영상을 좌우안용 입체 영상으로 분리함으로써, 입체 안경용 입체 영상을 생성할 수도 있다.

도 3은 본 발명의 실시예에 따른 영상 보정부를 나타낸 블록도로서, 영상 보정부(240)는 워핑 매트릭스 추출부(241), 워핑 매트릭스 생성부(242) 및 워핑 수행부(243)를 포함하여 구성된다.

워핑 매트릭스 생성부(242)는 사용자의 위치 변화량에 대한 워핑 매트릭스를 생성한다. 워핑 매트릭스의 구성 성분은 사용자의 최초 위치에서의 기본 벡터에 대한 사용자의 움직임에 따른 동작 벡터가 포함된 것으로서, 사용자가 입체 영상을 바라보는 방향 및 동작 방향에 따라 그 값들이 달라진다.

생성된 워핑 매트릭스는 사용자의 위치 변화량에 대응되어 저장부(230)에 저장될 수 있다. 워핑 매트릭스에 대한 자세한 설명은 도 4를 통하여 후술하기로 한다.

워핑 수행부(243)는 워핑 매트릭스를 이용하여 입력된 영상에 포함된 양안 영상의 워핑을 수행하는 역할을 한다. 즉, 양안 영상의 워핑 벡터를 계산하여 영상을 보정하는 것이다. 여기서, 워핑 매트릭스는 워핑 매트릭스에 의하여 생성된 것일 수 있고, 저장부(230)에 저장된 것일 수도 있다. 즉, 워핑 수행부(243)는 저장부(230)에 저장된 워핑 매트릭스 중 사용자의 위치 변화량에 대한 워핑 매트릭스에 대응하는 것을 이용하여 워핑을 수행할 수 있는 것이다.

워핑 매트릭스 추출부(241)는 사용자의 위치 변화량에 대응하여 저장된 워핑 매트릭스를 추출하는 역할을 한다. 워핑 매트릭스 추출부(241)는 대응하는 워핑 매트릭스가 저장부(230)에 저장되어 있으면 이를 추출하여 워핑 수행부(243)로 전달하고, 대응하는 워핑 매트릭스가 저장부(230)에 저장되어 있지 않으면 워핑 매트릭스 생성부(242)로 제어권을 전달하여 입력된 사용자의 위치 변화량에 대응하는 워핑 매트릭스가 생성되도록 한다.

도 4a 내지 도 4b는 본 발명의 실시예에 따른 영상의 보정을 나타낸 개념도로서, 사용자의 최초 위치(400a)에서의 기본 벡터(410a, 420a, 430a)와 사용자의 움직임에 따른 동작 벡터(410b, 420b, 430b)를 나타내고 있다.

도 4a에서 C₁은 사용자의 최초 위치(400a)를 나타내고,

(410a) 및

(420a) 는 사용자의 좌우 또는 상하 방향에 대한 기본 벡터를 나타내며,

(430a) 는 디스플레이부(260)의 좌측상단을 향하는 사용자의 시선에 대한 기본 벡터를 나타낸다.

여기서, 입체 영상 장치(200)에 의하여 디스플레이되는 영상은 깊이가 있는 입체 영상으로서, C₁ 지점(400a)에서 물체 X(490)는 디스플레이 영역상에서 A₁ 지점(450a)에 매핑된다.

한편, 사용자가 위치를 변경하여 도 4b의 C₂ 지점(400b)으로 이동함에 따라 물체 X(490)는 디스플레이 영역상에서 A₂ 지점(450b)에 매핑되고 이에 따라, 영상 왜곡 현상이 발생한다. 따라서, 본 발명의 영상 보정부(240)는 A₁ 지점(450a)의 영상을 A₂ 지점(450b)으로 이동시켜주는 즉, 인위적인 왜곡을 수행하여 영상 왜곡 현상을 완화시킨다.

도 4b에서

(410b) 및

(420b) 는 사용자의 좌우 또는 상하 방향에 대한 동작 벡터를 나타내고,

(430b)는 디스플레이부(260)의 좌측상단을 향하는 사용자의 시선에 대한 동작 벡터를 나타낸다.

워핑 매트릭스 W를 수학식으로 표현하면 다음과 같다.

여기서, 워핑 매트릭스의 각 성분을 수학식으로 표현하면 다음과 같다.

위 수학식에 서술된 바와 같이, 워핑 매트릭스의 각 성분은 사용자의 위치 변화의 크기 및 방향에 따라 그 값이 달라지는 것을 알 수 있다.

한편, 디스플레이 영역상에 디스플레이되는 영상의 최초 좌표를 (u ₁, v ₁)라고 할 때, 사용자의 이동에 따른 디스플레이 영역상에서의 불균형을

라고 하면, 사용자의 위치 변화량은 다음 수학식으로 표현될 수 있다.

여기서,

는 사용자의 위치 변화 이후의 불균형을 의미하고, C _1x 및 C _2x는 각각 수평 방향에 대한 사용자의 최초 위치 및 이후 위치를 나타낸다.

그리고, 사용자의 위치 변화 이전의 불균형을

라고 할 때,

즉, 사용자의 위치 변화량이 소정 임계치를 초과하면 영상 보정부(240)는 수학식 2의 워핑 매트릭스를 이용하여 영상 보정을 수행한다. 여기서,

는 0으로 간주될 수 있으므로 결국,

가 임계치를 초과하는지에 따라 영상 보정 여부가 결정된다. 임계치는 디스플레이부(260)의 디스플레이 성능에 따라 달라지며 사용자에 의하여 결정될 수도 있다.

수학식 3에서, 사용자의 위치 변화량은 수평 방향에 대해서만 고려되었으나 수직 방향 및 입체 영상 장치(200)와 사용자간의 거리도 고려되어 사용자의 위치 변화량이 산출될 수도 있음은 물론이다.

이에 따라, 사용자의 위치 변화에 따라 결정되는 영상의 좌표를 (u ₂, v ₂)라고 할 때, 이를 수학식으로 표현하면 다음과 같다.

사용자의 위치에 따른 영상을 디스플레이하기 위하여 입체 영상 장치(200)의 위치 감지부(210)는 우선 사용자의 위치를 감지한다(S510). 위치 감지부(210)는 적외선 카메라, 디지털 카메라 또는 초음파 송수신기와 같은 위치 감지 수단을 이용하여 사용자의 위치를 감지한다.

감지된 위치는 변화량 측정부(220)로 전달되는데, 변화량 측정부(220)는 사용자의 위치에 대한 변화량을 측정하고(S520), 측정된 사용자의 위치 변화량이 소정 임계치를 초과하는지 확인한다(S530).

그리고, 사용자의 위치 변화량이 소정 임계치를 초과하는 경우 사용자의 동작 벡터

는 영상 보정부(240)로 전달되고, 위치 변화량이 소정 임계치 미만인 경우 작업은 종료된다. 임계치는 디스플레이부(260)의 디스플레이 성능에 따라 달라지며 사용자에 의하여 결정될 수도 있다.

사용자의 동작 벡터를 전달받은 영상 보정부(240)는 워핑 매트릭스를 이용하여 영상을 보정한다(S540). 즉, 사용자의 수직 및 수평 변화량에 따른 워핑 벡터를 계산하여 영상을 보정하는 것으로서, 영상 보정부(240)에 의하여 이용되는 워핑 매트릭스는 사용자의 기본 벡터 및 동작 벡터를 근거로 생성된 것일 수 있으며, 저장부(230)에 저장된 것일 수 있다. 즉, 영상 보정부(240)는 사용자의 위치 변화량에 대응되는 워핑 매트릭스가 저장부(230)에 저장되어 있는지 우선 검색한 후, 저장된 워핑 매트릭스가 있으면 이를 이용하여 영상 보정을 수행하고, 저장된 워핑 매트릭스가 없으면 전달받은 동작 벡터를 이용하여 워핑 매트릭스를 생성하는 것이다.

그리고, 생성된 워핑 매트릭스는 사용자의 위치 변화량에 대응되어 저장부(230)에 저장될 수 있다.

보정된 영상은 디스플레이부(260)로 전달되고, 디스플레이부(260)는 보정된 영상을 디스플레이한다(S550). 여기서, 디스플레이부(260)에 의하여 디스플레이되는 영상은 2차원 영상으로서, 3차원 영상으로의 변환을 위한 2차원 영상일 수 있다.

디스플레이된 영상은 입체 광학부(270)로 전달되고, 입체 광학부(270)는 전달받은 2차원 영상을 3차원 입체 영상으로 변환한다(S560). 입체 광학부(270)는 패럴랙스 배리어(Parallax Barrier) 방식, 렌티큘러(Lenticular) 방식, 편광 방식 또는 시분할 방식을 이용하여 디스플레이된 2차원 영상을 3차원 입체 영상으로 변환하는데, 이에 따라 사용자는 방식 별로 입체 안경을 착용하거나 미착용 상태에서 보정된 2차원 영상에 대한 3차원 입체 영상을 감상할 수 있게 된다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 사용자의 위치 벡터를 추출하고 추출된 위치 벡터에 따라 사용자의 양안에 입사되는 영상을 왜곡(warping)하여 사용자에게 적합한 입체 영상을 제공함으로써 입체 영상을 시각적으로 인식함에 있어서 느껴지는 불편함을 감소시키는 장점이 있다.

둘째, 종래의 영상 디스플레이 시스템에 입체 영상을 구현하는 별도의 수단을 부가시킴으로써 시스템의 전반적인 수정을 최소화하고 비용을 절감할 수 있는 장점도 있다.

Claims

사용자의 위치를 감지하는 위치 감지부;

상기 위치에 대한 변화량을 측정하는 변화량 측정부;

상기 변화량이 소정 임계치를 초과하는 경우, 입력된 영상을 보정하는 영상 보정부; 및

상기 보정된 영상을 디스플레이하는 디스플레이부를 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 변화량 측정부는 상기 사용자와의 거리 및 상기 사용자의 상하좌우 이동량을 측정하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 영상 보정부는 상기 변화량에 대한 워핑 매트릭스(Warping Matrix)를 생성하는 워핑 매트릭스 생성부; 및

상기 워핑 매트릭스를 이용하여 상기 입력된 영상에 포함된 양안 영상의 워핑을 수행하는 워핑 수행부를 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
제 3항에 있어서,

상기 워핑 수행부는 저장된 워핑 매트릭스 중 상기 변화량에 대한 워핑 매트릭스에 대응하는 워핑 매트릭스를 추출하여 상기 워핑을 수행하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
제 4항에 있어서,

상기 변화량에 대한 워핑 매트릭스에 대응하는 워핑 매트릭스를 추출하는 워핑 매트릭스 추출부를 더 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
제 3항에 있어서,

상기 변화량에 대응시켜 상기 워핑 매트릭스를 저장하는 저장부를 더 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
제 1항에 있어서,

상기 디스플레이된 영상을 3차원 입체 영상으로 변환하는 입체 광학부를 더 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
제 7항에 있어서,

상기 입체 광학부는 패럴랙스 배리어(Parallax Barrier) 방식, 렌티큘러 (Lenticular) 방식, 편광 방식 또는 시분할 방식을 이용하여 상기 디스플레이된 영상을 3차원 입체 영상으로 변환하는 사용자의 위치에 따른 영상을 디스플레이하는 장치.
사용자의 위치를 감지하는 단계;

상기 위치에 대한 변화량을 측정하는 단계;

상기 변화량이 소정 임계치를 초과하는 경우, 입력된 영상을 보정하는 단계; 및

상기 보정된 영상을 디스플레이하는 단계를 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.
제 9항에 있어서,

상기 변화량을 측정하는 단계는 상기 사용자와의 거리 및 상기 사용자의 상하좌우 이동량을 측정하는 단계를 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.
제 9항에 있어서,

상기 영상을 보정하는 단계는 상기 변화량에 대한 워핑 매트릭스(Warping Matrix)를 생성하는 단계; 및

상기 워핑 매트릭스를 이용하여 상기 입력된 영상에 포함된 양안 영상의 워 핑을 수행하는 단계를 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 워핑을 수행하는 단계는 저장된 워핑 매트릭스 중 상기 변화량에 대한 워핑 매트릭스에 대응하는 워핑 매트릭스를 추출하여 상기 워핑을 수행하는 단계를 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.
제 12항에 있어서,

상기 변화량에 대한 워핑 매트릭스에 대응하는 워핑 매트릭스를 추출하는 단계를 더 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.
제 11항에 있어서,

상기 변화량에 대응시켜 상기 워핑 매트릭스를 저장하는 단계를 더 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.
제 9항에 있어서,

상기 디스플레이된 영상을 3차원 입체 영상으로 변환하는 단계를 더 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.
제 15항에 있어서,

상기 디스플레이된 영상을 3차원 입체 영상으로 변환하는 단계는 패럴랙스 배리어(Parallax Barrier) 방식, 렌티큘러(Lenticular) 방식, 편광 방식 또는 시분할 방식을 이용하여 상기 디스플레이된 영상을 3차원 입체 영상으로 변환하는 단계를 포함하는 사용자의 위치에 따른 영상을 디스플레이하는 방법.