[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20120075829A - 적응적 부화소 렌더링 장치 및 방법 - Google Patents

적응적 부화소 렌더링 장치 및 방법 Download PDF

Info

Publication number
KR20120075829A
KR20120075829A KR1020100137698A KR20100137698A KR20120075829A KR 20120075829 A KR20120075829 A KR 20120075829A KR 1020100137698 A KR1020100137698 A KR 1020100137698A KR 20100137698 A KR20100137698 A KR 20100137698A KR 20120075829 A KR20120075829 A KR 20120075829A
Authority
KR
South Korea
Prior art keywords
user
subpixel
pixel
eye
eyes
Prior art date
Application number
KR1020100137698A
Other languages
English (en)
Other versions
KR101675961B1 (ko
Inventor
박주용
성기영
남동경
김윤태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100137698A priority Critical patent/KR101675961B1/ko
Priority to US13/333,368 priority patent/US9270981B2/en
Publication of KR20120075829A publication Critical patent/KR20120075829A/ko
Application granted granted Critical
Publication of KR101675961B1 publication Critical patent/KR101675961B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

라이트 필드 디스플레이에서의 렌더링 장치 및 방법이 제공된다. 렌더링 장치는 사용자 눈의 위치를 결정하고, 사용자 눈의 위치에 기초하여 3D 화소를 구성하는 부화소들 중에서 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정할 수 있다. 그리고, 결정된 부화소에 해당하는 부화소의 화소값에 기초하여 입체 영상을 라이트 필드 디스플레이에 표시할 수 있다.

Description

적응적 부화소 렌더링 장치 및 방법{Apparatus and Method for Rendering Subpixel Adaptively}
아래의 실시예들은 범용적인 디스플레이, 이를테면 TV, 모니터, 휴대형 디바이스의 디스플레이, 광고용 디스플레이 및 교육용 디스플레이 분야 등에 관한 것이며, 보다 특정하게는 입체 시청에 따른 피로 없이 입체 영상을 재현, 표시하기 위한 라이트 필드 디스플레이(Light Field Display)에서의 부화소 렌더링 기술에 관한 것이다.
3D(3-dimensional) 영상 디스플레이 장치는 사람의 좌안(left eye)과 우안(right eye)에 시점 차이를 반영한 서로 다른 영상을 제공하여 입체감을 느끼게 하는 영상 디스플레이 장치이다.
3D 영상 디스플레이 장치에는, 안경식 방식과, 무안경식 방식이 존재한다. 안경식 방식은 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 이용하여 원하는 영상을 필터링하는 방식이다. 그리고, 무안경식 방식은 패럴랙스 베리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens)를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 방식이다.
특히, 무안경식 방식에는 다시점(Multiview) 방식 및 라이트 필드(Light Field) 방식이 존재한다. 라이트 필드 방식은 일정한 공간에 존재하는 점들에서 여러 방향으로 발생하는 빛을 그대로 표현하는 방식이다.
이러한, 라이트 필드 방식은, 여러 방향의 빛을 나타내는 광선들을 충분히 확보하지 못한 경우, 입체 영상을 표현하는 데 어려움이 존재한다. 그런데, 광선 수가 증가함에 따라 해상도가 저하된다.
또한, 광선들 간의 간격이 일정 수준 이하로 좁지 않은 경우, 자연스러운 운동 시차를 구현하기 어렵다. 그런데, 광선들 간의 간격을 일정 수준 이하로 유지하면서 시청 영역을 넓히기 위해서는 광선 수가 증가되어야 한다. 그러면, 해상도는 다시 저하될 수 있다.
따라서, 라이트 필드 디스플레이에서 해상도 저하를 억제하면서 시청 영역을 넓힐 수 있는 렌더링 기술이 필요하다.
본 렌더링 장치는, 사용자 눈의 위치를 결정하는 위치 결정부, 및 3D 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 부화소 결정부를 포함할 수 있다.
또한, 상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 콘텐츠 결정부, 및 상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 화소값 결정부를 더 포함할 수 있다.
또한, 상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 크로스토크 처리부를 더 포함할 수 있다.
또한, 상기 사용자 눈의 위치를 촬영하는 적어도 하나의 카메라를 더 포함할 수 있다.
또한, 상기 부화소 결정부는, 상기 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정할 수 있다.
본 부화소 렌더링 방법은, 사용자 눈의 위치를 결정하는 단계, 및 3D 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 단계를 포함할 수 있다.
또한, 상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 단계, 및 상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 단계를 더 포함할 수 있다.
또한, 적어도 하나의 카메라를 이용하여 상기 사용자 눈의 위치를 촬영하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 사용자 눈의 위치에 기초하여 결정된 부화소를 이용하여 입체 영상을 표시함에 따라 해상도 저하를 억제하면서 시청 영역을 넓힐 수 있다.
또한, 사용자의 눈이 응시하지 않는 불필요한 광선들을 표시하지 않음으로써, 크로스토크(crosstalk)를 제거 또는 감소시킬 수 있다.
도 1은 카메라와 연동하여 사용자 눈의 위치에 대응하는 부화소를 결정하는 렌더링 장치의 전반적인 동작을 설명하기 위해 제공되는 도면이다.
도 2는 3D(dimension)에서 여러 방향의 광선들을 생성하는 라이트 필드 디스플레이를 도시한 도면이다.
도 3은 수평 방향만 고려한 경우, 사용자의 양쪽 눈에 보이는 3D 화소 내의 광선을 표시한 도면이다.
도 4는 부화소 단위 12시점 디스플레이에서 각 시점의 밝기 분포를 도시한 도면이다.
도 5는 라이트 필드 디스플레이에 입체 영상을 표시하는 렌더링 장치의 세부 구성을 도시한 블록도이다.
도 6은 수평 방향 기울기 및 수직 방향 기울기를 계산하는 과정을 설명하기 위해 제공되는 도면이다.
도 7은 사용자 눈의 위치에 기초하여 결정된 부화소를 이용하여 입체 영상을 표시하는 렌더링 방법을 설명하기 위해 제공되는 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 카메라와 연동하여 사용자 눈의 위치에 대응하는 부화소를 결정하는 렌더링 장치의 전반적인 동작을 설명하기 위해 제공되는 도면이다.
도 1에 따르면, 라이트 필드 디스플레이 시스템은 카메라(110), 렌더링 장치(120), 및 라이트 필드 디스플레이(130)를 포함할 수 있다.
카메라(110)는 라이트 필드 디스플레이(130)를 응시하는 사용자 눈의 위치를 촬영할 수 있다. 일례로, 카메라(110)는 하나 이상의 가시 대역 카메라, 하나 이상의 적외선 카메라, 및 하나 이상의 깊이 카메라 중 적어도 하나를 포함할 수 있다. 이때, 카메라(110)는 라이트 필드 디스플레이(130)에 삽입되거나, 또는 탈부착될 수도 있다.
렌더링 장치(120)는 카메라를 통해 촬영된 사용자 눈의 위치에 기초하여 공간 좌표 상에서 사용자 눈의 위치 좌표값을 결정할 수 있다. 그리고, 렌더링 장치(120)는 사용자 눈의 위치 좌표값에 대응하는 부화소를 결정할 수 있다. 즉, 렌더링 장치(120)는 라이트 필드 디스플레이(130) 상에서 사용자 눈이 응시하고 있는 위치에 해당하는 부화소를 결정할 수 있다.
이어, 렌더링 장치(120)는 사용자 눈의 위치에 기초하여 라이트 필드 디스플레이(130)에 표시될 콘텐츠를 결정할 수 있다. 그리고, 렌더링 장치(120)는 결정된 콘텐츠와 결정된 부화소를 이용하여 부화소의 화소값을 결정할 수 있다. 그러면, 라이트 필드 디스플레이(130)는 부화소의 화소값에 따라 광선을 생성함으로써 입체 영상을 표시할 수 있다.
도 2는 3D(dimension)에서 여러 방향의 광선들을 생성하는 라이트 필드 디스플레이를 도시한 도면이다.
도 2에 따르면, 라이트 필드 디스플레이는 복수의 3D 화소들로 구성될 수 있다. 그리고, 하나의 3D(dimension) 화소(pixel)는 복수의 부화소(Subpixel)들로 구성될 수 있다.
일례로, 하나의 3D 화소는 15×4의 부화소들로 구성될 수 있다. 그러면, 3D 화소는 부화소들을 이용하여 15×4 방향의 광선들을 발생시킬 수 있다. 이에 따라, 3D 화소들이 모여서 3차원 공간 상의 점들이 라이트 필드 디스플레이에 표시될 수 있다.
도 3은 수평 방향만 고려한 경우, 사용자의 양쪽 눈에 보이는 3D 화소 내의 광선을 표시한 도면이다.
도 3에 따르면, 사용자의 양쪽 눈이 오브젝트(310)를 응시하고 있는 경우, 사용자의 왼쪽 눈(320)에 대응하는 3D 화소(340)는 여러 방향의 광선들을 발생시킬 수 있다. 마찬가지로, 사용자의 오른쪽 눈(330)에 대응하는 3D 화소(340)는 여러 방향의 광선들을 발생시킬 수 있다.
이때, 하나의 3D 화소(410)에서 사용자 눈에 보이는 광선을 고려한 경우, 도 4와 같이, 왼쪽 눈(420)는 주 시청 영역(main-area: 440) 내에 존재하나, 오른쪽 눈(430)는 보조 시청 영역(sub-area: 450) 내에 존재할 수 있다. 여기서, 보조 시청 영역은 주 시청 영역에 포함되는 광선들이 반복되는 영역이다.
이에 따라, 렌더링 장치는 하나의 3D 화소를 구성하는 부화소들 중에서 사용자의 왼쪽 눈 및 오른쪽 눈이 응시하는 부화소를 각각 결정하고, 결정된 각 부화소를 통해 자연스러운 입체 영상을 라이트 필드 디스플레이에 표시할 수 있다.
이하에서는, 사용자의 눈이 응시하는 부화소를 결정하는 상세한 구성을 도 5를 참조하여 설명하기로 한다. 도 5에서, 렌더링 장치는 사용자의 오른쪽 눈 및 사용자의 왼쪽 눈이 응시하고 있는 부화소를 각각 결정할 수 있다. 이때, 사용자의 오른쪽 눈이 응시하는 부화소를 결정하는 구성은 사용자의 왼쪽 눈이 응시하는 부화소를 결정하는 구성과 동일하다. 이에 따라, 이하에서는, 사용자의 양쪽 눈 중 어느 하나의 눈이 응시하는 부화소를 결정하는 구성에 대해 자세히 설명하기로 한다.
도 5는 라이트 필드 디스플레이에 입체 영상을 표시하는 렌더링 장치의 세부 구성을 도시한 블록도이다.
도 5에 따르면, 렌더링 장치(500)는 위치 결정부(520), 부화소 결정부(530), 콘텐츠 결정부(540), 화소값 결정부(550), 및 크로스토크 처리부(560)를 포함할 수 있다.
먼저, 카메라(510)는 사용자 눈의 위치를 촬영하여 렌더링 장치(500)로 전송할 수 있다.
일례로, 카메라(510)는 라이트 필드 디스플레이(570)를 응시하고 있는 사용자 눈의 위치를 촬영하고, 촬영한 사용자 눈의 위치에 대한 센싱 파라미터를 렌더링 장치(500)로 전송할 수 있다. 이때, 라이트 필드 디스플레이(570)에는 하나 이상의 카메라가 삽입 또는 부착될 수 있다.
그러면, 위치 결정부(520)는 카메라(510)로부터 수신한 센싱 파라미터에 기초하여 사용자 눈의 위치를 결정할 수 있다. 일례로, 위치 결정부(520)는, 센싱 파라미터에 기초하여 3차원 공간 상에서 사용자 눈의 위치 좌표값(x, y, z)을 결정할 수 있다.
이어, 부화소 결정부(530)는 라이트 필드 디스플레이(370)를 구성하는 3D 화소들 중 사용자 눈의 위치에 대응하는 3D 화소를 결정할 수 있다.
그리고, 부화소 결정부(530)는 3D 화소를 구성하는 부화소(Subpixel)들 중 사용자 눈이 응시하는 광선(ray)을 생성하는 부화소를 결정할 수 있다. 이때, 부화소 결정부(530)는 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정할 수 있다. 이에 따라, 렌더링 장치의 연산 속도를 향상시킬 수 있다
상세하게는, 부화소 결정부(530)는 사용자 눈과 3D 화소를 연결하는 가상 선의 수평 방향 정보 및 수직 방향 정보에 기초하여 부화소를 결정할 수 있다.
일례로, 방향 정보로 기울기가 이용되는 경우, 도 6 및 아래의 수학식 1과 같이, 부화소 결정부(530)는 사용자 눈의 위치 좌표와 3D 화소의 위치 좌표를 이용하여 가상 선의 수평 방향 기울기를 계산할 수 있다.
Figure pat00001
수학식 1에서, αi는 수평 방향 기울기, (x, z)는 수평 방향에 대한 눈의 위치 좌표, (ai, 0)는 수평 방향에 대한 3D 화소의 위치 좌표이다.
동일한 방법으로, 아래의 수학식 2와 같이, 부화소 결정부(530)는 사용자 눈의 위치 좌표와 3D 화소의 위치 좌표를 이용하여 가상 선의 수직 방향 기울기를 계산할 수 있다.
Figure pat00002
수학식 2에서, βi는 수직 방향 기울기, (y, z)는 수직 방향에 대한 눈의 위치 좌표, (0, bi,)는 수직 방향에 대한 3D 화소의 위치 좌표이다.
그러면, 부화소 결정부(530)는 3D 화소에서 발생하는 여러 방향의 광선들 중에서 수평 방향 기울기 및 수직 방향 기울기와 가장 가까운 광선을 선택하고, 선택된 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다. 이때, 부화소 결정부(530)는 사용자 눈이 응시하는 부화소의 위치 좌표를 결정할 수 있다.
일례로, 부화소 결정부(530)는 아래의 수학식 3을 이용하여 사용자 눈이 응시하는 부화소의 위치 좌표를 결정할 수 있다.
Figure pat00003
수학식 3에서, pi는 사용자 눈이 응시하는 부화소의 위치 좌표, αi는 수평 방향 기울기, βi는 수직 방향 기울기, fp는 부화소를 결정하는 데 이용되는 함수이다.
일례로, 도 2와 같이, 3D 화소에서 15×4 방향의 광선들이 발생하는 경우, 부화소 결정부(530)는 15×4 방향의 광선들 중에서 수평 방향 기울기 및 수직 방향 기울기와 광선의 기울기가 일치하거나 또는 가장 가까운 광선을 선택할 수 있다.
이때, 선택된 광선이 주 시청 영역에 존재하는 경우, 부화소 결정부(530)는 3D 화소를 구성하는 부화소들 중 선택한 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다.
그리고, 선택된 광선이 보조 시청 영역에 존재하는 경우, 부화소 결정부(530)는 보조 시청 영역에 대응하는 주 시청 영역의 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다. 예를 들어, 도 4와 같이, 왼쪽 눈이 응시하는 광선 3(460)은 주 시청 영역에 존재하고, 오른쪽 눈이 응시하는 광선 7(470)은 보조 시청 영역에 존재하는 경우, 부화소 결정부(530)는 보조 시청 영역에 대응하는 주 시청 영역의 광선 7(480)을 생성하는 부화소를 오른쪽 눈이 응시하는 부화소로 결정할 수 있다. 다시 말해, 렌더링 장치(500)는 광선 7(480)을 생성하는 부화소를 이용하여 오른쪽 눈이 응시하는 입체 영상을 표시할 수 있다.
콘텐츠 결정부(540)는 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 기울기 및 수직 방향 기울기에 기초하여 라이트 필드 디스플레이(570)에 표시될 콘텐츠를 결정할 수 있다. 이때, 입체 영상이 콘텐츠 단위로 구성된 경우, 콘텐츠 결정부(540)는 라이트 필드 디스플레이(570)에 표시될 콘텐츠의 인덱스를 결정할 수 있다.
일례로, 콘텐츠 결정부(540)는 아래의 수학식 4를 이용하여 콘텐츠를 결정할 수 있다.
Figure pat00004
수학식 4에서, ci는 콘텐츠의 인덱스, αi는 수평 방향 기울기, βi는 수직 방향 기울기, fc는 부화소를 결정하는 데 이용되는 함수이다.
화소값 결정부(550)는 결정된 콘텐츠 및 부화소를 이용하여 사용자의 눈이 응시하는 부화소의 화소값을 결정할 수 있다. 이때, 화소값 결정부(550)는 사용자의 왼쪽 눈 및 오른쪽 눈이 응시하는 부화소의 화소값을 각각 결정할 수 있다.
일례로, 화소값 결정부(550)는 아래의 수학식 5를 이용하여 부화소의 화소값을 결정할 수 있다.
Figure pat00005
수학식 5에서, V(pi)는 사용자 눈이 응시하는 부화소의 화소값, ci는 콘텐츠의 인덱스, pi는 사용자 눈이 응시하는 부화소의 위치 좌표이다.
수학식 5에 따르면, 화소값 결정부(550)는 결정된 콘텐츠에서 부화소의 위치 좌표에 해당하는 화소값을 사용자 눈이 응시하는 부화소의 화소값으로 결정할 수 있다.
그러면, 결정된 부화소는 부화소의 화소값에 따라 광선을 생성함으로써, 사용자 눈이 응시하는 입체 영상을 라이트 필드 디스플레이(570)에 표시할 수 있다.
이때, 크로스토크 처리부(560)는 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 제거 또는 감소시킬 수 있다. 여기서, 나머지 부화소들은 3D 화소를 구성하는 부화소들 중 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 부화소이다.
일례로, 크로스토크 처리부(560)는 나머지 부화소들의 화소값을 0으로 설정할 수 있다. 그러면, 라이트 필드 디스플레이(570)에는 나머지 부화소들에서 생성하는 광선들은 표시되지 않으면서, 사용자 눈이 응시하는 광선이 표시될 수 있다. 이에 따라, 마이크로 렌즈 어레이 또는 배리어 어레이(Barrier Array)에서 발생할 수 있는 크로스토크가 감소 또는 제거될 수 있다.
도 7은 사용자 눈의 위치에 기초하여 결정된 부화소를 이용하여 입체 영상을 표시하는 렌더링 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 710 단계에서, 렌더링 장치는 적어도 하나의 카메라로부터 수신한 센싱 데이터에 기초하여 사용자 눈의 위치를 결정할 수 있다.
이때, 카메라는 라이트 필드 디스플레이 앞에 위치하는 사용자 눈의 위치를 촬영하여 생성된 센싱 데이터를 렌더링 장치로 전송할 수 있다. 그러면, 렌더링 장치는 3차원 공간 상에서 사용자 눈의 위치 좌표값(x, y, z)을 결정할 수 있다. 일례로, 렌더링 장치는 사용자 왼쪽 눈의 위치 좌표값(xL, yL, zL) 및 사용자 오른쪽 눈의 위치 좌표값(xR, yR, zR)을 결정할 수 있다.
이어, 720 단계에서, 렌더링 장치는 결정된 사용자 눈의 위치에 기초하여 3D 화소를 구성하는 부화소(subpixel)들 중 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정할 수 있다. 이때, 렌더링 장치는 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소마다 병렬적으로 결정할 수 있다.
일례로, 렌더링 장치는 라이트 필드 디스플레이를 구성하는 복수의 3D 화소들 중 사용자 눈의 위치에 대응하는 3D 화소를 결정할 수 있다. 다시 말해, 렌더링 장치는 사용자 눈의 위치에 대응하는 3D 화소의 위치 좌표를 결정할 수 있다. 그리고, 렌더링 장치는 수학식 1에 따라 사용자 눈의 위치 좌표 및 3D 화소의 위치 좌표를 이용하여 가상 선의 수평 방향 기울기를 계산할 수 있다. 이어, 렌더링 장치는 수학식 2에 따라 사용자 눈의 위치 좌표 및 3D 화소의 위치 좌표를 이용하여 가상 선의 수직 방향 기울기를 계산할 수 있다. 그러면, 렌더링 장치는 위의 수학식 4에 따라, 3D 화소를 구성하는 부화소들 중 수평 방향 기울기 및 수직 방향 기울기와 가장 가까운 광선을 생성하는 부화소를 사용자 눈이 응시하는 부화소로 결정할 수 있다. 즉, 렌더링 장치는 사용자 눈이 응시하는 부화소의 위치 좌표를 결정할 수 있다.
그리고, 730 단계에서, 렌더링 장치는 수평 방향 정보 및 수직 방향 정보에 기초하여 라이트 필드 디스플레이에 표시될 콘텐츠를 결정할 수 있다. 일례로, 렌더링 장치는, 위의 수학식 4를 이용하여 콘텐츠를 결정할 수 있다.
이어, 740 단계에서, 렌더링 장치는 결정된 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정할 수 있다. 일례로, 렌더링 장치는 위의 수학식 5를 이용하여 부화소의 화소값을 결정할 수 있다.
그리고, 750 단계에서, 렌더링 장치는, 3D 화소를 구성하는 부화소들 중 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 제거 또는 감소시킬 수 있다. 여기서, 나머지 부화소들은 3D 화소를 구성하는 부화소들 중 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 부화소이다.
일례로, 렌더링 장치는, 나머지 부화소들의 화소값을 0으로 설정할 수 있다. 그러면, 라이트 필드 디스플레이(570)에는 나머지 부화소들에서 생성하는 광선들은 표시되지 않으면서, 사용자 눈이 응시하는 광선이 표시될 수 있다.
이상의 도 7에서, 720 내지 750 단계의 동작은 3D 화소마다 병렬적으로 수행될 수 있다.
일례로, 라이트 필드 디스플레이의 크기(size)가 1920×1080이고, 3D 화소의 크기가 10×10인 경우, 렌더링 장치는 192×108개의 연산 프로세스(process)를 이용하여 3D 화소 별로 사용자의 양 눈이 응시하는 광선을 생성하는 부화소를 병렬적으로 결정할 수 있다. 그리고, 렌더링 장치는 3D 화소 별로 결정된 부화소의 화소값에 기초하여 입체 영상을 라이트 필드 디스플레이에 재생할 수 있다. 이에 따라, 렌더링 장치는 연산 시간을 단축하여 입체 영상을 빨리 재생할 수 있다.
지금까지, 도 5 내지 도 7에서 설명한 바와 같이, 렌더링 장치 및 방법은 수학식 1 및 수학식 2를 이용하여 사용자의 오른쪽 눈 및 사용자의 왼쪽 눈이 응시하고 있는 부화소를 각각 결정할 수 있다. 이에 따라, 렌더링 장치 및 방법은 사용자의 오른쪽 눈이 응시하는 부화소에서 생성한 광선 및 사용자의 왼쪽 눈이 응시하는 부화소에서 생성한 광선을 이용하여 입체 영상을 라이트 필드 디스플레이에 표시할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
510: 카메라
520: 위치 결정부
530: 부화소 결정부
540: 콘텐츠 결정부
550: 화소값 결정부
560: 크로스토크 처리부
570: 라이트 필드 디스플레이

Claims (15)

  1. 사용자 눈의 위치를 결정하는 위치 결정부; 및
    3D(Dimension) 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 부화소 결정부
    를 포함하는 부화소 렌더링 장치.
  2. 제1항에 있어서,
    상기 부화소 결정부는,
    상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 장치.
  3. 제1항에 있어서,
    상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 콘텐츠 결정부; 및
    상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 화소값 결정부
    를 더 포함하는 부화소 렌더링 장치.
  4. 제1항에 있어서,
    상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 크로스토크 처리부
    를 더 포함하고,
    상기 나머지 화소들은, 상기 3D 화소를 구성하는 부화소들 중 상기 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 하나 이상의 부화소인 것을 특징으로 하는 부화소 렌더링 장치.
  5. 제1항에 있어서,
    상기 사용자 눈의 위치를 촬영하는 적어도 하나의 카메라
    를 더 포함하는 부화소 렌더링 장치.
  6. 제5항에 있어서,
    상기 위치 결정부는,
    상기 카메라를 통해 촬영된 눈의 위치를 이용하여 공간 좌표 상에서 사용자 눈의 위치 좌표값을 결정하고,
    상기 부화소 결정부는,
    라이트 필드(Light Field) 디스플레이에서 상기 사용자 눈의 위치 좌표값에 기초하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 장치.
  7. 제1항에 있어서,
    상기 부화소 결정부는,
    상기 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정하는 것을 특징으로 하는 부화소 렌더링 장치.
  8. 사용자 눈의 위치를 결정하는 단계; 및
    3D 화소를 구성하는 부화소들 중 상기 사용자 눈의 위치에 기초하여 사용자 눈이 응시하는 광선을 생성하는 부화소를 결정하는 단계
    를 포함하는 부화소 렌더링 방법.
  9. 제8항에 있어서,
    상기 부화소를 결정하는 단계는,
    상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 방법.
  10. 제8항에 있어서,
    상기 3D 화소와 사용자 눈을 연결하는 가상 선의 수평 방향 정보, 및 수직 방향 정보에 기초하여 라이트 필드(Light Field) 디스플레이에 표시될 콘텐츠를 결정하는 단계; 및
    상기 부화소 및 결정된 콘텐츠를 이용하여 부화소의 화소값을 결정하는 단계
    를 더 포함하는 부화소 렌더링 방법.
  11. 제8항에 있어서,
    상기 사용자 눈이 응시하는 광선을 생성하는 부화소와 나머지 부화소들 간의 크로스토크(crosstalk)를 감소시키는 단계
    를 더 포함하고,
    상기 나머지 화소들은, 상기 3D 화소를 구성하는 부화소들 중 상기 사용자 눈이 응시하는 광선을 생성하는 부화소를 제외한 하나 이상의 부화소인 것을 특징으로 하는 부화소 렌더링 방법.
  12. 제8항에 있어서,
    적어도 하나의 카메라를 이용하여 상기 사용자 눈의 위치를 촬영하는 단계
    를 더 포함하는 부화소 렌더링 방법.
  13. 제12항에 있어서,
    상기 사용자 눈의 위치를 결정하는 단계는,
    상기 카메라를 통해 촬영된 눈의 위치를 이용하여 공간 좌표 상에서 사용자 눈의 위치 좌표값을 결정하고,
    상기 부화소를 결정하는 단계는,
    라이트 필드(Light Field) 디스플레이에서 상기 사용자 눈의 위치 좌표값에 기초하여 상기 부화소를 결정하는 것을 특징으로 하는 부화소 렌더링 방법.
  14. 제8항에 있어서,
    상기 부화소를 결정하는 단계는,
    상기 사용자의 눈이 응시하는 광선을 생성하는 부화소를 3D 화소 별로 병렬적으로 결정하는 것을 특징으로 하는 부화소 렌더링 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020100137698A 2010-12-29 2010-12-29 적응적 부화소 렌더링 장치 및 방법 KR101675961B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100137698A KR101675961B1 (ko) 2010-12-29 2010-12-29 적응적 부화소 렌더링 장치 및 방법
US13/333,368 US9270981B2 (en) 2010-12-29 2011-12-21 Apparatus and method for adaptively rendering subpixel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100137698A KR101675961B1 (ko) 2010-12-29 2010-12-29 적응적 부화소 렌더링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120075829A true KR20120075829A (ko) 2012-07-09
KR101675961B1 KR101675961B1 (ko) 2016-11-14

Family

ID=46380375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100137698A KR101675961B1 (ko) 2010-12-29 2010-12-29 적응적 부화소 렌더링 장치 및 방법

Country Status (2)

Country Link
US (1) US9270981B2 (ko)
KR (1) KR101675961B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160021968A (ko) * 2014-08-18 2016-02-29 삼성전자주식회사 영상 처리 방법 및 장치
US9983406B2 (en) 2014-08-20 2018-05-29 Samsung Electronics Co., Ltd. Display apparatus and operating method of display apparatus

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953686B1 (ko) * 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
KR20140061098A (ko) * 2012-11-13 2014-05-21 엘지전자 주식회사 영상표시장치, 및 그 동작방법
RU2013118993A (ru) * 2013-04-23 2013-09-10 Александр Николаевич Лукоянов Способ реализации адаптивного видео
KR102281690B1 (ko) 2014-12-01 2021-07-26 삼성전자주식회사 3 차원 이미지 생성 방법 및 장치
KR102333267B1 (ko) 2014-12-10 2021-12-01 삼성전자주식회사 눈 위치 예측 장치 및 방법
EP3185550A1 (en) 2015-12-23 2017-06-28 Thomson Licensing Tridimensional rendering with adjustable disparity direction
EP3220351A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
CN113014906B (zh) 2016-04-12 2023-06-30 奎蒂安特有限公司 3d场景重建方法、系统及计算机程序存储介质
CN106154567B (zh) * 2016-07-18 2018-12-04 北京邮电大学 一种三维光场显示系统的成像方法及装置
CN119135920A (zh) 2018-05-02 2024-12-13 奎蒂安特有限公司 用于处理具有几乎无限细节的场景的编解码器
US10623714B2 (en) * 2018-05-24 2020-04-14 Innolux Corporation Stereoscopic display device and method for operating using pixel offset map
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112698A (ko) * 2007-02-13 2009-10-28 삼성전자주식회사 방향성 표시 장치 및 표시 시스템용 서브픽셀 레이아웃 및 서브픽셀 렌더링 방법
KR20100102116A (ko) * 2007-11-15 2010-09-20 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 영상정보를 오토스테레오스코픽 방식으로 표현할 수 있는 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677569B1 (ko) 2004-12-13 2007-02-02 삼성전자주식회사 입체영상장치
JP5006587B2 (ja) 2006-07-05 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像提示装置および画像提示方法
KR100910922B1 (ko) 2007-11-30 2009-08-05 한국전자통신연구원 시청 거리에 따라 가변하는 다층형 배리어 구동 장치 및방법
US8179479B2 (en) * 2008-06-09 2012-05-15 Himax Media Solutions, Inc. Method for separating luminance and chrominance of composite TV analog signal
KR100976141B1 (ko) 2008-12-26 2010-08-16 광운대학교 산학협력단 깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법
TWI459796B (zh) * 2009-12-29 2014-11-01 Ind Tech Res Inst 產生多視角三維立體影像的方法及其裝置
US20110181587A1 (en) * 2010-01-22 2011-07-28 Sony Corporation Image display device having imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112698A (ko) * 2007-02-13 2009-10-28 삼성전자주식회사 방향성 표시 장치 및 표시 시스템용 서브픽셀 레이아웃 및 서브픽셀 렌더링 방법
KR20100102116A (ko) * 2007-11-15 2010-09-20 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 영상정보를 오토스테레오스코픽 방식으로 표현할 수 있는 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160021968A (ko) * 2014-08-18 2016-02-29 삼성전자주식회사 영상 처리 방법 및 장치
US9983406B2 (en) 2014-08-20 2018-05-29 Samsung Electronics Co., Ltd. Display apparatus and operating method of display apparatus
US10185145B2 (en) 2014-08-20 2019-01-22 Samsung Electronics Co., Ltd. Display apparatus and operating method of display apparatus

Also Published As

Publication number Publication date
KR101675961B1 (ko) 2016-11-14
US20120169724A1 (en) 2012-07-05
US9270981B2 (en) 2016-02-23

Similar Documents

Publication Publication Date Title
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN106170084B (zh) 多视点图像显示设备及其控制方法及多视点图像产生方法
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
KR102492971B1 (ko) 3차원 이미지를 생성하기 위한 방법 및 장치
TWI665905B (zh) 立體影像產生方法、成像方法與系統
JP5366547B2 (ja) 立体視表示装置
KR20130061042A (ko) 부화소를 렌더링하는 영상 처리 장치 및 방법
JP6060329B2 (ja) ３ｄディスプレイ装置で３次元映像を視覚化する方法および３ｄディスプレイ装置
EP2728888A2 (en) Multi-view display apparatus and image processing therefor
JP2011210027A (ja) 画像処理装置および方法並びにプログラム
JP2006042298A (ja) 立体視画像作成方法および装置
KR101289544B1 (ko) 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체
US11310487B1 (en) Frustum change in projection stereo rendering
KR20160021968A (ko) 영상 처리 방법 및 장치
JP5476910B2 (ja) 画像生成装置、画像生成方法、および、プログラム
KR20140073584A (ko) 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램
JP2008085503A (ja) 三次元画像処理装置、方法、プログラム及び三次元画像表示装置
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
US20060066718A1 (en) Apparatus and method for generating parallax image
US8849012B2 (en) Image processing apparatus and method and computer readable medium having a program for processing stereoscopic image
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101229

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150518

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20101229

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160425

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160808

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161108

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161109

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201020

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221020

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20231017

Start annual number: 8

End annual number: 8