KR20200116318A

KR20200116318A - 홀로그램 영상 데이터를 처리하는 장치 및 방법

Info

Publication number: KR20200116318A
Application number: KR1020190037966A
Authority: KR
Inventors: 김호정; 김기철; 김용규
Original assignee: 삼성전자주식회사; 서울시립대학교 산학협력단
Priority date: 2019-04-01
Filing date: 2019-04-01
Publication date: 2020-10-12
Also published as: EP3719581A1; EP3719581B1; CN111800621B; CN111800621A; US20200311865A1; US11232538B2

Abstract

프로세서의 연산량을 크게 증가시키지 않으면서 홀로그램 영상의 화질을 향상시킬 수 있는 홀로그램 영상 데이터를 처리하는 영상 처리 방법 및 영상 처리 장치가 개시된다. 개시된 영상 처리 장치는, 수신된 영상 데이터에 대해 푸리에 연산을 수행하여 제 1 데이터를 생성하고, 상기 푸리에 연산 후의 제 1 데이터에 대해 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하고, 상기 푸리에 연산 후의 제 1 데이터와 상기 프리즘 페이즈 연산 후의 제 2 데이터를 더하여 제 3 데이터를 생성하고, 상기 제 3 데이터를 기초로 인코딩을 수행한다.

Description

홀로그램 영상 데이터를 처리하는 장치 및 방법 {Apparatus and method for processing hologram image data}

개시된 실시예들은 홀로그램 영상 데이터를 처리하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 프로세서의 연산량을 크게 증가시키지 않으면서 홀로그램 영상의 화질을 향상시킬 수 있는 홀로그램 영상 데이터를 처리하는 장치 및 방법에 관한 것이다.

3차원 영상을 구현하는 방식으로서 안경 방식과 무안경 방식이 널리 상용화되어 사용되고 있다. 안경 방식에는 편광 안경 방식과 셔터 안경 방식이 있으며, 무안경 방식에는 렌티큘러 방식과 패럴랙스 배리어 방식이 있다. 이러한 방식들은 두 눈의 양안시차(binocular parallax)를 이용하는 것으로, 시점 수의 증가에 한계가 있을 뿐만 아니라, 뇌에서 인식하는 깊이감과 눈의 초점이 일치하지 않아서 시청자로 하여금 피로감을 느끼게 한다.

뇌에서 인식하는 깊이감과 눈의 초점이 일치하고 완전 시차(full parallax)를 제공할 수 있는 3차원 영상 디스플레이 방식으로서, 최근 홀로그래픽 디스플레이 방식이 점차 실용화되고 있다. 홀로그래픽 디스플레이 방식은, 원본 물체로부터 반사된 물체광과 참조광을 간섭시켜 얻은 간섭무늬를 기록한 홀로그램 패턴에 참조광을 조사하여 회절시키면, 원본 물체의 영상이 재생되는 원리를 이용하는 것이다. 현재 실용화되고 있는 홀로그래픽 디스플레이 방식은 컴퓨터로 계산된 컴퓨터 생성 홀로그램(computer generated hologram; CGH)을 전기적 신호로서 공간 광변조기에 제공한다. 입력된 CGH 신호에 따라 공간 광변조기가 홀로그램 패턴을 디스플레이하여 조명광을 회절시킴으로써 3차원 영상이 생성될 수 있다.

CGH를 생성하기 위하여 영상 데이터 처리 장치는 홀로그램 평면의 각 위치에 대한 홀로그램 값을 연산하는데, 그 연산량이 매우 방대하다. 따라서, 영상 데이터 처리가 수행될 때, 많은 연산량으로 인해 많은 시간이 소요된다. 이에 따라, 영상 데이터 처리가 수행될 때, 연산량 및 시간을 줄이기 위한 다양한 방법들이 시도되고 있다.

프로세서의 연산량을 크게 증가시키지 않으면서 홀로그램 영상의 화질을 향상시킬 수 있는 홀로그램 영상 데이터를 처리하는 영상 처리 방법 및 영상 처리 장치가 제공된다.

또한, 상기 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

일 실시예에 따르면, 영상을 수신하는 수신기; 및 수신된 영상 데이터에 대해 푸리에 연산을 수행하여 제 1 데이터를 생성하고, 상기 푸리에 연산 후의 제 1 데이터에 대해 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하고, 상기 푸리에 연산 후의 제 1 데이터와 상기 프리즘 페이즈 연산 후의 제 2 데이터를 더하여 제 3 데이터를 생성하고, 상기 제 3 데이터를 기초로 인코딩을 수행하도록 구성된 프로세서;를 포함하는 영상 처리 장치가 제공된다.

예를 들어, 상기 프로세서는 상기 제 1 데이터의 실수부의 절대값과 상기 제 2 데이터의 실수부를 합산하여 상기 제 3 데이터를 생성하도록 구성될 수 있다.

일 실시예에서, 상기 영상 처리 장치는 상기 프로세서가 프리즘 페이즈 연산을 수행하는 동안 상기 제 1 데이터를 저장하도록 구성된 메모리를 더 포함하며, 상기 프로세서는 상기 제 3 데이터를 생성할 때 상기 메모리에 저장된 제 1 데이터 중에서 실수부를 출력하여 출력된 제 1 데이터의 실수부의 절대값을 계산하도록 구성될 수 있다.

다른 실시예에서, 상기 영상 처리 장치는 상기 프로세서가 프리즘 페이즈 연산을 수행하는 동안 상기 제 1 데이터의 실수부의 절대값을 저장하도록 구성된 메모리를 더 포함하며, 상기 프로세서는 상기 제 3 데이터를 생성할 때 상기 메모리에 저장된 제 1 데이터의 실수부의 절대값을 출력하도록 구성될 수 있다.

예를 들어, 상기 프로세서는 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하기 위하여 상기 제 1 데이터에 프리즘 페이즈 필터 값을 곱하도록 구성될 수 있다.

예를 들어, 상기 제 1 데이터를 복소수 x + jy로 표현하고 상기 프리즘 페이즈 연산을 위한 프리즘 페이즈 필터 값을 복소수 z + jw로 표현할 때, 상기 제 2 데이터는 복소수 (xz - yw) + j(xw + yz)로 표현되며, 상기 제 3 데이터는 (xz - yw) + |x|로 표현될 수 있다.

예를 들어, 상기 프리즘 페이즈 필터 값의 절대값 |z + jw|은 1일 수 있다.

예를 들어, 상기 프로세서는 상기 제 3 데이터를 n 비트 무부호 정수 값들로 인코딩하도록 구성될 수 있으며, 여기서 n은 자연수이다.

또한, 상기 프로세서는 푸리에 연산을 통해 상기 제 1 데이터를 생성하기 위하여, 영상이 디스플레이될 디스플레이와 관찰자의 동공 사이의 거리에 기초하여 수행되는 제 1 푸리에 연산을 수행하고, 포커스 텀 연산 및 깊이 정합을 수행하고, 관찰자의 동공과 망막 사이의 거리에 기초하여 수행되는 제 2 푸리에 연산을 수행하도록 구성될 수 있다.

일 실시예에서, 상기 프로세서는, 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 상기 제 1 데이터 내지 제 3 데이터를 생성하고, 상기 인코딩을 수행하기 전에 좌안용 영상 데이터와 우안용 영상 데이터를 정합하도록 구성될 수 있다.

다른 실시예에서, 상기 프로세서는, 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 상기 제 1 데이터를 생성하고, 상기 제 2 데이터 및 제 3 데이터를 생성하기 전에 좌안용 영상 데이터와 우안용 영상 데이터를 정합하도록 구성될 수 있다.

또 다른 실시예에 따르면, 영상 데이터를 수신하는 단계; 수신된 영상 데이터에 대해 푸리에 연산을 수행하여 제 1 데이터를 생성하는 단계; 상기 푸리에 연산 후의 제 1 데이터에 대해 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하는 단계; 상기 푸리에 연산 후의 제 1 데이터와 상기 프리즘 페이즈 연산 후의 제 2 데이터를 더하여 제 3 데이터를 생성하는 단계; 및 상기 제 3 데이터를 기초로 인코딩을 수행하는 단계;를 포함하는 영상 처리 방법이 제공된다.

개시된 실시예에 따르면, 프리즘 페이즈 연산 후의 결과에 푸리에 연산 후의 결과를 단순히 더하여 인코딩하는 것만으로 홀로그램 영상의 화질이 향상될 수 있다. 개시된 실시예에 따르면, 프리즘 페이즈 연산 후의 결과에서 단지 실수부 값만으로 인코딩하는 제 1 비교예의 인코딩 방식에 비하여 더 많은 영상 정보를 제공하기 때문에 재생되는 홀로그램 영상의 휘도와 대비도가 향상될 수 있다. 또한, 개시된 실시예에 따르면, 프리즘 페이즈 연산 후의 결과에서 허수부의 값을 반영하기 위해 각각의 화소 데이터에 대해 2번의 제곱 연산과 1번의 제곱근을 수행하는 종래의 제 2 비교예의 인코딩 방식에 비하여 연산량을 크게 줄일 수 있다.

도 1은 일 실시예에 따른 홀로그램 영상 데이터를 처리하는 영상 처리 장치의 구성을 개략적으로 보이는 블록도이다.
도 2는 도 1에 도시된 영상 처리 장치에서 홀로그램 영상 데이터를 처리하는 영상 처리 과정을 나타내는 흐름도이다.
도 3은 푸리에 연산 과정을 보다 상세히 보이는 흐름도이다.
도 4는 푸리에 연산 과정에서 입력 영상 데이터를 변환하는 과정의 일 예를 보인다.
도 5는 푸리에 연산 과정에서 입력 영상 데이터를 변환하는 과정의 다른 예를 보인다.
도 6은 디스플레이 장치의 다수의 화소에 각각 대응하는 복소 영상 데이터들에 대한 푸리에 연산 후의 결과 값을 복소평면 상에 표시한 예를 보이는 그래프이다.
도 7은 디스플레이 장치의 다수의 화소에 각각 대응하는는 복소 영상 데이터들에 대한 푸리에 연산 후의 결과 값들의 시프트 방향 분포를 예시적으로 보이는 그래프이다.
도 8a는 재생되는 홀로그램 영상의 화질을 향상시키기 위한 일 실시예에 따른 인코딩 방법을 예시적으로 보이는 흐름도이다.
도 8b는 재생되는 홀로그램 영상의 화질을 향상시키기 위한 다른 실시예에 따른 인코딩 방법을 예시적으로 보이는 흐름도이다.
도 9는 다른 실시예에 따른 홀로그램 영상 데이터를 처리하는 영상 처리 장치의 구조를 개략적으로 보이는 블록도이다.

이하, 첨부된 도면들을 참조하여, 홀로그램 영상 데이터를 처리하는 장치 및 방법에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 또한 이하에서 설명하는 층 구조에서, "상부" 또는 "상"이라고 기재된 표현은 접촉하여 바로 위/아래/좌/우에 있는 것뿐만 아니라 비접촉으로 위/아래/좌/우에 있는 것도 포함할 수 있다.

여기에서 사용된 용어들은 실시예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 상세한 설명 부분에서 그 의미를 기재할 것이다. 따라서 여기에서 사용되는 용어들은 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 상세한 설명의 전반에 걸친 내용을 토대로 정의되어야 한다.

또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

도 1은 일 실시예에 따른 홀로그램 영상 데이터를 처리하는 영상 처리 장치의 구성을 개략적으로 보이는 블록도이다. 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 수신기(110) 및 프로세서(120)를 포함할 수 있다. 또한, 영상 처리 장치(100)는 메모리(130) 또는 디스플레이 패널(140)을 더 포함할 수 있다. 영상 처리 장치(100)는 컴퓨터, 모바일 디바이스, 디스플레이 장치, 웨어러블 장치, 디지털 카메라 등의 전자 장치일 수 있으며, 프로세서(120)는 CPU, GPU 등일 수 있다.

수신기(110)는 홀로그램 영상 데이터를 수신할 수 있다. 수신기(110)는 홀로그램 영상 데이터를 저장하고 있는 저장 매체로부터 데이터를 읽어들이는 독출 장치를 포함하거나 또는 외부의 장치에 연결되어 외부의 장치로부터 홀로그램 영상 데이터를 제공받을 수도 있다. 또한, 수신기(110)는 홀로그램 영상 데이터를 직접 생성하는 카메라를 더 포함할 수도 있다. 수신기(110)가 수신하는 홀로그램 영상 데이터는 재생될 홀로그램 영상의 각 화소에 대한 깊이 정보와 색 정보를 포함할 수 있다. 동영상을 재생하는 경우, 수신기(110)는 프레임 단위로 홀로그램 영상 데이터를 수신할 수 있다. 프로세서(120)가, 예를 들어, 층 기반(layer based) 알고리즘을 이용하여 CGH(Computer-Generated Holography)를 생성하는 경우, 한 프레임의 홀로그램 영상 데이터는 컬러 영상 데이터와 깊이 영상 데이터를 포함할 수 있다.

컬러 영상 데이터는 각 층의 평면마다 다수의 컬러들을 나타내는 데이터일 수 있다. 예를 들어, 컬러 영상 데이터는 적색 영상 데이터, 청색 영상 데이터, 및 녹색 영상 데이터를 포함할 수 있다. 또한, 홀로그램 영상 데이터는 좌안용 영상 데이터와 우안용 영상 데이터를 포함할 수 있다. 예를 들어, 좌안용 영상 데이터는 좌안용 적색 영상 데이터, 좌안용 녹색 영상 데이터, 좌안용 청색 영상 데이터, 및 좌안용 깊이 영상 데이터를 포함하고, 우안용 영상 데이터는 우안용 적색 영상 데이터, 우안용 녹색 영상 데이터, 우안용 청색 영상 데이터, 및 우안용 깊이 영상 데이터를 포함할 수 있다.

수신기(110)는 영상 데이터를 메모리(130)에 저장할 수 있다. 프로세서(120)는 메모리(130)에 저장된 영상 데이터를 이용하여 층 기반 알고리즘으로 CGH 연산을 수행함으로써 CGH 영상 데이터를 생성할 수 있다. 예를 들어, 프로세서(120)는 홀로그램 영상의 재생 영역을 깊이(depth)를 기준으로 분할하여 연산을 수행할 수 있다. 프로세서(120)는 깊이를 기준으로 분할된 각 층의 영상 데이터에 대해, 예컨대, 푸리에 변환(Fourier Transform), 고속 푸리에 변환(Fast Fourier Transform, FFT), 역푸리에 변환(Inverse Fourier Transform, IFT) 또는 역 고속 푸리에 변환(Inverse Fast Fourier Transform, IFFT) 등을 수행할 수 있다. 예를 들면, 프로세서(120)는 2번 이상의 고속 푸리에 변환을 수행하여 홀로그램 영상의 각각의 화소에 대한 데이터를 획득할 수 있다.

디스플레이 패널(140)은 2차원 배열된 다수의 화소들을 포함한다. 디스플레이 패널(140)은, 예를 들어, LCD(liquid crystal display) 기반의 투과형 공간 광변조기(Spatial Light Modulator; SLM)일 수 있다. 대신에, 디스플레이 패널(140)은 LCoS(liquid crystal on silicon) 패널, DLP(digital light projection) 패널, 또는 DMD(digital micromirror device) 패널과 같은 반사형 공간 광변조기를 포함할 수도 있다. 디스플레이 패널(140)은 프로세서(120)에서 생성된 CGH 데이터를 이용하여 홀로그램 패턴을 표시할 수 있다.

도 2는 도 1에 도시된 영상 처리 장치(100)에서 홀로그램 영상 데이터를 처리하는 영상 처리 과정을 나타내는 흐름도이다.

먼저, 단계 S210에서, 영상 처리 장치(100)는 수신기(110)를 이용하여 홀로그램 영상 데이터를 수신한다. 영상 처리 장치(100)는 프레임 단위로 영상 데이터를 수신할 수 있다. 다시 말해, 영상 처리 장치(100)는 한 프레임의 영상 데이터를 수신하여 처리한 다음, 후속하는 프레임의 영상 데이터를 수신하여 처리한다. 예를 들어, 앞서 설명한 바와 같이 층 기반 알고리즘을 이용하는 경우, 한 프레임의 영상 데이터는 컬러 영상 데이터와 깊이 영상 데이터를 포함할 수 있다. 보다 구체적으로, 영상 데이터는 좌안용 적색 영상 데이터, 좌안용 녹색 영상 데이터, 좌안용 청색 영상 데이터, 좌안용 깊이 영상 데이터, 우안용 적색 영상 데이터, 우안용 녹색 영상 데이터, 우안용 청색 영상 데이터, 및 우안용 깊이 영상 데이터를 포함할 수 있다.

영상 데이터를 수신한 후에, 단계 S220에서, 영상 처리 장치(100)는 프로세서(120)를 이용하여 화질 보정 및 필드 연산을 수행할 수 있다. 예를 들어, 영상 처리 장치(100)의 프로세서(120)는 영상 데이터의 화질을 향상시키기 위해 영상 데이터를 보정할 수 있다.

단계 S230에서, 프로세서(120)는 층 기반 알고리즘을 이용하여 영상 데이터를 변환한다. 층 기반 알고리즘은 홀로그램의 재생 영역을 깊이를 기준으로 다수의 평면 층으로 분할하고, 분할된 각 층의 데이터를 처리하는 방법이다. 예를 들어, 프로세서(120)는 입력된 깊이 영상 데이터의 깊이 정보에 기초하여 컬러 영상 데이터를 층별로 분리한다. 분리하는 층의 개수는 영상 처리 장치(100)에 대해 미리 정해질 수 있다.

그런 후, 프로세서(120)는 분할된 각각의 평면 층의 컬러 데이터에 대해 푸리에 변환(Fourier Transform) 또는 고속 푸리에 변환(Fast Fourier Transform; FFT)을 수행할 수 있다. 예를 들어, 프로세서(120)는 2D(2-dimensional) 매트릭스 형태의 영상 데이터에 FFT를 수행할 수 있다. 프로세서(120)는 2D FFT를 수행하기 위해 1D FFT를 2회 수행할 수 있다. 프로세서(120)는 영상 데이터를 행 방향(row-wise)으로 1D FFT를 수행하고, 변환된 영상 데이터를 열 방향(column-wise)으로 1D FFT를 수행할 수 있다. 프로세서(120)는 이러한 FFT를 통해 영상 데이터를 복소수 값을 갖는 복소 영상 데이터의 형태로 변환한다.

프로세서(120)는 복수의 코어들을 포함할 수 있으며, 복수의 코어들은 병렬적으로 영상 데이터에 대하여 FFT를 수행할 수 있다. 예를 들어, 프로세서(120)는 각 평면의 영상 데이터를 복수의 코어들에 할당할 수 있으며, 복수의 코어들은 할당된 영상 데이터에 대하여 FFT를 수행한다.

도 3은 단계 S230의 푸리에 연산 과정을 보다 상세히 보이는 흐름도이다. 도 3을 참조하면, 단계 S231에서, 프로세서(120)는 홀로그램 영상이 디스플레이될 디스플레이 패널(140)과 관찰자의 동공 사이의 거리에 기초하여 1차 2D FFT 연산을 수행한다. 그리고 단계 S232에서, 프로세서(120)는 깊이 정보를 이용하여 포커스 텀 연산을 수행한다. 단계 S233에서, 프로세서(120)는 다수의 층들에 대한 깊이 영상 데이터들을 합치는 깊이 정합을 수행한다. 단계 S234에서, 프로세서(120)는 관찰자의 동공과 망막 사이의 거리에 기초하여 2차 2D FFT 연산을 수행할 수 있다.

도 4는 푸리에 연산 과정에서 입력 영상 데이터를 변환하는 과정의 일 예를 보인다. 도 4를 참조하면, 프로세서(120)는 영상 데이터(310)에 대해 2번의 1D FFT를 수행하여 최종 데이터(330)를 생성할 수 있다(1차 2D FFT). 예를 들어, 프로세서(120)는 영상 데이터(310)에 대해 열 방향으로 1번 1D FFT를 수행하여 중간 데이터(320)를 생성하고, 중간 데이터(320)에 대해 행 방향으로 1번 1D FFT를 수행하여 최종 데이터(330)을 생성할 수 있다.

여기서, 영상 데이터(310)는 다수의 층으로 분리된 컬러 영상 데이터 중에서 어느 한 층의 컬러 영상 데이터이다. 중간 데이터(320)는 영상 데이터(310)를 열 방향으로 1D FFT를 수행한 결과를 나타낸다. 영상 데이터(310)에 표시된 화살표는 프로세서(120)가 1D FFT를 수행하는 방향을 나타낸다. 중간 데이터(320)에 표시된 직선은 영상 데이터(310)가 변환된 방향을 나타낸다. 프로세서(120)는 이렇게 얻은 중간 데이터(320)를 메모리(130)에 저장할 수 있다.

그리고, 프로세서(120)는 저장된 중간 데이터(320)를 메모리(130)로부터 독출하여 행 방향으로 1D FFT를 수행한다. 프로세서(120)는 중간 데이터(320)를 메모리(130)로부터 독출할 때, 중간 데이터(320)를 행 방향으로 독출하여 각각의 1D FFT 프로세서로 출력할 수 있다. 프로세서(120)는 중간 데이터(320)를 행 방향으로 1D FFT를 수행하여 최종 데이터(330)를 생성한다. 최종 데이터(330)는 영상 데이터(310)가 열 방향 및 행 방향으로 각각 1D FFT 변환된 데이터이다.

도 4에서는 프로세서(120)는 열 방향으로 1D FFT를 먼저 수행하는 경우를 예를 들어 설명하였다. 그러나, 이는 단순한 예이며, 프로세서(120)는 행 방향으로 먼저 1D FFT를 수행할 수도 있다. 예를 들어, 도 5는 푸리에 연산 과정에서 입력 영상 데이터를 변환하는 과정의 다른 예를 보인다. 도 5를 참조하면, 프로세서(120)는 영상 데이터(410)에 대해 2번 1D FFT를 수행하여 최종 데이터(430)를 생성한다. 예를 들어, 프로세서(120)는 영상 데이터(410)에 대해 먼저 행 방향으로 1번 1D FFT를 수행하여 중간 데이터(420)를 생성하고, 중간 데이터(420)에 대해 열 방향으로 1번 1D FFT를 수행하여 최종 데이터(430)를 생성한다. 도 4와 도 5는 행과 열의 순서가 바뀐 것이며, 도 4에서 적용된 내용은 도 5에도 동일하게 적용될 수 있다.

도 4 및 도 5에서는 1차 2D FFT가 수행되는 단계(S231)만을 도시하고 있다. 프로세서(120)는 1차 2D FFT 단계(S231)를 수행한 후에, 추가적으로 2차 2D FFT 단계(S234)를 수행할 수 있다. 여기서, 1차 2D FFT 단계(S231)는 디스플레이 패널(140)에서 관찰자의 동공까지의 FFT를 수행하는 것이고, 2차 2D FFT 단계(S234)는 관찰자의 동공에서 망막까지의 FFT를 수행하는 것이다. 2차 2D FFT 단계(S234)도 역시 2번의 1D FFT에 의해 수행될 수 있다. 2차 2D FFT 단계(S234)는 1차 2D FFT 단계(S231)와 동일한 행과 열의 순서로 수행될 수도 있으며, 또는 1차 2D FFT 단계(S231)와 2차 2D FFT 단계(S234)는 1D FFT를 수행하는 순서가 반대일 수도 있다. 예를 들어, 1차 2D FFT 단계(S231)가 수행될 때 열 방향과 행 방향의 순서로 1D FFT가 2번 수행 되였다면, 2차 2D FFT 단계(S234)가 수행될 때는 행 방향과 열 방향의 순서로 1D FFT가 2번 수행될 수 있다.

프로세서(120)는 1차 2D FFT 단계(S231)와 2차 2D FFT 단계(S234) 사이에 포커스 텀 연산을 수행할 수 있다(S232). 포커스 텀 연산은 1차 2D FFT를 수행하여 얻은 최종 데이터(330)에 좌표에 영향을 받는 포커스 텀 값을 곱한 후 주파수 필터링(Frequency filtering)을 수행하는 것이다. 예를 들어, 어느 한 층의 컬러 영상 데이터에 대해 1차 2D FFT를 수행하여 얻은 최종 데이터(330)에 곱해지는 포커스 텀 값은 그 층의 깊이 방향의 위치를 나타낼 수 있다. 포커스 텀 값은 층의 깊이에 따라 미리 정해져서 저장될 수 있다.

1차 2D FFT와 포커스 텀 연산은 영상 데이터의 분리된 다수의 층별 데이터에 대해 각각 수행된다. 깊이 정합 단계(S233)에서는 다수의 층별 데이터를 병합하여 하나의 영상 데이터를 만든다. 예를 들어, 포커스 텀 연산을 수행한 후에, 프로세서(120)는 좌안용 영상 데이터의 다수의 층별 데이터를 합하여 하나의 좌안용 영상 데이터를 생성한다. 또한, 프로세서(120)는 우안용 영상 데이터의 다수의 층별 데이터를 합하여 하나의 우안용 영상 데이터를 생성한다. 그런 후, 2차 2D FFT는 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 수행된다.

그런 후, 단계 S240에서, 좌안용 홀로그램 영상과 우안용 홀로그램 영상이 재생되는 위치를 조절하기 위하여 프리즘 페이즈 연산(prism phase computation)이 수행될 수 있다. 프리즘 페이즈 연산은, 예를 들어, 디스플레이 패널(140)의 물리적인 화소 구조에 의해 발생하는 격자점 노이즈(noise)를 피하여, 노이즈가 없는 공간에 좌안 및 우안에 맞는 홀로그램 영상을 재생시키는 역할을 할 수 있다. 프로세서(120)는 프리즘 페이즈 연산에서 소정의 주기에 따라 반복되는 정현파를 CGH에 제공하기 위하여, 2차 2D FFT 후의 결과 데이터에 소정의 복소수 값(즉, 프리즘 페이즈 필터)을 곱할 수 있다. 소정의 복소수 값은 홀로그램 영상이 재생되는 위치에 따라 미리 결정될 수 있다.

푸리에 연산 단계(S230)와 프리즘 페이즈 연산 단계(S240)는 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 별도로 수행될 수 있다. 그런 후, 좌우 정합 단계(S250)에서, 프로세서(120)는 좌안용 영상 데이터와 우안용 영상 데이터를 합하여 하나의 영상 데이터를 생성할 수 있다. 비록 도 2에는 프리즘 페이즈 연산 단계(S240)를 먼저 수행한 후에 좌우 정합 단계(S250)를 수행하는 것으로 도시되었지만, 프리즘 페이즈 연산 단계(S240)와 좌우 정합 단계(S250)의 순서는 바뀔 수도 있다. 예를 들어, 좌우 정합 단계(S250)를 먼저 수행하는 경우, 프리즘 페이즈 연산 단계(S240)는 좌우 정합된 하나의 영상 데이터에 대해 수행될 수 있다.

단계 S260에서, 프로세서(120)는 화소 인코딩을 수행한다. 프로세서(120)는 화소 인코딩을 통하여 디스플레이 패널(140)에 입력된 CGH 데이터를 최종적으로 생성한다. 화소 인코딩은, 매우 좁은 의미로는, 디스플레이 패널(140)의 다수의 화소에서 각각 표현되는 계조의 값들을 결정하는 것을 의미하지만, 넓은 의미로는 푸리에 연산 단계(S230) 이후의 모든 과정을 화소 인코딩의 한 과정으로 볼 수도 있다. 예를 들어, 넓게 보면, 프리즘 페이즈 연산 단계(S240)와 좌우 정합 단계(S250)도 화소 인코딩 단계(S260)에 포함될 수도 있다.

화소 인코딩 단계(S260)에서, 프로세서(120)는 최종적인 복소 영상 데이터에서 디스플레이 패널(140)의 화소들 각각에 대응되는 복소수 값들을 정수 값들로 인코딩한다. 예를 들어, 프로세서(120)는 복소 영상 데이터의 복소수 값들을 n 비트 무부호 정수(n bit unsigned integer) 값들로 인코딩할 수 있다. 여기서, n은 자연수이다. 예를 들어, 디스플레이 패널(140)의 각각의 화소가 0부터 255까지 256개의 계조 값을 표현할 수 있다면, 프로세서(120)는 복소 영상 데이터의 복소수 값들을 8비트 무부호 정수값들로 인코딩할 수 있다.

본 실시예에 따르면, 프로세서(120)의 연산량을 크게 증가시키지 않으면서도 재생된 홀로그램 영상의 화질을 향상시키기 위해, 프리즘 페이즈 연산 단계(S240) 후에 얻은 영상 데이터만으로 인코딩을 수행하지 않고, 푸리에 연산 단계(S230)에서 얻은 영상 데이터를 프리즘 페이즈 연산 단계(S240) 후에 얻은 영상 데이터에 더하여 얻는 영상 데이터를 기초로 인코딩을 수행할 수 있다. 프리즘 페이즈 연산 이후의 복소 영상 데이터에서 단지 실수부 값만으로 인코딩하는 제 1 비교예의 경우, 비록 대조비(contrast ratio)는 높지만 크로스토크가 증가한다. 또한, 프리즘 페이즈 연산 이후의 복소 영상 데이터의 실수부 값에 복소수 값의 절대값을 더하여 인코딩하는 제 2 비교예의 경우, 크로스토크 문제를 개선하여 홀로그램 영상의 화질이 향상될 수 있지만 프로세서(120)의 연산량이 증가한다. 예를 들어, 제 2 비교예에서는 제 1 비교예에 비하여 2번의 제곱 연산, 1번의 합 연산, 1번의 제곱근 연산 및 1번의 합 연산이 각각의 화소 데이터에 대해 추가되므로 프로세서(120)의 연산량이 크게 증가하게 된다.

이하에서, 본 실시예에 따른 인코딩 방법에 대해 보다 구체적으로 설명한다. 먼저, 도 6은 디스플레이 장치(140)의 다수의 화소에 각각 대응하는 복소 영상 데이터들에 대한 푸리에 연산 이후의 결과 값을 복소평면 상에 표시한 예를 보이는 그래프이다. 또한, 도 7은 디스플레이 장치(140)의 다수의 화소에 각각 대응하는 복소 영상 데이터들에 대한 푸리에 연산 이후의 결과 값들의 시프트 방향 분포를 예시적으로 보이는 그래프이다. 도 6을 참조하면, 푸리에 연산 후의 복소 영상 데이터들에서 실수부들은 음의 값이고 허수부들의 값은 0에 가까운 것을 알 수 있다. 따라서, 도 7에 도시된 바와 같이, 복소평면 상에서 대부분의 복소 영상 데이터들은 180도 방향을 중심으로 분포하게 된다.

한편, 푸리에 연산 후의 복소 영상 데이터를 x + jy로 표현하고 프리즘 페이즈 연산을 위한 프리즘 페이즈 필터의 복소수 값을 z + jw로 표현한다면, 프리즘 페이즈 연산 후의 복소 영상 데이터는 푸리에 연산 후의 복소 영상 데이터와 프리즘 페이즈 필터의 복소수 값과의 곱인 (x + jy)(z + jw) = (xz - yw) + j(xw + yz)로 표현될 수 있다. 여기서, 프리즘 페이즈 필터의 복소수 값의 절대값은 인코딩 후의 계조 값에 영향을 주지 않도록 1이 된다(즉, |z + jw| = 1).

제 1 비교예의 경우, 단순히 실수부인 (xz - yw)의 값만으로 인코딩을 수행한다. 제 2 비교예의 경우, (xz - yw)에 (x + jy)(z + jw)의 절대값을 더하여 인코딩을 수행한다. 즉, 제 2 비교예에서는 (xz - yw) + |(x + jy)(z + jw)|의 값을 이용하여 인코딩을 수행한다. 여기서,

|(x + jy)(z + jw)| = |(x + jy)||(z + jw)| 이고,

|z + jw| = 1 이므로,

|(x + jy)(z + jw)| = |(x + jy)| 이 된다.

그리고, |(x + jy)| = (x² + y²)^1/2 이므로,

제 2 비교예는 (xz - yw) + (x² + y²)^1/2 의 값으로 인코딩을 수행한다.

그런데, 도 6 및 도 7에 도시된 바와 같이, 푸리에 연산 후의 복소 영상 데이터 x + jy 에서, x < 0 이고 다수의 화소들에 대한 y 값들의 근사적인 분포는 0에 매우 가깝다(즉, y ~ 0). 이러한 사실에 기초하여, 본 실시예에서는 단순히 (xz - yw) + |x| 의 값만으로 인코딩을 수행할 수 있다. 다시 말해, 푸리에 연산 후의 복소 영상 데이터의 실수부의 절대값 |x|과 프리즘 페이즈 연산 후의 복소 영상 데이터의 실수부 (xz - yw)를 합산하여 인코딩을 수행할 수 있다. 본 실시예에 따르면, 제 1 비교예에 비하여 단지 하나의 합 연산을 추가하는 것만으로 제 2 비교예에서 얻은 결과와 근사적으로 유사한 결과를 얻을 수 있다. 따라서, 제 2 비교예에 비하여 프로세서(120)의 연산량을 크게 줄일 수 있다. 또한, 제 1 비교예에 비하여 더 많은 영상 정보를 디스플레이 패널(140)에 제공하기 때문에 재생되는 홀로그램 영상의 휘도와 대비도가 향상되고 크로스토크가 저감되는 등 홀로그램 영상의 화질이 향상될 수 있다.

도 8a는 재생되는 홀로그램 영상의 화질을 향상시키기 위한 일 실시예에 따른 인코딩 방법을 예시적으로 보이는 흐름도이다. 도 8a를 참조하면, 2차 2D FFT 연산 단계(S234)가 완료되면, 프로세서(120)는 2차 2D FFT 연산의 결과 (x + jy)를 기초로 프리즘 페이즈 연산 단계(S240)를 수행한다. 예를 들어, 프로세서(120)는 2차 2D FFT 연산 결과 (x + jy)에 프리즘 페이즈 필터 값 (z + jw)을 곱할 수 있다. 이와 동시에, 프로세서(120)는 2차 2D FFT 연산의 결과를 메모리(130)에 저장한다. 그런 후, 프로세서(120)는 프리즘 페이즈 연산 결과 (xz - yw) + j(xw + yz) 중에서 실수부 (xz - yw)를 출력한다(단계 S243). 이와 동시에, 프로세서(120)는 메모리(130)에 저장된 2차 2D FFT 연산 결과 중에서 실수부를 출력하고 실수부의 절대값 |x|을 계산한다(단계 S242). 그리고, 합 연산을 통해 (xz - yw) + |x|을 출력한다(단계 S244). 그런 후, 화소 인코딩 단계(S260)에서 (xz - yw) + |x|의 값을 예를 들어 8비트의 정수값으로 변환할 수 있다.

또한, 도 8b는 재생되는 홀로그램 영상의 화질을 향상시키기 위한 다른 실시예에 따른 인코딩 방법을 예시적으로 보이는 흐름도이다. 도 8b를 참조하면, 프로세서(120)는 2차 2D FFT 연산 결과를 기초로 프리즘 페이즈 연산 단계(S240)를 수행한다. 이와 동시에, 프로세서(120)는 2차 2D FFT 연산 결과에서 실수부의 절대값을 계산한다(단계 S242). 그리고, 프로세서(120)는 2차 2D FFT 연산 결과의 실수부의 절대값을 메모리(130)에 저장한다(단계 S245). 프리즘 페이즈 연산 단계(S240)가 완료되면, 프로세서(120)는 프리즘 페이즈 연산 결과 중에서 실수부를 출력한다(단계 S243). 그런 후, 프로세서(120)는 메모리(130)에 저장된 2차 2D FFT 연산 결과의 실수부의 절대값을 출력하여 프리즘 페이즈 연산 결과의 실수부에 합산한다(단계 S244). 그런 후, 화소 인코딩 단계(S260)에서 (xz - yw) + |x|의 값을 예를 들어 8비트의 정수값으로 변환할 수 있다.

또한, 화소 인코딩 단계(S260)는 필요에 따라서 스케일링(scaling) 및 감마 보정(gamma correction)을 더 포함할 수도 있다. 스케일링은 저해상도(예를 들어, FHD)의 영상 데이터를 고해상도(예를 들어, UHD)의 영상 데이터로 스케일링 변환하는 것이다. 구체적으로, 저해상도의 영상 데이터에 대해 보간법(interpolation)을 수행하여 저해상도의 영상 데이터를 고해상도의 영상 데이터로 업스케일링(up-scailing)할 수 있다. 스케일링에는, 예컨대, nearest-neighbor 보간법, bilinear 보간법, bicubic 보간법 등이 사용될 수 있다. 또한, 감마 보정은 재생되는 홀로그램 영상의 밝기를 조정하는 것을 의미한다.

마지막으로, 단계 270에서, 프로세서(120)는 생성된 CGH 영상 데이터를 디스플레이 패널(140)에 제공하여 디스플레이 패널(140)이 홀로그램 패턴을 표시하도록 할 수 있다. 광원(도시되지 않음)은 디스플레이 패널(140)에 조명광을 제공하며, 조명광이 디스플레이 패널(140)에 표시된 홀로그램 패턴에 의해 회절되면서 가상의 3차원 공간 상에서 관찰자가 볼 수 있는 홀로그램 영상이 재생될 수 있다.

한편, 앞서 설명한 바와 같이, 프리즘 페이즈 연산 단계(S240)와 좌우 정합 단계(S250)의 순서는 바뀔 수도 있다. 예를 들어, 좌우 정합 단계(S250)를 먼저 수행한다면, 프로세서(120)는 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 푸리에 연산을 수행한 후에 좌안용 영상 데이터와 우안용 영상 데이터를 정합한다. 그런 후, 프로세서(120)는 좌우 정합된 하나의 영상 데이터를 기초로, 도 8a 또는 도 8b에 도시된 바와 같이, 프리즘 페이즈 연산을 수행하고 푸리에 연산 결과와 프리즘 페이즈 연산 결과를 이용하여 복소 영상 데이터로부터 실수부를 추출하는 과정을 수행할 수 있다.

반면 프리즘 페이즈 연산 단계(S240)를 먼저 수행하는 경우, 프로세서(120)는 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 도 8a 또는 도 8b에 도시된 과정을 수행할 수 있다. 다시 말해, 프로세서(120)는 수신된 좌안용 영상 데이터에 대한 푸리에 연산 후의 복소 영상 데이터의 실수부의 절대값과 좌안용 영상에 대한 프리즘 페이즈 연산 후의 복소 영상 데이터의 실수부를 합산하여 변환된 좌안용 영상 데이터를 생성할 수 있다. 마찬가지로, 프로세서(120)는 수신된 우안용 영상 데이터에 대한 푸리에 연산 후의 복소 영상 데이터의 실수부의 절대값과 우안용 영상에 대한 프리즘 페이즈 연산 후의 복소 영상 데이터의 실수부를 합산하여 변환된 우안용 영상 데이터를 생성할 수 있다. 프로세서(120)는 그런 후, 화소 인코딩 단계(S260)을 수행하기 전에, 도 8a 또는 도 8b에 도시된 합 연산(S244)을 통해 얻은 좌안용 영상 데이터와 우안용 영상 데이터를 정합할 수 있다.

대신에, 프로세서(120)는, 푸리에 연산 단계(S230)와 프리즘 페이즈 연산 단계(S240)를 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 별도로 수행한 다음, 프리즘 페이즈 연산을 통해 변환된 좌안용 영상 데이터와 우안용 영상 데이터를 하나의 복소 영상 데이터로 정합할 수 있다. 그런 후, 프로세서(120)는 좌우 정합된 복소 영상 데이터에 대해 도 8a에 도시된 단계 S241, S242, S243, S244를 수행하거나, 또는 도 8b에 도시된 단계 S242, S243, S245, S244를 수행하여 실수부를 추출할 수 있다.

도 9는 다른 실시예에 따른 홀로그램 영상 데이터를 처리하는 영상 처리 장치의 구조를 개략적으로 보이는 블록도이다. 도 9를 참조하면, 본 실시예에 따른 영상 처리 장치(500)는 프로세서(510) 및 메모리(520)를 포함할 수 있다.

프로세서(510)는 영상 처리 장치(500)에 입력되는 영상 데이터를 처리하여 CGH 영상 데이터를 생성한다. 예를 들어, 프로세서(510)는 제어부(511), 전/후 처리부(512) 및 적어도 하나의 코어(513)를 포함할 수 있다. 또한, 프로세서(510)는 코어(513)를 복수 개 포함할 수도 있다. 제어부(511), 전/후 처리부(512) 및 적어도 하나의 코어(513)가 하나의 단일한 마이크로 프로세서 칩으로 구성될 수도 있으며, 또는 복수 개의 마이크로 프로세서 칩으로 구성될 수 있다.

코어(513)는 데이터에 대한 FFT를 수행한다. 만약, 코어(513)가 복수 개 포함된 경우, 각각의 코어(513)는 병렬적으로 FFT를 수행할 수 있다. 구체적으로, 각각의 코어(513)는 도 4 및 도 5를 참조하여 상술한 FFT를 병렬적으로 수행할 수 있다.

제어부(511)는 프로세서(510)의 동작을 전반적으로 제어한다. 다시 말해, 제어부(511)는 전/후 처리부(512) 및 코어(513)의 동작을 제어한다.

전/후 처리부(512)는 코어(513)에 입력되는 데이터 및 코어(513)로부터 출력되는 데이터를 처리한다. 여기서, 코어(513)에 입력되는 데이터와 코어(513)로부터 출력되는 데이터는 도 4 및 도 5를 참조하여 상술한 영상 데이터(310, 410), 중간 데이터(320, 420) 및 최종 데이터(330, 430)를 포함한다. 구체적으로, 입력되는 영상 데이터(310, 410)는 메모리(520)에 저장된다. 그 후에, 영상 데이터(310, 410)를 이용한 전/후 처리부(512) 및 코어(513)의 동작에 의하여, 최종적으로 CGH 영상 데이터가 생성된다. 이 과정에서 중간 데이터(320, 420) 및 최종 데이터(330, 430)가 생성되고, 최종 데이터(330, 430)를 기초로 프리즘 페이즈 연산, 좌우 정합, 및 인코딩을 수행하여 CGH 영상 데이터가 생성된다. 전/후 처리부(512)는 코어(513)로 입력되는 데이터의 전처리 및 코어(513)로부터 출력되는 데이터의 후처리를 수행한다.

영상 처리 장치(500)는 디스플레이 패널(2000)에 연결될 수 있다. 디스플레이 패널(2000)은 영상 처리 장치(500)가 생성한 CGH 영상 데이터를 이용하여 홀로그램 패턴을 표시할 수 있다.

본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 프로세서 상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로, 예컨대, 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시예들에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.

상술한 홀로그램 영상 데이터를 처리하는 장치 및 방법는 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100, 500.....영상 처리 장치
110.....수신기
120, 510.....프로세서
130, 520.....메모리
140, 2000.....디스플레이 패널
511.....제어부
512.....전/후 처리부
513.....코어

Claims

영상을 수신하는 수신기; 및
수신된 영상 데이터에 대해 푸리에 연산을 수행하여 제 1 데이터를 생성하고, 상기 푸리에 연산 후의 제 1 데이터에 대해 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하고, 상기 푸리에 연산 후의 제 1 데이터와 상기 프리즘 페이즈 연산 후의 제 2 데이터를 더하여 제 3 데이터를 생성하고, 상기 제 3 데이터를 기초로 인코딩을 수행하도록 구성된 프로세서;를 포함하는 영상 처리 장치.
제 1 항에 있어서,
상기 프로세서는 상기 제 1 데이터의 실수부의 절대값과 상기 제 2 데이터의 실수부를 합산하여 상기 제 3 데이터를 생성하도록 구성된 영상 처리 장치.
제 2 항에 있어서,
상기 프로세서가 프리즘 페이즈 연산을 수행하는 동안 상기 제 1 데이터를 저장하도록 구성된 메모리를 더 포함하며,
상기 프로세서는 상기 제 3 데이터를 생성할 때 상기 메모리에 저장된 제 1 데이터 중에서 실수부를 출력하여 출력된 제 1 데이터의 실수부의 절대값을 계산하도록 구성된 영상 처리 장치.
제 2 항에 있어서,
상기 프로세서가 프리즘 페이즈 연산을 수행하는 동안 상기 제 1 데이터의 실수부의 절대값을 저장하도록 구성된 메모리를 더 포함하며,
상기 프로세서는 상기 제 3 데이터를 생성할 때 상기 메모리에 저장된 제 1 데이터의 실수부의 절대값을 출력하도록 구성된 영상 처리 장치.
제 1 항에 있어서,
상기 프로세서는 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하기 위하여 상기 제 1 데이터에 프리즘 페이즈 필터 값을 곱하도록 구성된 영상 처리 장지.
제 5 항에 있어서,
상기 제 1 데이터를 복소수 x + jy로 표현하고 상기 프리즘 페이즈 연산을 위한 프리즘 페이즈 필터 값을 복소수 z + jw로 표현할 때, 상기 제 2 데이터는 복소수 (xz - yw) + j(xw + yz)로 표현되며, 상기 제 3 데이터는 (xz - yw) + |x|로 표현되는 영상 처리 장치.
제 6 항에 있어서,
상기 프리즘 페이즈 필터 값의 절대값 |z + jw|은 1인 영상 처리 장치.
제 1 항에 있어서,
상기 프로세서는 상기 제 3 데이터를 n 비트 무부호 정수 값들로 인코딩하도록 구성되며, 여기서 n은 자연수인 영상 처리 장치.
제 1 항에 있어서,
상기 프로세서는 푸리에 연산을 통해 상기 제 1 데이터를 생성하기 위하여, 영상이 디스플레이될 디스플레이와 관찰자의 동공 사이의 거리에 기초하여 수행되는 제 1 푸리에 연산을 수행하고, 포커스 텀 연산 및 깊이 정합을 수행하고, 관찰자의 동공과 망막 사이의 거리에 기초하여 수행되는 제 2 푸리에 연산을 수행하도록 구성되는 영상 처리 장치.
제 1 항에 있어서,
상기 프로세서는, 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 상기 제 1 데이터 내지 제 3 데이터를 생성하고, 상기 인코딩을 수행하기 전에 좌안용 영상 데이터와 우안용 영상 데이터를 정합하도록 구성되는 영상 처리 장치.
제 1 항에 있어서,
상기 프로세서는, 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 상기 제 1 데이터를 생성하고, 상기 제 2 데이터 및 제 3 데이터를 생성하기 전에 좌안용 영상 데이터와 우안용 영상 데이터를 정합하도록 구성된 영상 처리 방법.
영상 데이터를 수신하는 단계;
수신된 영상 데이터에 대해 푸리에 연산을 수행하여 제 1 데이터를 생성하는 단계;
상기 푸리에 연산 후의 제 1 데이터에 대해 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하는 단계;
상기 푸리에 연산 후의 제 1 데이터와 상기 프리즘 페이즈 연산 후의 제 2 데이터를 더하여 제 3 데이터를 생성하는 단계; 및
상기 제 3 데이터를 기초로 인코딩을 수행하는 단계;를 포함하는 영상 처리 방법.
제 12 항에 있어서,
상기 제 3 데이터를 생성하는 단계는 상기 제 1 데이터의 실수부의 절대값과 상기 제 2 데이터의 실수부를 합산하는 단계를 포함하는 영상 처리 방법.
제 13 항에 있어서,
상기 프리즘 페이즈 연산을 수행하는 동안 상기 제 1 데이터를 메모리에 저장하는 단계; 및
상기 제 3 데이터를 생성할 때, 상기 메모리에 저장된 제 1 데이터 중에서 실수부를 출력하고 출력된 제 1 데이터의 실수부의 절대값을 계산하는 단계;를 더 포함하는 영상 처리 방법.
제 13 항에 있어서,
상기 프리즘 페이즈 연산을 수행하는 동안 상기 제 1 데이터의 실수부의 절대값을 메모리에 저장하는 단계; 및
상기 제 3 데이터를 생성할 때, 상기 메모리에 저장된 제 1 데이터의 실수부의 절대값을 출력하는 단계;를 더 포함하는 영상 처리 방법.
제 12 항에 있어서,
상기 프리즘 페이즈 연산을 수행하여 제 2 데이터를 생성하는 단계는 상기 제 1 데이터에 프리즘 페이즈 필터 값을 곱하는 단계를 포함하는 영상 처리 방법.
제 16 항에 있어서,
상기 제 1 데이터를 복소수 x +jy로 표현하고 상기 프리즘 페이즈 연산을 위한 프리즘 페이즈 필터 값을 복소수 z + jw로 표현할 때, 상기 제 2 데이터는 복소수 (xz - yw) + j(xw + yz)로 표현되며, 상기 제 3 데이터는 (xz - yw) + |x|로 표현되는 영상 처리 방법.
제 17 항에 있어서,
상기 프리즘 페이즈 필터 값의 절대값 |z + jw|은 1인 영상 처리 방법.
제 12 항에 있어서,
상기 인코딩을 수행하는 단계는 상기 제 3 데이터를 n 비트 무부호 정수 값들로 인코딩하는 단계를 수행하는 단계를 포함하며, 여기서 n은 자연수인 영상 처리 방법.
제 12 항에 있어서,
상기 푸리에 연산을 수행하여 제 1 데이터를 생성하는 단계는:
영상이 디스플레이될 디스플레이와 관찰자의 동공 사이의 거리에 기초하여 수행되는 제 1 푸리에 연산을 수행하는 단계;
포커스 텀 연산 및 깊이 정합을 수행하는 단계; 및
관찰자의 동공과 망막 사이의 거리에 기초하여 수행되는 제 2 푸리에 연산을 수행하는 단계;를 포함하는 영상 처리 방법.
제 12 항에 있어서,
상기 제 1 데이터 내지 제 3 데이터를 생성하는 단계는 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 수행되며,
상기 인코딩을 수행하기 전에 좌안용 영상 데이터와 우안용 영상 데이터를 정합하는 단계를 더 포함하는 영상 처리 방법.
제 12 항에 있어서,
상기 제 1 데이터를 생성하는 단계는 좌안용 영상 데이터와 우안용 영상 데이터에 대해 각각 개별적으로 수행되며,
상기 제 2 데이터 및 제 3 데이터를 생성하기 전에 좌안용 영상 데이터와 우안용 영상 데이터를 정합하는 단계를 더 포함하는 영상 처리 방법.
제 12 항 내지 제 22 항 중 어느 한 항에 따른 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.