KR101602904B1 - 신호에 포함된 시차 정보를 처리하는 방법 - Google Patents

Abstract

본 발명은 신호에 포함된 시차 정보를 처리하는 방법 및 디바이스에 관한 것이다. 다른 이미지 정보와 연관된 시차 맵을 포함하는 신호가 수신된다. 제 1 데이터는 제 1 시차 맵 제약들을 나타내는 신호로부터 획득된다. 제 2 데이터는 제 2 시차 맵 제약들을 나타내는 신호로부터 획득된다. 타겟 디바이스의 제 3 시차 맵 제약들과 매칭하는 제 3 데이터는 적어도 제 1 데이터 및 제 2 데이터를 처리함으로써 결정된다. 이러한 제 3 데이터는 타겟 디바이스의 시차 맵 정보 제약들과 매칭하는 업데이트된 신호를 생성하기 위해 이용된다.

Description

신호에 포함된 시차 정보를 처리하는 방법{A METHOD OF PROCESSING PARALLAX INFORMATION COMPRISED IN A SIGNAL}

본 발명은 신호에 포함된 시차 정보(parallax information)를 처리하기 위한 방법 및 디바이스에 관한 것이다.

3차원(3D) 디스플레이 디바이스들은 시청중인 장면의 상이한 뷰들을 뷰어의 눈들의 각각에 제공함으로써 제 3 차원(깊이)을 뷰잉 경험에 추가한다. EP 1587329는 디스플레이 장치 및 방법을 제공하는 3 차원 비디오를 개시한다. 많은 3D 디스플레이 디바이스들은 스테레오 입력을 이용하며, 이것은 2개의 상이하지만 관련된 뷰들이 제공되는 것을 의미한다. 이것은 예를 들면 표준 3D 시네마에 이용된다(뷰어의 눈들에 대해 왼쪽 및 오른쪽 뷰들을 분리하기 위해 안경이 이용된다). 예를 들면, 초당 50개의 프레임들(이미지 데이터의)이 제공되는 대신에, 스테레오 시스템(100)에서는 초당 100개의 프레임들이 제공되며, 왼쪽 눈에 50개이고 오른쪽 눈에 50개이다. 한 쌍의 각각의 프레임은 동일한 장면의 약간 상이한 뷰를 포함하며, 브레인은 3차원 이미지를 생성하기 위해 조합한다. 3D 시네마들에서 이러한 기술의 채택의 결과로서, 많은 이용 가능한 스테레오 컨텐트가 존재한다. 또한, 가정용 및 내장용 또는 설치용 스테레오 프로젝션 시스템들에서 시네마 경험을 모사하기를 원하는 홈 시네마 애호가들이 존재하는 것도 가능하다.

그러나, 스테레오 3D 시스템들과 연관된 안경의 이용은 3D 시너지와 같은 많은 애플리케이션들에 방해가 되고, 또한 홈 3D TV 뷰잉을 더욱 무심하게 한다. 무안경 시스템들(또한 오토-스테레오스코픽 시스템들이라고도 칭해짐)은 흔히 뷰어의 움직임의 자유를 제공하기 위해 장면의 2개 이상의 뷰들을 제공하고, 뷰들의 수가 변하기 때문에, 이들 애플리케이션들에 흔히 이용되는 표현은 이미지 + 깊이 포맷이며, 하나의 이미지 및 그 깊이 맵은 필요한 만큼의 뷰들을 렌더링하기 위해 필요한 정보를 제공한다.

시차 정보를 제공하는 시스템들이 가지는 문제점은 시차 정보의 구조(이미지 데이터에 부가되는)가 특정 타겟 렌더링 시스템 또는 디바이스에 최적일 것이라는 점이다. 예를 들면, 깊이 맵이 제공되면, 이것은 특정 타겟 시스템과 함께 염두에 두고 설계될 수 있다. 예를 들면, 종단 시스템이 6개의 상이한 뷰들을 제공하도록 설계되는 맵의 생성을 가정될 수 있다(사용자는 그 위치에 의존하여, 6개의 뷰들 중 겨우 2개만을 볼 수 있을 것이다). 6개의 뷰들 중의 선택은 종단 시스템의 가장 가능성 있는(또는 평균) 구성인 것으로 지각되는 것에 기초할 수 있다. 그러나, 신호 내에 포함된 시차 정보는 디스플레이 디바이스에서 발생할 렌더링에는 적합하지 않을 수 있다.

본 발명의 목적은 알려진 기술을 개선하기 위한 것이다.

일 양태에 따라, 본 발명은, 신호를 처리하는 방법에 있어서:

시차 정보 및 이미지 정보를 포함하는 신호를 수신하는 단계;

제 1 시차 맵 제약들을 나타내는 신호로부터 제 1 데이터를 획득하는 단계;

제 2 시차 맵 제약들을 나타내는 신호로부터 제 2 데이터를 획득하는 단계; 및

적어도 상기 제 1 데이터 및 상기 제 2 데이터를 처리함으로써 타겟 디스플레이 디바이스의 제 3 시차 맵 제약들과 매칭하는 제 3 데이터를 결정하는 단계를 포함하고, 제 1 데이터 및 제 2 데이터는 제 3 데이터를 생성시 입력으로서 사용되고, 상기 제 3 데이터는 상기 타겟 디스플레이 디바이스의 시차 맵 정보 제약들과 매칭하는 업데이트된 신호를 생성하도록 구성되는, 시차 정보 처리 방법에 관한 것이다.

따라서, 제 1 또는 제 2 데이터 어느 것도 타겟 디바이스의 제약들과 매칭하지 않는 경우에도, 타겟 디바이스와 매칭하는 업데이트된 제 3 데이터를 생성할 때 그 데이터를 입력으로서 이용하는 것이 가능하다. 이미지 정보는 스틸 이미지 또는 비디오-시퀀스의 프레임 또는 필드일 수 있다.

일 실시예에서, 상기 제 1 데이터 및 상기 제 2 데이터는 시차 정보 변환들이며, 상기 제 1 및 제 2 시차 맵 제약들은 상기 이미지 정보에 대한 제 1 및 제 2 깊이 범위들이고, 상기 제 3 데이터는 제 3 시차 정보 변환이고, 상기 제 3 시차 맵 제약들은 제 3 깊이 범위이다.

시차 정보를 갖는 용어를 이용하면 깊이-관련 정보 또는 디스패리티-관련 정보 또는 그 둘의 조합을 의미하게 된다. 여기서 깊이-관련 정보는 뷰어/카메라에 대한 이미지 정보의 가현 거리(apparent distance)에 관한 표시를 나타내는 정보를 위해 이용된다. 다음으로, 디스패리티-관련 정보는 뷰들 사이의 이미지 요소들의 가현 이동(apparent shift), 즉 왼쪽 눈 및 오른쪽 눈에 대한 이미지들의 변위에 관한 표시를 나타내는 정보를 위해 이용된다.

일 실시예에서, 제 1 시차 정보 변환은 수신된 시차 맵의 아이덴티티 정보 변환이다.

일 실시예에서, 제 2 시차 정보 변환은 상기 아이덴티티 정보 변환을 처리되는 입력으로서 이용함으로써 획득되는 시차 정보 변환이고, 상기 처리는 상기 제 2 시차 정보 변환을 출력하는 것을 유발한다.

일 실시예에서, 신호는 비디오 신호이고, 상기 제 2 시차 정보 변환은 메타데이터로서 상기 비디오 신호에 포함된다.

일 실시예에서, 메타데이터는:

상기 시차 정보에 관한 맵핑 함수, 상기 시차 정보에 관한 맵핑 함수의 역, 및 상기 시차 정보에 관한 맵핑 함수에 대한 계수 중 적어도 하나를 포함한다.

일부 경우들에서, 예를 들면, 시네마 스테레오로부터 디스패리티 정보를 결정한 다음, 이들 디스패리티들을 감소된 깊이 범위의 홈 3D 디스플레이에 더욱 적합한 포맷으로 변환하기 위한 맵핑을 추가할 필요가 있거나 가능할 수 있다. 후자를 위한 디스패리티(변환을 적용한 결과)는 그 후에 홈의 수신단에서 단지 처음 생성될 뿐이다. 이 메타-데이터는 컨텐트 생성측에서 행해진 맵핑을 되돌리기 위한 "역방향(backwards)" 맵핑이다.

따라서, 적어도 제 2 시차 정보 변환은 특정 종단-수신기에 적합한 조정된 시차 정보로 간주될 수 있다. 메타데이터의 원리는 데이터를 획득하는 것을 가능하게 하는 것이며, 그렇지 않으면 데이터는 메타데이터 없는 (오리지널) 시차 정보로부터 획득되지 않을 수 있다. 예로서, 제 1 시차 정보는 3D 디스플레이 디바이스에 전송된다. 메타데이터는 시차 정보의 생성에 관련되며, 즉 이들이 어떻게 획득되는지의 방법(예를 들면, 함수 또는 룩업 테이블 등을 통해)에 관한 것이다. 메타데이터는 수신기가 시차 정보로부터 시차 정보를 생성하기 위해 이용된 기초 데이터로, 또는 특정 타겟 디바이스에 더욱 적합한 새로운 시차 정보로 다시 작동하도록 허용한다. 그 결과는 상기 제 2 시차 정보 변환, 즉 수신측에서의 3D 디스플레이에 조정되는 시차 정보가 생성되는 것이다.

일 실시예에서, 타겟 디바이스의 제 3 시차 맵 제약들과 매칭하는 제 3 데이터를 결정하는 단계는, 시차 정보 변환들의 세트로부터 2개의 각각의 시차 정보 변환들 사이를 보간하는 단계를 포함하고, 시차 정보 변환들의 세트는 제 1 및 제 2 시차 정보 변환들을 포함하고, 제 3 데이터는 타겟 디바이스의 깊이 범위와 매칭하는 제 3 시차 정보 변환이다.

이상적으로, 3D 디스플레이는 큰 시차 범위를 보여줄 수 있다. 그러나, 이것은 여러 뷰잉 조건들이 충족될 것을 요구하며, 예를 들면, 스크린은 커야 하고, 스크린은 먼 거리로부터 시청되어야 하고, 뷰들 사이의 분리가 매우 양호하게 되어야 한다. 이들 뷰잉 조건들은 항상 충족되는 것은 아니다. 따라서, 이러한 "오리지널 깊이(original depth)"는 상기 제 1 시차 범위가 발생하는 반면, 상기 제 2 시차 정보 변환은 상기 제 2 시차 범위를 가진 제 2 깊이 신호를 유발한다. 이 실시예가 가진 이점은 3D 디스플레이 디바이스의 시차 범위가 이들 범위들 중 어느 것과도 매칭하지 않을 때, 새로운 변환이 예를 들면 보간에 의한 2개(또는 그 이상)의 변환들로부터 계산될 수 있다는 점이다. 그러한 방식으로, 신호의 깊이 범위는 3D 디스플레이의 이용 가능한 시차 범위로 정확하게 동조될 수 있고, 그에 의해 개선된 3D 렌더링을 가능하게 한다.

일 실시예에서, 시차 정보 변환들의 세트는 신호로부터의 다른 데이터에 기초한 다른 시차 변환을 더 포함한다.

일 실시예에서, 업데이트된 시차 정보 변환을 결정하는데 있어서 입력으로서 이용되는 시차 정보 변환들은 선택 규칙에 기초하여 선택된다. 일 실시예에서, 선택 규칙은 타겟 디바이스의 미리 결정된 깊이 범위 내에 있는 시차 정보 변환들을 선택하는 것을 규정한다. 이 미리 결정된 범위는 예를 들면 가장 근접한 깊이 범위 크기일 수 있다.

일 실시예에서, 타겟 디바이스는 3차원(3D) 디스플레이 시스템이고, 각각의 시차 맵 제약들은:

3D 디스플레이 디바이스의 시차 또는 깊이 범위,

뷰어와 3D 디스플레이 디바이스 사이의 디스플레이 거리, 및

3D 디스플레이 디바이스로부터 뷰어의 위치를 나타내는 위치 파라미터로부터 적어도 하나를 포함한다.

일 실시예에서, 업데이트된 신호는 타겟 디바이스에 후속 전송되고, 업데이트된 신호는 타겟 디바이스의 이용 가능한 시차 범위 내에 있는 3차원 이미지에 대한 뷰 정보에 대한 이미지 요소들을 렌더링하도록 시차 맵을 조정하기 위해 이용된다. 따라서, 시차 정보의 처리는 예를 들면, 3차원(3D) 디스플레이 디바이스로부터 외부적으로 수행될 수 있다.

다른 양태에 따라, 본 발명은 컴퓨터 프로그램 제품으로서, 제품이 컴퓨터상에서 실행할 때 상기 방법 단계들을 실행하도록 처리 유닛에 명령하는, 컴퓨터 프로그램 제품에 관한 것이다.

또 다른 양태에 따라, 본 발명은 신호에 포함된 시차 정보를 처리하기 위한 디바이스에 있어서:

이미지 정보와 연관된 적어도 하나의 시차 맵을 포함하는 신호를 수신하는 수신기; 및

처리기를 포함하고,

처리기는 제 1 시차 맵 제약들을 나타내는 신호로부터 제 1 데이터를 획득하고,

제 2 시차 맵 제약들을 나타내는 신호로부터 제 2 데이터를 획득하고,

적어도 제 1 데이터 및 제 2 데이터를 처리함으로써 타겟 디바이스의 제 3 시차 맵 제약들과 매칭하는 제 3 데이터를 결정하고, 제 3 데이터는 타겟 디바이스의 시차 맵 정보 제약들과 매칭하는 업데이트된 신호를 생성하도록 구성되는, 시차 정보를 처리하기 위한 디바이스에 관한 것이다.

따라서, 디바이스는, 제 1 또는 제 2 데이터 어느 것도 타겟 디바이스의 제약들과 매칭하지 않는 경우에도, 타겟 디바이스와 매칭하는 업데이트된 제 3 데이터를 생성하는데 있어서 그 데이터를 입력으로 이용할 수 있는 디바이스가 제공된다. 이미지 정보는 스틸 이미지, 또는 비디오-시퀀스의 프레임 또는 필드일 수 있다.

디바이스는 셋-톱 박스, 블루-레이 디스크 플레이어, 3D 디스플레이 디바이스, 스테레오 디스플레이, PC 컴퓨터 디바이스, 또는 휴대용 컴퓨터 디바이스의 필수적인 부분일 수 있다.

또 다른 양태에 따라, 본 발명은 상기 디바이스를 포함하는 3차원(3D) 디스플레이 디바이스에 관한 것이다.

일 실시예에서, 3D 디스플레이 디바이스는 오토-스테레오스코픽 디스플레이 시스템이다.

3D 디스플레이 디바이스는 스테레오스코픽 디스플레이 시스템 또는 오토스테레오스코픽 스테레오 디스플레이이다.

본 발명의 양태들은 다른 양태들 중 어느 하나와 각각 조합될 수 있다. 본 발명의 이들 및 다른 양태들은 이후 기술된 실시예들을 참조하여 더욱 명확해지고 명료해질 것이다.

본 발명의 실시예들은 도면들을 참조하여 단지 예의 방식으로 기술될 것이다.

본 발명은 신호에 포함된 시차 정보를 처리하기 위한 방법 및 디바이스를 제공한다.

도 1은 스크린 표면으로부터 측정되는 스크린 시차 p, 뷰어와 디스플레이 사이의 디스플레이 거리 D, 눈 거리 x_B, 및 오브젝트의 지각된 거리 z_p 사이의 관계를 도시한 도면.
도 2는 스테레오 TV, 시네마, 및 최신 기술의 오토스테레오스코픽 디스플레이들에 통상적인 깊이 범위들의 비교를 도시한 도면.
도 3은 본 발명에 따른 방법의 흐름도.
도 4는 변환 전의 시차 맵을 도시한 도면.
도 5는 제약된 스크린들에 대한 시차 변환의 예를 도시한 도면.
도 6은 변환 후의 시차 맵을 도시한 도면.
도 7은 시차 맵핑의 다른 예를 도시한 도면.
도 8은 타겟 디바이스 제약들과 매칭하는 제 3 시차 정보 변환들을 획득하기 위해 2개의 시차 정보 변환들 사이의 보간의 예를 그래픽으로 도시한 도면.
도 9는 본 발명에 따른 디바이스를 도시한 도면.
도 10은 상기 디바이스를 포함하는 본 발명에 따른 3차원(3D) 디스플레이 디바이스를 도시한 도면.

스테레오스코픽 깊이 지각에 대한 도입:

사람이 실세계에서 깊이를 지각하는 방법을 보면, 사람은 2개의 눈들로 세상을 보고, 각각의 눈은 약간 상이한 위치로부터 세상을 본다. 뇌는 3차원 임프레션을 얻기 위해 왼쪽 및 오른쪽 눈으로부터 이미지들을 융합시킨다.

깊이는 상이한 깊이 '큐들(cues)'을 통해 지각되며, 그중 일부는 하나의 눈을 감고(또는 사람이 사진 또는 TV를 보고 있는 경우)서도 작동한다. 이들은 소위 단안 깊이 큐들(monocular depth cues)(조정 제외)이라고 불린다. 두 눈들을 필요로 하는 깊이 큐들은 쌍안 깊이 큐들(binocular depth cues)이라고 불린다.

단안 큐들은 원근감, 움직임 시차, 텍스처 기울기, 상대적 크기, 중재(interposition), 음영, 필드 깊이(depth-of-field) 및 조정을 포함한다. 조정은 눈들이 특정 오브젝트 상에 초점이 맞추어질 때, 뇌가 초점을 제어하는 눈 근육의 긴장으로부터 그 오브젝트의 거리를 추정할 수 있음을 의미한다. 이것은 오직 절대적 단안 큐이며, 다른 모든 것은 상대적 단안 큐이다.

쌍안 깊이 큐들은 수렴(convergence) 및 입체(stereopsis)이다. 수렴은 사람의 눈들의 축들이 사람이 보고 있는 오브젝트 상에 수렴하는 것을 의미한다. 사람이 훨씬 먼 오브젝트를 보고 있다면, 눈들은 평행하고, 사람이 코끝을 보려고 할 때, 시선들이 교차하게 된다. 수렴은 또한 조정과 같이 절대적 큐이다. 그러나, 조정 및 수렴은 입체에 비해 단지 중요하지 않은 큐들이다. 입체는 때때로 "삼각 측량(triangulation)"이라고도 칭해지며, 인간의 뇌가 왼쪽 및 오른쪽 눈의 망막 상의 오브젝트들 사이의 디스패리티에 기초하여 적용하는 "이미지 처리(image processing)"에 의한 깊이 "계산(calculation)"을 의미한다.

스테레오스코픽 깊이 인식이 어떻게 임의의 다른 스테레오스코픽 또는 오토스테레오스코픽 디스플레이 상에서 또는 3D 시네마에서 작동하는지를 고려할 때, 기술은 각각의 눈에 상이한 이미지를 보여주기 위한 것이다. 이것은 왼쪽 및 오른쪽 이미지들을 상이한 컬러(입체사진(anaglyph), Dolby/Infitec)로 인코딩함으로써, 또는 왼쪽 및 오른쪽 이미지들을 순차적으로 보여줌으로써 달성될 수 있다. 모든 이들 방법들은 왼쪽 및 오른쪽 이미지들을 필터링해내기 위해 뷰어가 안경을 착용하도록 요구한다. 대안은, 뷰어가 안경을 착용하도록 요구하지 않지만, 예를 들면 디스플레이 상의 배리어들 또는 렌즈들에 기초하여, 왼쪽 및 오른쪽 눈에 상이한 이미지들을 보여주는 오토스테레오스코픽 디스플레이들이다. 모든 방법들의 품질은 왼쪽 및 오른쪽 이미지 사이의 분리가 얼마나 양호한지에 의해 결정된다. 왼쪽 이미지의 일부가 오른쪽 눈에 너무 가시적이면(또는 그 반대), 결과로서 생긴 효과는 잔상(ghosting) 또는 크로스토크(cross-talk)이라고 불리며, 이것은 3D 체험을 감소시킬 수 있다.

스크린의 표면 상에 나타나는 오브젝트들은 왼쪽 및 오른쪽 눈에 대해 동일한 이미지들을 가진다. 스크린의 후면 또는 전면에 부유하는 임의의 오브젝트는 왼쪽/오른쪽 이미지들에서 약간 이동된다. 이미지의 이동은 일반적으로 픽셀들에서 측정되고, '디스패리티'라고 불린다. 이것은 이미지의 해상도 및 스크린 크기에 의존하여 상이한 효과를 유발하기 때문에, 단지 스크린 표면 상의 오브젝트의 이동을 보며, 이는 '스크린 시차'라고 칭해진다. 특정 해상도 또는 스크린 크기로부터 독립되기 위한 물리적 거리로서 규정된다.

도 1은 스크린 표면으로부터 측정되는 스크린 시차 p, 뷰어와 디스플레이 사이의 디스플레이 거리 D, 눈 거리

, 및 오브젝트의 지각된 거리

사이의 관계를 도시한다. x-축은 디스플레이 패널을 표현하고 z-축은 디스플레이 패널로부터의 거리를 표현한다.

관계식은 다음과 같이 표현될 수 있다:

수학식으로부터 다음의 속성들을 도출하는 것이 가능하다:

스크린 시차 p는 지각된 깊이

가 0일 때 0이다.

스크린 시차 p는 오브젝트가 스크린 후면에 나타날 때 양이고, 오브젝트가 스크린 전면에 나타날 때 음이다.

훨씬 먼 오브젝트들에 대해(

), p는 눈 거리

와 동일하다. 이것은 p의 상한이다.

뷰어와 스크린 사이의 중간에서 부유하는 오브젝트(

를 가짐)는

의 시차를 가진다.

뷰어로부터

의 거리를 가지는 오브젝트는 p = -2x_B의 시차를 가지고 뷰어로부터

의 거리를 가지는 오브젝트는 p = -3x_B의 시차를 가지는 등이다.

때때로, 상이한 방식으로 수학식을 공식화하는 것이 더 용이하다. 스크린 표면으로부터의 절대적 거리 대신에, 뷰어로부터 오브젝트의 상대적 거리에 초점을 맞추는 것이 가능하다(참조로서 스크린 거리 D를 이용하여). 상대적 깊이는 다음과 같이 표현될 수 있다:

이 측정은 때때로 '가현 깊이'라고 칭해진다. d가 100%이면, 오브젝트는 스크린 표면 상에 나타나고, d가 50%이면, 뷰어와 스크린 사이의 중간에 부유한다. 100%보다 큰 경우, 오브젝트는 스크린 후면에 나타난다. d의 관점에서 오리지널 수학식을 다시 작성하면,

d에 대해 이를 풀면,

이 주어진다.

상기 수학식들은 일반적이며 모든 스크린 크기들 및 뷰어 크기들에 적용한다. 불행히도, 다음의 이유들로 인해, 실제 스크린 상에서 완전한 3D 체험을 생성하기가 그다지 쉽지 않다: 스크린 크기가 제한되고,

조정/수렴 미스매칭이 존재하고,

움직임 시차가 없고,

시야가 제한된다.

스크린 크기가 왜 문제인지를 알아내기 위하여, 가시적인 이미지 주위의 프레임인 소위 스테레오 윈도우를 보아야 한다. 왼쪽 및 오른쪽 이미지들을 수평으로 이동시킴으로써, 어떤 오브젝트들이 스크린 평면 상에, 그 전면에 또는 그 후면에 나타나는지에 영향을 미치는 것이 가능하다. 스크린 평면 후면의 임의의 오브젝트가 자동으로 자연스럽게 느끼고, 거의 실제 윈도우를 통해 보고 있는 것과 같다. 스크린의 전면에 부유하는 오브젝트들이 스크린 경계에 의해 컷오프될 때 문제들이 발생한다. 이것은 소위 윈도우 위반(window violation)이다. 예를 들면, 오브젝트가 스크린의 전면에 부유하고, 왼쪽 눈에 대한 이미지 상의 왼쪽 경계를 터치하는 경우에, 오브젝트의 부분들은 오른쪽 눈에 대한 이미지에서 컷오프된다. 인간의 뇌는 충돌하는 큐들을 얻고, 입체 큐는 이것을 오브젝트가 스크린 전면에 있다고 말하지만, 폐색 큐(occlusion cue)는 이것을 오브젝트가 스크린 경계 후면에 숨겨져 있다고 말하고, 따라서, 스크린 뒤에 있는 것이 틀림없다. 보다 적게, 또한, 상단부 또는 하단부 경계에서 오브젝트들을 컷오프시키는 것은 부자연스럽게 느껴진다.

현재, IMAX 스크린만이, 사람들이 왼쪽/오른쪽 경계들 상의 윈도우 위반들에 관해 걱정할 필요가 없을 만큼 충분히 넓다. 보통의 시네마 스크린들(대략 10m 폭) 상에서, 윈도우 위반들이 문제가 되기 시작하고, 3D 텔레비전 세트들 상에서 문제가 불가피하다. 상기의 수학식들을 보면, 상대적 깊이의 관점에서 동일한 3D 효과를 얻기 위해서는 물리적 스크린 시차가 스크린 크기에 무관하게 동일한 것을 알 수 있다. 시네마에서 훨씬 먼 오브젝트들을 보여주기 위해, 왼쪽 및 오른쪽 이미지들은 x_B = 65mm만큼 이동된다. 이것은 스크린 폭의 대략 0.5%이다. 3D TV에서 훨씬 먼 오브젝트들을 보여주기 위해, 왼쪽 및 오른쪽 이미지들은 마찬가지로 65mm만큼 이동되지만, 이제 이동은 스크린 폭의 거의 5%이다. 25%의 상대적 거리에서 스크린의 전면에 부유하는 오브젝트를 보여주기 위하여, 시네마 스크린 폭의 적어도 1.5%의 여유가 필요하지만 TV에 대해서는 15%의 여유가 필요하다. 따라서, 오브젝트들을 사람들의 코앞에서 3D TV와 공중 정지(hovering)시키는 것은 매우 어렵다. 그것은 스크린의 중앙 즈음에 있는 오브젝트들에 대해서만 작동한다.

결론은 더 작은 스크린들이, 보여줄 수 있는 깊이의 양을 자동으로 제한한다는 것이다.

다른 주요 문제는 조정/수렴 미스매칭이다. 오브젝트가 스크린의, 후면에 또는 전면에 나타나는 것에 상관없이, 여전히 스크린 상에 눈들의 초점을 맞추어야 한다. 간단히 말해서, 2개의 절대적 깊이 큐들 중 단 하나만이 스테레오스코픽 프로젝션에서 이용되며, 이는 다른 하나에 모순된다. 경험이 부족한 3D 청중들에 대해, 눈금량은 1.5도보다 많은 망막 디스패리티들을 회피하기 위한 것이다. 1.5도보다 많은 것은 눈의 피로를 야기하고, 때때로 사람들은 두 이미지들을 하나로 융합할 수 없어서, 어떠한 3D 효과도 보지 않을 것이다. 이것은 입체를 가진 이미지들을 융합하도록 돕는 단안 깊이 큐들의 품질에 주로 의존한다. 망막 디스패리티는 다음과 같이 계산될 수 있다:

다시, 3D 시네마는, 물리적 시차 p가 스크린 거리 D에 비해 작기 때문에 여기에서 이점을 가진다. D = 1Om의 스크린 거리를 가정하면, 훨씬 먼 오브젝트들에 대한 망막 디스패리티는 단지 약 0.37도이다.

20%의 상대적 거리에서 부유하는 오브젝트들은 1.48도의 망막 디스패리티를 가지고, 거의 시네마에서 가야 할 정도로 가깝다.

상대적 깊이에 대한 수학식들을 다시 보면, 뷰어는 스테레오 스크린의 정면에 앉아 있다고 가정한다. 50%의 상대적 깊이를 가진 오브젝트들은 뷰어와 스크린 사이의 중간에 있는 것으로 나타난다. 이제, 스크린으로 더 가깝게 이동시킴으로써 - 동일한 오브젝트는 여전히 50%의 상대적 깊이를 가지지만, 스크린 상의 크기에 비교하여 깊이가 변한다. 오브젝트는 덜 절대적 깊이를 가진다. 뷰어가 스크린으로부터 떨어지게 이동하면, 절대적 깊이가 증가된다. 특정 '스위트 스폿(sweet spot)'에서만, 뷰어가 깊이와 2D 크기 사이의 정확한 비를 얻는다. 뷰어가 그 위치에 앉아 있다면, 시야(즉, 스크린이 얼마나 크게 보이는지의 각)는 시네마의 시야와 동일하다. 이 조건은 또한 정-입체(ortho-stereopsis)라고 불리며, 시네마에 의해 관측된 깊이의 완전한 재생이다.

이러한 조건이 모든 뷰어들에게 달성되는 것은 불가능하다. 단일 뷰어에 대해서도, 그것은 전체 컨텐트가 단일 시네마 렌즈를 가지고 줌 없이 생성되어야 하는 것을 의미한다. 뷰어들은 그것이 그들이 부자연스럽게 보일 수 있는 너무 많은 깊이를 회피하여 2D TV 및 2D 시네마에서 이용되는 것이므로, 매우 작은 깊이를 쉽게 허용할 수 있다.

깊이 스케일링이 상이한 스크린들에 대해 동작하는 방법:

깊이 스케일링은 포맷에 저장된 깊이를 타겟 스크린의 깊이 범위로 변환하는 처리이다. 용어 깊이 스케일링의 이용은 디스패리티/시차를 다른 디스패리티/시차로 맵핑하는 것을 의미하는 것이 바람직하다. WOWvx 포맷과 같은 다양한 포맷들은, 시네마들에서 스테레오 보호를 위한 모바일 폰들의 오토스테레오스코픽 디스플레이들에 대해, 각각의 스크린의 전체 깊이 능력들을 항상 이용하면서 눈의 피로 및 뷰잉 불편함이 최소로 감소되게 함으로써, 임의의 스크린 상에서 3D를 보여줄 수 있다. 그러나, 포맷이 특정 3D 포맷에 제한되어서는 안되며, 2D 플러스 깊이 파일 및 인터페이스 포맷과 같은 다른 포맷들이 마찬가지로 이용될 수 있음을 유념해야 한다.

여기서의 목적은, 핸드헬드 디바이스들로부터 시네마 스크린들로 임의의 이용 가능한 3D 스크린 상에 적절한 포맷을 갖는 컨텐트를 보여주기 위한 것이다. 이와 같이, 포맷은 큰 깊이 범위를 가져서, 큰 스크린들 상에 이를 보여줄 만큼의 충분한 정보가 이용 가능하다. 이전에 언급된 바와 같이, 타겟 스크린에 오리지널 깊이 정보의 최적의 변환을 찾기 위해서는 여러 요인들이 고려되어야 한다.

큰 스크린들에서 시작하여 헨드-헬드 크기로 내려가고, 최적의 구성인 각각의 스크린 크기를 조사한다.

상대적 깊이의 관점에서 무한대의 25%의 깊이 범위를 포함하는 파일이 제공된다고 가정한다. 이것은 가장 가까운 오브젝트들이 스크린 거리의 1/4에서 청중 앞에 부유하고 있고 가장 먼 오브젝트들이 무한한 깊이에 있음을 의미한다. 시차 범위는 65mm(무한하게 멀리 떨어진)에서 -195mm(25% 상대적 깊이)까지이다.

시네마 스크린들:

시네마 스크린 상에서, 또는 더욱 정밀한 임의의 시네마 스크린 상에서, 청중과 스크린 사이에 충분한 거리가 있어서, 조정/수렴 불일치는 문제가 되지 않으며 스테레오 윈도우가 가진 문제들을 예상하지 않는다. 결과적으로, 시네마 스크린은 적절한 포맷으로 인코딩된 깊이 범위를 보여줄 수 있고, 깊이 정보를 변환할 필요가 없다. 이것은 각각의 스크린 상에 동일한 스테레오 이미지들을 보여주는 것과 같지 않으며 - 물리적 스크린 시차가 동일하지만, 이것은 스크린 크기 및 픽셀 해상도에 의존하는 픽셀 디스패리티를 유발하는 것을 유념한다. 시야가 보통의 시네마들보다 크기 때문에 IMAX은 예외이다. 보통의 시네마에 대해 생성된 컨텐트의 깊이 애스펙트 비를 유지하기 위하여, 스크린 평면을 청중으로부터 떨어지게 이동시키는 것이 유리할 수 있다.

스테레오스코픽 3D TV:

1m의 스크린 폭(대략 45" 대각선)과 3D 안경을 구비한 스테레오스코픽 3D TV를 고려하면, 청중과 TV 세트 사이의 일반적인 거리는 3m이다.

상대적 깊이의 25%가 3.72도의 망막 디스패리티를 유발하기 때문에 - 일반적으로 편안한 뷰잉을 하기에 너무 많은 것으로 지각됨- 오리지널 컨텐트의 전체 깊이 범위를 보여주는 것은 가능하지 않다는 것이 명백하다. 1.24도의 망막 디스패리티만을 가지더라도, 뷰어가 불연속으로 이를 보아야 하는 경우 눈 망막에 무한한 깊이가 유발될 수 있다.

다른 문제는 -195mm의 스크린 시차가 스크린의 최대 거의 20%를 취한다는 점이다. 이것은 스테레오 윈도우를 위반하지 않기 위하여 스크린의 전면에 부유한다고 가정하여 오브젝트의 양측면들 상에 적어도 20%의 여유를 필요로 한다.

또한, 오리지널 컨텐트가 시네마 스크린에 의도되었다면, 동일한 물리적 스크린 시차를 가지지만 더 작은 스크린 상에서 이를 시청하는 것이, "너무 많은 깊이"의 느낌을 유발할 가능성이 있다. 이것은 현재 상이한 시야에 의해 유발되는 불균형 깊이 애스펙트 비에 의해 유발된다. 오브젝트들은 크기가 더 작지만 여전히 동일한 깊이를 가지며, 예를 들면, 현재 오이 형태를 갖는 것으로 나타나는 볼을 가진다.

최종적으로, 또한, 의도된 스크린 평면을 남겨두고 이를 뷰어쪽으로 또는 이로부터 떨어지게 너무 많이 이동시키려고 시도해야 한다. 이유는 간단하다: 뷰어가 초점을 맞추어야 하는 컨텐트의 대부분(예를 들면, 작은 텍스트 또는 다른 미세한 세부사항들)이 눈의 피로를 회피하도록 스크린 평면 상에서 최상으로 보여지고, 컨텐트 생성자가, 뷰어가 그 깊이에 초점을 맞추기를 바라는 오브젝트들을 놓기 위해 일반적으로 컨텐트가 생성된다. 모든 4개의 요인들을 고려하여, 3D TV에 대한 양호한 깊이 범위는 25mm 내지 -75mm(시차의 관점에서) 및 46.4% 내지 162.5%(상대적 깊이의 관점에서)일 수 있다. 그것은 당연히 매우 주관적이고 바로 안전한 디폴트이다.

뷰어가 동일한 TV 세트 상의 시네마 스크린에 생성된 스테레오 영화를 보고 있는 경우 뷰어가 얻을 수 있는 것과 이 깊이 범위를 비교하는 것에 관심이 있다. 컨텐트가 상기에 언급된 것과 같고, 영화가 40' 스크린 크기용으로 만들어졌다고 가정하면, 결과로서 생긴 깊이 범위는 5.3mm 내지 -16mm(스크린 시차의 관점에서) 및 80% 내지 109%(상대적 깊이의 관점에서)이다. WOWvx 포맷의 예로서, 깊이 효과는 최대 4 내지 5배 더 강력해질 수 있다. 차를 비교하는 도면은 도 2에 도시되며, 이것은 시네마 스크린 상에 도시되는 통상적인 시네마 컨텐트, 스테레오스코픽 TV 상에 도시된 동일한 스테레오(L/R) 이미지들, 및 동일한 스테레오스코픽 TV 상에 도시된 WOWvx 기술(깊이 스케일링 및 시차 정보 변환들)로 구성된 동일한 컨텐트의 깊이 범위의 비교를 도시한다.

제약된 스크린들 및 더 작은 디스플레이들:

일반적으로 동시 오토스테레오스코픽 디스플레이들 및 더 작은 디스플레이들은 제약된 깊이 및 시차 범위를 가지며, 단순히 디스플레이들은 상당량의 스크린 폭을 써버리지 않고 충분한 시차를 보여줄 만큼 충분히 크지 않기 때문이거나, 또는 다중뷰 오토스테레오스코픽 디스플레이들은 여러 뷰들을 렌더링해야 하고 동일한 크기의 스테레오스코픽 디스플레이에 의해 이용되는 다수의 시차 범위가 필요하다.

이 제한된 시차 범위를 최대 효과까지 이용하기 위해, 다음의 방법들 중 하나를 이용하는 것이 가능하다:

모든 샷/장면이 전체 깊이 범위를 이용하는 것이 아니고, 각각의 샷의 깊이 범위를 디스플레이의 깊이 범위로 맵핑하는 것이 가능하다. 상이한 샷들에 걸쳐 일관된 깊이를 얻는 것은 가능하지 않고, 절대적 깊이 측정이 존재하지 않지만, 그러한 장면들에 대해서는 인지 가능하지 않다.

전체 깊이 범위를 이용하는 샷들에서, 이를 오리지널 깊이 범위의 프렉션까지만 감소시키는 것은 예를 들면, 얼굴들 및 다른 오브젝트들이 평평하게 나타나는 카드 보딩 효과(card boarding effect)를 유발한다. 오브젝트들 사이의 깊이를 희생하여 오브젝트들의 내부의 깊이를 증가시키는 것이 양호한 솔루션이다. 이것은 포맷에 시차 변환을 임베딩함으로써 달성될 수 있다.

장면의 초점들인 오브젝트들은 근면 및 원면(near and far plane) 또는 뷰잉 절두체(viewing frustum)로 둘러싸일 수 있다. 제약된 스크린 상에서, 원면 뒤의 어느 것은 디스플레이의 원면 상에 프로젝팅되고 근면 상의 어느 것은 근면에 클리핑/프로젝팅된다. 이것은 또한, 포맷에 시차 변환을 임베딩함으로써 달성될 수 있다.

3D 디스플레이 디바이스에 대한 뷰잉 조건들은 항상 충족되지는 않는다. 이것은 스크린이 크고 먼 거리로부터 시청되어야 하고, 뷰들 사이의 분리가 매우 양호해야 할 것을 요구한다. 그러나, 이들 뷰잉 조건들은 항상 충족되지는 않는다; 그러므로, 때때로 이미지+깊이 신호는 3D 디스플레이 디바이스가 덜 제한적인 깊이 능력들을 가지려 한 경우 너무 큰 시차 범위를 보일 수 있다. 또한, 컨텐트가 제한된 깊이 범위를 가진 디스플레이를 위해 만들어진 경우가 될 수 있으며, 이것은 더 많은 깊이가 덜 제한적인 디스플레이 상에 시각화될 수 있음을 의미한다. 또한, 깊이의 간단한 선형 스트레칭은 깊이량을 증가시키거나 감소시키기 위해 크게 발전할 수 있지만, 때때로 시차의 더 많은 장면-특정 변환이 요구된다. 이러한 맵핑들은, 예를 들면, 본 명세서에 참조로서 포함된 "Nick Holliman, Mapping Perceived Depth to Regions of Interest in Stereoscopic Images, in Stereoscopic Displays and Applications XV, 2004, available as http://www.comp.leads.ac.uk/edemand/publications/hol04a.pdf"에 기술된 바와 같이 본 기술분야에 알려져 있다.

이러한 맵핑의 이용의 예는 도 4 내지 도 6에 주어진다. 도 4의 좌측은 스크린 뒤에 나타나고 장면 깊이에서 무한대로 연장하는 길의 장면을 도시하고, 우측은 시차 맵을 도시한다. 뷰어에 매우 가까운 공은 공중 정지된다. 볼과 길의 가시적 부분 사이의 깊이에는 큰 캡이 존재한다. 전체 범위에 대한 시차 범위는 예를 들면 -65mm 내지 65mm일 수 있다. 제약된 깊이 범위를 가진 스크린들에 대해, 볼은 디스패리티를 선형적으로 스케일링할 때 매우 평평하게 나타난다. 볼이 스크린 앞의 전체 이용 가능한 공간을 이용하게 하는 것은 더욱 즐거울 수 있다. 이것은 도 5에 도시된 시차 변환으로 달성될 수 있으며, 여기서 x-축은 변환의 입력 시차를 포함하고, y-축은 출력 시차를 도시한다. 양의 시차값들은 선형적으로 스케일링된다(양의 시차는 이것이 길일 경우, 스크린 뒤에 있다). 선형 스케일링 이외의 다른 것들을 행하는 것은 단안 및 쌍안 깊이 큐들 사이의 디스패리티를 야기하고, 다른 뷰들을 재생성하는 것은 일직선 대신 만곡된/구부러진 길을 보여준다. -65mm 내지 예를 들면 -40mm의 볼의 시차 범위는 제약된 스크린 앞의 전체 "공간(space)"을 이용하기 위해 선형적으로 스케일링된다. 전경 및 배경 오브젝트 사이의 갭(-40mm 내지 0mm의 시차 범위)이 제거된다. 도 5에 도시된 바와 같은 시차 맵핑은 이를 달성할 것이고, 도 6에 도시된 바와 같이 수정된 시차 맵을 결과로서 만든다(더 작은 시차 스케일을 이용하여). 하기에 기술되는 바와 같이, 아이덴티티 변환, 즉 공급된 변환, 도 6의 이미지의 디스플레이를 위한 깊이 데이터와 함께, 도 4의 이미지의 디스플레이를 위한 실제 깊이 데이터는 특정한 타겟 디바이스의 디스플레이 범위를 위한 새로운 것을 도출하기 위해 이용된다. 상이한 3D 디스플레이들이 상이한 깊이 범위 시각화 특성들을 가지기 때문에, 시차 변환들이 이용되는 것이 바람직하다는 것을 유념해야 한다. 예를 들면, 더 작은 스크린들 상에서, 깊이 범위는 일반적으로, 오브젝트들을 뷰어의 코에 거의 닿게 할 수 있는 큰 시네마 스크린 상보다 작다.

시차 맵핑의 다른 예는 도 7에 도시되며, 디스플레이의 깊이 범위가 할당되는 원면과 근면 사이의 관심있는 범위를 식별하여, 그 범위 밖의 임의의 깊이 값들을 클리핑한다.

이 시차 맵으로부터, 도 4(오른쪽 도면)에 도시된 바와 같은 이러한 맵핑 시차를 수신함으로써, 시차 맵으로부터, 예를 들면 도 5에 도시된 맵핑 대신 (-65mm, -65mm), (65mm, 65mm)에 의해 특징지워진 시차 변환으로부터 맵핑(이 경우 아이덴티티 맵핑)을 도출하는 것이 가능하다는 것을 유념해야 한다.

2007년 9월 13일에 출원되고 본 명세서에 참조로서 포함된 비공개 특허 출원 EP 07116278.8 (대리인 문서번호 PH008849EP1)에 기술된 바와 같이, 뷰잉 조건들 및 3D 디스플레이 속성들이 알려져 있는 수신단에서 맵핑이 적용될 수 있도록(또는 없도록) 깊이 맵들과 함께 이들 맵핑들을 기술하는 시차 변환들을 전송하는 것이 유리하다. 이러한 방식으로, 시차 맵들이 3D 디스플레이 및 뷰잉 조건들에 여전히 적응될 수 있기 때문에, 다양한 시차 범위 능력들을 가진 디스플레이들 상에서 컨텐트가 시청될 수 있다. 그래서, 도 4로부터의 이미지 및 깊이는 도 5에 도시된 시차 변환을 기술하는 정보에 의해 수반될 수 있거나, 반대로, 도 6으로부터의 깊이 맵이 컨텐트에 인코딩되는 경우, 도 5에 도시된 변환의 역이 도 4에 도시된 깊이 맵의 재구성을 허용하기 위한 메타-데이터로서 함께 전송될 수 있다.

더욱이, 오리지널 깊이 신호(또는 오히려 MPEG-C 파트 3이 오프셋과 시차 스케일과 같은 메타-데이터)는 하나의 시차 범위를 발생시키는 반면, PH008849EP1에 기술된 바와 같이 제공된 시차 변환을 적용하는 것은 제 2 시차 범위를 가진 제 2 깊이 신호를 유발한다.

일 실시예에서, 본 발명의 목적은, 상기 시차 범위들 중 어느 것도, 즉 오리지널 깊이 신호의 시차 범위 또는 제 2 시차 범위 어느 것도 타겟 3D 디스플레이의 시차 범위와 매칭하지 않는 시나리오를 다루는 것이다. 이러한 상황에서, 2개의 변환들(예를 들면, 제공된 변환 및 아이덴티티 변환)로부터 보간(또는 필요하다면 외삽)에 의해 신규한 변환이 계산될 수 있다. 이러한 방식으로, 신호의 깊이 범위는 3D 디스플레이의 이용 가능한 시차 범위로 동조될 수 있다.

도 3은 신호에 포함된 시차 정보를 처리하는 본 발명에 따른 방법의 흐름도를 도시한다.

단계(S1)(301)에서, 다른 이미지 정보와 연관된 시차 정보를 포함하는 신호가 수신된다.

단계(S2)(303)에서, 제 1 시차 맵 제약들을 나타내는 신호로부터 제 1 데이터가 획득된다.

시차 맵을 나타내는 데이터는 시차 정보(별칭으로는, 뷰들 사이의 변위의 (수평)양을 나타내는 디스패리티 정보) 또는 거리 정보(디스플레이의 전면 또는 후면에서 얼마나 멀리에서 그 위치의 장면 배치되는지를 나타내는 데이터)일 수 있다. 시차 맵 제약들은 뷰어와 3D 디스플레이 디바이스 사이의 디스플레이 거리, 또는 3D 디스플레이 디바이스로부터 뷰어의 위치를 나타내는 위치 파라미터, 그 조합을 예로서 포함할 수 있다.

단계(S3)(305)에서, 제 2 시차 맵 제약들을 나타내는 정보로부터 제 2 데이터가 획득된다.

단계(S4)(307)에서, 타겟 디바이스의 제 3 시차 맵 제약들과 매칭하는 제 3 데이터는 적어도 제 1 데이터 및 제 2 데이터를 처리함으로써 결정된다. 이러한 제 3 데이터는 타겟 디바이스의 시차 맵 정보 제약들과 매칭하는 업데이트된 신호를 생성하도록 구성된다.

일 실시예에서, 제 1 데이터 및 제 2 데이터는 시차 정보 변환들이고, 제 1 및 제 2 시차 맵 제약들은 이미지 정보에 대한 제 1 및 제 2 깊이 범위들이다.

시차 정보를 가진 용어는 깊이-관련 정보 또는 디스패리티-관련 정보 또는 둘의 조합을 포함할 수 있다.

이 실시예에서, 제 3 데이터는 제 3 시차 정보 변환이고, 제 3 시차 맵 제약은 제 3 깊이 범위이다. 일 실시예에서, 이 제 1 시차 정보 변환은 수신된 시차 맵, 즉 이미지의 디스플레이를 위한 실제 깊이 데이터의 아이덴티티 정보 변환이고, 적어도 제 2 시차 정보 변환은 아이덴티티 정보 변환으로부터 처리된 시차 정보 변환이다(도 4 내지 도 6 참조).

PH008849EP1에 기술된 바와 같이, 이러한 적어도 제 2 시차 정보 변환은 메타데이터로서 비디오 신호에 포함될 수 있으며, 메타데이터는 시차 정보 변환의 생성에 이용되는 적어도 하나의 맵핑 함수 또는 시차 정보 변환의 생성에 이용되는 맵핑 함수의 적어도 하나의 역, 또는 시차 정보 변환의 생성에 이용되는 맵핑 함수에 대한 적어도 하나의 계수, 또는 그 조합을 포함한다.

일 실시예에서, 타겟 디바이스의 제 3 시차 맵 제약들과 매칭하는 제 3 데이터를 결정하는 단계는, 시차 정보 변환들의 세트로부터 2개의 각각의 시차 변환들 사이를 보간하는 단계를 포함하고, 시차 정보 변환들의 세트는 제 1 및 제 2 시차 정보 변환들을 포함하고, 제 3 데이터는 상기 타겟 디바이스의 깊이 범위와 매칭하는 제 3 시차 정보 변환이다. 2개 이상의 시차 정보 변환들은 제 2 시차 정보 변환들로부터 또는 수신된 시차 맵의 아이덴티티 정보 변환 및 하나 이상의 제 2 시차 정보 변환들로부터 선택될 수 있다. 다른 실시예에서, 보간은 각각이 그들의 범위를 갖는 2개(또는 그 이상)의 깊이 맵들 사이의 보간을 포함한다.

따라서, 하나보다 많은 시차 변환이 제공되면, 고차 보간이 사용될 수 있거나, 보간을 수행하기 위해 선택된 이용 가능한 변환의 적합한 서브세트가 이용될 수 있다. 하나의 공용 암시적 제 3 변환은 컨텐트 시차 범위를 디스플레이 시차 범위로 선형적으로 압축 또는 연장하는 선형 변환이다.

갱신된 시차 정보 변환을 결정하는데 있어서 입력으로 이용되는 2개 이상의 시차 정보 변환들의 선택은 선택 규칙에 기초하여 선택될 수 있다. 이 선택은 타겟 디바이스의 미리 결정된 깊이 범위 내에 있는 시차 정보 변환들을 선택하는 것에 기초할 수 있다. 예를 들면, 이용할 2개 이상의 시차 정보 변환들의 선택은 그 범위가 타겟 디바이스 범위에 가장 가깝게 놓인 시차 정보 변환들을 선택하는데 기초할 수 있으며, 바람직하게 하나는 더 작은 범위를 가지고 하나는 더 큰 범위를 가진다.

예를 들면, 오리지널 깊이 데이터의 시차 범위가 [0..12]라고 가정하고, 이 범위를 [0..4]로 맵핑하는 시차 변환이 이용 가능하다고 가정하면, 0 내지 12로부터 부범위[4..8]를 선택하고 4 미만 및 8 초과의 값들을 클리핑함으로써 가능할 수 있다. 이 변환은 0->0, 4->0, 8->4 및 12->4의 맵핑들에 의해 특징지워질 수 있다(이들 사이의 선형 보간으로). 타겟 디바이스가 [0..8]의 깊이 범위를 갖는 디스플레이 디바이스이면, 아이덴티티 변환과 공급된 시차 변환 사이의 보간에 의해 새로운 시차 변환을 계산하는 것이 가능하다. 8이 12와 4의 평균이므로, 이것은 맵핑들을 평균냄으로써 달성된다. 결과는 다음과 같은 맵핑이다: 0->(0+0)/2, 4->(0+4)/2, 8->(4+8)/2, 12->(4+12)/2. 이러한 새로운 변환은 그 후에 공급된 변환 대신에 시차 데이터에 적용될 수 있다(그래서, 예를 들면, 2의 시차는 1로 맵핑되며, 0이 0으로 맵핑되고 4가 2로 맵핑되기 때문이다). 이것은 도 8에 그래픽으로 도시되며, "다이아몬드형들"은 오리지널 깊이 데이터 [0..12]의 시차 범위를 나타내고, "삼각형"은 이 범위를 [0..4]로 맵핑하는 공급된 시차 변환의 시차 범위를 나타내고, 삼각형들은 세 번째이고 새로운 시차 변환 [0..8]이다. 이것은 신규한 변환이 2개의 변환들로부터 보간에 의해 어떻게 계산될 수 있는지의 예이다. 이러한 방식으로, 신호의 깊이 범위는 3D 타겟 디스플레이의 이용 가능한 시차 범위로 정확하게 동조될 수 있다.

보간은 또한, 상이한 위치들에서 "제어 지점들"을 갖는 시차 변환들을 이용하여 행해질 수 있다. 예를 들면, 이전 예를 참조하면, 그 예에서 공급된 시차 변환은 0, 4, 8 및 12에서 제어 지점들을 가진다. 다른 시차 변환 0->0, 6->8, 12->12가 존재한다면(아이덴티티 변환에 비해 (6, 8)에서 여분의 제어 지점), 보간은 이 시차 변환에 대해 4 및 8에서 어떤 값들인지를 계산해야 하고, 이전 시차 변환에서 6에서 어떤 값인지를 계산해야 하고, 그 후에 새로운 시차 변환이 0, 4, 6, 8, 및 12에서 제어 지점들을 가지고 생성된다.

도 3의 흐름도로 계속하면, 단계(S5)(309)에서, 업데이트된 신호는 타겟 디바이스에 후속 전송되며, 업데이트된 신호는 타겟 디바이스의 이용 가능한 시차 범위 내에 있는 3차원 이미지에 대한 정보를 뷰잉하기 위해 이미지 요소들을 렌더링하도록 시차 맵을 조정하기 위해 이용된다. 이 단계는 상기 언급된 처리 단계들이 타겟 디바이스로부터 외부적으로 수행되는 시나리오를 개시하며, 즉, 상기 언급된 처리 단계들은 반드시 타겟 디바이스에 의해 수행되어야 하는 것이 아니라, 임의의 수신기 디바이스(타겟 디바이스가 아님)로 수행된다. 이러한 디바이스는, 처리기가, 타겟 디바이스, 예를 들면 3D 디스플레이 디바이스에 의해 제공된 요건들에 적합한 신호를 도출하기 위하여, 보간에 의해 데이터를 변환하도록 허용하는 처리 유닛일 수 있다. 결과적으로, 처리 디바이스는 셋톱 박스(예를 들면, 들어오는 신호가 이미 연관된 2개의 관련 신호들을 가질 때) 내에 있을 수 있고, 3D 디스플레이 디바이스 내에 있을 수 있고, 메모리 내의 정보를 디스플레이에 대한 비디오 출력 또는 PC 컴퓨터 상에서 실행하는 프로그램으로 변환하는 "디스플레이 어댑터" 내에 있을 수 있다.

도 9는 신호(901) 내에 포함된 시차 정보를 처리하기 위한 디바이스(900)를 도시하며, 디바이스(900)는 수신기(R)(910) 및 처리기(P)(911)를 포함한다. 수신기는 이미지 정보(902)에 연관된 시차 맵을 포함하는 신호를 수신하도록 구성된다. 처리기(P)(911)는 제 1 시차 맵 제약들을 나타내는 신호로부터 제 1 데이터를 획득하고, 제 2 시차 맵 제약들을 나타내는 신호로부터 제 2 데이터를 획득하고, 적어도 제 1 데이터 및 제 2 데이터를 처리함으로써 타겟 디바이스(904)의 제 3 시차 맵 제약들과 매칭하는 제 3 데이터를 결정하도록 구성된다. 이 제 3 데이터는 타겟 디바이스(904)의 시차 맵 정보 제약들과 매칭하는 업데이트된 신호를 생성하도록 구성된다. 처리기(P)(911)에 의해 수행되는 처리 단계들은 도 3의 흐름도에서 이미 논의되었다.

디바이스는 셋톱 박스(905), 블루-레이 디스크 플레이어(905), 3D 디스플레이 디바이스(1000), 스테레오 디스플레이, PC 컴퓨터 디바이스(905), 휴대용 컴퓨터 디바이스 등의 집적부일 수 있다.

도 9에 도시되고 도 3에 이전에 기술된 바와 같이, 처리는 디스플레이 디바이스측에서 수행될 수 있거나(즉, 종단-수신기측에서), 또는 제 3 데이터가 유선 또는 무선 통신 채널(907)을 통해 전송기(T)(906)에 의해 타겟 디바이스(904)에 후속 전송되는 경우 외부적으로 수행될 수 있으며, 유선 또는 무선 통신 채널(907)은 수신기(903)에 구비되어, 타겟 디바이스(904)의 시차 맵 정보 제약들과 매칭하는 업데이트된 신호를 생성하도록 정보의 처리를 수신한다. 외부적으로 처리하는 경우, 디스플레이 디바이스(900)는 예를 들면, 시차 변환을 가진 .wowvx 파일로 판독되고, 컴포지터(compositor)에 대한 출력 모드를 특정 디스플레이(특정 범위를 갖는)에 대한 스테레오 모드로 설정하도록 구성될 수 있다. 그러한 방식으로, 컴포지터는 조정된 시차를 이용하여 왼쪽 및 오른쪽 화상을 렌더링한다.

예를 들면, 블루-레이 디스크는 특정 3D 깊이 범위에 대한 비디오 + 시차 정보와, 시차 정보를, 상이한 깊이 범위를 가진 제 2 디스플레이 타입에 이용될 수 있는 새로운 시차 맵으로 맵핑하도록 허용하는 시차 변환을 포함한다. 블루-레이 디스크 플레이어는 이 디스크를 재생하고, 압축된 포맷에서 디스플레이 포맷으로 정보를 변환하고, 예를 들면 HDMI를 통해 모든 이러한 정보를 3D 디스플레이 디바이스에 전송할 수 있다. 디스플레이 디바이스 또는 블루-레이 디스크 플레이어는, 시차 정보를 해당 3D 디스플레이의 디스플레이 범위로 맵핑하기 위해 이용될 수 있는 신규한 시차 변환을 계산하기 위해 본 명세서에 개시된 방법을 적용할 수 있다(블루-레이 디스크 플레이어는 예를 들면 EDID 정보로부터 디스플레이의 디스플레이 범위를 확인할 수 있다). 블루-레이 디스크 플레이어가 방법을 구현한다면, 디스플레이에 비디오 데이터를 통신할 때 3D 디스플레이 디바이스를 맞추는 신규한 변환으로 디스크로부터 판독된 시차 변환을 대체한다. 대안적으로, 블루-레이 플레이어는 신규한 시차 변환을 디스크로부터 판독된 시차 맵들에 적용할 수 있고, 디스크로부터 판독된 것들 대신에 신규한 시차 맵들을 디스플레이에 전송할 수 있다. 이제는 시차 변환을 전송하기 위한 필요가 더 이상 존재하지 않으므로, 본 명세서에 개시된 방법을 구현하지 않은 3D 디스플레이에 대한 호환성을 제공한다. 대안적으로, 디스크로부터의 오리지널 시차 변환은 3D 디스플레이에 전송되고, 3D 디스플레이는 신규한 시차 변환을 계산하기 위해 본 명세서에 개시된 방법을 실행한다.

도 10은 도 9로부터의 디바이스(900)를 포함하는 3차원(3D) 디스플레이 디바이스(1000)를 도시한다. 이러한 3D 디스플레이 디바이스는 오토-스테레오스코픽 디스플레이 시스템, 스테레오스코픽 디스플레이 시스템 또는 스테레오 디스플레일 수 있다.

본 발명에 따른 방법은 광범위한 다양한 처리 플랫폼들 상에서 구현되는 것이 유리할 수 있다. 구현들은 범용 컴퓨터, 디지털 신호 처리기 또는 다른 프로그래밍 가능한 처리기 상에서 동작하는 것으로 예상될 수 있다. 대안적으로, 본 발명은 주문형 반도체 상에 포함된 미리-프로그래밍된 하드웨어 구현에서 구현될 수 있다.

본 발명이 도면들 및 상기한 기술에서 상세히 예시되고 기술되었지만, 이러한 예시 및 기술은 예시적일 뿐 제한하는 것으로 간주되지 않는다; 본 발명은 개시된 실시예들에 제한되지 않는다. 또한, 도 10을 참조하여 상술된 바와 같이, 본 발명은 디스플레이, 셋톱 박스, 또는 다른 디바이스와 같은 제품에서 구현될 수 있음을 유념한다. 후자의 경우, 본 발명은 이러한 본연의 목적 및/또는 더욱 일반적인 목적의 처리 플랫폼들에 타겟팅된 처리 플랫폼들 내에 통합되어 구현될 수 있다.

개시된 실시예들에 대한 다른 변형들은 청구된 발명을 실시하는데 있어서, 도면들, 개시내용 및 첨부된 특허청구범위의 연구로부터 본 기술분야의 통상의 기술자에 의해 이해되고 실시될 수 있다. 특허청구범위에서, 용어 "포함(comprising)"은 다른 요소들 또는 단계들을 배제하지 않고, 부정관사 "한(a 또는 an)"은 복수를 배제하지 않는다. 단일 처리기 또는 다른 유닛은 특허청구범위에 기재된 여러 항목들의 기능들을 이행할 수 있다. 특정 측정들이 상이한 종속 청구항들에서 서로 인용되는 단순한 사실은 이들 측정들의 조합이 이점으로 사용될 수 없음을 나타내지 않는다. 컴퓨터 프로그램은 광 저장 매체 또는 다른 하드웨어의 일부로서 또는 그와 함께 공급되는 고체 매체와 같은 적합한 매체 상에 저장/배급될 수 있지만, 인터넷 또는 다른 유무선 원격통신 시스템들을 통해서와 같이 다른 형태들로 배급될 수도 있다. 청구항들의 임의의 참조 부호들은 범위를 제한하는 것으로 해석되어서는 안 된다.

904 : 타겟 디바이스 910 : 수신기
911 : 처리기 1000 :3D 디스플레이 디바이스

Claims (16)

1. 신호를 처리하는 방법에 있어서:
   시차 정보(parallax information), 이미지 정보, 및 메타데이터를 포함하는 신호(901)를 수신하는 단계;
   상기 이미지 정보에 대한 제 1 깊이 범위를 나타내는 상기 신호로부터 제 1 시차 정보 변환 특성을 획득하는 단계(303)로서, 상기 제 1 시차 정보 변환 특성은 상기 메타데이터로부터 획득되거나, 또는 상기 제 1 시차 정보 변환 특성은 수신된 시차 정보의 아이덴티티 정보 변환 특성이고, 상기 아이덴티티 정보 변환 특성은 상기 시차 정보의 아이덴티티 변환인, 상기 제 1 시차 정보 변환 특성을 획득하는 단계;
   상기 이미지 정보에 대한 제 2 깊이 범위를 나타내는 상기 신호로부터 제 2 시차 정보 변환 특성을 획득하는 단계(305)로서, 상기 제 2 시차 정보 변환 특성은 상기 메타데이터로부터 획득되는, 상기 제 2 시차 정보 변환 특성을 획득하는 단계;
   상기 제 1 시차 정보 변환 특성 및 상기 제 2 시차 정보 변환 특성을 처리하여 타겟 디스플레이 디바이스의 타겟 깊이 범위에 매칭하는 타겟 시차 정보 변환 특성을 결정하는 단계(307)로서, 상기 제 1 시차 정보 변환 특성 및 상기 제 2 시차 정보 변환 특성은 상기 타겟 시차 정보 변환 특성의 생성에서 입력으로 사용되고, 상기 타겟 시차 정보 변환 특성은 상기 타겟 디스플레이 디바이스의 깊이 범위에 매칭하는 업데이트된 신호를 생성하도록 적응되는, 상기 타겟 시차 정보 변환 특성을 결정하는 단계를 포함하고,
   깊이 범위를 나타내는 상기 시차 정보 변환 특성은 상기 깊이 범위에 매칭하는 시차 정보의 변환을 규정하는, 시차 정보 처리 방법.
2. 제 1 항에 있어서,
   상기 타겟 디스플레이 디바이스의 타겟 깊이 범위에 매칭하는 타겟 시차 정보 변환 특성을 결정하는 단계는,
   상기 제 1 시차 정보 변환 특성과 상기 제 2 시차 정보 변환 특성 사이를 보간하는 단계, 또는
   둘 이상의 시차 정보 변환 특성들을 고차 보간하는 단계로서, 상기 둘 이상의 시차 정보 변환 특성들은 상기 제 1 시차 정보 변환 특성과 상기 제 2 시차 정보 변환 특성을 포함하는, 상기 고차 보간하는 단계를 포함하는, 시차 정보 처리 방법.
3. 삭제
4. 제 1 항 또는 제 2 항에 있어서,
   상기 제 2 시차 정보 변환 특성은 상기 아이덴티티 정보 변환 특성을 처리되는 입력으로서 이용함으로써 획득되는 시차 정보 변환 특성이고, 상기 처리는 상기 제 2 시차 정보 변환 특성을 출력하는, 시차 정보 처리 방법.
5. 제 1 항에 있어서,
   상기 신호는 비디오 신호이고, 상기 제 2 시차 정보 변환 특성은 메타데이터로서 상기 비디오 신호에 포함되는, 시차 정보 처리 방법.
6. 제 5 항에 있어서,
   상기 메타데이터는:
   상기 시차 정보에 관한 맵핑 함수,
   상기 시차 정보에 관한 맵핑 함수의 역, 및
   상기 시차 정보에 관한 맵핑 함수에 대한 계수 중 적어도 하나를 포함하는, 시차 정보 처리 방법.
7. 제 1 항에 있어서,
   상기 타겟 디스플레이 디바이스의 타겟 깊이 범위에 매칭하는 타겟 시차 정보 변환 특성을 결정하는 단계는, 시차 정보 변환 특성의 세트로부터 2개의 각각의 시차 정보 변환 특성 사이를 보간하는 단계를 포함하고, 상기 시차 정보 변환 특성의 세트는 상기 제 1 및 제 2 시차 정보 변환 특성을 포함하고, 상기 타겟 시차 정보 변환 특성은 상기 타겟 디스플레이 디바이스의 깊이 범위에 매칭하는, 시차 정보 처리 방법.
8. 제 7 항에 있어서,
   상기 시차 정보 변환 특성의 세트는 상기 신호에 기초한 제 3 시차 정보 변환 특성을 포함하는, 시차 정보 처리 방법.
9. 제 7 항 또는 제 8 항에 있어서,
   업데이트된 시차 정보 변환 특성을 결정하는데 있어서 입력으로서 이용되는 상기 시차 정보 변환 특성은 선택 규칙에 기초하여 선택되는, 시차 정보 처리 방법.
10. 제 9 항에 있어서,
    상기 선택 규칙은 상기 타겟 디스플레이 디바이스의 미리 결정된 깊이 범위 내에 있는 시차 정보 변환 특성을 선택하는 것을 규정하는, 시차 정보 처리 방법.
11. 삭제
12. 제 1 항에 있어서,
    상기 업데이트된 신호는 상기 타겟 디스플레이 디바이스에 후속 전송되고, 상기 업데이트된 신호는 상기 타겟 디스플레이 디바이스의 이용 가능한 시차 범위 내에 있는 3차원 이미지에 대한 뷰 정보에 대한 이미지 요소들을 렌더링하도록 상기 시차 정보를 조정하기 위해 이용되는, 시차 정보 처리 방법.
13. 컴퓨터상에서 실행될 때 상기 제 1 항의 방법 단계를 실행하도록 처리 유닛에 명령하는 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능 기록 매체.
14. 신호(901)를 처리하기 위한 디바이스(900)에 있어서:
    시차 정보, 이미지 정보, 및 메타데이터를 포함하는 신호를 수신하는 수신기(910); 및
    처리기(911)로서,
    상기 이미지 정보에 대한 제 1 깊이 범위를 나타내는 상기 신호로부터 제 1 시차 정보 변환 특성을 획득(303)하는 것으로서, 상기 제 1 시차 정보 변환 특성은 상기 메타데이터로부터 획득되거나, 또는 상기 제 1 시차 정보 변환 특성은 수신된 시차 정보의 아이덴티티 정보 변환 특성이고, 상기 아이덴티티 정보 변환 특성은 상기 시차 정보의 아이덴티티 변환인, 상기 제 1 시차 정보 변환 특성의 획득;
    상기 이미지 정보에 대한 제 2 깊이 범위를 나타내는 상기 신호로부터 제 2 시차 정보 변환 특성을 획득(305)하는 것으로서, 상기 제 2 시차 정보 변환 특성은 상기 메타데이터로부터 획득되는, 상기 제 2 시차 정보 변환 특성의 획득; 및
    상기 제 1 시차 정보 변환 특성 및 상기 제 2 시차 정보 변환 특성을 처리하여 타겟 디스플레이 디바이스(904, 1000)의 타겟 깊이 범위에 매칭하는 타겟 시차 정보 변환 특성을 결정하는 것으로서, 상기 제 1 시차 정보 변환 특성 및 상기 제 2 시차 정보 변환 특성은 상기 타겟 시차 정보 변환 특성의 생성에서 입력으로 사용되고, 상기 타겟 시차 정보 변환 특성은 상기 타겟 디스플레이 디바이스(904, 1000)의 깊이 범위에 매칭하는 업데이트된 신호를 생성하도록 적응되는, 상기 타겟 시차 정보 변환 특성의 결정을 위한, 상기 처리기를 포함하고,
    깊이 범위를 나타내는 상기 시차 정보 변환 특성은 상기 깊이 범위에 매칭하는 시차 정보의 변환을 규정하는, 시차 정보 처리 디바이스.
15. 제 14 항에 있어서,
    상기 타겟 디스플레이 디바이스의 타겟 깊이 범위에 매칭하는 타겟 시차 정보 변환 특성의 결정은,
    상기 제 1 시차 정보 변환 특성과 상기 제 2 시차 정보 변환 특성 사이의 보간, 또는
    둘 이상의 시차 정보 변환 특성들의 고차 보간으로서, 상기 둘 이상의 시차 정보 변환 특성들은 상기 제 1 시차 정보 변환 특성과 상기 제 2 시차 정보 변환 특성을 포함하는, 상기 고차 보간을 포함하는, 시차 정보 처리 디바이스.
16. 제 14 항 또는 제 15 항에 청구된 바와 같은 디바이스를 포함하는, 3차원(3D) 디스플레이 디바이스(1000).

Images