KR101038452B1

KR101038452B1 - 멀티뷰 이미지 생성

Info

Publication number: KR101038452B1
Application number: KR1020067002454A
Authority: KR
Inventors: 마크 제이. 알. 오피 디이 빅크; 파비안 이. 언스트
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-08-05
Filing date: 2004-07-28
Publication date: 2011-06-01
Also published as: US20060232666A1; US7764827B2; JP2007502454A; WO2005013623A1; JP4644669B2; EP1654884A1; CN1830217B; KR20060119864A; CN1830217A

Abstract

입력 이미지에 기초하여 멀티뷰 이미지를 생성하기 위한 멀티뷰 이미지 생성 유닛(100)이 개시되어 있다. 생성 유닛(100)은 상기 입력 이미지에서 에지를 검출하는 에지 검출 수단(102)과; 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 깊이 맵 생성 수단(104)으로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 뷰어와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 뷰어와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 수단(104)과, 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단(106)을 포함한다.

렌더링 수단, 깊이 맵, 멀티뷰 이미지, 에지 검출, 컴퓨터 프로그램

Description

멀티뷰 이미지 생성{Multi-view image generation}

본 발명은 입력 이미지에 기초하여 멀티뷰 이미지(multi-view image)를 생성하는 멀티뷰 이미지 생성 유닛에 관한 것이다.

본 발명은 또한,

- 입력 이미지에 대응하는 신호를 수신하는 수신 수단, 및

- 상기 입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 멀티뷰 이미지 생성 유닛을 포함하는 이미지 처리 장치에 관한 것이다.

본 발명은 또한, 입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 방법에 관한 것이다.

본 발명은 또한, 처리 수단 및 메모리를 포함하는 컴퓨터 장치에 의해 로딩될 수 있는 컴퓨터 프로그램 제품에 관한 것으로, 상기 프로그램 제품은 입력 이미지에 기초하여 멀티뷰 이미지를 생성하기 위해 명령어들을 포함한다.

멀티뷰 디스플레이 디바이스 상에서 3D 효과를 생성하기 위해, 서로 다른 가상 시점들로부터의 이미지들이 렌더링 되어야 한다. 이것은 다중 입력 시야들이나 일부 3D 또는 깊이 정보가 존재할 것을 요구한다. 이러한 깊이 정보는 멀티뷰 카메라 시스템들로부터 생성되어 기록되거나 종래의 2D 비디오 소재로부터 생성되어 기록될 수 있다. 2D 비디오로부터 깊이 정보를 생성하기 위해, 모션으로부터의 구조, 초점 정보, 기하학적 형상들, 및 동적 교합(dynamic occlusion)과 같은 몇 가지 형태들의 깊이 큐들이 적용될 수 있다. 목표는 밀집 깊이 맵(a dense depth map), 즉 픽셀 당 하나의 깊이 값을 생성하는 것이다. 이러한 깊이 맵은 멀티뷰 이미지를 렌더링하는데 사용되어 깊이 효과를 관찰자에게 제시한다. 1997년 캘리포니아, 로스 알라미토스, Vol. IV, ISBN 0-8186-7919-0, 페이지 2749-2752, IEEE 컴퓨터 협회, 음향, 음성, 및 신호 처리에 대한 국제 회의에서, P.A. Redert, E.A. Hendriks, 및 J. Biemond에 의한 논문 "중간이 아닌 위치들에서 멀티뷰 이미지들의 합성(Synthesis of multi viewpoint images at non-intermediate positions)"에는 깊이 정보를 추출하고, 입력 이미지 및 깊이 맵에 기초하여 멀티뷰 이미지를 렌더링하는 방법이 개시되어 있다.

상기 인용된 방법의 단점은 깊이 맵 생성이 적절하지 못하여 결과적으로 불만족스런 깊이 효과가 나타나는 것이다.

본 발명의 목적은, 서두에 기술된 종류의 멀티뷰 이미지 생성 유닛으로서, 지각적으로 납득할 수 있는 깊이 효과를 갖는 멀티뷰 이미지들을 상대적으로 제한된 깊이 정보에 기초하여 렌더링하기 위해 배치되는 멀티뷰 이미지 생성 유닛을 제공하는 것이다.

이러한 본 발명의 목적은,

- 상기 입력 이미지에서 에지를 검출하는 에지 검출 수단,

- 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 깊이 맵 생성 수단으로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 수단, 및

- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단을 포함하는 상기 생성 유닛에 따라 달성된다. 결과적으로, 상기 멀티뷰 이미지의 수행된 렌더링은 에지가 주변 영역보다 상기 관찰자에게 더 가깝게 인식되는, 즉 에지 상의 깊이 차이가 생성되는 방식에 따른다. 인간 지각 포인트의 시점으로부터 상기 에지는 전경 대상(object)에 속하도록 나타난다. 그러므로, 위치적으로 상기 깊이 렌더링은 상기 전면 대상이 배경 앞에 실제로 있다는 것을 보여준다. 본 발명자들은 인간 지각이 그에 따라 깊이 효과를 완성하기 위해 이러한 매우 제한되고 부분적 깊이 정보를 통합하는 것을 관찰하여 왔다.

에지가 1 픽셀 폭의 전이를 반드시 의미하는 것은 아니라는 것에 주의해야 한다. 그것은 다수의 픽셀들에 걸쳐 확장하는 부드러운 에지일 수 있다.

본 발명에 따른 상기 멀티뷰 이미지 생성 유닛의 실시예에 있어서, 상기 에지 검출 수단은 상기 입력 이미지의 제 1 픽셀 값들 및 제 2 입력 이미지의 각각의 제 2 픽셀 값들 사이의 픽셀 값 차이들을 계산함으로써 상기 에지를 검출하도록 배치되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속한다. 비디오 이미지들의 시퀀스의 후속하는 이미지들을 감산하는 단계에 기초하여 에지를 검출하는 단계는 상대적으로 쉽다. 이러한 실시예의 장점은 실시간 구현이 상대적으로 단순한 계산 리소스들을 통해 실현될 수 있다는 것이다. 픽셀 값들은 색상 또는 휘도와 같은 시각적 정보를 표현한다.

픽셀 값 차이들을 계산함으로써 상기 에지를 검출하도록 배치되는 본 발명에 따른 상기 멀티뷰 이미지의 실시예에 있어서, 상기 제 1 깊이 값은 상기 픽셀 값 차이들 중 첫번째 것의 함수이다. 다시 말해서, 상기 계산된 픽셀 값 차이는 상기 깊이 값을 결정하기 위해 사용된다. 양호하게는, 상기 계산된 픽셀 값 차이는 상기 깊이 값에 비례한다. 선택적으로, 필터링 단계는 픽셀 값 차이들의 계산의 중간 결과에 대해 적용된다. 상기 필터링 단계는 공간적, 시간적, 또는 시공간 저역통과 필터링을 포함할 수 있다. 대안적으로, 문턱값은 상대적으로 낮은 픽셀 값 차이들을 필터링 출력하기 위해 사용된다. 이러한 상대적으로 낮은 픽셀 값 차이들은 그에 따라 노이즈로 해석된다.

본 발명에 따른 상기 멀티뷰 이미지 생성 유닛의 실시예에 있어서, 상기 에지 검출 수단은 상기 입력 이미지 및 제 2 입력 이미지에 기초하여 계산되는 모션 벡터 필드에 기초하여 상기 에지를 검출하도록 배치되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속한다. 양호하게는, 상기 에지 검출 수단은 상기 모션 벡터 필드의 모션 벡터들에 이웃하는 모션 벡터 차이들을 계산함으로써 상기 에지를 검출하도록 배치된다. 계산 모션 벡터 필드들은 예를 들어 비디오 압축, 비 비월주사, 또는 일시적 업 컨버전(temporal up-conversion)과 같은 것에 대해 공지된 공통 테크닉이다. 전형적으로, 모션 벡터 필드에서의 불연속들, 즉 상기 모션 벡터 필드의 인접한 모션 벡터들 사이의 상대적으로 큰 차이들은 캡쳐된 장면에서 이동하는 대상들의 경계들에 대응하므로, 관련된 에지들에 대응한다. 본 발명에 따른 이러한 실시예의 장점은 그것이 서로 다른 형태들의 에지들: 실질적으로 고정된 대상들에 속하는 에지들 및 이동하는 대상들에 속하는 에지들 사이에서 구별하기 위해 배치된다는 것이다. 특히, 후자의 형태의 에지들은 이러한 에지들이 전형적으로 전경 대상들에 대응하기 때문에 관련이 있다.

모션 벡터 필드에 기초하여 상기 에지를 검출하기 위해 배치되는 본 발명에 따른 상기 멀티뷰 이미지 생성 유닛의 실시예에 있어서, 상기 제 1 깊이 값은 상기 모션 벡터 차이들 중 첫번째 것의 함수이다. 다시 말해서, 상기 계산된 모션 벡터 차이는 상기 깊이 값을 결정하기 위해 사용된다. 양호하게는, 상기 계산된 모션 벡터 차이들은 상기 깊이 값에 비례한다.

본 발명의 다른 목적은 상대적으로 제한된 깊이 정보에 기초하여 깊이 효과를 지각적으로 확신하는 것을 통해 멀티뷰 이미지들을 렌더링하기 위해 배치되는 시작절에서 기술된 종류의 멀티뷰 이미지 생성 유닛을 포함하는 이미지 처리 장치를 제공하는 것이다.

본 발명의 이러한 목적은,

- 상기 입력 이미지에서 에지를 검출하는 에지 검출 수단,

- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단을 포함하는 생성 유닛에 따라 달성된다.

선택적으로, 상기 이미지 처리 장치는 상기 멀티뷰 이미지를 디스플레이하기 위한 멀티뷰 디스플레이 디바이스를 더 포함한다.

본 발명의 다른 목적은 상대적으로 제한된 깊이 정보에 기초하는 깊이 효과를 지각적으로 확신하는 것을 통해 멀티뷰 이미지들을 렌더링하기 위해 시작절에서 기술된 종류의 방법을 제공하는 것이다.

본 발명의 이러한 목적은,

- 상기 입력 이미지에서 에지를 검출하는 단계,

- 상기 에지에 기초하여 상기 입력 이미지에 대한 깊이 맵을 생성하는 단계로서, 상기 깊이 맵의 요소들의 제 1 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 1 깊이 값을 갖는 상기 에지에 대응하고, 상기 깊이 맵의 요소들의 제 2 그룹은 상기 멀티뷰 이미지의 관찰자와 관련된 제 2 깊이 값을 갖는 상기 에지에 인접하여 위치되는 상기 입력 이미지의 영역에 대응하며, 상기 제 1 값은 상기 제 2 값보다 더 작은, 상기 깊이 맵 생성 단계, 및

- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 포함하는 방법에 따라 달성된다.

본 발명의 다른 목적은 상대적으로 제한된 깊이 정보에 기초하여 깊이 효과를 지각적으로 확신하는 것을 통해 멀티뷰 이미지들을 렌더링하기 위해 시작절에서 기술된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.

본 발명의 이러한 목적은,

- 상기 입력 이미지에서 에지를 검출하는 단계,

- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 수행하기 위한 성능을 갖는 상기 처리 수단을 로딩된 후에 제공하는 컴퓨터 프로그램 제품에 따라 달성된다.

상기 멀티뷰 이미지 생성 유닛의 수정들 및 그의 변형들은 기술된 상기 이미지 처리 장치, 상기 방법, 및 상기 컴퓨터 프로그램 제품의 수정들 및 그의 변형들에 대응할 수 있다.

본 발명에 따른 멀티뷰 이미지 생성 유닛, 상기 이미지 처리 장치, 상기 방법, 및 상기 컴퓨터 프로그램 제품의 이러한 특징들 및 다른 특징들은 첨부 도면을 참조하여 이하 기술되는 실시예들과 관련하여 상세히 설명되고 그로부터 보다 명백해질 것이다.

도 1은 본 발명에 따른 멀티뷰 이미지 생성 유닛의 실시예를 개략적으로 도시한 도면.

도 2는 본 발명에 따른 멀티뷰 이미지 생성 유닛의 또 다른 실시예를 개략적으로 도시한 도면.

도 3은 비디오 이미지들의 시퀀스의 입력 이미지를 개략적으로 도시한 도면.

도 4a는 후속하는 입력 이미지들 사이의 색상 차이들에 기초한 깊이 맵을 개략적으로 도시한 도면.

도 4b는 모션 불연속들에 기초한 깊이 맵을 개략적으로 도시한 도면.

도 5a는 에지들로의 깊이 할당에 대한 제 1 함수를 개략적으로 도시한 도면.

도 5b는 에지들로의 깊이 할당에 대한 제 2 함수를 개략적으로 도시한 도면.

도 5c는 에지들로의 깊이 할당에 대한 제 3 함수를 개략적으로 도시한 도면.

도 6은 본 발명에 따른 이미지 처리 장치의 실시예를 개략적으로 도시한 도면.

동일한 참조번호들이 도면들 전체에 걸쳐 유사한 부분들을 나타내도록 사용되어 있다.

도 1은 본 발명에 따른 멀티뷰 이미지 생성 유닛(100)의 실시예를 개략적으로 도시한 도면이다. 멀티뷰 이미지 생성 유닛(100)은 비디오 이미지들의 시퀀스에 기초하여 멀티뷰 이미지들의 시퀀스를 생성하기 위해 배치된다. 도 3은 비디오 이미지들의 시퀀스의 입력 이미지를 개략적으로 도시한 도면이다. 멀티뷰 이미지 생성 유닛(100)은 입력 커넥터(108)에서 비디오 이미지들의 스트림을 제공받고, 출력 커넥터들(110, 112)에서 비디오 이미지들의 2개의 상호관련된 스트림들을 각각 제공한다. 비디오 이미지들의 이러한 2개의 상호관련된 스트림들은, 비디오 이미지들의 상호관련된 스트림들 중 첫번째 스트림에 기초하여 시야들의 제 1 시리즈를 시각화하고, 비디오 이미지들의 상호관련된 스트림들 중 두번째 스트림에 기초하여 시야들의 제 2 시리즈를 시각화하도록 구성된 멀티뷰 디스플레이 디바이스에 제공될 수 있다. 사용자가 그의 좌측 안구로 시야들의 제 1 시리즈를, 그의 우측 안구로 시야들의 상기 제 2 시리즈를 관찰하는 경우, 사용자는 3D 효과를 인지한다. 비디오 이미지들의 상호관련된 스트림들 중 첫번째 스트림이 수신된 비디오 이미지들의 시퀀스에 대응하고, 비디오 이미지들의 상호관련된 스트림들의 두번째 것이 수신된 비디오 이미지들의 시퀀스에 기초하여 렌더링될 수도 있다. 양호하게는, 비디오 이미지들의 스트림들 모두는 수신된 비디오 이미지들의 시퀀스에 기초하여 렌더링된다. 상기 렌더링은 예를 들어, 1997년 캘리포니아, 로스 알라미토스, Vol. IV, ISBN 0-8186-7919-0, 페이지 2749-2752, IEEE 컴퓨터 협회, 음향, 음성, 및 신호 처리에 대한 국제 회의에서, A. Redert, E.A. Hendriks, 및 J. Biemond에 의한 논문 "중간이 아닌 위치들에서 멀티뷰 이미지들의 합성"에서 기술되는 바와 같다. 대안적으로, 상기 렌더링은 Short Note 124, 그라나다, 2003년, Proceedings Eurographics 에서, R.P.Berretty 및 F.E.Ernst 에 의한 "2.5D 비디오로부터의 고품질 이미지들(High-quality images from 2.5D video)"에서 기술되는 바와 같다.

멀티뷰 이미지 생성 유닛(100)은,

- 입력 이미지들에서 에지들을 검출하는 에지 검출 유닛(102),

- 상기 검출된 에지들에 기초하여 상기 각각의 입력 이미지들에 대해 깊이 맵들을 생성하는 깊이 맵 생성 유닛(104), 및

- 상기 입력 이미지들 및 상기 각각의 깊이 맵들에 기초하여 상기 멀티뷰 이미지들을 렌더링하는 렌더링 유닛(106)을 포함한다.

에지들을 검출하는 단계는 개별적 입력 이미지들의 공간적 고역 통과 필터링에 기초할 수도 있다. 그러나, 상기 에지들은 다중 입력 이미지들의 상호 비교, 특히 비디오 이미지들의 시퀀스의 후속하는 이미지들의 픽셀 값 차이들의 계산에 기초하여 검출되는 것이 바람직하다. 픽셀 값 차이들 S(x, y, n)의 계산의 제 1 예는 방정식(1)에 따라 제시된다:

S(x, y, n) = |I(x, y, n) - I(x, y, n-1)| (1)

여기서, I(x, y, n)은 시간(n)에서 이미지의 x 및 y 좌표를 갖는 픽셀의 휘도값이다. 대안적으로, 픽셀 값 차이들 S(x, y, n)은 색상 값들에 기초하여 계산된 다:

S(x, y, n) = |C(x, y, n) - C(x, y, n-1)| (2)

여기서, C(x, y, n)는 시간(n)에서 이미지의 x 및 y 좌표를 갖는 픽셀의 색상 값이다. 방정식(3)에는, 3개의 서로 다른 구성요소들 R(적색), G(녹색), B(청색)에 기초하여 픽셀 값 차이들 S(x, y, n)을 계산하는 추가적 대안이 제시된다.

S(x,y,n) = max(|R(x,y,n)-R(x,y,n-1)|,|G(x,y,n)-G(x,y,n-1)|,|B(x,y,n)-B(x,y,n-1)|) (3)

선택적으로, 픽셀 값 차이 신호(

)는 미리 결정된 문턱값 아래인 모든 픽셀 값 차이들을 예를 들어 0인 상수로 클리핑함으로써 필터링된다. 선택적으로, 모폴로직 필터(morphologic filters) 연산이 적용되어 공간적으로 작은 에지들 모두를 제거할 수 있다. 모폴로직 필터들은 일반적인 비선형 이미지 처리 유닛들이다. 예를 들어, vol. 15, no. 3, pp. 249-258, 1988년, "Signal Processing"에서 P.W.Verbek, H.A.Vrooman, 및 L.J.van Vliet 에 의한 논문 "최대 최소 필터들에 의한 저레벨 이미지 처리(Low-level image processing by max-min filters)"를 참조하자.

필터링된 픽셀 값 차이 신호(

)의 계산 후에, 깊이 맵이 결정된다. 이것은 방정식 4로 정의된다.

D(x, y, n) = F(S_F(x, y, n)) (4)

여기서, D(x, y, n)은 시간(n)에서 이미지의 x 및 y 좌표를 갖는 픽셀의 깊 이 값이고, 함수 F(j)는 픽셀 값 차이 S_F(x, y, n)의 깊이 값 D(x, y, n)으로 선형 또는 비선형 변환이다. 이러한 함수 F(j)는 미리 결정된 상수와 픽셀 값 차이 S_F(x, y, n)의 단순한 곱셈일 수 있다.

D(x, y, n) = αㆍS_F(x, y, n) (5)

대안적으로, 함수 F(j)는 주목 픽셀 및 이 주목 픽셀에 공간적으로 이웃하는 제 2 픽셀 사이의 공간 거리(i)에 관련하고, 국소 최대값을 갖는 가중치 팩터 W(i)와 픽셀 값 차이 S_F(x, y, n)의 곱셈에 대응한다. 상기 제 2 픽셀은 에지의 중앙에 위치되는 것으로 가정된다.

D(x', y', n) = W(x, y, x', y')*S_F(x, y, n) (6)

도 5a는 에지들로의 깊이 할당에 대한 적절한 함수, 즉 공간 거리(i)의 함수로서 가중치 팩터 W(i)를 개략적으로 도시한다.

상술된 바와 같은 동작들의 결과는, 특정 깊이 맵 중 에지에 대응하는 제 1 그룹 요소들은 멀티뷰 이미지의 관찰자와 관련하여 제 1 깊이 값을 가지고, 상기 깊이 맵 중 상기 에지에 인접하여 위치되는 특정 입력 이미지의 영역에 대응하는 제 2 그룹의 요소들은 상기 멀티뷰 이미지의 관찰자와 관련하여 제 2 깊이 값을 가지며, 상기 제 1 값은 상기 제 2 값보다 더 작다는 것이다. 다시 말해서, 깊이 맵의 요소들 중 에지들에 대응하는 요소들은 깊이 맵의 요소들은 상기 깊이 맵의 다른 요소들보다 상기 관찰자에게 보다 작은 거리를 표현하는 값을 갖는다.

도 4a는 후속하는 입력 이미지들 사이의 색상 차이들에 기초한 깊이 맵의 예를 개략적으로 도시한다. 이러한 깊이 맵은 필터링 없이, 방정식(2, 5)에서 상술된 바와 같이 결정된다.

에지 검출 유닛(102), 깊이 맵 생성 유닛(104), 및 렌더링 유닛(106)은 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이러한 기능들은 소프트웨어 프로그램 제품의 제어하에서 수행된다. 실행 동안, 일반적으로 상기 소프트웨어 프로그램 제품은 RAM과 같은 메모리로 로딩되어 그곳으로부터 실행된다. 상기 프로그램은 ROM, 하드디스크, 또는 자기 및/또는 광 저장소와 같은 백그라운드 메모리로부터 로딩될 수 있고, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 애플리케이션 특정 집적회로는 개시된 기능성을 제공한다.

도 2는 본 발명에 따른 멀티뷰 이미지 생성 유닛(200)의 또다른 실시예를 개략적으로 도시한다. 멀티뷰 이미지 생성 유닛(200)은 비디오 이미지들의 시퀀스에 기초하여 멀티뷰 이미지들의 시퀀스를 생성하도록 구성된다. 멀티뷰 이미지 생성 유닛(200)은 입력 커넥터(108)에서 비디오 이미지들의 스트림을 제공받고, 출력 커넥터들(110, 112)에서 비디오 이미지들의 2개의 상호관련된 스트림들을 각각 제공한다. 멀티뷰 이미지 생성 유닛(200)은,

- 상기 입력 이미지들의 모션 벡터 필드들을 계산하는 모션 추정 유닛(202),

- 상기 각각의 모션 벡터 필드들에 기초하여 상기 입력 이미지들에서 에지들을 검출하는 에지 검출 유닛(102),

모션 추정 유닛(202)은 예를 들어, 페이지 368-379, 1993년 10월, no. 5, vol. 3, 비디오 기술에 대한 회로들 및 시스템에 관한 IEEE 트랜잭션들에서, G. de Haan 등에 의한 논문 "3-D 순환적 탐색 블록 매칭을 통한 트루-모션 추정(True-Motion Estimation with 3-D Recursive Search Block Matching)"에서 명시된 바와 같다.

에지 검출 유닛(102)에는 모션 추정 유닛(202)에 의해 계산된 모션 벡터 필드들이 제공된다. 에지 검출 유닛(102)은 모션 벡터 필드 불연속성들을 결정하도록 구성된다. 즉 상대적으로 큰 모션 벡터 대비(contrast)를 갖는 모션 벡터 필드들에서의 영역들을 검출하기 위해 구성된다는 것을 의미한다. 이러한 영역들은 대응하는 이미지들에서의 에지들에 대응한다. 선택적으로, 에지 검출 유닛(102)은 또한 픽셀 값들, 즉 입력 이미지들의 색상 및/또는 휘도 값들을 제공받는다. 다양한 입력들을 적절히 결합함으로써, 상기 이미지에서의 세그먼트들이 달성된다. 이러한 처리는 또한, 2003년 1월, Heinrich-Hertz-Institut, 베를린, ICOB(Imersive 통신 및 방송 시스템들)에서, F. Ernst에 의한 "시간 일관된 세분화에 기초하는 2D 대 3D 비디오 변환(2D-to-3D video conversion based on time-consistent segmentation)"에 기술되어 있다. 상기 이미지들내 세그먼트들의 검출된 에지들의 좌표들 외에, 또한 상기 세그먼트들의 위상(topology) 정보가 에지 검출 유닛(102)에 의해 제공될 수 있다. 그러므로, 상기 에지들의 어느 측이 전경 대상에 속하고 상기 에지의 어느 측이 배경에 속하는지 알려진다.

상기 에지 검출 후에, 깊이 값들의 할당이 수행된다. 양호하게는, 깊이 값들의 할당은 도 5b 및 도 5c에 도시된 바와 같은 가중치 팩터들 W(i)에 기초한다. 이러한 도 5b 및 도 5c에 있어서, 좌측 부분이 전경에 대응하는 것으로 가정된다. 도 5b는 비대칭 할당을 도시하고 있다; 깊이 점프(depth jump)는 전경을 향하여 바이어스되고, 도 5c는 비틀린(skewed) 할당을 도시하고 있다; 깊이 점프는 배경에서 보다 빨리 떨어진다. 도 5a에서 도시하는 바와 같이, 에지 주변에 대한 깊이의 대칭 할당은 적절한 인지를 위해 충분한 것으로 보이지만, 어떤 다른 깊이 큐로부터 추가적인 깊이 정보가 존재하는 경우, 이러한 에지에 적절한 인지를 위해 충분한 것으로 보이지만 깊이 값들을 할당하는데 적용되는 것이 바람직하다. 깊이 값들의 할당은 정보가 상기 에지의 전경 측이 상기 에지의 배경 측보다 다소 더 앞쪽으로 렌더링되도록 약간 바이어스되는 것이 바람직하다. 상기된 바와 같이, 에지 검출 유닛(102)은 상기 세그먼트들의 토폴로지에 대한 정보를 제공하도록 구성된다. 그로므로, 상기 에지의 어느 측이 상기 전경에 속하는지와 어느 측이 상기 배경에 속하는지를 알게 된다. 도 4b는 본 발명에 따른 이러한 실시예의 깊이 맵 생성 유닛(104)에 의해 제공되는 모션 불연속성들에 기초한 깊이 맵을 개략적으로 도시한다.

모션 추정 유닛(202), 에지 검출 유닛(102), 깊이 맵 생성 유닛(104), 및 렌더링 유닛(106)은 하나의 프로세서를 사용하여 구현될 수 있다.

요약하자면, 멀티뷰 이미지 생성 유닛들(100, 200)은, 깊이 불연속들에 대한 양호한 후보들인 입력 이미지들 내의 에지들을 검출하고, 상기 에지들이 주변 영역들보다 관찰자에게 더 가까운 것으로 인식되는 방식으로 이러한 이미지들을 렌더링함으로써 멀티뷰 이미지들을 렌더링하도록 구성된다.

상기 깊이 할당이 주로 에지 검출에 기초하므로 구현하기 쉽고 안정적이다. 특히, 상기 에지 검출이 색상, 휘도, 텍스쳐, 또는 모션에 기초하여 상대적으로 쉽기 때문이다. 양호하게는, 상기 에지들은 시간, 예를 들어, 시간 일관된 세분화(time-consistent segmentation)를 통해 트랙되므로, 에지 당 깊이 할당이 보다 시간에 걸쳐 보다 안정적이다.

도 6은 본 발명에 따른 이미지 처리 장치(600)의 실시예를 개략적으로 도시한 도면이다. 상기 이미지 처리 장치는,

- 입력 이미지들을 표현하는 비디오 신호를 수신하는 수신 유닛(602),

- 도 1 및 도 2의 어떠한 것과 관련하여 기술되는 바와 같은, 상기 수신된 입력 이미지들에 기초하여 멀티뷰 이미지들을 생성하는 멀티뷰 이미지 생성 유닛(604), 및

- 멀티뷰 이미지 생성 유닛(604)에 의해 제공된 상기 멀티뷰 이미지들을 디스플레이하는 멀티뷰 디스플레이 디바이스(606)를 포함한다.

상기 비디오 신호는 안테나 또는 케이블을 통해 수신되는 방송 신호일 수 있지만, 또한 VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장소 디바이스로부터의 신호일 수도 있다. 상기 신호는 입력 커넥터(610)에서 제공된다. 이미지 처리 장치(600)는 예를 들어 TV 일 수 있다. 대안적으로, 이미지 처 리 장치(600)는 선택적인 디스플레이 디바이스를 포함하지 않고, 디스플레이 디바이스(606)를 포함하는 장치에 출력 신호를 제공할 수 있다. 이미지 처리 장치(600)는 셋 탑 박스, 위성 튜너, VCR 재생기, DVD 재생기, 또는 레코더와 같은 것일 수 있다. 선택적으로, 이미지 처리 장치(600)는 하드 디스크와 같은 저장 수단이나, 광 디스크들과 같은 이동식 미디어 상에 저장하기 위한 저장 수단을 포함한다. 이미지 처리 장치(600)는 또한 촬영소 또는 방송자에 의해 응용되는 시스템일 수도 있다.

상기 언급된 실시예들은 본 발명을 제한하기보다는 예시하는 것이며, 당업자는 첨부된 특허청구범위로부터 벗어나지 않고 대안적인 실시예들을 디자인할 수 있다는 것을 이해할 것이다. 특허청구범위에 있어서, 괄호 안의 어떠한 참조부호들은 청구범위를 제한하도록 구성되지는 않는다. 단어 '포함하다'는 청구범위에 열거되지 않은 요소들 또는 단계들의 존재를 배제하지 않는다. 요소들의 단수 표현은 복수의 해당 요소들의 존재를 배제하지 않는다. 본 발명은 몇 개의 명확한 요소들을 포함하는 하드웨어와 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열거하고 있는 유닛 청구항에 있어서, 이러한 몇몇 수단은 하드웨어의 하나와 동일한 아이템에 의해 구체화될 수 있다.

Claims

입력 이미지에 기초하여 멀티뷰 이미지(multi-view image)를 생성하기 위한 멀티뷰 이미지 생성 유닛(100, 200)에 있어서:

- 상기 입력 이미지 내의 에지(edge)를 검출하는 에지 검출 수단(102);

- 깊이 맵(depth map) 생성 수단(104)으로서,

상기 멀티뷰 이미지의 뷰어(viewer)와 관련된, 제 1 깊이 값을 갖는 상기 에지에 대응하는 깊이 맵의 요소들의 제 1 그룹,

상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 2 깊이 값을 갖는, 제 1 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 2 그룹, 및

상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 3 깊이 값을 갖는, 제 2 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 3 그룹을 생성함으로써, 상기 에지에 기초하여 상기 입력 이미지에 대한 상기 깊이 맵을 생성하고,

상기 제 1 깊이 값은 상기 제 2 깊이 값보다 작고, 상기 제 1 깊이 값은 상기 제 3 깊이 값보다 작은, 상기 깊이 맵 생성 수단(104); 및

- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 렌더링 수단(106)을 포함하는, 멀티뷰 이미지 생성 유닛(100, 200).
제 1 항에 있어서,

상기 에지 검출 수단(102)은 상기 입력 이미지의 제 1 픽셀 값들 및 제 2 입력 이미지의 각각의 제 2 픽셀 값들 사이의 픽셀 값 차이들을 계산함으로써 상기 에지를 검출하도록 구성되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속하는, 멀티뷰 이미지 생성 유닛(100).
제 2 항에 있어서,

상기 제 1 픽셀 값들은 색상 및 휘도 중 하나를 표현하는, 멀티뷰 이미지 생성 유닛(100).
제 2 항에 있어서,

상기 제 1 깊이 값은 상기 픽셀 값 차이들 중 첫번째 것의 함수인, 멀티뷰 이미지 생성 유닛(100).
제 1 항에 있어서,

상기 에지 검출 수단(102)은 상기 입력 이미지 및 제 2 입력 이미지에 기초하여 계산되는 모션 벡터 필드에 기초하여 상기 에지를 검출하도록 구성되고, 상기 입력 이미지 및 상기 제 2 입력 이미지는 비디오 이미지들의 시퀀스에 속하는, 멀티뷰 이미지 생성 유닛(200).
제 5 항에 있어서,

상기 에지 검출 수단(102)은 상기 모션 벡터 필드의 이웃하는 모션 벡터들의 모션 벡터 차이들을 계산함으로써 상기 에지를 검출하도록 구성되는, 멀티뷰 이미지 생성 유닛(200).
제 6 항에 있어서,

상기 제 1 깊이 값은 상기 모션 벡터 차이들 중 첫번째 것의 함수인, 멀티뷰 이미지 생성 유닛(200).
이미지 처리 장치(600)에 있어서:

입력 이미지에 대응하는 신호를 수신하는 수신 수단(602); 및

제 1 항에 청구된, 상기 입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 멀티뷰 이미지 생성 유닛(604)을 포함하는, 이미지 처리 장치(600).
제 8 항에 있어서,

상기 멀티뷰 이미지를 디스플레이하는 멀티뷰 디스플레이 디바이스(606)를 더 포함하는, 이미지 처리 장치(600).
입력 이미지에 기초하여 멀티뷰 이미지를 생성하는 방법에 있어서:

- 상기 입력 이미지 내의 에지를 검출하는 단계;

- 깊이 맵을 생성하는 단계로서,

상기 멀티뷰 이미지의 뷰어와 관련된, 제 1 깊이 값을 갖는 상기 에지에 대응하는 상기 깊이 맵의 요소들의 제 1 그룹,

상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 2 깊이 값을 갖는, 제 1 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 2 그룹, 및

상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 3 깊이 값을 갖는, 제 2 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 3 그룹을 생성함으로써, 상기 에지에 기초하여 상기 입력 이미지에 대한 상기 깊이 맵을 생성하고,

상기 제 1 깊이 값은 상기 제 2 깊이 값보다 작고, 상기 제 1 깊이 값은 상기 제 3 깊이 값보다 작은, 상기 깊이 맵 생성 단계; 및

- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 포함하는, 멀티뷰 이미지 생성 방법.
입력 이미지에 기초하여 멀티뷰 이미지를 생성하기 위한 명령어들을 포함하는, 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체에 있어서:

상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하고, 상기 컴퓨터 프로그램은 로딩된 후,

- 상기 입력 이미지 내의 에지를 검출하는 단계;

- 깊이 맵을 생성하는 단계로서,

상기 멀티뷰 이미지의 뷰어와 관련된, 제 1 깊이 값을 갖는 상기 에지에 대응하는 상기 깊이 맵의 요소들의 제 1 그룹,

상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 2 깊이 값을 갖는, 제 1 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 2 그룹, 및

상기 멀티뷰 이미지의 상기 뷰어와 관련된, 제 3 깊이 값을 갖는, 제 2 측부 상의 상기 에지에 인접하여 위치되는, 상기 입력 이미지의 영역에 대응하는 상기 깊이 맵의 요소들의 제 3 그룹을 생성함으로써, 상기 에지에 기초하여 상기 입력 이미지에 대한 상기 깊이 맵을 생성하고,

상기 제 1 깊이 값은 상기 제 2 깊이 값보다 작고, 상기 제 1 깊이 값은 상기 제 3 깊이 값보다 작은, 상기 깊이 맵 생성 단계; 및

- 상기 입력 이미지 및 상기 깊이 맵에 기초하여 상기 멀티뷰 이미지를 렌더링하는 단계를 수행하기 위한 기능을 상기 처리 수단에 제공하는, 컴퓨터 판독가능 기록 매체.