KR101481797B1 - 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치 - Google Patents

Abstract

본 명세서는 입체영상 동기화 장치를 개시한다. 상기 장치는 입체영상의 좌영상 또는 우영상에의 어느 한 프레임 또는 프레임 블록을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도 또는 블록 간 유사도를 계산하는 유사도 계산부와; 상기 계산된 프레임간 유사도를 기초로 하여 좌영상 및 우영상 간의 프레임 차이값을 추출하는 프레임 차이값 추출부와; 상기 추출된 프레임 차이값을 보정하여 좌영상 및 우영상의 동기를 일치시키는 프레임 동기 보정부;를 포함한다.

Description

입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치{APPARATUS AND METHOD FOR CORRCECTING SYNCHRONOUS ERROR BETWEEN LEFT AND RIGHT FRAME IN 3D IMAGING SYSTEM}

본 명세서는 입체(3D)영상시스템에 있어서, 입체영상의 좌우 영상 프레임 간의 시간적인 동기화 여부를 확인하고, 좌우 영상 프레임 단위의 동기 보정을 하기 위한 방법 및 장치에 관한 것이다.

사람이 눈을 통하여 영상을 바라볼 때, 왼쪽과 오른쪽 눈은 서로 다른 영상을 보게 되고, 이 다른 시각정보를 이용하여, 거리를 인지하고, 입체감을 느끼게 된다. 양안식 (stereoscopic) 입체영상은 이 원리를 이용하여, 양안식 입체 카메라로 직접 촬영하거나, 컴퓨터 그래픽 등으로 왼쪽과 오른쪽 눈에 보여줄 영상을 얻고, 이를 조합하여, 사람의 두 눈에 각기 다른 영상을 보여주어 입체감을 느낄 수 있도록 해준다. 그런데 만일, 왼쪽 및 오른쪽 눈에 시간적으로 동기화 되지 않은 영상이 보여지게 된다면, 사람은 그 입체영상을 통해서는 제대로 된 입체감을 느낄 수 가 없게 된다. 따라서, 입체영상에서 왼쪽 영상과 오른쪽 영상의 프레임간 동기화가 제대로 되었는지 자동으로 확인하고, 만약 좌우 영상 프레임이 서로 시간적으로 동기화가 되지 않았을 때, 대응하는 3D영상이 어느 정도의 시간적인 차이가 나는지에 대한 정보를 추출하고 이를 다시 바르게 보정하는 과정이 필요하다.

좌우 영상간 프레임의 동기화가 제대로 되지 않는 경우, 즉 원래 생성될 때의 좌우영상 쌍(stereoscopic pair)이 시간적으로 어긋나게 배치되는 경우는 입체영상 촬영, 저장, 배포, 전송, 재생과정 중에 발생할 수 있다. 이런 경우는 간혹 발생 할 수 있기에, 많은 양안식 입체영상을 저작, 편집하는 툴, 입체영상 디스플레이에서 사용자가 직접 좌우 영상이 올바른 쌍(stereoscopic pair)인지를 확인하고 이를 직접 편집하여 보정하고 있다. 하지만, 종래에 이 좌우영상의 시간적인 일치를 확인하는 방법은 3D 디스플레이에 재생되는 입체영상을 직접 눈으로 확인하여, 입체감의 유무 및 영상의 어색함에 따라, 좌우 영상 프레임의 동기 여부를 확인하는 방법밖에는 없었다. 이 경우, 눈으로 직접 확인을 하더라도 입체감의 유무나 영상의 어색함에 대한 구분이 주관적이기 때문에 사람에 따라서는 제대로 배치가 되었는지 판단하기 어려운 상황도 발생할 수 있다.

따라서, 원래 생성 당시 동기화가 제대로 된 3D 영상에서 나타나는 특징들을 이용하여, 좌우영상의 프레임 동기화가 제대로 되었는지 확인하고, 동기화가 제대로 되어 있지 않을 경우에 이를 자동으로 바꾸어 줄 수 있는 방법 및 장치가 필요한 실정이다.

본 명세서는 입체 영상을 시청하는데 있어, 자동으로 좌우 영상의 쌍을 일치하도록 보정함으로써, 입체영상의 시청자에게 정확한 입체감을 전달하도록 하는 방법 및 장치를 제공하는 데에 그 목적이 있다. 보다 상세하게는 좌우영상에서 장면전환 시점을 찾고 장면전환 시점 간들의 유사성을 사용하여 좌우 영상 프레임간에 동기화 여부를 체크하고, 만일 좌우 영상 프레임 동기화가 제대로 되지 않은 경우에, 좌우 영상프레임이 시간적으로 어느 정도 어긋난 지를 즉, 3D 영상 쌍 (stereoscopic pair)이 시간적으로 어느 정도 차이 나게 영상 시퀀스(sequence) 상에 배치되었는지를 자동으로 계산하고 이를 보정하기 위한 방법 장치를 제공하는 것을 목적으로 한다.

본 명세서의 일 실시예에 따라 입체영상 동기화 장치가 제공된다. 상기 장치는 입체영상의 좌영상 또는 우영상에의 어느 한 프레임 또는 프레임 블록을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도 또는 블록 간 유사도를 계산하는 유사도 계산부와; 상기 계산된 프레임간 유사도를 기초로 하여 좌영상 및 우영상 간의 프레임 차이값을 추출하는 프레임 차이값 추출부와; 상기 추출된 프레임 차이값을 보정하여 좌영상 및 우영상의 동기를 일치시키는 프레임 동기 보정부;를 포함할 수 있다.

상기 장치는 입체영상의 좌영상 또는 우영상에서 동기 오류 검출을 위한 기준 프레임을 결정하는 기준 프레임 결정부를 더 포함하며, 상기 유사도 계산부는 상기 결정된 기준 프레임을 기초로 하여 좌영상 및 우영상의 프레임 간 유사도를 계산할 수 있다.

상기 기준 프레임 결정부는 하기 수학식을 사용하여 장면전환 프레임을 검출하고,

여기서,

는 i번째 프레임에서 컬러 빈 b의 빈도 값 변화량이며,

는는 i번째 프레임에서 컬러 빈 b의 중심위치 값 변화량이고, L은 기 정의된 장면전환 프레임 검출주기이며, 상기 검출된 장면전환 프레임을 상기 기준 프레임으로 결정할 수 있다.

상기 유사도 계산부는 프레임에 포함된 각 색상의 분포, 각 색상의 분포 변화 및 각 색상의 움직임 특징을 기반으로 프레임 간 유사도 또는 블록 간 유사도를 검출할 수 있다.

상기 유사도 계산부는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 프레임을 동기 프레임으로 결정하며,

여기서,

은 프레임간 유사도이고,

과

은 각각 좌영상과 우영상의 색상 빈도수이고,

과

은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고, α, β, γ는 가중치이다.

상기 유사도 계산부는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 블록을 동기 블록으로 결정하며,

는 블록 간 유사도이고,

는 상기 블록에 포함된 프레임 간 유사도이며,

이고,

여기서,

은 프레임간 유사도이고,

과

은 각각 좌영상과 우영상의 색상 빈도수이고,

과

은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고, uL과 uR은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고, α, β, γ는 가중치이다.

본 명세서의 일 실시예에 따라 입체영상 동기화 방법이 제공된다. 상기 방법은 입체영상의 좌영상 또는 우영상에의 어느 한 프레임 또는 프레임 블록을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도 또는 블록 간 유사도를 계산하는 단계와; 상기 계산된 프레임간 유사도를 기초로 하여 좌영상 및 우영상 간의 프레임 차이값을 추출하는 단계와; 상기 추출된 프레임 차이값을 보정하여 좌영상 및 우영상의 동기를 일치시키는 단계;를 포함할 수 있다.

상기 방법은 입체영상의 좌영상 또는 우영상에서 장면전환 프레임을 검출하는 단계를 더 포함하며, 상기 유사도를 계산하는 단계는 상기 검출된 장면전환 프레임을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도를 계산하는 단계일 수 있다.

상기 장면전환 프레임을 검출하는 단계는 하기 수학식을 사용하여 장면전환 프레임을 검출하는 단계이고,

여기서,

는 i번째 프레임에서 컬러 빈 b의 빈도 값 변화량이며,

는는 i번째 프레임에서 컬러 빈 b의 중심위치 값 변화량이고, L은 기 정의된 장면전환 프레임 검출주기이다.

상기 유사도를 계산하는 단계는 프레임에 포함된 각 색상의 분포, 각 색상의 분포 변화 및 각 색상의 움직임 특징을 기반으로 프레임 간 유사도 또는 블록 간 유사도를 검출하는 단계일 수 있다.

상기 유사도를 계산하는 단계는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 프레임을 동기 프레임으로 결정하는 단계이며,

여기서,

은 프레임간 유사도이고,

과

은 각각 좌영상과 우영상의 색상 빈도수이고,

과

은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고, α, β, γ는 가중치이다.

상기 유사도를 계산하는 단계는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 블록을 동기 블록으로 결정하는 단계이며,

는 블록 간 유사도이고,

는 상기 블록에 포함된 프레임 간 유사도이며,

이고,

여기서,

은 프레임간 유사도이고,

과

은 각각 좌영상과 우영상의 색상 빈도수이고,

과

은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고, uL과 uR은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고, α, β, γ는 가중치이다.

본 명세서의 실시예들은 자동화된 소프트웨어 혹은 하드웨어 장치에 의해 좌우 영상 프레임의 시간적인 차이를 계산하고 보정함으로써 종래의 불편함을 해소시키는 효과가 있다. 또한 본 명세서의 실시예들을 3D-TV, 3D 프로젝터, 3D 카메라, 다중화기/역다중화기, 코덱, 3D 단말기 등에 탑재함으로써, 입체영상 감상 시 더 나은 입체감을 전달할 수 있다. 또한 본 명세서의 실시예들을 편집 툴, 입체 동영상 플레이어 등에 적용하여, 입체영상의 편집 및 재생에 도움을 줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 입체영상 동기화 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따라 좌-우 프레임간 유사도를 찾는 방법을 나타낸 예시도다.
도 3은 본 명세서의 실시예에 따른 입체영상 동기화 방법을 나타낸 순서도이다.
도 4는 본 명세서의 동기화 방법에 의해 도출된 동기 보정값에 대한 신뢰도 판단을 설명하기 위한 도면이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.

본 명세서에서 개시하는 시간상에 서로 어긋난 스테레오스코픽 쌍(stereoscopic pair)을 찾기 위한 방법은, 입체영상에서 화면의 장면전환은 좌우에서 동일한 시간에 일어나고, 동일한 장면에서 좌우영상간에 유사도가 높다는 특성을 이용한다. 즉, 입체영상에서 좌영상 및 우영상 간에는 양안 시차(binocular parallax)가 존재하지만, 동일한 장면을 촬영하였으므로 장면의 전환이 일어나는 시간은 동일할 것이다. 만일 일정 시간 내에 다수의 장면전환이 발생된다면 장면전환 순간 좌우영상간에 유사한 정도(유사도)를 계산하여 최종적으로 스테레오스코픽 쌍을 찾는다. 이는 좌영상과 우영상이 서로 다른 장면 구간 내에 각각 위치하는 경우보다 동일한 장면 구간 내에 각각 위치하는 경우가 서로 유사한 영상분포를 하고 있다는 특성을 이용한 것이다

도 1은 본 발명의 일 실시예에 따른 입체영상 동기화 장치를 나타낸 블록도이다.

상기 입체영상 동기화 장치(100)는 기준 프레임 결정부(101), 유사도 계산부(102), 프레임 차이값 추출부(103), 프레임 동기 보정부(104)를 포함하여 구성될 수 있다.

상기 기준 프레임 결정부(101)는 좌우 영상간에 동기 오류가 발생하는 경우, 상기 동기 오류를 보정하기 위한 기준 시점(프레임)을 결정할 수 있다. 바람직하게는 상기 기준 프레임 결정부(101)는 좌영상 및 우영상에 대해 각각 일정시간 동안에 발생되는 장면전환 시점(프레임)을 검출하여 이를 기준 프레임으로 결정한다. 이러한 장면전환 시점 검출은 앞뒤 프레임간의 밝기, 색상, 복잡도 등의 변화를 이용하여 검출할 수 있다.

특히 본 명세서에서 제안하는 실시예들은 Spatiogram을 기초로 프레임의 특성, 변화 등을 정의한다. 상기 Spatiogram은 각각의 컬러 빈(color bin, 특정 색상)의 빈도(개수) 및 분포도(공간 정보)를 정의한 값으로, 하기 표 1 과 같이 표현될 수 있다.

Number of bins	1	...	b	...	B
value	n1	...	nb	...	nB
distribution	N(μ1 , Σ1 )	...	N(μb , Σb )	...	N(μB , ΣB )

상기 표 1에서 μ는 해당 컬러 빈의 공간적인 평균(중심) 위치 값이고, Σ는 해당 컬러 빈의 공간적인 분산 값이다.

장면전환 시점을 검출하는 일 실시예로서, 상기 기준 프레임 결정부(101)는 매 프레임마다 측정된 Spatiogram(각 컬러에 대한 공간적인 정보, 예컨대 컬러 평균위치와 분산을 포함하는 컬러 히스토그램) 정보를 활용하여 하기의 수학식 1과 같이 장면전환 시점(프레임)을 검출할 수 있다.

여기서,

는 i번째 프레임에서 컬러 빈 b의 빈도 값 변화량이며,

는 i번째 프레임에서 컬러 빈 b의 중심위치 값 변화량이다. L은 기 정의된 장면전환 프레임 검출주기이다.

상기 수학식 1에서 기 정의된 임계값 이상을 나타내는 프레임이 장면전환 프레임으로 결정된다.

상기 유사도 계산부(102)는 스테레오스코픽 쌍(stereoscopic pair)을 찾기 위해 좌우영상의 프레임간 유사도를 계산한다. 프레임 간 유사도는 양 화면(프레임)이 유사한 정도를 나타내며, 두 화면의 밝기, 색상, 복잡도 등을 이용해서 구할 수 있고, 두 화면이 동일할수록 유사도가 큰 것으로 정의된다.

프레임 간 유사도 계산을 설명하기 위하여 도 2를 참조한다.

도 2는 본 발명의 실시예에 따라 좌-우 프레임간 유사도를 찾는 방법을 나타낸 예시도이다.

도 2a는 기준 프레임 결정부(101)에서 결정된 기준 프레임(장면전환 프레임)에 대하여 반대편 영상에서 유사도가 큰 프레임을 결정하는 방법을 설명하는 도면이다.

장면전환 시점(프레임)을 기준으로 좌우영상의 프레임간 유사도를 찾는 경우, 도 2a에서와 같이 일정시간 동안에 좌우영상에서 발생되는 장면전환 시점들은 다수 개 존재할 수 있다. (예: 장면전환 1, 장면전환 2) 장면전환 시점들만 기준으로 서로 대응되는 stereoscopic pair를 찾아야 되므로, 장면전환 시점들의 이전 영상프레임(좌: A, C, 우: A’, C’) 혹은 이후 영상프레임(좌: B, D, 우: B’, D’)간에 유사도를 측정한다.

즉 좌영상 프레임 A와 우영상 프레임 A’ 및 C’간에(즉 A-A’간, A-C’간) 유사도를 각각 계산했을 때, 좌영상 프레임 A와 우영상 프레임A’간(A-A’간)의 유사도 값이 좌영상 프레임 A와 우영상 프레임C’간(A-C’간)의 유사도 값에 비해 크다면, 좌영상 프레임 A와 우영상 프레임 A’가 서로 스테레오스코픽 쌍이라고 판단하는 것이다. 혹은 좌영상 프레임 B와 우영상 프레임B’ 및 D’간에(즉 B-B’간, B-D’간) 유사도를 각각 계산했을 때, 좌영상 프레임 B와 우영상 프레임B’간(B-B’간)의 유사도 값이 좌영상 프레임 B와 우영상 프레임D’간(B-D’간)의 유사도 값에 비해 크다면, 좌영상 프레임 B와 우영상 프레임B’가 서로 스테레오스코픽 쌍이라고 판단하는 것이다.

또한 정확도를 높이기 위해 다수의 프레임간에(AB-A’B’간, AB-C’D’간) 유사도를 측정하면 정확도를 높일 수도 있을 것이다.

도 2a에서는 A-A’프레임과 B-B’ 프레임이 스테레오스코픽 쌍이므로 좌우영상간 프레임의 차이는 2가 된다.

도 2a에서는 좌영상 및 우영상 각각에서 장면전환 프레임(기준 프레임)을 찾아내어 (기준 프레임) 상호간에 유사도를 판단하는 방법을 도시하였다. 하지만, 다른 실시예로서 좌영상 또는 우영상 중 어느 한 쪽에서만 장면전환 프레임(기준 프레임)을 검출하고, 이를 기준점으로 삼아 다른 쪽 영상 전체 (또는 지정된 일부)프레임과 비교하여 동기 프레임을 판별할 수도 있다. 아래 도 2b에서 설명하는 프레임 간 유사도 계산 방법은 좌영상 또는 우영상 중 어느 한 쪽에서만 장면전환 프레임을 검출하고, 이를 기준으로 프레임 간 유사도를 계산하는 것을 가정한다.

도 2b는 단일 또는 블록단위 프레임을 비교하여 유사도를 계산하는 방법을 나타낸 도면이다.

먼저 좌-우 영상간의 동기를 보정하기 위해서는 각각의 영상에 대한 Spatiogram을 계산해야 된다. 즉, 다음과 같이 좌영상의 Spatiogram 분포

와 우영상의 Spatiogram 분포

를 계산한다. 여기서,

과

은 각각 좌영상과 우영상의 색상 빈도수이고,

과

은 각각 이웃하는 프레임 간의 색상 빈도수의 변화량(

과

의 시간적 변화량)을 의미한다. 즉 좌영상은 좌영상에서 이웃하는 프레임 간의 색상 빈도수의 변화량을 계산하고, 우영상은 우영상에서 이웃하는 프레임 간의 색상 빈도수의 변화량을 계산한다. 그리고

과

은 각각 좌영상과 우영상에서 해당 색상(bin)의 공간적 중심 좌표이고,

과

은 마찬가지로 각각 좌영상과 우영상에서 이웃하는 프레임간 해당 색상의 중심 좌표 변화량(

과

의 시간적 변화량)이다.

와

를 구하기 위해서는 이전 프레임의 Spatiogram을 참고해야 한다. 즉, t 프레임의 Spatiogram을 구하려면 t 프레임과 t-1 프레임의

,

를 구한 뒤 t 프레임의

,

를 계산한다.

,

에 대해

,

는 다음과 같이 정의된다.

,

좌영상의 Spatiogram 분포

와 우영상의 Spatiogram 분포

이 계산되었을 때, 프레임간 유사도는 하기 수학식 2와 같이 계산된다.

b는 각 프레임의 컬러 빈을 나타내고, α, β, γ는 실험적으로 도출된 각 항의 계수(가중치)이다.

상기 수학식 2는 좌-우 영상에 계산된 Spatiogram 분포값과 그 변화량을 이용하여 동기 프레임(stereoscopic pair frame)을 찾기 위한 두 영상간의 유사도라고 할 수 있다. 즉, 비교하는 두 프레임간의 컬러 분포 특징, 컬러 분포 변화의 특징 및 움직임(벡터) 특징을 기초로 그 유사도를 계산하는 것이다.

좌영상의 t번째 프레임이 기준 프레임(장면전환 프레임)이라면, 그 기준 프레임에 에 대한 우영상의 동기 프레임(stereoscopic pair frame)은 하기 수학식 3을 사용하여 결정된다.

즉, 수학식 2를 사용하여 계산한 결과, 유사도 차이 값이 가장 작은 프레임을 동기 프레임으로 결정한다.

다른 실시예로 상기 유사도 계산부(102)는 좌우 영상의 단일 프레임을 비교하는 것이 아니라 블록 단위의 비교를 통하여 유사도를 계산할 수도 있다.

이때 상기 유사도 계산부(102)는 하기의 수학식 4와 같이 블록단위 비교를 통하여 프레임 간 유사도를 계산할 수 있다. 단일 프레임 단위 비교와 블록단위 비교에 대한 개념도는 도 2b에 도시하었다.

좌-우 영상에서 한 프레임간의 변화는 매우 작기 때문에, 바로 인접한 프레임 간의 차이만을 이용하여 페어 프레임을 검출하는 것은 매우 어려운 일이다. 시간의 흐름에 따른 컬러 분포 및 움직임 벡터의 변화를 비교하기 위해 도 2b의 우측 도면과 같이 특정한 시간 간격 동안의 프레임을 서로 비교하여 페어 프레임(pair frame)을 검출할 수 있다. 위에서 언급한 수학식 2를 이용하여 특정 시간(N-프레임) 동안의 블록 영상을 모두 비교하여 얻는 방법은 하기 수학식 4 및 5와 같이 표현되고, 검출된 페어 프레임(pair frame)을 이용하여 좌-우 영상의 동기오차를 최종적으로 판별할 수 있다.

좌영상의 t번째 프레임 블록에 대한 우영상의 동기 블록은 하기 수학식 5을 사용하여 결정된다.

다시 도 1로 돌아와 설명하면, 본 명세서의 일 실시예에서 상기 유사도 계산부(102)는 상기의 수학식 2, 3 또는 수학식 4, 5를 사용하여 프레임 간(단일 프레임 단위) 또는 프레임 블록 간(프레임 블록 단위) 유사도를 계산할 수 있다

상기 프레임 차이값 추출부(103)는 상기와 같이 계산된 유사도가 가장 큰 값(유사도 차이가 가장 작은 값)을 기준으로 스테레오스코픽 쌍(stereoscopic pair)을 찾고 이를 통해 좌우영상간 프레임 차이값을 추출한다. 도 2a의 예시에서 프레임 차이값은 2로 추출될 것이다.

상기 프레임 동기 보정부(104)는 두 영상 중 한쪽 영상을 상기 추출된 좌우 프레임 차이만큼 지연시켜서 동기화를 수행한다.

본 발명에서의 좌우 영상 프레임 차이 추출 및 동기화 블록부가 인코딩 비트스트림을 다루는 3DTV재다중화기, 3D비트스트림 모니터링 장비 등에 사용된다면 어느 한쪽 영상을 지연시키는 만큼 인코딩된 비트스트림의 타임정보(PCR(program clock reference, PTS (presentation time stamp), CTS (composition time stamp) 등)도 동시에 수정되어야 할 것이다.

도 3은 본 명세서의 실시예에 따른 입체영상 동기화 방법을 나타낸 순서도이다.

상기 방법은 도 1에서 상술한 입체영상 동기화 장치에 의해 수행될 수 있다.

상기 장치는 좌우 영상간에 동기 오류가 발생하는 경우, 상기 동기 오류를 보정하기 위한 기준 시점(프레임)을 결정할 수 있다. 바람직하게는 상기 장치는 좌영상 및 우영상에 대해 일정 시간 구간내에서 다수의 장면전환 시점을 검출하여 이를 기준 프레임으로 결정할 수 있다(S310). 이때 상기 장치는 매 프레임마다 측정된 Spatiogram(각 컬러에 대한 공간적인 정보를 포함하는 컬러 히스토그램) 정보를 활용하여 하기의 수학식과 같이 장면전환 시점(프레임)을 검출할 수 있다.

여기서,

는 i번째 프레임에서 컬러 빈 b의 빈도 값 변화량이며,

는 i번째 프레임에서 컬러 빈 b의 중심위치 값 변화량이다. L은 기 정의된 장면전환 프레임 검출주기이다.

상기 장치는 입체영상의 좌영상 또는 우영상에의 어느 한 프레임 또는 프레임 블록을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도 또는 블록 간 유사도를 계산한다(S320). 이때 상기 장치는 프레임에 포함된 각 색상의 빈도 및 각 색상의 분포 정보를 기반으로 프레임 간 유사도 또는 블록 간 유사도를 검출할 수 있으며, 이는 도 1에서 설명한 바와 같다.

상기 유사도 계산에 있어서 상기 장치는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 프레임을 동기 프레임으로 결정할 수 있다.

여기서,

은 프레임간 유사도이고,

과

은 각각 좌영상과 우영상의 색상 빈도수이고,

과

은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고, uL과 uR은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임에 포함된 컬러 빈(bin)이고, α, β, γ는 실험적으로 도출된 각 항의 계수(가중치)이다.

또는 상기 유사도 계산에 있어서 상기 장치는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 블록을 동기 블록으로 결정할 수 있다.

는 블록 간 유사도이고,

는 상기 블록에 포함된 프레임 간 유사도이며,

이고,

여기서,

은 프레임간 유사도이고,

과

은 각각 좌영상과 우영상의 색상 빈도수이고,

과

은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

과

은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임에 포함된 컬러 빈(bin)이고, α, β, γ는 실험적으로 도출된 각 항의 계수(가중치)이다.

상기 장치는 상기 계산된 프레임간 유사도를 기초로 하여 좌영상 및 우영상 간의 프레임 차이값을 추출한다(S330).

상기 장치는 상기 추출된 프레임 차이값을 보정하여 좌영상 및 우영상의 동기를 일치시킨다(S340). 이후 상기 장치는 보정된 영상을 재생한다(S350).

도 4는 본 명세서의 동기화 방법에 의해 도출된 동기 보정값에 대한 신뢰도 판단을 설명하기 위한 도면이다.

장면전환, 큰 움직임 등 검출이 용이한 프레임의 개념을 포괄하여 동기 오류 검출 결과에 대한 신뢰도를 측정하는 것이 필요하다.

상기 신뢰도를 판단하는 제1 방법은 장면전환 특징을 활용하는 것이며, 하기 수학식 6을 통해 신뢰도를 계산할 수 있다. 수학식 6의 신뢰도 수식은 수학식 1의 장면전환 프레임 검출 수식과 일치한다. 즉 장면전환 특성이 높은 프레임에 대한 동기 검출결과가 더 정확하다는 의미이고, 동기보정 결과에 대한 신뢰도가 높다는 것이다.

상기 수학식 6을 이용하여 신뢰도를 평가한 결과는 하기 표2와 같다.

임계값	-	19	40	100	330
프레임 비율	100%	50%	30%	10%	1%
동기보정 성공율	52.8%	67.9%	75.1%	77.9%	95.3%

신뢰도를 판단하는 제2 방법은 매칭의 구별성, 즉 전체 매칭값 대비 최상 매칭값과 차상 매칭값의 차이 비율을 활용하는 것이며, 하기 수학식 7을 통해 신뢰도를 계산할 수 있다.

d¹은 최상 매칭값이고, d²는 차상 매칭값이다.

도 4의 우영상 프레임에 표시된 숫자는 좌우영상간의 매칭값이며, 상기 수학식 2로 계산한 값이다. 이러한 매칭 값들을상기 수학식 7에 적용하여 신뢰도를 계산한 결과는 하기 표 3와 같다. 수학식 7에 의한 신뢰도는 최상 매칭값과 차상 매칭값의 차이가 크면 클수록 동기보정 결과에 대한 신뢰도가 더 높다는 의미이고, 유사도 비교에서 뚜렷한 구별성을 가진다는 점을 의미한다.

프레임 비율	50%	30%	10%	1%
동기보정 성공율	59.2%	81.0%	98.8%	100%

이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.

100 : 입체영상 동기화 장치
101 : 기준 프레임 결정부
102 : 유사도 계산부
103 : 프레임 차이값 추출부
104 : 프레임 동기 보정부

Claims (12)

1. 입체영상의 좌영상 또는 우영상에의 어느 한 프레임 또는 프레임 블록을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도 또는 블록 간 유사도를 계산하는 유사도 계산부;
   상기 계산된 프레임간 유사도를 기초로 하여 좌영상 및 우영상 간의 프레임 차이값을 추출하는 프레임 차이값 추출부;
   상기 추출된 프레임 차이값을 보정하여 좌영상 및 우영상의 동기를 일치시키는 프레임 동기 보정부; 및
   입체영상의 좌영상 또는 우영상에서 동기 오류 검출을 위한 기준 프레임을 결정하는 기준 프레임 결정부를 포함하되,
   상기 유사도 계산부는 상기 결정된 기준 프레임을 기초로 하여 좌영상 및 우영상의 프레임 간 유사도를 계산하며.
   상기 기준 프레임 결정부는
   하기 수학식을 사용하여 장면전환 프레임을 검출하고,
   

   

   
   여기서,

   

   는 i번째 프레임에서 컬러 빈 b의 빈도 값 변화량이며,

   

   는는 i번째 프레임에서 컬러 빈 b의 중심위치 값 변화량이고, L은 기 정의된 장면전환 프레임 검출주기이고,

   

   는 컬러 빈의 총 수이며,
   상기 검출된 장면전환 프레임을 상기 기준 프레임으로 결정하는 것을 특징으로 하는 입체영상 동기화 장치.
2. 삭제
3. 삭제
4. 제1 항에 있어서,
   상기 유사도 계산부는 프레임에 포함된 각 색상의 분포, 각 색상의 분포 변화 및 각 색상의 움직임 특징을 기반으로 프레임 간 유사도 또는 블록 간 유사도를 검출하는 것을 특징으로 하는 입체영상 동기화 장치.
5. 제4항에 있어서,
   상기 유사도 계산부는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 프레임을 동기 프레임으로 결정하며,
   

   

   
   여기서,

   

   은 좌영상(L) 및 우영상(R) 사이의 프레임간 유사도이고,

   

   과

   

   은 각각 좌영상과 우영상의 색상 빈도수이고,

   

   과

   

   은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고,

   

   과

   

   은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

   

   과

   

   은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고,

   

   는 컬러 빈의 총 수이고, α, β, γ는 가중치인 것을 특징으로 하는 입체영상 동기화 장치.
6. 제4항에 있어서,
   상기 유사도 계산부는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 블록을 동기 블록으로 결정하며,
   

   

   
   

   

   는 좌영상(L)의 t번째 프레임 블록과 우영상(R)의 k번째 프레임 블록 간 유사도이고,

   

   은 유사도를 비교하는 블록의 크기이고,
   

   

   이고,
   여기서,

   

   은 좌영상(L) 및 우영상(R) 사이의 프레임간 유사도이고,

   

   과

   

   은 각각 좌영상과 우영상의 색상 빈도수이고,

   

   과

   

   은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고,

   

   과

   

   은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

   

   과

   

   은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고,

   

   는 컬러 빈의 총 수이고, α, β, γ는 가중치인 것을 특징으로 하는 입체영상 동기화 장치.
7. 입체영상의 좌영상 또는 우영상에서 장면전환 프레임을 검출하는 단계;
   입체영상의 좌영상 또는 우영상에의 어느 한 프레임 또는 프레임 블록을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도 또는 블록 간 유사도를 계산하는 단계;
   상기 계산된 프레임간 유사도를 기초로 하여 좌영상 및 우영상 간의 프레임 차이값을 추출하는 단계;
   상기 추출된 프레임 차이값을 보정하여 좌영상 및 우영상의 동기를 일치시키는 단계;를 포함하되,
   상기 유사도를 계산하는 단계는 상기 검출된 장면전환 프레임을 기준으로 하여 좌영상 및 우영상의 프레임 간 유사도를 계산하는 단계인 것을 특징으로 하는 입체영상 동기화 방법.
8. 삭제
9. 제7 항에 있어서,
   상기 장면전환 프레임을 검출하는 단계는 하기 수학식을 사용하여 장면전환 프레임을 검출하는 단계이고,
   

   

   
   여기서,

   

   는 i번째 프레임에서 컬러 빈 b의 빈도 값 변화량이며,

   

   는는 i번째 프레임에서 컬러 빈 b의 중심위치 값 변화량이고, L은 기 정의된 장면전환 프레임 검출주기이고,

   

   는 컬러 빈의 총 수인 것을 특징으로 하는 입체영상 동기화 방법.
10. 제7항에 있어서,
    상기 유사도를 계산하는 단계는 프레임에 포함된 각 색상의 분포, 각 색상의 분포 변화 및 각 색상의 움직임 특징을 기반으로 프레임 간 유사도 또는 블록 간 유사도를 검출하는 단계인 것을 특징으로 하는 입체영상 동기화 방법.
11. 제10항에 있어서,
    상기 유사도를 계산하는 단계는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 프레임을 동기 프레임으로 결정하는 단계이며,
    

    

    
    여기서,

    

    은 좌영상(L) 및 우영상(R) 사이의 프레임간 유사도이고,

    

    과

    

    은 각각 좌영상과 우영상의 색상 빈도수이고,

    

    과

    

    은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고,

    

    과

    

    은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

    

    과

    

    은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고,

    

    는 컬러 빈의 총 수이고, α, β, γ는 가중치인 것을 특징으로 하는 입체영상 동기화 방법.
12. 제10항에 있어서,
    상기 유사도를 계산하는 단계는 하기 수학식을 사용하여 계산한 결과, 그 차이 값이 가장 작은 블록을 동기 블록으로 결정하는 단계이며,
    

    

    
    

    

    는 좌영상(L)의 t번째 프레임 블록과 우영상(R)의 k번째 프레임 블록 간 유사도이고,

    

    은 유사도를 비교하는 블록의 크기이고,
    

    

    이고,
    여기서,

    

    은 좌영상(L) 및 우영상(R) 사이의 프레임간 유사도이고,

    

    과

    

    은 각각 좌영상과 우영상의 색상 빈도수이고,

    

    과

    

    은 각각 좌영상과 우영상의 색상 빈도수의 변화량이고,

    

    과

    

    은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표이고,

    

    과

    

    은 각각 좌영상과 우영상에서 각 색상의 공간적 중심 좌표의 변화량이고, b는 각 프레임의 컬러 빈(bin)이고,

    

    는 컬러 빈의 총 수이고, α, β, γ는 가중치인 것을 특징으로 하는 입체영상 동기화 방법.

Images