KR102224716B1

KR102224716B1 - 스테레오 소스 영상 보정 방법 및 장치

Info

Publication number: KR102224716B1
Application number: KR1020140057443A
Authority: KR
Inventors: 김지원; 남동경; 황효석
Original assignee: 삼성전자주식회사
Priority date: 2014-05-13
Filing date: 2014-05-13
Publication date: 2021-03-08
Also published as: EP2945118A3; CN105100770B; CN105100770A; US9532036B2; JP2015220752A; KR20150130185A; JP6663652B2; EP2945118A2; EP2945118B1; US20150334380A1

Abstract

개시된 실시 예는 좌우 소스 영상의 특징 대응 정보에 포함된 수직 좌표값 차이를 기반으로 회귀 분석을 통해 수직 불일치 맵을 생성하여, 영상 워핑을 통해 기하학적 오차를 보정함으로써, 카메라 모델 최적화 과정이 필요 없으며, 영상 회전으로 인한 블랙 영역의 발생도 줄일 수 있다.

Description

스테레오 소스 영상 보정 방법 및 장치{Method and apparatus for calibrating stereo source images}

개시된 실시 예들은 스테레오 소스 영상을 보정하는 방법 및 장치에 관한 것이다.

멀티 뷰, Light Field 등의 무안경 방식 3D 디스플레이에 실사 콘텐츠 기반 3D 렌더링을 하기 위해서는 3D 정보 복원이 가능한 스테레오, 멀티 뷰 또는 Light Field 3D 비디오가 필요하다. 현재 많은 실사 3D 비디오는 좌안, 우안으로 나누어진 스테레오스코픽(Stereoscopic) 형태이다. 무안경 3D 디스플레이에서 가장 널리 쓰이는 멀티 뷰 생성 방식은 스테레오 비디오가 입력으로 주어지면, 깊이 추정을 통해 깊이 정보를 복원하고, 복원된 깊이 맵에 기초하여 깊이기반 렌더링(Depth Image Based Rendering, 이하 DIBR)을 실시하여, 멀티 뷰 비디오를 합성한다.

일 실시 예는 좌우 소스 영상의 특징 대응 정보에 포함된 수직 좌표값 차이를 기반으로 회귀 분석을 통해 수직 불일치 맵을 생성하여, 영상 워핑을 통해 기하학적 오차를 보정함으로써, 카메라 모델 최적화 과정이 필요 없으며, 영상 회전으로 인한 블랙 영역의 발생도 줄일 수 있는 스테레오 소스 영상 보정 방법 및 장치를 제공하는 것이다.

다른 실시 예는 특징 대응 정보에 따른 특징 위치에서의 평균 또는 분산 등을 구한 후 전체적으로 영상에 대해 컬러 보정을 수행한 후, 국부적으로 히스토그램 매칭을 수행하여 로컬 에러까지 보정할 수 있는 스테레오 소스 영상 보정 방법 및 장치를 제공하는 것이다.

또 다른 실시 예는 동일한 특징 추출 및 매칭을 통해 생성된 특징 대응 정보를 이용하여, 기하학적 오차와 컬러 오차를 보정할 수 있는 스테레오 소스 영상 보정 방법 및 장치를 제공하는 것이다.

일 실시 예에 따른 스테레오 소스 영상 보정 방법은 스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하는 단계; 상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하는 단계; 상기 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 상기 좌우 소스 영상에 대한 수직 불일치 맵을 생성하는 단계; 및 상기 생성된 수직 불일치 맵을 이용하여 상기 좌우 소스 영상에서의 오차를 보정하는 단계를 포함한다.

상기 수직 불일치 맵은, 상기 수직 좌표값의 차이를 기초로 회귀 분석을 통해 생성되며, 상기 좌우 소스 영상에 대한 수직 좌표값을 차이를 통계적으로 나타낼 수 있다.

상기 보정 단계는, 상기 좌우 소스 영상에서의 수직 방향의 오차를 보정하기 위해, 상기 좌측 소스 영상 및 상기 우측 소스 영상 중 적어도 하나를 수직 방향으로 시프트 할 수 있다.

상기 스테레오 소스 영상 보정 방법은 상기 특징 대응 정보를 이용하여 상기 좌우 소스 영상에 대한 포토메트릭 보정을 수행하는 단계를 더 포함할 수 있다.

상기 포토메트릭 보정을 수행하는 단계는, 상기 특징 대응 정보에 포함된 위치에서의 상기 좌우 소스 영상의 통계 값을 계산하고, 상기 계산된 통계 값을 기초로 상기 좌우 소스 영상에 대해 제1 컬러 보정하는 단계; 및 상기 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정하는 단계를 포함할 수 있다.

상기 통계 값은, 상기 좌우 소스 영상의 컬러 영상 강도의 평균값에 대한 산술 평균값 및 기하 평균값 중 하나의 통계 값을 포함하고,

상기 제1 컬러 보정은, 상기 좌우 소스 영상의 평균값을 상기 통계값에 상응하도록 보정할 수 있다.

상기 통계 값은, 상기 좌우 소스 영상의 컬러 영상 강도의 분산값에 대한 최소값, 최대값, 산술 평균값 및 기하 평균값 중 하나의 통계값을 포함하고,

상기 제1 컬러 보정은, 상기 좌우 소스 영상의 분산값을 상기 통계값에 상응하도록 보정할 수 있다.

상기 포토메트릭 보정은, 상기 좌우 소스 영상에 대한 RGB 컬러 영상, CIELab 및 YCbCr 중 하나의 컬러 공간에서 수행될 수 있다.

상기 스테레오 소스 영상 보정 방법은 다수의 스테레오 소스 영상이 시퀀스로 입력될 수 있다.

상기 스테레오 소스 영상 보정 방법은 제1 스테레오 소스 영상에 대한 오차 보정과 제2 스테레오 소스 영상에 대한 오차 보정은 독립적으로 수행될 수 있다.

상기 스테레오 소스 영상 보정 방법은 다수의 스테레오 소스 영상 중 적어도 둘 이상의 스테레오 소스 영상이 하나의 장면인 경우, 상기 둘 이상의 스테레오 소스 영상에 대한 오차 보정은 동일한 수직 불일치 맵을 이용할 수 있다.

상기 스테레오 소스 영상 보정 방법은 보정된 좌우 소스 영상 각각의 경계 부분에 발생한 홀 영역을 채우는 인 페인팅을 수행하는 단계를 더 포함할 수 있다.

상기 회귀 분석은, 선형 회귀 분석(linear regression), 일반화된 선형 회귀 분석(generalized linear regression), 비선형 회귀 분석(nonlinear regression), 커널 회귀 분석(kernel regression), 논-파라미터 회귀 분석(nonparametric regression) 및 강인한 회귀 분석(robust regression) 중 하나를 포함할 수 있다.

다른 실시 예에 따른 스테레오 소스 영상 보정 장치는 스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하는 특징 추출부; 상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하는 특징 매칭부; 및 상기 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 상기 좌우 소스 영상에 대한 수직 불일치 맵을 생성하고, 상기 생성된 수직 불일치 맵을 이용하여 상기 좌우 소스 영상에서의 오차를 보정하는 지오메트릭 보정부를 포함한다.

상기 지오메트릭 보정부는, 상기 좌우 소스 영상에서의 수직 방향의 오차를 보정하기 위해, 상기 좌측 소스 영상 및 상기 우측 소스 영상 중 적어도 하나를 수직 방향으로 시프트 할 수 있다.

상기 스테레오 소스 영상 보정 장치는 상기 특징 대응 정보를 이용하여 상기 좌우 소스 영상에 대한 포토메트릭 보정을 수행하는 포토메트릭 보정부를 더 포함할 수 있다.

상기 포토메트릭 보정부는, 상기 특징 대응 정보에 포함된 위치에서의 상기 좌우 소스 영상의 통계 값을 계산한고, 상기 계산된 통계 값을 기초로 상기 좌우 소스 영상에 대해 제1 컬러 보정하는 제1 컬러 보정부; 및 상기 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정하는 제2 컬러 보정부를 포함할 수 있다.

상기 제1 컬러 보정부는, 상기 좌우 소스 영상의 평균값을 상기 통계값에 상응하도록 보정할 수 있다.

상기 제1 컬러 보정부는, 상기 좌우 소스 영상의 분산값을 상기 통계값에 상응하도록 보정할 수 있다.

상기 스테레오 소스 영상 보정 장치는 보정된 좌우 소스 영상 각각의 경계 부분에 발생한 홀 영역을 채우는 인 페인팅부를 더 포함할 수 있다.

상기 스테레오 소스 영상 보정 장치는 다수의 스테레오 소스 영상이 시퀀스로 입력되고, 제1 스테레오 소스 영상에 대한 오차 보정과 제2 스테레오 소스 영상에 대한 오차 보정은 독립적으로 수행될 수 있다.

또 다른 실시 예에 따른 스테레오 소스 영상 보정 장치는 스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하는 특징 추출부; 상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하는 특징 매칭부; 상기 특징 대응 정보에 포함된 위치에서의 상기 좌우 소스 영상의 통계 값을 계산한고, 상기 계산된 통계 값을 기초로 상기 좌우 소스 영상에 대해 제1 컬러 보정하는 제1 컬러 보정부; 및 상기 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정하는 제2 컬러 보정부를 포함한다.

또 다른 실시 예에 따른 영상 처리 장치는 스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하고, 상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하고, 상기 특징 대응 정보를 기초로 상기 좌우 소스 영상에서의 컬러 오차 및 기하학적 오차 중 적어도 하나를 보정하는 스테레오 소스 영상 보정부; 상기 보정된 좌우 소스 영상에서 깊이(depth) 추정을 통해 깊이 정보를 복원하는 깊이 추정부; 및 상기 복원된 깊이 정보를 기반으로 멀티 뷰 영상을 생성하는 깊이 기반 렌더링부를 포함한다.

또 다른 실시 예에 따른 스테레오 소스 영상 보정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

개시된 일 실시 예는 특징에 기반하여 단순하면서도 강인하게 스테레오 소스 영상을 보정하는 것이 가능하며, 이를 통해 깊이 추정 수행 전에 스테레오 소스 영상을 보정할 수 있다.

도 1은 일 실시 예에 따른 영상 처리 장치(100)의 개략도이다.
도 2는 도 1에 도시된 소스 영상 보정부(110)의 일 실시 예에 따른 블록 도이다.
도 3은 도 2에 도시된 지오메트릭 보정부(230)의 개략적인 블록 도이다.
도 4 내지 6은 일 실시 예에 따른 지오메트릭 보정을 설명하기 위한 예시도들이다.
도 7은 도 1에 도시된 소스 영상 보정부(110)의 다른 실시 예에 따른 블록 도이다.
도 8은 도 7에 도시된 포토메트릭 보정부(730)의 개략적인 블록 도이다.
도 9는 다른 실시 예에 따른 포토메트릭 보정을 설명하기 위한 예시도이다.
도 10은 도 1에 도시된 소스 영상 보정부(110)의 또 다른 실시 예에 따른 블록 도이다.
도 11은 도 1에 도시된 소스 영상 보정부(110)의 또 다른 실시 예에 따른 블록 도이다.
도 12는 도 11에 도시된 인페인팅부(1150)의 인페인팅 과정을 설명하기 위한 예시도이다.
도 13은 또 다른 실시 예에 따른 소스 영상 보정 방법을 설명하기 위한 흐름도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시 예에 따른 영상 처리 장치(100)의 개략도이다.

도 1을 참조하면, 영상 처리 장치(100)는 스테레오 소스 영상을 입력받아 좌우 소스 영상 간의 컬러 오차, 기하학적 오차를 보정하는 소스 영상 보정부(110), 깊이 추정부(120) 및 깊이 기반 렌더링부(130)를 포함한다. 영상 처리 장치(100)는 멀티 뷰 영상 생성 장치, light field 3D 비디오 장치일 수 있으며, 무안경 방식의 3D 디스플레이 장치를 포함할 수 있다. 영상 처리 장치(100)는 스테레오 소스 영상을 입력받아, 깊이 추정 알고리즘을 통해 깊이 정보를 복원하고, 복원된 깊이 정보 또는 깊이 맵(depth map)에 기초하여 깊이 기반 렌더링을 수행하여 멀티 뷰 영상을 출력한다. 스테레오 소스 영상은 좌안 영상 및 우안 영상으로 나누어진 스테레오스코픽(stereoscopic) 형태이다.

깊이 추정(depth estimation) 알고리즘은 기본적으로 특정 3D 포인트가 양안 영상에서 나타날 때, 같은 수직 좌표에 위치해 있음을 가정한다. 즉 지오메트릭(geometric) 또는 에피폴라(epipolar) 제한 조건을 포함한다. 이에 따라, 알고리즘 수행 시 수평 방향으로만 검색한다. 그리고 좌우 영상에서의 색 정보가 일치함을 가정한다. 즉, 포토메트릭(photometric) 또는 Lambertian 제한조건을 가정한다. 특히 지오메트릭 가정이 유효하지 않은 경우 깊이 추정에서 잘못된 에러들이 발생하게 된다.

실제 영상에서는 이러한 지오메트릭 가정과 포토메트릭 가정이 유효하지 않은 경우가 많다. 이러한 가정이 유효하지 않은 원인은 다양하지만, 예를 들면 두 카메라의 줌 차이, Toed-in 정도, 노출 시간 차이 등일 수 있다. 모든 원인을 제거하고, 가정에 완벽히 합치되는 영상을 촬영하기는 쉽지 않다. 또한, 스테레오 무비와 같은 경우에는 극대화된 3D 효과를 위해 의도적으로 Toed-in을 시키는 경우가 많고, 실사 영상에서는 정교한 보정과정 없이 촬영되어 어떠한 카메라 구성을 통해 촬영되었는지 추정하는 것이 어렵다.

본 실시 예에 따른 영상 처리 장치(100)는 전술한 깊이 추정 알고리즘에서 전제하고 있는 지오메트릭 가정과 포토메트릭 가정에 부합할 수 있도록 스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하고, 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하고, 특징 대응 정보를 기초로 좌우 소스 영상에서의 컬러 오차 및 기하학적 오차 중 적어도 하나를 보정한다.

영상 처리 장치(100)는 특징에 기반하여 단순하면서도 강인한 보정을 수행할 수 있으며, 이를 통해 깊이 추정 프로세스를 수행하기 전에 스테레오 소스 영상을 보정할 수 있다. 지오메트릭 보정(Geometric Calibration)은 수직 불일치 맵(vertical disparity map)을 생성하고, 특징 대응 정보를 기반으로 카메라 모델 최적화 과정 없이 다양한 회귀 분석을 통해 통계적으로 불일치 맵(disparity map)을 생성한다. 수직 불일치 맵을 생성한 후, 이를 반영하여 영상 워핑(image warping)을 수행한다. 포토메트릭 보정(Photometric Calibration)은 특징의 위치에서 평균 또는 분산 등을 구한 후 글로벌 관점에서 영상을 보정하고, 히스토그램 매칭(Histogram Matching)을 통하여, 국부적인 컬러 에러에 대한 보정을 수행한다. 따라서, 보정된 영상에서는 기하학적, 컬러에서 에러가 매우 적어 깊이 추정을 용이하게 할 수 있으며, 합성된 멀티 뷰 영상은, 지오메트릭, 포토메트릭 관점에서 인트라-뷰(intra-view), 인터-뷰(inter-view)에 대해 일치한다.

이하에서는 스테레오 소스 영상 보정에 대한 다양한 실시 예들을 상세히 설명한다.

도 2는 도 1에 도시된 소스 영상 보정부(110)의 일 실시 예에 따른 블록 도이다. 도 3은 도 2에 도시된 지오메트릭 보정부(230)의 개략적인 블록 도이다. 이하에서는 소스 영상 보정부(200)를 설명한다.

도 2 및 3을 참조하면, 소스 영상 보정부(200)는 특징 추출부(210), 특징 매칭부(220) 및 지오메트릭 보정부(230)를 포함하며, 지오메트릭 보정부(230)는 수직 불일치 맵 계산부(231) 및 시프트 부(232)를 포함한다. 실시 예에서, 특징 추출 및 매칭은 흑백 영상 또는 컬러 영상에 대해 수행될 수 있다.

특징 추출부(210)는 스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출한다. 도 4에 좌우 소스 영상이 도시되어 있고, 도 5에 도시된 것처럼, 좌측 소스 영상과 우측 소스 영상 각각에서 특징을 추출한다. 도 5에 도시된 것처럼, 각각의 영상에서 모서리 부분, 에지 부분, 객체 부분에 해당하는 특징점과 특징점의 위치에서의 정보를 함께 추출할 수 있다. 이러한 특징 추출은 다양한 특징 추출 알고리즘, 예를 들면, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등을 이용할 수 있으나, 이에 한정되는 것은 아니다. 또한, 각각의 영상에서 추출된 특징의 수가 이후 통계적인 분석에서 유의미할 정도로 충분하고, 영상 내 다양한 부분에서 추출될 수 있다. 추출된 특징은 특징의 위치에서의 정보, 예를 들면 특징 벡터를 포함할 수 있다.

특징 매칭부(220)는 특징 추출부(210)에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성한다.

도 5에 도시된 것처럼, 좌측 소스 영상에서 추출된 특징과 우측 소스 영상에서 추출된 특징을 각각의 특징 정보를 기반으로 하여 매칭하고, 특징 대응 정보(feature correspondence)를 생성한다. 즉, 추출된 특징을 기반으로 한 지오메트릭 보정, 포토메트릭 보정에서 사용되는 통계적 해석의 신뢰도를 높이기 위해서, 추출된 특징, 및 특징의 위치에서의 정보들(컬러 정보, 위치 정보)을 이용한다. 따라서, 특징 대응 정보를 이용함으로써, 좌우 대응점이 없는 경우, 예를 들면 좌측에는 있는 부분이 우측에는 없는 경우와 같이 통계 분석에 왜곡을 줄 수 있는 요인을 제거할 수 있다.

지오메트릭 보정부(230)는 특징 매칭부(220)에서 생성된 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 좌우 소스 영상에 대한 수직 불일치 맵을 생성하고, 생성된 수직 불일치 맵을 이용하여 좌우 소스 영상에서의 오차를 보정한다.

수직 불일치 맵 계산부(231)는 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 좌우 소스 영상에 대한 수직 불일치 맵을 생성한다. 특징 대응 정보에서 나온 수직 좌표값의 차이들을 분석하여, 좌우 소스 영상 간 기하학적 에러 분포 형태를 파악할 수 있다. 이러한 분석을 위해 회귀 분석을 이용하여, 다양한 위치에 분포하는 특징에서의 수직 에러를 통계적으로 나타내는 수직 불일치 맵을 생성할 수 있다. 특징 대응 정보에는 좌우 대응하는 특징의 위치에서의 특징 벡터 간의 차이로부터 각각의 대응되는 특징에서의 수직방향으로의 차이에 대한 정보가 포함되어 있으며, 이러한 수직 방향으로 차이에 대한 정보를 수직 좌표값의 차이로 정의할 수 있다. 따라서, 특징 대응 정보에서의 수직 좌표값의 차이로부터 전체 좌우 소스 영상에 수직 좌표값의 차이를 회귀 분석을 통해 통계적으로 분석한다. 여기서, 회귀 분석은 선형 회귀 분석(linear regression), 일반화된 선형 회귀 분석(generalized linear regression), 비선형 회귀 분석(nonlinear regression), 커널 회귀 분석(kernel regression), 논-파라미터 회귀 분석(nonparametric regression) 및 강인한 회귀 분석(robust regression) 등을 사용할 수 있으며, 그 방법에 한정되지 않는다.

시프트 부(232)는 생성된 수직 불일치 맵을 이용하여 좌우 소스 영상에서의 오차를 보정한다. 좌우 소스 영상 간 수직 방향의 오차를 제거하기 위해서, 좌측은 그대로 두고 우측 소스 영상의 각 픽셀에 대해 수직 방향 시프트를 수행할 수 있으며, 우측을 그대로 두고 좌측에 대해 시프트를 시행할 수도 있다. 또한, 좌측 우측 영상 간 수직 방향의 시프트 양을 좌우에 반씩 나누어서 수행하여, 인트라-뷰 에러를 최소화할 수도 있다. 여기서, 좌우 소스 영상의 픽셀 별로 이동하는 위치를 다르게 할 수 있으며, 시프트, 이동 또는 워핑(warping)은 동일한 의미로 이해되어야 한다.

도 6a를 참조하면, 수평선(600)을 따라 좌측 영상에서의 눈의 위치와 우측 영상에서의 눈의 위치가 일치하지 않는다. 즉, 좌우 소스 영상 간에 수직 방향의 오차가 존재하는 경우이다.

도 6b를 참조하면, 수평선(610)을 따라 좌측 영상에서의 눈의 위치와 우측 영상에서의 눈의 위치가 일치한다. 본 실시 예에 따른 지오메트릭 보정을 수행하여, 좌우 소스 영상 간에 존재하는 수직 방향의 오차를 보정해줌으로써, 보정 후의 영상에서 오차가 줄어든 것을알 수 있다.

도 6a에 도시된 좌우 소스 영상에서, 특징 대응 정보를 기반으로 하여 전체 좌우 영상 간의 수직 불일치 맵을 회귀 분석을 통해 분석한 후, 수직 오차를 제거하기 위해, 좌측 소스 영상, 우측 소스 영상 또는 좌우 소스 영상을 오차만큼 이동시킨다.

도 7은 도 1에 도시된 소스 영상 보정부(110)의 다른 실시 예에 따른 블록 도이다. 도 8은 도 7에 도시된 포토메트릭 보정부(830)의 개략적인 블록 도이다. 이하에서는 소스 영상 보정부(700)를 설명한다.

도 7을 참조하면, 소스 영상 보정부(700)는 특징 추출부(710), 특징 매칭부(720) 및 포토메트릭 보정부(730)를 포함한다.

특징 추출부(710)와 특징 매칭부(720)는 도 2 및 3을 참조하여 설명한 바와 동일하고, 포토메트릭 보정부(730)를 중심으로 설명한다.

포토메트릭 보정부(730)는 특징 추출부(710)과 특징 매칭부(720)를 통해 생성된 특징 대응 정보를 이용하여 좌우 소스 영상에 대한 포토메트릭 보정을 수행한다. 실시 예에서, 포토메트릭 보정은 크게 글로벌 에러를 보정하는 제1 컬러 보정과, 로컬 에러를 보정하는 제2 컬러 보정으로 구분할 수 있다. 도 8을 참조하여 포토메트릭 보정부(830)을 설명한다.

포토메트릭 보정부(830)는 포토메트릭 통계값 계산부(831-1) 및 보정부(832-2)를 포함하는 제1 컬러 보정부(831)와 제2 컬러 보정부(832)를 포함한다.

포토메트릭 통계값 계산부(831-1)은 특징 대응 정보에 포함된 위치에서의 좌우 소스 영상의 통계 값을 계산한다. 보정부(831-2)는 포토메트릭 통계값 계산부(831-1)에서 계산된 통계 값을 기초로 좌우 소스 영상에 대해 제1 컬러 보정한다.

제2 컬러 보정부(832)는 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정을 수행한다.

제1 컬러 보정부(831)는 추출된 특징들의 위치에서 원본 입력 영상이 어떤 컬러 특성을 갖는지에 관한 통계적인 특성을 분석한다. 즉, 전체 영상이 아닌 특징 위치로 한정하여, 특성을 파악함으로써, 좌/우 대응점이 없는 경우, 예를 들면 좌측에는 있는 부분이 우측에는 없는 경우에 통계에 왜곡이 발생하는 문제점을 해결할 수 있다. 따라서, 신뢰도 높은 특징 대응 정보를 기초로 다양한 통계값의 사용이 가능하다. 예를 들면, RGB 컬러 공간에서 각 채널에 대하여, 좌측 영상의 특징 위치에서의 컬러 영상 강도의 평균 또는 분산 분석이 가능하다. 평균의 경우, 좌우 소스 영상에서 각각 구한 평균에 대해 산술 평균 또는 기하 평균을 취하여 새로운 색 분포의 평균에 대한 정의하여 통계값을 계산할 수 있다. 또한, 분산의 경우, 좌우 소스 영상에서 각각 구한 분산에 대하여 최소값, 최대값, 산술 평균값, 또는 기하 평균값 등을 사용할 수 있다. 예를 들면, 분산의 최소값 사용시 영상 내 콘트라스트가 줄어들게 되고, 최대값 사용시 영상 내 콘트라스트가 늘어나게 된다. 이렇게 좌우 소스 영상의 컬러 특성에서 파악된 정보를 바탕으로 정의된 통계값, 예를 들면 평균 또는 분산에 부합되도록 좌우 소스 영상을 보정하여 컬러 특성을 일치시킬 수 있다. 여기서, RGB 컬러 공간에 대해 설명하였지만, 이에 한정되지 않고, CIELab, YCbCr 등을 포함하는 다양한 컬러 공간에서 수행될 수 있음은 물론이다.

도 9a를 참조하면, 좌우 소스 영상에서 건물 부분(900 및 910)의 컬러가 상이함을 알 수 있으며, 본 실시 예에 따른 제1 컬러 보정을 통해, 컬러 특성을 일치시킨 결과, 도 9b에 도시된 것처럼, 건물 부분의 컬러가 동일하게 되었음을 알 수 있다.

제2 컬러 보정부(832)는 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행한다. 히스토그램 매칭을 이용한 제2 컬러 보정은 제1 컬러 보정이 좌우 소스 영상에서의 특징 대응 정보에 따른 통계적 분석에 따라 색 보정을 수행하는 것임에도 불구하고, 국부적인 컬러 에러에 대한 보정이 부족하다는 점을 보완하기 위한 것이다.

히스토그램 매칭은 컬러 영상 강도를 기준으로 좌우 소스 영상에 대해 히스토그램을 생성하고, 각각의 히스토그램 빈들의 높이가 좌우 소스 영상 간에 비슷하게 되도록 색을 보정하는 것이다.

도 10은 도 1에 도시된 소스 영상 보정부(110)의 또 다른 실시 예에 따른 블록 도이다. 또 다른 실시 예에 따른 소스 영상 보정부(1000)에 대해 설명한다.

도 10을 참조하면, 소스 영상 보정부(1000)는 특징 추출부(1010), 특징 매칭부(1020), 지오메트릭 보정부(1030), 포토메트릭 보정부(1040) 및 인페인팅부(1050)를 포함한다. 소스 영상 보정부(1000)는 입력된 스테레오 소스 영상에서, 좌우 소스 영상 각각에서 특징을 추출하고, 추출된 특징을 서로 매칭하여 특징 대응 정보를 생성한다. 생성된 특징 대응 정보는 지오메트릭 보정부(1030)와 포토메트릭 보정부(1040)에 각각 입력된다. 지오메트릭 보정부(630)는 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 좌우 소스 영상에 대한 수직 불일치 맵을 생성하고, 생성된 수직 불일치 맵을 이용하여 좌우 소스 영상에서의 오차를 보정한다. 포토메트릭 보정부(1040)는 지오메트릭 보정부(1030)에서 기하학적 오차가 보정된 좌우 소스 영상을 입력받아, 특징 매칭부(1020)에서 입력된 특징 대응 정보를 이용하여 기하학적 오차가 보정된 좌우 소스 영상에 대해 컬러 보정을 수행하여, 보정된 스테레오 소스 영상을 출력한다.

본 실시 예에 따른 소스 영상 보정은 종래 기하학적 보정에서 필요한 회전 수행이 없어, 결과 영상에서 블랙 영역(Black Region 또는 Missing Region)이 매우 적다. 또한, 포토메트릭 보정 수행 시 이전 지오메트릭 보정에서 사용한 특징 쌍을 그대로 재사용함으로써, 이전 과정(특징 추출 및 매칭)을 한 번만 수행하므로 계산시간을 줄일 수 있으며, 동일한 특징을 사용하기 때문에, 특징 추출 및 매칭의 성능 개선은 기하학적 오차와 컬러 오차의 성능을 동시에 개선할 수 있다.

인페인팅부(1050)는 포토메트릭 보정을 수행한 후 블랙 영역에 대해 인 페인팅(in-painting) 과정을 추가하여, 좌우 소스 영상을 보정한 후 보정된 좌우 소스 영상의 경계 부분에서의 빈 공간을 채운다.

도 10에 도시된 소스 영상 보정부(1000)에 다수의 소스 영상의 시퀀스들이 입력되는 경우에는 매 영상 프레임마다 지오메트릭 보정 및 포토메트릭 보정을 독립적으로 수행할 수 있다. 또한, 선택적으로 플리커 저감을 위해, 매 장면 변화마다, 예를 들면 동일한 장면을 구성하는 복수의 프레임에 대해서는 동일한 특징 대응 정보, 수직 불일치 맵, 통계값을 이용하여 지오메트릭 보정 및 포토메트릭 보정을 수행할 수도 있다.

도 11은 도 1에 도시된 소스 영상 보정부(110)의 또 다른 실시 예에 따른 블록 도이다. 또 다른 실시 예에 따른 소스 영상 보정부(1100)에 대해 설명한다.

도 11을 참조하면, 소스 영상 보정부(1100)는 특징 추출부(1110), 특징 매칭부(1120), 포토메트릭 보정부(1130), 지오메트릭 보정부(1140) 및 인페인팅부(1150)를 포함한다. 소스 영상 보정부(1100)의 특징 추출부(1110) 및 특징 매칭부(1120)는 입력된 스테레오 소스 영상에서, 좌우 소스 영상 각각에서 특징을 추출하고, 추출된 특징을 서로 매칭하여 특징 대응 정보를 생성한다. 생성된 특징 대응 정보는 포토메트릭 보정부(1130)와 지오메트릭 보정부(1140)에 각각 입력된다. 포토메트릭 보정부(1130)는 좌우 소스 영상을 입력받아, 특징 매칭부(1120)에서 입력된 특징 대응 정보를 이용하여 컬러 오차를 보정한다. 지오메트릭 보정부(1140)는 포토메트릭 보정부(1130)에서 보정된 좌우 소스 영상을 입력받아, 특징 매칭부(1120)로부터 제공된 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 좌우 소스 영상에 대한 수직 불일치 맵을 생성하고, 생성된 수직 불일치 맵을 이용하여 보정된 좌우 소스 영상에서의 기하학적 오차를 보정한다.

인페인팅부(1150)는 지오메트릭 보정부(1140)에서 기하학적 오차가 보정된 좌우 소스 영상을 입력받아, 각각의 좌우 소스 영상의 경계 부근에서의 빈 공간을 채운다.

도 12a에 도시된 것처럼, 좌우 소스 영상에 대한 기존 기하학적 보정에 의한 결과는 좌우 영상의 회전 등을 통한 보정 후에 블랙 영역이 다수 발생한 것을 확인할 수 있지만, 도 12b에 도시된 것처럼, 본 실시 예에 따른 지오메트릭 보정에 의해서는 수직 방향으로 영상 워핑이 수행되므로, 도 12a에 도시된 것처럼 블랙 영역(1200)이 많이 생기지 않는다. 또한, 지오메트릭 보정 후 빈공간을 채우는 인페인팅 과정을 수행함으로써, 영상의 경계 부분에 발생한 블랙 영역(1200)을 제거할 수도 있다.

도 13은 또 다른 실시 예에 따른 스테레오 소스 영상 보정 방법을 설명하기 위한 흐름도이다.

도 13을 참조하면, 단계 1300에서, 스테레오 소스 영상을 입력받는다.

단계 1302에서, 좌우 소스 영상에서 특징을 추출한다. 각각의 좌우 소스 영상에서 모서리 부분, 에지 부분, 객체 부분에 해당하는 특징점과 특징점의 위치에서의 정보를 특징으로 추출할 수 있다. 이러한 특징 추출은 다양한 특징 추출 알고리즘, 예를 들면, SIFT, SURF 등을 이용할 수 있으나, 이에 한정되는 것은 아니다. 또한, 각각의 영상에서 추출된 특징의 수가 이후 통계적인 분석에서 유의미할 정도로 충분하고, 영상 내 다양한 부분에서 추출될 수 있다. 추출된 특징은 특징의 위치에서의 정보, 예를 들면 특징 벡터를 포함할 수 있다.

단계 1304에서, 추출된 특징을 매칭시켜 좌우 소스 영상의 특징 대응 정보를 생성한다. 예를 들면, 좌측 소스 영상에서 추출된 특징과 우측 소스 영상에서 추출된 특징을 각각의 특징 정보를 기반으로 하여 매칭하고, 특징 대응 정보를 생성한다. 특징 대응 정보를 이용함으로써, 좌우 대응점이 없는 경우, 예를 들면 좌측에는 있는 부분이 우측에는 없는 경우와 같이 통계 분석에 왜곡을 줄 수 있는 요인을 제거할 수 있다.

단계 1306에서, 특징 대응 정보에 포함된 수직 좌표 값의 차이를 기초로 수직 불일치 맵을 생성한다.

단계 1308에서, 수직 불일치 맵을 이용하여 좌우 소스 영상의 오차를 보정한다. 단계 1306 및 1308은 좌우 소스 영상으로부터 생성된 특징 대응 정보에 기반하여 기하학적 오차를 보정하는 과정이다. 기하학적 오차 보정 또는 지오메트릭 보정은 특징 대응 정보를 기반으로 하여 전체 좌우 영상 간의 수직 불일치 맵을 회귀 분석을 통해 분석한 후, 수직 오차를 제거하기 위해, 좌측 소스 영상, 우측 소스 영상 또는 좌우 소스 영상을 오차만큼 이동시켜 보정할 수 있다.

단계 1310에서, 단계 1304에서 생성된 특징 대응 정보를 이용하여 좌우 소스 영상에 대한 포토메트릭 보정을 수행한다. 단계 1310은 단계 1036 및 1038을 통해 기하학적 오차가 보정된 좌우 소스 영상에 대해 컬러 보정 또는 포토메트릭 보정을 수행하는 과정이다. 여기서, 포토메트릭 보정은 단계 1304에서 생성된 특징 대응 정보를 이용하여 수행되며, 특징 대응 정보에 포함된 위치에서의 좌우 소스 영상의 통계 값을 계산한고, 계산된 통계 값을 기초로 좌우 소스 영상에 대해 제1 컬러 보정, 및 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정을 수행함으로써, 글로벌 컬러 보정 및 국부적 컬러 보정을 함께 수행한다.

도 13을 참조하여 설명한 실시 예에서는 단계 1306 및 1308의 지오메트릭 보정과 단계 1310의 포토메트릭 보정을 순차 수행하는 것으로 설명하였지만, 지오메트릭 보정 또는 포토메트릭 보정이 각각 독립하여 수행할 수 있음은 물론이다. 또한, 지오메트릭 보정 후 포토메트릭 보정이 수행되지 않고, 포토메트릭 보정 후 지오메트릭 보정이 수행될 수 있음은 물론이다. 또한, 지오메트릭 보정 또는 지오메트릭 보정 후 인페인팅 과정을 추가하여 구성할 수 있음은 물론이다.

이상 실시 예들에서, 스테레오 소스 영상 보정 방법 및 장치는 특징에 기반하여 단순하면서도 강인한 스테레오 소스 영상을 보정하는 것이 가능하며, 이를 통해 깊이 추정 수행 전에 스테레오 소스 영상을 보정할 수 있다. 개시된 지오메트릭 보정과 포토메트릭 보정은 동시에, 순차적으로, 또는 선택적으로 사용 가능하며, 동일한 특징 추출 및 매칭을 통해 생성된 특징 대응 정보를 이용하여, 지오메트릭 보정과 포토메트릭 보정을 동시에 사용할 수 있는 장점이 있다.

지오메트릭 보정은 특징 대응 정보에 포함된 수직 좌표값 차이를 기반으로 회귀 분석을 통해 수직 불일치 맵을 생성하여, 영상 워핑을 통해 기하학적 오차를 보정한다. 따라서, 카메라 모델 최적화 과정이 필요 없으며, 영상 회전으로 인한 블랙 영역의 발생도 줄일 수 있다. 또한, 포토메트릭 보정은 특징 대응 정보에 따른 특징 위치에서의 평균 또는 분산 등을 구한 후 전체적으로 영상에 대해 컬러 보정을 수행한 후, 국부적으로 히스토그램 매칭을 수행하여 로컬 에러까지 보정한다.

본 실시 예에 다른 지오메트릭 보정과 포토메트릭 보정을 함께 수행하는 경우, 보정된 영상에서는 기하학적, 컬러 에러가 매우 적어 깊이 추정 수행이 용이하며, 이를 통해 합성된 멀티 뷰 영상은, 인트라-뷰, 인터-뷰에 대해 일치하는 특성을 나타낸다.

본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.

본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims

스테레오 소스 영상 보정 방법에 있어서,
스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하는 단계;
상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하는 단계;
상기 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 상기 좌우 소스 영상에 대한 수직 불일치 맵을 생성하는 단계; 및
상기 생성된 수직 불일치 맵을 이용하여 상기 좌우 소스 영상에서의 오차를 보정하는 단계를 포함하고,
상기 방법은,
상기 특징 대응 정보를 이용하여 상기 좌우 소스 영상에 대한 포토메트릭 보정을 수행하는 단계를 더 포함하는, 스테레오 소스 영상 보정 방법.
제 1 항에 있어서,
상기 수직 불일치 맵은,
상기 수직 좌표값의 차이를 기초로 회귀 분석을 통해 생성되며, 상기 좌우 소스 영상에 대한 수직 좌표값을 차이를 통계적으로 나타내는 스테레오 소스 영상 보정 방법.
제 1 항에 있어서,
상기 생성된 수직 불일치 맵을 이용하여 상기 좌우 소스 영상에서의 오차를 보정하는 단계는,
상기 좌우 소스 영상에서의 수직 방향의 오차를 보정하기 위해, 상기 좌측 소스 영상 및 상기 우측 소스 영상 중 적어도 하나를 수직 방향으로 시프트 하는 스테레오 소스 영상 보정 방법.
삭제
제 1 항에 있어서,
상기 포토메트릭 보정을 수행하는 단계는,
상기 특징 대응 정보에 포함된 위치에서의 상기 좌우 소스 영상의 통계 값을 계산하고, 상기 계산된 통계 값을 기초로 상기 좌우 소스 영상에 대해 제1 컬러 보정하는 단계; 및
상기 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정하는 단계를 포함하는 스테레오 소스 영상 보정 방법.
제 5 항에 있어서,
상기 통계 값은,
상기 좌우 소스 영상의 컬러 영상 강도의 평균값에 대한 산술 평균값 및 기하 평균값 중 하나의 통계 값을 포함하고,
상기 제1 컬러 보정은,
상기 좌우 소스 영상의 평균값을 상기 통계값에 상응하도록 보정하는 스테레오 소스 영상 보정 방법.
제 5 항에 있어서,
상기 통계 값은,
상기 좌우 소스 영상의 컬러 영상 강도의 분산값에 대한 최소값, 최대값, 산술 평균값 및 기하 평균값 중 하나의 통계값을 포함하고,
상기 제1 컬러 보정은,
상기 좌우 소스 영상의 분산값을 상기 통계값에 상응하도록 보정하는 스테레오 소스 영상 보정 방법.
제 1 항에 있어서,
상기 포토메트릭 보정은,
상기 좌우 소스 영상에 대한 RGB 컬러 영상, CIELab 및 YCbCr 중 하나의 컬러 공간에서 수행되는 스테레오 소스 영상 보정 방법.
제 1 항에 있어서,
다수의 스테레오 소스 영상이 시퀀스로 입력되는 스테레오 소스 영상 보정 방법.
제 9 항에 있어서,
제1 스테레오 소스 영상에 대한 오차 보정과 제2 스테레오 소스 영상에 대한 오차 보정은 독립적으로 수행되는 스테레오 소스 영상 보정 방법.
제 9 항에 있어서,
다수의 스테레오 소스 영상 중 적어도 둘 이상의 스테레오 소스 영상이 하나의 장면인 경우, 상기 둘 이상의 스테레오 소스 영상에 대한 오차 보정은 동일한 수직 불일치 맵을 이용하는 스테레오 소스 영상 보정 방법.
제 1 항에 있어서,
보정된 좌우 소스 영상 각각의 경계 부분에 발생한 홀 영역을 채우는 인 페인팅을 수행하는 단계를 더 포함하는 스테레오 소스 영상 보정 방법.
제 2 항에 있어서,
상기 회귀 분석은,
선형 회귀 분석(linear regression), 일반화된 선형 회귀 분석(generalized linear regression), 비선형 회귀 분석(nonlinear regression), 커널 회귀 분석(kernel regression), 논-파라미터 회귀 분석(nonparametric regression) 및 강인한 회귀 분석(robust regression) 중 하나를 포함하는 스테레오 소스 영상 보정 방법.
제 1 항 내지 제 3 항 및 제 5 항 내지 제 13 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하는 특징 추출부;
상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하는 특징 매칭부;
상기 특징 대응 정보에 포함된 수직 좌표값의 차이를 기초로 상기 좌우 소스 영상에 대한 수직 불일치 맵을 생성하고, 상기 생성된 수직 불일치 맵을 이용하여 상기 좌우 소스 영상에서의 오차를 보정하는 지오메트릭 보정부; 및
상기 특징 대응 정보를 이용하여 상기 좌우 소스 영상에 대한 포토메트릭 보정을 수행하는 포토메트릭 보정부를 포함하는 스테레오 소스 영상 보정 장치.
제 15 항에 있어서,
상기 수직 불일치 맵은,
상기 수직 좌표값의 차이를 기초로 회귀 분석을 통해 생성되며, 상기 좌우 소스 영상에 대한 수직 좌표값을 차이를 통계적으로 나타내는 스테레오 소스 영상 보정 장치.
제 15 항에 있어서,
상기 지오메트릭 보정부는,
상기 좌우 소스 영상에서의 수직 방향의 오차를 보정하기 위해, 상기 좌측 소스 영상 및 상기 우측 소스 영상 중 적어도 하나를 수직 방향으로 시프트 하는 스테레오 소스 영상 보정 장치.
삭제
제 15 항에 있어서,
상기 포토메트릭 보정부는,
상기 특징 대응 정보에 포함된 위치에서의 상기 좌우 소스 영상의 통계 값을 계산하고, 상기 계산된 통계 값을 기초로 상기 좌우 소스 영상에 대해 제1 컬러 보정하는 제1 컬러 보정부; 및
상기 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정하는 제2 컬러 보정부를 포함하는 스테레오 소스 영상 보정 장치.
제 19 항에 있어서,
상기 통계 값은,
상기 좌우 소스 영상의 컬러 영상 강도의 평균값에 대한 산술 평균값 및 기하 평균값 중 하나의 통계 값을 포함하고,
상기 제1 컬러 보정부는,
상기 좌우 소스 영상의 평균값을 상기 통계값에 상응하도록 보정하는 스테레오 소스 영상 보정 장치.
제 19 항에 있어서,
상기 통계 값은,
상기 좌우 소스 영상의 컬러 영상 강도의 분산값에 대한 최소값, 최대값, 산술 평균값 및 기하 평균값 중 하나의 통계값을 포함하고,
상기 제1 컬러 보정부는,
상기 좌우 소스 영상의 분산값을 상기 통계값에 상응하도록 보정하는 스테레오 소스 영상 보정 장치.
제 15 항에 있어서,
보정된 좌우 소스 영상 각각의 경계 부분에 발생한 홀 영역을 채우는 인 페인팅부를 더 포함하는 스테레오 소스 영상 보정 장치.
제 15 항에 있어서,
다수의 스테레오 소스 영상이 시퀀스로 입력되고, 제1 스테레오 소스 영상에 대한 오차 보정과 제2 스테레오 소스 영상에 대한 오차 보정은 독립적으로 수행되는 스테레오 소스 영상 보정 장치.
스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하는 특징 추출부;
상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하는 특징 매칭부;
상기 특징 대응 정보에 포함된 위치에서의 상기 좌우 소스 영상의 통계 값을 계산한고, 상기 계산된 통계 값을 기초로 상기 좌우 소스 영상에 대해 제1 컬러 보정하는 제1 컬러 보정부; 및
상기 제1 컬러 보정된 좌우 소스 영상에 대해 히스토그램 매칭을 수행하여 제2 컬러 보정하는 제2 컬러 보정부를 포함하는 스테레오 소스 영상 보정 장치.
스테레오 소스 영상을 입력받아, 좌우 소스 영상 각각에서 특징을 추출하고, 상기 좌우 소스 영상 각각에서 추출된 특징을 서로 매칭시켜 특징 대응 정보를 생성하고, 상기 특징 대응 정보를 기초로 상기 좌우 소스 영상에서의 컬러 오차 및 기하학적 오차 중 적어도 하나를 보정하는 스테레오 소스 영상 보정부;
상기 보정된 좌우 소스 영상에서 깊이(depth)를 추정을 통해 깊이 정보를 복원하는 깊이 추정부; 및
상기 복원된 깊이 정보를 기반으로 멀티 뷰 영상을 생성하는 깊이 기반 렌더링부를 포함하고,
상기 스테레오 소스 영상 보정부는
상기 특징 대응 정보에 기초하여 상기 좌우 소스 영상에 대한 포토메트릭 보정을 수행함으로써 상기 컬러 오차를 보정하는, 영상 처리 장치.