KR20180030773A - 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법 - Google Patents

Abstract

어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정이 개시된다. 실제 장면들은 전형적으로 카메라로부터 상이한 거리들에 위치된 객체들을 포함한다. 그러므로, 어레이 카메라에 의한 비디오 캡처 동안 심도를 추정하는 것은 실제 장면들의 캡처된 이미지 데이터로부터 비디오를 더 매끄럽게 렌더링(rendering)하는 결과를 야기할 수 있다. 본 발명의 일 실시예는 상이한 시점(viewpoint)들로부터 이미지들을 캡처하는 카메라들, 및 카메라들의 그룹들로부터 이미지들을 획득하는 이미지 프로세싱 파이프라인 애플리케이션을 포함하고, 카메라들의 각각의 그룹은 카메라들의 다른 그룹들에 대해 스태거링된(staggered) 시작 시간에 이미지 데이터를 캡처하기 시작한다. 이어서, 애플리케이션은 기준 시점을 선택하고, 상이한 시점들로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별하도록 디스패리티 탐색들을 수행함으로써 다른 시점으로부터 캡처된 픽셀들을 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을 결정한다. 이어서, 보정들은 비디오의 프레임들을 렌더링하는 데 이용될 수 있다.

Description

어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법

본 발명은 대체적으로 디지털 카메라들에 관한 것이고, 더 구체적으로는 어레이 카메라들을 이용하여 비디오 및 이미지들을 캡처하기 위한 시스템들 및 방법들에 관한 것이다.

카메라 어레이들을 이용한 고속 비디오그래피가 문헌[Schechtman et al. "Increasing Space-Time Resolution in Video," European Conference on Computer Vision ( ECCV ), May 2002] 및 문헌[Wilburn et al. "High-Speed Videography using a Dense Camera Array" IEEE Society Conference on Pattern Recognition, 2004]에서 제안되었다.

Wilburn 등의 문헌에서는 단일 고속 비디오 시퀀스를 생성하는 것이 어레이 내의 카메라들을 기준 시점(reference viewpoint)에 정렬하는 것을 수반하고 이것이 어려운 과제라고 언급한 것을 개시하였다. 따라서, Wilburn 등의 문헌은 이미징된 장면(imaged scene)이 단일 객체 평면의 얕은 심도 내에 놓인 것이라는 단순한 상정을 이용하는 것을 제안하고 있다. Wilburn 등의 문헌은 이러한 상정이 단지 비교적 평탄한 장면들 또는 카메라 간격에 비해 어레이로부터 충분히 멀리 있는 장면들에 대해 유효하다고 언급하고 있다. 이러한 상정이 사실이 아닌 경우에, Wilburn 등의 문헌은 포커스 평면에서 벗어난 객체들이 선명함을 유지하지만 정렬 에러들로 인해 정렬된 이미지들의 프레임에서 프레임으로 이동하는 것으로 보인다고 언급하고 있다.

정렬 에러들은 단일 객체 평면 상에 놓이지 않은 장면 내의 객체들에 대한 심도의 부정확한 추정과 관련된다. 소정 장면의 양안 보기(binocular viewing)는 각각의 눈의 상이한 시야들로 인해 그 장면의 2개의 약간 상이한 이미지들을 생성한다. 이러한 차이들은 양안 디스패리티(binocular disparity)(또는 시차(parallax))라 지칭된다. 시차로 인한 시프트들은 장면을 이미징하는 카메라들 사이의 기준선 및 객체의 심도의 알고 있는 정보에 의해 보정될 수 있다. 모든 객체들이 동일한 평면 상에 있는 것으로 상정되는 경우, 평면 상에 놓이지 않은 객체들에 대해 정렬 에러들이 발생한다. Wilburn 등의 문헌에서는 공간적으로 인접한 카메라들을 사용하여 이미지 데이터를 순차적으로 캡처함으로써 정렬 에러들을 최소화하는 것을 제안하고 있다. 이러한 방식으로, 최대 정렬 에러는 제한된다.

Wilburn 등의 문헌에 기술된 카메라 어레이는 전자 롤링 셔터(rolling shutter)들을 갖는 저가의 CMOS 센서들을 활용한다. 스냅 샷 셔터(snap-shot shutter)는 센서 내의 모든 픽셀에 대한 광 집적(light integration)을 동시에 시작하고 종료한다. 이어서, 샘플-홀드 회로(sample and hold circuitry)가 활용되어 순차적인 판독을 가능하게 한다. 전자 롤링 셔터는 각각의 행(row)을 그가 판독되기 직전에 노출시키고, 이는 샘플-홀드 회로에 대한 필요성을 없앤다. Wilburn 등의 문헌은 고속 비디오 캡처를 위해 롤링 셔터들을 갖는 센서들을 사용하는 경우의 단점으로 롤링 셔터가 빠른 이동 객체들의 형상을 왜곡시킬 수 있다라는 것을 확인하고 있다. 실질적으로, 프레임의 하단 근처의 픽셀들은 프레임의 상단으로부터의 픽셀들보다 거의 한 프레임 늦게 광의 집적을 시작하고 종료한다.

본 발명의 실시예들에 따른 시스템들 및 방법들이 어레이 카메라들을 이용하여 고속 비디오 캡처 및 심도 추정을 수행한다. 장면 내의 상이한 심도들에 위치된 객체들로부터 기인하는 정렬 에러들을 감소시키기 위하여 어레이 카메라를 이용하여 고속 비디오 캡처를 수행하면서 심도를 추정하기 위한 시스템에 대한 필요성이 존재한다. 용이하게 인식될 수 있는 바와 같이, 실제 장면들은 전형적으로 카메라로부터 상이한 거리들에 위치된 객체들을 포함한다. 그러므로, 카메라들의 어레이에 의한 비디오 캡처 동안 심도를 추정하는 것은 실제 장면들의 캡처된 이미지 데이터로부터 비디오를 더 매끄럽게 렌더링(rendering)하는 결과를 야기할 수 있다. 본 발명의 실시예들에 따른 어레이 카메라들은 스냅 샷 셔터들을 갖는 센서들 및/또는 롤링 셔터들을 갖는 센서들을 포함할 수 있다. 심도를 추정하고 높은 프레임 속도 비디오 시퀀스들을 렌더링하기 위한 특정 기법은 전형적으로 어레이 내의 카메라들의 개수, 타입 및 셔터 스피드에 좌우된다. 더욱이, 어레이가 독립적인 카메라 모듈들의 어셈블리에 의해 형성되는 경우에, 카메라들 사이의 상대적인 롤링 셔터는, 단일 공통 기판 상에 형성되어 기판 상의 독립적인 서브-어레이들로부터 공통 판독치를 얻는 어레이와 비교하여, 판독 동안 최소화될 수 있다. 이러한 타입의 어레이 구성은 정렬 에러들을 추가로 최소화할 수 있다.

본 발명의 일 실시예는 상이한 시점들로부터 장면의 이미지들을 캡처하는 복수의 카메라들; 및 이미지 프로세싱 파이프라인 애플리케이션을 포함하는 메모리를 포함한다. 더욱이, 상기 이미지 프로세싱 파이프라인 애플리케이션은 상기 프로세서가, 상기 복수의 카메라들 내로부터의 카메라들의 복수의 그룹들로부터 이미지 데이터를 획득할 것 - 여기서, 카메라들의 각각의 그룹은 카메라들의 다른 그룹들에 대해 스태거링된(staggered) 시작 시간에 이미지 데이터를 캡처하기 시작함 -; 기준 시점을 선택하고, 상기 상이한 시점들로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별하도록 디스패리티 탐색들을 수행함으로써 다른 시점(alternate viewpoint)으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을 결정할 것; 및 비디오의 프레임들을 렌더링(rendering)할 것 - 여기서, 비디오의 주어진 프레임은 주어진 프레임 캡처 시간 간격 동안 캡처된 카메라들의 적어도 하나의 그룹으로부터의 픽셀들을 포함하는 픽셀들을 이용하여 그리고 상기 다른 시점들로부터 캡처된 상기 픽셀들에 대해 결정된 장면 의존적 기하학적 보정들을 이용하여 다른 시점들로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트함으로써 렌더링됨 - 을 지시한다.

추가 실시예에서, 카메라들의 각각의 그룹은 단색 카메라(monochrome), 베이어(Bayer) 카메라, 및 적외선 카메라로 이루어진 군으로부터 선택된 단일 카메라이다.

다른 실시예에서, 카메라들의 각각의 그룹은 다중 카메라(multiple camera)들을 포함한다.

더 추가의 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 프레임의 적어도 일부를 선택함으로써; 상기 특정 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 프레임의 적어도 일부를 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써; 그리고 상기 제1 시점으로부터 선택된 프레임의 상기 적어도 일부로부터의 그리고 상기 제2 시점으로부터 보간된 프레임의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시한다.

또 다른 실시예에서, 상기 제1 시점은 상기 다른 시점이고 상기 제2 시점은 상기 기준 시점이다.

여전히 추가 실시예에서, 카메라들의 상기 그룹들 각각은 다중 카메라들을 포함한다.

여전히 다른 실시예에서, 상기 복수의 카메라들은 상기 기준 시점으로부터 이미지 데이터를 캡처하는 카메라를 포함하고; 상기 제1 시점은 상기 다른 시점이고; 상기 제2 시점은 상기 기준 시점이다.

다시 또 추가의 실시예에서, 상기 복수의 카메라들은 제1 컬러 채널에서 상기 기준 시점으로부터 이미지 데이터를 캡처하는 카메라를 포함하고; 상기 다른 시점은 제2 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 특정 그룹 내의 카메라의 시점이고; 상기 제1 시점은 제1 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 상기 특정 그룹 내의 카메라의 시점이고; 상기 제2 시점은 상기 기준 시점이다. 더욱이, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 상기 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 제1 시점으로부터 선택된 프레임의 상기 적어도 일부로부터의 그리고 상기 제2 시점으로부터 보간된 프레임의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 상기 디스패리티에 기초하여 상기 다른 시점에서 가시적인 적어도 하나의 픽셀의 심도를 추정함으로써; 그리고 상기 적어도 하나의 픽셀의 상기 추정된 심도에 기초하여 상기 다른 시점으로부터 캡처된 상기 적어도 하나의 픽셀을 상기 기준 시점으로 시프트하기 위하여 적용하는 장면 의존적 기하학적 보정들을 결정함으로써, 결정할 것을 지시한다.

다시 다른 실시예에서, 상기 복수의 카메라들은 제1 컬러 채널에서 상기 기준 시점으로부터 이미지 데이터를 캡처하는 기준 카메라를 포함하고, 상기 기준 카메라는 카메라들의 제1 그룹의 일부이고; 상기 다른 시점은 제2 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 상기 제1 그룹으로부터의 카메라의 시점이고; 상기 제1 시점은 상기 기준 시점이고; 상기 제2 시점은 제1 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 제2 그룹 내의 카메라의 시점이다. 더욱이, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 상기 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 제1 시점으로부터 선택된 프레임의 상기 적어도 일부로부터의 그리고 상기 제2 시점으로부터 보간된 프레임의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 상기 디스패리티에 기초하여 상기 다른 시점에서 가시적인 적어도 하나의 픽셀의 심도를 추정함으로써; 그리고 상기 적어도 하나의 픽셀의 상기 추정된 심도에 기초하여 상기 다른 시점으로부터 캡처된 상기 적어도 하나의 픽셀을 상기 기준 시점으로 시프트하기 위하여 적용하는 장면 의존적 기하학적 보정들을 결정함으로써, 결정할 것을 지시한다.

추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 비디오의 프레임들을, 상기 주어진 프레임 캡처 시간 간격 동안 카메라들의 적어도 하나의 그룹에 의해 캡처된 그리고 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들; 및 적어도 상기 주어진 프레임 캡처 시간 간격 동안 이동하지 않는 것으로 결정된 이전에 렌더링된 프레임으로부터의 픽셀들을 이용하여, 렌더링할 것을 지시한다.

다른 추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지 데이터로부터 이동 픽셀들을 선택함으로써 - 여기서, 상기 이동 픽셀들은 적어도 상기 특정 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들임 -; 상기 특정 프레임 캡처 시간 간격 동안 제2 시점으로부터의 이동 픽셀들을 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써 - 여기서, 상기 제2 시점은 상기 제1 시점과 상이하고 상기 이동 픽셀들은 상기 특정 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들임 -; 그리고 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시한다.

더 추가적인 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가, 상이한 디스패리티들에서 개별 이동 픽셀들의 유사성을 비교함으로써 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 상기 디스패리티를 식별하기 위하여, 디스패리티 탐색을 수행할 것을 지시한다.

또 여전히 다른 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가, 상이한 디스패리티들에서 이동 픽셀들의 개별 클러스터(cluster)들의 유사성을 비교함으로써 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 상기 디스패리티를 식별하기 위하여, 디스패리티 탐색을 수행할 것을 지시한다.

다시 또 다른 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가, 상이한 디스패리티들에서 모든 이동 픽셀들의 유사성을 비교함으로써 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 상기 디스패리티를 식별하기 위하여, 디스패리티 탐색을 수행할 것을 지시한다.

다시 또 추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 상기 복수의 카메라들 중 하나를 이용하여 캡처된 이미지로부터 초기 프레임을 렌더링할 것을 지시한다.

또 다른 추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 초기 프레임을, 카메라들의 초기 그룹을 이용하여 이미지들의 세트를 캡처함으로써; 이미지들의 상기 세트의 적어도 서브세트를 이용하여 상기 기준 시점으로부터의 이미지 내의 픽셀 위치들에 대한 심도 추정치들을 결정함으로써 - 여기서, 상기 기준 시점으로부터의 상기 이미지 내의 주어진 픽셀 위치에 대한 심도 추정치를 생성하는 것은 복수의 심도들에서의 예상 디스패리티에 기초하여 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대응하는 이미지들의 상기 세트의 상기 적어도 서브세트 내의 픽셀들을 식별하는 것; 상기 복수의 심도들의 각각에서 식별되는 상기 대응하는 픽셀들의 유사성을 비교하는 것; 및 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대한 심도 추정치로서 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사성을 갖게 되는 심도를 상기 복수의 심도들로부터 선택하는 것을 포함함 -; 그리고 다른 시점들로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하기 위한 이미지들의 상기 세트의 서브세트 내의 픽셀 위치들에 대한 심도 추정치들 및 이미지들의 상기 세트를 이용하여 상기 기준 시점으로부터의 프레임을 렌더링함으로써, 렌더링할 것을 지시한다.

또 더 추가적인 실시예에서, 카메라들의 상기 초기 그룹은 적색, 녹색 및 청색 카메라들을 포함하는 3 x 3 π 필터 그룹을 포함한다.

다시 여전히 다른 실시예에서, 카메라들의 상기 초기 그룹은 카메라들의 상기 복수의 그룹들 내의 카메라들 모두를 포함한다.

다시 여전히 추가 실시예에서, 상기 복수의 카메라들은 전자 롤링 셔터들을 갖고; 이미지들의 상기 세트는 각각 롤링 셔터 시간 간격에 걸쳐 캡처되고; 상기 주어진 프레임 캡처 시간 간격은 롤링 셔터 시간 간격보다 짧고, 상기 롤링 셔터 시간 간격은 상기 복수의 카메라들 내의 카메라로부터의 이미지 데이터의 판독을 완료하는 데 걸리는 시간이고; 카메라들의 상기 복수의 그룹들에 의해 캡처되고 연속하는 프레임 캡처 시간 간격들 동안 캡처된 이미지들의 상기 세트 내의 이미지들의 상이한 부분들이 프레임들의 시퀀스를 렌더링하는 데 이용된다.

여전히 다른 추가 실시예에서, 상기 복수의 카메라들은 전자 롤링 셔터들을 갖고; 상기 주어진 프레임 캡처 시간 간격은 롤링 셔터 시간 간격보다 짧고, 상기 롤링 셔터 시간 간격은 상기 복수의 카메라들 내의 카메라로부터의 이미지 데이터의 판독을 완료하는 데 걸리는 시간이다.

다른 추가 실시예에서, 상기 카메라들의 상기 스태거링된 시작 시간들은 카메라들의 N개 그룹들의 각각이 주어진 프레임 캡처 시간 간격 동안 이미지의 적어도 1/N 부분을 캡처하도록 조정된다.

또 다른 추가 실시예에서, 비디오의 주어진 프레임은 상기 주어진 프레임 캡처 시간 간격 동안 캡처된 카메라들의 상기 N개 그룹들로부터의 픽셀들을 포함하는 픽셀들을 이용하여 렌더링된다.

여전히 다른 추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지의 적어도 1/N 부분을 선택함으로써; 상기 특정 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 이미지의 적어도 일부를 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써; 상기 제1 시점으로부터 캡처된 이미지의 상기 선택된 적어도 1/N 부분으로부터의 그리고 상기 제2 시점으로부터 보간된 이미지의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시한다.

다시 다른 추가 실시예에서, 상기 복수의 카메라들은 전자 스냅 샷 셔터들을 갖는다.

다른 더 추가적인 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지를 선택함으로써; 상기 특정 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 이미지의 적어도 일부를 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써; 그리고 상기 제1 시점으로부터 캡처된 이미지로부터의 그리고 상기 제2 시점으로부터 보간된 이미지의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시한다.

또 여전히 다른 추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 동일한 적어도 하나의 컬러 채널에서 이미지 데이터를 캡처하는 적어도 2개의 카메라들을 포함하는 카메라들의 그룹을 이용하여 이미지들의 세트를 캡처함으로써; 이미지들의 상기 세트의 적어도 서브세트를 이용하여 상기 기준 시점으로부터의 이미지 내의 픽셀 위치들에 대한 심도 추정치들을 결정함으로써 - 여기서, 상기 기준 시점으로부터의 상기 이미지 내의 주어진 픽셀 위치에 대한 심도 추정치를 생성하는 것은 복수의 심도들에서의 예상 디스패리티에 기초하여 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대응하는 이미지들의 상기 세트의 상기 적어도 서브세트 내의 픽셀들을 식별하는 것; 상기 복수의 심도들의 각각에서 식별되는 상기 대응하는 픽셀들의 유사성을 비교하는 것; 및 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대한 심도 추정치로서 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사성을 갖게 되는 심도를 상기 복수의 심도들로부터 선택하는 것을 포함함 -, 결정할 것을 지시한다.

다시 또 다른 추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 개별 픽셀들에 대한 심도들을 추정함으로써, 결정할 것을 지시한다.

또 다른 더 추가적인 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들의 클러스터들에 대한 심도들을 추정함으로써, 결정할 것을 지시한다.

다시 여전히 다른 추가 실시예에서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 모든 픽셀들에 대한 심도들을 추정함으로써, 결정할 것을 지시한다.

본 발명의 다시 다른 더 추가적인 실시예는 상이한 시점들로부터 장면의 이미지들을 캡처하고, 전자 롤링 셔터들을 갖고, 롤링 셔터 시간 간격 동안 이미지를 캡처하는 복수의 카메라들; 및 이미지 프로세싱 파이프라인 애플리케이션을 포함하는 메모리를 포함한다. 더욱이, 상기 이미지 프로세싱 파이프라인 애플리케이션은 상기 프로세서가, 기준 시점을 선택할 것; 초기 프레임을, 카메라들의 초기 그룹을 이용하여 이미지들의 세트를 캡처함으로써; 이미지들의 상기 세트의 적어도 서브세트를 이용하여 상기 기준 시점으로부터의 이미지들의 상기 세트로부터의 이미지 내의 픽셀 위치들에 대한 심도 추정치들을 결정함으로써, 렌더링할 것을 지시한다. 더욱이, 상기 기준 시점으로부터의 상기 이미지 내의 주어진 픽셀 위치에 대한 심도 추정치를 생성하는 것은 복수의 심도들에서의 예상 디스패리티에 기초하여 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대응하는 이미지들의 상기 세트의 상기 적어도 서브세트 내의 픽셀들을 식별하는 것; 상기 복수의 심도들의 각각에서 식별되는 상기 대응하는 픽셀들의 유사성을 비교하는 것; 및 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대한 심도 추정치로서 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사성을 갖게 되는 심도를 상기 복수의 심도들로부터 선택하는 것을 포함한다. 더욱이, 이미지 프로세싱 파이프라인 애플리케이션은 상기 프로세서가, 다른 시점들로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하기 위한 이미지들의 상기 세트의 서브세트 내의 픽셀 위치들에 대한 심도 추정치들 및 이미지들의 상기 세트를 이용하여 상기 기준 시점으로부터의 상기 초기 프레임을 렌더링할 것; 후속 프레임들을, 상기 복수의 카메라들 내로부터의 카메라들의 복수의 그룹들로부터 이미지 데이터를 획득함으로써 - 여기서, 카메라들의 각각의 그룹은 카메라들의 다른 그룹들에 대해 스태거링된 시작 시간에 이미지 데이터를 캡처하기 시작하고, 상기 카메라들의 상기 스태거링된 시작 시간들은 카메라들의 N개 그룹들의 각각이 상기 복수의 카메라들의 각각의 상기 롤링 셔터 시간 간격들보다 짧은 주어진 프레임 캡처 시간 간격 동안 프레임의 적어도 1/N 부분을 캡처하도록 조정됨 -; 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 카메라들의 상기 N개 그룹들에 의해 상기 주어진 프레임 캡처 시간 간격 동안 캡처된 픽셀들을 결정함으로써; 그리고 상기 상이한 시점들로부터의 이동 픽셀들이 가장 유사하게 되는 디스패리티를 식별하도록 디스패리티 탐색들을 수행함으로써 다른 시점으로부터 캡처된 이동 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을 결정함으로써, 렌더링할 것을 지시한다. 더욱이, 디스패리티 탐색들은 상기 주어진 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지 데이터로부터 이동 픽셀들을 선택하는 것; 상기 주어진 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 이동 픽셀을 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간하는 것; 및 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 디스패리티를 식별하는 것을 포함한다. 더욱이, 이미지 프로세싱 파이프라인 애플리케이션은 프로세서가 비디오의 프레임들을 렌더링할 것을 지시하는데, 비디오의 주어진 프레임은 픽셀들을 이용하여 렌더링되고, 상기 픽셀들은 상기 주어진 프레임 캡처 시간 간격 동안 캡처된 카메라들의 상기 N개 그룹들로부터의 이동 픽셀들 - 다른 시점들로부터 캡처된 이동 픽셀들은 상기 다른 시점들로부터 캡처된 상기 픽셀들에 대해 결정된 장면 의존적 기하학적 보정들을 이용하여 기준 시점으로 시프트됨 -; 및 상기 기준 시점으로부터 이전에 렌더링된 프레임으로부터의 비-이동 픽셀들을 포함한다.

도 1은 본 발명의 실시예에 따른 어레이 카메라를 개념적으로 도시한다.
도 2는 본 발명의 실시예에 따른 어레이 카메라 모듈 내의 광학계 어레이(optic array) 및 이미저 어레이(imager array)를 개념적으로 도시한다.
도 3a는 본 발명의 실시예에 따른 어레이 카메라 모듈 내의 컬러 필터들의 레이아웃, 고속 비디오 캡처 수행 시 사용되는 카메라 그룹들, 및 기준 카메라의 위치를 개념적으로 도시한다.
도 3b는 본 발명의 실시예에 따른 어레이 카메라 모듈 내의 컬러 필터들의 레이아웃 및 장면의 비-이동 부분의 심도를 추정하는 데 사용되는 카메라 그룹을 개념적으로 도시한다.
도 4a 내지 도 4c는 기준 시점 및 다른 시점으로부터 캡처된 장면의 2개의 이미지들에서의 시차의 영향들과 관련된 디스패리티를 개념적으로 도시한다.
도 5는 본 발명의 실시예에 따른 어레이 카메라에 의해 캡처된 이미지 데이터를 이용하여 고속 비디오 시퀀스를 렌더링하기 위한 프로세스를 도시하는 흐름도이다.
도 6a는 본 발명의 실시예에 따른 어레이 카메라 내의 카메라들의 4개의 상이한 그룹들에 의한 이미지 데이터 캡처의 타이밍을 도시한다.
도 6b는 본 발명의 실시예에 따른 어레이 카메라에 의해 캡처된 이미지 데이터를 이용하여 이미지 프로세싱 파이프라인 애플리케이션에 의해 구성된 프로세서에 의해 렌더링된 프레임들의 디스플레이의 타이밍을 도시한다.
도 6c는 본 발명의 실시예에 따른, 장면의 비-이동 부분의 심도들을 추정하는 데 사용될 수 있는 카메라들의 제1 그룹을 이용한 이미지 데이터의 캡처, 및 이동 픽셀들에 대한 심도를 추정하고 높은 프레임 속도 비디오 시퀀스를 렌더링하는 데 사용될 수 있는 카메라들의 4개의 상이한 그룹들에 의한 후속 이미지 데이터 캡처를 수반하는 어레이 카메라에 의한 이미지 데이터 캡처의 타이밍을 도시한다.
도 6d는 본 발명의 실시예에 따른, 렌더링된 프레임의 행들(또는 열들)의 총 개수의 1/N 초과가 카메라들의 상이한 그룹들 내의 카메라들의 시점들 사이의 관찰가능한 수직 시차를 조절하기 위하여 프레임 캡처 시간 간격 동안 카메라들의 N개 그룹들의 각각으로부터 판독되는 캡처를 포함한 어레이 카메라에 의한 이미지 데이터 캡처의 타이밍을 도시한다.
도 6e는 본 발명의 실시예에 따른 카메라들의 상이한 그룹들 내의 카메라들의 시점들 사이의 관찰가능한 수직 시차를 조절하기 위하여 카메라 어레이 내의 카메라들의 N개 그룹들의 각각에 의해 캡처된 이미지 데이터로부터 비디오의 프레임을 렌더링하기 위하여 인접한 프레임 캡처 시간 간격들 동안 캡처된 이미지 데이터의 이용을 도시한다.
도 7은 본 발명의 실시예에 따른 어레이 카메라에 의해 캡처된 이미지 데이터 내의 이동 픽셀들의 심도를 추정하기 위한 프로세스를 도시하는 흐름도이다.

이제 도면을 참조하면, 본 발명의 실시예에 따른 어레이 카메라 내의 카메라들의 상이한 그룹들에 의해 캡처된 이미지 데이터를 이용하여 높은 프레임 속도 비디오 시퀀스들을 렌더링하기 위한 시스템들 및 방법들이 예시된다. 비디오 시퀀스들은 전형적으로 초당 24 프레임(24 fps) 또는 30 fps 정도의 프레임 속도를 갖는다. 60 fps 초과의 프레임 속도는 소위 "높은 프레임 속도" 비디오인 것으로 여겨질 수 있다. 본 명세서에서 논의되는 어레이 카메라들의 경우에, 높은 프레임 속도 비디오는 어레이 내의 카메라들의 그룹 또는 단일 카메라로부터 데이터를 판독할 때 프레임들이 렌더링되는 속도가 어레이 카메라에 의해 사용되는 롤링 셔터 스피드보다 빠른 비디오인 것으로 여겨진다. 예로서, 어레이 카메라는 카메라들의 4개의 그룹들의 각각으로부터 30 fps의 속도로 이미지 데이터를 판독할 수 있고 이미지 데이터의 4개 세트들로부터 120 fps로 고속 비디오 시퀀스를 렌더링할 수 있다. 카메라들의 그룹들의 각각에 의한 이미지 데이터 캡처의 시작 시간들을 적절하게 스태거링함으로써, 어레이 카메라는 고속 비디오 시퀀스를 120 fps로 합성할 수 있다. 용이하게 인식될 수 있는 바와 같이, 본 발명의 실시예들에 따라, 특정 애플리케이션들의 요건들에 적절하게, 어떤 다양한 롤링 셔터 스피드들 및 프레임 속도들도 높은 프레임 속도 비디오 시퀀스의 합성에 활용될 수 있다.

어레이 카메라 내의 카메라들의 롤링 셔터 스피드가 비디오의 프레임 속도보다 느린 비디오 시퀀스들은, 2013년 12월 31일자로 허여되고 발명의 명칭이 "Systems and Methods for Parallax Detection and Correction in Images Captured using Array Cameras that Contain Occlusions using Subsets of Images to Perform Depth Estimation"인 Ciurea 등의 미국 특허 제8,619,082호 및 2014년 9월 18일자로 공개되고 발명의 명칭이 "Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps In which Depth Estimation Precision Varies"인 Venkataraman등의 미국 특허 출원 공개 제2014/0267243호에 기재된 것들과 같은 기법들을 이용하여 렌더링될 수 있다. 어레이 카메라에 의해 캡처된 이미지 데이터를 이용한 심도 추정, 및 심도 추정치들에 기초한 이미지들의 합성에 관한 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에서의 개시내용은 전체적으로 본 명세서에 참고로 포함된다. 비디오 시퀀스들은 스태거링된 방식으로 이미지 데이터를 캡처하도록 카메라들의 어레이 내의 상이한 그룹들을 이용함으로써 롤링 셔터 스피드보다 높은 프레임 속도들로 렌더링될 수 있다. 카메라들의 상이한 그룹들로부터의 이미지 데이터는 각각의 프레임 캡처 시간 동안 프레임의 상이한 부분들을 렌더링하는 데 이용될 수 있다. 그러나, 카메라들의 그룹들의 각각은 시차를 야기하는 상이한 시점들로부터의 이미징된 장면을 본다. 본 발명의 몇몇 실시예들에서, 높은 프레임 속도 비디오 시퀀스를 렌더링하는 프로세스는 장면 내에서의 가시적 객체들의 일부 또는 모두에 대한 심도 추정치들을 생성하는 것 및 심도 추정치들을 이용하여 어레이 내의 카메라들의 각각에 의해 캡처된 이미지들에 존재하는 시차를 보정하는 것을 수반한다. 이동 객체들이 카메라들의 어레이로부터 특정 거리에 위치될 것을 요구하는 대신 심도를 추정함으로써, 본 발명의 많은 실시예들에 따른 어레이 카메라들은 임의적인 심도들을 갖는 이동 객체들 및/또는 장면 내의 상이한 다중 심도들을 갖는 이동 객체들을 포함하는 자연스러운 장면들을 이미징할 수 있다.

다수의 실시예들에서, 높은 프레임 속도 비디오 시퀀스는 기준 시점으로부터 초기 프레임을 캡처함으로써 그리고 이동하고 있는 연속하는 프레임 캡처 시간 간격들 동안 캡처된 이미지들에서 픽셀들을 검출함으로써 렌더링된다. 몇몇 실시예들에서, 이동 픽셀들을 검출하는 것은 특정 시점으로부터 캡처된 연속하는 프레임들을 조사하는 것 및 임계치를 초과하는 세기의 차이들을 갖는 픽셀들을 검출하는 것을 수반한다. 상기 프로세스가 (프레임 캡처 간격과 대조적으로) 롤링 셔터 시간 간격의 기간에 걸친 이동의 검출을 수반한다는 것에 유의하여야 한다. 특정 애플리케이션들의 요건들에 따라서, 모션 검출 임계치가 미리결정될 수 있고/있거나 이미지 데이터의 국소적 특징들에 기초하여 결정될 수 있다. 이어서, 비디오의 연속하는 프레임들은 기준 시점으로부터 렌더링된 초기 프레임과 이동 픽셀들을 합성함으로써 렌더링된다. 합성 프로세스는 픽셀들을 다른 시점들로부터 기준 시점으로 시프트하는 것을 수반할 수 있다. 이동 픽셀들을 기준 시점으로 시프트하기 위하여, 이동 픽셀들의 심도들이 추정될 수 있다. 몇몇 실시예들에서, 이동하고 있는 픽셀들에 관하여 초기 결정이 이루어지고 비-이동 픽셀들이 기준 카메라와 정렬하도록 시프트되어 최종적인 합성된 이미지 내의 아티팩트(artifact)들을 방지한다.

카메라들의 그룹 내의 다중 카메라들이 심도 추정치들을 얻을 수 있는 카메라들의 스테레오 쌍 또는 더 큰 어레이를 형성하는 실시예들에서, 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에 기술되고 그로부터 앞에서 참고로 포함된 것들과 유사한 기법들이 이동 픽셀들의 심도들을 추정하는 데 활용될 수 있다. 이어서, 심도 추정치들이 카메라들의 단일 그룹에 의해 캡처된 이미지 데이터를 이용하여 신뢰성 있게 얻어질 수 없는 실시예들에서, 심도 추정은 스태거링된 시작 캡처 시간들을 갖는 카메라들의 상이한 그룹들에 의해 캡처된 이미지 데이터 내의 이동 픽셀들 사이의 디스패리티를 관찰함으로써 수행될 수 있다. 소정 실시예들에서, 모든 이동 픽셀들은 동일한 심도에 있는 것으로 상정된다. 몇몇 실시예들에서, 이동 픽셀들의 클러스터들이 식별되고 (상이한 클러스터들 내의 픽셀들의 심도들이 가변될 수 있지만) 이동 픽셀들의 각각의 클러스터 내의 픽셀들은 동일한 심도에 있는 것으로 상정된다.

많은 실시예들에서, 제1 시점으로부터 가시적인 이동 픽셀들의 심도는 제1 시점으로부터의 이미지 데이터가 캡처되는 동안의 프레임 캡처 시간 간격에 기초하여 그리고 다른 시간들에 제2 시점으로부터 캡처된 이미지 데이터를 이용하여 제2 시점으로부터의 프레임 또는 프레임의 일부를 보간함으로써 추정된다. 이러한 상황에서, 프레임 캡처 시간 간격은 이미지 데이터가 카메라들의 다중 그룹들에 의해 캡처되고 고속 비디오 시퀀스 내의 단일 프레임을 렌더링하는 데 이용되는 동안의 시간 간격을 나타낸다. 이어서, 제1 시점으로부터 가시적인 이동 픽셀들의 위치들 및 관련 프레임 캡처 시간에 제2 시점으로부터 가시적인 이동 픽셀들의 추정된 위치들은 디스패리티에 기초하여 이동 픽셀들의 심도를 추정하기 위하여 비교될 수 있다. 추정된 디스패리티는 객체의 심도와 관련된 성분 및 프레임 캡처들 사이의 객체의 모션과 관련된 성분을 포함한다. 따라서, 모션으로 인한 감지된 시프트를 최소화하고 시차로 인한 시프트를 없애는 측정이 활용될 수 있다. 많은 실시예들에서, 제2 시점으로부터의 이미지는, 제1 시점으로부터의 이미지 데이터가 캡처된 관련 프레임 캡처 시간 간격 전후에 일정 시간 간격을 두고 제2 시점으로부터 캡처된 이미지 데이터를 이용하여 보간된다. 제1 시점이 비디오의 초기 프레임이 렌더링되게 하는 기준 시점에 대해 다른 시점인 경우, 기준 시점은 전형적으로 프레임을 보간하게 되는 제2 시점으로서 선택된다. 카메라들의 그룹들이 분리된 컬러 채널들에서 이미지 데이터를 캡처하는 카메라들을 포함하는 실시예들에서, 기준 시점(예컨대, 기준 시점으로서 선택된 시점을 갖는 녹색 카메라)으로부터 캡처된 이동 픽셀들에 대한 심도 추정치들은 기준 카메라를 포함하는 카메라들의 그룹 내의 카메라들에 의해 캡처된 다른 컬러 채널들로부터의 이동 픽셀들을 융합하는 데 유용할 수 있다. 따라서, 심도 추정치들은, 제1 시점이 기준 시점인 경우에, 기준 시점에 대해 다른 시점인 제2 시점으로부터 비디오의 프레임 또는 프레임의 일부를 보간함으로써 결정될 수 있다. 다른 실시예들에서, 어떤 다양한 기법들도 특정 애플리케이션들의 요건들에 적절하게 어레이 카메라에 의해 캡처된 이미지 데이터를 이용하여 디스패리티 탐색들을 수행함으로써 이동 픽셀들의 심도들을 추정하는 데 활용될 수 있다.

디스패리티 탐색들은 하나 이상의 등극선(epipolar line)을 따르는 상이한 시점들로부터의 픽셀들의 유사성을 비교함으로써 수행될 수 있다. 비교들은 전형적으로 기준 시점과 다른 시점 사이에서 수행되지만, 시점들의 어떠한 세트도 디스패리티 탐색들을 수행할 때 활용될 수 있다. 다수의 실시예들에서, 디스패리티 탐색들은 제1 시점으로부터의 이동 픽셀들이 제2 시점으로부터의 이동 픽셀들과 가장 높은 상관성을 나타내게 되는 디스패리티를 결정하는 것을 수반한다. 소정 실시예들에서, 디스패리티 탐색들은 제1 시점으로부터 가시적인 이동 픽셀들의 클러스터가 제2 시점으로부터 가시적인 이동 픽셀들의 클러스터와 가장 높은 상관성을 나타내게 되는 디스패리티에 기초하여 이동 픽셀들의 개별 클러스터들에 대해 수행된다. 다수의 실시예들에서, 심도 추정치들은 (위에서 참고로 포함된) 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에 기술된 비용 함수(cost function)들 및/또는 절대차들의 합과 같은 (그러나, 이에 제한되지 않는) 비용 메트릭(cost metric)들을 이용하여 개별 이동 픽셀들 또는 이동 픽셀들의 더 작은 블록들에 대해 얻어진다. 더욱이, 심도 추정치들은 둘 이상의 상이한 시점들로부터 가시적인 픽셀들을 이용하여 획득될 수 있다.

이동 픽셀들의 심도들은 이동 픽셀들을 기준 시점으로 시프트하도록 다른 시점들로부터 관찰된 이동 픽셀들에 적용하기 위하여 장면 의존적 기하학적 보정들을 결정하는 데 활용될 수 있다. 이어서, 비디오의 새로운 프레임은 이동 픽셀들이 다른 시점들로부터 기준 시점으로 시프트된 상태에서 기준 시점으로부터 관찰된 임의의 이동 픽셀들과 기준 시점으로부터 이전에 렌더링된 프레임으로부터의 비-이동 픽셀들을 합성함으로써 렌더링될 수 있다.

다수의 실시예들에서, 카메라들의 그룹들은 단일 컬러 채널에서 이미지 데이터를 캡처하는 단일 카메라(single camera)들(예컨대, 흑백 카메라, 또는 적외선 카메라) 또는 다중 컬러 채널들에서 이미지 데이터를 캡처하는 단일 카메라들(예컨대, 베이어(Bayer) 컬러 필터를 활용한 카메라)을 포함한다. 몇몇 실시예들에서, 카메라들의 그룹들은 다중 카메라들을 포함한다. 상이한 컬러 채널들에서 다중 단색 카메라들(예컨대, 적색 카메라, 녹색 카메라, 및 청색 카메라)을 활용하는 소정 실시예들에서, 컬러 채널들 각각에서 일정 세기 성분들을 포함하는 비-이동 픽셀들을 렌더링하는 것은 또한 픽셀들을 기준 시점으로 시프트할 수 있기 위하여 심도를 추정하는 것을 수반할 수 있다. 따라서, 본 발명의 많은 실시예들에 따른 어레이 카메라들은 또한 기준 프레임 내의 비-이동 픽셀들에 대한 심도를 추정한다. 다수의 실시예들에서, 장면 내의 비-이동 픽셀들의 심도들은 단일 프레임 캡처 시간 간격보다 긴 타이머 간격에 걸쳐 어레이 카메라 내의 카메라들의 상이한 그룹들에 의해 캡처된 이미지 데이터로부터 추정될 수 있다. 이동 픽셀들과 달리, 비-이동 픽셀들은 이미지 데이터의 전체 프레임이 카메라들의 어레이 내의 상이한 카메라들에 의해 캡처되는 동안 전체 기간을 통하여 정지되어 있는 것으로 상정될 수 있다. 그러므로, 디스패리티 탐색들은 (위에서 참고로 포함된) 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에 기술된 것들과 유사한 기법들을 이용하여 하나 이상의 롤링 셔터 간격에 걸쳐 카메라들의 상이한 그룹들에 의해 캡처된 이미지 데이터의 전체 세트에 걸쳐 수행될 수 있다. 분리된 컬러 채널들에서 이미지 데이터를 캡처하는 카메라들을 포함하는 다수의 실시예들에서, 다중 이미지들이 각각의 컬러 채널에서 캡처되도록 충분히 많은 수의 카메라들을 이용하여 초기 프레임 또는 프레임들의 초기 시퀀스를 캡처함으로써 초기 심도 맵이 추정된다. 이상적으로, 카메라들의 개수는, 각각의 컬러 채널에서 카메라가 기준 시점 주위에 분포되도록 그리고 기준 시점으로부터 캡처된 각각의 픽셀이 각각의 컬러 채널에서 다른 시점으로부터 캡처된 적어도 하나의 이미지 내에서 가시적이도록 충분히 많다. 이어서, (위에서 참고로 포함된) 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에 기술된 것들과 유사한 프로세스들이 비-이동 픽셀들에 대한 초기 심도 맵을 생성하는 데 활용될 수 있다. 일단 심도 맵이 획득되면, 심도 맵 내의 심도들은 비-이동 픽셀들에 할당될 수 있고, 이동 픽셀들에 대한 심도 맵 내의 심도들은 전술된 프로세스들을 이용하여 결정될 수 있고 심도 맵을 업데이트하는 데 활용될 수 있다. 몇몇 실시예들에서, 초기 심도 맵으로부터의 심도들은 이동 픽셀들에 대한 디스패리티 탐색들의 경계를 이루는 데 이용될 수 있다.

소정 실시예들에서, 심도를 추정하는 프로세스는 또한 하나 이상의 신뢰도 인자(confidence factor)를 인코딩하는 신뢰도 메트릭(confidence metric)의 생성을 수반한다. 이미지 프로세싱 애플리케이션이 비디오 시퀀스의 렌더링 시 심도 추정치들을 활용하는 방식은 심도 추정치의 신뢰도에 좌우될 수 있다.

본 발명의 다양한 실시예들에 따른 어레이 카메라들에 의해 캡처된 이미지 데이터를 이용하여 높은 프레임 속도 비디오 시퀀스들을 렌더링하기 위한 시스템들 및 방법들이 아래에서 추가로 논의된다.

어레이 카메라들

본 발명의 많은 실시예들에 따른 어레이 카메라들은 카메라들의 어레이를 포함하는 어레이 카메라 모듈, 및 이미지들을 합성하기 위해 카메라 모듈로부터 이미지 데이터를 판독 및 프로세싱하도록 구성된 프로세서를 포함할 수 있다. 본 발명의 실시예에 따른 어레이 카메라가 도 1에 도시되어 있다. 어레이 카메라(100)는 개별 카메라들(104)의 어레이를 갖는 어레이 카메라 모듈(102)을 포함하고, 여기서 개별 카메라들의 어레이는 도시된 실시예에서 활용되는 정사각형 배열과 같은 (그러나, 이들로 제한되지 않는) 특정 배열의 복수의 카메라들을 지칭한다. 다른 실시예들에서, 카메라들의 다양한 그리드 또는 비-그리드 배열들 중 임의의 것이 활용될 수 있다. 여러 상이한 타입들의 카메라들을 포함하는 모놀리스식(monolithic) 어레이들을 포함하는 다양한 어레이 카메라 구성들이, 발명의 명칭이 "Capturing and Processing of Images Using Monolithic Camera Array with Heterogeneous Imagers"인 Venkataraman 등의 미국 특허 출원 공개 제2011/0069189호에 개시되어 있는데, 어레이들의 어레이들에 대한 개시 내용을 포함한 (그러나, 이에 제한되지 않는) 상이한 어레이 카메라 구성들에 대한 관련 개시 내용은 전체적으로 본 명세서에 참고로 포함된다. 어레이 카메라 모듈(102)은 프로세서(106)에 접속된다. 프로세서는 또한, 이미지 프로세싱 파이프라인 애플리케이션(110), 어레이 카메라 모듈(102)에 의해 캡처된 이미지 데이터(112), 비디오 인코더(114) 및 인코딩된 비디오(116)를 저장하는 데 활용될 수 있는 하나 이상의 상이한 타입들의 메모리(108)와 통신하도록 구성된다. 이미지 프로세싱 파이프라인 애플리케이션(110)은 전형적으로, 프로세서가 후술되는 다양한 프로세스들을 포함한 (그러나, 이들로 제한되지 않는) 프로세스들을 수행할 것을 지시하는 데 활용되는 비일시적 기계 판독가능 명령어들이다. 몇몇 실시예들에서, 프로세스들은 어레이 카메라 모듈(102) 내의 카메라들의 그룹들에 의한 이미지 데이터의 스태거링된 캡처, 캡처된 이미지 데이터(112)로부터의 심도 정보의 추정, 및 캡처된 이미지 데이터를 이용한 비디오의 프레임들의 렌더링을 조정하는 것을 포함한다. 비디오 인코더(114)는 유사하게는, 프로세서가 메모리(108) 내의 인코딩된 비디오(116)로서 저장하기 위해 이미지 프로세싱 파이프라인 애플리케이션에 의해 렌더링된 비디오의 프레임들을 인코딩할 것을 지시하는 비일시적 기계 판독가능 명령어들이다.

프로세서들(108)은 마이크로프로세서, 코프로세서, 주문형 집적 회로, 및/또는, 적절한 소프트웨어를 이용하여, 어레이 카메라 모듈(102) 내의 카메라들에 의해 캡처된 이미지 데이터를 촬영할 것 및 인코딩된 높은 프레임 속도 비디오 시퀀스를 출력할 것을 지시받는 적절히 구성된 필드 프로그래밍가능 게이트 어레이를 이용하여 구현될 수 있다. 몇몇 실시예들에서, 비디오 시퀀스는 기준 시점, 전형적으로는 어레이 카메라 모듈(102) 내의 기준 카메라(104)의 시점으로부터 렌더링된다. 많은 실시예들에서, 프로세서는 어레이 카메라 모듈(102) 내의 포커스 평면들(104) 중 어떠한 포커스 평면의 시점들에도 대응하지 않는 하나 이상의 가상 시점으로부터의 비디오 시퀀스를 합성할 수 있다. 캡처된 장면 내의 모든 객체들이 어레이 카메라로부터 유의한 거리에 있지 않으면, 이미지 데이터 내의 캡처된 장면의 이미지들은 이미지들을 캡처하는 데 이용된 카메라들의 상이한 시야들로 인해 디스패리티를 포함할 것이다. 디스패리티에 대해 검출 및 보정하기 위한 프로세스가 아래에서 추가로 논의된다. 특정 어레이 카메라 아키텍처들이 도 1을 참조하여 위에서 논의되어 있지만, 본 발명의 실시예들에 따른 대안의 아키텍처들이 또한 활용될 수 있다.

어레이 카메라 모듈들

본 발명의 실시예들에 따른 어레이 카메라 모듈들은 포커스 평면들의 어레이를 포함하는 이미저 어레이 또는 센서, 및 이미저 어레이 내의 각각의 포커스 평면에 대한 렌즈 적층체(lens stack)를 포함하는 광학계 어레이(optic array)로 구성될 수 있다. 다중 포커스 평면들을 포함하는 센서들 및 그러한 센서들의 작동은 발명의 명칭이 "Architectures for System on Chip Array Cameras"인 Pain 등의 미국 특허 출원 공개 제2012/0013748호에서 논의되는데, 그로부터의 관련 개시 내용은 전체적으로 본 명세서에 참고로 포함된다. 이미지들이 각각의 카메라의 광학계들에 의해 위에 형성되는 픽셀들의 단일 어레이를 포함하는 센서가 또한 이미지 데이터를 캡처하는 데 활용될 수 있다. 몇몇 실시예들에서, 각각의 카메라는 분리된 센서를 포함한다. 많은 실시예들에서, 개별 렌즈 배럴들이 카메라의 광학계들을 구현하는 데 활용된다. 본 발명의 실시예들에 따른, 분리된 센서들 및 광학계 어레이들, 분리된 센서들 및 분리된 렌즈 배럴들, 그리고 단일 센서 및 분리된 렌즈 배럴들의 조합을 이용하여 구현된 카메라들을 포함하는 어레이 카메라 모듈들이 2014년 11월 7일자로 출원되고 발명의 명칭이 "Array Cameras Incorporating Independently Aligned Lens Stacks"인 Rodda 등의 미국 특허 출원 제14/536,554호에 개시되어 있는데, 그로부터의 관련 개시 내용은 전체적으로 본 명세서에 참고로 포함된다. 상이한 카메라들이 전자기 스펙트럼의 상이한 부분들에 대한 이미지 데이터를 캡처할 수 있게 하기 위해 어레이 카메라 모듈 내의 카메라의 광학계들에 의해 형성된 각각의 광 채널에 광 필터들이 이용될 수 있다.

본 발명의 실시예에 따른, 모놀리스식 이미저 어레이 상의 각각의 포커스 평면에 대해 렌즈 적층체를 포함하는 광학계 어레이를 사용하여 구현된 어레이 카메라 모듈이 도 2에 도시되어 있다. 어레이 카메라 모듈(200)은 포커스 평면들(240)의 어레이를 포함하는 이미저 어레이(230)를, 렌즈 적층체들(220)의 어레이를 포함하는 대응하는 광학계 어레이(210)와 함께 포함한다. 렌즈 적층체들의 어레이 내에서, 각각의 렌즈 적층체(220)는 대응하는 포커스 평면(240) 내의 감광 픽셀(light sensitive pixel)들의 어레이 상에 장면의 이미지를 형성하는 광 채널을 생성한다. 렌즈 적층체(220)와 포커스 평면(240)의 각각의 쌍은 카메라 모듈 내에 단일 카메라(104)를 형성한다. 카메라(104)의 포커스 평면(240) 내의 각각의 픽셀은 카메라(104)로부터 프로세서(108)로 송신될 수 있는 이미지 데이터를 생성한다. 많은 실시예들에서, 각각의 광 채널에서의 렌즈 적층체는 각각의 포커스 평면(240)의 픽셀들이 장면 내의 동일한 객체 공간 또는 영역을 샘플링하도록 구성되어 있다. 몇몇 실시예들에서, 렌즈 적층체들은 초고해상도 프로세스들의 사용을 통해 증가된 해상도를 복원하는 데 활용될 수 있는 샘플링 다이버시티(sampling diversity)를 제공하기 위해 동일한 객체 공간을 샘플링하는 픽셀들이 서브픽셀 오프셋들로 그렇게 하도록 구성되어 있다. 이러한 방식으로, 카메라들의 동일한 어레이는 단일 프레임 이미지 캡처 동안 증가된 해상도를 제공할 수 있고 높은 프레임 속도 비디오 캡처를 지원할 수 있다.

도 2에 도시된 실시예에서, 포커스 평면들은 5 x 5 어레이로 구성되어 있다. 센서 상의 각각의 포커스 평면(240)은 장면의 이미지를 캡처할 수 있다. 전형적으로, 각각의 포커스 평면은 픽셀들의 복수의 열들을 또한 형성하는 픽셀들의 복수의 행들을 포함하고, 각각의 포커스 평면은 다른 포커스 평면으로부터의 픽셀들을 포함하지 않는 이미저의 영역 내에 포함되어 있다. 많은 실시예들에서, 각각의 포커스 평면의 이미지 데이터 캡처 및 판독이 독립적으로 제어될 수 있다. 이러한 방식으로, 포커스 평면 내의 픽셀들의 노출 시간 및 아날로그 이득을 포함한 (그러나, 이에 제한되지 않는) 이미지 캡처 설정치(setting)들은 장면 동적 범위의 특정 부분 및/또는 특정 색상 채널을 포함한 (그러나, 이에 제한되지 않는) 인자들에 기초하여 이미지 캡처 설정치들이 조정될 수 있도록 독립적으로 결정될 수 있다. 포커스 평면들에서 활용되는 센서 요소들은 전통적인 CIS(CMOS Image Sensor) 픽셀들, CCD(charge-coupled device) 픽셀들, 높은 동적 범위 센서 요소들, 다중스펙트럼 센서 요소들, 및/또는 구조물에 입사되는 광을 나타내는 전기 신호를 생성하도록 구성된 임의의 다른 구조물과 같은, 그러나 이들로 제한되지 않는, 개별 광 감지 요소들일 수 있다. 많은 실시예들에서, 각각의 포커스 평면의 센서 요소들은 유사한 물리적 특성들을 가지며, 동일한 광 채널 및 컬러 필터(존재하는 경우)를 통해 광을 수용한다. 다른 실시예들에서, 센서 요소들은 상이한 특성들을 가지며, 많은 경우들에 있어서, 센서 요소들의 특성들은 각각의 센서 요소에 적용되는 컬러 필터와 관련된다.

몇몇 실시예들에서, 개별 카메라들 내의 컬러 필터들은 발명의 명칭이 "Camera Modules Patterned with pi Filter Groups"인 Nisenzon 등의 미국 특허 공개 제2014/0293760호에서 추가로 논의된 바와 같은 π 필터 그룹들을 갖는 카메라 모듈을 패턴화하는 데 사용될 수 있는데, 어레이 카메라의 구현 시에 활용될 수 있는 스펙트럼 필터들의 다양한 패턴들과 관련된 그러한 특허 공개의 관련 개시 내용은 그 전체가 본 명세서에 참고로 포함된다. 이들 카메라는 상이한 컬러들, 또는 스펙트럼의 특정 부분에 대한 데이터를 캡처하는 데 사용될 수 있다. 컬러 필터들을 카메라의 픽셀들에 적용하는 것과 달리, 본 발명의 많은 실시예들에서의 컬러 필터들은 렌즈 적층체 내에 그리고/또는 광 채널 내의 다른 어느 곳에도 포함될 수 있다. 예를 들어, 녹색 컬러 카메라는 녹색 광이 광 채널을 통과할 수 있게 하는 녹색 광 필터를 갖는 렌즈 적층체를 포함할 수 있다. 많은 실시예들에서, 각각의 포커스 평면 내의 픽셀들은 동일하고 픽셀들에 의해 캡처된 광 정보는 각각의 필터 평면에 대한 대응하는 렌즈 적층체 내의 컬러 필터들에 의해 구별된다. 광학계 어레이가 렌즈 적층체들에 컬러 필터들을 포함하는 카메라 모듈의 특정 구조가 앞서 기술되어 있지만, π 필터 그룹들을 포함하는 카메라 모듈들은 컬러 필터들이 종래의 컬러 카메라의 픽셀들에 적용되는 방식과 유사하게 카메라 모듈의 포커스 평면들의 픽셀들에 컬러 필터들을 적용하는 것을 포함한 (그러나, 이에 제한되지 않는) 다양한 방식들로 구현될 수 있다. 몇몇 실시예들에서, 카메라 모듈 내의 카메라들 중 적어도 하나는 그의 포커스 평면 내의 픽셀들에 적용되는 균일한 컬러 필터들을 포함할 수 있다. 많은 실시예들에서, 베이어 필터 패턴이 카메라 모듈 내의 카메라들 중 적어도 하나의 카메라의 픽셀들에 적용된다. 다수의 실시예들에서, 렌즈 적층체들 내에서 그리고 이미저 어레이의 픽셀들 상에서 컬러 필터들이 활용되는 카메라 모듈들이 구성된다.

특정 어레이 카메라들 및 이미저 어레이들이 앞서 논의되었지만, 많은 상이한 어레이 카메라들이 본 발명의 실시예들에 따라 특정 애플리케이션들의 요건들에 적절하게 필드 심도 맵들의 제한된 심도를 이용하여 이미지 데이터를 캡처하고 이미지들을 합성하는 데 활용될 수 있다. 본 발명의 다양한 실시예들에 따른 이미저 어레이들이 아래에서 추가로 논의된다.

액티브 카메라들의 그룹들로 이미지 데이터를 캡처

본 발명의 많은 실시예들에 따른 어레이 카메라 모듈 내의 카메라들은 이미지 데이터를 캡처하기 위해 서브세트들 또는 그룹들로 그룹화될 수 있다. 고속 비디오 시퀀스들이 렌더링되고 심도 맵들이 생성되는 방식은 각각의 그룹 내의 카메라들의 개수 및 타입에 좌우된다. 어레이 내의 카메라들의 그룹들의 개수, 타입 및/또는 레이아웃에 기초하여 높은 프레임 속도들로 심도를 추정하고 비디오의 프레임들을 렌더링하기 위한 다양한 기법들이 아래에서 추가로 설명된다. 다수의 실시예들에서, 어레이 내의 카메라들은 단일 컬러 채널에서 이미지 데이터를 캡처한다. 몇몇 실시예들에서, 어레이 내의 카메라들은 카메라들 중 하나 이상이 다중 컬러 채널들에서 이미지 데이터를 캡처할 수 있도록 패턴화된 (예컨대, 베이어 필터 패턴들) 스펙트럼 필터들을 포함할 수 있다. 다수의 실시예들에서, 어레이 내의 다양한 카메라들은, 카메라들이 단일 컬러 채널에서 이미지 데이터를 캡처하고 조합된 이미지 데이터가 다중 컬러 채널들에서 캡처된 한 세트의 이미지 데이터를 산출하도록 상이한 스펙트럼 필터들을 갖는다.

개별 카메라들이 어레이 카메라의 모든 컬러 채널들에서 이미징하는 실시예들에서, 높은 프레임 속도 비디오는 하나 이상의 카메라를 포함하는 카메라들의 그룹들을 사용하여 렌더링될 수 있다. 상이한 카메라들이 상이한 컬러 채널들에서 이미지들을 캡처하는 실시예들에서, 카메라들의 그룹들은 전형적으로 각각의 컬러 채널로부터의 적어도 하나의 카메라를 포함한다. 이어서, 주어진 컬러 채널로부터의 단지 하나의 카메라만이 카메라들의 그룹에 포함된 실시예에서, 심도 추정은 카메라들의 상이한 다중 그룹들에 의해 캡처된 이미지 데이터를 이용하여 수행될 수 있다. 이어서, 일정 그룹이 적어도 하나의 컬러 채널로부터의 다중 카메라들을 포함하는 경우, 심도 추정은 그룹 내의 카메라들에 의해 캡처된 이미지 데이터만을 이용하여 수행될 수 있다. 그러나, 다양한 이유들로, 어레이 카메라가 심도 추정을 수행하기 위하여 카메라들의 다중 그룹들에 의해 캡처된 이미지 데이터를 여전히 활용할 수 있다.

많은 실시예들에서, 적색, 녹색 및 청색 카메라들을 포함하는 3 x 3 π 필터 그룹을 각각이 포함하는 카메라들의 그룹들은 비디오의 프레임들이 카메라들의 3 x 3 π 필터 그룹에 대한 롤링 셔터 스피드보다 높은 프레임 속도로 합성될 수 있는 이미지 데이터를 캡처하는 데 이용된다. 연속하는 프레임 캡처 시간 간격들 동안 카메라들의 상이한 다중 π 필터 그룹들에 의해 캡처된 이미지 데이터는 카메라들의 개별 3 x 3 π 필터 그룹의 롤링 셔터 스피드보다 빠른 프레임 속도로 비디오를 렌더링하는 데 활용될 수 있다. 카메라들의 단일 3 x 3 π 필터 그룹들에 의해 캡처된 이미지 데이터는 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에 기술되고 그로부터 참고로 포함된 기법들을 사용하여 카메라들의 3 x 3 π 필터 그룹들에 의해 이미징된 픽셀들에 대한 심도를 추정하는 데 이용될 수 있다. 이어서, 추정된 심도들은 이동 픽셀들과 같은 (그러나, 이에 제한되지 않는) 픽셀들을 카메라들의 3 x 3 π 필터 그룹들 중 하나 내의 기준 카메라의 시점으로 시프트하는 데 이용될 수 있다. 다른 실시예들에서, 높은 프레임 속도 비디오 시퀀스들의 렌더링 동안 카메라들의 개별 그룹에 의해 캡처된 이미지 데이터로부터 심도가 추정되는 것을 가능하게 하는 카메라들의 어떤 다양한 그룹들도 활용될 수 있다.

용이하게 인식될 수 있는 바와 같이, 이미지 데이터를 캡처하기 위하여 카메라들의 3 x 3 π 필터 그룹들을 활용하는 것은 카메라들의 큰 어레이를 필요로 할 수 있다. 예로서, 30 fps로 판독을 가능하게 하는 롤링 셔터를 갖는 카메라들의 3 x 3 π 필터 그룹들을 이용하는 어레이 카메라는 120 fps의 속도로 비디오를 렌더링하기 위하여 적어도 카메라들의 6 x 6 어레이를 필요로 할 수 있다. 유사한 프레임 속도가 카메라들의 더 작은 그룹들을 활용함으로써 본 발명의 많은 실시예들에 따라 달성될 수 있다. 몇몇 실시예들에서, 카메라들의 각각의 그룹은 단일 적색, 녹색, 및 청색 카메라를 포함한다.

본 발명의 실시예에 따라 기준 카메라의 시점으로부터 고속 비디오 시퀀스를 렌더링하는 데 이용되는 이미지 데이터를 캡처하도록 구성된 액티브 카메라들의 4개의 그룹들을 포함하는 4 x 4 어레이 카메라 모듈이 도 3a에 도시되어 있다. 4 x 4 어레이 카메라 모듈(300)은 각각이 단일 청색 카메라, 단일 녹색 카메라, 및 단일 적색 카메라를 포함하는 카메라들의 4개의 그룹들을 한정하는 데 이용된다. 주어진 시간 간격에서 카메라들의 시점들 사이의 가장 큰 시프트를 감소시키기 위하여, 제1 그룹(302)이 제1 캡처 시간에 시작하여 판독되고, 제2 그룹(304)이 스태거링된 제2 캡처 시간에 시작하여 판독되고, 제3 그룹(306)이 추가로 스태거링된 제3 캡처 시간에 시작하여 판독되고, 제4 그룹(308)이 또 추가로 스태거링된 제4 캡처 시간에 시작하여 판독된다. 도 6a 내지 도 6e를 참조하여 아래에서 추가로 논의되는 바와 같이, 카메라들의 상이한 그룹들의 캡처 시간들의 시작을 스태거링하는 것과 프레임 속도가 카메라들의 각각의 그룹의 롤링 셔터보다 빠르다는 사실은, 각각의 프레임 캡처 시간 간격 동안 렌더링된 프레임의 행들(또는 열들)의 총 개수의 적어도 1/N(여기서, N은 카메라들의 그룹들의 개수임)(즉, 도시된 실시예의 경우 렌더링된 프레임의 행들의 총 개수의 1/4)로부터 각각의 카메라가 이미지 데이터를 캡처하고 판독한다는 것을 의미한다. 카메라들에 의해 캡처된 이미지 데이터는 카메라들의 각각에 의해 캡처된 이미징된 데이터의 유사성을 증가시키기 위하여 측광학적으로 그리고 기하학적으로 정규화될 수 있다. 이러한 (그리고 다른) 정규화 프로세스들은 어레이 카메라에 의해 생성되는 심도 추정치들의 정확도를 향상시킬 수 있다. 장면 내의 객체들에 대한 심도를 추정하는 프로세스는 상이한 시점들로부터 캡처된 픽셀들을 기준 시점으로 시프트하기 위하여 적용될 수 있는 장면 기하학적 보정들을 결정하는 것을 수반할 수 있다. 이동 픽셀들에 대한 심도를 단지 추정하고 이어서 이동 픽셀들을 기준 시점으로 시프트하기 위하여 심도 추정치들을 이용함으로써 계산 복잡도가 감소될 수 있다. 대안적으로, 시스템들은 모션이 균일한 것으로 상정하고, 2개의 시점들 사이의 모션을 결정하고 다른 시점들에 대하여 이동 픽셀들에 대한 모션 벡터들을 활용할 수 있다. 일단 이동 픽셀들이 기준 시점으로 시프트되면, 기준 시점으로부터의 새로운 프레임은 이동 픽셀들을 기준 시점으로부터 이전에 렌더링된 프레임으로부터의 비-이동 픽셀들과 합성함으로써 렌더링될 수 있다.

많은 실시예들에서, 렌더링된 프레임의 행들(또는 열들)의 총 개수의 1/N 초과가, 카메라들의 상이한 그룹들 내의 카메라들의 시점들 사이의 관찰가능한 수직 시차를 조절하기 위하여 프레임 캡처 시간 간격 동안 카메라들의 N개 그룹들의 각각으로부터 판독된다. 생각건대, 카메라들의 제1 그룹으로부터 판독된 행들의 제1 세트에서 가시적이지 않은 픽셀들은 또한, 카메라들의 제2 그룹 내의 센서들의 행들(또는 열들)의 총 개수의 처음의 1/N만큼 샘플링된 관찰되지 않는 픽셀들을 시야 내로 시프트하는 수직 시차로 인해 카메라들의 제2 그룹으로부터 판독된 행들의 제2 순차적인 그룹 내에서 가시적이지 않을 수 있다. 이어서, 장면의 점진적인 부분을 샘플링하는 카메라들의 그룹들의 시점들 사이의 전경(foreground) 객체들의 가능하게 관찰되는 수직 시차에 대응하는 양만큼 프레임 캡처 시간 간격 동안 판독되는 행들(또는 열들)의 개수를 증가시킴으로써, 디스플레이 프레임 간격 동안 카메라들의 상이한 그룹들에 의해 샘플링되는 장면의 일부분들 사이의 경계들에 객체들의 일부분들 또는 관찰되지 않는 객체들이 있을 가능성은 줄어들 수 있다. 매 프레임 캡처 간격 동안 카메라들의 4개의 그룹들의 행들의 대략 1/3의 판독이 도 6d에 개념적으로 도시되어 있다. 용이하게 인식될 수 있는 바와 같이, 그렇지 않다면 수직 시차로 인해 관찰되지 않는 객체들의 식별을 가능하게 하는 카메라들의 그룹들의 각각에 의해 캡처된 행들의 순차적인 그룹들에 중첩이 존재한다. 대안적으로, 탐색들은 이전 또는 다음 프레임 캡처 시간 간격 동안 카메라에 의해 캡처된 이미지 데이터에 대해 수행될 수 있다. 이전 프레임 캡처 간격(630) 내지 렌더링된 프레임의 프레임 캡처 간격(632) 및/또는 후속 프레임 캡처 시간 간격(634) 동안 특정 카메라 그룹에 의해 캡처된 추가 행들의 탐색이 도 6e에 개념적으로 도시되어 있다. 수직 시차로 인해 그렇지 않으면 관찰되지 않을 객체들이, 상이한 프레임 캡처 간격들 동안 카메라 그룹에 의해 캡처된 추가 행들 내의 객체들을 탐색함으로써 렌더링될 수 있다. 다른 방식으로 보면, 프레임 캡처 시간 간격들은, 렌더링된 프레임의 행들(또는 열들)의 총 개수의 1/N 초과의 판독과 개념적으로 유사한 방식으로 카메라들의 상이한 그룹들에 의해 캡처된 렌더링된 프레임의 일부분들 사이의 경계들에서 수직 시차를 조절하기 위하여 카메라에 의해 캡처된 이미지 데이터의 소정 행들(또는 열들)이 고속 비디오 시퀀스 내의 2개의 연속하는 프레임들의 렌더링에 이용될 수 있다는 점에서, 중첩된 것으로 여겨질 수 있다.

앞서 언급된 바와 같이, 카메라들의 각각의 그룹 내의 컬러 채널에 다중 카메라들을 포함시킴으로써 심도 추정이 단순화될 수 있다. 따라서, 도 3a에 도시된 카메라들의 그룹들은 심도 추정에 사용하기 위한 녹색 컬러 채널에 추가 이미지 데이터를 제공하기 위하여 제2 녹색 카메라(314)를 수용하도록 크기가 증가될 수 있다. 전형적으로, 많은 기준선들을 갖는 녹색 카메라들의 쌍들이, 관찰된 디스패리티를 녹색 카메라들에 의해 캡처된 이미지들 사이에서 증가시키기 위하여 서브그룹 내에서 조합된다. 카메라들의 개수를 증가시킴으로써 카메라들의 그룹으로부터 데이터를 취득하기 위하여 롤링 셔터 시간을 증가시킬 수 있고, 그에 의해 카메라들의 각각의 그룹 내에 제2 녹색 카메라를 포함시켜 고속 비디오의 디스플레이 프레임 속도의 저하를 야기할 수 있다.

아래에서 추가로 논의되는 바와 같이, 카메라들의 그룹이 컬러 채널에 다중 카메라들을 포함할 것을 요구하지 않고서 심도가 추정될 수 있다. 많은 실시예들에서, 하나 이상의 롤링 셔터 간격들에 걸쳐 카메라들의 다중 그룹들에 의해 캡처된 이미지 데이터를 활용하여 비-이동 픽셀들에 대한 심도가 추정될 수 있다. 몇몇 실시예들에서, 카메라들의 그룹들의 각각에 의해 캡처된 이미지 데이터의 순차적인 세트들을 이용하여 이동 픽셀들이 식별된다. 이어서, 이동 픽셀들은 무시되고, 어레이 내의 액티브 카메라들에 의해 하나 이상의 롤링 셔터 간격들 동안 캡처된 이미지들이 활용되어 비-이동 픽셀들에 대해 심도 추정을 수행할 수 있다. 주어진 프레임 캡처 시간 간격 동안 이동 픽셀들에 대한 심도 추정은 시차 검출을 수행할 목적으로 관련 프레임 캡처 시간 간격 동안 적어도 하나의 컬러 채널(전형적으로, 녹색 컬러 채널)에서 다른 시점으로부터의 프레임 또는 프레임의 일부를 보간함으로써 결정될 수 있다. 많은 실시예들에서, 프레임들 또는 프레임들의 일부분들은 적색, 녹색 및 청색 컬러 채널들의 각각에서 다른 시점들로부터 보간되고, 디스패리티 탐색들이 녹색, 적색 및 청색 컬러 채널들에서 캡처된 이미지 데이터에 대해 수행된다. 다수의 실시예들에서, 디스패리티 추정을 수행하기 위하여, 이미지 구배가 활용되어 상이한 컬러 채널들에서 캡처된 대응하는 이미지들의 유사성을 비교하여 동일한 컬러 채널의 다중 카메라들을 제공할 필요성을 감소시킬 수 있다.

앞서 언급된 바와 같이, 심도를 추정하기 위한 상이한 프로세스들이 이동 및 비-이동 픽셀들에 대해 사용될 수 있다. 비-이동 픽셀들의 정적 특성으로 인해, 비-이동 픽셀들에 대한 심도 추정은 프레임 캡처 시간 간격보다 긴 기간에 걸쳐 캡처된 이미지 데이터를 이용하여 수행될 수 있다. 더욱이, 심도 추정치들이 비-이동 픽셀들에 대해 이루어질 필요가 있는 빈도는 카메라들의 상이한 그룹들이 비-이동 픽셀들의 심도를 추정하기 위하여 이미지 데이터를 캡처하는 데 사용될 수 있을 정도로 충분히 낮다. 몇몇 실시예들에서, 적어도 하나의 컬러 채널에 다중 카메라들을 포함하는 카메라들의 초기 그룹이 사용되어 초기 심도 맵을 생성하고 이어서 카메라들의 더 작은 그룹들이 사용되어 높은 프레임 속도 비디오 시퀀스들을 렌더링하기 위한 이미지 데이터를 취득한다. 위에서 논의된 바와 같이, 초기 심도 맵은, 비-이동 픽셀들에 대한 심도들을 시딩(seeding)하고 이동 픽셀들에 대한 후속 심도 탐색들을 시딩하고/하거나 제한하기 위해 사용될 수 있다. 다수의 실시예들에서, 심도가, 일단 결정되면, 연속하는 프레임들의 개수에 대응하는 짧은 시간 간격에 걸쳐 일정하게 유지되는 것으로 상정함으로써 계산이 줄어들 수 있다. 본 발명의 실시예에 따른, 초기 심도 맵이 추정될 수 있는 이미지 데이터를 캡처하도록 구성된 카메라들의 3 x 3 π 필터 그룹을 포함하는 4 x 4 어레이 카메라 모듈이 도 3b에 도시되어 있다. 4 x 4 어레이 카메라 모듈(300)은, 컬러 이미지들 및/또는 비디오 시퀀스들을 합성하는 데 활용될 수 있는 이미지 데이터를 캡처하는 데 활용되고 π 필터 그룹을 이용하여 패턴화되는 3 x 3 액티브 카메라들의 초기 그룹(312)을 포함한다. 도시된 실시예에서, π 필터 그룹은 각각의 코너에 녹색 카메라를, 중심(310)에 녹색 기준 카메라를, 기준 카메라의 위 및 아래에 청색 카메라들을, 그리고 기준 카메라의 좌측 및 우측에 적색 카메라들을 포함한다. 몇몇 실시예들에서, π 필터 그룹 내의 적색 및 청색 카메라들의 위치들은 바뀌어 있고/있거나 카메라들의 대안적인 집합이 이미지들을 합성하기 위하여 이미지 데이터를 캡처하는 데 활용될 수 있다. 몇몇 실시예들에서, 백색광을 캡처하는 카메라, 적외광을 캡처하는 카메라 또는 베이어 카메라가 카메라들의 3 x 3 π 필터 그룹의 중심에 사용될 수 있다. 다양한 실시예들에서, 액티브 카메라들의 제2 서브세트(306)가 π 필터 그룹 아래에 배치된 청색, 녹색, 및 적색 카메라들의 행 및 π 필터 그룹의 우측에 배치된 청색, 녹색, 및 적색 카메라들의 열을 포함하고, 녹색 카메라가 행과 열을 연결하고 있다. 다양한 실시예들에서, 개시 내용이 전체적으로 본 명세서에 참고로 포함되고 2013년 3월 8일자로 출원되고 발명의 명칭이 "Systems and Methods for Measuring Scene Information While Capturing Images Using Array Cameras"인 미국 특허 출원 제61/775,395호에 기술된 바와 같이, 액티브 카메라들의 제2 서브세트가 장면 정보를 측정하기 위해 이미지 데이터를 캡처하도록 구성된다.

이미지 데이터를 캡처하는 데 활용된 카메라들의 특정 그룹들이 도 4a 및 도 4b를 참조하여 위에서 설명되었지만, 활용된 카메라들의 특정 그룹들은 어레이 카메라에 존재하는 카메라들의 타입 및 개수, 어레이 카메라에 의해 판독되는 이미지 데이터의 롤링 셔터 스피드, 원하는 프레임 속도, 및 특정 애플리케이션의 요건들에 좌우될 수 있다. 본 발명의 실시예들에 따른 어레이 카메라 내의 카메라들의 그룹들을 사용하여 캡처된 이미지 데이터를 이용하여 고속 비디오 시퀀스들을 렌더링하기 위한 프로세스들이 아래에서 추가로 논의된다. 그러나, 이들 프로세스를 논의하기 전에, 상이한 시점들로부터 카메라들에 의해 캡처된 이미지 데이터 내에서 관찰되는 장면 의존적 기하학적 시프트들 또는 시차의 간략한 검토가 아래에서 제공된다. 상기 논의에 의해 용이하게 인식될 수 있는 바와 같이, 상이한 시점들로부터 카메라들의 상이한 그룹들에 의해 캡처된 이미지 데이터 내에 존재하는 장면 의존적 기하학적 시프트들의 정확한 추정은 매끄러운 고속 비디오의 렌더링에서 중요한 인자일 수 있다.

시차/디스패리티를 결정

다수의 실시예들에서, 이미지 데이터를 캡처하는 데 사용되는 어레이 내의 개별 카메라들은 유사한 시야들, 고정된 조리개들, 및 초점 거리들을 갖는다. 2카메라 시스템(two camera system)에서의 시차가 도 4a에 도시되어 있다. 2개의 카메라들(400, 402)은 렌즈 적층체(404) 및 포커스 평면(406)을 포함한다. 각각의 카메라는 후방 초점 거리(back focal length) f를 가지며, 2개의 카메라들은 2h의 기준선 거리만큼 분리되어 있다. 카메라들 둘 모두의 시야는 전경 객체(408) 및 배경 객체(410)를 포함하는 장면을 내포한다. 제1 카메라(400)의 시점으로부터의 장면이 도 4b에 도시되어 있다. 제1 카메라에 의해 캡처된 이미지(450)에서, 전경 객체(408)는 배경 객체(410)의 약간 우측에 위치된 것처럼 보인다. 제2 카메라(402)의 시점으로부터의 장면이 도 4c에 도시되어 있다. 제2 카메라에 의해 캡처된 이미지(452)에서, 전경 객체(408)는 배경 객체(410)의 좌측으로 시프트된 것처럼 보인다. 2개의 카메라들(400, 402)의 상이한 시야들에 의해 도입된 디스패리티는 제1 카메라에 의해 캡처된 이미지에서의 전경 객체(408)의 위치(제2 카메라에 의해 캡처된 이미지에서 가상선(ghost line)(454)으로 나타나 있음)와 제2 카메라에 의해 캡처된 이미지에서의 전경 객체의 위치 사이의 전경 객체의 위치의 차이와 동일하다. 아래에서 추가로 논의되는 바와 같이, 2개의 카메라들로부터 전경 객체까지의 거리는 2개의 캡처된 이미지들에서의 전경 객체의 디스패리티를 결정함으로써 획득될 수 있다.

다시 도 4a를 참조하면, 전경 객체 상의 지점(x _o , y _o , z _o )은 각각의 카메라의 포커스 평면 상에서 카메라의 광학축으로부터 오프셋되어 나타날 것이다. 제1 카메라(400)의 광학축(412)에 대한 그의 포커스 평면 상의 지점의 오프셋은 -u _L 로서 도시되어 있다. 제2 카메라(402)의 광학축(414)에 대한 그의 포커스 평면 상의 지점의 오프셋은 u _R 로서 도시되어 있다. 닮은 삼각형들을 사용하여, 2개의 카메라들에 의해 캡처된 이미지들 사이의 오프셋은 하기와 같이 알 수 있다:

2개의 식들을 조합하면 하기와 같이 2개의 카메라들 사이의 디스패리티(또는 시차)가 산출된다.

상기 식으로부터, 카메라들에 의해 캡처된 이미지들 사이의 디스패리티가 2개의 카메라들의 기준선 - 2개의 카메라들 사이의 등극선으로 지칭될 수 있음 - 의 방향으로 벡터를 따르고 있다는 것을 알 수 있다. 더욱이, 디스패리티의 크기는 2개의 카메라들의 기준선 간격 및 카메라들의 후방 초점 거리에 정비례하고, 카메라로부터 장면에 보이는 객체까지의 거리에 반비례한다.

어레이 카메라들에서의 폐색(occlusion)

장면의 다중 이미지들이 상이한 관점들로부터 캡처되고 장면이 전경 객체들을 포함하는 경우, 이미지들 각각에서의 전경 객체의 위치의 디스패리티는 이미지들의 모두가 아닌 일부에서 전경 객체 후방에 있는 장면의 일부분들이 가시적인 결과를 가져온다. 다른 시점들로부터의 장면의 캡처된 이미지들에서 가시적이지 않은 장면의 일부분에 관한 이미지 데이터를 캡처하는 픽셀은 폐색된 픽셀(occluded pixel)로 지칭될 수 있다. 도 4b 및 도 4c를 다시 참조하면, 제2 카메라의 시점이 기준 시점으로서 선택되는 경우, 이미지(452) 내의 가상선(454) 내에 포함된 픽셀들은 폐색된 픽셀들(즉, 픽셀들이 제2 카메라(402)에 의해 캡처된 이미지(452)에서는 가시적이지만 제1 카메라(400)에 의해 캡처된 이미지(450)에서는 가시적이지 않는 장면의 일부분으로부터의 이미지 데이터를 캡처함)인 것으로 간주될 수 있다. 제2 이미지에서, 전경 객체(408)의 픽셀들은, 이미지(452) 내의 가상선(454) 내에 포함된 픽셀들을 폐색하는 장면의 일부분들을 캡처하기 때문에, 폐색하는 픽셀들로 지칭될 수 있다. 제2 이미지(452) 내의 가상선(454) 내에 포함된 픽셀들의 폐색으로 인해, 카메라로부터 가상선(454) 내의 가시적인 장면의 일부분들까지의 거리는 2개의 이미지들로부터 결정될 수 없는데, 이는 도 4b에 도시된 이미지(450) 내에 대응하는 픽셀들이 없기 때문이다.

아래에서 추가로 논의되는 바와 같이, 기준 시점 주위의 상보적 폐색 구역들 내의 상이한 시점들로부터 장면의 이미지들을 캡처하는 카메라들의 개수를 증가시킴으로써, 기준 시점으로부터 가시적인 장면의 모든 부분이 또한 다른 카메라들 중 적어도 하나의 카메라의 시점으로부터 가시적일 가능성이 증가된다. 어레이 카메라가 광의 상이한 파장들(예컨대, RGB)을 캡처하기 위해 상이한 카메라들을 사용하는 경우, 기준 시점의 어느 일 측 상에서 그리고/또는 기준 시점을 둘러싸는 4분면들 내에서 광의 각각의 파장을 캡처하는 적어도 하나의 카메라를 분포시킴으로써, 기준 시점으로부터 가시적인 장면의 일부분이 특정 컬러 채널에서 캡처되는 모든 다른 이미지에서 폐색될 가능성이 상당히 감소될 수 있다. 따라서, 어레이 카메라 내의 액티브 카메라들에 의해 단일 롤링 셔터 간격 동안 캡처된 모든 이미지 데이터에 걸쳐 비-이동 픽셀들에 대해 시차 검출을 수행함으로써 더 신뢰성 있는 심도 추정치들이 비-이동 픽셀들에 대해 획득될 수 있다. 이러한 방식으로, 상보적 폐색 구역들 내의 각각의 컬러 채널에서 캡처된 이미지들은 비-이동 픽셀들에 대한 심도의 추정에 활용될 수 있다. 본 발명의 실시예들에 따라 폐색의 가능성을 감소시키기 위한 어레이 카메라들 내의 컬러 필터들의 분포는 관련 개시 내용이 전체적으로 본 명세서에 참고로 포함된 미국 특허 출원 공개 제2014/0293760호에서 추가로 논의되어 있다. 이동 픽셀들에 대한 심도 추정치들이 상보적 폐색 구역들 내로부터 캡처된 이미지 데이터를 이용하여 얻어질 수 없는 경우(예컨대, 각각의 그룹이 각각의 컬러 채널에서 단일 카메라만을 포함할 때), 폐색의 효과는 렌더링된 프레임들에 걸쳐서 이동 픽셀들에 대한 심도 추정치들을 필터링함으로써 최소화될 수 있다. 이러한 방식으로, 폐색으로부터 일어나는 눈에 거슬리는 심도 불연속성이 매끄러워지고/지거나 무시되어 심도가 정확하게 추정될 가능성을 증가시킬 수 있다.

어레이 카메라들에서 심도 추정치들을 생성하기 위해 디스패리티를 사용

본 발명의 많은 실시예들에 따른 어레이 카메라들은 심도를 추정하고/하거나 심도 맵을 생성하기 위해 어레이 카메라들에 의해 캡처된 이미지들에서 관찰되는 디스패리티를 사용한다. 심도 맵은 전형적으로 (이미지들의 해상도에 대한 심도 맵의 해상도에 따라) 카메라로부터 이미지 내의 특정 픽셀들 또는 픽셀들의 그룹들까지의 거리를 설명하는 이미지 또는 비디오의 프레임에 관한 메타데이터의 계층인 것으로 간주된다. 본 발명의 다수의 실시예들에 따른 어레이 카메라들은 고해상도 이미지의 합성 동안 장면 의존적인 기하학적 시프트들을 생성하는 것 및/또는 높은 프레임 속도 비디오 시퀀스들을 렌더링하는 것을 포함한 (그러나, 이에 제한되지 않는) 다양한 목적들을 위해 심도 맵들을 사용한다.

전술된 디스패리티의 논의에 기초하여, 픽셀 디스패리티에 기초한 장면의 일부분의 심도를 결정하는 프로세스가 이론적으로는 간단하다. 어레이 카메라에서의 특정 카메라의 시점이 기준 시점으로서 선택될 때, 기준 시점으로부터 가시적인 장면의 일부분까지의 거리는 카메라 어레이에 의해 캡처된 이미지들 중 일부 또는 전부에서의 대응하는 픽셀들 사이의 디스패리티를 사용하여 결정될 수 있다. 폐색이 없는 경우, 기준 시점으로부터 캡처된 이미지에서의 픽셀에 대응하는 픽셀이 등극선(즉, 2개의 카메라들 사이의 기준선 벡터에 평행인 선)을 따라 각각의 이미지에 위치될 것이다. 디스패리티의 등극선을 따른 거리는 카메라와 픽셀들에 의해 캡처된 장면의 일부분 사이의 거리에 대응한다. 그러므로, 특정 심도에서 대응할 것으로 예상되는 캡처된 이미지들에서의 픽셀들을 비교함으로써, 가장 높은 정도의 유사성을 갖는 픽셀들을 산출하는 심도에 대해 탐색이 수행될 수 있다. 캡처된 이미지들에서의 대응하는 픽셀들이 가장 높은 정도의 유사성을 갖게 되는 심도는 카메라와 픽셀에 의해 캡처된 장면의 일부분 사이의 가장 가능한 거리로서 상정될 수 있다. 유사한 프로세스들이 가상 시점으로부터 심도 맵을 합성하는 경우에 활용될 수 있다.

그러나, 앞서 개설된 방법을 사용하여 정확한 심도 추정치들을 결정하는 데 많은 과제들이 존재한다. 몇몇 실시예들에서, 어레이 카메라 내의 카메라들은 유사하지만 동일하지는 않다. 그러므로, 광학 특성들, 상이한 센서 특성들(예컨대, 오프셋으로 인한 센서 응답에서의 변동, 상이한 전송 또는 이득 응답, 픽셀 응답의 비선형 특성), 캡처된 이미지들에서의 잡음, 및/또는 조립 프로세스에 관련된 제조 허용오차들과 관련된 비틀림(warp) 또는 왜곡을 포함한 (그러나, 이에 제한되지 않는) 특성들이 이미지들 사이에서 가변될 수 있어서 상이한 이미지들 내의 대응하는 픽셀들의 유사성을 감소시킨다. 더욱이, 초고해상도 프로세스들은 더 높은 해상도 이미지들을 합성하기 위해 이미저 어레이에 의해 캡처된 이미지들에서의 샘플링 다이버시티 및/또는 앨리어싱(aliasing)에 좌우된다. 그러나, 샘플링 다이버시티를 증가시키는 것은 또한 어레이 카메라에 의해 캡처된 이미지들 내의 대응하는 픽셀들 사이의 유사성을 감소시키는 것을 수반할 수 있다. 앞서 개설된 심도를 결정하기 위한 프로세스가 픽셀들의 유사성에 의존한다는 것을 고려하면, 캡처된 이미지들 사이의 측광 차이 및 샘플링 다이버시티의 존재는 심도 맵이 결정될 수 있는 정확도를 감소시킬 수 있다.

심도 추정치들의 생성은 폐색들에 의해 더욱 복잡하게 될 수 있다. 위에서 논의된 바와 같이, 기준 시점으로부터 가시적인 픽셀이 캡처된 이미지들 중 하나 이상에서 가시적이지 않을 때 폐색이 일어난다. 폐색의 효과는, 정확한 심도에서, 대응하는 픽셀에 의해 그렇지 않으면 점유될 픽셀 위치가 장면의 다른 부분(전형적으로 카메라에 더 가까운 객체)을 캡처하는 픽셀에 의해 점유되는 것이다. 폐색하는 픽셀은 폐색된 픽셀과 가능하게는 아주 상이하다. 그러므로, 정확한 심도에서 픽셀들의 유사성의 비교는 다른 심도들에서보다 상당히 높은 정도의 유사성을 야기할 가능성이 더 적다. 사실상, 폐색하는 픽셀은 대응하는 그러한 픽셀들의 유사성을 마스킹(masking)하는 큰 이상치(strong outlier)로서 역할을 한다. 따라서, 폐색들의 존재는 심도 맵 내로 에러의 큰 원인을 제공할 수 있고, (위에서 참고로 포함된) 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에 개시된 것들과 같은 심도 맵들을 결정하기 위한 프로세스들은 폐색들을 검출하는 것 및 폐색되지 않은 픽셀들을 이용하여 심도들을 결정하는 것을 수반한다. 본 발명의 실시예들에 따라 높은 프레임 속도 비디오 시퀀스들을 렌더링하는 데 사용하기 위하여 심도 추정치들을 생성하는 시스템들 및 방법들이 아래에서 추가로 논의된다.

높은 프레임 속도 비디오 시퀀스들을 렌더링하기 위한 프로세스들

본 발명의 다양한 실시예들에 따른 높은 프레임 속도 비디오 시퀀스들의 렌더링을 위한 프로세스들이 전형적으로는 심도 정보의 유용성에 기초하여 가변된다. 위에서 논의된 바와 같이, 본 발명의 많은 실시예들에 따른 프로세스들은 상이한 시점들로부터 캡처된 이미지 데이터 내의 이동 픽셀들을 검출하는 것 및 다른 시점들로부터 캡처된 이동 픽셀들을 기준 시점으로 시프트하는 것을 수반한다. 이어서, 이동 픽셀들은 이전에 렌더링된 프레임으로부터의 비-이동 픽셀들과 합성될 수 있다. 카메라들의 그룹 내의 카메라들을 사용하여 심도 정보가 합성될 수 있는 어레이 카메라들에서, 이동 픽셀들을 시프트하는 프로세스는 비교적 간단하고, (위에서 참고로 포함된) 미국 특허 제8,619,082호 및 미국 특허 출원 공개 제2014/0267243호에 기술된 프로세스들은 시차 검출을 수행하고 신뢰도 메트릭들을 심도 추정치들에 할당하는 데 활용될 수 있다. 다른 실시예들에서는, 상이한 시간 간격들에 걸쳐 카메라들의 다중 그룹들에 의해 캡처된 이미지 데이터가 활용되어 다른 시점들로부터 캡처된 이미지 데이터를 기준 시점으로 시프트하기 위하여 장면 의존적 기하학적 보정들을 결정한다.

본 발명의 실시예에 따른 어레이 내의 카메라들의 그룹들에 의해 캡처된 이미지 데이터를 이용하여 비디오 시퀀스를 렌더링하기 위한 프로세스가 도 5에 도시되어 있다. 프로세스(500)는 연속하는 롤링 셔터 시간 간격들에 걸쳐 카메라들의 각각의 그룹을 이용하여 이미지 데이터를 캡처하는 것(502)을 포함하는데, N개의 카메라 그룹들 내의 카메라들의 각각이 프레임 캡처 시간 간격 동안 카메라에 의해 캡처될 수 있는 렌더링된 프레임의 총 행들(또는 열들)의 적어도 1/N을 캡처하도록 각각의 카메라 그룹 내의 이미지 데이터의 캡처의 시작 시간이 스태거링된다. 앞서 언급된 바와 같이, 롤링 셔터 시간 간격은 전형적으로 프레임 캡처 시간 간격보다 상당히 길다. 각각의 액티브 카메라에 의해 캡처된 이미지 데이터의 순차적인 세트들을 이용하여 모션의 검출을 가능하게 하도록 연속하는 롤링 셔터 간격들에 걸쳐 이미지 데이터가 캡처된다. 카메라들의 그룹들에 의한 이미지 데이터의 캡처의 시작 시간들의 스태거링은 고속 비디오 시퀀스의 프레임 속도로 비디오의 완전한 프레임을 렌더링하기에 충분한 각각의 프레임 캡처 시간 간격 동안 카메라들의 그룹들에 의해 캡처된 조합된 이미지 데이터를 야기한다.

상이한 카메라들에 의해 캡처된 이미지들의 유사성을 증가시키기 위해 교정(calibration) 데이터를 이용하여 측광학적 및 기하학적 정규화가 수행된다(504). 앞서 언급된 바와 같이, 이미지 데이터의 유사성의 증가는 디스패리티 탐색들을 용이하게 할 수 있다. 측광학적 및 기하학적 정규화 프로세스들은 발명의 명칭이 "Systems and Methods for Synthesizing High Resolution Images Using Super-Resolution Processes"인 Lelescu 등의 미국 특허 출원 공개 제2012/0147205호 및 미국 특허 제8,619,082호에 개시된 것들과 유사하다. 어레이 카메라들에 의해 캡처된 이미지들의 측광학적 및 기하학적 정규화를 수행하는 것과 관련된 미국 특허 출원 공개 제2012/0147205호 및 미국 특허 제8,619,082호의 관련 부분들은 전체적으로 본 명세서에 참고로 포함된다.

많은 실시예들에서, 모션 검출이 수행된다(506). 프레임 캡처 시간 간격 동안 주어진 카메라에 의해 캡처된 프레임의 일부분 내에서의 모션 검출은 전형적으로 (상이한 카메라에 의해 캡처된 이미지 데이터와의 비교를 통한 것과 대조적으로) 상이한 프레임 캡처 시간 간격 동안 동일한 카메라에 의해 캡처된 이미지 데이터를 이용하여 수행된다. 동일한 시점을 활용하는 것은 모션 검출을 단순화할 수 있다. 모션 검출은 세기가 임계치 크기만큼 상이한 픽셀들을 단순히 검색함으로써 수행될 수 있다. 임계치는 국소적인 신호 대 잡음비, 프레임들의 일부분들의 시퀀스에 대한 국소화된 통계치, 및/또는 미리결정된 임계 개수에 기초할 수 있다. 용이하게 인식될 수 있는 바와 같이, 본 발명의 실시예들에 따라서 특정 애플리케이션들의 요건들에 적절하게 모션을 검출하기 위하여 임의의 다양한 기법이 활용될 수 있다.

몇몇 실시예들에서, 심도 추정치들이 이동 픽셀들에 대해 생성된다(508). 앞서 언급된 바와 같이, 심도 추정치들이 프레임 캡처 시간 간격 동안 카메라들의 단일 그룹에 의해 캡처된 이미지 데이터를 이용하여 획득될 수 있는데, 여기서 카메라들의 단일 그룹은 동일한 컬러 채널에서 이미지 데이터를 캡처하는 적어도 2개의 카메라를 포함한다. 다수의 실시예들에서, 장면의 동일한 부분이 프레임 캡처 시간 간격으로 제2 시점으로부터 가시적인 프레임의 적어도 일부를 보간함으로써 그리고 이동 픽셀들에 대한 디스패리티 탐색들을 수행함으로써 주어진 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이동 픽셀들에 대해 심도가 추정된다. 몇몇 실시예들에서, 디스패리티 탐색들이 개별 이동 픽셀들, 이동 픽셀들의 클러스터들, 및/또는 모든 이동 픽셀들에 대해 수행된다. 본 발명의 다양한 실시예들에 따른, 프레임들을 보간하고 디스패리티 탐색들을 수행하기 위한 프로세스들이 아래에서 추가로 논의된다.

몇몇 실시예들에서, 장면 내의 비-이동 픽셀들에 대해 심도가 또한 추정된다(510). 전형적으로, 비-이동 픽셀들에 대한 심도 추정치들은 이전의 심도 추정치로부터 전파된다. 픽셀들이 이동하고 있지 않다는 사실은 픽셀의 심도가 적어도 하나의 롤링 셔터 시간 간격으로부터 그 다음까지 변화하지 않은 채로 유지되는 것을 의미한다. 비-이동 픽셀들에 대한 초기 심도 추정치가 (위에서 참고로 포함된) 미국 특허 제8,619,082호에 개시된 기법들을 이용하여 이미지 데이터의 초기 세트를 캡처하고 심도를 추정함으로써 결정될 수 있다. 신뢰도 메트릭들이 또한 (위에서 참고로 포함된) 미국 특허 제8,619,082호에 개시된 임의의 기법을 이용하여 심도 추정치들에 할당될 수 있다. 용이하게 인식될 수 있는 바와 같이, 도 3b에 도시된 카메라들의 3 x 3 π 필터 그룹과 같은 (그러나, 이에 제한되지 않는) 카메라들의 더 큰 그룹이 또한 사용되어 단일 롤링 셔터 시간 간격에 걸쳐 이미지 데이터의 초기 세트를 캡처할 수 있다. 다른 실시예들에서, 카메라들의 다양한 그룹들 중 임의의 그룹이 특정 애플리케이션들의 요건들에 적절하게 장면의 초기 심도 맵의 캡처에 활용될 수 있다. 많은 실시예들에서, 적어도 하나의 롤링 셔터 시간 간격에 걸쳐 카메라들의 모든 그룹들 내의 모든 액티브 카메라들에 의해 캡처된 이미지 데이터는 비-이동 픽셀들의 심도를 추정하는 데 활용될 수 있다. 심도 추정 동안 더 많은 시점들이 이용가능할수록, 심도 추정 프로세스는 폐색들에 대해 더 강인할 수 있다. 카메라들의 다중 그룹들로부터의 이미지 데이터의 집합에 기초하여 심도가 추정되는 경우에, 비-이동 픽셀들에 대한 심도 추정치들은 (초기 프레임에 대한 이미지 데이터를 캡처하고, 이어서 높은 프레임 속도 비디오 시퀀스의 후속 프레임들을 렌더링하기 위한 이미지 데이터의 캡처를 시작하는 것과 대조적으로) 높은 프레임 속도 비디오의 다중 프레임들을 렌더링하는 데 사용되는 동일한 이미지 데이터로부터 얻어질 수 있다.

이동 및 비-이동 픽셀들에 대한 심도 추정치들이 활용되어 시차 보정을 수행할 수 있다(512). 시차 보정은 픽셀들을 기준 시점으로 시프트하기 위하여 다른 시점들로부터 액티브 카메라들의 각각에 의해 캡처된 픽셀들에 장면 의존적 기하학적 보정들을 적용한다. 특정 시프트는 다른 시점과 기준 시점 사이의 관찰된 디스패리티 및 다른 시점과 기준 시점 사이의 기준선에 기초하여 결정된다. 몇몇 실시예들에서, 심도 추정치들은 이전의 그리고/또는 연속하는 프레임들 내의 이동 픽셀들에 대한 심도 추정치들에 기초하여 (선택적으로) 필터링된다(514). 이러한 방식으로, 심도 추정 프로세스에 기인한 에러들의 영향은 객체들이 실제로 이동하는 방식과 일치하는 방식으로 객체 심도 변화들을 제한함으로써 감소될 수 있다. 용이하게 인식될 수 있는 바와 같이, 심도 추정치들에 대한 필터링의 적용은 전형적으로 특정 애플리케이션들의 요건들에 좌우된다.

다수의 실시예들에서, 각각의 프레임 캡처 시간 간격 동안 카메라들의 어레이에 의해 캡처된 이미지 데이터를 이용하여 비디오의 프레임들이 렌더링된다(516). 몇몇 실시예들에서, 렌더링 프로세스는 기준 시점으로부터 초기 프레임을 렌더링하는 것, 및 이어서, 필요한 경우에 기준 시점으로 시프트된, 어레이 내의 카메라들에 의해 관찰되는 이동 픽셀들을 어레이 카메라 내의 카메라들에 의해 관찰되는 비-이동 픽셀들과 합성함으로써 후속 프레임들을 렌더링하는 것을 수반한다.

이어서, 기준 카메라가 각각의 컬러 채널에서 이미지 데이터를 캡처할 수 있는 어레이 카메라들에서 - 각각의 컬러 채널은 어레이 카메라에 의해 지원됨 -, 기준 시점으로부터의 초기 프레임을 렌더링하는 프로세스는 간단하다. 기준 카메라는 이미지 데이터의 완전한 프레임을 단순히 캡처한다. 이어서, 상이한 카메라들이 상이한 컬러 채널들에서 이미지 데이터를 캡처하는 어레이 카메라들에서 - 상이한 컬러 채널들은 어레이 카메라에 의해 지원됨 -, 초기 프레임이 카메라들의 초기 그룹에 의해 캡처된 이미지 데이터를 이용하여 렌더링될 수 있다. 기준 시점이 카메라들의 초기 그룹 내의 카메라들의 시점들에 대해 선택될 수 있고, 이어서, 카메라들의 초기 그룹에 의해 캡처된 이미지 데이터를 이용하여 디스패리티 탐색들을 수행하는 것 및/또는 카메라들의 초기 그룹 및 카메라들의 하나 이상의 추가 그룹들에 의해 캡처된 이미지 데이터를 이용하여 디스패리티 탐색들을 수행하는 것을 포함한 (그러나, 이에 제한되지 않는) 전술된 임의의 기법을 이용하여 조밀한 심도 맵이 기준 시점에 대해 결정될 수 있다. 다른 시점들로부터 기준 시점으로 상이한 컬러 채널들에서 캡처된 이미지들을 융합함으로써 조밀한 심도 맵이 초기 프레임을 렌더링하는 데 활용될 수 있다. 몇몇 실시예들에서, 초기 융합은 다른 시점으로부터 가시적인 특정 픽셀들의 기준 시점으로부터의 가시성에 관한 정보 및 심도 추정치들의 신뢰도의 근거가 된다. 상이한 컬러 채널들로부터의 픽셀들을 융합하기 위하여 활용될 수 있는 프로세스들은 관련 개시 내용이 전체적으로 본 명세서에 참고로 포함된 미국 특허 출원 공개 제2012/0147205호에 개시된 융합 프로세스들을 포함한다(그러나, 이에 제한되지 않다). 용이하게 인식될 수 있는 바와 같이, 임의의 다양한 프로세스가 본 발명의 실시예들에 따라서 특정 애플리케이션들의 요건들에 적절한 고속 비디오 시퀀스에 대한 초기 프레임을 렌더링하는 데 활용될 수 있다.

전술된 프로세스는 이미지 데이터의 캡처 및 비디오 프레임들의 렌더링이 완료되었다는 결정(518)이 이루어질 때까지 각각의 프레임 캡처 시간 간격 동안 반복된다. 주기적으로, 프로세스는 심도 추정 에러들로 인한 아티팩트들과 같은 (그러나, 이에 제한되지 않는) 아티팩트들이 전체 비디오 시퀀스를 통하여 전파되지 않는다는 것을 보장하기 위하여 새로운 초기 프레임을 렌더링할 수 있다. 몇몇 실시예들에서, 카메라들의 시동 패턴(firing pattern)이 새로운 초기 프레임을 렌더링하는 프로세스의 일부로서 변형될 수 있다. 많은 실시예들에서, 모든 카메라들은 새로운 초기 프레임을 캡처하기 위하여 동시에 시동될 수 있고 이어서 후속 프레임들을 렌더링하기 위해 스태거링될 수 있다. 시동 패턴들이 고속 비디오 시퀀스의 캡처 동안 변형되는 방식은 전형적으로 특정 카메라 어레이의 능력 및 특정 애플리케이션의 요건들에 좌우된다.

이미지 데이터 캡처 시퀀스

어레이 카메라 내의 카메라들의 상이한 그룹들이 이미지 데이터를 캡처하고 이미지 데이터가 비디오의 프레임들을 렌더링하는 데 활용되는 방식이 도 6a 내지 도 6c에 도시된 타이밍 다이어그램을 참조하여 이해될 수 있다. 고속 비디오 캡처 동안 어레이 카메라 내의 카메라들의 그룹들에 의한 이미지 데이터의 행들의 캡처 및 판독을 보여주는 타이밍 다이어그램이 도 6a에 도시되어 있다. 시간이 x축 상에 나타나고 행 판독이 y축 상에 나타나 있다. 도시된 예에서, 카메라들의 그룹들 내의 카메라들은 롤링 셔터들을 가져서 행들의 판독이 사선으로 표현된다. 카메라들의 단일 그룹이 이미지 데이터의 행들 모두를 판독하는 데 걸린 시간은 롤링 셔터 간격(600)으로 표시된다. 수직 파선들은 목표하는 높은 프레임 속도의 역수와 동일한 프레임 캡처 시간 간격(602)(즉, 도 6b에 도시된 디스플레이 리프레시 간격(refresh interval)(620))에 대응한다. 도 6a에 도시된 예에서, 카메라들의 제1 그룹은 비-이동 픽셀들을 고속 비디오 시퀀스로 렌더링하는 데 이용되는 정지 프레임을 캡처한다. 고속 비디오 시퀀스의 각각의 프레임은 비-이동 픽셀들을 이용하여, 동일한 프레임 캡처 시간 간격 동안 카메라들의 4개의 상이한 그룹들에 의해 캡처된 이미지 데이터 내에서 검출된 이동 픽셀들과 조합하여 렌더링된다. 프레임 t1(604)에 대한 프레임 캡처 시간 간격 동안 카메라들의 4개의 그룹들(1, 2, 3, 4)에 의해 캡처된 이미지 데이터가 비디오의 제1 프레임을 렌더링하는 데 이용된다. 앞서 언급된 바와 같이, (도시되지 않은) 카메라들의 그룹들 사이의 수직 시차를 조절하기 위하여 프레임 캡처 시간 간격들이 중첩될 수 있다.

프레임 t1(604)에 대한 프레임 캡처 시간 간격으로 카메라들의 그룹에 의해 캡처된 이미지 데이터에 대한 시차를 검출하기 위하여, 프레임의 적어도 하나의 대응하는 부분이 프레임 t1(604)에 대한 프레임 캡처 시간 간격으로 하나 이상의 상이한 시점들로부터 보간될 수 있다. 이어서, 이미지 데이터를 캡처한 카메라들의 그룹이 기준 시점으로부터 이미지 데이터를 캡처하는 카메라를 포함하지 않은 경우에, 전형적으로는 기준 시점으로부터의 프레임 t1(604)에 대한 프레임 캡처 시간 간격으로 프레임이 보간된다. 기준 시점으로부터의 프레임들의 일부분들이, 적어도 2개의 롤링 셔터 간격들에 걸쳐 기준 시점으로부터 카메라들의 제1 그룹 내의 적어도 하나의 카메라에 의해 캡처된 이미지 데이터(606, 610)를 이용하여, 프레임 t1(604)에 대한 프레임 캡처 시간 간격으로 보간될 수 있다. 프레임의 보간된 부분이 활용되어, 기준 시점으로부터의 보간된 프레임과 프레임 t1(604)에 대한 프레임 캡처 시간 간격 동안 다른 시점으로부터 이미지 데이터를 캡처한 카메라들의 그룹 내의 적어도 하나의 카메라의 시점 사이의 이동 픽셀들에 대한 디스패리티 탐색들을 비교함으로써 이동 픽셀들의 심도를 추정할 수 있다. 카메라들의 그룹이 상이한 컬러 채널들에서 이미지 데이터를 캡처하는 카메라들을 포함하는 경우, 프레임 t1(604)에 대한 프레임 캡처 시간 간격으로 다른 시점으로부터의 프레임의 일부분을 보간하는 것을 수반하는 유사한 프로세스를 사용하여 기준 카메라와 동일한 컬러 채널에서 그리고 기준 시점으로부터 관찰된 이동 픽셀들에 대해 심도가 추정될 수 있다. 이어서, 다른 시점들로부터 캡처된 그룹들(1, 2, 3, 4) 내의 카메라들 내의 이동 픽셀들의 심도들은 심도 추정치들을 이용하여 기준 시점으로 시프트되고 이전에 렌더링된 프레임으로부터의 비-이동 픽셀들과 합성된다. 프레임 t2(612)에 대한 캡처 시간 동안 카메라들의 그룹들(1, 2, 3, 4)에 의해 캡처된 이미지 데이터로부터 제2 프레임을 렌더링하고 후속 프레임들을 렌더링하기 위하여 유사한 프로세스가 활용될 수 있다.

도 6a에 도시된 프로세스에 따라서 캡처된 데이터로부터 프레임들을 렌더링하는 것이 도 6b에 개념적으로 도시되어 있다. 시간이 x축 상에 나타나고 행 리프레시가 y축 상에 나타나 있다. 도시된 예에서, 픽셀들의 행들은 점진적 방식으로(progressively) 리프레시된다. 그러므로, 각각의 디스플레이 리프레시 간격(620) 동안의 디스플레이의 점진적 리프레시는 사선으로서 개념적으로 도시되어 있다. 용이하게 인식될 수 있는 바와 같이, 유사한 프로세스들이 비디오의 인터레이스된(interlaced) 프레임들을 렌더링 및 디스플레이하는 데 활용될 수 있다. 모션을 검출하고 프레임들을 보간하여 심도를 추정할 필요성으로 인해, 프레임 t1(604)의 캡처 시간 동안 이미지 데이터를 캡처하는 것과 프레임 t1의 디스플레이 시간 사이에 대기 시간(624)이 존재한다. 그러나, 120 fps와 같은 (그러나, 이에 제한되지 않는) 프레임 속도들에서, 이미지 데이터 캡처가 시작하는 시간부터 11개의 디스플레이 리프레시 간격들 정도의 대기 시간은 비디오 캡처 (예컨대, 비디오를 캡처하는 동안 미리보기 비디오 시퀀스의 디스플레이) 동안 감지불가능하다. 일단 제1 프레임이 렌더링되면, 제2 프레임 t2(626) 및 후속 프레임들은 고속 비디오 프레임 속도로 디스플레이하기 위해 렌더링될 수 있다.

몇몇 실시예들에서, 카메라 그룹들(1, 2, 3, 4)의 각각에 의해 캡처된 이미지 데이터의 완전한 세트들은 비-이동 픽셀들에 대한 심도 추정을 수행하는 데 활용될 수 있다. 다수의 실시예들에서, 이미지 데이터의 제1 프레임을 캡처하고 심도 맵을 생성하고, 그리고/또는 렌더링된 프레임에 대해 신뢰하기 위하여 카메라들의 초기 그룹이 활용된다. 이어서, 카메라들의 더 작은 그룹들이 후속 프레임들 내의 이동 픽셀들을 렌더링하는 데 이용된 이미지 데이터를 캡처할 수 있다. 본 발명의 실시예에 따른, 도 3b에 도시된 카메라들의 3 x 3 π 필터 그룹에 대응하는 카메라들의 초기 그룹을 사용하여 그리고 이어서 도 3a에 도시된 카메라들의 4개의 그룹들에 의해 이미지 데이터를 캡처하는 프로세스가 도 6c에 도시되어 있다. 도시된 실시예에서, 이미지 데이터(650)가 카메라들의 초기 3 x 3 π 필터 그룹에 의해 캡처된다. 카메라들의 초기 3 x 3 π 필터 그룹의 롤링 셔터 기간은 이미지 데이터를 이후에 캡처하는 데 사용되는 카메라들의 더 작은 그룹들(1, 2, 3, 4)에 대한 롤링 셔터 기간보다 긴 것으로 도시되어 있다. 앞서 언급된 바와 같이, 카메라들의 초기 3 x 3 π 필터 그룹에 의해 캡처된 이미지 데이터 (650)는 초기 프레임을 렌더링하고 초기 심도 맵을 생성하는 데 활용될 수 있다. 이어서, 후속 프레임 캡처 간격들에서 캡처된 이동 픽셀들은 전술된 것들과 유사한 기법들을 사용하여 높은 프레임 속도 비디오 시퀀스를 렌더링하기 위하여 비디오의 초기 프레임과 합성될 수 있다. 도시된 예에서, 그룹 2(즉, 도 3a의 304) 내의 카메라들은 초기 3 x 3 π 필터 그룹(즉, 도 3b의 312)의 일부가 아니다. 따라서, 초기 3 x 3 π 필터 그룹에 의한 이미지 데이터 캡처의 완료 이전에 그룹 2 내의 카메라들로부터 이미지 데이터가 판독될 수 있다. 다른 실시예들에서, 이미지 데이터 캡처의 시퀀싱(sequencing)은 특정 애플리케이션들의 요건들에 적절하게 조정될 수 있다.

앞서 언급된 바와 같이, 카메라 그룹들의 상이한 시점들은 상이한 카메라 그룹들에 의해 캡처된 이미지 데이터의 행들 사이의 경계들에 있는 객체들을 렌더링된 이미지 외부로 실질적으로 시프트하는 수직 시차를 야기할 수 있다. 실질적으로, 카메라들의 제1 그룹으로부터 판독된 행들의 제1 세트에서 가시적이지 않은 객체들은 또한, 프레임 캡처 시간 간격 동안 카메라들의 제2 그룹 내의 센서들의 행들(또는 열들)에 의해 샘플링된 관찰되지 않는 픽셀들을 시야 내로 시프트하는 수직 시차로 인해 카메라들의 제2 그룹으로부터 판독된 행들의 제2 순차적인 그룹 내에서 가시적이지 않을 수 있다. 이어서, 장면의 점진적인 부분을 샘플링하는 카메라들의 그룹들의 시점들 사이의 전경 객체들의 가능하게 관찰되는 수직 시차에 대응하는 양만큼 프레임 캡처 시간 간격 동안 판독되는 행들(또는 열들)의 개수를 증가시킴으로써, 디스플레이 프레임 간격 동안 카메라들의 상이한 그룹들에 의해 샘플링되는 장면의 일부분들 사이의 경계들에서의 객체들의 일부분들 또는 관찰되지 않는 객체들의 가능성은 줄어들 수 있다. 많은 실시예들에서, 렌더링된 프레임의 행들(또는 열들)의 총 개수의 1/N 초과가 카메라들의 상이한 그룹들 내의 카메라들의 시점들 사이의 관찰가능한 수직 시차를 조절하기 위하여 프레임 캡처 시간 간격 동안 카메라들의 N개 그룹들의 각각으로부터 판독될 수 있다. 본 발명의 실시예에 따른, 매 프레임 캡처 간격 동안 카메라들의 4개의 그룹들의 행들의 대략 1/3의 판독이 도 6d에 개념적으로 도시되어 있다. 용이하게 인식될 수 있는 바와 같이, 그렇지 않다면 수직 시차로 인해 관찰되지 않는 객체들의 식별을 가능하게 하는 카메라들의 그룹들의 각각에 의해 캡처된 행들의 순차적인 그룹들에 중첩이 존재한다. 카메라들의 상이한 그룹들 사이의 특정 개수의 중첩하는 행들이 도 6d에 도시되어 있지만, 중첩의 특정 양은 특정 애플리케이션의 요건들에 크게 좌우된다.

앞서 언급된 바와 같이, 이전의 그리고/또는 후속하는 프레임 캡처 시간 간격 동안 카메라들의 그룹에 의해 캡처된 데이터의 추가 행들을 활용함으로써 수직 시차가 또한 조절될 수 있다. 이전 프레임 캡처 간격(630) 내지 렌더링된 프레임의 프레임 캡처 간격(632) 및/또는 후속 프레임 캡처 시간 간격(634) 동안 카메라 그룹에 의해 캡처된 추가 행들(636)의 탐색이 도 6e에 개념적으로 도시되어 있다. 수직 시차로 인해 그렇지 않으면 관찰되지 않을 객체들이, 상이한 프레임 캡처 간격들 동안 카메라 그룹에 의해 캡처된 행들 내의 객체들을 탐색함으로써 렌더링될 수 있다. 다른 방식으로 보면, 프레임 캡처 시간 간격들은, 렌더링된 프레임의 행들(또는 열들)의 총 개수의 1/N 초과의 판독과 개념적으로 유사한 방식으로 카메라들의 상이한 그룹들에 의해 캡처된 렌더링된 프레임의 일부분들 사이의 경계들에서 수직 시차를 조절하기 위하여 카메라에 의해 캡처된 이미지 데이터의 소정 행들(또는 열들)이 고속 비디오 시퀀스 내의 2개의 연속하는 프레임들의 렌더링에 이용될 수 있다는 점에서, 중첩된 것으로 여겨질 수 있다.

어레이 카메라 내의 카메라들의 그룹들에 의해 캡처된 이미지 데이터를 이용하여 높은 프레임 속도 비디오 시퀀스들을 렌더링하기 위한 특정 프로세스들이 도 5 내지 도 6e를 참조하여 전술되었지만, 임의의 다양한 프로세스가 본 발명의 실시예들에 따라서 카메라들의 상이한 다중 그룹들로부터 이미지 데이터를 동시에 캡처 및 판독하는 데, 그리고 어레이 카메라 내의 개별 카메라들이 특정 애플리케이션들의 요건들에 적절하게 비디오의 프레임들을 캡처할 수 있는 속도보다 더 빠른 속도로 이미지 데이터를 비디오의 프레임들로 조합하는 데 활용될 수 있다. 예를 들어, 많은 실시예들에 따른 어레이 카메라들은 전자 스냅 샷 셔터를 갖는 카메라들을 활용한다. 어레이 내의 카메라들이 전자 스냅 샷 셔터를 갖는 경우에, 전술된 것들과 유사한 기법들이 심도 추정을 수행할 목적으로 상이한 시점들로부터 이미지들을 보간하는 데 이용될 수 있다. 이어서, 심도 추정치들은 다른 시점으로부터 캡처된 픽셀들을 기준 시점으로 시프트하는 데 이용될 수 있다. 몇몇 실시예들에서, 전체 프레임들이 보간될 수 있다. 다른 실시예들에서, 이동 픽셀들이 보간될 수 있고, 비-이동 픽셀들은 이전에 렌더링된 프레임으로부터 렌더링될 수 있다. 따라서, 어레이 카메라를 사용하여 높은 프레임 속도 비디오 시퀀스들을 캡처하는 동안 심도를 추정하는 데 활용된 특정 프로세스들은 어레이 내의 카메라들의 개수 및 타입에 크게 좌우될 수 있는 것으로 이해하여야 한다.

보간된 프레임들을 이용하여 심도를 추정하기 위한 프로세스들

본 발명의 많은 실시예들에 따른 어레이 카메라들은 높은 프레임 속도 비디오 캡처 동안 심도를 추정하기 위하여 카메라들의 다중 그룹들에 의해 캡처된 이미지 데이터를 활용한다. 앞서 언급된 바와 같이, 비디오의 프레임들의 일시적인 보간이 심도 추정에 극히 유용할 수 있다. 많은 실시예들에서, 주어진 프레임 캡처 시간 간격으로 이동 픽셀들의 위치들의 일시적인 보간을 수행하기 위하여 둘 이상의 연속하는 프레임들로부터의 이미지 데이터가 활용될 수 있다. 보간된 프레임들은 주어진 프레임 캡처 시간 간격 동안 캡처된 이미지 데이터에 대한 합성 대체 뷰(synthetic alternate view)들로서 역할을 한다. 보간된 프레임 내의 이동 픽셀들의 위치를 정확히 추정할 때의 에러들이 심도 추정에서의 에러들을 야기할 수 있지만, 추정 에러들은 전형적으로 비디오의 높은 프레임 속도로 인해 작다. 더욱이, 높은 프레임 속도들에서의 심도 추정치들의 필터링은 에러들에 대해 보정할 수 있다. 또한 상이한 등극선들이 연속하는 프레임 캡처 시간 간격들에 걸쳐 카메라들의 상이한 그룹들 내의 카메라들에 대해 탐색된다는 사실이 필터링에 도움이 된다. 그러므로, 보간 에러들은 각각의 연속하는 시간 간격에서 렌더링된 프레임의 일부분에 대한 디스패리티 탐색을 수행하기 위하여 활용된 각 쌍의 시점들에 대해 동일한 심도 추정 에러를 야기할 개연성은 낮다. 이들 차이는 심도 추정을 개선하기 위하여 필터링 동안 활용될 수 있다. 앞서 언급된 바와 같이, 심도 추정들은 신뢰도 메트릭들의 생성을 수반할 수 있고 적용된 심도 필터링의 세기는 주어진 심도 추정치의 신뢰도에 기초하여 적응될 수 있다.

본 발명의 실시예에 따른 프레임들의 보간된 부분들을 이용하여 심도를 추정하기 위한 프로세스가 도 7에 도시되어 있다. 프로세스(700)는 주어진 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지 데이터로부터 프레임의 일부분 내의 이동 픽셀들을 검출(702)하는 것을 포함한다. 식별된 이동 픽셀들의 심도들은 주어진 프레임 캡처 시간 간격으로 적어도 제2 (상이한) 시점으로부터의 프레임의 대응하는 부분을 보간(704)함으로써 결정될 수 있다. 많은 실시예들에서, 보간은 제2 시점으로부터 캡처된 이미지 데이터 내에서 이동하는 것으로 식별된 픽셀들에 대해서만 수행된다. 다른 실시예들에서, 프레임들의 일부분들이 폐색들에 강인한 심도 추정을 제공하기 위하여 더 많은 시점들로부터 그리고/또는 다중 컬러 채널들에서 보간될 수 있다.

전형적으로는 동일한 컬러 채널(들)에서 이미지 데이터를 캡처하는 카메라들의 시점들로부터 캡처된 이미지 데이터에 대해 디스패리티 탐색들이 수행된다. 그러나, 컬러 채널들의 각각에서 픽셀들의 유사성을 비교함으로써 다중 컬러 채널들에서 디스패리티 탐색들이 수행될 수 있다. 카메라들의 단일 그룹으로부터의 이미지 데이터가 활용되어 기준 시점으로부터의 비-이동 픽셀들을 렌더링하는 실시예들에서, 카메라들의 다른 그룹들 내의 카메라들은 전형적으로 심도 추정들을 수행하기 위하여 적어도 기준 시점으로부터 보간된 프레임들의 일부분들을 활용한다. 이어서, 주어진 컬러 채널에서의 어떠한 카메라들도 기준 시점으로부터 이미지 데이터를 캡처하지 않는 상황에서, 기준 시점으로부터의 비-이동 픽셀들을 렌더링하는 데 사용된 카메라들의 그룹으로부터의 관련 컬러 채널에서 이미지 데이터를 캡처하는 카메라의 시점으로부터의 프레임의 적어도 일 부분이 보간될 수 있다. 기준 시점으로부터의 비-이동 픽셀들을 렌더링하는 데 사용된 카메라들의 그룹 내의 카메라가 기준 시점으로부터 이미지 데이터를 캡처하는 경우, 기준 시점으로부터 카메라에 의해 관찰된 이동 픽셀들의 심도는 다른 시점을 갖는 카메라에 의해 동일한 컬러 채널(들)에서부터 캡처된 이미지 데이터를 이용하여 주어진 프레임 캡처 시간 간격으로 프레임의 대응하는 부분을 보간함으로써 결정될 수 있다. 많은 실시예들에서, 보간 프로세스는 이중모드(bimodal) 보간 프로세스이다. 다른 실시예들에서, 보간 프로세스는 삼중모드(trimodal) 보간 프로세스들을 포함한 (그러나, 이에 제한되지 않는) 특정 애플리케이션들의 요건들에 적절한 다양한 보간 프로세스들 중 임의의 프로세스일 수 있다.

모션이 제한되지 않는 것으로 상정되는 경우, 개별 이동 픽셀들에 대해 디스패리티 탐색들을 수행함으로써 심도 추정치들이 획득될 수 있다. 이동 픽셀들이 객체들의 일부인 것으로 상정되는 경우, 디스패리티 탐색들이 이동 픽셀들의 클러스터들에 대해 수행될 수 있다. 모든 모션이 동일한 평면 상에서 일어나는 것으로 상정되는 경우, 디스패리티 탐색들이 이동 픽셀들의 전체 세트에 대해 수행될 수 있다. 제1 시점 내의 픽셀들에 대해 디스패리티 탐색을 수행하는 프로세스는 초기 심도 추정치를 선택(706)하는 것과 적어도 제2 시점으로부터의 탐색된 픽셀들을 제1 시점으로 시프트하는 것을 수반할 수 있다. 다른 컬러 채널들에서 상이한 시점들로부터 캡처된 이미지들의 일부분들 사이에서 비교가 또한 수행될 수 있다. 그로부터, 미국 특허 제8,619,082호에 기술된 것들 포함한 (그러나, 이에 제한되지 않는) 다양한 메트릭들 중 임의의 메트릭을 사용하여 비교가 수행될 수 있다. 이어서, 디스패리티 탐색들이 픽셀들의 세트 또는 클러스터에 대해 수행되는 경우, 픽셀들의 2개의 클러스터들의 유사성을 결정(710)하는 데 상관성이 이용될 수 있다. 이러한 프로세스는 충분한 개수의 심도 샘플들이 탐색되었다는 결정(712)이 이루어질 때까지 다양한 심도 샘플들에서 반복된다. 어느 점에서, 선택된 메트릭이 가장 높은 정도의 유사성을 나타내게 되는 심도는 픽셀, 픽셀들의 클러스터 및/또는 픽셀들의 세트에 대한 심도 추정치로서 선택(714)될 수 있다. 신뢰도 메트릭이 각각의 심도 추정치에 할당될 수 있다. 활용된 특정 신뢰도 메트릭은 디스패리티 탐색을 수행하는 데 활용된 유사성 척도 및 특정 애플리케이션들의 요건들에 좌우될 수 있다. 많은 실시예들에서, (위에서 참고로 포함된) 미국 특허 제8,619,082호 및 문헌[Xiaoyan Hu, P. Mordohai, "A Quantitative Evaluation of Confidence Measures for Stereo Vision", IEEE Transactions on Pattern Analysis & Machine Intelligence, vol.34, no. 11, pp. 2121-2133, Nov. 2012, doi:10.1109/TPAMI.2012.46]에 기술된 신뢰도 메트릭들을 포함한 (그러나, 이에 제한되지 않는) 신뢰도 메트릭들이, 생성된 심도 추정치들에 대한 신뢰도 메트릭들을 인코딩하는 데 활용될 수 있고 전술된 것들과 유사한 프로세스들에 의해 활용될 수 있다.

비록 특정 프로세스들이 도 7을 참조하여 전술되어 있지만, 본 발명의 실시예들에 따라 이미지 데이터의 보간된 프레임들을 이용하여 디스패리티 탐색들을 수행하기 위한 다양한 프로세스들 중 임의의 프로세스가 활용될 수 있다. 더욱이, 앞서 언급된 바와 같이, 카메라들의 그룹들이 동일한 컬러 채널에 다중 카메라들을 포함하는 경우에 본 발명의 실시예들에 따라 높은 프레임 속도 비디오 시퀀스들을 렌더링하는 동안 심도를 추정할 수 있도록 하기 위하여 보간이 필요하지는 않다. 따라서, 프레임 캡처 시간 간격 내에 이동 픽셀들에 대해 그리고 프레임 캡처 시간 간격보다 긴 시간 간격에 걸쳐 비-이동 픽셀들에 대해 디스패리티 탐색들을 수행하기 위한 다양한 프로세스가 본 발명의 실시예들에 따라서 특정 어레이 카메라 및 특정 애플리케이션들의 요건들에 적절하게 활용될 수 있다.

상기의 설명이 본 발명의 많은 특정 실시예들을 포함하지만, 이들은 본 발명의 범주에 대한 제한사항들로서 이해되어야 하는 것이 아니라, 오히려 그의 일 실시예의 예시로서 이해되어야 한다. 그러므로, 본 발명은 본 발명의 범주 및 사상으로부터 벗어나지 않고서 구체적으로 설명된 것 이외에 달리 실행될 수 있는 것으로 이해하여야 한다. 따라서, 본 발명의 실시예들은 모든 점에서 제한적인 것이 아닌 예시적인 것으로 여겨져야 한다. 따라서, 본 발명의 범주는 예시된 실시예들에 의해서가 아니라 첨부된 청구범위 및 그의 동등물들에 의해서 판정되어야 한다.

Claims (30)

1. 상이한 시점(viewpoint)들로부터 장면의 이미지들을 캡처하는 복수의 카메라들;
   이미지 프로세싱 파이프라인 애플리케이션을 포함하는 메모리를 포함하고,
   상기 이미지 프로세싱 파이프라인 애플리케이션은 상기 프로세서가,
   상기 복수의 카메라들 내로부터의 카메라들의 복수의 그룹들로부터 이미지 데이터를 획득할 것 - 여기서, 카메라들의 각각의 그룹은 카메라들의 다른 그룹들에 대해 스태거링된(staggered) 시작 시간에 이미지 데이터를 캡처하기 시작함 -;
   기준 시점(reference viewpoint)을 선택하고, 상기 상이한 시점들로부터의 픽셀들이 가장 유사하게 되는 디스패리티(disparity)를 식별하도록 디스패리티 탐색들을 수행함으로써 다른 시점(alternate viewpoint)으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을 결정할 것; 및
   비디오의 프레임들을 렌더링(rendering)할 것 - 여기서, 비디오의 주어진 프레임은 주어진 프레임 캡처 시간 간격 동안 캡처된 카메라들의 적어도 하나의 그룹으로부터의 픽셀들을 포함하는 픽셀들을 이용하여 그리고 상기 다른 시점들로부터 캡처된 상기 픽셀들에 대해 결정된 장면 의존적 기하학적 보정들을 이용하여 다른 시점들로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트함으로써 렌더링됨 - 을 지시하는, 어레이 카메라.
2. 제1항에 있어서, 카메라들의 각각의 그룹은 단색(monochrome) 카메라, 베이어(Bayer) 카메라, 및 적외선 카메라로 이루어진 군으로부터 선택된 단일 카메라(single camera)인, 어레이 카메라.
3. 제1항에 있어서, 카메라들의 각각의 그룹은 다중 카메라(multiple camera)들을 포함하는, 어레이 카메라.
4. 제1항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을,
   특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 프레임의 적어도 일부를 선택함으로써;
   상기 특정 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 프레임의 적어도 일부를 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써; 그리고
   상기 제1 시점으로부터 선택된 프레임의 상기 적어도 일부로부터의 그리고 상기 제2 시점으로부터 보간된 프레임의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시하는, 어레이 카메라.
5. 제4항에 있어서, 상기 제1 시점은 상기 다른 시점이고 상기 제2 시점은 상기 기준 시점인, 어레이 카메라.
6. 제4항에 있어서, 카메라들의 상기 그룹들 각각은 다중 카메라들을 포함하는, 어레이 카메라.
7. 제6항에 있어서,
   상기 복수의 카메라들은 상기 기준 시점으로부터 이미지 데이터를 캡처하는 카메라를 포함하고;
   상기 제1 시점은 상기 다른 시점이고;
   상기 제2 시점은 상기 기준 시점인, 어레이 카메라.
8. 제6항에 있어서,
   상기 복수의 카메라들은 제1 컬러 채널에서 상기 기준 시점으로부터 이미지 데이터를 캡처하는 카메라를 포함하고;
   상기 다른 시점은 제2 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 특정 그룹 내의 카메라의 시점이고;
   상기 제1 시점은 제1 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 상기 특정 그룹 내의 카메라의 시점이고;
   상기 제2 시점은 상기 기준 시점이고;
   상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 상기 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을,
   상기 제1 시점으로부터 선택된 프레임의 상기 적어도 일부로부터의 그리고 상기 제2 시점으로부터 보간된 프레임의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 상기 디스패리티에 기초하여 상기 다른 시점에서 가시적인 적어도 하나의 픽셀의 심도를 추정함으로써; 그리고
   상기 적어도 하나의 픽셀의 상기 추정된 심도에 기초하여 상기 다른 시점으로부터 캡처된 상기 적어도 하나의 픽셀을 상기 기준 시점으로 시프트하기 위하여 적용하는 장면 의존적 기하학적 보정들을 결정함으로써, 결정할 것을 지시하는, 어레이 카메라.
9. 제6항에 있어서,
   상기 복수의 카메라들은 제1 컬러 채널에서 상기 기준 시점으로부터 이미지 데이터를 캡처하는 기준 카메라를 포함하고, 상기 기준 카메라는 카메라들의 제1 그룹의 일부이고;
   상기 다른 시점은 제2 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 상기 제1 그룹으로부터의 카메라의 시점이고;
   상기 제1 시점은 상기 기준 시점이고;
   상기 제2 시점은 제1 컬러 채널에서 이미지 데이터를 캡처하는 카메라들의 제2 그룹 내의 카메라의 시점이고;
   상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 상기 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을,
   상기 제1 시점으로부터 선택된 프레임의 상기 적어도 일부로부터의 그리고 상기 제2 시점으로부터 보간된 프레임의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 상기 디스패리티에 기초하여 상기 다른 시점에서 가시적인 적어도 하나의 픽셀의 심도를 추정함으로써; 그리고
   상기 적어도 하나의 픽셀의 상기 추정된 심도에 기초하여 상기 다른 시점으로부터 캡처된 상기 적어도 하나의 픽셀을 상기 기준 시점으로 시프트하기 위하여 적용하는 장면 의존적 기하학적 보정들을 결정함으로써, 결정할 것을 지시하는, 어레이 카메라.
10. 제1항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 비디오의 프레임들을,
    상기 주어진 프레임 캡처 시간 간격 동안 카메라들의 적어도 하나의 그룹에 의해 캡처된 그리고 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들; 및
    적어도 상기 주어진 프레임 캡처 시간 간격 동안 이동하지 않는 것으로 결정된 이전에 렌더링된 프레임으로부터의 픽셀들을 이용하여, 렌더링할 것을 지시하는, 어레이 카메라.
11. 제10항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을,
    특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지 데이터로부터 이동 픽셀들을 선택함으로써 - 여기서, 상기 이동 픽셀들은 적어도 상기 특정 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들임 -;
    상기 특정 프레임 캡처 시간 간격 동안 제2 시점으로부터의 이동 픽셀들을 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써 - 여기서, 상기 제2 시점은 상기 제1 시점과 상이하고 상기 이동 픽셀들은 상기 특정 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들임 -; 그리고
    상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시하는, 어레이 카메라.
12. 제11항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가, 상이한 디스패리티들에서 개별 이동 픽셀들의 유사성을 비교함으로써 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 상기 디스패리티를 식별하기 위하여, 디스패리티 탐색을 수행할 것을 지시하는, 어레이 카메라.
13. 제11항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가, 상이한 디스패리티들에서 이동 픽셀들의 개별 클러스터(cluster)들의 유사성을 비교함으로써 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 상기 디스패리티를 식별하기 위하여, 디스패리티 탐색을 수행할 것을 지시하는, 어레이 카메라.
14. 제11항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가, 상이한 디스패리티들에서 모든 이동 픽셀들의 유사성을 비교함으로써 상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 상기 디스패리티를 식별하기 위하여, 디스패리티 탐색을 수행할 것을 지시하는, 어레이 카메라.
15. 제10항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 상기 복수의 카메라들 중 하나를 이용하여 캡처된 이미지로부터 초기 프레임을 렌더링할 것을 지시하는, 어레이 카메라.
16. 제10항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 초기 프레임을,
    카메라들의 초기 그룹을 이용하여 이미지들의 세트를 캡처함으로써;
    이미지들의 상기 세트의 적어도 서브세트를 이용하여 상기 기준 시점으로부터의 이미지 내의 픽셀 위치들에 대한 심도 추정치들을 결정함으로써 - 여기서, 상기 기준 시점으로부터의 상기 이미지 내의 주어진 픽셀 위치에 대한 심도 추정치를 생성하는 것은
    복수의 심도들에서의 예상 디스패리티에 기초하여 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대응하는 이미지들의 상기 세트의 상기 적어도 서브세트 내의 픽셀들을 식별하는 것;
    상기 복수의 심도들의 각각에서 식별되는 상기 대응하는 픽셀들의 유사성을 비교하는 것; 및
    상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대한 심도 추정치로서 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사성을 갖게 되는 심도를 상기 복수의 심도들로부터 선택하는 것을 포함함 -; 그리고
    다른 시점들로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하기 위한 이미지들의 상기 세트의 서브세트 내의 픽셀 위치들에 대한 심도 추정치들 및 이미지들의 상기 세트를 이용하여 상기 기준 시점으로부터의 프레임을 렌더링함으로써, 렌더링할 것을 지시하는, 어레이 카메라.
17. 제16항에 있어서, 카메라들의 상기 초기 그룹은 적색, 녹색 및 청색 카메라들을 포함하는 3 x 3 π 필터 그룹을 포함하는, 어레이 카메라.
18. 제16항에 있어서, 카메라들의 상기 초기 그룹은 카메라들의 상기 복수의 그룹들 내의 카메라들 모두를 포함하는, 어레이 카메라.
19. 제18항에 있어서,
    상기 복수의 카메라들은 전자 롤링 셔터(electronic rolling shutter)들을 갖고;
    이미지들의 상기 세트는 각각 롤링 셔터 시간 간격에 걸쳐 캡처되고;
    상기 주어진 프레임 캡처 시간 간격은 롤링 셔터 시간 간격보다 짧고, 상기 롤링 셔터 시간 간격은 상기 복수의 카메라들 내의 카메라로부터의 이미지 데이터의 판독을 완료하는 데 걸리는 시간이고;
    카메라들의 상기 복수의 그룹들에 의해 캡처되고 연속하는 프레임 캡처 시간 간격들 동안 캡처된 이미지들의 상기 세트 내의 이미지들의 상이한 부분들이 프레임들의 시퀀스를 렌더링하는 데 이용되는, 어레이 카메라.
20. 제1항에 있어서,
    상기 복수의 카메라들은 전자 롤링 셔터들을 갖고;
    상기 주어진 프레임 캡처 시간 간격은 롤링 셔터 시간 간격보다 짧고, 상기 롤링 셔터 시간 간격은 상기 복수의 카메라들 내의 카메라로부터의 이미지 데이터의 판독을 완료하는 데 걸리는 시간인, 어레이 카메라.
21. 제20항에 있어서, 상기 카메라들의 상기 스태거링된 시작 시간들은 카메라들의 N개 그룹들의 각각이 주어진 프레임 캡처 시간 간격 동안 이미지의 적어도 1/N 부분을 캡처하도록 조정되는, 어레이 카메라.
22. 제21항에 있어서, 비디오의 주어진 프레임은 상기 주어진 프레임 캡처 시간 간격 동안 캡처된 카메라들의 상기 N개 그룹들로부터의 픽셀들을 포함하는 픽셀들을 이용하여 렌더링되는, 어레이 카메라.
23. 제22항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을,
    특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지의 적어도 1/N 부분을 선택함으로써;
    상기 특정 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 이미지의 적어도 일부를 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써;
    상기 제1 시점으로부터 캡처된 이미지의 상기 선택된 적어도 1/N 부분으로부터의 그리고 상기 제2 시점으로부터 보간된 이미지의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시하는, 어레이 카메라.
24. 제1항에 있어서, 상기 복수의 카메라들은 전자 스냅 샷 셔터(electronic snap-shot shutter)들을 갖는, 어레이 카메라.
25. 제24항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을,
    특정 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지를 선택함으로써;
    상기 특정 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 이미지의 적어도 일부를 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간함으로써; 그리고
    상기 제1 시점으로부터 캡처된 이미지로부터의 그리고 상기 제2 시점으로부터 보간된 이미지의 상기 적어도 일부로부터의 픽셀들이 가장 유사하게 되는 디스패리티를 식별함으로써, 결정할 것을 지시하는, 어레이 카메라.
26. 제1항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을,
    동일한 적어도 하나의 컬러 채널에서 이미지 데이터를 캡처하는 적어도 2개의 카메라들을 포함하는 카메라들의 그룹을 이용하여 이미지들의 세트를 캡처함으로써;
    이미지들의 상기 세트의 적어도 서브세트를 이용하여 상기 기준 시점으로부터의 이미지 내의 픽셀 위치들에 대한 심도 추정치들을 결정함으로써 - 여기서, 상기 기준 시점으로부터의 상기 이미지 내의 주어진 픽셀 위치에 대한 심도 추정치를 생성하는 것은
    복수의 심도들에서의 예상 디스패리티에 기초하여 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대응하는 이미지들의 상기 세트의 상기 적어도 서브세트 내의 픽셀들을 식별하는 것;
    상기 복수의 심도들의 각각에서 식별되는 상기 대응하는 픽셀들의 유사성을 비교하는 것; 및
    상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대한 심도 추정치로서 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사성을 갖게 되는 심도를 상기 복수의 심도들로부터 선택하는 것을 포함함 -, 결정할 것을 지시하는, 어레이 카메라.
27. 제1항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 개별 픽셀들에 대한 심도들을 추정함으로써, 결정할 것을 지시하는, 어레이 카메라.
28. 제1항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 픽셀들의 클러스터들에 대한 심도들을 추정함으로써, 결정할 것을 지시하는, 어레이 카메라.
29. 제1항에 있어서, 상기 이미지 프로세싱 파이프라인 애플리케이션은 추가로 상기 프로세서가 다른 시점으로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을, 상기 주어진 프레임 캡처 시간 간격 동안 이동하고 있는 것으로 결정된 모든 픽셀들에 대한 심도들을 추정함으로써, 결정할 것을 지시하는, 어레이 카메라.
30. 상이한 시점들로부터 장면의 이미지들을 캡처하고, 전자 롤링 셔터들을 갖고, 롤링 셔터 시간 간격 동안 이미지를 캡처하는 복수의 카메라들; 및
    이미지 프로세싱 파이프라인 애플리케이션을 포함하는 메모리를 포함하고,
    상기 이미지 프로세싱 파이프라인 애플리케이션은 상기 프로세서가,
    기준 시점을 선택할 것;
    초기 프레임을,
    카메라들의 초기 그룹을 이용하여 이미지들의 세트를 캡처함으로써;
    이미지들의 상기 세트의 적어도 서브세트를 이용하여 상기 기준 시점으로부터의 이미지들의 상기 세트로부터의 이미지 내의 픽셀 위치들에 대한 심도 추정치들을 결정함으로써 - 여기서, 상기 기준 시점으로부터의 상기 이미지 내의 주어진 픽셀 위치에 대한 심도 추정치를 생성하는 것은
    복수의 심도들에서의 예상 디스패리티에 기초하여 상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대응하는 이미지들의 상기 세트의 상기 적어도 서브세트 내의 픽셀들을 식별하는 것;
    상기 복수의 심도들의 각각에서 식별되는 상기 대응하는 픽셀들의 유사성을 비교하는 것; 및
    상기 기준 시점으로부터의 상기 이미지 내의 상기 주어진 픽셀 위치에 대한 심도 추정치로서 상기 식별된 대응하는 픽셀들이 가장 높은 정도의 유사성을 갖게 되는 심도를 상기 복수의 심도들로부터 선택하는 것을 포함함 -;
    다른 시점들로부터 캡처된 픽셀들을 상기 기준 시점으로 시프트하기 위한 이미지들의 상기 세트의 서브세트 내의 픽셀 위치들에 대한 심도 추정치들 및 이미지들의 상기 세트를 이용하여 상기 기준 시점으로부터의 상기 초기 프레임을 렌더링함으로써, 렌더링할 것;
    후속 프레임들을,
    상기 복수의 카메라들 내로부터의 카메라들의 복수의 그룹들로부터 이미지 데이터를 획득함으로써 - 여기서, 카메라들의 각각의 그룹은 카메라들의 다른 그룹들에 대해 스태거링된 시작 시간에 이미지 데이터를 캡처하기 시작하고, 상기 카메라들의 상기 스태거링된 시작 시간들은 카메라들의 N개 그룹들의 각각이 상기 복수의 카메라들의 각각의 상기 롤링 셔터 시간 간격들보다 짧은 주어진 프레임 캡처 시간 간격 동안 프레임의 적어도 1/N 부분을 캡처하도록 조정됨 -;
    주어진 프레임 캡처 시간 간격 동안 이동하고 있는 카메라들의 상기 N개 그룹들에 의해 상기 주어진 프레임 캡처 시간 간격 동안 캡처된 픽셀들을 결정함으로써; 그리고
    상기 상이한 시점들로부터의 이동 픽셀들이 가장 유사하게 되는 디스패리티를 식별하도록 디스패리티 탐색들을 수행함으로써 다른 시점으로부터 캡처된 이동 픽셀들을 상기 기준 시점으로 시프트하는 장면 의존적 기하학적 보정들을 결정함으로써 - 여기서 상기 디스패리티 탐색들은
    상기 주어진 프레임 캡처 시간 간격 동안 제1 시점으로부터 캡처된 이미지 데이터로부터 이동 픽셀들을 선택하는 것;
    상기 주어진 프레임 캡처 시간 간격 동안 상기 제1 시점과 상이한 제2 시점으로부터의 이동 픽셀을 다른 시간들에 상기 제2 시점으로부터 캡처된 이미지 데이터에 기초하여 보간하는 것; 및
    상기 제1 시점으로부터 캡처된 이미지 데이터로부터의 상기 이동 픽셀들과 상기 제2 시점으로부터 보간된 상기 이동 픽셀들이 가장 유사하게 되는 디스패리티를 식별하는 것을 포함함 -;
    비디오의 프레임들을 렌더링함으로써 - 여기서, 비디오의 주어진 프레임은 픽셀들을 이용하여 렌더링되는데, 상기 픽셀들은
    상기 주어진 프레임 캡처 시간 간격 동안 캡처된 카메라들의 상기 N개 그룹들로부터의 이동 픽셀들 - 여기서, 다른 시점들로부터 캡처된 이동 픽셀들은 상기 다른 시점들로부터 캡처된 상기 픽셀들에 대해 결정된 장면 의존적 기하학적 보정들을 이용하여 기준 시점으로 시프트됨 -; 및
    상기 기준 시점으로부터 이전에 렌더링된 프레임으로부터의 비-이동 픽셀들을 포함함 -, 렌더링할 것을 지시하는, 어레이 카메라.

Images