KR20150084807A

KR20150084807A - 파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치

Info

Publication number: KR20150084807A
Application number: KR1020157011354A
Authority: KR
Inventors: 리차드 올리에
Original assignee: 지롭틱
Priority date: 2012-11-15
Filing date: 2013-11-12
Publication date: 2015-07-22
Also published as: IN2015DN03812A; BR112015010788A2; FR3012000A1; EP2920956A1; AU2013346603B2; CA2889811A1; CN104782114B; FR2998126B1; TW201435792A; MX355297B; MX2015006121A; TW201804432A; FR3011968B1; FR3011968A1; US20150288864A1; TWI612495B; FR3012001A1; FR3012001B1; WO2014076402A1; FR3012000B1

Abstract

장면의 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위해서, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 화소 포맷으로, 이미지들이 중첩하거나 없이, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들이 수행되고, 이미지 캡처 동작들은 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 행해진다. 각 캡처 동작에 있어서 (a) 캡처된 이미지의 화소들은 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서 디지털 방식으로 처리되고, (b) 최종의 이전에 형성된 파노라마 혹은 스테레오스코픽 이미지는 상기 캡처 시간 미만이거나 동일한 기간 동안에 발생된다. 각 캡처된 이미지의 각 화소의 디지털 처리 (a)는 적어도, 상기 화소를 유지 또는 폐기하는 것과, 화소가 유지되었을 때, 이를 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 기정의된 가중 팩터(W)를 사용하여, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진다.

Description

파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치{METHOD AND DEVICE FOR CAPTURING AND CONSTRUCTING A STREAM OF PANORAMIC OR STEREOSCOPIC IMAGES}

본 발명은 스테레오스코픽 혹은 파노라마 이미지 스트림을 캡처 및 렌더링하기 위한 프로세스 및 장치에 관한 것이다. 파노라마 혹은 스테레오스코픽 이미지의 이 스트림은 필름으로서, 혹은 파노라마 혹은 스테레오스코픽 이미지의 스트림으로부터 하나 또는 몇 개의 정적 이미지들을 추출하기 위해서 처리를 위해서, 저장되거나, 보내지거나, 분배될 수 있다.

"원 샷" 파노라마 이미지 캡처의 분야에서, 예를 들면 카메라형 CCD 또는 CMOS의 몇몇 이미지 캡처 장치가 공지되어 있으며, 각 이미지 캡처 장치는 예를 들면 장면의 이미지를 이미지 센서 상에 투사할 수 있게 하는 광학 수단(렌즈)에 결합된, CCD 또는 CMOS 유형의 이미지 센서를 포함한다. 이미지 캡처 장치의 광축은 서로 다른 방향들의 방위로 놓여지고, 이미지 캡처의 광 뷰 필드는 이미지의 완전한 파노라마 필드를 커버하기 위해서 중첩할 수 있다. 국제 특허 출원 WO 2012/032236는 "광학 그룹"이라 지칭된 3개의 이미지 캡처 장치를 포함하고 360° 필드에서 파노라마 이미지를 "원 샷"으로 캡처할 수 있게 하는, 특히 콤팩트한 광학 장치를 개시한다.

본원에서, "파노라마 이미지"라는 용어는 이의 가장 넓은 면에서 이해되어야 하며, 360° 필드에서 단일의 이미지의 캡처로 제한되지 않으며, 그보다는 파노라마 이미지 캡처를 위해 사용되는 이미지 캡처 장치들 각각에 의해 커버되는 광학 필드보다 큰, 확장된 필드에 따라 렌더링된 이미지에 더 일반적으로 적용될 수 있다.

파노라마 이미지를 캡처하는 이 프로세스를 사용하여, 이미지 캡처 장치들 각각은 제한된 광학 필드에서, 화소 매트릭스 형태로, 장면의 이미지를 획득하며, 이어 이미지는 최종의 파노라마 이미지를 생성하기 위해, 이들의 중첩하는 영역의 레벨에서, 이미지들의 디지털 "스티치"를 할 수 있게 하는 디지털 처리의 외부 수단에 보내진다.

이미지 캡처 장치에 의해 캡처된 이미지를 나타내는 각 화소 매트릭스는 이미지 캡처 장치에 의해 "보여지는' 구형 영역의 3D 표면의 2차원 투사로부터 얻어진다. 이 2차원 투사는 각 이미지 캡처 장치에 의존하는데, 특히 이미지 캡처 렌즈의 광학 피처(features) 및 이미지 캡처 동안 이미지 캡처 장치의 공간상에 방위("요(Yaw)", "피치(Pitch)" 및 "롤(Roll)")에 의존한다.

종래 기술에서, 파노라마 이미지를 형성하기 위한 이미지의 디지털 스티치는 예를 들면 이미지 센서에 의해 전송되는 이미지를 병치하였을 때, 그리고 최종의 파노라마 이미지를 얻기 위해서, 이미지의 디지털 스티치를 이들의 중첩하는 영역의 레벨에서 수행함으로써 수행되었다. 이 경우에, 디지털 스티치의 구현은 화소의 2차원 투사를 수정하지 않으며, 최종의 파노라마 이미지의 화소는 이들이 도출되는 이미지 센서의 2차원 투사를 유지한다.

이 디지털 스티치는, 예를 들면 국제 특허 출원 WO 2011/037964, 혹은 미국 특허 출원 2009/0058988에 개시되어 있는 것과 같이, 자동으로 수행될 수 있고, 혹은 이를테면 국제 특허 출원 WO2010/01476에 개시된 것과 같이, 수작업 도움을 받아, 반자동으로 수행될 수도 있다.

파노라마 이미지를 렌더링하기 위한 디지털 이미지 스티치 솔루션은 또한 2005년 1월 26일자 Richard Szeliski에 의한 "Image Alignment and Stitching: A Tutorial" 명칭의 논문에 제안되었다. 이 논문에서, 디지털 스티치는 동적으로가 아니라, 저장된 이미지에 정적으로 수행되었고, 따라서 이 논문에 개시된 디지털 스티치 솔루션은 파노라마 이미지의 동적 스트림을 렌더링할 수 있게 하지 않으며, 더욱 더, 이미지들이 캡쳐되고 있을 때 실시간으로 파노라마 이미지의 동적 스트림을 렌더링할 수 있게 하지 않는다.

이외 스테레오스코픽 이미지 캡처의 분야에서, 깊이 및 콘투어를 인지할 수 있게 하는 스테레오스코픽 3D 이미지를 생성하기 위해서, 장면의 두 플랫(flat) 이미지를 캡처하고, 이어 두 플랫 이미지를 디지털 처리하는 것으로 구성된 프로세스가 공지되어 있다.

파노라마 혹은 스테레오스코픽 이미지를 캡처 및 렌더링하기 위한 위에 언급된 프로세스들은 별도의 혹은 독립적인 광학 수단을 갖는 센서에 의해 획득된 이미지를 사용하여 파노라마 혹은 스테레오스코픽 이미지를 렌더링하는 단점이 있는데, 최종의 디지털 이미지(파노라마이든 스테레오스코픽이든) 내에 균질성, 특히 비색법, 백색 밸런스, 노출 시간 및 자동 이득에 관하여 문제를 발생한다.

또한, 이미지의 위에 언급된 디지털 스티치 프로세스는 필름으로서 실시간으로 파노라마 이미지의 캡처 및 렌더링에 불리한 계산 시간을 요구한다.

미국 특허 출원 2009/0058988에서, 처리 시간을 개선하고 실시간으로 디지털 스티치와 함께 파노라마 이미지를 캡처하기 위해서, 예를 들면 저 해상도 이미지의 매핑에 기초한 디지털 스티치 솔루션이 제안되었다.

일반적으로, 본 발명의 목적은 하나 또는 몇개의 이미지 캡처 장치를 사용하여, 파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 렌더링하기 위한 신규한 기술적 솔루션을 제안하는 것이다.

특히, 발명의 제1의 더 특정한 측면에 따라, 신규한 솔루션은 디지털 처리의 속도를 증가시킬 수 있게 하며, 이에 따라 파노라마 혹은 스테레오스코픽 이미지의 스트림의 실시간 캡처 및 렌더링을 용이하게 한다.

특히, 발명의 또 다른 더 특정한 측면에 따라, 신규한 솔루션은 별도의 혹은 독립적인 광학 수단으로 센서의 구현으로부터 비롯되는 위에 언급된 불편을 제거할 수 있게 하며, 특히 더 나은 품질의 파노라마 혹은 스테레오스코픽 이미지를 더 쉽게 얻을 수 있게 한다.

발명의 골격 내에서, 파노라마 혹은 스테레오스코픽 이미지의 스트림은 예를 들면 필름으로서, 저장되거나, 보내지거나, 분배될 수 있고, 혹은 스트림으로부터, 하나 또는 몇개의 파노라마 혹은 스테레오스코픽 이미지를 정적으로 추출하기 위해서, 나중에 처리될 수도 있다.

발명의 제1 측면에 따라, 발명의 주 목적은 장면의 파노라마 혹은 스테레오스코픽 이미지 스트림을 캡처 및 렌더링하고, 이 동안에, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 이미지들이 중첩하거나 없이, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들이 수행되는 프로세스이며, 연속적인 캡처 동작들은 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 행해지며; 각 캡처 동작에 있어서 (a) 각 이미지의 화소들은 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서, 디지털 방식으로 처리되고, (b) 최종의, 이전에 형성된, 파노라마 혹은 스테레오스코픽 이미지는 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 내에 발생되며; 각 캡처된 이미지의 각 화소의 디지털 처리 시간(a)은, 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 이를, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 기정의된 가중 팩터(W)를 갖고, 최종의 파노라마 혹은 스테레오스코픽 이미지 내에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진다.

발명의 다른 목적은 스트림 혹은 파노라마 혹은 스테레오스코픽 이미지들을 캡처 및 렌더링하기 위한 장치이다. 이 장치는 한 세트의 화소들로서 적어도 두 서로 다른 이미지들을 캡처할 수 있게 하는 하나 또는 몇개의 이미지 캡처 장치들(C_i), 및 캡처된 이미지들을 사용하여 파노라마 혹은 스테레오스코픽 이미지를 렌더링할 수 있게 하는 처리를 위한 전자 수단을 포함하며; 전자 처리 수단은 하나 또는 몇개의 이미지 장치(들)을 사용하여, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들을, 두 연속적인 캡처 동작들의 시작 사이에 캡처 시간(T)을 정의하는 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로, 이미지들이 중첩하거나 없이, 수행할 수 있게 하며; 전자 처리 수단은, 각 캡처 동작에 있어서, (a) 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서, 각 캡처된 이미지의 화소들을 디지털 방식으로 처리하고, (b) 이전에 형성된 최종의 파노라마 혹은 스테레오스코픽 이미지를 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 동안 발생하기에 적합하며; 전자 처리 수단을 사용하여, 각 이미지의 각 화소의 디지털 처리는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 이를, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)을 사용하여, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진다.

발명의 제2 측면에 따라, 발명의 목적은 장면의 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 프로세스에 있어서, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 이미지들이 중첩하거나 없이, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들이 수행되며; 이미지 캡처 동작들 동안에, 캡처된 이미지들의 화소들은 파노라마 혹은 스테레오스코픽 이미지들을 형성하기 위해 디지털 방식으로 처리되고, 파노라마 혹은 스테레오스코픽 이미지들의 스트림이 생성되며, 각 캡처된 이미지의 각 화소의 디지털 처리는, 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 화소가 유지되었을 때, 이를 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 기정의된 가중 팩터(W)을 갖고, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진 것을 특징으로 하는, 프로세스이다.

발명의 상기 제2 측면에 따라, 발명의 목적은 또한, 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 장치에 있어서, 상기 장치는 화소 셋 포맷으로 적어도 두 서로 다른 이미지들을 캡처할 수 있게 하는 하나 또는 몇개의 이미지 캡처 장치들(C_i), 및 이미지 캡처의 하나 또는 몇개의 수단이, 이미지들이 중첩하거나 없이, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들을 수행할 수 있게 하고 이미지 캡처 동작들 동안, 파노라마 혹은 스테레오스코픽 이미지들을 형성하기 위해서, 캡처된 이미지들의 화소들을 디지털 처리하고, 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 발생하기에 적합한, 전자 처리 수단을 포함하며, 각 캡처된 이미지의 각 화소의 디지털 처리는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 화소가 유지되었을 때, 이를 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)를 갖고, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진 것을 특징으로 하는, 장치이다.

발명의 제3 측면에 따라, 발명의 목적은 장면의 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 프로세스로서, 이 동안에, 적어도 한 이미지 캡처 장치를 사용하여, 이미지가 중첩하거나 없이하여, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들이 수행되며, 각 이미지 캡처 장치는 화소 셋 포맷으로 이미지를 캡처할 수 있게 하며, 적어도, 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을 각 캡처된 이미지에 대한 출력으로서 전송하는, 프로세스이다. 각 캡처된 이미지의 각 화소는 적어도, 제2 클럭 신호(H)에 따라 동기화된, 화소 스트림으로서 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 발생하기 위해서, 디지털 방식으로 처리된다.

발명의 상기 제3 측면에 따라, 발명의 목적은 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 장치로서, 상기 장치는, 이미지들이 중첩하거나 없이, 화소 포맷으로, 장면의 적어도 2개의 서로 다른 이미지들의 몇몇 연속적인 이미지 캡처 동작들을 수행할 수 있게 하는 하나 또는 몇개의 이미지 캡처 장치들, 및 캡처된 이미지들을 사용하여, 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 렌더링할 수 있게 하는 전자 처리 수단을 포함하는, 장치이다. 각 이미지 캡처 장치는 적어도, 제1 클럭 신호(H_sensor)에 따라 동기화된, 화소들의 스트림을 각 캡처된 이미지에 대한 출력으로서 전송하기에 적합하다. 전자 처리 수단은 적어도, 제2 클럭 신호(H)에 따라 동기화된, 화소들의 스트림으로서 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 발생하기 위해서, 캡처된 이미지의 각 화소를 디지털 방식으로 처리하게 설계된다.

발명의 제4 측면에 따라, 발명의 목적은 장면의 적어도 한 파노라마 혹은 스테레오스코픽 이미지를 캡처 또는 렌더링하기 위한 것으로서, 이 동안에, 장면의 적어도 두 서로 다른 이미지들은 이미지들이 중첩하거나 없이, 적어도 한 이미지 캡처 장치(C_i)를 사용하여 캡처되고, 각 이미지 캡처 장치는 화소 셋 포맷으로 이미지를 캡처할 수 있게 하고, 각 캡처된 이미지에 대해서, 화소들의 스트림을 출력으로서 전송하며; 각 캡처된 이미지의 화소들의 스트림은 상기 화소들을 사용하여, 적어도 최종의 파노라마 혹은 스테레오스코픽 이미지를 렌더링하기 위해서 디지털 방식으로 처리되고, 각 캡처된 이미지에 대응하는 화소들의 스트림의 각 화소의 디지털 처리는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 화소가 유지되었을 때, 이를, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)를 갖고, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진다.

발명의 상기 제4 측면에 따라, 발명의 목적은 적어도 한 파노라마 혹은 스테레오스코픽 이미지를 캡처 및 렌더링하기 위한 장치로서, 상기 장치는 이미지들이 중첩하거나 없이, 적어도 두 서로 다른 이미지들을 캡처할 수 있게 하고 각 이미지 센서(C_i)가 각 캡처된 이미지에 대해 화소들의 스트림을 전송하기에 적합한 것인, 하나 또는 몇개의 이미지 캡처 장치들(C_i), 및 각 캡처된 이미지의 화소 스트림들을 사용하여 파노라마 혹은 스테레오스코픽 이미지를 이미지 캡처 동작 동안 렌더링할 수 있게 하는 전자 처리 수단을 포함한다. 디지털 전자 수단은 상기 화소를 유지 혹은 폐기하고, 화소가 유지되었을 때, 이를 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 기정의된 가중 팩터(W)를 갖고, 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 서로 다른 위치들에 할당함으로써, 각 캡처된 이미지의 화소 스트림의 각 화소를 처리하게 설계된다.

발명의 특징 및 잇점은 비제한적인 혹은 철저한 예로서 제공되는 발명의 바람직한 실시예들 중 하나의 다음 상세한 설명으로부터 그리고 발명의 첨부된 도면을 참조하여 더 명백해질 것이다.
도 1은 발명에 따른 장치의 전자 아키텍처의 예의 개요도이다.
도 2는 도 1에서 장치의 주 전자 신호의 크로노그래프 예이다.
도 3은 "어안" 렌즈의 캡처 영역의 광학/화소 필드 간에 대응의 예를 나타낸다.
도 4는 최종의 파노라마 이미지의 부분에 이미지 센서를 사용하여 캡처된 화소 매트릭스의 재-매핑의 예이다.
도 5는 최종의 파노라마 이미지의 화소(P_i _,j)와 이미지 센서를 사용하여 캡처된 화소 매트릭스 간에 기하학적 대응의 예를 도시한 것이다.
도 6a 내지 도 6i는 RAW 형 이미지의 특별한 경우에 대해서, 서로 다른 재-매핑 도면들을 나타낸 것이다.
도 7a 내지 도 7d는 파노라마 이미지 상에 센서 라인의 재-매핑의 서로 다른 예들을 도시한 것이다.
도 8은 최종의 파노라마 이미지를 형성하기 위해서 3개의 이미지에 대한 재-매핑 결과의 특정한 예를 도시한 것이다.

도 1은 파노라마 이미지를 캡처 및 렌더링할 수 있게 하는 발명의 장치(1)의 특정한 예를 나타낸다.

이 특정한 예에서, 장치(1)는 예를 들면, 화소 매트릭스 포맷으로 이미지를 캡처할 수 있게 하는 것인 CCD 또는 CMOS 유형의 3개의 이미지 캡처 장치(C₁, C₂, C₃), 및 이미지 센서(C₁, C₂, C₃)에 의해 전송된 화소들을 사용하여 파노라마 이미지를 렌더링할 수 있게 하는 전자 처리 수단(10)을 포함한다. 일반적으로, 이미지 캡처 장치(C₁, C₂, C₃) 각각은 이미지 센서와 정렬되고 광선을 이미지 센서 상에 집점시킬 수 있게 하는 하나 또는 몇개의 렌즈를 포함하는 광학 수단(렌즈)에 결합된 예를 들면 CCD 또는 CMOS 유형의 이미지 센서를 포함한다.

이미지 캡처 장치(C₁, C₂, C₃)의 광축은 서로 다른 방향의 방위로 놓여지고, 이들의 광학 필드는, 바람직하게는 광학 필드들이 중첩하여, 최종의 전체 파노라마 이미지 필드를 커버한다.

본원에서, "파노라마 이미지"라는 용어는 이의 가장 넓은 면에서 이해되어야 하며, 360° 필드에 따라 렌더링되는 파노라마 이미지로 제한되지 않으며, 그보다는 파노라마 이미지 캡처를 위해 사용되는 이미지 캡처 장치들 각각에 의해 커버되는 광학 필드보다 큰, 확장된 필드에 따라 렌더링된 이미지로서 더 일반적으로 이해되어야 한다.

단지 예시 목적을 위해, 상기 이미지 캡처 장치(C₁, C₂, C₃)는 예를 들면 3개의 광학 그룹의 콤팩트한 광학 장치로 구성될 수 있는데, 이는 국제 특허 출원 WO 2012/03223에 개시되어 있으며 파노라마 이미지를 "원 샷"으로 캡처할 수 있게 한다.

필수는 아니나, 바람직하게는, 발명의 장치(1)는 쉽게 수송되고 여러 위치들에서 사용되게 하기 위해서 휴대 장비로 구성된다.

도 2를 참조하면, 디지털 처리 수단(10)은 예를 들면 석영을 사용하여 발생되고 이미지 캡처 장치(C₁, C₂, C₃) 각각의 이미지 센서의 동작의 타이밍을 맞추기 위해 사용되는 기본 클럭(H10)을 전송한다.

출력으로서, 이미지 캡처 장치(C₁, C₂, C₃) 각각의 이미지 센서는, 캡처된 각 이미지에 대해, 기본 클럭(H10), 및 2개의 신호 "라인 유효" 및 "프레임 유효"를 사용하여 이미지 캡처 센서 각각에 의해 발생되는 제1 클럭 신호(H_sensor)에 따라 동기화되어, 화소들의 스트림을 "화소" 데이터 버스 상에 전송한다. 이미지 캡처 장치(C₁, C₂, C₃) 각각에 의해 발생되는 클럭 신호(H_sensor)는 더 특히 동일 주파수를 갖는다.

전자 처리 수단(10)은 이미지 캡처 장치(C₁, C₂, C₃)의 이미지 센서에 의해 전송되는 화소를 사용하여 파노라마 이미지를 렌더링할 수 있게 하며, 이미지 캡처 장치(C₁, C₂, C₃)의 방식과 비슷한 방식으로, 최종의 파노라마 이미지를 나타내는 화소들의 스트림을 "화소" 데이터 버스 상에 출력으로서 전송한다.

전자 처리 수단(10)의 "화소" 데이터 버스의 크기는 이미지 캡처 장치(C₁, C₂, C₃)의 "화소" 데이터 버스의 크기와 동일하거나 상이할 수 있는데, 바람직하게는 더 크다. 예를 들면, 그러나 발명의 범위를 제한하지 않는 방식으로, 이미지 캡처 장치(C₁, C₂, C₃ )의 "화소" 데이터 버스는 8 비트이고, 전자 처리 수단(10)의 "화소" 데이터 버스는 16 비트이다.

전자 처리 수단(10)에 의해 발생되는 화소들의 스트림은 전자 처리 수단(10)에 의해 발생되는 기본 클럭 신호 및 2개의 "라인 유효" 및 "프레임 유효" 신호를 사용하여, 전자 처리 수단(10)에 의해 발생되는 제2 클럭 신호(H)에 따라 동기화된다.

도 2는 위에 언급된, 발명의 신호 동기화의 특별한 비제한적 예를 도시한 것이다. 이 도면에서, "화소" 데이터 버스 상에서 천이하는 데이터는 나타내지 않았다.

도 2를 참조하면, 연속적인 캡처 동작들은 순환적이고, 두 연속적인 캡처 동작들의 시작 사이에 시간 간격(t)의 길이와 동일한 캡처 시간(T)(T=1/F)을 정의하는 주파수(F)로 타이밍이 맞추어진다.

특히, 상기 도 2에서, 이미지 캡처 장치(C₁, C₂, C₃)의 각각의 신호 "프레임 유효"의 상승에지는, 이미지 캡처 장치(C₁, C₂, C₃) 각각의 "화소" 데이터 버스 상에서, 이미지 캡처 장치(C₁, C₂, C₃)에 의해 캡처된 이미지의 화소들의 송신의 시작을 동기화한다. 이미지 캡처 장치(C₁, C₂, C₃) 각각의 신호 "프레임 유효"의 하강에지는, "화소" 데이터 버스 상에서, 상기 이미지 캡처 장치(C₁, C₂, C₃)에 의해 캡처된 이미지의 화소 송신의 끝을 나타내다. 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송된 "프레임 유효" 신호의 상기 상승(및 각각 하강) 에지는 타임라인 상에서 약간 오프셋된다.

이미지 캡처 장치(C₁, C₂, C₃)의 "라인 유효" 신호는 "프레임 유효" 신호의 각 상승에지와 동기화되고, 한 라인의 이미지 화소들의 송신의 시작을 나타낸다. "라인 유효" 신호의 각 하강에지는 한 라인의 이미지 화소들의 송신의 끝을 나타낸다. 3개의 이미지 캡처 장치(C₁, C₂, C₃)의 각 "화소" 데이터 버스 상에 각 송신된 이미지의 화소들은 각각 이미지 캡처 장치(C₁, C₂, C₃) 각각에 의해 전송되는 각 클럭 신호 "H_sensor"을 사용하여, 전자 처리 수단(10)을 사용하여, 병렬로 샘플링된다.

도 2를 참조하면, 전자 처리 수단(10)에 의해 전송되는 "프레임 유효" 신호의 상승에지는 전자 처리 수단의 "화소" 데이터 버스 상에서, 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송되는 화소들을 사용하여 렌더링된 최종의 파노라마 이미지의 송신의 시작을 동기화한다. 상기 상승에지는 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송되는 "프레임 유효" 신호의 상승에지를 사용하여 전자 처리 수단(10)에 의해 자동으로 발생되며, 더 특히 마지막 발생된 상승에지, 즉 도 2의 특정 예에서, 이미지 캡처 장치(C₁)에 의해 전송되는 "프레임 유효" 신호의 상승에지의 검출시 발생된다.

전자 처리 수단(10)에 의해 전송되는, "프레임 유효" 신호의 하강에지는 전자 처리 수단(10)의 "화소" 데이터 버스 상에서, 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송된 화소들을 사용하여 렌더링된 최종의 파노라마 이미지의 송신의 끝을 동기화한다.

전자 처리 수단(10)에 의해 전송되는 "라인 유효" 신호는 전자 처리 수단(10)에 의해 전송되는 "프레임 유효" 신호의 각 상승에지와 동기화되고, 파노라마 이미지의 한 라인의 화소들의 송신의 시작을 나타낸다. 전자 처리 수단(10)에 의해 전송되는 "라인 유효" 신호의 각 하강에지는 파노라마 이미지의 한 라인의 화소들의 송신의 끝을 나타낸다.

전자 처리 수단(10)의 "화소" 데이터 버스 상에 각 파노라마 이미지의 화소들의 기입은 전자 처리 수단(10)에 의해 발생되고 상기 데이터 버스 상에 화소들을 판독하기 위해 또 다른 외부 전자 장치(예를 들면 장치(11))에 의해 사용될 수도 있는 클럭 신호 "H"에 따라 동기화된다.

발명의 대안적 실시예에 따라, 전자 처리 수단(10)에 의해 전송되는 클럭 신호 "H"는 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송되는 "H_sensor" 클럭 신호와 동기되거나 비동기될 수 있다. "H" 클럭 신호의 주파수는 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송되는 "H_sensor" 클럭 신호와 같거나 다를 수 있다. 바람직하게는, "H" 클럭 신호의 주파수는 도 2에 도시된 바와 같이, 이미지 캡처 센서(C₁, C₂, C₃)에 의해 전송되는 "H_sensor" 신호의 주파수보다 크다.

도 2의 특별한 경우에, 각 캡처 동작에 있어서, 3 이미지 캡처들은 이미지 캡처 장치(C₁, C₂, C₃)를 사용하여 병렬로 수행되고, 이 특별한 경우에, 시간 간격(t)은 이미지 캡처 장치(C₁)의, 즉 이의 "화소" 데이터 버스 상에 화소를 먼저 송신하는 이미지 캡처 장치의 "프레임 유효" 신호의 두 연속된 상승에지들을 분리하는 시간 간격이다.

두 연속적인 이미지 캡처 동작들의 시작을 분리하는 상기 시간 간격(t) 동안에, 전자 처리 수단(10)은:

(a) 각 캡처된 이미지의 화소를 사용하여 최종의 파노라마 이미지를 렌더링하기 위해서, 상기 화소를 디지털 방식으로 처리하는데; 도 1의 아키텍처 및 도 2의 신호에 대해서, 이들은 이미지 캡처 장치(C₁, C₂, C₃)의 "화소" 데이터 버스 상에, 전자 처리 수단(10)에 송신되는 화소이며;

(b) 최종의 파노라마 이미지를 발생하는데; 도 1의 아키텍처 및 도 2의 신호에 대해서, 이들은 시간(t)의 상기 간격 동안 발생되는, 전자 처리 수단에 의해 전송되는, "프레임 유효" 신호의 상승에지 및 하강에지에서, 이들의 "화소" 데이터 버스 상에서, 전자 처리 수단(10)에 의한 출력으로서 전송되는 화소이다.

이에 따라, 연속한 파노라마 이미지들의 스트림은 이미지 캡처의 연속한 동작들과 동일한 레이트로 전자 처리 수단에 의해 실시간으로 발생된다. 예를 들면, 이미지 캡처 장치(C₁, C₂, C₃)가 초당 25 이미지를 전송하게 설계된다면, 2개의 연속한 이미지 캡처 동작들 사이에 각 시간 간격(t)의 캡처 시간(T)은 40 ms와 같으며, 이는 25 Hz의 캡처 주파수(F)에 대응하며, 전자 처리 수단은 또한 초당 25 파노라마 이미지를 발생한다(매 40 ms마다 한 파노라마 이미지).

캡처 시간(T)(두 연속적인 이미지 캡처 동작들 사이의 각 시간 간격(t)의 길이)는 이미지 캡처 장치(C₁, C₂, C₃)의 기술에 따를 것이다. 실제로, 캡처 시간(T)는 바람직하게는 1초 미만이거나 이와 동일할 것이며, 훨씬 더 바람직하게는 100 ms 미만이거나 이와 동일할 것이다.

바람직하게는, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안 발생되는 최종의 파노라마 이미지는 이 동일 시간 간격(t)의 경과 동안 화소의 디지털 처리 (a)로부터 생긴다. 이 경우에, 각 연속한 파노라마 이미지는 실시간으로 그리고 특정 파노라마 이미지를 렌더링하기 위해 사용되었던 이미지 캡처와 거의 동시에, 그리고 후속되는 파노라마 이미지를 렌더링하기 위해 사용될 후속 이미지 캡처 동작들에 앞서 발생된다.

또 다른 대안적 실시예에서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안 발생되는 최종의 이미지는 이전의 시간 간격(t), 그리고 예를 들면 선행 시간 간격(t) 동안 행해지는 화소의 디지털 처리 (a)로부터 생긴다. 이 경우에, 각 연속한 파노라마 이미지는 실시간으로, 그리고 파노라마 이미지를 렌더링하기 위해 사용되었던 이미지 캡처에 관하여 약간 타이밍 오프셋을 갖고 발생된다.

또 다른 대안적 실시예에서, 각 파노라마 이미지의 발생은 주어진 캡처 사이클 (N) 동안 시작할 수 있고(전자 처리 수단(10)에 의해 전송된 "프레임 유효" 신호의 상승에지), 다음 캡처 사이클 (N+1) 동안 끝낼 수 있다(전자 처리 수단(10)에 의해 전송된 "프레임 유효" 신호의 하강에지). 바람직하게는, 필수는 아니나, 전자 처리 수단(10)에 의해 전송되는, "프레임 유효" 신호의 상승에지와 하강에지 사이의 시간 간격은 캡처 시간(T) 미만이거나 이와 같다.

각 이미지 캡처 동작 동안 수행되는 화소의 처리 (a)는 이미지 캡처 사이클에 관하여 타임라인 상에서 오프셋될 수 있다. 바람직하게는, 필수는 아니나, 최종의 파노라마 이미지의 렌더링을 위해 사용될, 이미지 캡처 동작 동안, 모든 캡처된 이미지로부터 화소에 대한 처리 시간은 캡처 시간(T) 미만이거나 이와 같다. 예를 들면, N 캡처 사이클 동안 캡처되는 이미지를 사용하여 최종의 파노라마 이미지를 형성하기 위해서, 화소의 처리 (a)는 후속되는 이미지 캡처 사이클 동안, 예를 들면 N+1 이미지 캡처 사이클 동안 전자 처리 수단(10)에 의해 수행될 수 있다.

전자 처리 수단(10)은, 발명에 따라 차별없이, 이를테면 예를 들어 FPGA 유형의 하나 또는 몇개의 프로그램가능 회로, 및/또는 ASIC 유형의 하나 또는 몇개의 특정 회로, 혹은 프로그램가능 처리 유닛, -이의 전자 아키텍처는 마이크로-제어기 또는 마이크로프로세서를 구현한다- 와 같은 전자 회로의 임의의 공지된 수단을 사용하여 구현될 수 있는 전자 디지털 방식으로 프로그램된 데이터 처리 유닛을 포함한다.

도 1에 도시된 발명의 특정한 변형예에서, 전자 처리 수단(10)에 의해 한 세트의 화소들로서 전송되는 연속된 파노라마 이미지들의 스트림은, 예를 들면, DPS-형 회로를 포함하고 필름 포맷으로 파노라마 이미지들의 스트림을 메모리에 저장하고 및/또는 실시간으로 스크린 상에 디스플레이할 수 있게 하는, 추가의 전자 처리 수단(11)에 의해 처리된다.

발명의 또 다른 변형예에서, 추가의 전자 처리 수단(11)은 스트림으로부터 하나 또는 몇개의 파노라마 이미지의 추출 수단으로서, 전자 처리 수단(10)에 의해 전송되는 연속된 파노라마 이미지들의 스트림을 처리하게 설계될 수 있다.

일반적으로, 특정한 대안적 실시예에서, 각 이미지 캡처 장치(C₁, C₂, C₃)는 캡처 매트릭스에 연결된 "어안" 렌즈 유형의 광학 수단을 포함하고, 각 캡처된 이미지는 이미지 캡처 동안 상기 이미지 캡처 장치의 공간 상에 방위에 특정한, 일반적으로 "요", "피치" 및 "롤"이라 하는, 3 세트의 공간 상에 방위 정보에 의해 특징지워진다.

도 3을 참조하면, "어안" 렌즈는 유효 구형 중앙 검출 표면(도 3에서 회색 표면과 백색 표면)을 나타내며, 이미지 센서에 의해 캡처되는 이미지의 유효 화소는 이미지 캡처 장치의 검출 표면의 한 부분만의(도 3 - 864 화소 x 900 화소)의 2차원 투사로부터 기인하는 것으로 알려져 있다.

이에 따라, 일반적으로, 이미지 캡처 장치(C₁, C₂, 또는 C₃)에 의해 캡처된 이미지를 나타내는 각 화소 매트릭스는 이미지 캡처 장치(C₁, C₂, 또는 C₃)에 의해 "보여진", 구형 3D 표면 부분의 2차원 투사로부터 생긴다. 이 2차원 투사는 각 이미지 캡처 장치(C₁, C₂, 또는 C₃)에, 그리고 특히, 이미지 캡처 장치(C₁, C₂, 또는 C₃)의 광학 수단에, 그리고 이미지 캡처 동안 이미지 캡처 장치(C₁, C₂, 또는 C₃)의 공간 상에 방위("요", "피치" 및 "롤")에 따른다.

예시 목적을 위해서, 이미지 캡처 장치(C_i)(예를 들면 도 1의 이미지 캡처 장치(C₁, C₂ 또는 C₃))에 의해 캡처된 이미지에 대응하는 화소 매트릭스를 도 4에 나타내었다. 상기 도면에서, 흑색 화소는 이미지 캡처 장치(C_i)의 "어안" 렌즈의 유효 중앙 원형 부분 밖에 위치된 화소들에 대응한다. 이미지 캡처 장치(C_i)를 사용하여 상기 캡처된 이미지의 각 화소는, 이미지 캡처 장치(C_i)의 "어안" 렌즈에 의해 "보여진" 구형 3D 표면 부분의 위에 언급된 2차원 투사에 대응하고 이미지 캡처 센서(C_i)에 특정한 것인, "매핑"이라 하는 동작으로부터 생긴다.

발명 이전에, 각 이미지 캡처 장치(C_i)에 의해 캡처된 이미지를 사용하여 파노라마 이미지를 렌더링하기 위해서, 상기 이미지는 최종의 연속한 파노라마 이미지를 얻기 위해서, 이들의 중첩하는 영역의 레벨에서, 대개는 이미지들의 디지털 "스티치"를 통해 병치되었다. 종래 기술에서 적용된 이러한 유형의 디지털 스티치는 최종의 파노라마 이미지 상에 유지되는 화소의 2차원 투사를 수정하지 않는다는 것을 이해하는 것이 중요하다.

본원에 발명에서, 종래 기술의 위에 언급된 디지털 스티치와는 반대로, 최종의 파노라마 이미지를 렌더링하기 위해서, 각 센서(C_i)에 의해 캡처된 각 이미지의 유효 화소는, 바람직하게는 이미지 캡처 장치(C_i)의 이미지 상에 2차원 투사와는 상이하고 상기 화소가 도출되는 새로운 2차원 투사에 보내졌을 때, 상기 화소의 적어도 한 부분이 최종의 파노라마 이미지 상에 재-매핑되어, 최종의 파노라마 이미지 상에 재-매핑된다. 이에 따라, 단일의 가상의 파노라마 이미지 캡처 장치는 이미지 캡처 장치(C₁, C₂, 또는 C₃)를 사용하여 렌더링된다. 화소의 이 재-매핑은, 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 화소가 유지되었을 때, 이를 최종의 파노라마 이미지 상에 각 위치에 대해 가중 팩터를 갖고, 최종의 파노라마 이미지 상에 하나 또는 몇개의 위치에 할당하는 것으로 이루어진, 각 캡처된 이미지의 각 화소의 처리 (a)를 통해 자동으로 수행된다.

도 4에 최종의 파노라마 이미지의 부분만을 나타내었고, 상기 부분은 파노라마 이미지의 부분에 대응하는 것으로, 단일 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 화소들의 재-매핑으로부터 생긴다.

상기 도 4를 참조하면, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 제1 라인 상에 위치된 화소(P₁ _,8)는 예를 들면 최종의 파노라마 이미지의 제1 라인 상에 4개의 서로 상이한 인접 위치들에 4개의 화소(P₁ _,9, P₁ _,10, P₁ _,11, P₁ _,12)로서 최종의 파노라마 이미지 상에 재-매핑되는데, 이는 이 이미지를 원 이미지에서 최종의 파노라마 이미지로 풀 어파트(pull apart)하는 것으로서 바뀐다. 이에 따라, 최종의 파노라마 이미지 상에 이 화소(P₁ _,8)의 매핑은 최종의 파노라마 이미지 상에 이 화소의 2차원 투사에 대응하며, 이는 이미지 처리 장치에 의해 캡처된 원 이미지 상에 이 화소의 2차원 투사와는 다르다. 최종의 파노라마 이미지 상에 화소의 이 풀 어파트는 예를 들면 상측 에지 인근에 이미지 캡처 장치의 "어안" 렌즈의 광학 왜곡을 부분적으로 혹은 전체적으로 보상하기 위해 잇점이 있게 실시될 수도 있다. 화소의 동일한 풀 어파트는 하측 에지에 위치된 화소들에 대해 잇점이 있게 실시될 수 있다.

비교 목적을 위해서, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 중앙 화소(P₈ _,8)는 이미지 캡처 장치의 "어안" 렌즈가 렌즈의 중심에서 어떠한 광학 왜곡도 야기하지 않거나 거의 하지 않기 때문에, 최종의 파노라마 이미지 상에 동등하게 고유 화소(P₁₁ _,11)로서 재-매핑된다.

센서(C_i)에 의해 캡처된 이미지의 하측 좌측 영역 상에 위치된 화소(P₁₀ _,3)는 예를 들면 최종의 파노라마 이미지의 2개의 인접한 라인 상에 3개의 인접하고 서로 다른 위치들에 3개의 화소(P₁₇ _,4, P₁₈ _,4, P₁₈ _,5)로서 최종의 파노라마 이미지 상에 재-매핑되며, 이는 원 이미지의 이 화소(P₁₀ _,3)에 대해 두 방향으로 최종의 파노라마 이미지 내에 확대로서 바뀐다. 이에 따라, 최종의 파노라마 이미지 상에 이 화소(P₁₀ _,3)의 매핑은 최종의 파노라마 이미지 상에 이 화소의 2차원 투사에 대응하며, 이는 이미지 캡처 장치에 의해 캡처된 원 이미지 상에 이 화소의 2차원 투사와는 다르다.

이미지 캡처 센서(C_i)로부터 최종의 파노라마 이미지 상에 원 이미지의 각 화소의 이 재-매핑 동작 동안에, 화소가 최종의 파노라마 이미지 상에 유지 또는 회복되지 않을 것이 가능하다. 이것은 예를 들면 적어도 2개의 이미지 캡처 장치에 의해 캡처된 이미지의 중첩하는 영역 내 위치된 화소들에서 일어난다. 이미지 캡처 장치의 중첩 영역에서, 단일의 화소만이 센서들 중 하나로부터 유지될 것이며, 다른 센서들에 대응하는 다른 화소들은 유지되지 않을 것이다. 발명의 또 다른 변형예에서, 적어도 두 이미지 캡처 장치의 중첩 영역에서, 원 이미지 화소의 평균 또는 조합을 사용하여 최종의 이미지 화소를 렌더링하는 것이 가능하다.

화소의 재-매핑 동작 동안에, 화소가 유지되고 최종의 파노라마 이미지 상에 하나 또는 몇개의 서로 다른 위치들에 할당되어졌을 때, 상기 할당은 바람직하게는, 최종의 파노라마 이미지 상에 각 위치에 대해, 즉 최종의 파노라마 이미지의 각 화소에 대해 0 내지 100% 범위의 가중 팩터를 사용하여 수행된다. 상기 가중 패토링 프로세스, 및 이 저변에 이유는 도 5를 참조하여 더 잘 이해될 것이다.

도 5를 참조하면, 최종의 파노라마 이미지의 화소(P_i _,j) 각각의 중심(C)은 실제로는 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 화소의 중심에 대응하지 않으며, 그보다는 이것은 기하학적으로 이미지 캡처 장치(C_i)에 의해 캡처된 이미지 상에 특정한 실제 위치(P)에 대응하는데, 이는 도 4에 나타낸 이 특정 예에서, 하측 코너의 근접 내에서, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 화소(P₁)의 좌측으로 탈중심이 된다. 이에 따라, 이 특정 예에서 화소(P_i _,j)는 예를 들면 각 화소(P₁, P₁, P₂, P₃, P₄)의 중심에 관하여 위치(P)의 무게중심을 고려하여, 각 화소(P₁, P₂, P₃, P₄)에 대해 가중 팩터링하여, 화소(P₂)를 사용할 뿐만 아니라, 이웃한 화소들(P₁, P₃, P₄)을 사용하여 렌더링될 것이다. 이 특정한 예에서, 화소(P_i _,j)는 예를 들면 25% 화소(P₁), 35% 화소(P₂), 15% 화소(P₃)및 5% 화소(P₄)로 구성된다.

발명은 모든 유형의 이미지 포맷: RAW, YUV 및 RGB 파생들에 적용한다. 컬러 렌더링이 이미 수행되어진(각 이미지 화소에 대한 R, G. B 정보로서 알려진) RGB 이미지의 경우에 있어서, 위에 언급된 가중 팩터링은 인접 화소들을 사용하여 구현될 것이다.

그러나, 각 화소가 한 비색 성분만을 나타내는 RAW 이미지의 경우에 있어서, 위에 언급된 가중 팩터링은 최종의 파노라마 이미지의 화소와 동일한 컬러의 근위의 화소들을 사용하여 구현될 것이다. RAW 포맷에 대한 가중 팩터링의 이 특정한 경우는 도 6a 내지 도 6i을 참조하여 더 잘 이해될 것이다.

도 6a 내지 도 6i은 RAW-유형 포맷으로 코딩된 화소들의 경우에 대해 최종의 파노라마 이미지의 화소(P_i _,j)와 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 화소 매트릭스 간에 대응의 여러가지 경우들을 나타낸다. 상기 도면에서, R, G, B 문자들은 각각 적색, 녹색, 청색 화소에 대응한다. W_i은 이미지 캡처 장치에 의해 캡처된 원 이미지의 화소(R_i _,G_i 또는 B_i)의 최종의 이미지 상에 가중 팩터이다.

도 6a는 최종의 파노라마 이미지의 적색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 청색 화소(B) 상에 있는 이미지 캡처 장치(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다. 이 경우에, 최종의 파노라마 이미지의 상기 적색 화소(P_i _,j)는 각각 가중 팩터(W₁, W₂, W₃, W₄)을 적용함으로써, 상기 청색 화소(B)에 인접한 적색 화소(R₁, R₂, R₃, R₄)를 사용하여 렌더링될 것이다. 예를 들면 이들 가중 팩터(W₁, W₂, W₃, W₄)의 값들은 각 화소(R₁, R₂, R₃, R₄)의 중심에 관하여 위치(P)의 무게중심에 의존할 것이다. 예를 들면, 위치(P)가 화소(P)의 중심에 위치된다면, 이 경우에 모든 가중 팩터(W₁, W₂, W₃, W₄)는 25%와 같게 될 것이다.

도 6b는 최종 파노라마 이미지의 청색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 적색 화소(R) 상에 있는 센서(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다.

도 6c는 최종의 파노라마 이미지의 녹색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 청색 화소(B) 상에 있는 센서(C_i)에 의해 캡처된 이미지의 실제 위치(P)에 대응하는 경우에 대응한다.

도 6d는 최종의 파노라마 이미지의 녹색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 적색 화소(R) 상에 있는 센서(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다.

도 6e는 최종의 파노라마 이미지의 녹색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 녹색 화소(G₅) 상에 있는 센서(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다.

도 6f는 최종의 파노라마 이미지의 적색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 녹색 화소(G) 상에 있는 센서(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다.

도 6g는 최종의 파노라마 이미지의 청색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 녹색 화소(G) 상에 있는 센서(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다.

도 6h는 최종의 파노라마 이미지의 적색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 적색 화소(R₅) 상에 있는 이미지 캡처 장치(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다.

도 6i는 최종의 파노라마 이미지의 청색 화소(P_i _,j)의 중심이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 청색 화소(B₅) 상에 있는 센서(C_i)에 의해 캡처된 이미지 내 실제 위치(P)에 대응하는 경우에 대응한다.

마지막으로, 이미지의 코딩 포맷에 관계없이, 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 각 화소의 최종의 파노라마 이미지에 대한, 재-매핑 프로세스는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 화소가 유지되었을 때, 이를, 최종의 파노라마 이미지의 각 위치(즉, 각 화소에 대해)에 대한 기정의된 가중 팩터를 갖고 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 서로 다른 위치들에 할당하는 것으로 이루어진다. 본원에서, 최종의 파노라마 이미지 상에 "위치"의 개념은 최종의 파노라마 이미지 상에 "화소"의 개념과 맞는다.

발명에 따라, 화소들의 합리적 재-매핑이 행해졌을 때, 예를 들면 각 이미지 캡처 장치(C_i)의 각 렌즈의 최종의 이미지 상에 적어도 부분적으로 이들 왜곡을 정정하는 것이 가능하다.

또한 발명에 따라, 추가의 전자 처리 수단(11)은 이미지 캡처 장치(C₁, C₂, C₃) 및 전자 처리 수단(10)을 예를 들면 파노라마 이미지를 위한 고유한 가상 센서로서 본다. 결국, 추가의 전자 처리 수단(11)은 예를 들면 전자 처리 수단(10)에 의해 전송된 최종의 파노라마 이미지를 위한 기지의 이미지 처리 알고리즘(특히 백색 밸런싱, 노출 시간 및 이득 관리를 위한 알고리즘들)을 구현할 수 있는데, 이것은, 적용할 수 있는 때는 언제든, 파노라마 이미지의 렌더링에 앞서, 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송된 각 이미지에 대한 이미지의 처리를 위한 이들 알고리즘의 구현과 비교하여, 특히 비색법, 백색 밸런스, 및 노출 시간과 이득에 관하여 더 균질한 최종의 이미지를 얻을 수 있게 한다.

단지 예시 목적을 위해, 그리고 발명의 범위를 제한함이 없이, "어안" 렌즈의 광학 왜곡 및 이의 공간 내 놓인 방위(요, 피치 및 롤)를 감안하기 위해서, "어안" 렌즈의 원 이미지의 라인(L)로부터 재-매핑하는 화소의 특정한 예를 도 7a 내지 도 7d에 나타내었다. 재-매핑은 "어안" 렌즈(도 7a, 도 7b, 도 7c)의 중심과 하측 에지 및 상측 에지에 비교하여 라인(L)의 위치에 따르거나, "어안" 렌즈(도 7d)의 공간 상에 방위에 따른다.

각각 3 이미지 센서(C₁, C₂, C₃)에 의해 캡처된 3 이미지(I₁, I₂, I₃), 및 이미지(I₁, I₂, I₃)의 화소의 재-매핑으로부터 비롯되는 최종의 파노라마 이미지(I)의 특정한 예를 도 8에 나타내었다.

발명의 관점에서, 예를 들면 최종의 파노라마 이미지에 특수효과를 자동으로 넣기 위해, 이미지 캡처 장치(C₁, C₂, C₃)의 2차원 투사와는 다른 임의의 유형의 2차원 투사의 구현을 통해 최종의 파노라마 이미지를 렌더링하기 위해 화소 재-매핑을 사용하는 것이 가능하다. 특히, 다음 공지의 투사가 구현될 수 있다:

- 평면 또는 직선 투사

- 원통 투사

- 메르카토르 투사

- 구형 또는 정방형 투사

재-매핑 동작을 할 수 있게 하기 위해서, 당업자는, 경우별로, 각 이미지 캡처 장치(Ci)의 각 화소의 재-매핑, 각 이미지 캡처 장치(Ci)의 각 화소에 대해 이 화소가 유지되었는지 여부의 판정, 이 경우에 최종의 파노라마 이미지에 대응하는 화소 또는 이들 화소, 및 최종의 파노라마 이미지의 각 화소에 대해 이 원 화소의 가중 팩터를 사전에 정의해야 한다.

이 재-매핑은 예를 들면 밑에 유형의 대응 테이블로서 구현될 수 있는 것으로, 최종의 파노라마 이미지의 화소(P_Xpano, _Ypano) 상에 화소(P_X _,Y)의 가중 팩터(W)를 갖고 최종의 파노라마 이미지 상에 하나 또는 몇개의 화소(P_Xpano, _Ypano)를, 최종의 파노라마 이미지 상에 유지되는 각 이미지 캡처 장치(C_i)의 각 화소(P_X _,Y)에 할당한다. 아래 테이블에서, 명확성을 위해서, 도 4에 예시된 특정한 화소들만을 예시 목적을 위해 포함하였다.

센서( C _i )

이미지 센서 화소 파노라마 이미지 화소 가중% 팩터(W)

X Y Xpano Ypano

... ... ... ... ...

1 8 1 9 15

1 8 1 10 25

1 8 1 11 35

1 8 1 12 15

... ... ... ... ...

1 8 11 11 100

... ... ... ... ...

10 3 17 4 25

10 3 18 4 15

10 3 18 5 50

... ... ... ... ...

도 1에 나타낸 아키텍처의 특별한 경우에 있어서, 각 이미지 캡처 장치(C₁, C₂, C₃)의 각 화소의 최종의 파노라마 이미지 상에, 재-매핑 동작은 메모리들 중 하나에 저장된 대응 테이블에 기초하여, 전자 처리 수단(10)을 사용하여 자동으로 수행된다. 발명의 또 다른 변형예에서, 각 이미지 캡처 장치(C₁, C₂, C₃)의 각 화소의 최종의 파노라마 이미지 상에 재-매핑 계산은 또한 메모리에 저장된, 캘리브레이션 및 동적 계산 알고리즘을 사용하여, 전자 처리 수단(10)으로 자동으로 수행될 수 있다.

도 1의 예에서, 재-매핑 동작으로부터 비롯되는 파노라마 이미지의 각 화소 (P_Xpano, _Ypano)는 전자 처리 수단(10)에 의해 전송되는 "H" 클럭 신호에 따라 동기화되면서, 전자 처리 수단(10)("화소")의 출력으로서 전송된다. 대안적 실시예에 따라, 전자 처리 수단(10)에 의해 전송되는 "H" 클럭 신호는 이미지 센서(C₁, C₂, C₃)에 의해 전송되는 "H_sensor" 클럭 신호로 동기되거나 비동기될 수 있다.

도 1의 아키텍처의 한 잇점은 추가의 전자 처리 수단(11)이 단일의 가상의 파노라마 센서로서, 이미지 센서(C₁, C₂, C₃) 및 전자 처리 수단(10)을 "간주"할 수 있게 한다는 것이다.

도 1의 장치는 화소가 전자 처리 수단(10)에 의해 획득되었을 때 이들의 실시간 재-매핑을 수행하기 위해 잇점이 있게 사용될 수 있다.

발명은 3개의 고정된 이미지 캡처 장치(C₁, C₂, C₃)의 구현으로 제한되지 않으며, 그보다는 더 일반적으로, 적어도 2개의 고정된 이미지 캡처 장치(C₁, C₂)로 구현될 수 있다.

또한, 발명의 관점에서, 단일의 모바일 이미지 캡처 장치를 사용하는 것이 예상되고, 각 이미지 캡처는 모바일 이미지 캡처 장치(C₁, C₂, C₃)의 상이한 방위 및/또는 위치에 대응한다.

기술된 실시예의 특별한 변형예에서, 캡처 주파수(F)는 이미지 캡처 장치(C₁, C₂, C₃)의 캡처 주파수와 동일하다. 또 다른 변형예에서, 캡처 주파수(F)는 이미지 캡처 장치(C₁, C₂, C₃)의 캡처 주파수 미만일 수 있고, 전자 처리 수단은 예를 들면 센서 각각에 의해 전송되는, m 이미지(m≥2) 중 한 이미지만을 처리하는데, 이는 이미지 캡처 장치(C₁, C₂, C₃)에 의해 전송되는 이미지의 주파수 미만인 연속적인 캡처 동작들의 주파수에 대응한다.

발명은 파노라마 이미지의 렌더링으로 제한되지 않는다. 이것은 또한 스테레오스코픽 이미지의 렌더링에 적용될 수도 있다.

Claims

장면의 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 프로세스에 있어서, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 화소 포맷으로, 상기 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들이 상기 이미지들이 중첩하거나 없이 수행되고, 상기 연속적인 캡처 동작들은 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 행해지며; 각 캡처 동작에 있어서 (a) 각 이미지의 상기 화소들은 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서 디지털 방식으로 처리되고, (b) 최종의, 이전에 형성된, 파노라마 혹은 스테레오스코픽 이미지는 상기 캡처 시간(T) 미만이거나 동일한 기간 동안에 발생되며; 각 캡처된 이미지의 각 화소의 상기 디지털 처리 시간 (a)은 적어도, 상기 화소를 유지 또는 폐기하는 것과, 상기 화소가 유지되었을 때, 이를 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 기정의된 가중 팩터(W)를 사용하여, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 내에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진 것을 특징으로 하는, 프로세스.
제1항에 있어서, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들은 상기 캡처 주파수(F)와 동일한 주파수로 발생되는, 프로세스.
제1항 또는 제2항에 있어서, 상기 캡처 시간(T)은 1s 미만이거나 같으며, 바람직하게는 100 ms 미만이거나 이와 같은, 프로세스.
제1항 내지 제3항 중 어느 한 항에 있어서, 각 최종의 파노라마 혹은 스테레오스코픽 이미지는 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 연속적으로 발생되는, 프로세스.
제4항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 상기 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 동일한 상기 시간 간격(t) 동안 발생하는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제4항에 있어서, 2개의 연속한 이미지 캡처 동작들의 상기 시작을 분리하는 상기 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 선행 시간 간격(t) 동안 수행되는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제1항 내지 제6항 중 어느 한 항에 있어서, 각 화소의 상기 디지털 처리는 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 수행되는, 프로세스.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 캡처된 이미지들로부터 몇몇 화소들 각각에는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들이 할당되는, 프로세스.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 캡처된 이미지들로부터 몇몇 화소들 각각에는 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 적어도 한 위치가 할당되는, 프로세스.
제1항 내지 제9항 중 어느 한 항에 있어서, 장면의 적어도 두 서로 다른 이미지들은 적어도 두 이미지 캡처 장치들(C₁, C₂)을 사용하여 캡처되는, 프로세스.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 장면의 적어도 3개의 서로 다른 이미지들은 적어도 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 사용하여 캡처되는, 프로세스.
제1항 내지 제11항 중 어느 한 항에 있어서, 각 이미지 캡처 장치(C_i)는 적어도, 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을 각 이미지에 대한 출력으로서 전송하게 설계되고, 각 최종의 파노라마 혹은 스테레오스코픽 이미지는, 적어도, 제2 클럭 신호(H)에 따라 동기화된 화소들의 스트림으로서 전송되는, 프로세스.
제12항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 (H_sensor) 클럭 신호들의 각각과 비교하여 비동기되는, 프로세스.
제12항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들) (H_sensor)와 동기되는, 프로세스.
제1항 내지 제14항 중 어느 한 항에 있어서, 적어도 한 이미지 캡처 장치를 사용하여 캡처된 이미지의 상기 화소들의 상기 디지털 처리는, 사전에 저장된 대응 테이블, 캡처된 이미지의 각 화소에 대해, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 이 특정한 화소의 상기 대응하는 위치(들)의 코딩, 및 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 가중 팩터(W)를 갖고, 각 위치에 대해, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 코딩을 사용하여 수행되는, 프로세스.
파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 장치에 있어서, 상기 장치는 화소 셋 포맷으로 적어도 두 서로 다른 이미지들을 캡처할 수 있게 하는 하나 또는 몇개의 이미지 캡처 장치들(C_i), 및 상기 캡처된 이미지들을 사용하여 파노라마 혹은 스테레오스코픽 이미지를 렌더링할 수 있게 하는 전자 처리 수단(10)을 포함하며, 상기 전자 처리 수단(10)은 상기 이미지 캡처 장치(들)을 사용하여, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들을, 두 연속적인 캡처 동작들의 시작 사이에 캡처 시간(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트 (F)로, 상기 이미지들이 중첩하거나 없이 수행할 수 있게 하며; 상기 전자 처리 수단(10)은, 각 캡처 동작에 있어서, (a) 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서, 각 캡처된 이미지의 상기 화소들을 디지털 방식으로 처리하고, (b) 이전에 형성된 최종의 파노라마 혹은 스테레오스코픽 이미지를 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 동안 발생하기에 적합하며; 상기 전자 처리 수단(10)을 사용하여, 각 이미지의 각 화소의 상기 디지털 처리는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 이를, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)을 사용하여, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진 것을 특징으로 하는, 장치.
제16항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처 주파수 레이트(F)와 동일한 주파수 레이트로 연속하여 최종의 파노라마 혹은 스테레오스코픽 이미지들을 발생하기에 적합한, 장치.
제16항 또는 제17항에 있어서, 상기 캡처 시간(T)는 1s 미만이거나 이와 같으며, 바람직하게는 100 ms 미만이거나 이와 같은, 장치.
제16항 내지 제18항 중 어느 한 항에 있어서, 상기 전자 처리 수단은 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안, 각 최종의 파노라마 혹은 스테레오스코픽 이미지를 연속적으로 발생되게 설계된, 장치.
제19항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 상기 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 동일한 상기 시간 간격(t) 동안 상기 화소들의 디지털 처리로부터 생기는, 장치.
제19항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 이전 시간 간격(t) 동안 상기 화소들의 디지털 처리로부터 생기는, 장치.
제16항 내지 제21항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 각 화소를 처리하게 설계된, 장치.
제16항 내지 제22항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들로부터 몇몇 화소들을 이 각각에 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들을 할당함으로써 처리하게 설계된, 장치.
제16항 내지 제23항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들로부터 몇몇 화소들 각각에, 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 이미지 상에 적어도 한 위치를 할당함으로써 처리하게 설계된, 프로세스.
제16항 내지 제24항 중 어느 한 항에 있어서, 적어도 두 이미지 캡처 장치들(C₁, C₂)을 포함하는, 장치.
제16항 내지 제24항 중 어느 한 항에 있어서, 적어도 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 포함하는, 장치.
제16항 내지 제25항 중 어느 한 항에 있어서, 각 이미지 캡처 장치(C_i)는 적어도 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을 각 이미지에 대한 출력으로서 전송하게 설계되고, 상기 전자 처리 수단은, 적어도, 제2 클럭 신호(H)에 따라 동기화된 화소들의 스트림으로서 각 최종의 파노라마 혹은 스테레오스코픽 이미지를 전송하기에 적합한, 장치.
제27항에 있어서, 상기 제2 클럭 신호(H)는 각 제1 클럭 신호(H_sensor)와 비교하여 비동기인, 장치.
제27항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들)(H_sensor)과 동기되는, 장치.
제16항 내지 제29항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 사전에 저장된 대응 테이블, 적어도 한 이미지 캡처 장치(C_i)에 의해 캡처된 이미지의 각 화소에 대해서, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 대응하는 위치(들)의 코딩, 및 각 위치에 대해, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 코딩을 포함하는, 장치.
제16항 내지 제30항 중 어느 한 항에 있어서, 상기 장치는 휴대형인 것을 특징으로 하는, 장치.
장면의 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 프로세스에 있어서, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 상기 이미지들이 중첩하거나 없이, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들이 수행되며, 상기 이미지 캡처 동작들 동안에, 상기 캡처된 이미지들의 상기 화소들은 파노라마 혹은 스테레오스코픽 이미지들을 형성하기 위해 디지털 방식으로 처리되고, 파노라마 혹은 스테레오스코픽 이미지들의 스트림이 생성되며, 각 캡처된 이미지의 각 화소의 상기 디지털 처리는, 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 상기 화소가 유지되었을 때, 이를 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 기정의된 가중 팩터(W)을 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진 것을 특징으로 하는, 프로세스.
제32항에 있어서, 상기 연속적인 캡처 동작들은 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 타이밍이 맞추어지는, 프로세스.
제33항에 있어서, 각 캡처 동작에 있어서, (a) 각 캡처된 이미지의 상기 화소들은 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서 디지털 방식으로 처리되고, (b) 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 내에 발생되는, 프로세스.
제32항 내지 제34항 중 어느 한 항에 있어서, 상기 연속적인 캡처 동작들은 상기 두 연속적인 캡처 동작들의 시작 사이의 시간 간격(T)을 정의하는 주파수 레이트(F)로 타이밍이 맞추어지고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들은 상기 이미지 캡처 주파수 레이트(F)와 동일한 주파수 레이트로, 연속하여, 발생되는, 프로세스.
제32항 내지 제35항 중 어느 한 항에 있어서, 상기 연속적인 이미지 캡처 동작들은 2개의 연속한 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 타이밍이 맞추어지고, 상기 이미지 캡처 시간(T)은 1s 미만이거나 이와 같으며, 바람직하게는 100 ms 미만이거나 이와 같은, 프로세스.
제32항 내지 제36항 중 어느 한 항에 있어서, 각 최종의 파노라마 혹은 스테레오스코픽 이미지는 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안, 연속하여, 발생되는, 프로세스.
제37항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 동일 시간 간격(t) 동안 수행되는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제37항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 선행 시간 간격(t) 동안 수행되는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제32항 내지 제39항 중 어느 한 항에 있어서, 각 화소의 상기 디지털 처리는 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 수행되는, 프로세스.
제32항 내지 제40항 중 어느 한 항에 있어서, 상기 캡처된 이미지들의 몇몇 화소들은 이 각각에, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들을 할당함으로써 처리되는, 프로세스.
제32항 내지 제41항 중 어느 한 항에 있어서, 상기 캡처된 이미지들의 몇몇 화소들은 이 각각에, 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 이미지 상에 적어도 한 위치를 할당함으로써 처리되는, 프로세스.
제32항 내지 제42항 중 어느 한 항에 있어서, 상기 장면의 적어도 두 서로 다른 이미지들은 적어도 2개의 서로 상이한 이미지 캡처 장치들(C₁, C₂)을 사용하여 캡처되는, 프로세스.
제32항 내지 제42항 중 어느 한 항에 있어서, 적어도 3개의 서로 다른 이미지들은 적어도 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 사용하여 캡처되는, 프로세스.
파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 장치에 있어서, 상기 장치는 화소 셋 포맷으로 적어도 두 서로 다른 이미지들을 캡처할 수 있게 하는 하나 또는 몇개의 이미지 캡처 장치들(C_i), 및 상기 이미지 캡처 장치(C_i)를 사용하여, 상기 이미지들이 중첩하거나 없이, 화소 포맷으로, 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들을 수행할 수 있게 하고 상기 캡처 동작들 동안, 파노라마 혹은 스테레오스코픽 이미지들을 형성하기 위해서, 상기 캡처된 이미지들의 상기 화소들을 디지털 방식으로 처리하고, 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 발생하기에 적합한, 전자 처리 수단(10)을 포함하며, 각 캡처된 이미지의 각 화소의 상기 디지털 처리는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 상기 화소가 유지되었을 때, 이를 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진 것을 특징으로 하는, 장치.
제45항에 있어서, 상기 전자 처리 수단(10)은 상기 이미지 캡처 장치(들)을 사용하여, 두 연속적인 캡처 동작들의 시작 사이에 캡처 시간(T)을 정의하는 상기 연속적인 캡처 동작들의 주파수 레이트(F)로 상기 연속적인 이미지 캡처 동작들을 수행할 수 있게 하는, 장치.
제46항에 있어서, 각 캡처 동작에 있어서, 상기 전자 처리 수단(10)은 (a) 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서 각 캡처된 이미지의 상기 화소들을 디지털 방식으로 처리하고, (b) 이전에 형성된 최종의 파노라마 혹은 스테레오스코픽 이미지를 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 내에 발생되기에 적합한, 장치.
제45항 내지 제47항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은, 상기 이미지 캡처 장치(들)을 사용하여, 두 연속적인 이미지 캡처 동작들의 시작 사이의 캡처 간격(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로 상기 연속적인 캡처 동작들을 수행할 수 있게 하며, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들을 상기 캡처 주파수(F)와 동일한 주파수 레이트로 발생되기에 접합한, 장치.
제45항 내지 제48항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은, 상기 이미지 캡처 장치(들)을 사용하여, 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로 상기 연속적인 캡처 동작들을 수행할 수 있게 하며, 상기 캡처 시간(T)은 1s 미만이거나 이와 같으며, 바람직하게는 100 ms 미만이거나 이와 같은, 장치.
제45항 내지 제49항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안, 각 최종의 파노라마 혹은 스테레오스코픽 이미지를 연속적으로 발생되게 설계된, 장치.
제50항에 있어서, 2개의 연속한 이미지 캡처 동작들의 상기 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 동일 시간 간격(t) 동안 행해지는 화소들의 상기 디지털 처리로부터 생기는, 장치.
제50항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 선행 시간 간격(t) 동안 행해지는 화소들의 상기 디지털 처리로부터 생기는, 장치.
제45항 내지 제52항 중 어느 한 항에 있어서, 상기 디지털 처리 수단(10)은 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 각 화소를 처리하게 설계된, 장치.
제45항 내지 제53항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들의 몇몇 화소들을 이 각각에, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들을 할당함으로써 처리하게 설계된, 장치.
제45항 내지 제54항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들의 몇몇 화소들을 이 각각에, 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 이미지 상에 적어도 한 위치를 할당함으로써 처리하게 설계된, 장치.
제45항 내지 제55항 중 어느 한 항에 있어서, 적어도 두 이미지 캡처 장치들(C₁, C₂)을 포함하는, 장치.
제45항 내지 제55항 중 어느 한 항에 있어서, 적어도 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 포함하는, 장치.
제45항 내지 제56항 중 어느 한 항에 있어서, 이미지 캡처 장치들(C_i) 각각은, 적어도, 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을 각 이미지에 대한 출력으로서 전송하게 설계되고, 상기 전자 처리 수단(10)은 적어도 제2 클럭 신호(H)에 따라 동기화된 화소들의 스트림으로서 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들 각각을 전송하기에 적합한, 장치.
제58항에 있어서, 상기 제2 클럭 신호(H)는 각 제1 클럭 신호(H_sensor)와 비교하여 비동기인, 장치.
제58항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들)(H_sensor)과 동기되는, 장치.
제45항 내지 제60항 중 어느 한 항에 있어서, 상기 전자 수단(10)은 사전에 저장된 대응 테이블, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 캡처된 이미지의 각 화소에 대해서, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 대응하는 위치(들)의 코딩, 및 각 위치에 대해, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 코딩을 포함하는, 장치.
제45항 내지 제61항 중 어느 한 항에 있어서, 상기 장치는 휴대형인 것을 특징으로 하는, 장치.
장면의 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 프로세스로서, 이 동안에, 적어도 한 이미지 캡처 장치들(C_i)을 사용하여, 상기 이미지들이 중첩하거나 없이하여, 화소 포맷으로, 상기 장면의 적어도 두 서로 다른 이미지들의 몇몇 연속적인 캡처 동작들이 수행되며, 이 동안에, 상기 이미지 캡처 장치들(C_i) 각각은 화소 셋 포맷으로 이미지를 캡처할 수 있게 하며, 적어도, 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을 각 캡처된 이미지에 대한 출력으로서 전송하며, 상기 동안에, 각 캡처된 이미지의 각 화소는 적어도, 제2 클럭 신호(H)에 따라 동기화된, 화소 스트림으로서 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 발생하기 위해서, 디지털 방식으로 처리되는, 프로세스.
제63항에 있어서, 상기 제2 클럭 신호(H)는 각 제1 클럭 신호(H_sensor)과 비교하여 비동기되는, 프로세스.
제63항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들)(H_sensor)와 동기되는, 프로세스.
제63항 내지 제65항 중 어느 한 항에 있어서, 상기 연속적인 이미지 캡처 동작들은 2개의 연속한 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)에서 행해지는, 프로세스.
제66항에 있어서, 각 캡처 동작에 있어서, (a) 각 캡처된 이미지의 상기 화소들은, 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 렌더링하기 위해서, 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 처리되고, (b) 최종의 렌더링된 파노라마 혹은 스테레오스코픽 이미지는 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 내에 발생되는, 프로세스.
제63항 내지 제67항 중 어느 한 항에 있어서, 캡처된 각 이미지의 각 화소의 상기 디지털 처리는, 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 상기 화소가 유지되었을 때, 이를, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진, 프로세스.
제63항 내지 제68항 중 어느 한 항에 있어서, 상기 연속적인 이미지 캡처 동작들은 2개의 연속한 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 행해지고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들은 상기 캡처 주파수(F)와 동일한 주파수 레이트로 발생되는, 프로세스.
제63항 내지 제69항 중 어느 한 항에 있어서, 상기 연속적인 이미지 캡처 동작들은 2개의 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 행해지고, 상기 캡처 시간(T)은 1s 미만이거나 이와 동일하며, 바람직하게는 100 ms 미만이거나 이와 같은, 프로세스.
제63항 내지 제70항 중 어느 한 항에 있어서, 각 최종의 파노라마 혹은 스테레오스코픽 이미지는 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안 연속하여 발생되는, 프로세스.
제71항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 동일 시간 간격(t) 동안 수행되는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제71항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 선행 시간 간격(t) 동안 수행되는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제63항 내지 제73항 중 어느 한 항에 있어서, 각 화소의 상기 디지털 처리는 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 수행되는, 프로세스.
제63항 내지 제74항 중 어느 한 항에 있어서, 상기 캡처된 이미지들의 몇몇 화소들은 이 각각에, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들을 할당함으로써 처리되는, 프로세스.
제63항 내지 제75항 중 어느 한 항에 있어서, 상기 캡처된 이미지들의 몇몇 화소들은 이 각각에, 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 적어도 한 위치를 할당함으로써 처리하는, 프로세스.
제63항 내지 제76항 중 어느 한 항에 있어서, 장면의 적어도 두 서로 다른 이미지들은 적어도 두 이미지 캡처 장치들(C₁, C₂)을 사용하여 캡처되는, 프로세스.
제63항 내지 제76항 중 어느 한 항에 있어서, 상기 장면의 적어도 3개의 서로 다른 이미지들은 적어도 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 사용하여 캡처되는, 프로세스.
제63항 내지 제78항 중 어느 한 항에 있어서, 각 이미지 캡처 장치(C_i)는, 적어도 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을, 캡처된 각 이미지에 대한 출력으로서 전송하게 설계되고, 적어도, 제2 클럭 신호(H)에 따라 동기화된 화소들의 스트림으로서 각 최종의 파노라마 혹은 스테레오스코픽 이미지이 전송되는, 프로세스.
제79항에 있어서, 상기 제2 클럭 신호(H)는 각 제1 클럭 신호(H_sensor)와 비교하여 비동기인, 프로세스.
제79항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들)(H_sensor)과 동기되는, 프로세스.
파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처 및 렌더링하기 위한 장치로서, 상기 장치는, 상기 이미지들이 중첩하거나 없이, 화소 포맷으로 장면의 적어도 2개의 서로 다른 이미지들의 몇몇 연속적인 이미지 캡처 동작들을 수행할 수 있게 하는 하나 또는 몇개의 이미지 캡처 장치들(C_i), 및 상기 캡처된 이미지들을 사용하여, 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 렌더링할 수 있게 하는 전자 처리 수단(10)을 포함하고, 각 이미지 캡처 장치는 적어도, 제1 클럭 신호(H_sensor)에 따라 동기화된, 화소들의 스트림을 각 캡처된 이미지에 대한 출력으로서 전송하기에 적합하고, 상기 전자 처리 수단(10)은 적어도, 제2 클럭 신호(H)에 따라 동기화된, 화소들의 스트림으로서 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 발생하기 위해서, 상기 캡처된 이미지의 각 화소를 디지털 방식으로 처리하게 설계된 것인, 장치.
제82항에 있어서, 상기 전자 처리 수단(10)은 상기 이미지 캡처 장치(들)을 사용하여, 두 연속한 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로 상기 이미지 캡처 동작들을 수행할 수 있게 하는, 장치.
제83항에 있어서, 상기 전자 처리 수단(10)은 각 캡처 동작에 있어서, (a) 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서, 각 캡처된 이미지의 상기 화소들을, 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 디지털 방식으로 처리하고, (b) 이전에 형성된 최종의 파노라마 혹은 스테레오스코픽 이미지를 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 내에 발생하기에 적합한, 장치.
제82항 내지 제84항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)에 의해 수행되는, 각 이미지의 각 화소의 상기 디지털 처리는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 상기 화소가 유지되었을 때, 이를, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들에 할당하는 것으로 이루어진, 장치.
제82항 내지 제85항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은, 상기 이미지 캡처 장치(들)을 사용하여, 2개의 연속한 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로 상기 연속적인 캡처 동작들을 수행할 수 있게 하며, 상기 캡처 주파수(F)와 동일한 주파수 레이트로, 연속하여, 최종의 파노라마 혹은 스테레오스코픽 이미지들을 발생하기에 적합한, 장치.
제82항 내지 제86항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은, 상기 이미지 캡처 장치(들)을 사용하여, 2개의 연속한 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 상기 이미지 캡처 동작들의 주파수 레이트(F)로 상기 캡처 동작들을 연속적으로 수행할 수 있게 하며, 상기 캡처 시간(T)은 1s 미만이며, 바람직하게는 100 ms 미만이거나 이와 같은, 장치.
제82항 내지 제87항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 2개의 연속한 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안, 각 최종의 파노라마 혹은 스테레오스코픽 이미지들 각각을 연속적으로 발생되게 설계된, 장치.
제88에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들은 상기 동일 시간 간격(t) 동안 화소들의 상기 디지털 처리로부터 생기는, 장치.
제88항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 선행 시간 간격(t) 동안 화소들의 상기 디지털 처리로부터 생기는, 장치.
제82항 내지 제90항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 적어도, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 각 화소를 처리하게 설계된, 장치.
제82항 내지 제91항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들의 몇몇 화소들을 이 각각에, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들을 할당함으로써 처리하게 설계된, 장치.
제82항 내지 제92항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들의 몇몇 화소들을 이 각각에, 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 이미지 상에 적어도 한 위치를 할당함으로써 처리하게 설계된, 장치.
제82항 내지 제93항 중 어느 한 항에 있어서, 적어도, 2개의 이미지 캡처 장치들(C₁, C₂)을 포함하는, 장치.
제82항 내지 제93항 중 어느 한 항에 있어서, 적어도, 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 포함하는, 장치.
제82항 내지 제95항 중 어느 한 항에 있어서, 상기 제2 클럭 신호(H)는 각 제1 클럭 신호(H_sensor)과 비교하여 비동기인, 장치.
제82항 내지 제95항 중 어느 한 항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들)(H_sensor)과 동기되는, 장치.
제82항 내지 제97항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 사전에 저장된 대응 테이블, 이미지 캡처 장치들(C_i) 중 적어도 하나를 사용하여, 캡처된 이미지의 각 화소에 대해서, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 대응하는 위치(들)의 코딩, 및 각 위치에 대해, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 코딩을 포함하는, 장치.
제82항 내지 제98항 중 어느 한 항에 있어서, 상기 장치는 휴대형인, 장치.
장면의 적어도 한 파노라마 혹은 스테레오스코픽 이미지를 캡처 또는 렌더링하기 위한 프로세스로서, 이 동안에, 상기 장면의 적어도 두 서로 다른 이미지들은 상기 이미지들이 중첩하거나 없이, 상기 이미지 캡처 장치들(C_i) 중 적어도 하나를 사용하여 캡처되고, 각 이미지 캡처 장치(C_i)는 화소 셋 포맷으로 한 이미지를 캡처할 수 있게 하고, 각 캡처된 이미지에 대해서, 화소들의 스트림을 출력으로서 전송하며, 이 동안에, 각 캡처된 이미지의 화소들의 상기 스트림은 상기 화소들을 사용하여, 적어도 한 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서 디지털 방식으로 처리되고, 각 캡처된 이미지에 대응하는 화소들의 상기 스트림의 각 화소의 상기 디지털 처리는 적어도, 상기 화소를 유지 혹은 폐기하는 것과, 상기 화소가 유지되었을 때, 이를, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 위치들에 할당하는 것으로 이루어진, 프로세스.
제100항에 있어서, 장면의 몇몇 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처하고 렌더링할 수 있게 하는 프로세스로서, 이 동안에, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 화소 포맷으로, 상기 이미지들이 중첩하거나 없이, 적어도, 상기 장면의 두 서로 다른 이미지들의 몇몇 연속적인 이미지 캡처 동작들이 수행되고, 사익 동안에, 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 상기 연속적인 이미지 캡처 동작들이 행해지는, 프로세스.
제101항에 있어서, 상기 동안에, 각 캡처 동작에 있어서, (a) 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서, 상기 캡처된 이미지 화소들의 디지털 처리는 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 수행되고, (b) 이전에 형성된 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 내에 발생되는, 프로세스.
제100항 내지 제102항 중 어느 한 항에 있어서, 상기 동안에, 상기 연속적인 캡처 동작들은 두 연속적인 캡처 동작들의 시간 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 수행되고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들은 상기 캡처 주파수(F)와 동일한 주파수 레이트로 발생되는, 프로세스.
제100항 내지 제103항 중 어느 한 항에 있어서, 상기 동안에, 상기 연속적인 캡처 동작들은 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 주파수 레이트(F)로 수행되고, 상기 캡처 시간(T)은 1s 미만이거나 이와 같으며, 바람직하게는 100 ms 미만이거나 이와 같은, 프로세스.
제100항 내지 제104항 중 어느 한 항에 있어서, 각 최종의 파노라마 혹은 스테레오스코픽 이미지는 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안, 연속적으로 발생되는, 프로세스.
제105항에 있어서, 2개의 연속한 이미지 캡처 동작들의 상기 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 동일 시간 간격(t) 동안 행해지는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제105항에 있어서, 2개의 연속한 이미지 캡처 동작들의 상기 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 선행 시간 간격(t) 동안 행해지는 화소들의 상기 디지털 처리로부터 생기는, 프로세스.
제100항 내지 제107항 중 어느 한 항에 있어서, 상기 동안에, 각 화소의 상기 디지털 처리는 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 적어도, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 수행되는, 프로세스.
제100항 내지 제108항 중 어느 한 항에 있어서, 상기 캡처된 이미지들의 몇몇 화소들은 이 각각에, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들을 할당함으로써 처리되는, 프로세스.
제100항 내지 제109항 중 어느 한 항에 있어서, 상기 캡처된 이미지들의 몇몇 화소들은 이 각각에, 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 적어도 한 위치를 할당함으로써 처리되는, 프로세스.
제100항 내지 제110항 중 어느 한 항에 있어서, 장면의 적어도 두 서로 다른 이미지들은 적어도 2개의 이미지 캡처 장치들(C₁, C₂)을 사용하여 캡처되는, 프로세스.
제100항 내지 제110항 중 어느 한 항에 있어서, 장면의 적어도 두 서로 다른 이미지들은 적어도 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 사용하여 캡처되는, 프로세스.
제100항 내지 제112항 중 어느 한 항에 있어서, 상기 이미지 캡처 장치(C_i)는 적어도 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을, 캡처된 각 이미지에 대한 출력으로서 전송하게 설계되고, 각 최종의 파노라마 혹은 스테레오스코픽 이미지는 적어도, 제2 클럭 신호(H)에 따라 동기화된 화소들의 스트림으로서 전송되는, 프로세스.
제113항에 있어서, 상기 제2 클럭 신호(H)는 각 제1 클럭 신호(H_sensor)과 비교하여 비동기인, 프로세스.
제113항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들)(H_sensor)과 동기되는, 프로세스.
제100항 내지 제115항 중 어느 한 항에 있어서, 적어도 한 이미지 캡처 장치를 사용하여, 캡처된 이미지의 상기 화소들의 디지털 처리는 사전에 저장된 대응 테이블, 적어도 한 이미지 캡처 장치로 캡처된 이미지의 각 화소에 대해 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 대응하는 위치(들)의 코딩, 및 각 위치에 대해, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 코딩을 참조하여 수행되는, 프로세스.
적어도 한 파노라마 혹은 스테레오스코픽 이미지를 캡처 및 렌더링하기 위한 장치로서, 상기 이미지들이 중첩하거나 없이, 적어도 두 서로 다른 이미지들을 캡처할 수 있게 하고 각 이미지 센서(C_i)가 각 캡처된 이미지에 대해 화소들의 스트림을 전송하기에 적합한 것인, 적어도, 하나 또는 몇개의 이미지 캡처 장치들(C_i), 및 각 캡처된 이미지의 상기 화소 스트림을 사용하여 파노라마 혹은 스테레오스코픽 이미지를 상기 이미지 캡처 동작들 동안 렌더링할 수 있게 하는 전자 처리 수단(10)을 포함하고, 상기 전자 처리 수단(10)은 상기 화소를 유지 혹은 폐기하고, 상기 화소가 유지되었을 때, 이를 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 각 위치에 대해 기정의된 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 하나 또는 몇개의 서로 다른 위치들에 할당함으로써, 각 캡처된 이미지의 상기 화소 스트림의 각 화소를 처리하게 설계된 것인, 장치.
제115항에 있어서, 몇몇 파노라마 혹은 스테레오스코픽 이미지들의 스트림을 캡처하고 렌더링할 수 있게 하는 장치로서, 상기 전자 처리 수단(10)은 하나 또는 몇개의 상기 이미지 캡처 장치들(C_i)을 사용하여, 화소 포맷으로, 상기 이미지들이 중첩하거나 없이, 그리고 두 연속적인 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로 장면의 적어도 두 서로 다른 이미지들의 몇몇 이미지 캡처 동작들을 수행할 수 있게 하는, 장치.
제118항에 있어서, 상기 전자 처리 수단(10)은, 각 캡처 동작에 있어서, (a) 상기 캡처 시간(T)과 동일하거나 미만인 처리 시간을 갖고 상기 화소들을 사용하여 최종의 파노라마 혹은 스테레오스코픽 이미지를 형성하기 위해서, 각 캡처된 이미지의 상기 화소들을 디지털 방식으로 처리하고, (b) 이전에 형성된 최종의 파노라마 혹은 스테레오스코픽 이미지를 상기 캡처 시간(T) 미만이거나 동일한 시간 간격 내에 발생되기에 적합한, 장치.
제117항 내지 제119항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은, 상기 이미지 캡처 장치(들)을 사용하여, 두 연속적인 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로 상기 연속적인 캡처 동작들을 수행할 수 있게 하며, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지들을 상기 캡처 주파수(F)와 동일한 주파수 레이트로 연속하여 발생되기에 접합한, 장치.
제117항 내지 제120항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은, 상기 이미지 캡처 장치(들)을 사용하여, 2개의 연속한 이미지 캡처 동작들의 시작 사이의 캡처 시간(T)을 정의하는 상기 연속적인 이미지 캡처 동작들의 주파수 레이트(F)로 상기 연속적인 캡처 동작들을 수행할 수 있게 하며, 상기 캡처 시간(T)은 1s 미만이거나 이와 같으며, 바람직하게는 100 ms 미만이거나 이와 같은, 장치.
제117항 내지 제121항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 각 시간 간격(t) 동안, 각 최종의 파노라마 혹은 스테레오스코픽 이미지를 연속적으로 발생되게 설계된, 장치.
제122항에 있어서, 2개의 연속한 이미지 캡처 동작들의 상기 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 상기 동일 시간 간격(t) 동안 행해지는 화소들의 상기 디지털 처리로부터 생기는, 장치.
제122항에 있어서, 2개의 연속한 이미지 캡처 동작들의 시작을 분리하는 시간 간격(t) 동안 발생되는 상기 최종의 파노라마 혹은 스테레오스코픽 이미지는 이전 시간 간격(t) 동안 행해지는 화소들의 상기 디지털 처리로부터 생기는, 장치.
제117항 내지 제124항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 화소들이 도출되는 상기 이미지 캡처 장치의 상기 이미지 상에 상기 화소들의 상기 2차원 투사와는 상이한 2차원 투사에 보내진 후에, 상기 캡처된 이미지들로부터 화소들의 적어도 한 부분이 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 매핑되도록 각 화소를 처리하게 설계된, 장치.
제117항 내지 제125항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들의 몇몇 화소들을 이 각각에, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 몇몇 서로 다른 위치들을 할당함으로써 처리하게 설계된, 장치.
제117항 내지 제126항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 상기 캡처된 이미지들의 몇몇 화소들을 이 각각에, 제로가 아닌, 엄격하게 100% 미만인 가중 팩터(W)를 갖고 상기 최종의 이미지 상에 적어도 한 위치를 할당함으로써 처리하게 설계된, 장치.
제117항 내지 제127항 중 어느 한 항에 있어서, 적어도 두 이미지 캡처 장치들(C₁, C₂)을 포함하는, 장치.
제117항 내지 제127항 중 어느 한 항에 있어서, 적어도 3개의 이미지 캡처 장치들(C₁, C₂, C₃)을 포함하는, 장치.
제117항 내지 제129항 중 어느 한 항에 있어서, 이미지 캡처 장치들(C_i) 각각은, 적어도 제1 클럭 신호(H_sensor)에 따라 동기화된 화소들의 스트림을, 캡처된 각 이미지에 대한 출력으로서 전송하게 설계되고, 상기 전자 처리 수단은, 적어도, 제2 클럭 신호(H)에 따라 동기화된 화소들의 스트림으로서 각 최종의 파노라마 혹은 스테레오스코픽 이미지를 전송하기에 적합한, 장치.
제130항에 있어서, 상기 제2 클럭 신호(H)는 각 제1 클럭 신호(H_sensor)과 비교하여 비동기인, 장치.
제130항에 있어서, 상기 제2 클럭 신호(H)는 상기 제1 클럭 신호(들)(H_sensor)과 동기되는, 장치.
제117항 내지 제132항 중 어느 한 항에 있어서, 상기 전자 처리 수단(10)은 사전에 저장된 대응 테이블, 적어도 한 이미지 캡처 장치(C_i)를 사용하여, 캡처된 이미지들의 각 화소에 대해서, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 대응하는 위치(들)의 코딩, 및 각 위치에 대해, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 상기 가중 팩터(W)를 갖고, 상기 최종의 파노라마 혹은 스테레오스코픽 이미지 상에 상기 화소의 코딩을 포함하는, 장치.
제117항 내지 제133항 중 어느 한 항에 있어서, 상기 장치는 휴대형인 것을 특징으로 하는, 장치.