KR100920178B1 - 이미지 데이터 변경을 위한 방법, 장치, 소프트웨어 및구성 - Google Patents

Abstract

본 발명은 소형 콤팩트 디지털 카메라의 이미지 데이터에 대한 프로그램 제어형 변경에 관한 것이다. 본 발명의 실시예들에 따른 방법에서, 센서 데이터는 이미지 처리 소자(303)로 보내지기 전에 처리된다. 센서 데이터는 총 노출 타임(101, 107) 중에 카메라 센서(306)로부터 수차례 읽혀지고 최종 사진을 표현하는 데이터 엔티티가 개별 노출 타임 중에 읽혀진 센서 데이터로부터 병합된다(308). 센서 데이터 및/또는 데이터 엔티티는 데이터 엔티티가 이미지 처리 소자(303)로 보내지기 전에 분석된다(309, 312).

Description

이미지 데이터 변경을 위한 방법, 장치, 소프트웨어 및 구성{A method, apparatus, software and arrangement for modifying image data}

본 발명은 소형 컴팩트 디지털 카메라의 이미지 데이터에 대한 프로그램 제어형 변경에 관한 것이다.

카메라로 찍은 사진의 품질은 카메라와 광학 시스템의 특성에 영향을 받는다. 디지털 카메라의 센서는 촬상된 이미지의 화질을 규정하는 소정의 특징 및 소정의 해상도를 가지고 있다. 광학적 특성들 가운데, 이미지 앵글, 줌 및 포커스 길이가 특히 작은 카메라들의 이미지 화질에 영향을 미친다. 그 외에도, 광학 시스템은 항상 왜곡을 유발한다. 왜곡들 가운데 일부는 광학 소자에 의해 야기된 왜곡을 정정하기 위해 반대 사인의 광학 소자를 설치하는 등의, 광학적 수단을 통해 보상된다. 광학적 왜곡은 이미지 프로세싱 시 광분포 같은 대상의 특징을 고려함으로써 보상될 수도 있다. 통상적으로 광분포는 디지털 카메라에서 프로그램 제어 방식으로 정정된다. 이미지 화질은 실질적으로 사용자 스킬에 영향을 받기도 하는데, 이는 사용자가 이미지 화질에 대한 직간접적 영향을 가지는 소정 파라미터들을 빈번하게 선택하기 때문이다. 그 외에, 사진을 찍을 때의 카메라 흔들림 등과 같은 것이 궁극적 사진에 블러링(blurring)을 야기한다.

광학 시스템은 절대로 완벽하게 왜곡 없이 만들어질 수가 없다. 따라서, 허용가능한 수준의 이미지 화질을 달성하는 것을 일반적인 목적으로 한다. 왜곡들 가운데 일부에 대한 정정이 가령 장치의 총 무게나 비용의 과도한 증가로 이어지게 하므로, 알맞은 것이 못된다. 허용가능한 이미지 품질은 어플리케이션, 타깃 및 사용 목적에 좌우된다. 예를 들어, 모바일 폰에 설치된 카메라 같은 범용 소형 카메라와 비교할 때, 전문가용으로 사용되는 카메라는 다른 레벨의 이미지 품질을 요한다. 이미지 품질의 정정은, 보통 한편으로는 원하는 결과와 다른 한편으로는 장치의 비용 및 크기 사이에서 타협되어 진다. 그런 다음 다시, 이제 궁극적 이미지가 원하는 결과를 달성하기 위해 프로그램 제어를 통해 더 처리될 수 있다.

본 발명의 한 목적은 소형 컴팩트 디지털 카메라의 이미지 화질을 향상시키고자 하는 데 있다. 본 발명의 다른 목적은 컴팩트 디지털 카메라의 특성들을 다각화하는 데 있다. 본 발명은 한 목적은 카메라 장치가 촬영을 위해 세팅한 한정사항 및 경계 조건들을 보상하는 데 있다.

이 목적들은, 개별 노출 타임 도중에 카메라 센서로부터 센서 데이터를 읽어오고 총 노출 타임 도중에 읽어 온 센서 데이터로부터 최종 이미지를 나타내는 데이터 엔티티를 병합하여, 읽어 온 센서 데이터 및/또는 병합한 데이터 엔티티가 그 데이터 엔티티를 이미지 처리 소자로 전달하기 전에 분석되도록 함으로써 달성된다.

본 발명은 독립 청구항들의 특징부에서 기술하고 있는 것을 특징으로 한다. 본 발명의 다른 실시예들은 종속 청구항들에 기술된다.

본 발명의 실시예들에 따른 방법에 있어서, 센서 데이터를 이미지 처리 소자로 전달하기 전에 그 데이터를 처리함에 있어, 센서 데이터가 개별 노출 타임 도중에 카메라 센서로부터 읽혀지고 총 노출 타임 동안 읽혀진 센서 데이터로부터 최종 이미지를 나타내는 데이터 엔티티가 병합되어, 그 읽혀진 센서 데이터 및/또는 병합된 데이터 엔티티가 이 데이터 엔티티가 이미지 처리 소자로 보내지기 전에 분석되도록 한다. 본 발명의 실시예들에서, 총 노출 타임은 개별(individual) 노출 타임들로 이뤄지며 최신 카메라들의 정상(normal) 노출 타임에 해당한다. 이 출원서에서 개별 노출 타임은, 센서의 데이터가 읽혀지기 전에 이 센서가 노출되는 시간을 말한다. 총 노출 타임 동안 읽혀진 개별 데이터 아이템들은 최종 이미지를 나타내는 데이터 엔티티로 병합된다.

본 발명의 실시예들에 따른, 센서 데이터를 이미지 처리 소자로 전달하기 전에 센서 데이터를 처리하기 위한 장치는, 개별 노출 타임 동안 카메라 센서의 센서 데이터를 읽어오는 수단, 읽어 온 센서 데이터를 분석하는 수단, 총 노출 타임 동안 읽혀진 센서 데이터로부터 최종 이미지를 나타내는 데이터 엔티티를 병합하는 수단, 및 그 데이터 엔티티를 분석하는 수단을 포함한다.

본 발명의 실시예들에 따른, 센서 데이터를 처리 소자로 전달하기 전에 그 센서 데이터를 처리하기 위한 소프트웨어 요소는, 총 노출 타임 동안 수차례 카메라 센서의 센서 데이터를 읽어오기 위한 프로그램 제어형 (programmable) 수단, 읽어 온 센서 데이터를 분석하기 위한 프로그램 제어형 수단, 총 노출 타임 동안 읽혀진 센서 데이터로부터 최종 이미지를 나타내는 데이터 엔티티를 병합하기 위한 프로그램 제어형 수단, 및 그 데이터 엔티티를 분석하기 위한 프로그램 제어형 수단을 포함한다.

본 발명의 실시예들 중 하나에 따르면, 총 노출 타임 중에 일반적으로 수차례 센서 데이터를 읽어오는 것이, 총 노출 타임 도중 수 회의 분석을 수행할 수 있게 한다. 일실시예에 따르면, 총 노출 타임 동안 노출 값이 검토된다. 노출 값을 검토하면서, 총 노출 타임 동안 수차례 읽혀진 센서 데이터로부터 데이터 엔티티가 병합되거나 축적되고, 그 데이터 엔티티가 분석된다. 필요하다면, 기존 데이터에 기초해 최적 노출 값을 결정할 수 없는 경우 총 노출 타임 이후에도 여전히 센서 데이터가 읽혀질 수 있다. 그에 따라 노출 값은 노출 도중에 변경될 수 있다. 노출은 픽셀 단위로 조정될 수 있고, 아니면 하나의 동일한 센서 값이 총 센서 영역에 대해 규정될 수 있다. 종래 기술에 따르면 노출이 수행되기 전에 노출 값이 측정되지만, 이 실시예들에 따르면 노출 값은 총 노출 타임을 이루는 개별 노출 타임들 도중에 측정되고, 사용될 노출 값이 그 총 노출 타임 동안 측정된 개별 노출 값들에 기초해 정해진다. 종래 기술에 따른 노출 값 결정과 비교할 때, 본 발명의 실시예들에 따른 이점들을 얻을 수 있다. 센서 노출 중에 광량이 증가하면, 미리 정해진 노출 값에 따라 이뤄질 사진은 과노출(overexposed)로 된다. 본 발명의 일실시예에 따르면, 총 노출 타임 중에 픽셀들의 포화(saturation)가 검출되면, 노출이 즉시 중지될 수 있다. 또, 본 발명의 일부 실시예들에 따르면, 밝은 영역들보다 어두운 영역들에 대해 장기 노출 타임이 정해지도록 뷰(view)를 부분적으로 노출하는 것이 가능하게 된다. 이 실시예들에 따른 방법을 이용할 때, 총 노출 타임을 이루는 개별 노출 순간들 도중에 발생하는 순간적 상황들 및 조건들에 바로 비례하는, 보다 정확한 노출 값이 얻어진다.

일실시예에 따르면, 센서 데이터를 처리하면서, 모션 센서에 의해 검출된 움직임이 노출 타임 도중에 고려된다. 종래 기술에 의하면, 안정적 (스틸(still)) 사진들의 움직임을 단지 기계적으로만 보상하는 것이 가능하였다. 본 발명의 일실시예에 따르면, 최종 사진에 블러링(buurring, 흐릿하게 만들기)을 일으키는 모션 센서에 의해 검출된 카메라 움직임은, 개별 노출 타임 중에 검출된 움직임에 기초해 총 노출 타임 동안에 대해 보상될 수 있다. 일반적으로 도트(dot)들 또는 픽셀들은 모션 센서에 의해 검출된 움직임에 대응하는 양만큼 반대 방향으로 쉬프트(shift) 된다. 픽셀들이 쉬프트 된 뒤에 데이터가 데이터 엔티티로 병합되고, 그래서 데이터 엔티티로 병합된 데이터가 분석 및 정정된다. 궁극적으로, 최종 사진에서 움직임에 의해 야기된 블러링이 보상될 수 있고, 아니면 이미지 처리 소자를 가지고 데이터 엔티티를 처리하기 전에 벌써 그것이 완전히 제거될 수 있다. 일실시예에 따르면 검출된 움직임도 정해질 노출 값에 영향을 미친다. 움직임이 보상될 수 없다면, 노출 타임은 중단될 수 있고, 이렇게 되면 움직임이 최종 사진 내 원치않은 블러링을 야기하지 못한다.

본 발명의 일실시예에 따르면, 포커스 거리, 즉 초점 길이는 다양한 거리들에서 총 노출 타임 중에 생성된 이미지를 포커싱하기 위해, 개별 노출 타임 중에 변경된다. 일반적으로 포커스 거리는 이미지 필드에 존재하는 오브젝트들에 기초해 정해져, 이미징 옵틱스 (imaging optics)가 각 오브젝트 거리에서 초점이 맞춰지도록 한다. 이러한 방식으로, 한 필드에서 촬상될 모든 오브젝트들에 대해 이들의 거리와 무관하게 정확하고 초점이 맞는 표현을 얻을 수 있다. 총 노출 타임 동안 병합되고 형성될 최종 사진을 표현하는 본 발명의 실시예에 의한 데이터 엔티티는 가깝고 먼 거리 모두에서 정확한 사진을 제공한다. 즉, 가깝고 먼 오브젝트들이 정확하게 이미지화된다. 개별 노출 타임 동안 초점이 맞춰진 각 영역이나 오브젝트는, 총 노출 타임 중에 축적되고 최종 사진을 형성하는 데이터 엔티티의 일부로서 병합된다. 따라서 형성될 최종 사진의 해상도는, 종래 기술에 따른 시스템에의 경우와 같이 센서 해상도에 의존하는 것이 아니라, 얼마나 정확하게 데이터가 저장될 수 있느냐가 되는 메모리 량에 의존하게 된다. 종래 기술에 따르면, 옵틱스는 정확하고 선명하게 이미지화될 수 있는 한 소정 거리로 초점이 맞춰지나, 다른 거리들에서는 덜 정확하게 이미지화된다. 본 발명의 실시예들에 의하면, 총 노출 타임 동안의 초점 길이 변경은, 일반적으로 가령 프로그램 제어방식으로 수차례 마무리된 (최종) 사진들을 결합함으로써 얻어질 수 있는 한 사진을 바로 제공할 수 있다.

본 발명의 일실시예에 따르면, 촬상될 이미지 필드는 총 노출 타임 중에 변경될 수 있다. 예를 들어, 작은 움직임이나 센서의 오프셋 또는 오리지널 위치로부터의 전체 카메라가 촬상될 이미지 필드의 쉬프트를 파생한다. 총 노출 타임 중 여러 인접한 부분 중첩 이미지 필드들로부터 센서 데이터를 읽어올 때, 각 개별 노출 타임 중 단 한 개의 고정 이미지 필드를 이미지화하는 것과 비교해 보다 많은 정확도를 가지고 보다 큰 필드로부터 정보가 얻어진다. 고정 이미지 필드와 비교해, 작은 오프셋들이 오리지널 이미지 필드 너머 소정 에지 (edge) 영역이나 영역들로부터 이미지 필드 쉬프트를 만든다. 따라서 에지 영역들이 추가 정보를 제공한다. 결국, 총 노출 타임 중에 센서로부터 읽혀진 데이터가 데이터 엔티티를 제공할 수 있고, 최종 사진은 센서 사이즈에 기초해 얻을 수 있는 것보다 더 큰 이미지 필트를 커버하는 이러한 데이터 엔티티를 이용해 생성된다. 또, 사진의 센터 영역이 이미지화되고 센서 데이터가 읽혀질 때마다 읽혀진다. 따라서, 센터 영역은 더 많은 정보를 제공하며 최종 사진은 더 정확해진다. 최종 사진 형성에 사용되는 데이터 엔티티는 센터 영역에 관한 더 많은 정보를 포함할 수 있으며, 센서 해상도는 센터 영역의 데이터 밀도를 제한하지 않는다. 본 발명의 실시예에 따르면, 최종 사진의 해상도는 종래의 촬영 장치들의 경우 같이 센서 해상도에 의존하기 보다는 오히려 메모리와 그 용량에 좌우된다.

다른 실시예에 따르면, 촬상될 오브젝트나 뷰 및 그 환경은 저장될 수 있다, 즉, 카메라를 이동함으로써 센서에 읽혀질 수 있다. 뷰는 스캔 되는 것처럼 된다. 이것이 뷰 앵클을 실제 넓히기 보다 디지털 방식으로 더 작아지는 초점 길이를 생성한다. 읽혀진 사진 (뷰 앵글)의 사이즈는 센서로 읽혀지거나 스캐닝 된 이미지 사이즈에 좌우된다. 스캐닝 될 이미지의 사이즈는 당연히 데이터 병합과 병합된 데이터 엔티티 저장 및 처리에 이용가능한 메모리 량만큼 제한된다. 일반적으로 노출된 필드가 카메라 디스플레이 상에 이미지화된다 (imaged). 사용자는 카메라를 움직혀 그러한 앵클 뷰 넓히기를 제어할 수 있고, 이것이 디스플레이 상에 더 큰 스틸 이미지 필드가 이미지화되게 만든다. 사용자는 카메라를 아직 노출되지 않은 방향으로 이동할 수 있고 이런 식으로 촬영될 뷰를 원하는 방향으로 넓힐 수 있다.

본 발명의 실시예들은 특히 아주 소형의 컴팩트한 카메라 장치에 잘 맞는다. 카메라는 그 외관의 크기가 가능한 한 작아져야 하고 그에 따라 물리적으로 컴팩트할 필요가 있는 한편, 보통 배선 (wiring)의 정도 역시 제한되어야 한다. 어떤 카메라 장치들은 광활성 (light-active) 파트로부터 장전(charges)을 감추는, 소위 전기 셔터에 맞게 되어 있다. 이러한 장전은, 그러나, 아날로그 방식으로 되어, 주변환경으로부터 잡음을 모으게 된다. 카메라 장치가 기계적 셔터를 구비하고 있지 않으면, 센서의 읽기 속도는 출력 버스 (outgoing bus)에 의해 제한된다. 통상적으로 센서 출력은 직렬 버스를 사용해 읽기 헤드 (reading head)에 연결되어 있고, 그에 따라 직렬 버스가 센서의 읽기 속도를 제한하게 된다. 센서의 읽기 속도는 통상적으로 약 500 Mbit/sec 이다. 5 메가 픽셀의 센서를 픽셀 당 10 비트로 읽는 것은 센서 읽기 속도를 1/10 초가 되게 한다. 이러한 센서 읽기 속도는 오브젝트나 카메라가 이동할 때 최종 사진 안에 많은 왜곡을 보이는데, 이는 최하부 행 픽셀들과 비교할 때 최상부(top) 행의 픽셀들이 이때 다른 레벨들에 있게 되기 때문으로, 오브젝트가 1/10 초의 거리 이상 이동했기 때문이다. 본 발명의 실시예들에 따르면, 센서 읽기 속도는 전송 버스의 속도로 제한되지는 않는데, 이는 센서가 별도의 메모리 유닛을 갖추어 읽어 온 센서 데이터를 저장하고 그것을 총 노출 타임 동안 읽어온 센서 데이터로부터 수집된 데이터 엔티티 안에 병합하기 위해 개별 토출 시간 동안 사용될 수 있기 때문이다. 이렇게 개별 노출 타임 중에 읽혀진 센서 데이터 각각이 데이터 전송 속도와 무관하게 저장될 수 있다. 본 발명의 일실시예에 따르면, 전기 셔터는 디지털 형태로 만들어진다.

다른 실시예에 따르면, 블랙 오브젝트는 광 없이 이미지화되어, 가령 생성 중에 이 블랙 오브젝트가 기준 화상으로서 메모리로 읽혀지도록 한다. 그 뒤에 센서로부터 픽셀 데이터가 읽혀지고 그것이 이 메모리 안에 데이터 엔티티로서 병합될 때, 개별 노출 타임 중에 읽혀진 픽셀 데이터 각각이 기준 화상과 비교된다. 기준 화상을 이용하여, 고정 (static) 잡음이 데이터 엔티티 안에 포함되기 전에 그것을 데이터로부터 검출해 제거할 수 있고 그에 따라 최종 사진에서 그것이 제거될 수 있게 된다.

본 발명의 일실시예에 따른 방법에 의하면, 스틸 사진이 비디오 이미징 중에 취해질 수 있다. 비디오 이미지는 일반적으로 기존에 알려진 방식에 따라 완만하고 지속적으로 출력되는 (outgoing) 데이터로 이뤄진다. 본 발명의 실시예에 따르면, 스틸 사진을 나타내는 데이터 엔티티 또한 메모리 안에 저장되고, 총 노출 타임 중에 그 안에 데이터 엔티티가 포함된다. 이 스틸 사진을 이미지화하는 데이터 엔티티는 가령 전송 버스 용량에 의해 허용될 때 이미지 처리로 전환될 수 있다.

본 발명의 바람직한 실시예들이 이하에서 첨부된 도면들을 참조해 상세히 설명될 것이다.

도 1은 본 발명의 일실시예에 따른 방법을 도시한 것이다.

도 2는 본 발명의 일실시예에 따른 분석 방법을 보인 것이다.

도 3은 본 발명의 일실시예에 따른 장치를 도시한 것이다.

도 4는 본 발명의 일실시예에 따라 카메라 장치 밖에서 최종 사진을 만들기 위해 데이터 엔티티들을 결합하는 방법을 보인 것이다.

본 발명의 여러 실시예들은, 이 명세서의 일부를 이루는 첨부된 도면들을 참조하여 이하에서 설명될 것이다. 그 내용은 본 발명이 이용 및 활용될 수 있는 어떤 전형적인 실시예들을 설명할 것이다. 다른 실시예들 역시 활용될 수 있다는 것과, 본 발명의 보호 범위에서 이탈함이 없이 그 실시예들 안에서 구조적이고 기능적인 변형이 가해질 수 있다는 것을 알아야 한다.

도 1은 총 노출 타임 중에 실행되는, 본 발명의 일실시예에 따른 방법을 보인다. 총 노출 타임이 시작된다(101 단계). 이 명세서 텍스트에서, 개별 노출 타임이라는 말은 센서의 픽셀이 노출되고 촬영 오브젝트가 카메라 센서에 저장되는 동안의 시간을 말하는 것이다. 총 노출 타임은 그 안에 나타나는 개별 노출 타임들로 이뤄지고 최근의 카메라의 정상 (normal) 노출 타임에 해당한다. 따라서 총 노출 타임은, 광이 센서에 액세스할 수 있게 셔터가 열려져 있는 동안의 시간이 된다. 총 노출 타임이 길수록, 더 많은 광이 센서에 노출될 수 있고, 그 반대의 경우도 성립되다. 반면, 노출 타임이 짧아질수록, 좔영 오브젝트가 움직이고 그에 따라 사진에 블러링(blurring)을 초래하는 시간이 줄어든다. 총 노출 타임은 통상적으로, 가령 1/25 또는 1/30 초이다. 본 발명의 일실시예에 따르면, 노출 타임을 결정하는 노출 값이 총 노출 타임 중에 수집된 데이터에 기초해 변경될 수 있다. 노출 타임은 이 실시예에서 상수가 아니고, 조건이 달라짐에 따라 변화한다. 노출 값은 노출 타임의 길이를 결정하는데 사용되고, 노출 타임은 보통 포커스 거리에 비례하여 정해진다.

개별 노출 타임 중에 카메라 센서로부터 센서 데이터가 읽혀진다(102 단계). 센서는 자주, 가령, 1/25000 초의 주파수로 읽혀진다. 본 발명의 일실시에에서, 센서 데이터는 높은 주파수로 읽혀져서, 센서 데이터가 읽혀지는, 총 노출 타임 및 개별 노출 타임의 주파수들의 비율이 약 1:10, 1:100, 1:1000 또는 1:1000이 된다. 그에 따라 총 노출 타임은 약 10, 100, 1000 또는 10000의 개별 노출 타임들을 포함할 수 있다. 센서 데이터는 한 개별 노출 타임 중에 읽혀질 수 있다.

읽혀진 센서 데이터가 디지털 형식으로 변환된다(103 단계). 보통 그 데이터는 이 단계에서 증폭도 된다. 그런 다음, 데이터가 처리 가능한 형태로 된다. 본 발명의 일실시예에 따르면, 읽혀진 센서 데이터는 분석 (104 단계) 전에 디지털 형식으로 변환된다. 104 단계는, 센서에서 읽혀져 디지털 형식으로 변환된 센서 데이터의 분석을 수반한다. 센서 데이터의 분석은 그것을 데이터 엔티티 안에 병합하기 (105 단계) 전에, 검출된 그 센서 데이터의 움직임을 보상하는 것을 의미할 수 있다. 데이터 엔티티는 카메라 센서로부터 읽혀져 한 번의 총 노출 타임 중에 수집된 센서 데이터로 이뤄진다. 일실시예에 따르면, 변환된 데이터를 104 단계에 따라 데이터 엔티티로 병합하기 전에 그 변환된 데이터가 처리될 수 있다. 예를 들어, 데이터가 소정 한계 값들이나 데이터 엔티티에 이미 존재하는 데이터와 비교될 수 있다. 비교 결과에 기반해, 데이터 엔티티의 일부로서 관련될 데이터의 소정 부분을 선택할 수 있게 된다. 예를 들어, 포커스 거리를 변경할 때, 개별 노출 타임 중에 센서로부터 읽혀진 데이터로부터 이 초점 거리로 정확하게 이미지화된 오브젝트들이 저장된다. 포커스 거리는 다음과 같은 개별 노출 타임 전에 변경되어, 다양한 오브젝트들이 정확히 이미지화되게 한다. 그러면 최종 데이터는 이미지 필드 내 각 오브젝트의 거리에 따른 다양한 초점 거리들에 대한 초점 정보를 포함한다. 다른 실시예에 따르면, 부가적으로나 대안적으로 생성되어 센서 데이터로부터 병합된 데이터 엔티티가 분석된다(106 단계). 데이터 엔티티는 읽혀진 센서 데이터 각각에 기초해 저장된 데이터로 이뤄진 연속체(continuum)로서, 총 노출 타임 도중 읽혀진 모든 데이터를 포함한다. 이 실시예에 따르면, 데이터 엔티티는 분석된 후 그 분석에 따라 변형될 수 있다. 일실시예에 따르면 한 총 노출 타임 중에 읽혀진 센서 데이터는 디지털 형식으로 변환되어 하나의 데이터 엔티티 안에 병합되고, 그런 다음 이 병합된 디지털 데이터 엔티티가 이미지 처리 소자로 전달되기 전에 분석된다. 예를 들어, 노출 타임은 보통 데이터 엔티티를 검토함으로써 조정된다.

일단 데이터가 분석되고 혹시 변형되었거나, 데이터의 소정 부분이 데이터 엔티티의 일부로서 선택되었으면, 총 노출 타임이 다 끝났는지 혹은 아직 더 남았는지 여부가 검토될 것이다(107 단계). 총 노출 타임이 아직 유효한 경우, 102 단계에 따라 이어지는 개별 노출 타임들 중 일부 동안 카메라 센서로부터 다음 센서 데이터를 읽어옴으로써 이것이 지속 된다. 107 단계에서 총 노출 타임이 끝났다고 인식되었으면, 108 단계로 가서 실행이 종료된다. 보통 108 단계에서, 소정 타입의 이미지를 구성하기 위해 본 발명의 실시예들에 따라 처리된 데이터를 포함하는 데이터 엔티티가 생성된다. 이렇게 처리된 데이터 엔티티는 보통 이미지 처리 소자로 전송되어, 최종 사진을 생성하도록 된다. 데이터 엔티티는 장치 메모리에 부가적으로 혹은 대안적으로 저장될 수 있으며, 나중에 사진을 생성하기 위해 그 메모리로부터 검색될 수 있게 된다.

도 2는 일실시예에 따른 분석 단계를 보인 것으로, 여기서는 개별 노출 타임 도중에 카메라 센서에서 읽어 온 센서 데이터 및/또는 총 노출 타임 중의 그러한 데이터로 이뤄진 데이터 엔티티가 처리된다. 도 2의 실시예는 본 발명의 실시예들에 따른 장치를 통해 실행될 수 있는 어떤 처리 단계들을 보이고 있다. 이 처리 단계들은 여기 보여진 것과 다른 순서로 수행될 수도 있고, 아니면 그 중 일부 혹은 선택된 한 단계가 수행될 수도 있다. 본 발명의 일실시예에 따르면, 개별 노출 타임 중에 센서 데이터가 읽혀져 처리된다. 읽혀진 센서 데이터는 최종 사진을 표현하는 데이터 엔티티를 생성하기 위해, 카메라의 메모리 유닛에 저장된다. 그런 다음 저장된 데이터가 도 2의 실시예에서 보인 것과 같이 처리될 수 있다. 도 2의 실시예에서, 픽셀 데이터가 데이터 엔티티 안에 병합된다(201 단계). 도 2의 실시예에서, 생성된 데이터 개체가 202 단계에서 검토된다. 검토된 노출 값이 202 단계의 검토에 기초해 최적치인 경우, 아래의 단계가 액세스될 수 있다. 202 단계에서 노출 값이 가능한 최선의 값이 아니라고 인식되면, 최적의 노출 값을 얻기 위해 소정의 미리 정해진 규칙에 따라 이 노출 값이 변경된다(203 단계). 현재 수집된 데이터 엔티티에 할당된 총 노출 타임이 끝났는지를 체크할 수 있다(204 단계). 204 단계에서 총 노출 타임이 끝났으면, 215 단계가 액세스되고, 여기서 상기 생성 된 엔티티가 최종 사진을 형성하기 위해 이미지 처리 소자로 전송된다. 일실시예에 따르면, 데이터 개체는 장치 메모리 상에 저장되고(215 단계), 그 메모리로부터 나중에 사진을 생성하도록 이미지 처리 요소로 검색될 수 있게 된다. 204 단계에서 아직 총 노출 타임이 남아 있으면, 다음 단계 205가 액세스 될 수 있다. 일실시예에 따르면, 202-203 단계에 따라 노출 타임만을 검토하는 것이 가능하게 된다. 본 발명의 일실시예에 따르면, 이뤄진 분석에 기초해 노출 조정을 검토하고 노출 값을 정함으로써 총 노출 타임 중 데이터 엔티티가 분석된다. 일실시예에 따르면, 노출 조정은 전 센서 영역에 대해 균일하게 검토된다. 다른 실시예에 따르면, 노출은 개별 픽셀의 영역에 대해 픽셀마다 고유하게 조정될 수 있다. 일실시예에 따르면, 노출은 소위 블록 단위 고유 방식으로 소정 선택 픽셀들의 영역에 대해 검토될 수 있다.

205 단계에서, 센서 데이터가 개별 노출 타임 도중 카메라 센서로부터 읽혀진다. 206 단계에서, 포커스 거리가 촬열될 뷰에 자리한 여러 오브젝트들에 대해 정해졌는지 여부가 검토된다. 본 발명의 일실시예에 따르면, 포커스 거리 및 오브젝트는 총 노출 타임 중에 다양한 거리들에 대한 포커스 정보를 얻기 위해 변동된다. 보통, 개별 노출 타임들에 대한 포커스 거리 또는 초점 길이들이 선택되어, 이미지 필드 내 각 오브젝트가 선명하게 이미지화된다; 즉, 포커스 거리들은 오브젝트 거리들에 상응한다. 포커싱은 오브젝트 없는 거리들에 대해서는 행해지지 않는데, 이는 오브젝트 없는 거리에서 정확한 사진을 얻는데 정확한 이미지가 필요로되지 않기 때문이다. 반대로, 오브젝트 없는 거리에 대한 포커싱은 어떠한 실질적 부가 정보를 산출함이 없이 장치의 용량을 단지 정상적으로 소모한다. 206 단계에서, 총노출 타임 중에 촬영될 뷰의 여러 거리들 상에 자리한 모든 오브젝트들에 대해 포커스 거리가 이미 정해졌는지 여부가 검토된다. 어떤 오브젝트의 어떤 거리가 아직도 미검토된 경우, 포커스 거리가 달라진다(207 단계). 보통 포커스 거리는 가령 가장 가까운 오브젝트부터 가장 먼 것에서 다음으로 가장 가까운 오브젝트에 주밍(zoom) 된다. 일실시예에 따르면, 포커스 거리는, 이 거리상의 오브젝트가 찰영될 뷰 안에서 검출될 때 포커싱이 이 거리에 대해 일어나도록, 소정 스텝들로 증가된다. 일실시예에 따르면, 카메라 가늠구멍(aperture)이 총 노출 타임 중에 조정된다. 센서로의 광량은 이 가늠구멍을 사용해 조정될 수 있다. 동시에, 가늠구멍 조정은 최종 사진의 필드 깊이 (depth)에 영향을 미친다. 결국, 다양한 거리들에 있는 오브젝트들의 촬영은 가늠구멍을 조정함으로써 본 발명의 실시예에 따라 정확하게 행해질 수 있다. 본 발명의 일실시예에 따르면, 최종 사진 내 각 오브젝트의 포커스 정보는 이미지 처리 소자로 전송될 데이터 엔티티에 포함되고, 그에 따라 각 오브젝트는 오브젝트 거리와 무관하게 정확히 촬영된다. 208 단계에서, 총 노출 타임이 끝났는지 여부가 검사된다(208 단계). 개별 노출 타임들로 이뤄진 총 노출 타임이 소모된 경우, 215 단계가 액세스 되고, 여기서 상기 생성된 데이터 개체가 이미지 처리 소자로 전송된다. 일실시예에 따르면, 포커스 거리 검사 및 가능한 변경만이, 읽혀진 센서 데이터에 대해 수행되고, 그런 다음, 208 단계에서 관련된 총 노출 타임이 여전히 남아 있다고 인식된 경우, 센서 데이터가 205 단계에 따라 다시 한번 읽혀진다. 도 2의 실시예에서, 208 단계에 아직 총 노출 타임 이 남아 있으면 209 단계가 액세스 된다.

209 단계에서, 개별 노출 타임 중에 카메라나 촬영 오브젝트의 움직이 검출되는지 여부가 검사된다. 물리적인 센서이거나 가령 모션 추정기 등일 수 있는 모션 센서가 검출한 움직임에 대한 정보를 본 발명에 다른 처리 소자로 전송하거나, 처리 소자가 가령 소정 간격마다 모션 센서가 움직임을 검출했는지 여부를 체크할 수 있다. 일반적으로 모션 센서는 가령 신호를 프로세싱 블록으로 전송함으로써 검출한 움직임을 지시한다. 본 발명의 일실시예에 따르면, 모션 센서가 개별 노출 타임 중의 카메라/오브젝트의 움직임을 가리키는 경우, 이 개별 노출 타임 중에 센서로부터 읽어 온 픽셀 데이터가 그 지시된 움직임과 반대의 방향으로 이동되어 최종 사진에서 이 움직임으로 인해 야기되는 블러링을 제거하도록 된다. 움직임이 209 단계에서 검출되었으면, 210 단계가 액세스되고, 여기서 픽셀 데이터는 209 단계에서 검출된 움직임을 보상하도록 쉬프트 된다. 따라서 픽셀 데이터는 검출된 움직임에 해당하는 양만큼 반대 방향으로 쉬프트된다. 그런 다음, 움직임 보상된 픽셀 데이터가 최종 사진을 표현하는 데이터 엔티티 안에 병합된다. 일실시예에 따르면, 최종 사진에 보통 블러링을 야기할 수 있는, 카메라나 오브젝트의 원치않은 움직임이 보상될 수 있다. 일실시예에 따르면 카메라 움직임으로 야기된 블러링은 최종 사진에서 완벽하게 제거될 수 있다. 211 단계에서, 임의의 총 노출 타임이 남았는지 여부가 검사된다. 총 노출 타임이 다 소모된 경우, 215 단계가 액세스되어, 이 단계에서, 생성된 데이터 엔티티가 이미지 처리 소자로 전송된다. 일실시예에 따르면, 데이터 엔티티는 계속 처리될 수 있다, 가령, 저장된 소정 데 이터가 소정의 미리 정해진 근거에 따라 215 단계에 따라 이미지 처리 소자로 보내지기 전에 데이터 엔티티의 일부로서 선택될 수 있다. 211 단계에서 아직 총 노출 타임이 남아 있으면, 다음 단계가 액세스된다. 다음 단계는, 실시예에 따라 다르며, 분석된 데이터가 데이터 엔티티 안에 병합되는 214 단계에 따라 201 단계로 이동하거나, 도 2에 도시된 것처럼, 212 단계에 따라 노출 위치 쉬프팅을 행하는 단계일 수 있다.

212 단계에서, 센서 상에 이미지화된 뷰의 위치, 즉, 노출될 뷰가 오프셋(offset) 된다. 실제로, 이 오프셋은 가령 포커스 거리를 변경함으로써, 그에 따라 뷰 앵글을 넓히거나 좁힘으로써 달성될 수 있다. 일실시예에 따르면, 노출된 뷰의 변경은 포커스 거리의 검토와 동시에 검토되는데, 이들 변수들이 서로 독자적이고 그에 따라 동시에 변경될 수 있기 때문이다. 본 발명의 일실시예에 따르면, 센서, 광학 시스템, 또는 촬영 장치에서 개별 노출 타임 중에 작은 오프셋이 생성되어, 센서 사이즈에 해당하는 것보다 더 큰 이미지 필드가 총 노출 타임 중에 노출되게 된다. 그 실시예들에 의한 오프셋들 및 이들에 의해 야기된 편향 (deviations)은 매우 적으며, 그 크기 스케일은 보통 마이크로 미터 대이다. 센서의 픽셀 사이즈는 보통 약 2-10 마이크로미터이거나 심지어는 2 마이크로미터 아래에 있다. 초점 거리를 변경함으로써 더 큰 이미지 필드에 대한 추가 정보가 얻어진다. 일실시예에 따르면, 이미지 오브젝트는 센서 영역에 걸쳐 이동하며, 그에 따라 센서는 총 노출 타임 동안 이미지 오브젝트를 스캔하는 것과 같다. 큰 오브젝트 역시 작은 센서로 읽혀질 수 있다. 본 발명의 실시예에 따르면, 총 노출 타 임 중에 읽혀진 센서 데이터로부터 병합된 데이터 엔티티는 다양한 오프셋 위치들에 공통된 센터 영역에 대한 더 상세한 정보 및 각 오프셋 위치에 고유한 에지 영역에 대한 부가 정보를 포함한다. 일실시예에 따르면, 촬영될 뷰의 센터 영역은 서로 살짝 어긋난 뷰 앵글들 각각에 대한 공통 영역이다. 그 실시예에 따르면, 많은 데이터가, 센서가 안정적 뷰에 대해서만 읽혀질 때보다 훨씬 더 많은 양을 가지고 더 정확하게 센터 영역으로부터 수신된다. 따라서 뷰의 센터 영역은 매우 정확하게 촬상되는데, 실시예들에 따르면 이는 센터 영역이 다른 경우 센서 해상도에 의해 세팅된 경계 조건들에 따라 수신될 수 있는 것보다 많은 데이터를 제공하기 때문이다. 본 발명의 일실시예에 따르면, 데이터 엔티티는 센서 센터 영역에 관한 것으로 총 노출 타임 중에 읽혀진 센서 데이터에 공통된 정보로부터, 해상도가 센서 해상도보다 높은 이미지를 형성하기 위해 병합된다. 오프셋의 방향, 즉 촬영될 뷰의 쉬프팅 방향은 어느 에지 영역 또는 에지 영역들이 이전 뷰와 비교해 계속 커버되고, 어느 것이 새로 나타나는지를 결정한다. 포커스 거리를 변경할 때, 에지 영역들은 보통 모든 방향으로 같은 정도만큼 주변적으로 확장되거나 축소된다. 새로 나타나는 에지 영역들에서 나온 데이터는 앞서 센서에 수신되지 못한 것이다. 이렇게, 이전 데이터에 부가하여, 완전히 새 데이터가 센서로부터 읽혀질 수 있고, 그 새 데이터는 총 노출 타임 안에 생성된 데이터 엔티티에 부가될 수 있다. 따라서 촬영된 뷰의 사이즈가 센서 사이즈로 제한되지 않자먼, 센서 사이즈로 규정될 수 있는 더 넓은 뷰를 촬영하는 것이 가능하다. 본 발명의 일실시예에 따르면, 총 노출 타임 중에 읽혀진 개별 센서 데이터는 데이터 엔티티에 병합되어, 센서의 정 상 이미지 필드보다 넓은 이미지 필드를 포함하는 이미지를 형성하도록 된다.

213 단계에서, 다시 총 노출 타임이 끝났는지가 검토된다. 213 단계에서 아직 총 노출 타임이 남아 있으면, 214 단계에 따라 201 단계가 액세스 되고, 거기서 데이터가 데이터 엔티티 안에 병합된다. 213 단계에서 총 노출 타임이 다 됐으면, 생성된 데이터 엔티티가 이미지 처리 소자로 보내진다(215 단계). 일실시예에 따르면, 데이터 엔티티는 저장된 데이터로부터 수집될 수 있고, 아니면 데이터 엔티티가 이미지 처리 소자로 전송(215 단계) 되기 전에 여전히 변형될 수도 있다. 도 2의 실시예에 도시된 분석 단계들은 다른 순서로 수행될 수 있고, 아니면 이들 중 하나나 몇 개가 어플리케이션에 따라 배제될 수도 있다. 일실시예에 따르면, 모션 센서에 의해 가령 209 단계에서 검출된 움직임이, 도트들이나 픽셀들을 쉬프트함으로써 도 2의 실시예에 도시된 움직임 보상 이외에, 노출 값 체크하기 및 그 노출 값의 가능한 변경을 야기한다.

일실시예에 따른 전형적 장치는 도 3에 도시된 광학 시스템(301), 데이터 처리 블록(302), 및 이미지 처리 소자를 포함한다. 광학 시스템(301)은 광학계, 즉 렌즈 시스템을 포함한다. 광학 시스템(301)은 또 이미징 프로세스를 시동하기 위한 액추에이터를 포함할 수도 있다. 데이터 처리 블록(302)은 통상적으로 노출 블록(3021)을 포함하고, 여기서 노출값이 규정된다. 노출 값은 노출 타임 및 렌즈 시스템의 디밍(dimming) 조정, 즉, 구멍(opening)의 사이즈에 영향을 받는다. 통상적으로 노출 값은 노출 블록(3021)에서 자동으로 정해진다. 어떤 가장 진보한 장치들에서, 노출 값에 영향을 미치는 파라미터들은 수동으로도 조정될 수 있다. 데이터 처리 블록(302)은 보통 자동 포커스 블록(3022), 즉, 포커싱이 맞춰질 포커스 거리가 자동으로 결정되는 블록을 또한 포함한다. 종래 기술에 따르면, 데이터는 데이터 처리 블록(302)에서 이미지 처리 소자(303)로 전송되어 디지털 이미지 파일을 생성하도록 된다. 이미지 파일은 장치의 디스플레이 유닛 상에 보여지거나 가령 메모리 카드, 또는 장치의 유사 메모리 유닛(304)에 저장될 수 있다. 본 발명의 몇몇 실시예들에 따르면, 센서(306)에서 읽혀진 센서 데이터는 이미지 처리 소자(303)로 보내지기 전에 처리된다. 본 발명의 실시예들 중 일부에 따른 블록들이 도 3의 파선으로 경계된 영역으로 표시된다.

본 발명의 실시예들에 따른 장치에서, 센서에서 읽혀진 데이터는 이미지 처리 소자(303)로 보내지기 전에 처리된다. 이미지 처리 소자로 센서 데이터를 전송하기 전에 그 데이터를 처리하기 위한 본 발명의 일실시예에 따른 장치는 한 번의 총 노출 타임 중에 적어도 두 번 이상 카메라 센서(306)의 센서 데이터를 읽어오기 위한 수단, 읽혀진 센서 데이터를 분석하는 수단(309), 총 노출 타임 중 읽혀진 센서 데이터로부터 최종 이미지를 표현하는 데이터 엔티티를 병합하는 수단(308), 및 그 데이터 엔티티를 분석하는 수단(312)을 포함한다.

노출 블록(3021)에서 결정된 노출 타임은 보통 가령 약 1/25초가 된다. 센서(306)는 특정된 총 노출 타임 중에 수차례 읽혀진다, 가령 초당 25000회 읽혀진다. 일부 실시예들에 따르면, 본 발명에 따른 장치는 한 번의 총 노출 타임 중에 약 10, 100, 1000, 또는 10000 번 센서 데이터를 읽어오는 수단을 포함한다. 일반적으로, 센서가 노출되고 총 노출 타임을 이루는 개별 노출 타임의 회수는 센서의 읽기 회수에 상응한다. 그래서 총 노출 타임과 개별 노출 타임의 비율은 약 1:10, 1:100, 1:1000 또는 1:10000이 될 수 있다.

일실시예에 따른 장치는 읽어온 센서 데이터를 디지털 형태로 변환하는 수단(307)을 포함한다. 그런 다음 디지털 형태의 데이터가 처리되고 변형되고 저장될 수 있다. 만들어질 최종 사진을 표현하는 데이터 엔티티는 병합 블록(308)에서 상기 변환된 디지털 데이터들로부터 병합된다. 본 발명의 일실시예에 따른 촬영 장치는 센서 데이터에서 생성된 디지털 데이터 엔티티를 분석하는 수단(312)을 포함한다. 생성된 디지털 데이터 엔티티는 이미지 처리 소자(303)로 보내지기 전에 분석 및 변경될 수 있다. 노출 값이나 초점 거리 등이 조정될 수 있다.

본 발명의 일실시예에 따른 촬영 장치는 카메라 움직임을 표시하는 모션 센서(305) 및 센서에서 읽혀진 픽셀 데이터를 표시된 카메라 움직임과 반대 방향으로 쉬프트하여, 생성될 최종 사진에서 데이터 엔티티로부터의 움직임에 의해 야기된 블러링을 제거하기 위한 수단(311)을 포함한다. 픽셀 쉬프팅 블록(311)은 어떻게, 얼마만큼, 그리고 어떤 조건에서 이미지 픽셀들이나 도트들이 쉬프트되는지를 결정한다. 일반적으로 픽셀들은 픽셀 쉬프팅 블록에 의해, 센서(305)가 카메라 움직임을 표시한 경우 이미지의 원치않은 블러링을 보상하도록 쉬프트된다. 모션 센서(305)는 소정 간격으로 읽혀질 수 있고, 아니면, 카메라 움직임을 검출할 때마다 그것에 대한 정보를 전달할 수 있다. 물리적 센서 이외에, 모션 센서는 센서에서 읽어온 개별 픽셀 데이터를 이전에 병합된 데이터 엔티티와 비교하여 전면적인 움직임을 검출하는 모션 추정기 등일 수 있다. 카메라 움직임에 대한 정보가, 보통 시리얼 IF 포트(309)인 IF 제어기로 전송된다. IF 제어기(309)가 카메라 움직임에 대한 정보를 수신한 경우, IF 제어기는 그 움직임 정보를 픽셀 쉬프팅 블록(311)으로 보내어, 거기서 픽셀이 어떤 특정 명령들에 따라 쉬프트되도록 할 수 있다. 일반적으로 카메라 움직임은, 픽셀 데이터나 도트 데이터가 그 움직임에 반대되는 방향으로 그 움직임에 해당하는 정도로 이동하도록 보상된다. 카메라나 촬영 오브젝트의 움직임이 최종 사진에 미치는 영향은 본 발명의 일실시예에 따른 장치를 통해 완벽하게 제거될 수 있다. 보통, 최종 사진 안에서 적어도 현저한 블러링이 보상될 수 있고 소위 충분히 양호한 이미지를 얻을 수 있다. 움직임이 보상되고 정정된 픽셀 데이터가 데이터 개체 안에 병합된다.

시리얼 IF 제어기(309)는 노출 블록(3021)에서 결정된 노출 값에 대한 정보 역시 수신한다. IF 제어기(309)가 이 노출 값을 타이밍 블록(310)으로 전달하여, 거기서 특정 노출 값과 그것과 관련된 파라미터들이 분석 및 변경될 수 있다. 모션 센서(305)를 통해 검출된 움직임 또한 노출 값의 변경에 영향을 미칠 수 있다. 본 발명의 일실시예에 따른 촬영 장치는 센서 데이터의 노출 조정을 검토하고 노출 단계 중에 그 검토결과에 기초해 노출 타임을 결정하는 수단(310)을 포함한다. 일실시예에 따르면, 촬영 장치는 전 센서 영역에 걸쳐 센서에 고유하게 노출 조정을 검토하는 수단(310)을 포함한다. 다른 실시예에 따르면, 촬영 장치는 개별 픽셀 영역에 대해 픽셀에 고유하게 노출 조정을 검토하는 수단(310)을 포함한다. 세 번째 실시예에 따르면, 촬영 장치는 하나의 블록이 한번에 소정의 픽셀들을 포함하는 소정 픽셀들의 영역에 대해 노출 조정을 검토하는 수단(310)을 포함한다. 새로 특 정된 노출 값은 IF 제어기(312)를 거쳐 데이터 처리 블록(302)의 노출 블록(3021)으로 전달되어, 거기서 이 새 노출 값이 사용을 위해 취해진다. 일실시예에 따르면, 새 값은 초점 길이에 대한 것과 유사하게 정해질 수도 있는데, 이 경우 새 초점 거리 값은 새 노출 값 대신, 혹은 그에 부가하여 데이터 처리 블록(302)으로 전송되어 그 새 값이 사용에 취해진다.

본 발명의 일실시예에 따른 장치는 초점 길이 및 오브젝트를 총 노출 타임 중에 가변하여 다양한 거리들에 대한 포커스 정보를 생성하도록 하는 수단을 포함한다. 일실시예에 따르면, 시리얼 IF 제어기(312)가 초점 길이에 대한 정보를 데이터 처리 블록(302)의 오토 포커스 블록(3022)으로 전송한다. 본 발명의 일실시예에 따라 수신된 새 초점 길이 정보가 데이터 처리 블록(302)에서 사용을 위해 취해지고, 다음 개별 노출 타임 도중에 사용된다. 일실시예에 따르면, 새로 수신된 초점 길이 값에 따라 그것이 유효한 동안에, 다음 센서 데이터가 다음 개별 노출 타임 중에 읽혀진다. 이렇게, 다양한 거리들에 대해 초점이 맞춰지는 이미지들을 얻을 수 있게 된다. 다른 실시예에 따르면, 다양한 거리상의 오브젝트들이 총 노출 타임 중에 그 가늠구멍을 조정함으로써 정확히 촬영될 수 있다. 일실시예에 따른 장치는 거리와 무관하게 각 오브젝트를 정확히 촬영하기 위해 이미지 처리 소자로 전달될 데이터 엔티티에 최종 사진의 각 오브젝트에 대한 포커스 정보를 포함하는 수단을 포함한다. 따라서, 거리에 무관하게 다양한 거리상에 자리한 모든 오브젝트들에 대한 정확한 촬영이 이뤄질 수 있다. 다양한 거리들에서 초점이 맞춰진 모든 오브젝트들이나 영역들에 대한 정보가 병합 블록(308)에서 데이터 엔티티 안 에 병합되고, 그것이 총 노출 타임 안에서 노출된 최종 사진을 표현한다.

일실시예에 따른 장치는 매번 노출된 이미지 필드를 스캐닝하고 카메라 밖의 이미지 처리 소자를 이용해 완전한 최종 사진을 만드는데 사용될 수 있는 데이터 엔티티를 생성하는 수단을 포함한다. 이 실시예는 사용자로 하여금 촬영 중에 카메라를 이동해 카메라의 것보다 더 넓은 이미지 필드를 스캐닝할 수 있게 한다.

본 발명의 일실시예에 따른 장치는 개별 노출 타임 중에, 총 노출 타임 중 센서 사이즈에 상응하는 것보다 넓은 이미지 필드를 노출하도록 센서나 촬영 장치의 최소 오프셋을 생성하는 수단을 포함한다. 통상적으로 센서나 촬영 장치는 그 오리지널 위치에서 오프셋된다. 오프셋은 보통 크기가 마이크로미터 대이며, 센서 도트 사이즈보다도 적다. 이것이 총 노출 타임 중에 센서로부터, 약간의 인접 프레임들을 읽어오는 것을 가능하게 한다. 읽혀진 모든 프레임들에 대한 정보가 병합 블록(308) 안에서 데이터 엔티티 안에 병합되고, 그것이 총 노출 타임 중 만들어진 최종 사진을 나타낸다. 일실시예에 따른 장치는 센서의 보통 이미지 필드보다 더 넓은 이미지 필드를 포함하는 사진을 만들기 위해, 데이터 엔티티 안에 총 노출 타임 중 읽어온 센서 데이터를 병합하는 수단(308)을 포함한다. 다른 실시예에 따른 장치는 센서 해상도보다 해상도가더 높은 사진을 만들기 위해, 데이터 개체안에 총 노출 타임 동안 읽어 온 센서 데이터에 공통된 센서 센터 영역에 관한 정보를 병합하는 수단(308)을 포함한다. 그에 따라 이 실시예에 따른 구성은, 이미지의 에지 부분에 대한 추가적 부가 정보 및/또는 이미지의 센터 부분들에 대한 상세 부가 정보를 제공한다. 일실시예에 따르면, 병합 블록(308)은 메모리 유 닛(313)에 데이터를 저장하고, 메모리 유닛(313)에 저장된 데이터를 처리한다. 카메라의 메모리 유닛(313)은 보통 리드-알터 (read-alter) 메모리로서 이것은 메모리 제어기(312)를 통해 처리된다.

본 발명의 실시예들에 따른 수단들은 통상, 적어도 부분적으로, 프로그램 제어가능 수단들이다. 일실시예에 따르면, 카메라 센서는 메모리를 확장하기 위한 물리적 외부 메모리 및 물리적 픽셀 쉬프팅 및 픽셀 데이터 병합 수단을 갖추고 있으며, 이러한 것은 가령 실리콘 내장 로직으로서 구현될 수 있다. 센서 데이터를 이미지 처리 요소로 전송하기 전에 그것을 처리하기 위한, 본 발명의 일실시예에 따른 소프트웨어 요소는, 총 노출 타임 중에 적어도 두 번 이상 카메라의 센서 데이터를 읽기 위한 프로그램 제어 수단, 읽어온 센서 데이터를 분석하기 위한 프로그램 제어 수단, 및 총 노출 타임 중 읽어온 센서 데이터로부터 최종 이미지를 표현하는 데이터 엔티티를 병합하기 위한 프로그램 제어 수단을 포함한다. 일실시예에 따른 시리얼 IF 제어기는, 특정한 방식에 따라 데이터를 분석 및 처리하는 수단을 포함한다. 일실시예에 따른 타이밍 블록은 소정 조건에 따라, 노출 값이나 노출 타임이나 오프닝 사이즈 같이 노출 값에 영향을 미치는 파라미터들을 결정하는 수단을 포함한다. 일실시예에 따른 픽셀 쉬프팅 블록은, 보통 센서로부터 읽어온 픽셀 데이터인 도트들이나 픽셀들을, 소정의 미리 규정한 조건하에서 소정 방향으로 소정 정도만큼 쉬프팅하는 수단을 포함한다. 프로그램 제어 수단은 보통, 어떤 소정 조건하에서 소정 액션을 실행하기 위해 설정된 명령, 또는 실행가능한 소프트웨어이거나, 컴퓨터 언어로 된 코드이다. 보통, 본 발명의 실시예들에 따른 방법 을 실행하는 수단의 적어도 일부는 프로그램 제어(형) (programmable) 수단들이다.

도 4는 사용자가 카메라 장치 밖의 연속 이미지 안에 병합되는 데이터 엔티티들을 생성할 수 있는 실시예를 보인다. 그에 따라 카메라 장치의 메모리는 최종 이미지의 크기를 제한하지 않는다. 본 발명의 실시예들에 따라 총 노출 타임 중의 데이터 엔티티가 생성된다(401 단계). 데이터 엔티티는 가령, 움직임이 보상될 수 있고, 아니면 상이한 거리상에 자리한 촬영될 뷰의 오브젝트들에 대한 포커스 정보를 포함할 수도 있다. 일실시예에 따르면, 이렇게 생성된 데이터 엔티티들은 데이터 엔티티가, 여러 개의 동등한 데이터 엔티티들로 이뤄진 더 크고 더 넓은 소위 파노라마식 이미지 등의 일부라는 것에 대한 표시를 포함한다. 데이터 엔티티는 이미지 처리 메모리로 전달된다(402 단계). 이미지 처리 메모리에서 누적된 이미지 엔티티는 실시간으로 디스플레이되어 사용자로 하여금 그 누적사항을 통제할 수 있도록 한다. 이미지 처리 메모리는 보통 카메라 장치 외부의 메모리 유닛이다. 또, 이제까지 누적된 데이터 엔티티들을 실시간으로 디스플레이하는 디스플레이 유닛 역시, 보통은 카메라 장치 외부의 디스플레이이다. 일실시예에 따르면, 카메라 장치의 디스플레이 유닛은 누적된 데이터 엔티티들을 데이터 엔티티들 안에 포함된 모든 데이터를 포함하고 있지 않지만 식별은 가능한 예비안(draft)들로서 디스플레이한다. 데이터량을 합리적으로 유지하면서, 이 예비안이 카메라 장치의 디스플레이 상에 실시간으로 보여질 수 있다. 일실시예에 따르면, 이미지 처리 메모리는 데이터 엔티티들을 저장하기 위한 특수 메모리 유닛이다. 이미지 처리 메모리는 보통 처리 블록 또한 포함하며, 이것을 사용해 이미지 처리 메모리 내 데이터 엔티 티들이 최종 사진을 구성하도록 병합된다.

최종 사진이 복수의 데이터 엔티티들로부터 구성된다(403 단계). 403 단계에서, 일실시예에 따르면, 중첩되거나 근접한 데이터 엔티티들을 찾기 위해 데이터 엔티티들의 공통 특성들을 검토하는 것이 가능하다. 403 단계는 이 실시예에서 카메라 장치 밖에서 수행되어, 카메라 장치의 메모리 량이 그 실행을 제한하지 않도록 한다. 도 4에 도시된 실시예는 사용자로 하여금 원하는 오브젝트를 촬영하거나 조각 조각 볼 수 있게 할 수 있다. 사용자는 마치 총 뷰를 한번에 한 파트로 스캔하듯 하게 된다. 오브젝트의 한 부분이나 뷰가 촬영되고 데이터 엔티티가 그로부터 생성된 뒤에, 그 데이터 엔티티는 외부 메모리 유닛으로 전달되고, 사용자는 데이터 엔티티를 생성하기 위해 오브젝트의 다음 부분이나 뷰가 노출되도록 카메라를 이동한다. 일실시예에 따르면, 데이터 엔티티들은 여러 데이터 엔티티들로 이뤄질 한 이미지의 일부라는 표시를 포함한다. 다른 실시예에 따르면, 외부 처리 유닛은, 소정 규칙에 따라, 소정 데이터 엔티티들로부터 최종 사진을 병합하는 방법을 알고 있다. 최종 사진은 가령 소정 시간 인터벌로서 차례로 생성된 데이터 엔티티들로 이뤄질 수 있다. 두 데이터 엔티티들의 생성이나 저장 사이의 인터벌이 소정 제한치를 초과할 때, 데이터 엔티티들은 같은 최종 사진에 속하는 것이라고 더 이상 고려되지 않는다.

Claims (31)

1. 센서 데이터를 이미지 처리 소자로 전달하기 전에 그 센서 데이터를 처리하기 위한 방법에 있어서,

   센서 데이터가 개별 노출 타임 도중에 카메라 센서로부터 그 카메라 센서의 병합 블록으로 읽혀지고;

   상기 읽혀진 데이터는 상기 카메라 센서의 메모리 유닛으로 저장되며; 그리고

   최종 사진을 표현하는 처리된 데이터 엔티티가 총 노출 타임 동안 읽혀진 센서 데이터로부터 상기 카메라 센서의 병합 블록 내에 병합되어, 상기 처리된 데이터 엔티티가 이미지 처리 소자로 보내질 수 있기 전에 상기 읽혀진 센서 데이터 및/또는 병합된 데이터 엔티티가 분석됨을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 센서 데이터는 총 노출 타임 동안 적어도 두 회 이상 높은 주파수(빈도)로 읽혀짐을 특징으로 하는 방법.
3. 제1항에 있어서, 상기 센서 데이터는 이 센서 데이터가 읽혀지게 되는 총 노출 타임과 개별 노출 타임의 빈도 율이 1:10, 1:100, 1:1000 또는 1:10000이 되도록 높은 주파수로 읽혀짐을 특징으로 하는 방법.
4. 제1항 또는 제2항에 있어서, 상기 총 노출 타임 동안 읽혀진 상기 센서 데이터는 디지털 형식으로 변환되어 한 데이터 엔티티 안에 병합되고, 그런 다음, 이렇게 병합된 디지털 데이터 엔티티는 이미지 처리 소자로 보내지기 전에 분석됨을 특징으로 하는 방법.
5. 제1항 또는 제2항에 있어서, 상기 총 노출 타임 동안 데이터 엔티티가 분석되어, 수행된 그 분석에 기초하여 노출 조정이 검토되고 노출 타임이 결정됨을 특징으로 하는 방법.
6. 제5항에 있어서, 상기 노출 조정은 전 센서 영역이나, 개별 픽셀 영역, 또는 특정 픽셀들의 영역에 대해 검토됨을 특징으로 하는 방법.
7. 제1항 내지 제3항 중의 어느 한 항에 있어서, 상기 읽혀진 센서 데이터는 데이터 엔티티 안에 병합되기 전에, 디지털 형식으로 변환되고 이 디지털 센서 데이터가 분석됨을 특징으로 하는 방법.
8. 제7항에 있어서, 상기 총 노출 타임 동안, 모션 센서가 카메라 움직임을 가리킨 경우, 디지털 데이터 엔티티는 가리켜진 카메라 움직임과 반대 방향으로 쉬프트 (shift)되어, 데이터 엔티티로 이뤄질 최종 사진 안에서 움직임으로 야기된 블러링(blurring)을 제거하도록 함을 특징으로 하는 방법.
9. 제1항 또는 제2항에 있어서, 총 노출 타임 동안 포커스 거리 및 오브젝트가 바뀌어, 다양한 거리들에 대한 포커스 정보가 얻어짐을 특징으로 하는 방법.
10. 제1항 또는 제2항에 있어서, 최종 사진에 포함된 오브젝트의 포커스 정보는 이미지 처리 소자로 보내질 데이터 엔티티에 포함되고, 그에 따라 각 오브젝트가 그 오브젝트 거리와 무관하게 정확하게 이미지화됨을 특징으로 하는 방법.
11. 제1항 또는 제2항에 있어서, 총 노출 타임 동안 센서나 촬영 장치에서 오프셋(offset)이 유발되어 총 노출 타임 동안 센서 사이즈에 해당하는 것보다 더 큰 이미지 필드가 노출됨을 특징으로 하는 방법.
12. 제11항에 있어서, 읽혀진 센서 데이터는 다양한 오프셋 위치들에 공통된 센서 영역에 대한 더 상세한 정보 및, 각 오프셋 위치에 고유한 에지 영역에 대한 부가 정보를 포함함을 특징으로 하는 방법.
13. 제11항에 있어서, 상기 총 노출 타임 동안 읽혀진 센서 데이터는, 센서의 일반 이미지 필드보다 넓은 이미지 필드를 포함하는 사진을 구성하도록 데이터 엔티티 안에 병합됨을 특징으로 하는 방법.
14. 제12항에 있어서, 상기 데이터 엔티티는 센서 센터 영역에 관한 정보, 총 노출 타임 동안 읽혀진 센서 데이터에 공통된 정보로부터 병합되어, 센서 해상도보다 높은 해상도를 가진 사진을 구성함을 특징으로 하는 방법.
15. 제1항에 있어서, 총 노출 타임 동안 생성된 데이터 엔티티는 외부 메모리로 전송되고, 그 안에서 데이터 엔티티들이 하나의 통합 사진 안에 병합됨으로써 최종 사진이 적어도 둘 이상의 데이터 엔티티들로 이뤄짐을 특징으로 하는 방법.
16. 센서 데이터를 이미지 처리 소자로 전달하기 전에 그 센서 데이터를 처리하기 위한 장치에 있어서,

    카메라 센서의 센서 데이터를 상기 카메라 센서의 병합 블록으로 읽어오는 수단;

    개별 노출 타임 도중에 상기 병합 블록으로부터 상기 읽어 온 센서 데이터를 상기 카메라 센서의 메모리 유닛으로 저장하는 수단;

    상기 읽어 와서 저장된 센서 데이터를 분석하는 수단;

    상기 분석된 센서 데이터를 총 노출 타임 동안 읽혀진 센서 데이터로부터 최종 사진을 표현하는 처리된 데이터 엔티티로 병합하는 수단; 및

    상기 처리된 데이터 엔티티를 분석하는 수단;을 포함함을 특징으로 하는 장치.
17. 제16항에 있어서, 상기 센서 데이터를 총 노출 타임 동안 적어도 두 회 이상 읽어오는 수단을 포함함을 특징으로 하는 장치.
18. 제16항에 있어서, 상기 센서 데이터를 총 노출 타임 동안 10, 100, 1000 또는 10000 번 읽어오는 수단을 포함함을 특징으로 하는 장치.
19. 제16항에 있어서, 상기 읽어온 센서 데이터를 디지털 형식으로 변환하고, 그 디지털 센서 데이터를 분석하고, 그 분석된 디지털 센서 데이터를 데이터 엔티티 안에 병합하기 위한 수단을 포함함을 특징으로 하는 장치.
20. 제16항 또는 제18항에 있어서, 카메라 움직임을 가리키는 모션 센서와, 그 가리켜진 카메라 움직임과 반대 방향으로 디지털 데이터 엔티티를 쉬프트 (shift)하여 데이터 엔티티로 이뤄질 최종 사진에서 상기 움직임으로 야기되는 블러링(blurring)을 제거하도록 하는 수단을 포함함을 특징으로 하는 장치.
21. 제16항에 있어서, 센서 데이터로부터 생성된 디지털 데이터 엔티티를 분석하는 수단을 포함함을 특징으로 하는 장치.
22. 제16항에 있어서, 센서 데이터의 노출 조정을 검토하는 수단 및 총 노출 타임 동안 데이터 엔티티를 분석함으로써 노출값을 결정하는 수단을 포함함을 특징으로 하는 장치.
23. 제21항에 있어서, 전체 센서 영역, 개별 픽셀 영역, 또는 특정 픽셀들의 영역에 대해 노출 조정을 검토하는 수단을 포함함을 특징으로 하는 장치.
24. 제16항에 있어서, 다양한 거리에 대한 포커스 정보를 생성하기 위한 노출 스테이지 중에 포커스 거리 및 오브젝트를 변경하는 수단을 포함함을 특징으로 하는 장치.
25. 제23항에 있어서, 거리와 무관하게 각 오브젝트를 정확히 촬영하도록 이미지 처리 소자로 전송될 데이터 엔티티 내 최종 사진에 포함된 각 오브젝트의 포커스 정보를 포함하는 수단을 포함함을 특징으로 하는 장치.
26. 제16항에 있어서, 총 노출 타임 동안 센서 사이즈에 해당하는 것 보다 큰 이미지 필드를 노출하기 위해 총 노출 타임 동안 센서나 촬영 장치에 편향을 일으키는 수단을 포함함을 특징으로 하는 장치.
27. 제25항에 있어서, 센서의 보통 이미지 필드보다 넓은 이미지 필드를 포함하는 사진을 만들도록 총 노출 타임 동안 읽혀진 센서 데이터를 데이터 엔티티 안에 병합하는 수단을 포함함을 특징으로 하는 장치.
28. 제25항 또는 제26항에 있어서, 센서 센터 영역에 관한 정보, 총 노출 타임 동안 읽혀진 센서 데이터에 공통된 정보를 데이터 엔티티 안에 병합하여, 센서 해상도보다 높은 해상도를 가진 사진을 만들도록 하는 수단을 포함함을 특징으로 하는 장치.
29. 제16항 내지 제19항 및 제21항 내지 제27항 중의 어느 한 항에 있어서, 적어도 상기 수단들 중 일부는 프로그램 제어형 (programmable) 수단임을 특징으로 하는 장치.
30. 이미지 프로세싱 소자로 보내기 전에 센서 데이터를 처리하기 위한 소프트웨어를 포함하는 컴퓨터로 읽을 수 있는 기록매체에 있어서,

    제1항 내지 제3항 중의 어느 한 항의 방법들을 수행하는 프로그램 제어형 수단을 포함함을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
31. 카메라 센서 데이터를 처리 소자로 전달하기 전에 그 카메라 센서 데이터를 처리하기 위한 소프트웨어를 포함하는 컴퓨터로 읽을 수 있는 기록매체에 있어서,

    한 번의 총 노출 타임 동안 적어도 두 회 이상 카메라 센서에서 센서 데이터를 읽어오기 위한 프로그램 제어형 (programmable) 수단,

    개별 노출 타임 동안 읽어 온 센서 데이터를 분석하기 위한 프로그램 제어형 수단,

    총 노출 타임 동안 읽어 온 센서 데이터로부터 최종 이미지를 표현하는 처리된 데이터 엔티티를 병합하기 위한 프로그램 제어형 수단, 및

    그 처리된 데이터 엔티티를 분석하기 위한 프로그램 제어형 수단을 포함함을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.

Images