[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20170135854A - 레이저 오토포커스를 이용한 디포커스 감소를 위한 방법들 및 장치 - Google Patents

레이저 오토포커스를 이용한 디포커스 감소를 위한 방법들 및 장치 Download PDF

Info

Publication number
KR20170135854A
KR20170135854A KR1020177028241A KR20177028241A KR20170135854A KR 20170135854 A KR20170135854 A KR 20170135854A KR 1020177028241 A KR1020177028241 A KR 1020177028241A KR 20177028241 A KR20177028241 A KR 20177028241A KR 20170135854 A KR20170135854 A KR 20170135854A
Authority
KR
South Korea
Prior art keywords
scene
frame
lens position
lens
imaging device
Prior art date
Application number
KR1020177028241A
Other languages
English (en)
Inventor
사가르 산켓 크리쉬나무르티
잉 천 러우
루벤 마누엘 벨라르데
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170135854A publication Critical patent/KR20170135854A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N5/23212
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

오토포커스 검색 동작들 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법 및 촬상 디바이스들이 개시된다. 예를 들어, 하나의 방법은, 촬상 디바이스로 장면을 묘사하는 복수의 프레임들을 캡처하는 단계, 장면의 오브젝트에 대응하는, 적어도 하나의 프레임의 장면의 부분을 선택하는 단계, 및 장면에서의 변화를 검출하는 단계를 포함한다. 이 방법은 추가적으로, 복수의 프레임들의 각각에 대해 오브젝트와 촬상 디바이스 사이의 거리를 검출하는 단계, 각각의 프레임의 결정된 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하는 단계 및 장면이 계속적으로 변화하는 동안 각각의 프레임의 렌즈 포지션을 향해 렌즈를 이동시키는 단계를 포함한다. 이 방법은 또한, 장면이 안정적인 것을 결정하는 단계 및 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하는 단계를 포함한다.

Description

레이저 오토포커스를 이용한 디포커스 감소를 위한 방법들 및 장치
본 발명의 실시형태들은 촬상 디바이스들에 관한 것이며, 특히, 촬상 디바이스들의 자동 포커싱을 위한 방법들 및 장치들에 관한 것이다.
디지털 프로세싱 기술의 촬상 디바이스들과의 통합은 사진 제품들을 사용하는데 있어 보다 강력하고 용이할 수 있게 하였다. 예를 들어, 촬상 디바이스의 셔터 속도, 조리개 및 센서 감도를 디지털로 제어하는 능력은 사진가가 각각의 환경에 대하여 이들 파라미터들을 수동적으로 결정하고 셋팅할 필요 없이 다양한 촬상 환경들에서 향상된 화상 품질을 제공하였다.
자동 포커싱 성능을 갖는 촬상 디바이스들 (그것의 촬상 디바이스들 및 방법들이 본 명세서에서 간단하게 "오토포커스 (autofocus)" 로서 지칭될 수도 있다) 은 또한 거의 모든 사진가들이 스킬에 관계없이 대부분의 촬상 환경들에서 명확한 이미지를 획득하는 것을 가능하게 함으로써 고 품질의 사진들을 캡처하는 것을 용이하게 하였다. 오토포커스는 또한 전문 사진가들의 작업 부하를 감소시킬 수도 있다. 이는 이들 사진가들에 의해 생성된 사진들의 품질에 있어서의 대응하는 증가로, 사진가들이 그들 직업의 창조적인 측면에 더 많은 에너지를 집중하게 할 수 있다.
기존의 오토포커스 검색 동작들은 몇가지 문제들을 초래하였다. 예를 들어, 최적의 포커스를 위한 렌즈 포지션을 발견하기 위한 검색 시간은, 촬상 디바이스가 양 방향들, 가까운 및 먼 방향들로 검색해야 하기 때문에 보다 더 길 수도 있고, 따라서 적절하게 포커싱된 이미지가 캡처될 수도 있기 전에 지연을 초래하게 된다. 이 대문에, 실패한 오토포커싱의 비율이 증가할 수도 있고 사용자는 점진적으로 더 뚜렷한 포커스를 수신하는 대신에 오토포커스 검색 동작의 시작부에서의 디포커싱 때문에 원하지 않는 경험을 가질 수도 있다. 그 결과로서, 오토포커스 검색 동작 동안, 사용자는 약간 포커스에서 벗어난 이미지를 볼 수도 있고, 오토포커스 검색 동작은 그러면, 촬상 디바이스가 부정확한 방향에서 검색하는 동안, 이미지가 점점 더 디포커싱되게 할 수도 있으며, 결국에는 촬상 디바이스는 최적의 포커스를 위해 렌즈 포지션을 위치시키기 위한 반대 방향에서 검색할 수도 있다. 이러한 영향을 제거하고 오토포커스 검색 동작 동안 필요한 시간을 최소화하기 위한 필요성이 남아 있다.
본 실시형태들의 일부는, 보다 빠른 그리고 보다 뚜렷한 포커스 (focus) 를 획득하기 위해 촬상 디바이스 (imaging device) 의 렌즈를 처음 어느 방향으로 이동시킬지를 결정함으로써 촬상 디바이스를 포커싱 (focusing) 하기 위한 방법을 포함할 수도 있다. 이 방법은, 촬상 디바이스로 장면 (scene) 을 묘사하는 다수의 이미지 프레임들을 캡처하는 단계, 장면의 오브젝트 (object) 에 대응하는, 적어도 하나의 프레임의 장면의 부분을 선택하는 단계, 장면에서의 변화를 검출하는 단계를 포함할 수도 있다. 일부 실시형태들에서, 촬상 디바이스는 지속적 오토포커스 모드에서 동작하도록 구성된다. 이 방법은 또한, 이미지 프레임들의 각각에 대해 오브젝트와 촬상 디바이스 사이의 거리를 검출하는 단계, 각각의 프레임의 결정된 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션 (lens position) 을 결정하는 단계를 포함한다. 일부 실시형태들에서, 렌즈 포지션은 최적의 포커스 렌즈 포지션 (optimal focus lens position) 의 추정치이다. 이 방법은 추가적으로, 장면이 계속적으로 변화하는 동안 각 프레임의 렌즈 포지션을 향해 렌즈를 이동시키는 단계, 장면이 안정적 (stable) 인 것을 결정하는 단계, 및 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작 (autofocus search operation) 을 개시하는 단계를 포함한다.
이 방법은, 이미지 프레임들을 모니터링하는 단계를 더 포함할 수도 있고, 여기서, 이미지 프레임들을 모니터링하는 단계는, 각각의 프레임에 대해 변화 정량자 (change quantifier) 를 결정하는 단계 및 각각의 프레임에 대한 변화 정량자를 임계 변화 정량자에 대해 비교하는 단계를 포함한다. 변화 정량자는 루마 (luma) 정량자, 이동 정량자, 및 거리 정량자 중 적어도 하나일 수도 있다. 장면에서의 변화를 검출하는 단계는 상기 모니터링에 기초할 수도 있고, 여기서, 장면에서의 변화는 적어도 하나의 프레임에 대한 변화 정량자가 임계 변화 정량자보다 더 클 때 검출된다.
일부 실시형태들에서, 각각의 이미지 프레임에 대해 렌즈 포지션을 결정하는 단계는, 거리 센서에 의해 각각의 프레임에 대해 검출된 거리를 리포트하는 단계, 각각의 이미지 프레임에 대한 검출된 거리를 수신하는 단계, 및, 앵커 (anchor) 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 (specification) 중 적어도 하나에 기초하여, 각각의 이미지 프레임에 대한 검출된 거리를 각각의 프레임에 대한 렌즈 포지션으로 변환하는 단계를 포함한다.
일부 실시형태들에서, 이 방법은, 최적의 포커스 렌즈 포지션의 추정에 기초하여 가까운 및 먼 경계 제한들 (a near and a far boundary limits) 을 결정하는 단계를 더 포함한다. 렌즈 포지션을 향해 렌즈를 이동시키는 단계는, 가까운 경계를 향해 렌즈를 이동시키는 단계를 포함할 수도 있다.
일부 실시형태들에서, 오토포커스 검색 동작을 개시하는 단계는, 파인 (fine) 오토포커스 검색 동작을 수행하는 단계, 및 실제 최적의 포커스 렌즈 포지션을 결정하는 단계를 포함할 수도 있고, 여기서, 실제 최적의 포커스 렌즈 포지션은, 추정된 최적의 포커스 렌즈 포지션에 대한 근접부에서 가깝고, 가까운 및 먼 경계 제한들 사이에 있다.
다른 양태는, 촬상 디바이스, 예를 들어, 오토포커스 검색 동작들 동안 발생하는 디포커스 이벤트들 (defocus events) 을 감소시키기 위한 장치를 포함한다. 이 장치는, 렌즈의 초점 면 (focal plane) 에서 장면으로부터의 광을 포커싱하도록 구성된 렌즈, 장면으로부터의 포커싱된 광에 기초하여 장면을 묘사하는 다수의 이미지 프레임들을 캡처하도록 구성된, 대략적으로 렌즈의 초점 면에서 위치된 이미지 센서, 촬상 디바이스와 장면의 오브젝트 사이의 거리를 검출하도록 구성된 거리 센서, 이미지 센서 및 렌즈에 동작가능하게 커플링된 (operably coupled) 프로세서, 및 프로세서에 동작가능하게 커플링된 메모리 컴포넌트를 포함할 수도 있다. 일부 실시형태들에서, 거리 센서는 레이저 센서 및 듀얼 카메라 시스템 중 적어도 하나를 포함하고, 거리 센서는, 각각의 프레임에 대한 검출된 거리를 리포트하도록 더 구성될 수 있다. 프로세서 및 메모리 컴포넌트는 집합적으로 (collectively), 장면의 오브젝트에 대응하는, 적어도 하나의 프레임의 장면의 부분을 선택하고, 장면에서의 변화를 검출하며, 각각의 프레임의 결정된 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하고, 장면이 계속적으로 변화하는 동안 각각의 프레임의 렌즈 포지션을 향해 렌즈를 이동시키고, 장면이 안정적인 것을 결정하고, 그리고, 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하도록 구성될 수도 있다. 일부 실시형태들에서, 렌즈 포지션은 최적의 포커스 렌즈 포지션의 추정치이다.
일부 실시형태들에서, 프로세서 및 메모리 컴포넌트는, 다수의 프레임들을 모니터링하고, 각각의 프레임에 대해 변화 정량자를 결정하며, 그리고, 각각의 프레임에 대한 변화 정량자를 임계 변화 정량자에 대해 비교하도록 더 구성된다. 변화 정량자는 루마 정량자, 이동 정량자, 및 거리 정량자 중 적어도 하나일 수도 있다. 장면에서의 변화는 상기 비교에 기초할 수도 있고, 여기서, 장면에서의 변화는, 적어도 하나의 프레임에 대한 변화 정량자가 임계 변화 정량자보다 더 클 때 검출된다.
다른 실시형태들에서, 프로세서 및 메모리 컴포넌트는, 각각의 프레임에 대한 검출된 거리를 수신하고, 각각의 프레임에 대한 검출된 거리 및, 앵커 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 중 적어도 하나에 기초하여 각각의 프레임에 대한 렌즈 포지션을 결정하도록 더 구성될 수도 있다.
또 다른 실시형태들에서, 프로세서 및 메모리 컴포넌트는, 결정된 렌즈 포지션에 기초하여 가까운 및 먼 경계 제한을 결정하고, 가까운 경계 제한을 향해 렌즈를 이동시키도록 더 구성될 수도 있다.
일부 실시형태들에서, 프로세서 및 메모리 컴포넌트는, 파인 오토포커스 검색 동작을 수행하고, 실제 최적의 포커스 렌즈 포지션을 결정하도록 더 구성될 수도 있고, 여기서, 실제 최적의 포커스 렌즈 포지션은, 추정된 최적의 포커스 렌즈 포지션에 대한 근접부에서 가깝고, 가까운 및 먼 경계 제한들 사이에 있다.
일부 실시형태들에서, 메모리 컴포넌트는, 입력 프로세싱 모듈, 변화 결정 모듈, 렌즈 포지션 결정 모듈, 렌즈 제어 모듈, 안정성 결정 모듈, 오토포커스 제어 모듈, 및 경계 제한 결정 모듈 중 적어도 하나를 포함할 수도 있다.
다른 양태는 오토포커스 검색 동작들 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치를 포함한다. 이 장치는, 장면을 묘사하는 다수의 프레임들을 캡처하는 수단, 장면의 오브젝트와 촬상 디바이스 사이의 거리를 검출하는 수단, 장면에서의 오브젝트에 대응하는, 적어도 하나의 프레임의 장면의 부분을 선택하는 수단, 장면에서의 변화를 검출하는 수단, 각각의 프레임의 결정된 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하는 수단, 장면이 계속적으로 변화하는 동안 각각의 프레임의 렌즈 포지션을 향해 렌즈를 이동시키는 수단, 장면이 안정적인 것을 결정하는 수단, 및 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하는 수단을 포함할 수도 있다. 일부 실시형태들에서, 이 장치는, 각각의 프레임에 대해 검출된 거리를 리포트하는 수단을 포함할 수도 있다. 다른 실시형태들에서, 렌즈 포지션을 결정하는 수단은, 각각의 프레임에 대한 검출된 거리를 수신하고,; 그리고, 각각의 프레임에 대한 검출된 거리 및, 앵커 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 중 적어도 하나에 기초하여, 각각의 프레임에 대한 렌즈 포지션을 결정하도록 구성될 수도 있다. 일부 실시형태들에서, 렌즈 포지션은 최적의 포커스 렌즈 포지션의 추정치이다.
다른 실시형태들에서, 이 장치는, 최적의 포커스 렌즈 포지션의 추정치에 기초하여 가까운 및 먼 경계 제한을 결정하는 수단을 더 포함할 수도 있다. 렌즈를 이동시키는 수단은 그러면, 가까운 경계를 향해 렌즈를 이동시키도록 구성될 수도 있다.
다른 양태에서, 비-일시적 (non-transitory) 컴퓨터 판독가능 매체가 제공된다. 이 비-일시적 컴퓨터 판독가능 매체는, 실행될 때 프로세서로 하여금, 오토포커스 검색 동작들 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법을 수행하게 하는 명령들을 포함할 수도 있다. 이 방법은, 촬상 디바이스로 장면을 묘사하는 다수의 프레임들을 캡처하는 단계, 장면의 오브젝트에 대응하는, 적어도 하나의 프레임의 장면의 부분을 선택하는 단계, 장면에서의 변화를 검출하는 단계, 다수의 프레임들의 각각에 대해 오브젝트와 촬상 디바이스 사이의 거리를 검출하는 단계, 각각의 프레임의 결정된 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하는 단계, 장면이 계속적으로 변화하는 동안 각각의 프레임의 렌즈 포지션을 향해 렌즈를 이동시키는 단계, 장면이 안정적인 것을 결정하는 단계, 및 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하는 단계를 포함할 수도 있다. 일부 실시형태들에서, 상기 각각의 프레임에 대한 렌즈 포지션을 결정하는 단계는, 거리 센서에 의해 각각의 프레임에 대한 검출된 거리를 리포트하는 단계, 각각의 프레임에 대한 검출된 거리를 수신하는 단계, 및, 앵커 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 중 적어도 하나에 기초하여, 각각의 프레임에 대한 검출된 거리를 각각의 프레임에 대한 렌즈 포지션으로 변환하는 단계를 더 포함할 수도 있다. 일부 실시형태들에서, 이 방법은 또한, 렌즈 포지션에 기초하여 가까운 및 먼 경계 제한들을 결정하는 단계를 포함할 수도 있고, 상기 렌즈를 이동시키는 단계는, 가까운 경계를 향해 렌즈를 이동시키는 단계를 포함할 수도 있다.
개시된 양태들은 이하에서 개시된 양태들을 예시하고 제한하지 않도록 제공되는 첨부된 도면들과 결합하여 설명될 것이며, 유사한 지시들은 유사한 엘리먼트들을 표시한다.
도 1 은 촬상 디바이스에서의 오토포커스 이벤트의 예시적인 구현에 대한 오토포커스 이벤트 타임라인을 나타낸다.
도 2a 는 촬상 디바이스의 실시형태의 일 예를 나타내는 블록도이다.
도 2b 는 도 2a 의 촬상 디바이스의 센서 모듈의 실시형태의 일 예를 나타내는 블록도이다.
도 3 은 주어진 장면 및 센서 모듈에 대한 렌즈 포지션에 대해 플롯팅된 포커스 값 오토포커스 방법의 일 예를 나타내는 그래프이다.
도 4 는 하나의 실시형태에 따른 일 예시적인 오토포커스 이벤트에 대한 오토포커스 이벤트 타임라인을 나타낸다.
도 5 는 최적의 포커스 렌즈 포지션의 방향을 결정하는 프로세스의 일 예를 나타내는 플로우차트이다.
다음의 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 예들은 이러한 특정 세부사항들이 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 세부사항으로 예들을 모호하게 하지 않기 위해, 전기 컴포넌트들/디바이스들은 블록도들로 보여질 수도 있다. 다른 사례들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들이 예들을 추가적으로 설명하기 위해 상세히 도시될 수도 있다.
예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로우차트, 흐름도, 유한 상태도, 구조도, 또는 블록도로 도시됨에 또한 유의한다. 플로우차트가 동작들을 순차적인 프로세스로 설명할 수도 있지만, 동작들 중 다수는 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응하는 경우, 프로세스의 종료는 호 함수 또는 메인 함수로의 함수의 반환에 대응한다.
정보 및 신호들은 임의의 다양한 상이한 기술들 및 기법들을 사용하여 표현될 수도 있다. 예를 들면, 상기 설명을 통해 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학 필드들 또는 입자들, 이들의 임의의 조합에 의해 표현될 수도 있다.
오토포커싱은 다양한 유형들의 액추에이터들에 의해 촬상 디바이스에서 수행될 수도 있다. 카메라들은 장면들을 포커싱을 가능하게 하기 위한 이동가능한 범위 내에서 이동하는 렌즈들로 이미지 센서들 상으로 포커싱한다. 오토포커스 촬상 디바이스들은 보이스 코일 코터 (VCM) 들, 피에조, 또는 MEMS 솔루션들을 이용하여 렌즈를 이동시킨다.
현대의 디지털 촬상 디바이스들에서 기계적 이동이 렌즈를 이동시킬 방향 및 얼마나 멀리 이동시킬 지를 결정하기 위해 다양한 오토포커스 ("AF") 방법들이 사용될 수도 있다. 예를 들어, 더 높은 콘트래스트 (contrast) 를 갖는 이미지들은 더 날카로운 (sharper) 포커스를 가지는 경향이 있을 수도 있기 때문에, 일부 오토포커스 방법들은 이미지에 최고의 콘트래스트를 제공하는 렌즈 포지션을 찾는다. 이것은 포커스 값 방법으로서 알려져 있을 수도 있고, 상이한 렌즈 포지션들에서의 포커스 값들은 어느 이미지가 최고의 콘트래스트를 갖는지를 결정하기 위해 비교된다. 오토포커스 방법의 다른 예는 오브젝트 심도 (depth) 추정에 기초하고, 여기서, 알고리즘은 촬상 디바이스로부터 타겟 오브젝트의 추정된 심도 또는 위치에 기초하여 추정된 렌즈 포지션으로 렌즈를 직접 이동시킨다. 추정에서의 확신에 기초하여, 최소 콘트래스트 기반 오토포커싱이 필요로될 수도 있다. 하지만, 최적의 포커스를 위한 렌즈 포지션이 알려져 있지 않을 때, 촬상 디바이스는 포커스 값 방법을 이용할 수도 있다. 최적의 렌즈 포지션은 최대 포커스 값 또는 최고 콘트래스트 값을 초래하는 렌즈 포지션을 지칭한다.
포커스 값 방법의 일부 구현들은 타겟 오브젝트 상에 포커싱하기 위한 최적의 포커스의 렌즈 포지션을 알지 못하고 시작할 수도 있다. 오토포커스 검색 동작을 시작하기 위해, 알고리즘은 먼저 최적의 포커스를 위한 렌즈 포지션에 대해 검색한다. 검색은 연속적인 샘플 이미지 프레임들을 획득하기 위해 렌즈를 이동시킬 방향을 선택함으로써 시작한다. 알고리즘은 연속적인 이미지 프레임들을 취하고, 그 이미지 프레임들을 비교하며, 보다 높은 콘트래스트를 갖는 샘플에 기초하여 포커스 포지션 방향을 결정한다.
검색을 어느 방향부터 시작할지에 관한 결정은, 오토포커스 검색 동작의 착수 시에, 타겟 오브젝트의 최적의 포커스에 대한 렌즈 포지션의 지식이 결여되어 있기 때문에, 어려운 결정이다. 일부 실시형태들엣, 결정 방향은 현재의 렌즈 포지션 및 미리-정의된 경계에 부분적으로 기초한다. 미리-정의된 경계는 촬상 디바이스에 대한 오브젝트의 위치들의 범위일 수도 있다. 경계들은 촬상 디바이스에 대해 가까운 거리들과 무한대 사이의 범위일 수도 있다. 미리-정의된 경계들은 상이한 촬상 디바이스들에 대해 변화할 수 있음을 이해하여야 한다. 많은 촬상 디바이스들에서, 가까운 위치는 카메라로부터 약 10 센티미터이고, 무한대 포지션은 카메라로부터 약 200 센티미터 또는 그 이상이다. 이러한 결정 및 최적의 포커스에 대한 렌즈 포지션의 지식의 결여의 결과로서, 렌지를 이동시킬 정확한 방향을 선택하는 것의 전체 성공 비율은 대략적으로 50% 이다.
일부 오토포커스 방법들은 특정 촬상 환경들에서 적당한 포커스를 달성하는데 대한 무능력으로부터 고통받는다. 예를 들어, 이미지 센서로부터 상이한 거리들에서 이미지 내에 다수의 오브젝트들을 제시하는 촬상 환경들은, 오토포커스 방법이 다수의 오브젝트들 중 어떤 오브젝트 또는 오브젝트들이 포커스를 위해 선택되어야 하는지를 결정하는 것을 어렵게 할 수도 있다. 다른 촬상 환경들은 움직이고 있는 오브젝트들을 포함할 수도 있다. 움직이고 있는 오브젝트들은 종래의 오토포커스 방법들에 의해 인식지 않을 수도 있다. 이는 본원에 개시된 방법들과 비교할 때, 열악한 포커스를 초래할 수도 있다.
본 명세서에서 설명된 실시형태들은, 촬상 디바이스의 오토포커스 검색 동작 착수 시에, 또는 그 이전에 최적의 포커스 렌즈 포지션을 향해 렌즈를 이동시킬 방향을 결정하도록 구성되는 방법들, 장치, 및 컴퓨터 판독가능 매체들을 포함한다. 일부 실시형태들에서, 이 방법은 캡처되는 장면의 각각의 이미지 프레임에 대한 최적의 포커스 렌즈 포지션을 결정할 수 있는 방법 및 이미지 캡처 디바이스로 지향될 수도 있다. 최적의 포커스 렌즈 포지션을 결정하고 현재의 렌즈 포지션을 앎으로써, 촬상 디바이스의 렌즈는 최적의 포커스 렌즈 포지션의 방향으로 이동될 수 있다. 이것은 오토포커스 속도 및 전체 정확도에서의 잠재적 향상들을 초래할 수도 있고, 이에 의해 이미지 캡처 디바이스에서의 이미지 품질을 향상시킨다. 따라서, 하나의 실시형태는 오토포커스 검색 동작 착수 시에, 또는 그 전에 최적의 포커스 렌즈 포지션을 결정하기 위한 소프트웨어 솔루션을 도입한다.
이 방법들 및 장치의 일부 실시형태들에서, 촬상 디바이스는 포커싱되고 있는 타겟 오브젝트와 촬상 디바이스 사이의 거리를 결정하도록 구성된 거리 센서를 포함할 수도 있다. 하나의 실시형태에서, 거리 센서는 레이저 모듈 또는 레이저 센서이다. 다른 실시형태에서, 거리 센서는 듀얼 카메라 시스템일 수도 있다. 일부 실시형태들에서, 거리 센서는 단일 프레임의 임의의 하나의 오브젝트와 촬상 디바이스 사이의 거리를 결정하도록 구성될 수 있다.
이 방법들 및 장치의 일부 실시형태들에서, 촬상 디바이스는 그 촬상 디바이스에 의해 캡처될 장면에서의 변화를 검출하도록 구성될 수도 있다. 장면에서의 변화는 사용자가 촬상 디바이스를 하나의 의도된 이미지로부터 후속 이미지, 무비들에서 캡처되도록 의도된 오브젝트 등으로 이동시킴으로써 표현될 수도 있다. 촬상 디바이스는, 장면에서의 변화를 검출하고, 이미지를 캡처하기 이전에 포커스 동작 또는 오토포커스 검색 동작이 그 장면 상에 포커싱하기 위해 필요로된다는 것을 결정하도록 구성될 수도 있다. 장면에서의 변화를 검출하는 몇몇 예시적인 방법들은, 비제한적으로, 이미지 프레임의 광 강도 측정치들 (예컨대, 밝기 또는 루마), 촬상 디바이스의 물리적 이동의 자이로스코픽 또는 검출, 연속적인 이미지들 사이의 프레임들 오브젝트의 거리들의 비교, 또는 촬상 디바이스에게 장면이 변화하였다는 것을 나타내기 위한 임의의 방법을 포함한다.
본 명세서에서 개시된 방법의 일부 실시형태들에서, 일단 장면에서의 변화가 검출되면, 촬상 디바이스는, 사용자 (예컨대, 촬상 디바이스가 패닝하고 있음) 로 인해서 또는 캡처되고 있는 이미지로 인해서 중 어느 일방으로 인해서, 장면이 걔속 변화하는 동안 각각의 이미지 프레임에 대한 최적의 포커스 렌즈 포지션을 추정하도록 구성될 수도 있다. 일부 실시형태들에서, 촬상 디바이스는 각각의 이미지 프레임에 대해 오브젝트와 촬상 디바이스 사이의 거리를 결정하기 위해 거리 센서를 이용할 수도 있다. 촬상 디바이스는 각각의 이미지 프레임에 대한 결정된 거리에 기초하여 각각의 이미지 프레임에 대해 최적의 포커스 렌즈 포지션을 추정할 수도 있다. 따라서, 비록 촬상 디바이스가 패닝 (panning) 하고 있거나 장면이 각각의 이미지 프레임 내에서 변화 (예를 들어, 장면은 안정적이지 않다) 하고 있더라도, 촬상 디바이스는 각각의 이미지 프레임에 대한 최적의 포커스 렌즈 포지션을 결정할 수 있다.
방법의 예시적인 구현에서, 촬상 디바이스는 그러면, 장면이 계속 변화하고 안정적이지 않은 동안에 각각의 이미지 프레임에 대해 최적의 포커스 렌즈 포지션을 향해 렌즈를 이동시키도록 구성된다. 따라서, 일단 장면 변화가 검출되면, 렌즈는, 전통적인 오토포커스 검색 방법들에서와는 달리, 비록 디바이스가 여전히 패닝하고 있거나 이미지가 안정적이지 않음에도 불구하고, 최적의 포커스 렌즈 포지션의 방향으로 이동된다. 이것은, 촬상 디바이스가, (장면 변화에 이어) 매 프레임에 대해 거리 센서에 의해 리턴되는 물리적 거리에 기초하여 최적의 포커스 렌즈 포지션의 추정의 결과로서 렌즈를 어느 방향으로 이동시킬지를 결정하는 것이 가능하기 때문이다. 이러한 방식으로, 촬상 디바이스는 렌즈를 이동시킬 방향 및 렌즈를 얼마만큼 이동시킬지를 안다. 반면에, 전통적인 포커스 값 방법 오토포커스 검색 동작들은, 장면이 변화하고 있는 동안 렌즈를 이동시킬 방향 또는 양을 알지 못하고, 촬상 디바이스는 장면이 안정적이 될 때까지 기다리도록 강제되고, 그 다음에, 각각의 프레임에 대한 콘트래스트 또는 포커스 값들의 비교에 기초하여, 장면을 포커싱하기를 시도한다.
예시적인 실시형태에서, 본 명세서에서 개시된 방법들 및 장치는 지속적 오토포커스 모드에서 동작한다. 모바일 폰에서의 카메라와 같은 일부 촬상 디바이스들에서, 지속적 오토포커스 모드는 디폴트 선택이다. DSLR 카메라들과 같은 다른 촬상 디바이스들에서, 사용자가 고를 수도 있는 수많은 모드들이 존재한다 (예컨대, 오토 모드, 터치 오토포커스 모드, 지속적 오토포커스 모드 등). 지속적 오토포커스 모드는 연속적 또는 다수의 이미지 프레임들의 지속적 모니터링에 의해 특징지어질 수도 있다. 지속적 오토포커스 모드의 일부 실시형태들에서, 촬상 디바이스는 장면의 오브젝트, 예를 들어 장면의 중앙에 위치된 오브젝트를 선택하고, 연속적 프레임들에서 그 오브젝트를 계속 모니터링한다. 일부 실시형태들에서, 사용자는 초점을 맞출 오브젝트를 (예컨대, 터치 스크린 또는 다른 입력 디바이스를 통해서) 선택함으로써 지속적 오토포커스 모드 밖에서 동작하거나 빠져나오도록 선택할 수도 있고, 이에 의해, 사용자 선택된 오브젝트 상에 포커싱하기 위해 촬상 디바이스의 동작을 시프트하고 오직 선택된 이미지 프레임만을 모니터링할 수도 있다.
"디포커스 이벤트 (defocus event)" 는, 장면이 포커싱되고 있고, 시스템이 렌즈 포지션들의 동일 구역에 걸쳐 더블링함으로써 최적의 포커스에 대해 검색하는 동안 디포커싱되는 것을 지칭하는 넓은 의미로서 본 명세서에서 사용된다. 본 명세서에서 개시된 방법들 및 장치의 하나의 예시적인 비-제한적인 이점은, 촬상 디바이스가 패닝하고 있거나 장면이 안정적이기 않고, 디포커스 이벤트들의 발생 동안 렌즈가 이동되기 때문에 디포커스 이벤트들이 감소된다는 것이다. 따라서, 렌즈는 오토포커스 검색 동작을 시작하기 이전에 이미 최적의 포커스 포지션에 보다 더 가깝다. 사용자는 촬상 디바이스의 프리뷰 스크린에서 디포커싱 이벤트를 볼 가능성이 더 적을 것이다. 따라서, 본 명세서에서 개시된 방법들 및 장치는, 전통적인 오토포커스 검색 동작들보다 렌즈를 더 일찍 그리고 보다 정확하게 이동시킴으로써 디포커스 이벤트들을 현저하게 감소시킨다.
상기 논의된 시스템 및 방법들의 예시적인 구현들이 도 1 내지 도 5 와 관련하여 이하에서 더 자세히 설명된다.
도 1 은 촬상 디바이스에서의 오토포커스 이벤트의 예시적인 구현에 대한 오토포커스 이벤트 타임라인의 일 예를 나타낸다. 도 1 에 예시된 실시형태들에서, 타임라인은 시간 (t) 의 경과를 나타내는 축을 따라 플롯팅된다. 각각의 오토포커스 이벤트는 오토포커스의 속도 및 퍼포먼스에 관련된 2 개의 컴포넌트들을 포함하고, 그 컴포넌트들은 모니터 페이즈 (110) 및 오토포커스 검색 페이즈 (120) 이다. 일부 실시형태들에서, 오토포커스 이벤트는 모니터 페이즈 (110) 및 오토포커스 검색 페이즈 (120) 를 포함하는, 지속적 오토포커스 모드에서 전반적으로 발생한다. 모니터 페이즈 (110) 는 시작 모니터 페이즈 포인트 (132) 에서 시작하고, 여기서, 촬상 디바이스는 장면에서의 변화에 대해 장면의 각각의 이미지 프레임에 대해 지속적으로 모니터링한다. 사용자가 촬상 디바이스로 하여금 패닝하거나 이동하게 함으로써 및/또는 캡처되도록 모색되고 있는 장면이 촬상 디바이스의 이미지 프레임 내에서 이동함으로써 장면 변화들이 표현될 수도 있다. 모니터 페이즈 (110) 동안, 모바일 폰에서의 카메라와 같은 촬상 디바이스는 포인트 (135) 에서 추적되는 장면에서이 변화를 검출한다. 촬상 디바이스는 그 다음에, 촬상 디바이스의 패닝 또는 장면 변화를 모니터링하고 (예컨대, 장면이 계속 변화하고 있다고 결정), 그리고 그 다음에, 일단 포인트 (137) 에서 결정되는 바와 같이 장면이 안정적이면, 포인트 (145) 에서 검색 페이즈를 트리거한다 (예컨대, 오토포커스 검색을 트리거한다).
상술된 포커스 값 오토포커스 방법을 이용하는 일부 구현들은, 장면 변화의 발생을 검출하기 위해 장면을 지속적으로 추적하고 그 장면이 안정적인지를 결정하기 위해 그 장면 변화를 모니터링하기 위해 모니터 페이즈 (110) 를 이용한다. 일부 시스템들에서, 촬상 디바이스는 모니터 페이즈 동안 렌즈를 이동시키지 않는다. 이러한 촬상 디바이스들은 장면이 안정적이 될 때까지 기다리고, 그 다음에, 오토포커스 검색 페이즈 (120) 로 스위칭하며, 여기서, 렌즈는 포커스 또는 콘트래스트 값들에 기초하여 포커스 포지션을 위치시키기 위해 이동된다. 하지만, 이하에서 자세히 논의되는 바와 같이, 본원에 개시된 방법들 및 장치는, 오토포커스 검색 페이즈 (120) 이전에 모니터 페이즈 (110) 동안 렌즈의 이동을 가능하게 하고, 이에 의해 촬상 디바이스의 오토포커스이 속도 및 전체적인 정확도를 향상시킨다.
모니터 페이즈 (110) 는, (i) 타임 라인 상의 포인트 (135) 에서 장면 변화를 검출하는 것 및 (ii) 포인트 (137) 에서 장면이 촬상 디바이스 내에서 안정적인지 여부 또는 촬상 디바이스가 여전히 패닝하고 있는지 여부를 결정하는 것을 포함한다. 장면 변화를 검출하기 위해 이용될 수도 있는 수많은 방법들이 존재한다. 예시의 목적을 위해, 본 명세서에서 3 개의 예시적인 방법들이 설명된다: (i) 밝기 (예컨대, 루마) 기반 변화들, (ii) 촬상 디바이스 지향성 이동 기반 변화들 (예컨대, 자이로스코프 또는 가속도계에 의해 결정되는 바와 같은 촬상 디바이스의 포지션 또는 지향성 이동에서의 변화들), 및 (iii) 거리 기반 장면 변화들 (예컨대, 레이저 추적을 통해 장면과 촬상 디바이스 사이의 거리를 모니터링하는 것). 각 방법에 대한 일부 실시형태들에서, 일단 촬상 디바이스가 임계 값 이상인 값을 갖는 이미지 프레임을 검출하면 촬상 디바이스가 장면이 변화했다고 결정하도록 구성되도록 임계 값이 설정될 수 있다. 일부 실시형태들에서, 장면 변화 결정은 촬상 디바이스 프리뷰 페이즈 동안 이루어지고, 여기서, 사용자는 실제로 이미지를 캡처함이 없이 촬상 디바이스의 디스플레이 상에서 이미지를 보고 프레이밍할 수 있다.
일부 구현들에서, 임계 값에 대해 한정적 또는 특정적 값은 존재하지 않는다. 선택되는 임계 값은 각 촬상 디바이스에서 이용되는 모듈들, 렌즈, 및 액추에이터에 기초하여 변화할 수도 있다. 따라서, 임계 값들은 튜닝 또는 교정 프로세스의 일 양태이고, 이 프로세스에서 제조자들은 각각의 개별 촬상 디바이스에 대한 선호들에 기초하여 그 임계 값을 변화시킬 수 있다. 예를 들어, 임계치가 작은 수로 설정되는 경우에는, 촬상 디바이스는 민감할 수도 있다. 임계치가 큰 수로 설정되는 경우에는, 촬상 디바이스는 더 엄격할 수도 있다. 이러한 방식으로, 사용자들은 장면 변화를 결정함에 있어서 민감도 또는 엄격도를 선택할 수도 있고, 이에 따라 임계치를 설정할 수도 있다.
예를 들어, 밝기 또는 루마 기반 장면 변화들은 각 프레임에 대해 광의 총 강도를 검출한다. 일부 실시형태들에서, 루마 값들은 정규화되고, 프레임들 사이의 발기에서의 상대적인 변화를 나타낸다. 루마 값은 각각의 프레임에 대해 측정될 수 있고, 여기서, 루마 값들은 예를 들어 10 비트들로 정규화되어, 0 의 값은 전체 어두움 (예컨대, 밝기의 부존재) 을 나타내고 1024 (예컨대, 210) 는 최고 가능한 밝기 레벨을 나타낸다. 따라서, 각 프레임에 대한 루마 값은 0 내지 1024 의 범위 내에 속할 수도 있고, 각 프레임으로부터 검출된 강도를 비교하기 위한 정규화된 기초를 제공할 수도 있다. 일부 실시형태들에서, 루마 값은 프레임의 주어진 구역에 대해 검출된다. 다른 실시형태들에서, 루마 값은 전체 프레임에 걸쳐서 계산된다. 일부 실시형태들에서, 촬상 디바이스 프리뷰는 밝은 광 조건들에서 초 당 30 프레임들 ("fps") 로 실행되고, 낮은 광 조건들에서 15 fps 로 실행된다. 각 프레임에 대한 루마 값은 이 예에서 전체 디스플레이에 걸쳐 계산될 수도 있고, 디스플레이는 다수의 픽셀들로 이루어진다. 모니터 페이즈 (110) 의 시작부에서, 제 1 프레임의 루마 값이 계산되고 안정적이고 변화되지 않는 장면을 나타내는 기준 프레임을 나타낸다. 후속하는 프리뷰 프레임들의 루마 값들이 계산되고, 각각의 후속하는 프레임에 대한 값이 그 기준 프레임과 비교된다. 후속 프레임과 기준 프레임 사이의 루마 값들의 절대 차이가, 양이든지 또는 음이든지, 임계치보다 더 큰 경우에, 촬상 디바이스는 장면 변화가 발생하였다고 결정하도록 구성된다. 예를 들어, 임계치는 100 루마로 설정될 수도 있고, 모니터 페이즈 (110) 의 시작부에서, 기준 프레임이 갖는 루마 값이 200 이다. 제 2 프레임의 루마 값이 202 인 경우에, 촬상 디바이스는 장면 변화가 발생하지 않았다고 결정하도록 구성된다. 하지만, 후속 프레임의 루마 값이 350 인 것으로 계산되는 경우에, 기준 프레임과의 차이가 임계치 100 보다 더 크게 되고, 그러면 촬상 디바이스는 장면 변화가 발생하였다고 결정하도록 구성된다. 이전의 예는 100 루마로 설정된 임계치를 포함하였지만, 장면 변화 결정의 원하는 민감도에 기초하여 임의의 임계 값이 선택될 수도 있다.
다른 예시적인 예에서, 자이로스코프 및 가속도계들이 촬상 디바이스들에 포함될 수 있다. 이들 엘리먼트들은 촬상 디바이스의 포지션, 배향, 또는 이동에서의 변화들을 검출하도록 구성된다. 예를 들어, 다른 것들 중에서도, 콤팩트 비디오 및 스틸 카메라들에 대한 흔들림 검출 시스템들, 비디오 게임들을 위한 모션 감지, 및 차량 전자적 안정성 제어 (안티-스키드) 시스템들로서 최근에 자이로스코프 센서들이 촬상 디바이스들 내로 포함되었다. 일부 실시형태들에서, 이들 센서들은 각 속도의 x, y, z 좌표들을 리턴한다. 루마 값 결정과 유사하게, 임계치가 설정되고, 여기서, 주어진 프레임과 기준 프레임 사이의 각 속도의 좌표들 (예컨대, (x2 + y2 + z2)) 의 제곱근의 차이가 임계치보다 더 크고, 그러면 촬상 디바이스는 장면에서의 변화가 발생하였다고 결정한다.
또 다른 예시적인 예는 장면에서의 변화가 발생한 것을 결정하기 위해 레이저 센서들을 이용한다. 레이저 센서들은 매 프레임에 대한 물리적 거리를 리턴할 수 있다. 일부 실시형태들에서, 거리는 밀리미터의 크기로 측정된다. 다른 실시형태에서, 거리는 타임-오브-플라이트 (time-of-flight) 계산, 예컨대, 광을 방출하는 것과 리턴되는 또는 반사되는 광을 검출하는 것 사이의 시간 차이에 기초하여 결정된다. 모니터 페이즈 (110) 의 시작부에서, 촬상 디바이스와 기준 프레임의 장면 사이의 거리가 결정되고, 후속 프레임과 기준 프레임 사이에서 검출된 거리들 사이의 차이가 몇몇 임계치보다 더 클 때, 장면 변화가 검출된다. 예를 들어, 루마 값 및 이동 기반 결정들과 유사하게, 임계치는 100 mm 로 설정될 수 있다. 모니터 페이즈 (110) 의 제 1 프레임에서, 오브젝트의 거리는 촬상 디바이스로부터 200 mm 인 것으로 결정될 수도 있고, 그리고 그러면, 일부 후속하는 프레임에서, 촬상 디바이스로부터 오브젝트까지의 거리는 600 mm 인것으로 결정된다. 따라서, 기준 및 후속 프레임의 거리들에서의 차이는 임계치보다 더 크고, 촬상 디바이스는 장면이 변경되었다고 결정하도록 구성된다. 이전의 예는 100 mm 로 설정된 임계치를 포함하였지만, 장면 변화 결정의 원하는 민감도에 기초하여 임의의 임계 값이 선택될 수도 있다.
일단 장면 변화가 검출되면, 촬상 디바이스는 장면이 안정적인지 여부, 예컨대, 장며이 계속 변화하고 있지 않거나 촬상 디바이스가 패닝하고 있지 않은 것을 결정하기 위해 모니터링 페이즈 (110) 동안 장면을 모니터링할 수도 있다. 일단 장면이 변화하지 않거나 촬상 디바이스가 더 이상 패닝하고 있지 않으면, 장면은 안정적인 것으로 간주된다. 장면이 안정적인 것을 결정하기 위한 예시적인 방법들은 (i) 루마 값 기반 안정화 결정 및 (ii) 이동 (예컨대, 자이로스코프 및/또는 가속도계) 기반 결정을 포함한다. 각각의 접근법에 대해, 조건이 설정되고, 촬상 디바이스는 주어진 수의 연속적인 프레임들에서 조건의 발생에 대해 모니터링하도록 구성된다. 예를 들어, 촬상 디바이스가, 검출된 값들에 기초하여 조건 (예컨대, 연속적인 프레임들 사이의 값에서의 차이가 장면이 변화되지 않는 것을 나타내는 소정의 임계치 미만) 을 충족하는 미리결정된 수의 연속적인 프레임들이 검출된 것을 결정할 때, 촬상 디바이스는 장면이 안정적이라고 결정한다.
예시적인 예에서, 촬상 디바이스는, 장면이 변화하고 있는지 여부를 결정하기 위해, 상술된 바와 같이, 밝기 또는 루마 값들을 이용할 수도 있다. 루마 값 기반 장면 변경 검출과 유사하게, 루마 값은 매 프레임에 대해 계산된다. 하지만, 장면 변경 검출과는 달리, 안정성은 연속적인 프레임들의 절대 차이에 기초한다. 예를 들어, 안정성 임계치가 설정되고 (예컨대, 5 루마), 임계치 미만의 차이를 갖는 프레임들의 수가 설정된다 (예컨대, 3 으로 설정된다). 본 명세서에서 사용되는 안정성 임계 값 및 프레임들의 수는 예시적인 목적들을 위한 것이고, 안정성 결정의 원하는 민감도에 기초하여 다른 안정성 임계 값 및 프레임들의 수가 가능하다. 대안적인 예에서, 제 1 프레임은 200 루마의 값을 가질 수도 있고, 제 3 프레임은 350 의 값을 가질 수도 있으며, 이에 의해, 상술된 바와 같이 장면 변경 임계치가 100 인 경우에서 장면 변경을 나타낸다. 그 다음에, 후속 프레임들은 제 4 내지 제 8 프레임들에 대해 360, 370, 374, 375, 및 375 의 루마 값들을 가질 수도 있다. 장면이 안정적인 것으로서 결정되기 위해, 연속적인 프레임들의 차이가 계산되고, 예컨대, 제 5 프레임 값 (360 루마) 마이너스 제 4 프레임 값 (350 루마) 이 결정되고, 여기서, 차이는 10 루마이고, 이는 임계치 5 루마보다 더 크고, 따라서, 촬상 디바이스는 장면이 아직 안정적이 아니라고 결정하도록 구성된다. 그 다음에, 제 6 프레임 값 (370 루마) 마이너스 제 5 프레임 값 (360 루마) 은 10 인 것으로 계산되고, 다시, 따라서 장면은 안정적이 아니다. 다음으로, 제 7 프레임 값 (374 루마) 마이너스 제 6 프레임 값 (370 루마) 은 5 보다 적은 것으로 계산되어, 제 7 및 제 6 프레임들 사이에 장면이 안정적인 것을 나타낸다. 다음으로, 제 8 프레임 값 (375 루마) 마이너스 제 7 프레임 값 (374 루마) 은 5 보다 적은 것으로 계산되어, 제 7 및 제 8 프레임들 사이에 안정성의 장면 인스턴스를 나타낸다. 마지막으로, 제 9 프레임 값 (375 루마) 마이너스 제 8 프레임 값 (375 루마) 은 5 보다 적은 것으로 계산되어, 제 9 및 제 8 프레임들 사이에 안정성의 인스턴스를 나타낸다. 따라서, 촬상 디바이스는 3 개의 안정적인 프레임들을 검출하였다. 촬상 디바이스는 그러면 장면이 안정적이라고 결정하도록 구성될 수 있고, 이 시점에서, 촬상 디바이스는 오토포커스 검색 페이즈 (120) 로 진행하도록 구성될 수 있다.
다른 예시적인 예에서, 촬상 디바이스는, 예를 들어 자이로스코프 측정치들에 기초하여, 장면의 안정성을 결정하기 위해 이동 정보를 이용할 수도 있다. 자이로스코프 기반 장면 변경 결정과 유사하게, 각 속도의 좌표들 (예컨대, (x2 + y2 + z2)) 의 제곱근이 계산되고, 임계치에 대해 비교된다. 하지만, 장면이 변경된 것을 결정하는 것과는 달리, 미리결정된 수의 프레임들이 임계치 미만일 때까지 연속적인 프레임들이 비교되고, 그 다음에, 촬상 디바이스는 장면이 안정적이라고 결정하도록 구성될 수도 있다. 예를 들어, 상술된 루마 값 기반 결정과 유사하게, 임계치가 0.3 으로 그리고 기다릴 프레임들의 수가 3 으로 설정된다. 연속적인 프레임들에 대한 (x2 + y2 + z2) 의 제곱 근의 값의 차이가 3 개의 연속적인 프레임들에 대해 0.3 보다 적을 때, 촬상 디바이스는 장면이 안정적이거나 흔들리지 않는다고 결정한다.
도 1 을 참조하면, 일단 장면 변화 (135) 가 검출되고, 모니터링 페이즈 (110) 에서 결정되는 바와 같이 포인트 (137) 에서 장면이 안정적인 것으로 고려되면, 오토포커스 검색 페이즈 (120) 가 수행될 수도 있다 (예컨대, 촬상 디바이스는 포커스 포지션을 발견하기 위해 렌즈를 이동시킨다). 오토포커스 검색 페이즈 (120) 동안 촬상 디바이스는 렌즈를 포인트 145 (오토포커승의 시작부) 및 150 (오토포커스의 종단부) 사이의 일부 포지션에 위치된, 최적의 포커스 렌즈 포지션으로 이동시킨다.
도 2a 는 센서 모듈 (210) 을 갖는 촬상 디바이스 (200) 의 실시형태의 일 예를 나타내는 블록도이다. 도 2b 는 센서 모듈 (210) 의 일 실시형태를 나타낸다. 예시된 촬상 디바이스 (200) 는 센서 모듈 (210) 에 동작가능하게 접속된 프로세서 (205), 작업 메모리 (270), 스토리지 (275), 디스플레이 (280), 거리 센서 (230), 및 입력 디바이스 (290) 를 포함한다. 프로세서 (205) 는 또한 메모리 (220) 에 접속된다. 메모리 (220) 는, 이하 보다 자세히 설명되는 바와 같은, 촬상 디바이스 (200) 의 기능들을 수행하도록 프로세서 (205) 를 구성하기 위한 명령들을 정의하는 데이터 값들을 저장하는 몇몇 모듈들을 저장한다.
또한, 도 2b 에서 예시된 바와 같이, 센서 모듈 (210) 은 렌즈 (212), 오토포커스 컴포넌트 (214), 및 이미지 센서 (216) 를 포함할 수도 있다. 광은 장면 (240) 으로부터 렌즈 (212) 로 진입하고, 촬상 센서 (216) 상에 포커싱된다. 하나의 양태에서, 촬상 센서 (216) 는 전하 결합 디바이스를 이용한다. 다른 양태에서, 촬상 센서 (216) 는 CMOS 또는 CCD 센서 중 어느 일방을 이용하다. 렌즈 (212) 는 오토포커스 컴포넌트 (214) 에 커플링되고, 오토포커스 컴포넌트 (214) 의 액추에이터 (미도시) 에 의해 이동된다. 액추에이터는 가동 범위 (250) 를 통해 일련의 하나 이상의 렌즈 포지션들에서 렌즈 (212) 를 이동시키도록 구성된다. 도 2b 에서 도시된 실시형태에서, 렌즈는 무한대 기계적 종단부 (255) 를 향하는 방향 (251) 으로 그리고 매크로 기계적 종단부 (254) 를 향하는 방향 (252) 으로 가동 범위 (250) 를 따라 이동될 수 있고, 가동 범위 (250) 를 따른 렌즈의 포지션은 "렌즈 포지션" 으로서 본 명세서에서 기술될 것이다. 일부 실시형태들에서, 가동 범위 (250) 의 렌즈 포지션들은 렌즈가 액추에이터에 의해 이동될 수 있는 이산 포지션들이다. 오토포커스 컴포넌트 (214) 는 보아스 코일 모터 (VCM), 마이크로 전자 기계 시스템 (MEMS), 또는 형상 메모리 합금 (SMA) 을 포함하는, 렌즈 (212) 를 액추에이팅하기 위한 당해 기술분야에서 알려진 임의의 방법을 포함할 수도 있다. 도 2b 의 실시형태는, 적어도 부분적으로 렌즈 (212) 와 이미지 센서 (216) 사이의 캐비티일 수도 있는, 센서 모듈 (210) 의 탑재 공간 (218) 을 포함한다. 탑재 공간 (218) 은 탑재 역학을 위한 센서 모듈 (210) 에서의 영역이다. 예를 들어, 일부 실시형태들에서, 탑재 공간 (218) 은 오토포커스 컴포넌트를 탑재하기 위한 브라켓들 또는 다른 지지부를 유지할 수도 있다. 탑재 공간 (218) 은 이미지 센서 (216) 를 탑재하기 위한 브라켓들 및 다른 탑재 수단을 위한 영역을 제공할 수도 있다. 따라서, 탑재 공간 (218) 은 오토포커스 컴포넌트 (214), 렌즈 (212) 및 이미지 센서 (216) 의 구조적 일체성을 증가시키기 위한 하나 이상의 컴포넌트들을 포함할 수도 있고, 이미지가 이미지 센서 (216) 상에 포커싱되도록 허용하고 렌즈 (212) 의 광학 축을 따라 정렬을 유지하도록 허용하도록 치수화 (또는 구성) 될 수도 있다.
도 2a 로 돌아가서, 작업 메모리 (270) 는 촬상 디바이스 (200) 의 동작 동안 동적으로 생성된 데이터를 저장하기 위해 프로세서 (205) 에 의해 이용될 수도 있다. 예를 들어, (이하 논의되는) 메모리 (220) 에 저장된 모듈들의 임의의 것으로부터의 명령들은 프로세서 (205) 에 의해 실행될 때 작업 메모리 (270) 에 저장될 수도 있다. 작업 메모리 (270) 는 또한, 프로세서 (205) 상에서 실행되는 프로그램들에 의해 이용되는 스택 또는 히프 데이터와 같은 동적 런 타임 데이터를 저장할 수도 있다. 스토리지 (275) 는 촬상 디바이스 (200) 에 의해 생성된 데이터를 저장하기 위해 이용될 수도 있다. 예를 들어, 렌즈 (212) 를 통해 캡처된 이미지들은 스토리지 (275) 에 저장될 수도 있다. 디스플레이 (280) 는 렌즈 (212) 를 통해 캡처된 이미지들을 디스플레이하도록 구성되고, 또한 디바이스 (200) 의 구성 기능들을 구현하기 위해 이용될 수도 있다.
도 2a 의 실시형태에서 예시된 디스플레이 (280) 는 렌즈 (212) 를 통해 캡처된 이미지들 및 프레임들을 디스플레이하도록 구성되고, 또한 디바이스 (200) 의 구성 기능들을 구현하기 위해 이용될 수도 있다. 하나의 구현에서, 디스플레이 (280) 는 촬상 디바이스의, 입력 디바이스 (290) 를 통해, 사용자에 의해 선택된 하나 이상의 오브젝트들을 디스플레이하도록 구성될 수 있다.
입력 디바이스 (290) 는 그 구현에 의존하여 많은 형태들을 취할 수도 있다. 일부 구현들에서, 입력 디바이스 (290) 는 터치 스크린 디스플레이를 형성하도록 디스플레이 (280) 와 통합될 수도 있다. 다른 구현들에서, 입력 디바이스 (290) 는 촬상 디바이스 (200) 상의 개별 키들 또는 버튼들을 포함할 수도 있다. 이들 키들 또는 버튼들은 디스플레이 (280) 상에 디스플레이된 메뉴의 내비게이션을 위한 입력을 제공할 수도 있다. 다른 구현들에서, 입력 디바이스 (290) 는 입력 포트일 수도 있다. 예를 들어, 입력 디바이스 (290) 는 다른 디바이스의 촬상 디바이스 (200) 로의 동작가능한 커플링을 위해 제공할 수도 있다. 촬상 디바이스 (200) 는 입력 디바이스 (290) 를 통해 부착된 키보드 또는 마우스로부터 입력을 수신할 수도 있다.
도 2a 의 실시형태에서 예시된 거리 센서 (230) 는 촬상 디바이스 (200) 및 그 위에 포커싱되는 오브젝트 (240) 사이의 거리를 결정하도록 구성된다. 하나의 실시형태에서, 거리 센서 (230) 는 레이저 모듈 또는 레이저 센서이다. 하나의 실시형태에서, 거리는 타임-오브-플라이트 계산에 기초하며, 여기서, 레이저 센서는, 적외선 방출기를 통해, 장면 (240) 을 향해 광의 펄스들을 전송하고, 울트라-패스트 광 검출기는 반사된 펄스들을 픽업한다. 레이저 모듈은 그 다음에, 펄스의 방출과 반사의 검출 사이의 시간 차이를 정확하게 측정할 수도 있다. 측정된 시간 및 광의 알려진 속도에 기초하여, 오브젝트 (240) 와 촬상 디바이스 (200) 사이의 거리가 결정될 수도 있다. 다른 실시형태에서, 거리 센서 (230) 는 듀얼 카메라 시스템일 수도 있다. 듀얼 카메라 시스템의 하나의 구현은 나란히 위치된 인간의 눈들과 유사할 수도 있다. 이러한 듀얼 카메라 시스템은 좌측 이미지 및 우측 이미지를 캡처할 수 있고, 캡처된 이미지들에서 오브젝트 (240) 의 거리를 결정하기 위해 삼각측정 기법들을 적용할 수 있다. 듀얼 카메라 시스템은 분리된 카메라들의 결과로서 촬상 디바이스 (200) 전면의 오브젝트 (240) 의 거리를 추정하도록 구성될 수 있고, 여기서, 별도의 이미지들은 동일 장면의 것이다. 촬상 디바이스 (200) 는 그 다음에, 이들 2 개의 이미지들에 기초하여 오브젝트 (240) 까지의 거리를 계산할 수 있다. 일부 실시형태들에서, 거리 센서 (230) 는 단일 프레임의 임의의 하나의 오브젝트 (240) 와 촬상 디바이스 (200) 사이의 거리를 결정하도록 구성될 수 있다. 하나의 실시형태에서, 거리 센서 (230) 는 촬상 디바이스 (200) 와 오브젝트 (230) 사이의 검출된 거리를 이하에서 논의되는 메모리 (220) 에 전송할 수도 있다. 다른 실시형태에서, 거리 센서 (230) 는 그 검출된 거리를 작업 메모리 (270) 및/또는 스토리지 (275) 에 전송할 수도 있다. 따라서, 거리 센서 (230) 는 하나의 이미지 프레임 및/또는 다수의 프레임들에 대해 오브젝트 (240) 와 촬상 디바이스 (200) 사이의 거리를 검출 및 결정하기 위한 하나의 수단일 수도 있다.
메모리 (220) 는 컴퓨터 판독가능 매체들로서 고려될 수도 있고, 하나 이상의 모듈들을 저장할 수 있다. 모듈들은 프로세서 (205) 를 위한 명령들을 정의하는 데이터 값들을 저장한다. 이들 명령들은 디바이스 (200) 의 기능들을 수행하도록 프로세서 (205) 를 구성한다. 예를 들어, 일부 양태들에서, 메모리 (220) 는, 프로세서 (205) 로 하여금, 이하에서 설명되는 바와 같이 그리고 도 5 에서 예시된 바와 같이, 방법 (500), 또는 그것의 부분들을 수행하게 하는 명령들을 저장하도록 구성될 수도 있다. 예시된 실시형태에서, 메모리 (220) 는 입력 프로세싱 모듈 (221), 장면 변화 검출 모듈 (222), 렌즈 포지션 결정 모듈 (223), 경계 제한 결정 모듈 (224), 렌즈 제어 모듈 (225), 안정성 검출 모듈 (226), 및 오토포커스 제어 모듈 (227) 을 포함한다.
입력 프로세싱 모듈 (221) 은 입력 디바이스 (290) 로부터 입력 데이터를 판독하도록 프로세서 (205) 를 구성하는 명령들을 포함한다. 하나의 양태에서, 입력 프로세싱 모듈 (221) 은, 이미지 센서 (212) 에 의해 캡처된 이미지 프레임 내에서 오브젝트들 (240) 또는 그것의 부분들을 검출하도록 프로세서 (205) 를 구성할 수도 있다. 다른 양태에서, 입력 프로세싱 모듈 (221) 은, 입력 디바이스 (290) 로부터 사용자 입력을 수신하고, 입력 디바이스 (290) 의 사용자 조작에 기초하여 사용자 선택 또는 구성을 식별하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 입력 프로세싱 모듈 (221) 에서의 명령들은 이미지 프레임 내에서 하나 이상의 오브젝트들 (240) 을 식별 또는 선택하기 위한 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 입력 프로세싱 모듈 (221) 은, 메모리 (220) 의 다른 모듈들에 의한 사용 및 액세스를 위해 작업 메모리 (270) 에 이미지 프레임의 선택된 오브젝트 또는 부분를 나타내는 데이터를 전송하도록 프로세서 (205) 를 구성할 수도 있다.
여전히 도 2 를 참조하면, 장면 변화 검출 모듈 (222) 은, 입력 프로세싱 모듈 (221) 로부터의 입력 데이터로부터 수신된 장면의 선택된 오브젝트 또는 부분에 적어도 부분적으로 기초하여 장면 변화를 검출하도록 프로세서 (205) 를 구성할 수도 있다. 일부 실시형태들에서, 장면 변화 검출 모듈 (222) 에서의 명령들은, 모니터링되는 장면에 의해 획득된 정보, 예를 들어, 광 강도 측정치들, 촬상 디바이스의 물리적 이동에 관련된 자이로스코픽 측정칟ㄹ, 및/또는 거리 센서 (230) 로부터 수신된 거리 측정치들에 기초하여 장면 변화를 검출하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 장면 변화 검출 모듈 (222) 에서의 명령들은 이미지 프레임의 선택된 오브젝트 또는 부분에 적어도 부분적으로 기초하여 장면에서의 변화를 검출하기 위한 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 장면 변화 검출 모듈 (222) 에서의 명령들은 렌즈 포지션 결정 모듈 (223) 및/또는 렌즈 제어 모듈 (225) 에 장면 변화를 나타내는 정보를 전송할 수도 있다. 따라서, 장면 변화 검출 모듈 (222) 에서의 명령들은 장면이 변화한 것을 나타내기 위한 하나의 수단을 나타낼 수도 있다. 렌즈 제어 모듈 (225) 및/또는 렌즈 포지션 결정 모듈 (223) 에서의 명령들은 장면이 변화했다는 것 및/또는 장면이 계속 변화하고 있음을 나타내는 정보를 수신하기 위한 하나의 수단을 나타낼 수도 있다.
렌즈 포지션 결정 모듈 (223) 에서의 명령들은 거리 센서 (230) 에 의해 검출된 촬상 디바이스 (200) 와 오브젝트 (240) 사이의 거리에 적어도 부분적으로 기초하여 각각의 프레임에 대한 렌즈 포지션을 결정하도록 프로세서 (205) 를 구성할 수도 있다. 일부 실시형태들에서, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은 거리 센서 (230) 로부터의 거리 측정치를 수신하도록 프로세서 (205) 를 구성할 수도 있다. 또한, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은, 식 1 내지 식 3 을 참조하여 이하 설명되는 바와 같이, 센서 모듈 (210) 의 설계 사양들 및 앵커 값들과 같은, 작업 메모리 (270) 및/또는 스토리지 (275) 로부터 교정 입력들을 취출하도록 프로세서 (205) 를 구성할 수도 있다. 일부 실시형태들에서, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은, 식 1 내지 식 3 을 참조하여 이하 설명되는 바와 같이, 센서 모듈 (210) 의 설계 사양들 및 앵커 값들에 적어도 부분적으로 기초하여, 거리 센서 (230) 로부터의 거리 측정치를 최적의 포커스를 위한 추정된 렌즈 포지션으로 변환하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은 거리 센서 (230) 로부터 수신된 거리 측정치로부터 센서 모듈 (210) 에서의 렌즈 (212) 의 최적의 포커스를 위한 추정된 렌즈 포지션을 결정하기 위한 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은, 장면 변화 검출 모듈 (222) 에서의 명령들에 의해 결정된 바와 같이 장면이 계속 변화하는 동안, 거리 센서 (230) 로부터의 거리 측정치를 렌즈 포지션으로 변환하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 렌즈 포지션 결정 모듈 (223) 은 장면에서의 변화를 나타내는 정보를 수신하는 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은 최적의 포커스를 위한 추정된 렌즈 포지션을 경계 제한 결정 모듈 (224) 및/또는 렌즈 제어 모듈 (225) 에 전송할 수도 있다. 따라서, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은 촬상 디바이스 (200) 와 오브젝트 (240) 사이의 검출된 거리에 적어도 부분적으로 기초하여 최적의 포커스를 위한 추정된 렌즈 포지션을 정의하는 입력 파라미터들을 생성하기 위한 하나의 수단을 나타낼 수도 있다. 또한, 경계 제한 결정 모듈 (224) 및/또는 렌즈 제어 모듈 (225) 에서의 명령들은 최적의 포커스를 위한 추정된 렌즈 포지션을 정의하는 입력 파라미터들을 수신하기 위한 하나의 수단을 나타낼 수도 있다.
경계 제한 결정 모듈 (224) 에서의 명령들은, 렌즈 포지션 결정 모듈 (223) 로부터의 명령들에 기초하여 프로세서 (205) 에 의해 결정된 최적의 포커스에 대한 추정된 렌즈 포지션에 적어도 부분적으로 기초하여 경계 제한들을 결정하도록 프로세서 (205) 를 구성할 수도 있다. 일부 실시형태들에서, 경계 제한 결정 모듈 (224) 에서의 명령들은, 장면이 계속적으로 변화하고 있는 동안, 각각의 이미지 프레임에 대해 최적의 포커스에 대한 추정된 렌즈 포지션을 수신하고, 최적의 포커스에 대한 추정된 렌즈 포지션을 포함하는 가까운 및 먼 경계 제한을 결정하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 경계 제한 결정 모듈 (224) 은 최적의 포커스에 대한 추정된 렌즈 포지션에 관해 다수의 경계 제한들을 결정하기 위한 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 경계 제한 결정 모듈 (224) 에서의 명령들은, 가까운 및 먼 경계 제한들을 정의하는 경계 입력들을 렌즈 제어 모듈 (225) 에 전송하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 경계 제한 결정 모듈 (224) 에서의 명령들은, 최적의 포커스에 대한 추정된 렌즈 포지션에 적어도 부분적으로 기초하여 경계 입력들을 생성하기 위한 하나의 수단을 나타낼 수도 있다. 또한, 렌즈 제어 모듈 (225) 에서의 명령들은 적어도 경계 제한들을 포함하는 입력 파라미터들을 수신하기 위한 하나의 수단을 나타낼 수도 있다.
렌즈 제어 모듈 (225) 에서의 명령들은, 렌즈 포지션 결정 모듈 (223) 에 의해 결정된 최적의 포커스에 대한 추정된 렌즈 포지션에 적어도 부분적으로 기초하여 렌즈 (212) 에 대해 렌즈 포지션을 시행하도록 프로세서 (205) 를 구성할 수도 있다. 일부 실시형태들에서, 렌즈 제어 모듈 (225) 에서의 명령들은, 렌즈 포지션 결정 모듈 (223) 로부터 수신된 최적의 포커스에 대한 추정된 렌즈 포지션을 향하는 방향으로 렌즈 (212) 를 이동시키도록 프로세서 (205) 를 구성할 수도 있다. 하나의 실시형태에서, 렌즈 (212) 는 경계 제한 결정 모듈 (224) 로부터 수신된 경계 제한들가지 이동된다. 따라서, 렌즈 제어 모듈 (225) 은 메모리 (220) 의 하나 이상의 모듈들로부터 수신된 입력 파라미터들에 기초하여 렌즈 (212) 를 이동시키기 위한 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 렌즈 제어 모듈 (225) 에서의 명령들은, 장면이 불안정적이고 계속 변화하는 동안 수신된 입력 파라미터들에 기초하여 렌즈 (212) 를 이동시키도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 렌즈 제어 모듈 (225) 에서의 명령들은, 장면 변화를 나타내는 정보를 수신하기 위한 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 렌즈 제어 모듈 (225) 에서의 명령들은, 장면이 변화하는 동안 가까운 경계 제한으로만 렌즈를 이동시키도록 프로세서 (205) 를 구성할 수도 있다.
안정성 결정 모듈 (226) 에서의 명령들은, 장면의 오브젝트 (240) 또는 부분에 적어도 부분적으로 기초하여 장면이 안정적인지 여부를 결정하도록 프로세서 (205) 를 구성할 수도 있다. 일부 실시형태들에서, 안정성 결정 모듈 (226) 에서의 명령들은, 모니터링되는 장면으로부터 획득된 정보, 예를 들어, 광 강도 측정치들, 촬상 디바이스의 물리적 이동에 관련된 자이로스코픽 측정치들, 및/또는 거리 센서 (230) 로부터 수신된 거리 측정치들에 적어도 부분적으로 기초하여 장면이 안정적인지를 결정하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 안정성 결정 모듈 (226) 에서의 명령들은, 메모리 (220) 의 하나 이상의 모듈들로부터 수신된 입력들 및 이미지 프레임의 선택된 오브젝트 또는 부분에 적어도 부분적으로 기초하여 장면이 안정적인 것을 결정하기 위한 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 안정성 결정 모듈 (226) 에서의 명령들은 장면이 안정적인 것을 나타내는 정보를 렌즈 포지션 결정 모듈 (223), 렌즈 제어 모듈 (225), 및/또는 오토포커스 제어 모듈 (227) 에 전송할 수도 있다. 따라서, 안정성 결정 모듈 (226) 에서의 명령들은 장면이 안정적인 것을 나타내기 위한 하나의 수단을 나타낼 수도 있다. 렌즈 포지션 결정 모듈 (223), 렌즈 제어 모듈 (225), 및/또는 오토포커스 제어 모듈 (227) 에서의 명령들은 장면이 안정적인 것을 나타내는 정보를 수신하기 위한 하나의 수단을 나타낼 수도 있다.
일부 실시형태들에서, 일단 안정성 결정 모듈 (226) 에서의 명령들에 의해 구성된 프로세서 (205) 에 의해 장면이 안정적인 것으로 결정되면, 렌즈 제어 모듈 (225) 에서의 명령들은 수신된 입력들에 기초하여 렌즈 (212) 를 이동시키는 것을 중지하도록 프로세서 (205) 를 구성할 수도 있다. 추가적으로, 렌즈 포지션 결정 모듈 (223) 에서의 명령들은 또한, 거리 센서 (203) 로부터의 검출된 거리에 기초하여 최적의 포커스에 대한 추정된 렌즈 포지션을 결정하는 것을 중지하도록 프로세서 (205) 를 구성할 수도 있다. 또한 추가적으로, 일부 실시형태들에서, 오토포커스 제어 모듈 (227) 에서의 명령들은, 장면이 안정적이라는 결정에 적어도 부분적으로 기초하여 오토포커스 검색 동작을 개시하도록 프로세서를 구성할 수도 있다. 따라서, 오토포커스 제어 모듈 (227) 은 오토포커스 검색을 수행하는 하나의 수단을 나타낼 수도 있다. 일부 실시형태들에서, 오토포커스 제어 모듈 (227) 에서의 명령들은 렌즈 제어 모듈 (225) 로부터 수신된 입력들에 적어도 부분적으로 기초하여 오토포커스 검색을 개시하도록 프로세서 (205) 를 구성할 수도 있다. 예를 들어, 오토포커스 검색 동작은, 본 명세서에서 상세히 설명된 바와 같이, 렌즈 (212) 가 가까운 제한에 위치될 때 그리고 장면이 안정적인 것으로 결정될 때 개시될 수도 있다. 일부 실시형태들에서, 오토포커스 제어 모듈 (227) 에서의 명령들은 오토포커스 검색 동작을 수행하기 위한, 스텝 사이즈와 같은 오토포커스 검색 파라미터들을 렌즈 제어 모듈 (225) 에 전송할 수도 있다. 렌즈 제어 모듈 (225) 에서의 명령들은 오토포커스 검색 파라미터들에 기초하여 렌즈 (212) 를 이동시킴으로써 오토포커스 검색을 시행하도록 프로세서 (205) 를 구성할 수도 있다. 따라서, 렌즈 제어 모듈 (225) 은 오토포커스 검색 동작을 수행하기 위한 다른 수단을 나타낼 수도 있다.
도 3 은 주어진 장면 및 센서 모듈, 예를 들어 도 2b 에서 도시된 센서 모듈 (210) 에 대한 렌즈 포지션 (x-축) 에 대해 플롯팅된 포커스 값 오토포커스 방법 (y-축) 의 일 예를 나타내는 그래프이다. 각각의 도트 (301-310) 는 오토포커스 컴포넌트 (214) 에 의해 이동되는, 렌즈 (212) 와 같은, 렌즈의 렌즈 포지션을 나타낸다. 각각의 렌즈 포지션에서, 프로세서 (205) 는 포커스 값을 결정하도록 구성될 수도 있고, 촬상 디바이스가 최고 포커스 값을 검출하는 렌즈 포지션이 최적의 포커스를 위한 렌즈 포지션이다. 예시적 목적들을 위해, 가동 범위 (250) 는 0 에서부터 100 까지로 설정될 수 있고, 여기서, 0 의 렌즈 포지션은 렌즈가 매크로 기계적 종단부 (254) 에 위치된 것을 나타내고 (예컨대, 촬상 디바이스는 가까운 오브젝트들에 초점을 맞추고 있다), 100 의 렌즈 포지션은 무한대 기계적 종단부 (255) 를 나타낸다 (예컨대, 촬상 디바이스는 먼 오브젝트들에 초점을 맞추고 있다. 일부 실시형태들에서, 0 에서부터 100 까지의 각각의 정수는 단일의 개별 렌즈 포지션을 나타낼 수도 있다. 따라서, 렌즈가 가동 범위 (250) (도 2b) 을 따라서 이동됨에 따라, 촬상 디바이스는 최적의 포커스를 위한 렌즈 포지션을 나타내는 최고 포커스 값을 계산한다. 그 다음에, 렌즈가 최적의 포커스 렌즈 포지션을 벗어나서 이동됨에 따라, 포커스 값들은 감소할 것이고, 도 3 에서 예시된 곡선을 제공한다.
일부 촬상 디바이스에서, 일단 촬상 디바이스가 장면이 안정적인 것을 결정하고 오토포커스 검색 페이즈를 개시하면, 촬상 디바이스는 렌즈 포지션 0 에서부터 렌즈 포지션 100 까지의 가동 범위 (250) 를 따라서 렌즈 포지션을 통해 렌즈를 이동시킴으로써 오토포커스 검색을 수행한다. 오토포커스 검색은 가동 범위의 하나의 단부 (예컨대, 매크로 기계적 종단부 (254)) 에서 시작하고 큰 거친 (coarse) 스텝들 (301-307) 을 수행할 수도 있다. 각각의 스텝 (301-307) 에 대해, 촬상 디바이스는 포커스 값을 계산할 수도 있고, 도 3 의 것과 유사한 일반적 형상을 제공한다. 이러한 방식으로, 촬상 디바이스는 피크 포커스 값이 있는 곳을 추정할 수 있다. 일단 각 스텝에 대한 포커스 값이 이전 스텝에 비해 감소하면, 촬상 디바이스는 최적의 포커스 렌즈 포지션을 위치시키기 위해 피크 주위에서 더 작은 스텝들 (308-310) 을 수행하도록 구성될 수도 있다. 하지만, 일부 오토포커스 검색들은, 촬상 디바이스가 점점 더 작아지는 또는 점점더 정세해지는 스텝 사이즈들에서 다수의 패스들을 실시함에 따라, 도 3 의 파인 검색 (fine search) 에서 예시된 바와 같이, 가동 범위의 이전에 횡단되었던 구역들에 걸쳐 다시 더블링 (doubling) 하는 것을 필요로 한다.
도 4 는 하나의 실시형태에 따른 일 예시적인 오토포커스 이벤트에 대한 오토포커스 이벤트 타임라인을 나타낸다. 도 4 에서, 타임라인은 시간 (t) 의 경과를 나타내는 축을 따라 플롯팅된다. 일부 실시형태들에서, 오토포커스 이벤트는, 모니터 페이즈 (310) 및 검색 페이즈 (320) 를 포함하는, 지속적 오토포커스 모드에서 전체적으로 발생한다. 도 4 에서 도시된 바와 같이, 장면 변화 (331) 는 포인트 (330) 에서 모니터 페이즈 시작부를 갖는 모니터 페이즈 (310) 동안 검출된다. 장면 변화는 도 1 을 참조하여 상술된 바와 같이 다양한 방법들에 의해 검출될 수도 있다. 일단 장면 변화가 검출되면, 거리 센서 (230) 는 매 프레임 (332-335) 에 대해 촬상 디바이스 (200) 및 장면의 적어도 하나의 오브젝트 사이의 거리를 리포트한다. 일부 실시형태들에서, 거리 센서 (230) 는 밀리미터 단위로 거리를 리포트할 수도 있는 레이저 모듈이다. 하나의 실시형태에서, 거리는 타임-오브-플라이트 계산에 기초하고, 여기서, 레이저 센서는, 적외선 방출기를 통해, 장면을 향해 광의 펄스들을 전송하고, 울트라-패스트 광 검출기는 반사된 펄스들을 픽업한다. 레이저 모듈은 그 다음에, 펄스의 방출과 반사의 검출 사이의 시간 차이를 정확하게 측정할 수도 있다. 측정된 시간 및 광의 알려진 속도에 기초하여, 오브젝트와 촬상 디바이스 (200) 사이의 거리가 결정될 수도 있다. 다른 실시형태에서, 거리 센서 (230) 는, 레이저 모듈과 유사한 방법으로 물리적 거리를 제공하도록 구성된 듀얼 카메라 시스템일 수도 있다. 듀얼 카메라 시스템의 하나의 구현은 나란히 위치된 인간의 눈들과 유사할 수도 있다. 이러한 듀얼 카메라 시스템은 좌측 이미지 및 우측 이미지를 캡처할 수 있고, 캡처된 이미지들에서 오브젝트의 거리를 결정하기 위해 삼각측정 기법들을 적용할 수 있다. 일반적으로, 듀얼 카메라 시스템은 분리된 카메라들의 결과로서 촬상 디바이스 (200) 전면의 오브젝트의 거리를 추정하도록 구성될 수 있고, 여기서, 별도의 이미지들은 동일 장면의 것이다. 촬상 디바이스 (200) 는 그 다음에, 이들 2 개의 이미지들에 기초하여 장면까지의 거리를 계산할 수 있다.
여전히 도 4 를 참조하면, 본 명세서에서 개시된 일부 실시형태들에서, 촬상 디바이스 (200) 는 거리 센서로부터 수신된 프레임의 리포트된 거리에 기초하여 각각의 프레임 (332-335) 의 렌즈 포지션을 계산한다. 일부 실시형태들에서, 렌즈 포지션은, 실제의 결정은 주위 환경으로부터의 외부적 영향들에 의해 영향을 받을 수도 있기 때문에, 실제 렌즈 포지션의 추정치이다. 각각의 프레임에 대해 리포트된 거리의 결정된 렌즈 포지션에 기초하여, 렌즈 포지션의 양 측 상의 경계 범위는 예를 들어 가까운 및 먼 경계 제한 (340 및 350) 으로 각각 설정된다. 가까운 경계 제한은, 경계가 현재의 렌즈 포지션과 최적의 포커스 렌즈 포지션 사이에 물리적으로 위치되도록, 렌즈의 현재의 렌즈 포지션에 가장 가까운 경계를 지칭하는 것으로 이해될 것이다. 먼 경계 제한은, 최적의 포커스 렌즈 포지션이 현재의 렌즈 포지션과 먼 경계 제한 사이에 위치되도록, 렌즈의 현재의 렌즈 포지션으로부터 가장 먼 경계를 지칭하는 것으로 이해될 것이다. 최적의 포커스 렌즈 포지션 및 가까운 및 먼 제한 경계들의 추정에 이어서, 촬상 디바이스 (200) 는 렌즈 (212) 를 이동시킬 방향을 결정하도록 구성될 수 있다. 렌즈 (212) 는 결정된 최적의 포커스 렌즈 포지션의 방향으로 이동되는 한편, 거리 센서 (230) 는, 렌즈 (212) 의 현재의 렌즈 포지션이 가까운 경계 제한일 때까지 및/또는 장면이 안정적일 때까지, 매 프레임에 대해 장면에서의 변화를 지속적으로 검출한다. 일부 실시형태들에서, 가까운 제한이 도달되고/되거나 장면이 안정적일 때, 촬상 디바이스 (200) 는 가까운 제한 및 먼 제한 내에서 오토포커스 검색 동작을 개시하도록 구성될 수도 있다. 일부 실시형태들에서, 오토포커스 검색 동작은, 파인 오토포커스 검색 동작이 수행되도록 파인 렌즈 스텝들을 포함할 수도 있다. 파인 렌즈 스텝들은, 거친 렌즈 스텝들보다 크기가 더 작은 렌즈 스텝을 지칭할 수도 있고, 예를 들어, 도 3 의 더 작은 스텝들 (308-310) 로서 예시된 렌즈 스텝들은 도 3 의 거친 스텝들 (301-307) 로서 예시된 거친 렌즈 스텝들에 비해 파인 렌즈 스텝들을 나타낼 수도 있다. 일부 실시형태들에서, 파인 렌즈 스텝들은 더 큰 거친 렌즈 스텝들의 분수일 수도 있다.
예를 들어, 렌즈의 가동 범위는 0 에서부터 100 까지의 렌즈 포지션들로 설정될 수 있고, 본원에 개시된 방법 이전에, 촬상 디바이스는 50cm 떨어진 오브젝트에 대해 렌즈 포지션을 결정함으로써 교정될 수도 있다. 이를 위해, 오브젝트는 촬상 디바이스 (200) 로부터 50cm 떨어져서 배치될 수도 있고, 촬상 디바이스는 교정 또는 튜닝 프로세스에 기초하여 최선의 포커스를 위한 렌즈 포지션을 기록한다. 예를 들어, 50cm 떨어진 오브젝트에 대한 최적의 포커스 렌즈 포지션은 60 의 렌즈 포지션인 것으로 결정될 수도 있고, 이 60 은 센서 모듈 (210) 의 가동 범위를 따른 렌즈 (212) 의 포지션을 나타내는 정수이다. 이것은 50cm 의 앵커 렌즈 거리 및 60 의 앵커 렌즈 포지션을 나타낸다. 앵커 렌즈 거리 및 렌즈 포지션은 다른 거리들에 대한 렌즈 포지션들을 계산하기 위해 사용될 수 있고, 다른 거리들은 오토포커스 이벤트의 모니터 페이즈 동안 레이저 모듈에 의해 검출된다. 촬상 디바이스 (200) 는, 앵커 거리, 앵커 렌즈 포지션, 및 센서 모듈 사양들 (예컨대, 렌즈의 초점 거리, F 수, 이미지 센서의 픽셀 사이즈, 및 촬상 디바이스의 감도) 에 기초하여, 검출된 물리적 거리를 렌즈 포지션으로 변환하도록 구성될 수도 있다.
이에 따라, 렌즈 포지션은 다음과 같이 계산될 수도 있고, 여기서, 거리 센서 (230) 는 오브젝트가 촬상 디바이스 (200) 로부터 20cm 떨어진 것을 리포트한다:
PLL=PAL-(abs(X1-X0)/S) 식 (1)
여기서, PLL 은 렌즈 포지션이고, PAL 은 앵커 렌즈 포지션이며, S 는 촬상 디바이스의 사양으로부터 도출된 감도이고, X1 및 X0 는 다음의 식들에 의해 결정된다:
X1=( f 2/(XD-f))*1000; 식 (2)
X0=( f 2/(DA-f))*1000; 식 (3)
여기서, f 는 촬상 디바이스의 렌즈의 초점 거리이고, XD 는 거리 센서에 의해 리포트된 거리이며, DA 는 앵커 거리이다. 따라서, 미리결정된 앵커 거리가 500mm 이고, 앵커 렌즈 포지션이 60 이며, 감도가 1 이고, 초점 거리가 3.83 인 경우에, 촬상 디바이스로부터 200mm 떨어져서 위치된 오브젝트에 대한 렌즈 포지션은 대략적으로 14 이다. 이것은, 촬상 디바이스가 20cm 떨어져서 위치된 오브젝트 상에 포커싱하기 위해, 렌즈는 가동 범위를 따라 렌즈 포지션 14 주위의 어느 곳에 포지셔닝되어야 함을 나타낸다. 14 의 렌즈 포지션은 계산된 추정치이고, 하지만 실제 세상에서는, 최적의 포커스 렌즈 포지션은 대략적으로 렌즈 포지션 10 및 20 사이일 것이다. 그 이유는, 렌즈가 편차들 및 중력, 열, 마찰로부터의 영향, 및 다른 외부 영향들을 경험할 것이기 때문이다. 따라서, 편차들에 대해 보상하기 위해서, 방법은, 렌즈가 가동 범위를 따라 현재 위치되는 곳에 의존하여 가까운 및 먼 경계 제한을 나타내는, 10 및 20 의 렌즈 포지션 사이의 파인 오토포커스 검색을 수행할 수도 있다.
일부 실시형태들에서, 실제 최적의 포커스 렌즈 포지션이 위치될 가능성이 높은 렌즈 포지션들의 범위는 촬상 디바이스의 필드의 심도 ("DOF") 에 기초하여 결정될 수 있다. 사진술에서, DOF 는 수용가능하게 날카로운 또는 포커싱된 장면의 가장 가까운 및 가장 먼 오브젝트들 사이의 거리이다. 오브젝트의 각각의 거리에 대해, 대응하는 DOF 가 존재한다. 따라서, 일부 실시형태들에서, 최적의 포커스 렌즈 포지션은 주어진 이미지 프레임에 대해 결정된 오브젝트 거리에 대한 DOF 의 범위 내의 어느 곳일 수 있다.
본 명세서에서 개시된 일부 실시형태들에서, 일단 장면 변화가 검출되고 나면, 전통적인 오토포커스 검색 방법들에서와는 달리, 비록 디바이스가 여전히 패닝하고 있거나 안정적이지 않음에도 불구하고 렌즈는 가까운 제한을 향해 이동된다. 이것은, 촬상 디바이스가, (장면 변화에 이어서) 매 프레임에 대해 거리 센서에 의해 리턴되는 물리적 거리에 기초하여 타겟 렌즈 포지션을 추정하는 결과로서 렌즈를 어느 방향으로 이동시킬지를 결정할 수 있기 때문이다. 이러한 방식으로, 촬상 디바이스는 렌즈를 이동시킬 방향 및 렌즈를 얼마만큼 이동시킬 지를 안다. 반면에, 전통적인 콘트래스트 오토포커스 검색 동작들은, 장면이 변했을 때 렌즈를 이동시킬 방향 또는 양을 알지 못하고, 촬상 디바이스는 모니터 페이즈 동안 장면이 안정적이 될 때까지 기다리도록 강제되고, 그 다음에, 콘트래스트의 비교에 기초하여, 장면을 포커싱하기를 시도한다.
예를 들어 그리고 상술된 바와 같이, 렌즈의 가동 범위는 0 에서부터 100 까지로 설정될 수도 있고, 여기서 각각의 정수 (예컨대, 0, 1, 등) 는 렌즈 포지션을 나타내고, 렌즈는 현재 100 에서 포지셔닝될 수도 있다. 먼저, 촬상 디바이스는 (예컨대, 상술된 바와 같이 루마, 이동, 또는 거리에 기초하여) 장면이 변화한 것을 결정하고, 거리 센서는 주어진 프레임에 대한 새로운 거리를 검출 및 송신한다. 예를 들어, 거리 센서는, 주어진 프레임에 대해, 오브젝트가 촬상 디바이스로부터 50cm 에 위치되는 것을 결정한다. 촬상 디바이스, 또는 거기에 포함된 메모리 (220) 의 모듈은, 그 다음에, 식 (1) 내지 식 (3) 에 기초하여 렌즈 포지션을 60 으로서 결정하고, 여기서, 60 은 최적의 포커스 렌즈 포지션이 60 정도일 수도 있음을 나타내는 렌즈 포지션의 추정치이다. 정확히 60 일 수도 있고 또는 60 에 가까운 어딘가일 수도 있다. 따라서, 실제 최적의 포커스 렌즈 포지션이 위치되는 것을 확실히 하기 위해, 촬상 디바이스는 가까운 및 먼 경계 제한들로 파인 오토포커스 검색을 실행할 수도 있다. 가까운 및 먼 경계 제한들은, 예를 들어, 각각 80 및 40 으로서 설정된다. 촬상 디바이스가 여전히 패닝하고 잇고/잇거나 안정적이지 않지만 (예컨대, 촬상 디바이스는 현재 모니터 페이즈에 있다), 렌즈는 80 의 가까운 경계 제한을 향해 이동되고, 그리고 장면이 안정적이려고 할 때, 렌즈는 가까운 경계 제한 주위에서 위치되어야 한다. 예시적인 예에서, 현재의 포지션은 100 이고, 그리고 모니터 페이즈에 있는 동안 (예컨대, 촬상 디바이스가 현재 패닝하고 있거나 안정적이지 않다), 렌즈는 각각의 프레임에 대해 10 의 스텝들만큼 이동된다 (여기서, 포커스 포지션은 상기 진술된 바와 같이 추정되고, 가까운 경계 제한이 교대로 설정된다). 그리하여, 다음 프레임에서, 렌즈는 90 에 그 다음에는 80 에 있을 것이다. 렌즈가 80 에 있을 때, 그것은 가까운 경계 제한에 도달했을 것이고, 그리고, 일부 실시형태들에서, 촬상 디바이스는 파인 오토포커스 검색을 수행할 수도 있다. 일부 실시형태들에서, 오토포커스 검색 페이즈는 렌즈가 가까운 경계 제한에 도달한 것에 기초하여 개시될 수도 있다. 다른 실시형태에서, 오토포커스 검색 페이즈는 촬상 디바이스가 장면이 안정적인 것을 결정하는 것 및/또는 촬상 디바이스가 패닝을 중지하는 것에 기초하여 개시될 수도 있다. 일부 경우들에서, 촬상 디바이스는 렌즈가 가까운 경계 제한을 벗어나 있는 동안에 안정적이 될 수도 있고, 이들 경우들에서, 렌즈는 오토포커스 검색 페이즈를 개시하기 이전에 가까운 경계 제한으로 이동될 수도 있다.
본 명세서에서 개시된 실시형태들의 예시적인 비-제한적인 이점은, 촬상 디바이스가 패닝하고 있는 동안에도 렌즈가 이동되기 때문에, 렌즈는 오토포커스 검색 페이즈를 시작하기 이전에 최적의 포커스 렌즈 포지션에 이미 보다 가깝기 때문에, 디포커스 이벤트들의 발생이 감소된다. 사용자는 촬상 디바이스의 프리뷰 스크린에서 디포커싱 이벤트를 볼 가능성이 더 적을 것이다. 따라서, 본 명세서에서 개시된 실시형태들은, 렌즈가 전통적인 오토포커스 검색 동작들보다 더 일찍 그리고 보다 정확하게 이동되기 때문에, 디포커스 이벤트들을 현저하게 감소시킬 것이다.
도 5 는 촬상 디바이스의 오토포커스 검색 동작 착수 시에 또는 그 이전에 최적의 포커스 렌즈 포지션의 방향을 결정하는 프로세스의 플로우차트이다. 프로세스 (500) 는 도 2a 및 도 2b 에서 예시된 촬상 디바이스 (200) 에 의해 수행될 수도 있다. 일부 실시형태들에서, 최적의 포커스에 대한 렌즈 포지션의 방향을 결정하는 방법은 메모리 (220) 에 의한 소프트웨어 솔루션으로서 구현되거나, 메모리 (220) 의 모듈들의 임의의 조합으로 구현되거나, 촬상 디바이스 (200) 의 다른 곳에서, 예를 들어 프로세서 (205) 에서 로직 디바이스에 의해 실행되는 하나 이상의 프로세서들에 의해 구현될 수 있다.
프로세스 (500) 는 시작 블록에서 시작하고 그 다음에, 블록 (502) 으로 이동하고, 여기서, 촬상 디바이스는 장면을 모니터링한다. 하나의 실시형태에서, 블록 (502) 은 촬상 디바이스의 모니터 페이즈를 개시한다. 일부 실시형태들에서, 촬상 디바이스는 촬상 디바이스의 디스플레이 상에서 장면의 다수의 이미지 프레임들을 캡처 및/또는 프리뷰한다. 일부 실시형태들에서, 촬상 디바이스는 모니터링될 관심대상의 오브젝트를 자동적으로 선택한다.
모니터링 페이즈의 일부로서, 프로세스 (500) 는 결정 블록 (504) 으로 이동하고, 여기서, 프로세스 (500) 는 장면 변화가 발생했는지 여부를 결정한다. 이와 관련하여, 촬상 디바이스는 장면 변화를 검출하는 임의의 방법을 이용할 수도 있다. 상술된 예시적인 방법들은 장면 변화 검출에 기초한 루마 값, 이동, 및 거리를 포함한다. 촬상 디바이스가 장면이 변화되지 않았다고 결정는 경우에, 프로세스는 블록 (502) 으로 돌아가고, 장면 변화가 검출될 때까지 장면을 지속적으로 모니터링한다. 장면 변화가 검출된 경우에, 프로세스는 장면 변화의 검출에 이어서 각각의 프레임에 대해 서브프로세스 (506) 로 이동한다.
각각의 프레임에 대해, 프로세스 (500) 는 블록 (508) 으로 이동하고, 여기서, 거리 센서는 오브젝트와 촬상 디바이스 사이의 거리를 검출한다. 일부 실시형태들에서, 거리 센서는 방출된 광 (예컨대, 타임-오브-플라이트 계산) 에 기초하여 거리를 검출하도록 구성된 레이저 모듈 또는 레이저 센서이다. 다른 실시형태에서, 거리 센서는 촬상 디바이스와 오브젝트 사이의 거리를 결정하도록 구성된 듀얼 카메라 시스템이다. 거리 센서는 평가 및 프로세싱을 위해 메모리 (220) 에 검출된 거리를 리포트 또는 전송하도록 구성될 수도 있다.
블록 (508) 에서 거리가 결정된 후에, 프로세스 (500) 는 블록 (510) 으로 이동하고, 여기서, 렌즈 포지션이 블록 (508) 에서 검출된 거리에 기초하여 결정된다. 렌즈 포지션은 식 (1) 내지 식 (3) 을 참조한 상기 설명에 따라 계산될 수도 있다.
주어진 프레임에 대해 렌즈 포지션이 결정된 후에, 프로세스 (500) 는 블록 (512) 으로 이동하고, 여기서, 가까운 및 먼 경계 제한들이 설정된다. 하나의 실시형태에서, 가까운 및 먼 경계 제한들은 결정된 렌즈 포지션에 기초하여 설정된다. 다른 실시형태에서, 가까운 경계 제한은 현재의 렌즈 포지션과 최적의 포커스를 위한 렌즈 포지션 사이의 가동 범위를 따라 물리적으로 위치되도록 설정된다. 다른 실시형태에서, 먼 경계 제한은 가동 범위를 따라 물리적으로 길게 위치되도록 설정되고, 여기서, 최적의 포커스 렌즈 포지션은 먼 경계 제한과 현재의 렌즈 포지션 사이에 위치된다.
가까운 및 먼 경계 제한들이 설정된 후에, 프로세스 (500) 는 블록 (514) 으로 이동하고, 여기서,렌즈는 가까운 경계 제한을 향하는 방향으로 이동된다. 일부 실시형태들에서, 촬상 디바이스, 도 2b 의 오토포커스 컴포넌트 (214), 및/또는 메모리 (220) 의 모듈은 가까운 경계 제한을 향해 렌즈를 이동시키기 위해 개별적으로 또는 공동으로 동작할 수도 있다. 일부 실시형태들에서, 렌즈는 주어진 프레임에 대해 가까운 경계 제한을 향해 각각의 프레임에 대해 미리결정된 이산 스텝, 예컨대, 10 렌즈 포지션들만큼 이동된다. 다른 실시형태에서, 렌즈는, 다음 프레임에 대한 분석이 개시될 때까지, 장면이 안정적이 될 때까지, 및/또는 렌즈가 가까운 경계 제한에 위치될 때까지, 지속적 모션으로 가동 범위를 따라 이동된다. 하나의 실시형태에서, 각각의 스텝 사이즈에 대한 렌즈 포지션들의 수의 선택은 튜닝 또는 교정 절차의 일부일 수 있다. 사용자들 또는 제조자들은 그들의 선호도에 따라 값을 설정할 수 있다, 예컨대, 10 렌즈 포지션들 또는 11 렌즈 포지션들. 스텝 사이즈가 반드시 그러하여야 하는 렌즈 포지션들의 한정된 수는 존재하지 않을 수도 있다. 하지만, 특정 실시형태들은 특정 디폴트 값들을 포함할 수도 있다. 스텝 사이즈를 선택할 때의 고려사항들은, 적어도, 최적의 포커스를 위한 렌즈 포지션의 위치의 정확도 및 오토포커스 검색을 위해 필요한 시간량을 포함할 수도 있다. 예를 들어, 보다 작은 스텝 사이즈를 설정하는 것은 정확한 최적의 포커스 렌즈 포지션들을 리턴할 수도 있지만, 오토포커스 검색 시간을 증가시키는 희생이 따른다. 대안적으로, 스텝 사이즈로서 큰 수의 렌즈 포지션들을 설정하는 것은 정확도를 희생하여 검색 시간을 감소시킬 수도 있다.
렌즈가 가까운 경계 제한을 향해 이동된 후에, 프로세스 (500) 는 결정 블록 (516) 으로 이동하고, 여기서, 장면이 안정적인지 여부에 관해 결정이 이루어진다. 상술된 예시적인 방법은 안정성 결정에 기초한 루마 값 및 이동을 포함한다. 촬상 디바이스가, 장면이 안정적이지 않다고 결정하는 경우에는, 프로세스는 서브프로세스 (506) 의 시작부로 리턴하고, 다음 프레임에 대해 프로세스를 반복한다.
장면이 안정적인 것으로 결정되는 경우에, 프로세스 (500) 는 블록 (518) 으로 이동하고, 여기서, 가까운 경계 제한에서 렌즈가 포지셔닝되는지 여부에 관해 결정이 이루어진다. 일부 실시형태들에서, 장면이 안정적인 것으로 결정될 때, 렌즈는 가까운 경계 제한에서 또는 거기에 가갑게 포지셔닝되어야 한다. 이들 경우들에서, 결정 블록 (518) 은 렌즈가 가까운 경계 제한에서 포지셔닝된다고 결정하고, 블록 (522) 으로 진행한다. 하지만, 일부 경우들에서, 장면이 안정적일 때 렌즈는 가까운 경계 제한에서 위치되지 않는다. 이들 경우들에서, 결정 블록 (518) 은 렌즈가 가까운 경계 제한에서 벗어나 있다고 결정하고, 그 다음에 블록 (520) 으로 진행한다. 블록 (520) 에서 그 다음에, 렌즈는 가까운 경계 제한으로 이동된다.
렌즈가 가까운 경계 제한에 있다는 결정 또는 블록 (520) 에서 렌즈가 가까운 경계 제한으로 이동되었다는 결정 후에, 프로세스 (500) 는 블록 (522) 으로 이동할 수도 있다. 블록 (522) 은 모니터링 페이즈의 단부를 나타낼 수도 있고, 여기서, 장면은 안정적이고 촬상 디바이스는 더 이상 패닝하고 있지 않다. 따라서, 블록 (522) 은 또한 오토포커스 검색 페이즈의 개시를 나타낼 수도 있다. 블록 (522) 에서, 프로세스 (500) 는 도 3 을 참조하여 상술된 바와 같이 각각의 스텝에 대한 포커스 값에 기초하여 파인 오토포커스 검색 동작을 수행할 수도 있다. 이러한 방식으로, 프로세스 (500) 는 촬상 디바이스가 빠르게 그리고 정확하게 최적의 포커스 렌즈 포지션을 로케이팅시키는 것을 가능하게 할 수도 있다.
이하의 설명은 본원에 개시된 방법들 및 장치의 수많은 예시적인 변형들을 포함한다. 이 예시적인 변형들은 본원에 개시된 실시형태들의 예시적인 목적들을 위해 의도된 것이고, 어떤 식으로든 제한하는 것으로 의도되지 아니한다. 이하의 예시적인 예들에서, 렌즈의 가동 범위는 0 에서부터 100 까지 설정되고, 여기서, 0 은 매크로 기계적 종단부이고, 100 은 무한대 기계적 종단부이다. 먼저, 촬상 디바이스는 장면 변화를 검출하고, 거리 센서는 주어진 프레임에 대해 새로운 거리, 예를 들어, 50cm 를 검출한다. 촬상 디바이스는 그 다음에, 주어진 프레임의 검출된 오브젝트 거리에 기초하여 렌즈 포지션이 60 인 것으로 결정하고, 여기서, 60 은 최적의 포커스 렌즈 포지션이 60 정도일 수도 있는 것을 나타내는 렌즈 포지션의 추정치이다. 정확히 60 또는 60 부근의 어느 곳일 수도 있다. 따라서, 실제의 최적의 포커스 렌즈 포지션이 위치되도록 확실하게 하기 위해, 촬상 디바이스는 렌즈 포지션 60 주위에서 파인 오토포커스 검색을 실행하도록 구성될 수도 있다.
하나의 예시적인 예에서, 현재의 렌즈 포지션은 10 에 있을 수도 있다. 이 경우에, 현재의 렌즈 포지션은 매크로 기계적 구역에 있고, 이는 렌즈가 매크로 기계적 종단부와 최적의 포커스 렌즈 포지션 사이에 위치됨을 의미한다. 촬상 디바이스가, 최적의 포커스 렌즈 포지션이 렌즈 포지션 60 부근의 어딘가에 있다고 결정했기 때문에, 가까운 및 먼 경계 제한들은 예를 들어 각각 40 및 80 에서 설정될 수도 있다. 비록 디바이스가 패닝하고 있을 수도 있더라도, 촬상 디바이스는 가동 범위를 따라 10 렌즈 포지션들의 스텝 사이즈들로 가까운 경계 제한 (예컨대, 이 경우에 40) 을 향해 렌즈를 이동시키기 시작한다. 따라서, 다음 프레임에 대해, 렌즈는 렌즈 포지션 20 에 위치되고, 그 다음에, 이어지는 프레임에 대해 30, 그리고 마지막으로 다음의 프레임에 대해 40 에 위치된다. 렌즈가 렌즈 포지션 40 에 있을 때, 장면은 또한 안정적일 수도 있다. 장면이 안정적일 때, 촬상 디바이스는 그러면 오토포커스 페이즈를 개시할 수도 있고, 최적의 포커스 렌즈 포지션을 로케이팅하기 위해 가까운 및 먼 경계 제한들 (예컨대, 렌즈 포지션들 40 및 80) 의 범위에서 파인 오토포커스 검색을 시작할 수도 있다.
다른 예시적인 예에서, 현재의 렌즈 포지션은 100 에 있을 수도 있다. 이전의 예와 유사하게, 오브젝트는 촬상 디바이스로부터 50cm 에 위치될 수도 있고, 추정된 최적의 포커스 렌즈 포지션은 렌즈 포지션 60 주위이다. 이 경우에, 가까운 및 먼 경계 제한은 렌즈 포지션 80 및 40 이다. 이 경우에, 가까운 경계 제한은 렌즈 포지션 80 이고 40 이 아니다. 그 이유는, 현재의 렌즈 포지션이 무한대 기계적 구역에서의 100 에 있고, 따라서 현재의 렌즈 포지션에 가장 가까운 경계 제한은 렌즈 포지션 80 이고 40 이 아니기 때문이다. 촬상 디바이스는, 최적의 포커스 렌즈 포지션이 레즈 포지션 60 주위의 어딘가이라고 결정하고, 60 을 향해 이동시킨다. 따라서, 촬상 디바이스는 렌즈를 10 의 스텝들로 가까운 경계 제한 (예컨대, 렌즈 포지션 80) 을 향해 이동시키기 시작한다. 따라서, 다음 프레임에 대해, 렌즈는 렌즈 포지션 90 에 있을 거이고, 그 다음에, 렌즈 포지션 80 에, 그리고 그 다음에, 촬상 디바이스는 장면이 안정적인 것을 결정할 수도 있다. 일단 장면이 안정적인 것으로 결정되면, 촬상 디바이스는 오토포커스 페이즈를 개시하고, 최적의 포커스 렌즈 포지션을 로케이팅하기 위해 가까운 및 먼 경계 제한들 (예컨대, 렌즈 포지션들 80 및 40) 의 범위에서 파인 오토포커스 검색을 시작할 수도 있다.
다른 예시적인 예에서, 장면은 안정적인 것으로 결정되지만, 렌즈는 가까운 제한에 있지 않다. 이 경우에, 현재의 렌즈 포지션은 렌즈 포지션 10 에 있을 수도 있다. 이전의 예시들에서와 같이, 오브젝트는 촬상 디바이스로부터 50cm 에 위치될 수도 있고, 따라서, 최적의 포커스 렌즈 포지션은 렌즈 포지션 60 주위이어야 한다. 현재의 렌즈 포지션이 매크로 기계적 구역에 있고 최적의 포커스 렌즈 포지션은 60 주위이기 때문에, 촬상 디바이스는 가까운 및 먼 경계 제한들을 각각 렌즈 포지션들 40 및 80 으로 설정한다. 촬상 디바이스는 그 다음에, 렌즈를 10 렌즈 포지션들의 증분들로 가까운 경계 제한 (예컨대, 렌즈 포지션 40) 을 향해 이동시킨다. 예를 들어, 촬상 디바이스는 렌즈를 다음 프레임에서 렌즈 포지션 20 으로 이동시킨다. 이제, 예시적 목적들을 위해, 이 프레임에서, 촬상 디바이스는 장면이 안정적이라고 결정하고, 하지만, 렌즈는 현재 렌즈 포지션 20 에 있고, 이는 가까운 경계 제한 (예컨대, 렌즈 포지션 40) 이 아니다. 하지만, 촬상 디바이스는 렌즈 포지션 40 의 가까운 경계 제한으로부터 시작하는 파인 오토포커스 검색을 시작할 것이다. 이 경우에, 파인 오토포커스 검색 동작을 시작하기 전에, 촬상 디바이스는, 렌즈가 가까운 경계 제한에 있는지 또는 아닌지를 결정하기 위해 현재의 렌즈 포지션을 체크한다. 렌즈가 현재 가까운 경계 제한에 있지 않은 경우에, 촬상 디바이스는 렌즈를 가까운 경계 제한으로 이동시키고, 파인 오토포커스 검색을 시작한다. 본원에서의 예시적인 경우에서, 촬상 디바이스는, 렌즈가 렌즈 포지션 20 에 포지셔닝되지 않았을 때 장면이 안정적이었다고 결정했고, 렌즈가 가까운 경계 제한에 있지 않기 때문에, 촬상 디바이스는 렌즈를 가까운 경계 제한 (예컨대, 렌즈 포지션 40) 으로 이동시키고, 파인 오토포커스 검색을 시작한다.
대안적으로, 장면이 안정적이지 않지만 렌즈는 가까운 경계 제한에 포지셔닝되는 경우에, 그리고 그러면 촬상 디바이스는, 촬상 디바이스가 장면이 안정적이라고 결정할 때까지 장면을 계속 모니터링하도록 구성된다. 일단 장면이 안정적이 되면, 촬상 디바이스는 파인 오토포커스 검색을 시작할 수도 있다. 일부 실시형태들에서, 촬상 디바이스는, 렌즈가 가까운 경계 제한에 포지셔닝되는 동안 장면이 안정적이라고 결정할 때까지 기다린다. 다른 실시형태에서, 촬상 디바이스는 장면의 안정설을 계속 모니터링하고, 그리고, 각각의 프레임에 대해, 각각의 프레임에 대한 최적의 포커스 렌즈 포지션을 재추정한다. 따라서, 촬상 디바이스는, 그것이 장면의 안정성을 계속 모니터링하는 동안 각각의 프레임에 대해 가까운 경계 제한을 결정하는 것을 계속할 것이다.
다른 예시적인 예에서, 현재의 렌즈 포지션은, 촬상 디바이스가 장면이 안정적이라고 결정할 때 가까운 및 먼 경계 제한들 사이에 위치될 수도 있다. 이 경우에, 장면이 안정적이라고 결정 시에, 촬상 디바이스는 렌즈를 가까운 경계 제한으로 이동시키고, 그 다음에, 파인 오토포커스 검색으로 진행하도록 구성될 수도 있다. 예를 들어, 촬상 디바이스는, 최적의 포커스 렌즈 포지션이 렌즈 포지션 60 주위라고 결정할 수도 있고, 따라서, 가까운 및 먼 경계 제한은 렌즈가 현재 위치되는 곳에 의존하여, 40 및 80 이다.
제 1 예에서, 장면이 안정적일 때의 현재의 렌즈 포지션은 렌즈 포지션 45 이고, 따라서, 렌즈는 가까운 및 먼 경계 제한들 내에 위치된다. 이 경우에, 가까운 경계 제한은 렌즈 포지션 40 으로 설정되고, 먼 경계 제한은 렌즈 포지션 80 으로 설정된다. 따라서, 촬상 디바이스가 장면이 안정적이라고 결정할 때, 촬상 디바이스는 렌즈를 가까운 포지션 (예컨대, 렌즈 포지션 40) 으로 이동시키고, 그 다음에, 렌즈 포지션 40 (가까운 경계 제한) 에서부터 렌즈 포지션 80 (먼 경계 제한) 까지 파인 오토포커스 검색을 시작하도록 구성될 수도 있다.
제 2 예에서, 장면이 안정적일 때의 현재의 렌즈 포지션은 렌즈 포지션 70 이고, 따라서, 렌즈는 가까운 및 먼 경계 제한들 내에 위치된다. 이 경우에, 가까운 경계 제한은 렌즈 포지션 80 으로 설정되고, 먼 경계 제한은 렌즈 포지션 40 으로 설정된다. 따라서, 촬상 디바이스가 장면이 안정적이라고 결정할 때, 촬상 디바이스는 렌즈를 가까운 포지션 (예컨대, 렌즈 포지션 80) 으로 이동시키고, 그 다음에, 렌즈 포지션 80 (가까운 경계 제한) 에서부터 렌즈 포지션 40 (먼 경계 제한) 까지 파인 오토포커스 검색을 시작하도록 구성될 수도 있다.
본원에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 프로세스 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로 구현될 수도 있음을 당업자들은 또한 이해할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 전반적으로 그들의 기능적 관점에서 전술되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로 구현되는지는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자라면, 상술한 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정은 본 실시형태들의 범위를 벗어나게 하는 것으로 이해되어서는 안된다. 일부분 또는 일부는 전체보다 적게 또는 전체와 동일하게 포함할 수도 있음을 당업자는 이해할 것이다. 예를 들어, 픽셀들의 집합의 일부분은 이러한 픽셀들의 하위-집합을 지칭할 수도 있다.
본원에서 개시된 구현들과 연계하여 설명된 여러가지 예시적인 논리 블록들, 모듈들, 및 회로들은 본원에서 개시된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 상기 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성들로서 구현될 수도 있다.
본원에서 개시된 구현들과 연계하여 설명된 방법 또는 프로세스의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 컴퓨터 판독가능 저장 매체는 프로세서에 커플링되어, 그 프로세서가 컴퓨터 판독가능 저장 매체로부터 정보를 판독하거나 컴퓨터 판독가능 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 상주할 수도 있다. ASIC 는 사용자 단말, 카메라, 또는 다른 디바이스 내에 상주할 수도 있다. 대안에서, 프로세서와 저장 매체는 사용자 단말, 카메라, 또는 다른 디바이스에서 개별 컴포넌트들로 상주할 수도 있다.
제목들은 참조를 위해 본원에 포함되고 다양한 섹션들을 위치를 찾는 것을 돕고자 한다. 이러한 제목들은 그와 관련하여 설명된 개념들의 범위를 제한하고자 하지 않는다. 이러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.
개시된 구현들의 상기 설명들은 임의의 당업자가 본원에 기술된 실시형태들을 실시하거나 이용하는 것을 가능하게 하도록 하기 위해 제공된다. 이러한 구현들에 대한 다양한 변형예들이 당업자에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 실시형태들의 사상과 범위를 벗어나지 않으면서 다른 구현들에 적용될 수도 있다. 따라서, 개시된 실시형태들은 본원에서 보여진 예시적인 구현들로 제한되도록 의도된 것은 아니며 대신에 본원의 개시된 원칙들과 신규의 특징들과 일치하는 최광의 범위를 부여하기 위한 것이다.

Claims (32)

  1. 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법으로서,
    촬상 디바이스로 장면을 묘사하는 복수의 프레임들을 캡처하는 단계;
    상기 장면의 오브젝트에 대응하는, 적어도 하나의 프레임의 상기 장면의 부분을 선택하는 단계;
    상기 장면에서의 변화를 검출하는 단계;
    상기 복수의 프레임들의 각각의 프레임에 대해 상기 오브젝트와 상기 촬상 디바이스 사이의 거리를 검출하는 단계;
    각각의 프레임의 결정된 상기 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하는 단계;
    상기 장면이 계속적으로 변화하는 동안 각각의 프레임의 상기 렌즈 포지션을 향해 상기 렌즈를 이동시키는 단계;
    상기 장면이 안정적인 것을 결정하는 단계; 및
    상기 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하는 단계를 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  2. 제 1 항에 있어서,
    상기 촬상 디바이스는, 지속적인 오토포커스 모드에서 동작하도록 구성되는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  3. 제 1 항에 있어서,
    상기 방법은, 상기 복수의 프레임들을 모니터링하는 단계를 더 포함하고,
    상기 복수의 프레임들을 모니터링하는 단계는, 각각의 프레임에 대해 변화 정량자 (change quantifier) 를 결정하는 단계 및 각각의 프레임에 대한 상기 변화 정량자를 임계 변화 정량자에 대해 비교하는 단계를 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  4. 제 2 항에 있어서,
    상기 변화 정량자는 루마 정량자, 이동 정량자, 및 거리 정량자 중 적어도 하나인, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  5. 제 2 항에 있어서,
    상기 장면에서의 변화를 검출하는 단계는 상기 모니터링에 기초하고, 상기 장면에서의 변화는 적어도 하나의 프레임에 대한 상기 변화 정량자가 상기 임계 변화 정량자보다 더 클 때 검출되는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  6. 제 1 항에 있어서,
    상기 각각의 프레임에 대해 렌즈 포지션을 결정하는 단계는,
    거리 센서에 의해 각각의 프레임에 대해 검출된 상기 거리를 리포트하는 단계;
    각각의 프레임에 대한 상기 검출된 거리를 수신하는 단계; 및
    앵커 (anchor) 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 중 적어도 하나에 기초하여, 각각의 프레임에 대한 상기 검출된 거리를 각각의 프레임에 대한 렌즈 포지션으로 변환하는 단계를 더 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  7. 제 1 항에 있어서,
    상기 렌즈 포지션은 최적의 포커스 렌즈 포지션의 추정치인, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  8. 제 7 항에 있어서,
    상기 최적의 포커스 렌즈 포지션의 추정에 기초하여 가까운 및 먼 경계 제한들을 결정하는 단계를 더 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  9. 제 8 항에 있어서,
    상기 렌즈 포지션을 향해 상기 렌즈를 이동시키는 단계는, 상기 가까운 경계를 향해 상기 렌즈를 이동시키는 단계를 더 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  10. 제 9 항에 있어서,
    상기 오토포커스 검색 동작을 개시하는 단계는,
    파인 오토포커스 검색 동작을 수행하는 단계; 및
    실제 최적의 포커스 렌즈 포지션을 결정하는 단계를 더 포함하고,
    상기 실제 최적의 포커스 렌즈 포지션은, 추정된 상기 최적의 포커스 렌즈 포지션에 대한 근접부에서 가깝고, 상기 가까운 및 먼 경계 제한들 사이에 있는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법.
  11. 촬상 장치로서,
    렌즈의 초점 면에서 장면으로부터의 광을 포커싱하도록 구성된 상기 렌즈;
    상기 장면으로부터의 포커싱된 광에 기초하여 상기 장면을 묘사하는 복수의 프레임들을 캡처하도록 구성되고, 대략적으로 상기 렌즈의 상기 초점 면에서 위치된 이미지 센서;
    촬상 디바이스와 상기 장면의 오브젝트 사이의 거리를 검출하도록 구성된 거리 센서;
    상기 이미지 센서 및 렌즈에 동작가능하게 커플링된 프로세서; 및
    상기 프로세서에 동작가능하게 커플링된 메모리 컴포넌트를 포함하고,
    상기 프로세서 및 상기 메모리 컴포넌트는 집합적으로,
    상기 장면의 상기 오브젝트에 대응하는, 적어도 하나의 프레임의 상기 장면의 부분을 선택하고;
    상기 장면에서의 변화를 검출하며;
    각각의 프레임의 결정된 상기 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하고;
    상기 장면이 계속적으로 변화하는 동안 각각의 프레임의 상기 렌즈 포지션을 향해 상기 렌즈를 이동시키고;
    상기 장면이 안정적인 것을 결정하고; 그리고
    상기 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하도록 구성되는, 촬상 장치.
  12. 제 11 항에 있어서,
    상기 거리 센서는 레이저 센서 및 듀얼 카메라 시스템 중 적어도 하나를 포함하는, 촬상 장치.
  13. 제 11 항에 있어서,
    상기 프로세서 및 상기 메모리 컴포넌트는,
    상기 복수의 프레임들을 모니터링하고;
    각각의 프레임에 대해 변화 정량자 (change quantifier) 를 결정하며; 그리고
    각각의 프레임에 대한 상기 변화 정량자를 임계 변화 정량자에 대해 비교하도록 더 구성되는, 촬상 장치.
  14. 제 13 항에 있어서,
    상기 변화 정량자는 루마 정량자, 이동 정량자, 및 거리 정량자 중 적어도 하나인, 촬상 장치.
  15. 제 13 항에 있어서,
    상기 프로세서 및 상기 메모리 컴포넌트는, 비교에 기초하여 상기 장면에서의 변화를 검출하도록 구성되고,
    상기 프로세서 및 상기 메모리 컴포넌트는, 적어도 하나의 프레임에 대한 상기 변화 정량자가 상기 임계 변화 정량자보다 더 클 때 상기 장면에서의 변화를 검출하도록 구성되는, 촬상 장치.
  16. 제 11 항에 있어서,
    상기 거리 센서는, 각각의 프레임에 대한 검출된 상기 거리를 리포트하도록 더 구성되는, 촬상 장치.
  17. 제 16 항에 있어서,
    상기 프로세서 및 상기 메모리 컴포넌트는,
    상기 각각의 프레임에 대한 상기 검출된 거리를 수신하고; 그리고
    상기 각각의 프레임에 대한 상기 검출된 거리 및, 앵커 (anchor) 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 중 적어도 하나에 기초하여 각각의 프레임에 대한 렌즈 포지션을 결정하도록 구성되는, 촬상 장치.
  18. 제 11 항에 있어서,
    상기 렌즈 포지션은 최적의 포커스 렌즈 포지션의 추정치인, 촬상 장치.
  19. 제 18 항에 있어서,
    상기 프로세서 및 상기 메모리 컴포넌트는, 상기 최적의 포커스 렌즈 포지션의 추정치에 기초하여 가까운 및 먼 경계 제한을 결정하도록 더 구성되는, 촬상 장치.
  20. 제 19 항에 있어서,
    상기 프로세서 및 상기 메모리 컴포넌트는, 상기 가까운 경계를 향해 상기 렌즈를 이동시키도록 더 구성되는, 촬상 장치.
  21. 제 20 항에 있어서,
    상기 프로세서 및 상기 메모리 컴포넌트는,
    파인 오토포커스 검색 동작을 수행하고; 그리고
    실제 최적의 포커스 렌즈 포지션을 결정하도록 더 구성되고,
    상기 실제 최적의 포커스 렌즈 포지션은, 추정된 상기 최적의 포커스 렌즈 포지션에 대한 근접부에서 가깝고, 상기 가까운 및 먼 경계 제한들 사이에 있는, 촬상 장치.
  22. 제 19 항에 있어서,
    상기 메모리 컴포넌트는, 입력 프로세싱 모듈, 변화 결정 모듈, 렌즈 포지션 결정 모듈, 렌즈 제어 모듈, 안정성 결정 모듈, 오토포커스 제어 모듈, 및 경계 제한 결정 모듈 중 적어도 하나를 포함하는, 촬상 장치.
  23. 오토포커스 검색 동작들 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치로서,
    장면을 묘사하는 복수의 프레임들을 캡처하는 수단;
    상기 장면의 오브젝트와 촬상 디바이스 사이의 거리를 검출하는 수단;
    상기 장면에서의 상기 오브젝트에 대응하는, 적어도 하나의 프레임의 상기 장면의 부분을 선택하는 수단;
    상기 장면에서의 변화를 검출하는 수단;
    각각의 프레임의 결정된 상기 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하는 수단;
    상기 장면이 계속적으로 변화하는 동안 각각의 프레임의 상기 렌즈 포지션을 향해 상기 렌즈를 이동시키는 수단;
    상기 장면이 안정적인 것을 결정하는 수단; 및
    상기 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하는 수단을 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치.
  24. 제 23 항에 있어서,
    각각의 프레임에 대해 검출된 상기 거리를 리포트하는 수단을 더 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치.
  25. 제 24 항에 있어서,
    상기 렌즈 포지션을 결정하는 수단은,
    상기 각각의 프레임에 대한 상기 검출된 거리를 수신하고; 그리고
    상기 각각의 프레임에 대한 상기 검출된 거리 및, 앵커 (anchor) 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 중 적어도 하나에 기초하여, 각각의 프레임에 대한 렌즈 포지션을 결정하도록 구성되는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치.
  26. 제 23 항에 있어서,
    상기 렌즈 포지션은 최적의 포커스 렌즈 포지션의 추정치인, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치.
  27. 제 26 항에 있어서,
    상기 최적의 포커스 렌즈 포지션의 추정치에 기초하여 가까운 및 먼 경계 제한을 결정하는 수단을 더 포함하는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치.
  28. 제 27 항에 있어서,
    상기 렌즈를 이동시키는 수단은, 상기 가까운 경계를 향해 상기 렌즈를 이동시키도록 더 구성되는, 오토포커스 검색 동작 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 장치.
  29. 명령들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 실행될 때 프로세서로 하여금, 오토포커스 검색 동작들 동안 발생하는 디포커스 이벤트들을 감소시키기 위한 방법을 수행하게 하고,
    상기 방법은,
    촬상 디바이스로 장면을 묘사하는 복수의 프레임들을 캡처하는 단계;
    상기 장면의 오브젝트에 대응하는, 적어도 하나의 프레임의 상기 장면의 부분을 선택하는 단계;
    상기 장면에서의 변화를 검출하는 단계;
    상기 복수의 프레임들의 각각의 프레임에 대해 상기 오브젝트와 상기 촬상 디바이스 사이의 거리를 검출하는 단계;
    각각의 프레임의 결정된 상기 거리에 기초하여 각각의 프레임에 대해 렌즈 포지션을 결정하는 단계;
    상기 장면이 계속적으로 변화하는 동안 각각의 프레임의 상기 렌즈 포지션을 향해 상기 렌즈를 이동시키는 단계;
    상기 장면이 안정적인 것을 결정하는 단계; 및
    상기 장면이 안정적이라는 결정에 기초하여 오토포커스 검색 동작을 개시하는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  30. 제 29 항에 있어서,
    상기 각각의 프레임에 대해 렌즈 포지션을 결정하는 단계는,
    거리 센서에 의해 각각의 프레임에 대해 검출된 상기 거리를 리포트하는 단계;
    상기 각각의 프레임에 대한 상기 검출된 거리를 수신하는 단계; 및
    앵커 (anchor) 거리, 앵커 렌즈 포지션, 및 적어도 하나의 촬상 디바이스 사양 중 적어도 하나에 기초하여, 각각의 프레임에 대한 상기 검출된 거리를 각각의 프레임에 대한 렌즈 포지션으로 변환하는 단계를 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  31. 제 29 항에 있어서,
    상기 방법은, 상기 렌즈 포지션에 기초하여 가까운 및 먼 경계 제한들을 결정하는 단계를 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  32. 제 31 항에 있어서,
    상기 렌즈 포지션을 향해 상기 렌즈를 이동시키는 단계는, 상기 가까운 경계를 향해 상기 렌즈를 이동시키는 단계를 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
KR1020177028241A 2015-04-10 2016-03-22 레이저 오토포커스를 이용한 디포커스 감소를 위한 방법들 및 장치 KR20170135854A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562146118P 2015-04-10 2015-04-10
US62/146,118 2015-04-10
US14/754,048 US11240421B2 (en) 2015-04-10 2015-06-29 Methods and apparatus for defocus reduction using laser autofocus
US14/754,048 2015-06-29
PCT/US2016/023583 WO2016164167A1 (en) 2015-04-10 2016-03-22 Methods and apparatus for defocus reduction using laser autofocus

Publications (1)

Publication Number Publication Date
KR20170135854A true KR20170135854A (ko) 2017-12-08

Family

ID=55646914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177028241A KR20170135854A (ko) 2015-04-10 2016-03-22 레이저 오토포커스를 이용한 디포커스 감소를 위한 방법들 및 장치

Country Status (6)

Country Link
US (2) US11240421B2 (ko)
EP (1) EP3281398B1 (ko)
JP (1) JP2018517165A (ko)
KR (1) KR20170135854A (ko)
CN (2) CN107439006B (ko)
WO (1) WO2016164167A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240421B2 (en) 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus
JP6604908B2 (ja) * 2016-06-10 2019-11-13 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
WO2018053846A1 (zh) * 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 对焦方法、摄像装置和无人机
EP3340603B1 (en) 2016-12-22 2018-12-19 Axis AB Focusing of a camera monitoring a scene
US10375293B2 (en) 2017-08-31 2019-08-06 Qualcomm Incorporated Phase disparity engine with low-power mode
US10498948B1 (en) 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
KR20200100498A (ko) * 2019-02-18 2020-08-26 삼성전자주식회사 전자 장치 및 그 전자 장치의 자동 초점 제어 방법
KR102649194B1 (ko) * 2019-04-04 2024-03-20 삼성전자주식회사 외부 물체와의 거리를 측정하기 위한 전자 장치의 cross-talk 방지 구조
US11159737B2 (en) 2019-10-14 2021-10-26 Google Llc Exposure change control in low light environments
CN111757005A (zh) * 2020-07-06 2020-10-09 Oppo广东移动通信有限公司 拍摄控制方法及装置、计算机可读介质和电子设备

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635687B2 (ja) 1994-09-07 2005-04-06 株式会社ニコン 自動合焦装置
US20020080257A1 (en) 2000-09-27 2002-06-27 Benjamin Blank Focus control system and process
US7423686B2 (en) 2002-03-14 2008-09-09 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
US7728904B2 (en) * 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
JP2008009341A (ja) * 2006-06-30 2008-01-17 Sony Corp オートフォーカス装置、撮像装置及びオートフォーカス方法
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP2009031760A (ja) 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
KR20100134085A (ko) * 2008-04-01 2010-12-22 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 디지털 이미지에서 객체 검출 속도 향상을 위한 시스템 및 방법
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5527955B2 (ja) * 2008-09-09 2014-06-25 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
JP5339954B2 (ja) * 2009-02-17 2013-11-13 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP5297222B2 (ja) * 2009-02-17 2013-09-25 キヤノン株式会社 焦点調節装置、及び焦点調節方法
US8233078B2 (en) * 2009-02-19 2012-07-31 Apple Inc. Auto focus speed enhancement using object recognition and resolution
JP5334311B2 (ja) * 2009-08-21 2013-11-06 富士フイルム株式会社 レンズ装置
JP5330942B2 (ja) * 2009-09-17 2013-10-30 富士フイルム株式会社 レンズ装置
AU2009251086B2 (en) * 2009-12-22 2013-12-05 Canon Kabushiki Kaisha Method of foreground/background separation
US8680468B2 (en) 2010-01-08 2014-03-25 Flir Systems Ab Displacement-based focusing of an IR camera
CN101852970B (zh) 2010-05-05 2011-07-20 浙江大学 一种用于成像视场扫描状态下的相机自动对焦方法
JP5641836B2 (ja) * 2010-09-10 2014-12-17 キヤノン株式会社 自動合焦装置、撮像装置、合焦制御方法およびプログラム
JP5870264B2 (ja) * 2010-11-08 2016-02-24 パナソニックIpマネジメント株式会社 撮像装置、撮像方法、プログラム、および集積回路
US8922707B2 (en) * 2011-01-26 2014-12-30 Aptina Imaging Corporation Systems and methods for luminance-based scene-change detection for continuous autofocus
EP2674801A4 (en) * 2011-02-07 2017-09-13 FUJIFILM Corporation Lens device
JP5769436B2 (ja) * 2011-02-08 2015-08-26 キヤノン株式会社 撮像装置、通信装置及びカメラシステム
WO2013055737A1 (en) 2011-10-14 2013-04-18 Pelco, Inc. Focus control for ptz cameras
US8840273B2 (en) * 2012-02-09 2014-09-23 Danny H Sooferian Adjustable focus light
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP2014126612A (ja) * 2012-12-25 2014-07-07 Canon Inc 撮像装置およびその制御方法
JP6101074B2 (ja) * 2012-12-27 2017-03-22 キヤノン株式会社 光学機器、像ブレ補正装置、撮像装置、およびその制御方法、プログラム、記憶媒体
JP6172955B2 (ja) * 2013-01-30 2017-08-02 キヤノン株式会社 光量調整装置、レンズ鏡筒および撮像装置
US20140276088A1 (en) * 2013-03-15 2014-09-18 Steven H. Drucker Illumination Optics for a Visible or Infrared Based Apparatus and Methods for Viewing or Imaging Blood Vessels
US20140267757A1 (en) 2013-03-15 2014-09-18 Fluke Corporation Parallax correction in thermal imaging cameras
ITTO20130534A1 (it) * 2013-06-28 2014-12-28 St Microelectronics Srl Procedimento e sistema per autofocus, dispositivo e prodotto informatico corrispondenti
CN103398696B (zh) 2013-07-15 2015-09-16 深圳市金立通信设备有限公司 一种终端摄像头测距方法及终端
CN103546692A (zh) 2013-11-04 2014-01-29 苏州科达科技股份有限公司 一种实现一体化摄像机自动聚焦的方法及系统
CN105492954B (zh) * 2013-11-06 2018-04-27 核心光电有限公司 用于数字摄影机的电磁致动器
CN103595919B (zh) 2013-11-15 2015-08-26 努比亚技术有限公司 手动对焦方法和拍摄装置
CN103856717B (zh) 2014-03-06 2017-04-19 浙江宇视科技有限公司 一种摄像机对焦控制方法及装置
CN104052932A (zh) 2014-07-03 2014-09-17 深圳市世尊科技有限公司 一种快速对焦的手机摄像模组
US9532041B2 (en) * 2014-07-11 2016-12-27 Intel Corporation Method and system for automatic focus with self-calibration
US10455137B2 (en) * 2014-07-28 2019-10-22 Orbotech Ltd. Auto-focus system
CN104243828B (zh) 2014-09-24 2019-01-11 宇龙计算机通信科技(深圳)有限公司 一种拍摄照片的方法、装置及终端
US9509891B2 (en) * 2014-10-21 2016-11-29 Microsoft Technology Licensing, Llc Controlling focus lens assembly
CN104503189A (zh) 2014-12-31 2015-04-08 信利光电股份有限公司 一种自动对焦方法
US11240421B2 (en) 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus

Also Published As

Publication number Publication date
JP2018517165A (ja) 2018-06-28
EP3281398A1 (en) 2018-02-14
CN111556250B (zh) 2022-05-10
CN111556250A (zh) 2020-08-18
WO2016164167A1 (en) 2016-10-13
CN107439006B (zh) 2020-05-26
US11240421B2 (en) 2022-02-01
US20160301852A1 (en) 2016-10-13
EP3281398B1 (en) 2019-11-06
CN107439006A (zh) 2017-12-05
US11956536B2 (en) 2024-04-09
US20220124252A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
US11956536B2 (en) Methods and apparatus for defocus reduction using laser autofocus
US10848680B2 (en) Zooming control apparatus, image capturing apparatus and control methods thereof
US10061182B2 (en) Systems and methods for autofocus trigger
US8284261B2 (en) External ranging image pickup apparatus and ranging method
US20090190023A1 (en) Imaging apparatus, imaging apparatus control method, and computer program
JP2016142925A (ja) 撮像装置およびその制御方法、プログラム、記憶媒体
US11750922B2 (en) Camera switchover control techniques for multiple-camera systems
JP3738795B2 (ja) 電子スチルカメラ
JP6140945B2 (ja) 焦点調節装置及び撮像装置
WO2013069279A1 (ja) 撮像装置
EP3163369B1 (en) Auto-focus control in a camera to prevent oscillation
JP7579306B2 (ja) マルチカメラシステムのためのカメラ切替制御技法
US12015845B2 (en) Object depth estimation and camera focusing techniques for multiple-camera systems
JP2016208396A (ja) 画像処理装置及びその制御方法、並びにプログラム