[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101310105B1 - 초점 검출장치 - Google Patents

초점 검출장치 Download PDF

Info

Publication number
KR101310105B1
KR101310105B1 KR1020117027150A KR20117027150A KR101310105B1 KR 101310105 B1 KR101310105 B1 KR 101310105B1 KR 1020117027150 A KR1020117027150 A KR 1020117027150A KR 20117027150 A KR20117027150 A KR 20117027150A KR 101310105 B1 KR101310105 B1 KR 101310105B1
Authority
KR
South Korea
Prior art keywords
image
focus
correction
pixel
subject
Prior art date
Application number
KR1020117027150A
Other languages
English (en)
Other versions
KR20120022947A (ko
Inventor
히데아키 야마모토
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20120022947A publication Critical patent/KR20120022947A/ko
Application granted granted Critical
Publication of KR101310105B1 publication Critical patent/KR101310105B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/285Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Abstract

초점 검출장치는, 피사체를 결상하는 결상 광학계의 제1의 동공영역을 통과하는 광속을 수광하는 제1의 화소군과, 상기 결상 광학계의 제2의 동공영역을 통과하는 광속을 수광하는 제2의 화소군을 갖는 광전 변환수단; 상기 제1의 화소군에 의해 생성된 제1의 피사체상과 상기 제2의 화소군에 의해 생성된 제2의 피사체상에 의거하여 상기 결상 광학계의 초점 상태를 검출하는 초점 검출수단; 상기 제1의 피사체상과 상기 제2의 피사체상에 대하여, 상기 초점 검출수단으로부터의 출력에 의거하여 보정 연산을 행하는 보정 연산수단; 및 상기 보정 연산을 상기 초점 검출수단으로부터의 출력에 의거하여, 다시 행할 것인지의 여부를 판정하는 판정수단을 구비한다.

Description

초점 검출장치{FOCUS DETECTION APPARATUS}
본 발명은, 촬상장치에 있어서의 초점 검출 기술에 관한 것이다.
촬영 렌즈의 초점 상태를 검출하는 방식의 하나로서, 센서의 각 화소에 마이크로렌즈가 형성된 2차원의 센서를 사용해서 동공 분할 방식의 초점 검출을 행하는 장치가 일본국 공개특허 특개소58-24105호(이하, 특허문헌 1이라고 한다)에 개시되어 있다. 특허문헌 1의 장치에서는, 센서를 구성하는 각 화소의 광전 변환부가 복수의 광전 변환부로 분할되어 있고, 분할된 광전 변환부가 마이크로렌즈를 통해서 촬영 렌즈의 동공의 다른 영역에서 광속을 수광하도록 구성되어 있다.
또, 일본국 특허 제2959142호(이하, 특허문헌 2이라고 한다)에서는, 마이크로렌즈와 광전 변환부의 상대 위치를 서로 시프트시킨 화소를 2차원적으로 배치한 이미지 센서와 초점 검출기를 겸한 고체촬상장치를 개시하고 있다. 특허문헌 2의 고체촬상장치는, 마이크로렌즈와 광전 변환부의 상대 시프트 방향이 서로 다른 화소열에 의해 생성되는 화상에 의거하여 촬영 렌즈의 초점 상태를 검출하고 있다. 한편, 이 센서는 마이크로렌즈와 광전 변환부의 상대 시프트 방향이 서로 다른 화소를 가산함으로써 통상의 화상을 촬상한다.
또한, 본원 출원인은 디지털 스틸 카메라에 사용할 수 있는 CMOS 이미지 센서(고체촬상장치)를 사용해서 동공 분할 방식의 초점 검출을 행하는 고체촬상장치를 일본국 공개특허공보 특개2005-106994호(이하, 특허문헌 3이라고 한다)에 있어서 개시하고 있다. 특허문헌 3의 고체촬상장치는, 고체촬상장치를 구성하는 다수의 화소 중 일부의 화소는 촬영 렌즈의 초점 상태를 검출하기 위해서 광전 변환부가 2개로 분할된 구성으로 되어 있다. 광전 변환부는, 마이크로렌즈를 통해서 촬영 렌즈의 동공의 소정 영역에 있어서의 광을 수광하도록 구성되어 있다.
도 20은, 특허문헌 3에 나타나 있는 고체촬상장치의 중앙에 위치하는 초점 검출을 행하는 화소가 수광한 광의 분포의 설명도이다. 또, 도 20은, 2개로 분할된 광전 변환부가 각각 수광 가능한 촬영 렌즈의 동공 상의 영역을 나타내고 있다. 도면 중에 원 내의 사선부는 촬영 렌즈의 사출 동공을 나타내고, 비사선 영역 Sα, Sβ은 2개로 분할된 광전 변환부가 각각 수광 가능한 영역을 나타낸다. 영역 Sα, Sβ는, 보통 촬영 렌즈의 광축(도 20에서 x축과 y축의 교점)에 대하여 대칭이 되도록 설정되어 있다.
카메라에 있어서는, 촬영 렌즈의 동공 상의 영역 Sα을 투과한 광속에 의해 생성된 화상과 영역 Sβ을 투과한 광속에 의해 생성되는 화상과의 상관 연산을 행함으로써, 촬영 렌즈의 초점 상태가 검출된다. 촬영 렌즈의 서로 다른 동공영역을 투과한 광속으로부터 생성되는 화상 간의 상관 연산을 행해서 초점 검출을 행하는 방법이, 일본국 공개특허공보 특개평 5-127074호(이하, 특허문헌 4라고 한다)에 개시되어 있다. 또한, 특허문헌 4에서는, 카메라에 기억된 특정한 필터를, 구경비 사출 동공 위치, 및 화상 시프트량에 따라 변형하고, 이 변형된 필터를 피사체상에 적응시킨 뒤, 결상 상태를 검출하는 기술이 개시되어 있다.
초점 상태를 검출할 경우, 촬영 화면의 중앙에 통상 위치하는 피사체뿐만 아니라, 보통 촬영 화면의 주변에 위치하는 피사체에 대해서도 초점 검출이 가능하다. 그러나, 촬영 화면의 주변에서는, 촬영 렌즈의 프레임 등에 의한 광속의 이클립스(eclipses)가 생긴다. 이것이 발생하면, 촬영 렌즈의 동공 상의 영역 Sα과 Sβ은 비대칭이 되어버린다. 그 때문에, 촬영 렌즈의 동공 상의 영역 Sα을 투과한 광속에 의해 생성된 화상과 영역 Sβ을 투과한 광속에 의해 생성되는 화상과의 일치도가 낮아진다. 그 결과, 특허문헌 1∼3에 나타나 있는 기술에서는, 촬영 렌즈의 동공 상의 영역 Sα을 투과한 광속에 의해 생성된 화상과 그 동공 상의 영역 Sβ을 투과한 광속에 의해 생성되는 화상에 의거하여 상관 연산을 행해도, 정밀도가 높은 초점 검출을 할 수 없다고 하는 결점이 있다.
또한, 특허문헌 4에 나타나 있는 기술에서는, 카메라에 기억된 특정한 필터를 상술한 조건에 따라 변형한 것만으로는 이클립스 상태에 대응한 화상 수정을 행할 수 없다고 하는 결점이 있다.
본 발명은 전술한 과제를 감안하여 이루어진 것으로서, 촬상장치에 있어서의 초점 검출을 보다 정밀하게 행한다.
본 발명에 따른 초점 검출장치는, 피사체를 결상하는 결상 광학계의 제1의 동공영역을 통과하는 광속을 수광하는 제1의 화소군과, 상기 결상 광학계의 제2의 동공영역을 통과하는 광속을 수광하는 제2의 화소군을 갖는 광전 변환수단과, 상기 제1의 화소군에 의해 생성된 제1의 피사체상과 상기 제2의 화소군에 의해 생성된 제2의 피사체상에 의거하여 상기 결상 광학계의 초점 상태를 검출하는 초점 검출수단과, 상기 제1의 피사체상과 상기 제2의 피사체상에 대하여, 상기 초점 검출수단으로부터의 출력에 의거하여 보정 연산을 행하는 보정 연산수단과, 상기 보정 연산에 의해 보정 연산된 상기 제1의 피사체상과 상기 제2의 피사체상에 의거하여, 상기 초점 검출수단에 상기 결상광학계의 초점 상태를 재검출시키는 제어수단을 구비하고, 상기 제어수단은, 상기 초점 검출수단에 의한 초점상태의 검출과 상기 보정 연산수단에 의한 보정연산을, 상기 초점 상태가 소정의 상태에 수렴할 때까지 반복하여 실행시키는 것을 특징으로 한다.
본 발명의 그 외의 특징들은 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 밝혀질 것이다.
도 1은, 제1의 실시예에 따른 카메라의 구성을 나타내는 블럭도이다.
도 2는, 촬상소자의 개략적 회로 구성을 나타내는 회로도이다.
도 3은, 촬상소자의 화소부를 나타내는 단면도이다.
도 4는, 촬상소자의 구동 타이밍을 나타내는 타이밍 차트이다.
도 5a 및 5b는, 촬상소자의 촬상용 화소의 평면도와 단면도이다.
도 6a 및 6b는, 촬영 렌즈의 수평방향(횡방향)으로 동공 분할을 행하기 위한 초점 검출용 화소의 평면도와 단면도이다.
도 7a 및 7b는, 촬영 렌즈의 수직방향(종방향)으로 동공 분할을 행하기 위한 초점 검출용 화소의 평면도와 단면도이다.
도 8은, 촬상소자의 동공 분할 상황을 개념적으로 설명하는 도면이다.
도 9는, 초점 검출시에 취득한 화상과 초점 검출 영역을 설명하는 도면이다.
도 10a-10c는, 촬상소자의 중앙에서의 초점 검출용 화소의 입사각 특성을 나타내는 모식도이다.
도 11a 및 11b는, 광속의 이클립스를 설명하는 도면이다.
도 12a 및 12b는, 동공면 Me 위에서의 동공 영역을 나타낸 도면이다.
도 13a 및 13b는, 초점 검출용 화소의 동공 강도 분포를 도시한 그래프이다.
도 14a-14c는, 촬상소자 중앙의 초점 검출용 화소의 동공면 Me 위에서의 이클립스를 나타낸 그래프이다.
도 15a-15c는, 촬상소자의 중앙에서 소정의 화상 높이를 가진 위치에서의 화소의 동공면 Me 위에서의 이클립스를 나타낸 그래프이다.
도 16a-16g는, 피사체상의 비대칭성을 해소하기 위한 필터 처리를 설명하는 개념도이다.
도 17은, 초점 검출 동작을 나타내는 플로차트이다.
도 18은, 이클립스 보정 동작을 나타내는 플로차트이다.
도 19a 및 19b는, 촬상소자에 입사하는 광속을 나타내는 도면이다.
도 20은, 고체촬상장치의 설명도이다.
도 21은, 초점 검출 시퀀스의 플로차트이다.
도 22는, 상관 연산 시퀀스의 플로차트이다.
(제1의 실시예)
도 1은 본 발명의 제1의 실시예에 따른 초점 검출장치를 가지는 촬상장치인 카메라의 구성을 나타내는 블럭도이다. 도 1에 있어서, 참조번호 101은 촬영 광학계(결상 광학계)의 선단에 배치된 제1 렌즈 군을 나타낸다. 이 제1 렌즈 군(101)은 광축방향으로 진퇴 가능하게 유지된다. 참조번호 102는 조리개 겸용 셔터로, 그 개구경을 조절함으로써 촬영시의 광량 조절을 행하는 것 이외에, 정지 화상 촬영 시에는 노광 시간 조절용 셔터로서의 기능도 갖는다. 참조번호 103은 제2 렌즈 군이다. 조리개 겸용 셔터(102) 및 제2 렌즈 군(103)은 일체가 되어서 광축 방향으로 진퇴하고, 제1 렌즈 군(101)의 진퇴 동작과의 연동에 의해, 변배 작용(줌 기능)을 한다. 참조번호 105는 제3 렌즈 군으로, 광축 방향의 진퇴에 의해, 초점 조절을 행한다. 참조번호 106은 광학적 로패스 필터로, 촬영 화상의 위(僞)색이나 모아레(moire)를 경감하기 위한 광학 소자다. 참조번호 107은, 광전변환수단인 C-MOS 센서와 그 주변회로로 구성된 촬상소자다. 촬상소자(107)는, m(횡방향) × n(종방향) 수광 픽셀 위에, 베이어(Bayer) 어레이로 온 칩(on-chip) 원색 컬러 모자이크 필터가 형성되어 있는, 2차원 단판 컬러 센서이다.
참조번호 111은 줌 액추에이터로, (도면에 나타내지 않은) 캠 통을 회전시킴으로써 제1 렌즈 군(101) 내지 제3 렌즈 군(105)을 광축 방향으로 진퇴 구동시키고, 변배 조작을 행한다. 참조번호 112는 조리개/셔터 액추에이터로, 조리개 겸용 셔터(102)의 개구경을 제어해서 촬영 광량을 조절하는 동시에, 정지 화상 촬영시의 노광 시간을 제어한다. 참조번호 114는 포커스 액추에이터로, 제3 렌즈 군(105)을 광축방향으로 진퇴 구동시켜 초점 조절을 행한다. 참조번호 115는 촬영시의 피사체조명용의 전자 플래쉬를 나타낸다. 이 전자 플래쉬(115)는, 크세논 관을 사용한 섬광 조명 장치가 적합하지만, 연속적으로 발광하는 LED를 구비한 조명 장치를 사용해도 된다. 참조번호 116은 AF 보조광 장치로, 소정의 개구 패턴을 가진 마스크의 화상을, 투광 렌즈를 거쳐서 피사계에 투영하여, 어두운 피사체 혹은 저콘트라스트 피사체에 대한 초점 검출 능력을 향상시킨다.
참조번호 121은, 카메라 본체의 다양한 형태의 제어를 행하는 카메라 내의 CPU이다. 이 CPU(121)는, 연산부, ROM, RAM, A/D 컨버터, D/A 컨버터, 및 통신 인터페이스 회로 등을 갖는다. 그리고, 이 CPU(121)는, ROM에 기억된 소정의 프로그램에 의거하여, 카메라의 각종 회로를 구동하여, AF(오토 포커스), 촬영, 화상처리, 기록 등의 일련의 동작을 행한다. 참조번호 122는 전자 플래쉬 제어회로로, 촬영 동작에 동기해서 전자 플래쉬(115)의 온/오프를 제어한다. 참조번호 123은 보조광 구동회로로, 초점 검출 동작에 동기해서 AF 보조광 장치(116)의 온/오프를 제어한다. 참조번호 124는 촬상소자 구동회로로, 촬상소자(107)의 촬상 동작을 제어하는 동시에, 취득한 화상 신호를 A/D 변환하고 변환한 신호를 CPU(121)에 송신한다. 참조번호 125는 화상처리회로로, 촬상소자(107)가 취득한 화상의 γ 변환, 컬러 보간, JPEG 압축 등의 처리를 행한다.
참조번호 126은 포커스 구동회로로, 초점 검출 결과에 의거하여 포커스 액추에이터(114)의 구동을 제어하고, 제3 렌즈 군(105)을 광축방향으로 진퇴 구동해서 초점 조절을 행한다. 참조번호 128은 조리개/셔터 구동회로로, 조리개/셔터 액추에이터(112)의 구동을 제어해서 조리개 겸용 셔터(102)의 개구를 제어한다. 참조번호 129는 줌 구동회로로, 촬영자의 줌 조작에 따라 줌 액추에이터(111)를 구동한다. 참조번호 131은 LCD 등의 표시기로, 카메라의 촬영 모드에 관한 정보, 촬영 전의 프리뷰 화상, 촬영 후의 확인용 화상, 및 초점 검출시의 초점 상태 표시 화상 등을 표시한다. 참조번호 132는 조작 스위치군으로, 전원 스위치, 릴리즈(촬영 트리거) 스위치, 줌 조작 스위치, 및 촬영 모드 선택 스위치 등으로 구성된다. 참조번호 133은 착탈 가능한 플래쉬 메모리로, 촬영된 화상을 기록한다.
도 2는 본 발명의 제1의 실시예에 따른 촬상소자의 개략적 회로 구성을 나타낸 회로도로, 본원 출원인에 의한 일본국 공개특허공보 특개평 09-046596호에 개시된 기술이 적합하다. 도 2는 2차원 C-MOS 에어리어 센서의 2×4의 화소의 범위를 나타낸 것이다. 그렇지만, 이 센서를 촬상소자로서 이용하는 경우에는, 도 2에 나타낸 화소를 다수 배치함으로써, 고해상도 화상이 취득 가능하다. 본 실시예에 있어서는, 화소 피치가 2㎛, 유효 화소가 3,000×2,000=6,000,000, 촬상 화면 사이즈가 6mm(횡방향) × 4mm(종방향)인 촬상소자로서 설명을 행한다.
도 2에 있어서, 참조번호 1은 MOS 트랜지스터 게이트와 게이트 아래의 공핍층으로 구성되는 광전변환소자의 광전 변환부이고, 참조번호 2는 포토 게이트이고, 참조번호 3은 전송 스위치 MOS 트랜지스터이며, 참조번호 4는 리셋트용 MOS 트랜지스터이고, 참조번호 5는 소스 팔로워 앰프(source follower amplifier) MOS 트랜지스터다. 참조번호 6은 수평 선택 스위치 MOS 트랜지스터이고, 참조번호 7은 소스 팔로워의 부하 MOS 트랜지스터이며, 참조번호 8은 암출력(dark output) 전송 MOS 트랜지스터이고, 참조번호 9는 명출력(light output) 전송 MOS 트랜지스터이며, 참조번호 10은 암출력 축적 커패시터 CTN이고, 참조번호 11은 명출력 축적 커패시터 CTS다. 또한, 참조번호 12는 수평 전송 MOS 트랜지스터이고, 참조번호 13은 수평 출력선 리셋트 MOS 트랜지스터이며, 참조번호 14는 차동 출력 앰프이고, 참조번호 15는 수평 주사회로이고, 참조번호 16은 수직 주사회로다.
도 3은 본 실시예에 있어서의 촬상소자의 화소부를 나타내는 단면도이다. 도 3에 있어서, 참조번호 17은 P형 웰, 참조번호 18은 게이트 산화막, 참조번호 19는 제1 폴리실리콘층, 참조번호 20은 제2 폴리실리콘층, 참조번호 21은 n+ 플로팅 디퓨전부(FD부)이다. FD부(21)는 다른 전송 MOS 트랜지스터를 통해서 별도의 광전 변환부와 접속된다. 도 3에 있어서, 2개의 전송 스위치 MOS 트랜지스터(3)의 드레인과 FD부(21)을 공통화해서 미세화와 FD부(21)의 용량 저감에 의한 감도 향상을 꾀하고 있지만, A1 배선으로 FD부(21)을 서로 접속해도 된다.
다음에, 도 4에 나타낸 타이밍 차트를 참조해서 동작을 설명한다. 이 타이밍 차트는 전체 화소로부터의 독립 출력을 행하는 경우다. 우선, 수직 주사회로(16)로부터의 타이밍 출력에 응답해서, 제어 펄스 φL을 하이로 해서 수직 출력선을 리셋트한다. 또, 제어 펄스 φR0, φPG00,φPGe0을 하이로 해서 리셋트용 MOS 트랜지스터(4)를 온하고, 포토 게이트(2)의 제1 폴리실리콘(19)을 하이로 한다. 시간 T0에 있어서, 제어 펄스 φS0를 하이로 해서 수평 선택 스위치 MOS 트랜지스터(6)를 온 시키고, 제1, 제2 라인의 화소부를 선택한다. 다음에, 제어 펄스 φR0를 로우로 해서 FD부(21)의 리셋트를 멈추고, FD부(21)을 플로팅 상태로 하고, 소스 팔로워 앰프 MOS 트랜지스터(5)의 게이트·소스 경로를 확립한다. 그 후, 시간 T1에 있어서, 제어 펄스 φTN을 하이로 설정한다. 그리고, FD부(21)의 암전압을 소스 팔로워 동작으로 암출력 축적 커패시터 CTN(10)에 출력시킨다.
다음에, 제1 라인의 화소의 광전 변환 출력을 행하기 위해서, 제1 라인의 제어 펄스 φTXOO를 하이로 설정해서 전송 스위치 MOS 트랜지스터(3)를 도통한다. 그 후에, 시간 T2에 있어서, 제어 펄스 φPGOO를 로우로 변화시킨다. 이때, 포토 게이트(2) 아래로 확장하는 포텐셜 웰(potential well)을 상승시켜서, 모든 발광 캐리어를 FD부(21)에 전송시키는 전압을 발생시키는 것이 바람직하다. 따라서, 모든 발광 캐리어의 전송이 가능하면 제어 펄스 φTX 대신에 고정 전위를 채용해도 된다.
시간 T2에서 포토다이오드의 광전 변환부(1)로부터의 전하가 FD부(21)에 전송됨에 따라, FD부(21)의 전위가 빛의 특성에 따라 변화되게 된다. 이때, 소스 팔로워 앰프 MOS 트랜지스터(5)는 플로팅 상태이므로, 시간 T3에 있어서 제어 펄스 φTs를 하이로 설정해서 FD부(21)의 전위를 축적 커패시터 CTS(11)에 출력한다. 이 시점에서, 제1 라인의 화소의 암출력과 광출력은 각각 축적 커패시터 CTN(10)와 CTS(11)에 축적되어 있다. 그리고, 시간 T4에서, 제어 펄스 φHC을 일시적으로 하이로 해서 수평 출력선 리셋트 MOS 트랜지스터(13)를 도통해서, 수평 출력선을 리셋트한다. 수평 전송 기간에 있어서, 수평 주사회로(15)로부터의 주사 타이밍 신호에 따라 수평 출력선에 화소로부터의 암출력과 광출력을 출력시킨다. 이때, 축적 커패시터 CTN(10)와 CTS(11) 사이에서, 차동 증폭기(14)에 의해, 차동 출력 VOUT를 발생시킴으로써, 화소의 랜덤 노이즈 및 고정 패턴 노이즈를 제거한 S/N비가 높은 신호를 취득할 수 있다. 또, 화소 30-12 및 30-22의 광 전하는 화소 30-11 및 30-21의 같은 동작과 동시에 각각의 축적 커패시터 CTN(10)와 CTS(11)에 축적된다. 그리고, 수평 주사회로(15)로부터의 타이밍 펄스를 1화소 지연시켜서 광 전하를 수평 출력선에 판독하고 차동 증폭기(14)로부터 출력한다. 본 실시예에서는 차동 출력 VOUT를 칩 내에서 발생하는 구성을 나타내고 있지만, 칩 내에 차동 출력을 발생시키는 대신에, 외부에서 종래의 CDS(Correlated Double Sampling) 회로를 사용해도 동일한 효과를 얻을 수 있다.
축적 커패시터 CTS(11)에 명출력을 전송한 후, 제어 펄스 φR0를 하이로 변경해서 리셋트용 MOS 트랜지스터(4)를 도통해서 FD부(21)을 전원 VDD로 리셋트한다. 제1 라인의 수평 전송이 종료한 후, 제2 라인의 판독을 행한다. 제어 펄스 φTXe0, 제어 펄스 φPGe0를 마찬가지로 구동시키고, 하이 제어 펄스 φTN, φTS를 공급하고, 축적 커패시터 CTN(10)와 CTS(11)에 각각 광 전하를 축적하고, 암출력 및 명출력을 추출하는 것에 의해 제2 라인의 판독을 행한다. 이상의 구동에 의해, 제1 및 제2 라인의 판독을 각각 독립적으로 행할 수 있다. 그 다음, 수직 주사회로를 주사시켜, 제2n+1, 제2n+2(n=1, 2, …) 라인의 판독을 행하는 것에 의해, 전체 화소로부터의 독립 출력을 행할 수 있다. 다시 말해, n=1의 경우에는, 우선 제어 펄스 φS1을 하이로 설정하고, 다음에 φR1을 로우로 설정하며, 계속해서 제어 펄스φTN, φTX01을 하이로 설정하고, 제어 펄스 φPG01을 로우로 설정하며, 제어 펄스φTS를 하이로 설정하고, 제어 펄스 φHC을 일시적으로 하이로 설정하는 것에 의해, 화소 30-31 및 30-32로부터의 화소 신호를 판독한다. 계속해서, 제어 펄스 φTXe1,φPGe1 및 다른 제어 펄스를 상기와 같은 방식으로 인가하여, 화소 30-41, 30-42로부터의 화소 신호를 판독한다.
도 5a 내지 도 7b는, 촬상용 화소와 초점 검출용 화소의 구조를 설명하는 도면이다. 본 실시예에 있어서는, 2×2 = 4화소 중, 2개의 대각선의 셀에 G(녹색)의 분광 감도를 가지는 화소를 배치하고, 나머지 2개의 셀에 R(적색)과 B(청색)의 분광감도를 가지는 화소를 각각 배치한 베이어 어레이가 채용되어 있다. 이 베이어 어레이에서, 후술하는 구조의 초점 검출용 화소가 소정의 규칙으로 분산되어 있다.
도 5a 및 5b는 촬상용 화소의 평면도와 단면도를 나타낸다. 도 5a는 촬상 소자의 중앙에 위치하는 2×2의 촬상용 화소를 나타내는 평면도다. 알려진 것처럼, 베이어 어레이에서는, 대각선 방향으로 2개의 셀에 2개의 G 화소가 배치되고, 나머지 2개의 셀에는 R와 B의 화소가 배치된다. 이 2행×2열의 구조가 반복해 베이어 어레이에 배치된다. 도 5a의 단면 A-A를 도 5b에 나타낸다. 참조부호 ML은 각 화소의 최전면에 배치된 온 칩 마이크로렌즈, CFR는 R(Red)의 컬러 필터, CFG은 G(Gr een)의 컬러 필터다. 참조부호 PD는 도 3을 참조하여 설명한 C-MOS 센서의 광전 변환부를 모식적으로 나타낸 것이고, CL은 C-MOS 센서 내의 각종 신호를 전달하는 신호 선을 형성하기 위한 배선층이고, TL은 촬영 광학계를 모식적으로 나타낸 것이다.
여기에서, 촬상용 화소의 온 칩 마이크로렌즈 ML과 광전 변환부 PD는, 촬영 광학계 TL을 통과한 광속을 가능한 한 유효하게 캡처하도록 구성되어 있다. 즉, 촬영 광학계 TL의 사출 동공 EP과 광전 변환부 PD는, 마이크로렌즈 ML에 의해 공역 관계로 있고, 광전 변환부의 유효면적은 대면적으로 설계되어 있다. 또한, 도 5b에서는 R 화소의 입사 광속에 관하여 설명했지만, G 화소 및 B(B1ue) 화소도 동일한 구조를 갖는다. 따라서, 촬상용의 RGB 각 화소에 대응한 사출 동공 EP은 큰 직경을 갖고, 피사체로부터의 광속을 효율적으로 캡처해서, 화상 신호의 S/N비를 향상시킨다.
도 6a 및 6b는, 촬영 렌즈의 도 6a 및 6b 중 x방향으로 동공 분할을 행하기 위한 초점 검출용 화소의 평면도와 단면도를 나타낸다. 도 6a는, 촬상 소자 중앙에 위치하는 초점 검출용 화소를 포함하는 2×2 화소의 평면도다. 촬상 신호를 얻을 경우, G 화소는 휘도 정보의 주성분으로서 기능한다. 사람의 화상인식 특성은 휘도정보에 민감하기 때문에, G 화소가 결손하면 화질 열화를 인식하기 쉽다. 반대로, 사람은 R 혹은 B 화소가 수신한 색 정보에 둔감하기 때문에, 색 정보를 수신하는 화소는 다소의 결손이 생겨도 화질 열화를 인식하기 어렵다. 이 상황에서, 본 실시예에 있어서는, 2×2 화소 중, G 화소가 촬상용 화소로서 계속해서 기능하고, R와 B 화소에 해당하는 위치에, 일정한 비율로 초점 검출용 화소가 배열되어 있다. 도 6a에 있어서, 참조부호 SHA 및 SHB은 이들 초점 검출용 화소를 나타낸다.
도 6a의 단면 B-B을 도 6b에 나타낸다. 마이크로렌즈 ML과 광전 변환부 PD는 도 5b에 나타낸 촬상용 화소와 동일구조를 갖는다. 본 실시예에 있어서는, 초점 검출용 화소로부터의 신호는 화상 형성에는 사용하지 않기 때문에, 색 분리용 컬러 필터 대신에 투명막 CFW(화이트)이 배치된다. 또한, 촬상소자는 동공 분할을 행하기 때문에, 배선층 CL의 개구부는 마이크로렌즈 ML의 중심선에 대하여 x방향으로 벗어난다. 좀더 구체적으로는, 화소 SHA(제1의 화소군)의 개구부 OPHA는 -x방향으로 벗어나 있기 때문에, 촬영 렌즈 TL의 좌측의 사출 동공 EPHA(제1의 동공영역)을 통과한 광속을 수광한다. 마찬가지로, 화소 SHB(제2의 화소군)의 개구부 OPHB은 +x방향으로 벗어나 있기 때문에, 촬영 렌즈 TL의 우측의 사출 동공 EPHB(제2의 동공영역)을 통과한 광속을 수광한다. 따라서, 화소 SHA를 x방향으로 규칙적으로 배열하고, 배열한 화소군으로 취득한 피사체상을 화상 A(제1의 피사체상)으로서 정의하고, 화소 SHB도 x방향으로 규칙적으로 배열하고, 이 배열한 화소군으로 취득한 피사체상을 화상 B(제2의 피사체상)로서 정의한다. 이에 따라, 화상 A와 화상 B의 상대 위치를 검출함으로써 피사체상의 초점 시프트량(디포커스량 및 초점 상태)을 검출할 수 있다.
또한, 상기의 화소 SHA 및 SHB는, 촬영 화면의 x방향으로 휘도분포를 가진 피사체, 예를 들면 y방향의 선에 대해서는 초점 검출가능하지만, y방향으로 휘도 분포를 가지는 x방향의 선에 대해서는 초점 검출 불능이다. 이것을 극복하기 위해서, 본 실시예에서는 후자에 관해서도 초점 검출할 수 있도록, 촬영 렌즈의 y방향으로 동공 분할을 행하는 화소도 이용하고 있다.
도 7a 및 7b는, 촬영 렌즈의 도 7a 및 7b의 y방향으로 동공 분할을 행하기 위한 초점 검출용 화소의 평면도와 단면도를 나타낸다. 도 7a는, 촬상소자 중앙에 위치하는 초점 검출용 화소를 포함하는 2×2 화소의 평면도이다. 도 6a의 경우와 마찬가지로, G 화소는 촬상용 화소로서 계속해서 기능하고, R와 B 화소에 해당하는 위치에 일정한 비율로 초점 검출용 화소가 배열되어 있다. 도 7a에 있어서, 참조부호 SVC 및 SVD는 초점 검출용 화소를 나타낸다.
도 7a의 단면 C-C을 도 7b에 나타낸다. 도 7b에 나타낸 화소는, 전자의 화소가 y방향으로 동공 분리하고, 후자의 화소가 x방향으로 동공 분리하는 것을 제외하고 도 6b에 나타낸 화소와 같은 구조를 갖는다. 즉, 화소 SVC의 개구부 OPVC은 -y방향으로 벗어나 있기 때문에, 촬영 렌즈 TL의 +y방향의 사출 동공 EPVC을 통과한 광속을 수광한다. 마찬가지로, 화소 SVD의 개구부 OPVD는 +y방향으로 벗어나 있기 때문에, 촬영 렌즈 TL의 -y방향의 사출 동공 EPVD를 통과한 광속을 수광한다. 따라서, 화소 SVC을 y방향으로 규칙적으로 배열하고, 이 배열한 화소군으로 취득한 피사체상을 화상 C로서 정의하고, 화소 SVD도 y방향으로 규칙적으로 배열하고, 배열한 화소군으로 취득한 피사체상을 화상 D로서 정의한다. 이에 따라, 화상 C와 D의 상대 위치를 검출함으로써 y방향으로 휘도분포를 갖는 피사체상의 초점 시프트량(디포커스량)을 검출할 수 있다.
도 8은, 본 실시예에 있어서의 촬상소자의 동공 분할 상황을 개념적으로 설명하는 도면이다. 참조부호 TL은 촬영 렌즈, 107은 촬상소자, OBJ는 피사체, IMG은 피사체상이다. 촬상용 화소는 도 5a 및 5b의 촬상용 화소의 평면도와 단면도를 참조해서 설명한 바와 같이, 촬영 렌즈의 사출 동공 전역 EP을 통과한 광속을 수광한다. 한편, 초점 검출용 화소는 도 6a 및 6b의 x방향으로 동공 분할을 행하기 위한 초점 검출용 화소의 평면도와 단면도 및 도 7a 및 7b의 y방향으로 동공 분할을 행하기 위한 초점 검출용 화소의 평면도와 단면도를 참조해서 설명한 바와 같이, 동공 분할 기능을 가지고 있다. 좀더 구체적으로는, 도 6a 및 6b에 나타낸 화소 SHA는 +x방향의 측의 동공을 통과한 광속, 즉 도 8의 사출 동공 EPHA를 통과한 광속을 수광한다. 마찬가지로, 화소 SHB, SVC 및 SVD는 각각 사출 동공 EPHB, EPVC 및 EPVD를 통과한 광속을 수광한다. 그리고, 초점 검출용 화소를, 촬상소자(107)의 전영역에 걸쳐 분포시킴으로써 촬상 영역 전역에서 초점 검출을 가능하게 하고 있다.
도 9는, 초점 검출시에 취득한 화상과 초점 검출 영역을 설명하는 도면이다. 도 9에 있어서, 촬상면에 형성된 피사체상은, 중앙에 인물, 좌측에 근경의 수목, 우측에 원경의 산맥을 기록하고 있다. 본 실시예에 있어서는, x방향의 시프트 검출용의 화소 쌍 SHA 및 SHB과, y방향의 시프트 검출용의 화소 쌍 SVC 및 SVD가, 초점 검출용 화소로서 촬상 영역 전역에 걸쳐 균등한 밀도로 배치되어 있다. x방향 시프트 검출 시에는, x방향 시프트 검출용의 화소 쌍 SHA 및 SHB으로부터 취득한 한 쌍의 화상 신호를, 위상차 연산을 위한 AF 화소 신호로서 사용한다. 또한, y방향 시프트 검출 시에는, y방향 시프트 검출용의 화소 쌍 SVC 및 SVD로부터 취득한 한 쌍의 화상 신호를, 위상차 연산을 위한 AF 화소 신호로서 사용한다. 따라서, 촬상 영역의 임의의 위치에 있어서, x방향 시프트 검출 및 y방향 시프트 검출을 위한 거리 측정 영역을 설정할 수 있다.
도 9에 있어서는, 화면 중앙에 인물의 얼굴이 존재한다. 이러한 상황 하에서, 공지의 얼굴 인식 기술에 의해 얼굴의 존재가 검출되면, 얼굴 영역을 중심으로 x방향 시프트 검출을 위한 초점 검출 영역 AFARh(x1, y1)와, y방향 시프트 검출을 위한 초점 검출 영역 AFARv(x3, y3)이 설정된다. 첨자의 h는 x방향을, 첨자의 v는 y방향을 의미하고, (x1, y1) 및 (x3, y3)은 초점 검출 영역의 좌측 상부 코너의 좌표를 나타낸다. 참조 부호 AFSIGh(A1)는, 각 섹션 내에 포함되는 x방향 시프트 검출용의 초점 검출용 화소 SHA를 30섹션에 걸쳐서 연결한 위상차 검출용의 화상 A 신호를 나타낸다. 참조 부호 AFSIGh(B1)는 각 섹션 내에 포함되는 x방향 시프트 검출용의 초점 검출 화소 SHB을 30섹션에 걸쳐서 연결한 위상차 검출용의 화상 B 신호를 나타낸다. 화상 A 신호 AFSIGh(A1)과 화상 B 신호 AFSIGh(B1)의 상대적인 x방향 시프트량을 공지의 상관 연산에 의해 계산함으로써 촬영 렌즈의 초점 시프트량(디포커스량)을 얻을 수 있다. 초점 검출 영역 AFARv(x3, y3)에 관해서도 마찬가지로 초점 시프트량을 취득한다. 그리고, x방향 시프트 및 y방향 시프트의 초점 검출 영역에서 검출한 2개의 초점 시프트량을 비교해서, 신뢰성이 높은 값을 채용하면 된다.
한편, 화면 좌측의 수목의 간부(幹部)는, y방향의 주요 성분을 갖고, 즉 x방향으로 휘도 분포를 갖고 있기 때문에, x방향 시프트 검출에 적합한 피사체라고 판단된다. 이 피사체에 대해서 x 방향 시프트 검출을 위한 초점 검출 영역 AFARh(x2, y2)이 설정된다. 또한, 산맥 능선부는, x방향의 주요 성분을 갖고, 즉 y방향으로 휘도 분포를 갖고 있기 때문에, y방향 시프트 검출에 적합한 피사체라고 판단된다. 이 피사체에 대해서 y 방향 시프트 검출을 위한 초점 검출 영역 AFARv(x4, y4)이 설정된다.
이상처럼, 본 실시예에 있어서는, x방향 시프트 및 y방향 시프트 검출을 위한 초점 검출 영역이 화면의 임의의 위치에서 설정가능하다. 이 때문에, 피사체의 투영 위치와 휘도 분포의 방향성에 관계없이, 항상 초점 검출이 가능하다. 또한, x방향과 y방향 시프트 검출의 원리는 방향이 다른 것 이외는 동일하기 때문에, 이하에서는 x방향 시프트의 검출에 대해서만 설명하고, y방향 시프트 검출에 대해서는 설명을 생략한다.
도 10a-10c는 촬상소자 중앙의 초점 검출용 화소의 입사각 특성을 나타내는 모식도이다. 도 10a는 화소 SHA의 특성을 나타내고, 도 10b는 화소 SHB의 특성을 나타낸다. 도 10a 및 10b에서 x축, y축은 각각 화소의 x방향 및 y방향의 입사각을 나타낸다. 도 10a-10c에서는, 좀더 짙은 색은 수광강도가 높은 것을 나타낸다. 도 6a, 6b에서는 설명을 이해하기 쉽게 하기 위해서, 화소 SHA의 사출 동공을 EPHA로, 화소 SHB의 사출 동공을 EPHB로 각각 분리해서 나타냈다. 그러나, 도 10a-10c에 나타나 있는 바와 같이, 실제로는, 개구부 OPHA 및 OPHB에 의한 회절의 영향이나, S/N을 향상시킬 목적으로 화소 SHA와 SHB의 사출 동공은 일부 영역이 겹치는 부분이 있다. 도 10c는 초점 검출용 화소의 입사각 특성을 1차원으로 나타낸 그래프이다. 도 10c에 있어서, 횡축은 입사각을 나타내고, 종축은 도 10a, 10b의 θy방향의 수광 감도를 가산한 것을 나타내며, 원점이 광축을 나타낸다. 도 10c에 나타나 있는 바와 같이, 촬상소자 중앙의 초점 검출용 화소로서 기능하는 화소 SHA와 화소 SHB의 입사각특성은 광축에 대하여 대략 대칭이 된다.
도 11a, 11b는 광속의 이클립스를 설명하는 도면이다. 도 11a는 촬상소자 중앙의 화소에 입사하는 광속을 나타내고, 도 11b는 촬상소자의 중앙으로부터 소정의 화상 높이를 가진 위치의 화소에 입사하는 광속을 나타낸다. 촬상소자에는 촬영 렌즈의 렌즈 홀딩 프레임과 조리개 겸용 셔터(102) 등의 몇 개의 구성 부재에 의해 제한된 광속이 입사한다. 여기에서는 설명을 이해하기 쉽게 하기 위해서, 모든 화상 높이에 있어서 광속을 제한하는 부재가 2개 있는 것으로서 설명한다. 참조부호 Iw1, Iw2은 광속을 제한하는 부재로서 기능하는 윈도우를 나타내고, 광속은 이들 윈도우 Iw1, Iw2를 통과한다. 참조부호 Me은 마이크로렌즈 ML의 구성에 의해 설정된 동공면을 나타낸다.
도 11a를 참조해서 촬상소자 중앙의 화소에 입사하는 광속의 이클립스를 설명한다. 참조부호 L1rc , L1lc은 윈도우 Iw1의 사출 광속의 외주부를 나타내고, L1rc는 도 11a에 있어서의 우단에 대응하며, 참조부호 L1lc은 도 11a에 있어서의 좌단에 대응한다. 참조부호 L2rc, L2lc은 윈도우 Iw2의 사출 광속을 마이크로렌즈 ML의 동공위치까지 투영한 것의 외주부를 나타내고, 참조부호 L2rc는 도 11a에 있어서의 우단에 대응하고, 참조부호 L2lc은 도 11a에 있어서의 좌단에 대응한다. 도 11a에 나타나 있는 바와 같이, 촬상소자의 중앙 화소에 입사하는 광속의 동공면 Me에서의 동공 영역은 외주부 L2lc과 L2rc을 갖는 광속에 대응하고, 즉, 2개의 두부가 있는 화살표 Area1로 표시되어 있다.
다음에, 도 11b을 참조해서, 촬상소자의 중앙으로부터 소정의 화상 높이를 갖는 위치의 화소에 입사하는 광속의 이클립스에 대해서 설명한다. 참조부호 L1rh, L1lh는 윈도우 Iw1의 사출 광속의 외주부를 나타내고, 참조부호 L1rh는 도 11b에 있어서 우단에 대응하고, 참조부호 L1lh는 도 11b에 있어서 좌단에 대응한다. 참조부호 L2rh, L2lh는 윈도우 Iw2의 사출 광속을 마이크로렌즈 ML의 동공위치까지 투영한 것의 외주부를 나타내고, 참조부호 L2rh는 도 11b에 있어서 우단에 대응하고, 참조부호 L2lh는 도 11b에 있어서 좌단에 대응한다. 도 11b에 나타나 있는 바와 같이, 촬상소자의 중앙으로부터 소정의 화상 높이를 갖는 위치의 화소에 입사하는 광속의 동공면 Me 위에서의 동공영역은 외주부 L1lh와 L2rh를 갖는 광속에 대응하고, 즉, 2개의 두부가 있는 화살표 Area2로 표시되어 있다.
도 12a, 12b은 동공면 Me 위에서의 동공영역을 나타낸 도면이다. 도 12a는 촬상소자 중앙의 화소의 동공영역을 나타내고, 도 12b는 촬상소자의 중앙으로부터 소정의 화상 높이를 갖는 위치의 화소의 동공영역을 나타낸다. 도 11a, 11b를 참조하여 설명한 바와 같이, 촬상소자 중앙의 화소는 한 개의 윈도우 Iw2에 의해만 제한된 광속을 수광하기 때문에, 도 12a에 나타나 있는 바와 같이, 동공영역 Area1에는 윈도우 Iw2의 형상이 그대로 투영된다. 광속을 제한하는 윈도우는 원형의 형상이기 때문에, 동공영역 Area1도 원형의 형상이다. 한편, 촬상소자의 중앙으로부터 소정의 화상 높이를 갖는 위치의 화소는 윈도우 Iw1과 Iw2에 의해 제한된 광속을 수광하기 때문에, 동공영역 Area2은 도 12b에 나타나 있는 바와 같은 형상을 갖는다.
도 13a, 13b는 초점 검출용 화소의 동공강도 분포를 도시한 그래프이다. 이 동공 강도 분포는, 도 10a-10c에 나타낸 촬상소자 중앙의 초점 검출용 화소의 입사각 특성을 마이크로렌즈 ML의 동공 위에 투영해서 취득한 분포와 같다. 도 13a, 13b의 종축 및 횡축은 동공 상의 좌표를 나타낸다. 이들 동공 강도 분포는, 촬상소자의 중앙으로부터 소정의 화상 높이를 갖는 위치의 화소에 있어서도 같은 특성을 가지고 있다. 왜냐하면, 촬상소자의 중앙으로부터 소정의 화상 높이를 갖는 위치의 화소의 마이크로렌즈 ML은 광축의 중심이 마이크로렌즈 ML의 동공의 중심을 통과하도록 중심에서 벗어나게 제작되어 있기 때문이다.
도 14a-14c은 촬상소자 중앙의 초점 검출용 화소의 동공면 Me위에서의 이클립스를 나타낸 그래프이다. 도 14a는 화소 SHA의 특성을 나타내고, 도 14b는 화소 SHB의 특성을 나타내고 있다. 도 14a-14c은 도 12a에 나타낸 것과 도 13a, 13b에 나타낸 것을 서로 겹쳐서 취득한 것이다. 화소 SHA 및 SHB에는 Area1로 나타낸 형상의 내측을 투과한 광속이 도 14a 내지 14c에 도시한 동공 강도 분포로 입사한다. 도 14c은 촬상소자 중앙의 초점 검출용 화소의 동공면 Me위에서의 입사 광속의 동공 강도분포를 2차원으로 나타낸 그래프이다. 도 14c에 있어서, 횡축은 동공면 Me 위의 x방향의 좌표를 나타내고, 종축은 각 좌표의 강도를 나타내고 있다. 각 좌표의 강도는 도 14a 및 14b의 y방향의 동공 강도를 가산한 것이다. 참조부호 EsdAc, Es dBc는 화소 SHA와 SHB의 동공면 Me위에서의 입사 광속의 동공 강도분포를 나타낸다. 도 14c에 나타나 있는 바와 같이, 화소 SHA 및 SHB의 동공면 Me 상의 동공 강도분포는 좌우 대칭이다. 또한, 이클립스 형상도 좌우 대칭이기 때문에, 화소 SHA와 화소 SHB의 동공면 Me 위에서의 입사 광속의 동공 강도 분포 EsdAc, EsdBc도 좌우 대칭이다.
도 15a-15c는 촬상소자의 중앙으로부터 소정의 화상 높이를 가진 위치의 화소의 동공면 Me위에서의 이클립스를 나타낸 그래프다. 도 15a는 화소 SHA의 특성을 나타내고, 도 15b는 화소 SHB의 특성을 나타내고 있다. 도 15a∼15c은 도 12b에 나타낸 것과 도 13a, 13b에 나타낸 것을 서로 겹쳐서 취득한 것이다. 화소 SHA 및 화소 SHB에는 Area2로 나타낸 형상의 내측을 투과한 광속이 도 15a 내지 15c에 도시한 동공 강도분포로 입사한다. 도 15c는 촬상소자의 중앙으로부터 소정의 화상 높이를 갖는 위치의 초점 검출용 화소의 동공면 Me 상에서의 입사 광속의 동공 강도분포를 2차원으로 나타낸 그래프이다. 도 15c에 있어서, 횡축은 동공면 Me 상의 x방향의 좌표를 나타내고, 종축은 각 좌표의 강도를 나타내고 있다. 각 좌표의 강도는 도 15a, 15b의 y방향의 동공강도를 가산한 것이다. 도 15c에서, 참조부호 EsdAh, EsdBh는 화소 SHA와 화소 SHB의 동공면 Me 상에서의 입사 광속의 동공 강도분포를 나타낸다. 화소 SHA 및 화소 SHB의 동공면 Me 상의 동공 강도분포는 좌우 대칭이다. 그렇지만, 이클립스 형상이 좌우 비대칭이기 때문에, 화소 SHA와 화소 SHB의 동공면 Me 상에서의 입사 광속의 동공 강도분포 EsdAh, EsdBh는, 좌우 비대칭이 된다.
전술한 바와 같이, 화소 SHA를 x방향으로 규칙적으로 배열한 화소군으로 취득한 피사체상 A과, 화소 SHB을 x방향으로 규칙적으로 배열한 화소군으로 취득한 피사체상 B와의 상대 위치를 검출함으로써 피사체상의 포커스 시프트량(디포커스량)을 검출하고 있다.
피사체의 광량 분포를 f(x, y), 피사체상의 광량 분포를 g(x, y)이라고 할 때,
Figure 112011089957341-pct00001
상기의 관계(콘볼루션 적분(convolution integral))가 성립한다. 여기에서 h(x, y)은 피사체가 화상 형성 시스템에 있어서 열화하는 상태를 나타내는 전달함수로, 점상 분포함수(point spread function)이라고 불린다. 따라서, 초점 검출에 사용하는 1쌍의 피사체상을 판정하기 위해서는, 점상 분포함수를 알 필요가 있다. 여기에서, 위상차 방식의 초점 검출에 있어서는, 1쌍의 피사체상의 1차원 방향으로의 위상 시프트를 검출하기 때문에, 점상 분포함수 대신에, 1차원의 함수인 선상 분포함수(line Spread function)를 이용해서, 초점 검출에 관한 화상 시스템을 평가할 수 있다. 이 관점에서, 피사체의 광량 분포를 f(x), 피사체상의 광량 분포를 g(x)로 교체하면, 상기 식(1)은 선상 분포함수 L(a)을 사용해서 아래와 같이 바꿔 쓸 수 있다.
Figure 112011089957341-pct00002
따라서, 식(2)으로부터 알 수 있듯이, 임의의 디포커스시의 위상차 방향에 있어서의 서로 다른 동공영역을 통과하는 광속에 의해 생성되는 1쌍의 선상 분포함수를 배우는 것에 의해, 1쌍의 피사체상을 판정할 수 있다. 1쌍의 피사체상을 판정하면, 각각의 피사체상의 중심 사이의 간격으로부터 기선(基線) 길이를 취득하고, 1쌍의 피사체상 간의 시프트량과 기선 길이로부터 디포커스량을 산출할 수 있다. 기선 길이는 이하의 식(3)∼(5)에 의해 취득할 수 있다. 피사체상의 중심을 GA, GB, 기선 길이를 G라고 하면, 아래와 같이 된다.
Figure 112011089957341-pct00003
기선 길이
Figure 112011089957341-pct00004
다음에, 보정연산에 의해 피사체상 간의 비대칭성을 보정하는 방법에 관하여 설명한다. 전술한 바와 같이, 피사체상 A와 피사체상 B의 비대칭성은 화소 SHA와 화소SHB의 비대칭한 동공 강도분포의 콘볼루션 적분(convolution integration)에 의해 생긴다. 도 16a-16g는 피사체상 간의 비대칭성을 해소하기 위한 필터 처리를 설명하는 개념도다. 도 16a-16g에 있어서, 횡축은 초점 검출 시야 내의 x방향의 좌표를 나타내고, 종축은 휘도를 나타내고 있다. 도 16a에서의 참조부호 Obj는 피사체의 광량분포를 나타내고, 도 16b과 도 16c에서의 참조부호 EsdAx, EsdBx는 화소 SHA 및 화소 SHB의 AF 동공 상의 선 화상을 나타낸 것이다. 도 16d, 도 16e는 각각 소정의 디포커스에 있어서의 참조부호 ImgA(제1의 화상 신호)로 나타낸 피사체상 A와, 참조부호 ImgB(제2의 화상 신호)로 나타낸 피사체상 B을 나타낸다. 피사체상 A ImgA및 피사체상 B ImgB는 각각 피사체의 광량 분포 Obj에 선 화상 EsdAx(제1의 선 화상), 및 선 화상 EsdBx(제2의 선 화상)의 콘볼루션 적분을 각각 행함으로써 취득된다. 도 16F, 도 16g는 피사체상 A ImgA에 화상 B의 선 화상 EsdBx를 콘볼루션 적분한 수정 화상 ReImgA와, 피사체상 B ImgB에 화상 A의 선 화상 EsdAx를 콘볼루션 적분한 수정 화상 ReImgB을 나타낸다. 도 16f, 도 16g에 나타나 있는 바와 같이, 각 수정 화상은 같은 형상을 갖는다. 수정 화상이 같은 형상을 갖는 원리에 관하여 설명한다.
피사체상 A ImgA는 전술한 이하의 식(2)에 의해 취득된다.
Figure 112011089957341-pct00005
선 화상 EsdBx에 피사체상 A ImgA을 콘볼루션 적분해서 취득한 수정 화상ReImgA을 설명하는 함수 k(x)는 아래와 같이 산출된다.
Figure 112011089957341-pct00006
수정 화상 ReImgB을 설명하는 함수 k(x)도 마찬가지로 계산하면, 식(7)을 얻을 수 있다.
Figure 112011089957341-pct00007
상기 식(6), (7)으로부터 알 수 있듯이, 취득한 수정 화상 ReImgA와 ReImgB은 동일한 것이다.
다음에, 본 실시예의 초점 검출 동작에 대해서 도 17의 플로차트를 참조하여 설명한다. 또한, 도 17의 시퀀스에 있어서의 동작은 CPU(121)에 의해 실행된다. 스텝 S1에서는, 디포커스량의 연산 처리를 행한 회수를 나타내는 N에 0을 대입하고, 처리는 스텝 S2로 진행된다. 스텝 S2에서는, 이클립스 상태를 판정하기 위한 렌즈 정보가 판독되고, 처리는 스텝 S3로 진행된다. 스텝 S3에서는, 사용자가 설정한 측거 위치와 범위 등의 측거점(distance measurement point) 정보가 판독된다. 스텝 S3 완료 후, 처리는 스텝 S4로 진행된다. 스텝 S4에서는, 스텝 S3에서 판독된 측거 위치에서의 초점 검출용 화소로부터의 화상 신호를 판독하여, 피사체상 A 및 B을 형성한다. 스텝 S4 완료 후, 처리는 스텝 S5로 진행된다. 스텝 S5에서는, CPU(121)는 스텝 S4에서 취득한 피사체상 A, 피사체상 B을 사용해서 공지의 상관 연산 방법에 의해 화상 시프트량을 취득하고, 스텝 S2에서 취득한 렌즈 정보와 함께, 잠정적인 디포커스량을 취득한다. 잠정 디포커스량 산출 후, 처리는 스텝 S6로 진행된다.
스텝 S6에서는, 디포커스량의 연산 처리를 행한 회수를 나타내는 N에 1을 가산하고, 처리는 스텝 S7로 진행된다. 스텝 S7에서는, CPU(121)는 반복해 연산되는 디포커스량의 최신의 값을 사용하여, 스텝 S4에서 취득한 피사체상 A, 피사체상 B의 이클립스 보정을 행한다. 스텝 S7 완료 후, 처리는 스텝 S8로 진행된다. 스텝 S7의 이클립스 보정에 관한 구체적인 처리에 관해서는 후술한다. 스텝 S8에서는, CPU(121)는 스텝 S7에서 형성된 이클립스 보정 후의 피사체상을 사용하여, 공지의 상관 연산 방법에 의해 2개의 화상 간의 어긋남(shift)량을 산출한다. 스텝 S7에서 산출된 기선 길이와 함께, 디포커스량을 취득한다. 스텝 S8을 완료하면, 처리는 스텝 S9로 진행된다.
스텝 S9에서는, 디포커스량의 연산 처리를 행한 회수를 나타내는 N에 1을 가산하고, 처리는 스텝 S10로 진행된다. 스텝 S10에서는, CPU(121)는 다시 이클립스 보정을 행하고, 디포커스량을 재산출할 것인지 아닌지의 판정을 행한다. 좀더 구체적으로는, 판정 수단(CPU(121))은, (DEF(N-1))- (DEF(N-2))의 값이 소정의 수렴(收束) 판정 스레숄드 이하인 경우에는, 산출된 디포커스량이 이미 충분하게 수렴되어 있으므로, 다시 반복해서 디포커스량을 연산하지 않는다. 그 값이 소정의 수렴 판정 스레숄드보다 큰 경우에는, 판정 수단은 산출된 디포커스량이 아직 충분하게 수렴되어 있지 않으므로, 산출한 최신의 디포커스량을 사용하여, 다시 이클립스 보정 파라미터를 연산하고, 다시 디포커스량을 산출할 필요가 있다고 판정한다. 스텝 S10에서 YES이면, 처리는 스텝 S7로 진행된다. 스텝 S10에서 NO이면, 처리는 스텝 S11로 진행된다.
스텝 S11에서는, 산출된 최신의 디포커스량 (DEF(N-1))이, 인 포커스 상태를 나타내는지 아닌지를 판정한다. 스텝 S11에서 NO인 경우, 처리는 스텝 S12로 진행된다. 스텝 S11에서 YES인 경우, 처리는 스텝 S13로 진행된다. 스텝 S12에서는, 산출된 디포커스 연산 결과에 따라, 제3 렌즈 군(105)을 진퇴시킨다. 그리고, 처리는 스텝 S4로 되돌아간다. 스텝 S13에서, 일련의 초점 검출 시퀀스의 스텝이 종료한다.
다음에, 도 17의 초점 검출 동작의 플로차트에 있어서의, 스텝 S7의, "디포커스량(DEF(N-1))에 대응한 이클립스 보정 처리"에 관하여 설명한다. 여기에서는, CPU(121)에 의해, 스텝 S5에서 혹은 스텝 S8에서 산출된 최신의 디포커스량을 사용하여, 화상 A, 화상 B의 광량비를 조절하는 쉐이딩(shading) 보정을 행하고, 화상 A와 화상 B의 형상이 대략 동일한 형상이 되도록 화상 A와 화상 B의 형상 보정을 행하며, 기선 길이의 산출을 행한다. 이하, 이 처리에 대해서 도 18의 플로차트를 참조해서 상세하게 설명한다.
스텝 S101에서는, 렌즈 정보, 측거점 정보, 및 최신의 디포커스 정보(DEF(N-1))로부터 피사체상 A과 피사체상 B의 쉐이딩을 예측하고, 화상 A와 화상 B의 광량비를 조절하는 쉐이딩 보정을 행한다. 쉐이딩 보정 후, 처리는 스텝 S102로 진행된다. 스텝 S102에서는, 각 초점 검출용 화소에 있어서 CPU(121) 내의 ROM에 보관되어 있는 동공 강도분포를 판독하고, 렌즈 정보, 측거점 정보, 및 최신의 디포커스 정보(DEF(N-1))와 함께 선상 분포함수를 산출한다. 스텝 S102 완료 후, 처리는 스텝 S103로 진행된다. 스텝 S103에서는, CPU(121)가 화상 수정 필터를 작성한다. 스텝 S102에서 취득한 선상 분포함수를, 최신의 디포커스 정보(DEF(N-1))에 의거하여 결정한 화상 수정 필터의 폭에 맞춘다. 이 처리의 상세한 것은 후술한다. 스텝 S103 완료 후, 처리는 스텝 S104로 진행된다.
스텝 S104에서는, 스텝 S103에서 취득한 화상 수정 필터를 피사체상 A 및 B에 콘볼루션 적분해서, 화상 A 및 B을 대략 동일한 형상을 갖도록 조절해서 얻은 수정된 피사체상을 산출한다. 그리고, 처리는 스텝 S105로 진행된다. 스텝 S105에서는, 스텝 S102에서 취득한 선상 분포함수를 사용하여, 기선 길이를 산출한다. 여기에서의 기선 길이의 산출 방법의 상세한 것은 후술한다. 스텝 S105가 완료하면, 처리는 스텝 S106로 진행된다. 스텝 S106에서, 일련의 초점 검출 시퀀스의 스텝이 종료한다.
다음에, 스텝 S103의 화상 수정 필터의 폭 결정 방법에 대해서, 도 19a, 19b을 참조해서 상세하게 설명한다. 도 19a, 19b는 디포커스시의 촬상소자에 입사하는 광속을 나타내는 도면이다. 도 19a는 전(前) 포커스 시의 광속을 나타낸 도면이다. 참조부호 Zaf는 촬상소자(107)의 촬상면으로부터 동공면 Me까지의 거리, Raf는 스텝 S2에서 취득한 이클립스 정보에 따라 동공면 Me에 의해서 광속을 제한하는 수평방향의 동공면의 폭, Def는 스텝 S5에서 취득한 잠정 디포커스량이다. 도 19a에 분명하게 나타나 있는 바와 같이, 촬상소자(107)의 촬상면에서는 화상이 폭 Wf로 확장한다. 따라서, 폭 Wf는 전 포커스에서는 Def가 부(-)인 것을 고려해서 이하의 식에 의해 취득된다.
Figure 112011089957341-pct00008
마찬가지로, 후(後) 포커스의 경우뿐만 아니라 전 포커스의 경우에는 도 19b에 나타나 있는 바와 같은 관계가 되고, 식(8)이 성립된다. 식(8)으로 취득한 폭 Wf가 화상 수정 필터의 폭이 된다.
다음에, 2개의 화상 수정 필터가 같은 레벨에 있도록 낮은 필터를 그 게인을 상승시켜서 조정한다. 그 이유는, 스텝 S101에 있어서, 제1의 상관 연산시에 피사체상 A와 피사체상 B를 쉐이딩 보정하고 있기 때문이다. 다음에, 피사체상 A와 피사체상 B에 대한 화상 수정 필터의 중심을 매치시키도록 파형을 이동시킨다. 이것은, 스텝 S104에서 행해지는 필터 처리에 의해 변화되는 기선 길이의 변화량이, 필터 처리에 의한 수정 피사체상 A 및 B의 변형에 의한 것에 한정하기 때문이다.
다음에, 스텝 S105의 기선 길이 산출 방법에 대해서 상세하게 설명한다. 우선, 피사체상 A에 대응한 선 화상(이하, 선 화상 A)과 피사체상 B에 대응한 선 화상(이하, 선 화상B)을, 그 중심이 서로 매치하도록 이동시킨다. 이동시킨 선 화상 A 및 선 화상 B을 각각 선 화상 A0 및 선 화상 B0으로 정의한다. 선 화상 A에 선 화상 B0를 콘볼루션 적분한 수정 선 화상 A의 중심과, 선 화상 B에 선 화상 A0를 콘볼루션 적분한 수정 선 화상 B의 중심 간의 간격에 의거해, 수정 기선 길이를 산출한다. 이러한 산출을 이하의 식으로 나타낸다.
수정 선 화상 A를 MA(x), 선 화상 A를 LA(x), 선 화상 B0를 LB'(x)이라고 하면, 수정 선 화상 A는 아래와 같이 산출된다.
Figure 112011089957341-pct00009
따라서, 수정 선 화상 A의 중심 GA'은 아래와 같이 주어진다.
Figure 112011089957341-pct00010
마찬가지로, 수정 선 화상 B을 MB(x), 선 화상 B을 LB(x), 선 화상 A0를 LA'(x)이라고 하면, 수정 선 화상 B은 아래와 같이 산출된다.
Figure 112011089957341-pct00011
따라서, 수정 선 화상 B의 중심 GB'은 아래와 같이 주어진다.
Figure 112011089957341-pct00012
따라서, 기선 길이 G'는 아래의 식과 같다.
Figure 112011089957341-pct00013
이상의 계산에 의해, 기선 길이가 산출된다.
이상과 같은 구성에 의해, 초점 검출수단(CPU(121))으로 검출한 디포커스량 에 따라, 보정 연산수단(CPU(121))은 이클립스 보정 파라미터를 갱신하면서, 복수 회 연속해서 초점 검출을 행한다. 그 때문에, 보다 정밀도가 좋은 디포커스량을 사용함으로써 더 정확하게 이클립스 보정을 행할 수 있고, 보다 정밀도가 좋은 초점 검출이 가능해진다.
상세하게 설명하면, 스텝 S103의 처리에 있어서, 보다 정밀도가 좋은 최신의 디포커스 정보(DEF(N-1))을 사용해서 화상 수정 필터의 폭을 결정하므로, 더 정확하게 이클립스 보정을 행할 수 있고, 보다 정밀도가 좋은 초점 검출이 가능해진다. 또한, 스텝 S101의 처리에 있어서, 최신의 디포커스 정보(DEF(N-1))로부터 피사체상 A과 피사체상 B의 쉐이딩을 예측하는 것으로 쉐이딩 보정을 행한다. 그 때문에, 예를 들면 마이크로렌즈와 같이, 사용된 렌즈가 디포커스량에 의하여 크게 변화하는 쉐이딩 보정계수를 갖는 경우에는 특히, 더 정확하게 이클립스 보정을 행할 수 있고, 보다 정밀도가 좋은 초점 검출이 가능해진다.
또한, 스텝 S102의 처리에 있어서, 최신의 디포커스 정보(DEF(N-1))로부터 선상 분포함수를 산출한다. 그 때문에, 사용된 렌즈가 예를 들면 마이크로렌즈와 같이, 디포커스량에 의존해서 크게 변화하는 선상 분포함수를 갖는 경우에는 특히, 더 정확하게 이클립스 보정을 행할 수 있고, 보다 정밀도가 좋은 초점 검출이 가능해진다.
또한, 본 실시예에서는 상관 연산에 공지의 화상 시프트 방식을 사용했지만, 다른 방법을 사용해서도 같은 결과를 얻을 수 있다. 또한, 본 실시예에서는, 쉐이딩 보정 후의 2개의 피사체상에 대응하는 선 화상이 같은 레벨에 있는 수정 필터를 사용해서 화상 수정 처리를 행한다. 그러나, 같은 레벨에 있지 않은 수정 필터를 사용해서 쉐이딩 보정 전의 피사체상의 콘볼루션 적분에 의해, 화상 수정을 행해도 된다.
또한, 본 실시예에서는 광전변환 수단으로서 C-MOS 센서와 그 주변회로로 구성된 촬상소자를 이용한 초점 연산 방법을 예로 들어 설명했지만, 이 방법은 광전변환 수단으로서 라인 센서를 사용한 종래의 일안 레플렉스 카메라의 동공 분할 방식의 초점 검출장치에 있어서도 유효하다.
또한, 본 실시예의 판정수단에서는, 스텝 S10에서의 재연산을 행할 것인지 아닌지를, 산출된 디포커스량의 수렴 상태에 근거해서 판정하는 방법을 사용했다. 그러나, 그 밖에도, 쉐이딩 보정값, 선 화상 형상, 및 기선 길이 등, 반복해서 연산되는 이클립스 보정 파라미터나, 화상 A와 화상 B 간의 어긋남(shift)량 등의 다른 특성의 수렴 상태에 근거해서 판정을 행해도 된다. 혹은, 디포커스량의 연산 처리의 회수를 나타내는 N이 소정 회수를 초과하는지 아닌지에만 의존해서 판정을 행해도 된다. 혹은, 다시, 수렴 상태와 회수 N의 조합에 근거해서 그 판정을 행하지만, 소정의 회수를 초과해서 반복 연산을 행하지 않는 것으로 주로 필요한 정밀도 내에서의 초점 검출을 달성하면서, 반복 연산 회수가 증가해서 연산 시간이 지나치게 길어지는 것을 방지하도록 초점 검출 시퀀스를 결정해도 된다.
또한, 본 실시예의 판정 수단은, 스텝 S10에서의 재연산을 행할 것인지 아닌지의 판정에 사용하는 고정된 판정 스레숄드를 채용했지만, 가변 판정 스레숄드를 채용해도 된다. 예를 들면, 피사계 심도는 F값(F-number)에 비례한다는 사실을 이용할 수 있다. 이 경우에, 수렴 판정 스레숄드도 F값에 비례시켜 필요한 초점 검출 정밀도와 판정 스레숄드를 매치시킴으로써, 특히 F값이 큰 조건 하에서, 연산 시간을 보다 단축시키는 것이 가능하게 된다. 혹은, 피사체가 낮은 휘도를 가짐으로써 취득한 화상 신호가 낮은 S/N비를 갖거나 피사체가 낮은 콘트라스트를 갖는 경우에는, 디포커스량의 연산 결과의 편차(variation)가 커지므로, 수렴의 판정 스레숄드도 피사체의 콘트라스트나 휘도 정보에 따라, 예상되는 연산 결과 편차에 비례시킴으로써 수렴성을 향상시킬 수 있다.
(제2의 실시예)
제1 및 제2의 실시예에 있어서는 카메라의 구성이 같지만, 초점 검출 시퀀스는 서로 다르다. 제2의 실시예에 있어서의 초점 검출 시퀀스에 대해서는 도 21에 나타낸 초점 검출 시퀀스 및 도 22에 나타낸 상관 연산 시퀀스를 참조해서 설명할 것이다.
보정 연산수단, 초점 검출 수단, 및 판정 수단인 CPU(121)는 도 21 및 22에 나타낸 시퀀스의 동작을 수행한다는 점에 유념한다. 또한, 초점 검출 수단은 신호 처리 선택 수단 및 신호 처리 수단을 포함하고, 화상 신호에 대하여 최적의 신호 처리를 행한 후에 초점 검출을 행한다.
초점 검출 동작이 시작하면, 스텝 S301에서는 디포커스량의 산출 처리의 회수를 나타내는 N에 0을 대입한다. 또한, 이클립스 보정 파라미터를 갱신하면서 반복 연산이 수렴되었는지 아닌지를 나타내는 M에 0을 대입하고, 처리는 스텝 S302로 진행된다.
스텝 S302 내지 S310은 제1의 실시예에서 설명한 도 17에 있어서의 스텝 S2 내지 S10과 각각 동일하므로, 그것의 설명은 여기에서는 생략할 것이다. 스텝 S311에서는, M에 1을 대입하고, 처리는 스텝 S312로 진행한다. 스텝 S312에서는, 보정 연산을 다시 행한다.
스텝 S313 및 314는 제1의 실시예에서 설명한 도 17에서의 스텝 S11 및 S12와 각각 같기 때문에 그것의 설명은 생략할 것이다.
다음에 스텝 S305, S308, 및 S312에 있어서, 초점 검출수단이 행하는 상관 산출 처리에 대해서는 도 22에 나타낸 상관 산출 시퀀스를 참조해서 상세히 설명할 것이다.
스텝 S401에서는, M=0인지 아닌지에 관해서 판정한다. 이 시퀀스에 있어서의 M은 초점 검출 시퀀스에 있어서의 M과 동일하다. 따라서, 이클립스 보정 파라미터를 갱신하면서의 반복 연산이 수렴되었을 때는, M=1이고, 그렇지 않은 경우에는, M=0이다. M=0이라고 판정되면, 처리는 스텝 S402로 진행한다. M≠0이면, 처리는 스텝 S403로 진행한다.
스텝 S402에서는, 신호 처리 선택 수단은 보정되어야 할 신호들에 근거해서 신호 처리를 선택한다. 여기에서 언급된 보정되어야 할 신호들은 초점 검출 화소로부터 판독되는, 이클립스 보정 전의 피사체상 A 및 B의 신호들을 의미한다. 신호 처리 및 복수의 신호 처리로부터의 신호 처리 선택은, 공지의 기술을 이용해서 스텝 S407에서 화상 시프트량 검출을 더 정확하게 행하기 위해서 행해진다.
CPU(121)는 피사체상 A 및 B 간의 신호 강도 레벨의 차의 영향을 줄이기 위한 필터 처리나 특정의 주파수 성분을 증폭 또는 감쇠시키기 위한 필터 처리 등의 복수의 신호 처리를 기억한다.
보정되어야 할 신호가 상대적으로 낮은 콘트라스트나 상대적으로 낮은 휘도를 갖는 경우에, 콘트라스트 또는 휘도가 낮지 않은 경우와 비교해서 비교적 낮은 공간 주파수 범위를 증폭시키기 위한 신호 처리를 선택한다. 신호 처리를 선택한 후, 처리는 스텝 S404로 진행된다.
스텝 S403에서는, 신호 처리 선택 수단이 보정된 신호에 근거해서 신호 처리를 선택한다. 여기에서 언급한 보정된 신호는 스텝 S307에서의 이클립스 보정 후의 피사체상 A와 B의 신호를 의미한다.
스텝 S404에서는, N=0인지의 여부를 판정한다. 이 시퀀스에 있어서의 N은 도 21에 나타낸 초점 검출 시퀀스의 N과 동일하다. 따라서, N은 이전의 이클립스 보정의 회수와 같은, 디포커스량 산출 처리의 회수를 나타낸다. N=0이라고 판정된 경우, 처리는 스텝 S405로 진행된다. N≠0인 경우, 처리는 스텝 S406로 진행된다.
스텝 S405에서는, 신호 처리 수단은 이클립스 보정 전의 피사체상 A와 B의 신호를 처리한다. 신호 처리 후, 처리는 스텝 S407로 진행된다.
스텝 S406에서는, 신호 처리 수단은 이클립스 보정 후의 피사체상 A와 B의 신호를 처리한다. 신호 처리 후, 처리는 스텝 S407로 진행된다.
스텝 S407에서는, 처리된 신호를 이용해서 공지의 기술에 의해 화상 시프트량이 검출되고, 디포커스량이 산출된다.
상술한 구성에 의해, 초점 검출 화소로부터 판독된 화상 신호에 대해서 화상 시프트량 검출을 더 정확하게 행하는 신호 처리를 행하고, 그 후에 화상 시프트량을 검출한다. 이것에 의해 초점 검출을 더 정확하게 행하는 것이 가능하다.
또한, 이클립스 보정 파라미터를 갱신하면서 반복 연산 중에 이클립스 보정 파라미터를 갱신하는 것에 의해 피사체상을 변경해도, 사용된 신호 처리는 동일해야 한다. 이것에 의해 디포커스량이 수렴되었는지 아닌지를 더 정확하게 판정하는 것이 가능하다. 또, 이것에 의해 초점 검출을 더 정확하게 행할 수 있다.
또한, 이클립스 보정 파라미터를 갱신하면서의 반복 연산을 수렴했을 때 이클립스 보정 후의 화상 신호에 대해서 최적의 신호 처리를 선택해서 행한다. 이것에 의해 초점 검출을 더 정확하게 행할 수 있다.
이상, 본 발명의 바람직한 실시예에 관하여 설명했지만, 본 발명은 이들의 실시예에 한정되지 않고, 그 요지의 범위 내에서 다양한 변형 및 변경이 가능하다.
본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.
본 출원은 전체 내용이 본 명세서에 참고로 포함되어 있는 2009년 5월 12일에 제출된 일본국 공개특허공보 2009-115920호와 2010년 4월 26일에 제출된 일본국 공개특허공보 2009-101439호로부터 우선권을 주장한다.

Claims (7)

  1. 피사체를 결상하는 결상 광학계의 제1의 동공영역을 통과하는 광속을 수광하는 제1의 화소군과, 상기 결상 광학계의 제2의 동공영역을 통과하는 광속을 수광하는 제2의 화소군을 갖는 광전 변환수단과,
    상기 제1의 화소군에 의해 생성된 제1의 피사체상과 상기 제2의 화소군에 의해 생성된 제2의 피사체상에 의거하여 상기 결상 광학계의 초점 상태를 검출하는 초점 검출수단과,
    상기 제1의 피사체상과 상기 제2의 피사체상에 대하여, 상기 초점 검출수단으로부터의 출력에 의거하여 보정 연산을 행하는 보정 연산수단과,
    상기 보정 연산수단에 의해 보정 연산된 상기 제1의 피사체상과 상기 제2의 피사체상에 의거하여, 상기 초점 검출수단에 상기 결상광학계의 초점 상태를 재검출시키는 제어수단을 구비하고,
    상기 제어수단은, 상기 초점 검출수단에 의한 초점상태의 검출과 상기 보정 연산수단에 의한 보정연산을, 상기 초점 상태가 소정의 상태에 수렴할 때까지 반복하여 실행시키는, 초점 검출장치.
  2. 제 1 항에 있어서,
    상기 보정 연산수단은, 상기 결상 광학계의 제1의 동공영역에 대응하는 제1의 선 화상과, 상기 결상 광학계의 제2의 동공영역에 대응하는 제2의 선 화상을 산출하는, 초점 검출장치.
  3. 제 2 항에 있어서,
    상기 보정 연산수단은, 상기 제1의 피사체상에 상기 제2의 선 화상을 콘볼루션 적분함으로써 제1의 화상 신호를 생성하고, 상기 제2의 피사체상에 상기 제1의 선 화상을 콘볼루션 적분함으로써 제2의 화상 신호를 생성하는, 초점 검출장치.
  4. 제 1 항에 있어서,
    상기 보정 연산수단은, 상기 제1의 피사체상과 상기 제2의 피사체상에 대하여 쉐이딩 보정을 행하는, 초점 검출장치.
  5. 피사체를 결상하는 결상 광학계와,
    상기 결상 광학계의 제1의 동공영역을 통과하는 광속을 수광하는 제1의 화소군과, 상기 결상 광학계의 제2의 동공영역을 통과하는 광속을 수광하는 제2의 화소군을 갖는 광전 변환수단과,
    상기 결상 광학계의 초점 상태를 검출하는 초점 검출수단과,
    상기 광전 변환수단의 상기 제1의 화소군에 의해 생성된 제1의 피사체상과, 상기 광전 변환수단의 상기 제2의 화소군에 의해 생성된 제2의 피사체상에 대하여 상기 초점 검출수단으로부터의 출력에 의거하여, 보정 연산을 행하는 보정 연산수단과,
    상기 제1 및 제2의 피사체상의 출력에 의거하여, 특성이 서로 다른 복수의 신호 처리로부터 최적의 신호 처리를 선택하는 신호 처리 선택수단과,
    상기 제1 및 제2의 피사체상에 대해서 상기 신호 처리 선택수단에 의해 선택된 신호 처리를 행하는 신호 처리수단과,
    상기 보정 연산수단에 의해 보정 연산된 상기 제1의 피사체상과 상기 제2의 피사체상에 의거하여, 상기 초점 검출수단에 상기 결상광학계의 초점 상태를 재검출시키는 제어수단을 구비하고,
    상기 제어수단은, 상기 초점 검출수단에 의한 초점상태의 검출과 상기 보정 연산수단에 의한 보정연산을, 상기 초점 상태가 소정의 상태에 수렴할 때까지 반복하여 실행시키고,
    상기 신호처리의 선택은, 상기 제어수단에 의해 상기 초점 상태가 소정의 상태에 수렴되었다고 판정되기 전에는, 상기 보정 연산이 행해지기 전의 신호에 의거하여 행해지는, 초점 검출장치.
  6. 제 5 항에 있어서,
    상기 신호 처리수단은 상기 신호들에 있어서의 특정의 주파수 성분을 증폭 또는 감쇠시키는, 초점 검출장치.
  7. 제 5 항에 있어서,
    상기 신호처리의 선택은, 상기 제어수단에 의해 상기 초점상태가 소정의 상태에 수렴되었다고 판정된 후에는, 상기 보정연산이 행해진 후의 신호에 의거하여 행해지는, 초점 검출장치.
KR1020117027150A 2009-05-12 2010-05-07 초점 검출장치 KR101310105B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2009-115920 2009-05-12
JP2009115920 2009-05-12
JPJP-P-2010-101439 2010-04-26
JP2010101439A JP5675157B2 (ja) 2009-05-12 2010-04-26 焦点検出装置
PCT/JP2010/058144 WO2010131725A1 (en) 2009-05-12 2010-05-07 Focus detection apparatus

Publications (2)

Publication Number Publication Date
KR20120022947A KR20120022947A (ko) 2012-03-12
KR101310105B1 true KR101310105B1 (ko) 2013-10-14

Family

ID=43085098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117027150A KR101310105B1 (ko) 2009-05-12 2010-05-07 초점 검출장치

Country Status (6)

Country Link
US (1) US8704933B2 (ko)
EP (1) EP2430487B1 (ko)
JP (1) JP5675157B2 (ko)
KR (1) KR101310105B1 (ko)
CN (1) CN102422196B (ko)
WO (1) WO2010131725A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5762002B2 (ja) * 2011-01-06 2015-08-12 キヤノン株式会社 撮像装置
JP2012220790A (ja) * 2011-04-11 2012-11-12 Canon Inc 撮像装置
JP2012234152A (ja) 2011-04-19 2012-11-29 Canon Inc 撮像装置及びその制御方法
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP5947601B2 (ja) * 2012-04-10 2016-07-06 キヤノン株式会社 焦点検出装置、その制御方法および撮像装置
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
JP5963514B2 (ja) 2012-04-19 2016-08-03 キヤノン株式会社 測距装置、測距方法及び撮像システム
JP6116151B2 (ja) * 2012-07-31 2017-04-19 キヤノン株式会社 距離検出装置
JP6202927B2 (ja) * 2012-08-31 2017-09-27 キヤノン株式会社 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP6214271B2 (ja) 2012-09-12 2017-10-18 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
CN104641276B (zh) 2012-09-12 2016-08-24 富士胶片株式会社 摄像装置及信号处理方法
WO2014080673A1 (ja) 2012-11-20 2014-05-30 富士フイルム株式会社 撮像装置及び露出決定方法
CN104885440B (zh) * 2013-01-04 2017-12-08 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN104123430B (zh) * 2013-04-23 2018-12-07 宁波金晟芯影像技术有限公司 焦点识别系统及方法
JP6305006B2 (ja) * 2013-10-18 2018-04-04 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6410431B2 (ja) * 2014-01-30 2018-10-24 オリンパス株式会社 カメラシステム
JP6272112B2 (ja) * 2014-03-31 2018-01-31 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法及び視差量検出装置
JP2015212772A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 測距装置、撮像装置、測距方法、および測距パラメータ算出方法
TWI566002B (zh) 2015-02-25 2017-01-11 宏碁股份有限公司 影像擷取裝置及其自動對焦方法
WO2016158482A1 (ja) * 2015-04-03 2016-10-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、並びに電子機器
JP6017641B1 (ja) * 2015-07-13 2016-11-02 オリンパス株式会社 撮像装置,信号処理方法,信号処理プログラム
JP6702669B2 (ja) * 2015-07-29 2020-06-03 キヤノン株式会社 撮像装置及びその制御方法
US10382684B2 (en) * 2015-08-20 2019-08-13 Kabushiki Kaisha Toshiba Image processing apparatus and image capturing apparatus
JP6608763B2 (ja) 2015-08-20 2019-11-20 株式会社東芝 画像処理装置及び撮影装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102451A (ja) * 1992-09-22 1994-04-15 Nikon Corp 焦点検出装置
JP2002165126A (ja) * 2000-11-28 2002-06-07 Canon Inc 撮像装置及び撮像システム、並びに撮像方法
JP2002350716A (ja) * 2001-05-30 2002-12-04 Matsushita Electric Ind Co Ltd 自動焦点調節装置、並びにこの装置を搭載したビデオカメラ及びデジタルスチルカメラ
JP2004191629A (ja) * 2002-12-11 2004-07-08 Canon Inc 焦点検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3240648B2 (ja) * 1991-11-01 2001-12-17 キヤノン株式会社 焦点検出装置
JP2005106994A (ja) 2003-09-29 2005-04-21 Canon Inc 焦点検出装置、撮像装置、それらの制御方法
JP2006154465A (ja) 2004-11-30 2006-06-15 Olympus Corp 焦点検出装置およびその制御方法
JP4321579B2 (ja) 2006-11-28 2009-08-26 ソニー株式会社 撮像装置
JP2008191559A (ja) * 2007-02-07 2008-08-21 Nikon Corp 光電変換装置、焦点検出装置および撮像装置
JP5159205B2 (ja) 2007-08-07 2013-03-06 キヤノン株式会社 焦点検出装置、およびその制御方法
JP5045350B2 (ja) * 2007-10-01 2012-10-10 株式会社ニコン 撮像素子および撮像装置
JP2009258451A (ja) * 2008-04-17 2009-11-05 Canon Inc 焦点検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102451A (ja) * 1992-09-22 1994-04-15 Nikon Corp 焦点検出装置
JP2002165126A (ja) * 2000-11-28 2002-06-07 Canon Inc 撮像装置及び撮像システム、並びに撮像方法
JP2002350716A (ja) * 2001-05-30 2002-12-04 Matsushita Electric Ind Co Ltd 自動焦点調節装置、並びにこの装置を搭載したビデオカメラ及びデジタルスチルカメラ
JP2004191629A (ja) * 2002-12-11 2004-07-08 Canon Inc 焦点検出装置

Also Published As

Publication number Publication date
WO2010131725A1 (en) 2010-11-18
CN102422196A (zh) 2012-04-18
US8704933B2 (en) 2014-04-22
EP2430487A1 (en) 2012-03-21
JP5675157B2 (ja) 2015-02-25
CN102422196B (zh) 2015-07-01
JP2010286826A (ja) 2010-12-24
KR20120022947A (ko) 2012-03-12
US20120057043A1 (en) 2012-03-08
EP2430487A4 (en) 2013-06-12
EP2430487B1 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
KR101310105B1 (ko) 초점 검출장치
JP5489641B2 (ja) 焦点検出装置及びその制御方法
US8654227B2 (en) Focus detection apparatus, focus detection method, and image sensing apparatus
EP2811340B1 (en) Image sensing apparatus, image sensing system and focus detection method
JP5473977B2 (ja) 撮像装置およびカメラシステム
JP5092685B2 (ja) 撮像素子および撮像装置
KR101215965B1 (ko) 촬상장치
JP5159700B2 (ja) 光学装置及び焦点検出方法
US8488956B2 (en) Focus adjusting apparatus and focus adjusting method
JP2009128892A (ja) 撮像素子および撮像装置
JP5167783B2 (ja) 焦点検出装置および撮像装置
WO2012093551A1 (en) Image capture apparatus
JP4858529B2 (ja) 撮像素子および撮像装置
JP5067148B2 (ja) 撮像素子、焦点検出装置および撮像装置
JP6238578B2 (ja) 撮像装置およびその制御方法
JP2012220790A (ja) 撮像装置
JP5735784B2 (ja) 撮像装置及びその制御方法、レンズ装置及びその制御方法
JP2011227388A (ja) 撮像装置
JP5748826B2 (ja) 撮像装置およびカメラシステム
JP2010039106A (ja) 撮像素子、焦点検出装置および撮像装置
JP2012226364A (ja) 焦点検出装置および撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160825

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170825

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 7