[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20220038828A - 다중 f-수 렌즈를 위한 방법 및 시스템 - Google Patents

다중 f-수 렌즈를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20220038828A
KR20220038828A KR1020227008654A KR20227008654A KR20220038828A KR 20220038828 A KR20220038828 A KR 20220038828A KR 1020227008654 A KR1020227008654 A KR 1020227008654A KR 20227008654 A KR20227008654 A KR 20227008654A KR 20220038828 A KR20220038828 A KR 20220038828A
Authority
KR
South Korea
Prior art keywords
light
nir
wavelength range
lens
imaging system
Prior art date
Application number
KR1020227008654A
Other languages
English (en)
Other versions
KR102507365B1 (ko
Inventor
아사프 펠만
이레즈 타드모르
데이비드 코헨
지오라 야하브
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20220038828A publication Critical patent/KR20220038828A/ko
Application granted granted Critical
Publication of KR102507365B1 publication Critical patent/KR102507365B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/11—Anti-reflection coatings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Lenses (AREA)
  • Optical Filters (AREA)
  • Automatic Focus Adjustment (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

이미징 렌즈는, 하나 이상의 제1 객체들로부터 반사된 제1 파장 범위의 광을 수신하여 이미지 평면에 초점을 맞추고, 하나 이상의 제2 객체들로부터 반사된 제2 파장 범위의 광을 수신하여 이미지 평면에 초점을 맞추도록 구성된 하나 이상의 렌즈 엘리먼트들을 포함한다. 이미징 렌즈는 애퍼처 스톱 및 애퍼처 스톱에 포지셔닝된 파장-선택성 필터를 더 포함한다. 필터는 중앙 구역 및 중앙 구역을 둘러싸는 외부 구역을 포함한다. 필터의 중앙 구역은 제1 파장 범위의 제1 투과 대역 및 제2 파장 범위의 제2 투과 대역을 특징으로 한다. 필터의 외부 구역은 제1 파장 범위의 제3 투과 대역 및 제2 파장 범위의 실질적으로 낮은 투과율 값들을 특징으로 한다.

Description

다중 F-수 렌즈를 위한 방법 및 시스템{METHOD AND SYSTEM FOR MULTIPLE F-NUMBER LENS}
[0001] 본 출원은 2016년 11월 10일에 출원된 미국 가특허 출원 제62/420,249호의 이익을 주장하며, 상기 출원의 전체 내용은 인용에 의해 본원에 통합된다.
[0002] 광학 시스템들에서, 이미징 렌즈들은 광을 시준하고, 광의 초점을 맞추는 것 등에 활용된다. 광학 시스템들의 발전으로 이루어진 진보에도 불구하고, 개선된 이미징 렌즈들에 대한 필요성이 당분야에 존재한다.
[0003] 본 발명은 일반적으로 다중 f-수 렌즈를 갖는 이미징 시스템들에 관한 것이다. 본 발명의 실시예에 따라, 이미징 시스템은 복수의 NIR(near infrared) 광 펄스들을 하나 이상의 제1 객체들을 향해 방출하도록 구성된 NIR 광원을 포함한다. 복수의 NIR 광 펄스들 각각의 일부는 하나 이상의 제1 객체들로부터 반사될 수 있다. 이미징 시스템은 이미징 렌즈를 더 포함한다. 이미징 렌즈는, 하나 이상의 제1 객체들로부터 반사된 복수의 NIR 광 펄스들 각각의 일부를 수신하여 이미지 평면에 초점을 맞추고, 하나 이상의 제2 객체들로부터 반사된 가시광을 수신하여 이미지 평면에 초점을 맞추도록 구성된 하나 이상의 렌즈 엘리먼트들을 포함한다. 이미징 렌즈는 애퍼처 스톱(aperture stop), 및 애퍼처 스톱에 포지셔닝된 필터를 더 포함한다. 필터는 제1 선형 치수를 갖은 중앙 구역, 및 중앙 구역을 둘러싸고, 제1 선형 치수보다 더 큰 제2 선형 치수를 갖는 외부 구역을 포함한다. 필터의 중앙 구역은 NIR 파장 범위의 제1 투과 대역 및 가시광 파장 범위의 제2 투과 대역을 특징으로 한다. 필터의 외부 구역은 NIR 파장 범위의 제3 투과 대역 및 가시광 파장 범위의 실질적으로 낮은 투과율 값들을 특징으로 한다. 이미징 시스템은 이미지 평면에 포지셔닝된 이미지 센서를 더 포함한다. 이미지 센서는 픽셀들의 2차원 어레이를 포함한다. 이미지 센서는 언비닝된 픽셀 해상도(unbinned pixel resolution)로 가시광 파장 범위에서 하나 이상의 제2 객체들의 2차원 강도 이미지를 검출하고, 비닝된 픽셀 해상도로 NIR 파장 범위에서 하나 이상의 제1 객체들의 비행 시간 3차원 이미지를 검출하도록 구성된다.
[0004] 본 발명의 다른 실시예에 따라, 이미징 렌즈는, 하나 이상의 제1 객체들로부터 반사된 제1 파장 범위의 광을 수신하여 이미지 평면에 초점을 맞추고, 하나 이상의 제2 객체들로부터 반사된 제2 파장 범위의 광을 수신하여 이미지 평면에 초점을 맞추도록 구성된 하나 이상의 렌즈 엘리먼트들을 포함한다. 이미징 렌즈는 애퍼처 스톱, 및 애퍼처 스톱에 포지셔닝된 필터를 더 포함한다. 필터는 제1 선형 치수를 갖는 중앙 구역, 및 중앙 구역을 둘러싸고, 제1 선형 치수보다 더 큰 제2 선형 치수를 갖는 외부 구역을 포함한다. 필터의 중앙 구역은 제1 파장 범위의 제1 투과 대역 및 제2 파장 범위의 제2 투과 대역을 특징으로 한다. 필터의 외부 구역은 제1 파장 범위의 제3 투과 대역 및 제2 파장 범위의 실질적으로 낮은 투과율 값들을 특징으로 한다.
[0005] 본 발명의 또 다른 실시예에 따라, 이미징 시스템을 동작시키는 방법이 제공된다. 이미징 시스템은 NIR(near infrared) 광원, 이미징 렌즈, 및 이미징 렌즈의 이미지 평면에 포지셔닝된 이미지 센서를 포함한다. 방법은, NIR 광원을 사용하여, 복수의 NIR 광 펄스들을 하나 이상의 제1 객체들을 향해 방출하고 ― 복수의 NIR 광 펄스들 각각의 일부는 하나 이상의 제1 객체들로부터 반사됨 ― ; 이미징 렌즈를 사용하여, 하나 이상의 제1 객체들로부터 반사된 복수의 NIR 광 펄스들 각각의 일부를 수신하여 이미지 센서에 초점을 맞추고; 그리고 방출로부터 검출까지 복수의 NIR 광 펄스들 각각의 일부에 대한 비행 시간을 결정함으로써, 이미지 센서를 사용하여, 하나 이상의 제1 객체들의 3차원 이미지를 검출함으로써, 이미징 시스템을 사용하여 3차원 감지를 수행하는 것을 포함한다. 이미징 렌즈는 애퍼처 스톱 및 애퍼처 스톱에 포지셔닝된 파장-선택성 필터를 포함한다. 파장-선택성 필터는 제1 구역 및 제1 구역을 둘러싸는 제2 구역을 갖는다. 파장-선택성 필터는 제1 구역 및 제2 구역을 통해 NIR 광을 투과시키고, 제1 구역만을 통해 가시광을 투과시키도록 구성된다. 방법은, 이미징 렌즈를 사용하여, 하나 이상의 제2 객체들로부터 반사된 또는 산란된, 주변 광원으로부터 가시광을 수신하고 이미지 센서에 초점을 맞추고; 그리고 이미지 센서를 사용하여, 하나 이상의 제2 객체들의 2차원 강도 이미지를 검출함으로써, 이미징 시스템을 사용하여 컴퓨터 비전을 수행하는 것을 더 포함한다.
[0006] 본 발명의 추가의 실시예에 따라, 제1 파장 범위 및 제2 파장 범위의 광을 감지하기 위한 이미지 센서는 픽셀들의 2차원 어레이 및 프로세서를 포함한다. 프로세서는 제1 파장 범위에서 픽셀들의 어레이의 각각의 픽셀에 대한 광 강도를 측정하고, 픽셀 그룹들의 세트에 대한 제2 파장 범위에서 광 강도들을 측정하도록 구성된다. 각각의 픽셀 그룹은 픽셀들의 어레이의 m×n 픽셀들을 포함하고, 여기서 m 및 n은 정수들이고, m 및 n 중 적어도 하나는 1보다 더 크다. 일부 실시예들에서, 제1 파장 범위는 가시광 파장들에 대응하고, 제2 파장 범위는 NIR(near infrared) 파장들에 대응한다. 일부 실시예들에서, m은 2와 동일하고, n은 2와 동일하다. 일부 실시예들에서, 픽셀 그룹들의 세트에 대해 제2 파장 범위에서 광 강도들을 측정하는 것은 m×n 픽셀들의 각각의 그룹에 대해 총 전하량을 판독하는 것을 포함한다. 일부 대안적인 실시예들에서, 픽셀 그룹들의 세트에 대해 제2 파장 범위에서 광 강도들을 측정하는 것은, 픽셀들의 어레이의 각각의 픽셀에 대한 전하량을 판독하는 것, 및 각각의 그룹 내의 m×n 픽셀들의 전하량을 합함으로써 m×n 픽셀들의 각각의 그룹에 대한 총 전하량을 계산하는 것을 포함한다.
[0007] 종래의 기술들에 비해 다수의 이점들이 본 발명에 의해 달성된다. 예컨대, 본 발명의 실시예들은, 파장-선택성 필터(wavelength-selective filter)를 자신의 애퍼처 스톱(aperture stop)으로서 활용함으로써 NIR 광에 대해 더 낮은 f-수(number) 및 가시광에 대해 더 높은 f-수를 특징으로 할 수 있는 이미징 렌즈를 제공한다. 또한, 본 발명의 실시예들은, 픽셀 비닝(pixel binning)을 사용하여 NIR 광에 대해 더 낮은 해상도 모드로 그리고 네이티브 픽셀 해상도(native pixel resolution)를 사용하여 가시광에 대해 더 높은 해상도 모드로 동작될 수 있는 이미지 센서를 제공한다. 이미징 렌즈 및 이미지 센서는, 더 빠른 렌즈 및 더 많은 광 통합(light integration)이 요구되는 경우 NIR 파장 범위에서 능동 조명을 갖는 TOF 깊이 센서로서뿐만 아니라, 더 높은 이미지 해상도 및 더 큰 피사계 심도(depth of field)가 요구되는 경우 가시광 파장 범위에서 수동 조명을 갖는 컴퓨터 비전 센서로서 사용하기에 적합할 수 있다. 이미징 렌즈는 더 낮은 포토 속도에서 가시광을 이미징할 뿐만 아니라 더 빠른 포토 속도에서 IR 광을 이미징하는 데 사용하기에 적합할 수 있다. 본 발명의 이들 및 다른 실시예들은 그의 많은 이점들 및 특징들과 함께 아래의 텍스트 및 첨부된 도면들과 관련하여 더 상세히 설명된다.
[0008] 도 1은 본 발명의 실시예에 따른 이미징 시스템을 포함하는 시스템을 개략적으로 예시한다.
[0009] 도 2는 본 발명의 실시예에 따른 이미징 렌즈 및 이미지 센서를 포함하는 이미징 시스템을 개략적으로 예시한다.
[0010] 도 3은 본 발명의 실시예에 따른 이미징 렌즈에 사용될 수 있는 파장-선택성 필터의 개략적인 평면도를 도시한다.
[0011] 도 4a는 본 발명의 실시예에 따른, 도 3에 예시된 파장-선택성 필터의 중앙 구역에 대한 파장의 함수로써 투과율 곡선을 예시하는 간략화된 플롯이다.
[0012] 도 4b는 본 발명의 실시예에 따른, 도 3에 예시된 파장-선택성 필터의 외부 구역에 대한 파장의 함수로써 투과율 곡선을 예시하는 간략화된 플롯이다.
[0013] 도 5는 본 발명의 일부 실시예들에 따른 파장-선택성 필터의 개략적인 단면도를 예시한다.
[0014] 도 6은 본 발명의 일부 실시예들에 따른 개략적인 이미징 시스템을 예시한다.
[0015] 도 7은 본 발명의 일부 실시예들에 따른, 필드 포인트(예컨대, 특정 입사 각도로 시준된 광선들)에 대한 예시적인 이미징 시스템의 광선 추적 도면을 도시한다.
[0016] 도 8은 본 발명의 일부 실시예들에 따른 광선 추적에 의해 시뮬레이팅된 이미지 센서에서의 강도 분포들을 도시한다.
[0017] 도 9는 본 발명의 일부 실시예들에 따른 이미징 시스템에 사용될 수 있는 파장-선택성 필터의 개략적인 단면도를 예시한다.
[0018] 도 10a는 본 발명의 일부 실시예들에 따른, 도 6에 도시된 파장-선택성 필터를 사용한 광선 추적 시뮬레이션으로부터의 고스트 이미지의 강도 분포를 도시한다.
[0019] 도 10b는 본 발명의 일부 실시예들에 따른, 도 9에 도시된 파장-선택성 필터를 사용한 광선 추적 시뮬레이션으로부터의 고스트 이미지의 강도 분포를 도시한다.
[0020] 도 10c는, 본 발명의 일부 실시예들에 따른, 도 6에 예시된 파장-선택성 필터를 사용한 고스트 이미지 강도 및 도 9에 예시된 파장-선택성 필터를 사용한 고스트 이미지 강도의 비율을 도시한다.
[0021] 도 11은 본 발명의 일부 다른 실시예들에 따른 파장-선택성 필터의 개략적인 단면도를 예시한다.
[0022] 도 12는 본 발명의 일부 실시예들에 따른 파장의 함수로써, 도 11에 예시된 블랙 코팅의 투과율 곡선 및 반사율 곡선을 도시한다.
[0023] 도 13은 본 발명의 일부 실시예들에 따른 파장의 함수로써, 도 11에 예시된 제2 다중층 박막의 반사율 곡선을 도시한다.
[0024] 도 14는 본 발명의 실시예에 따른 이미지 센서의 파장의 함수로써 예시적인 양자 효율(Q.E.) 곡선을 도시한다.
[0025] 도 15는 본 발명의 실시예에 따른 이미지 센서의 평면도를 개략적으로 예시한다.
[0026] 도 16은 본 발명의 실시예에 따른 이미지 센서를 동작시키는 모드를 개략적으로 예시한다.
[0027] 도 17은 본 발명의 다른 실시예에 따른 이미징 시스템을 개략적으로 예시한다.
[0028] 도 18은 본 발명의 추가의 실시예에 따른 이미징 시스템을 개략적으로 예시한다.
[0029] 도 19는 본 발명의 실시예에 따른 이미징 시스템을 동작시키는 방법을 예시하는 간략화된 흐름도이다.
[0030] 본 발명은 일반적으로 다중 f-수 렌즈를 갖는 이미징 시스템들에 관한 것이다. 광학기에서, 렌즈의 f-수(초점 비율, f-비율, f-스톱 또는 상대적인 애퍼처로 때때로 지칭됨)는 렌즈의 초점 거리 대 입사 동공(entrance pupil)의 직경의 비율이다. f-수는, 렌즈 속도의 양적 척도(quantitative measure)인 무차원 수(dimensionless number)이다. 따라서, f-수 또는 f/#은 다음과 같이 주어진다.
Figure pat00001
여기서, f는 초점 길이이고, D는 입사 동공의 직경(유효 애퍼처)이다. 더 높은 f-수는 주어진 초점-길이 렌즈에 대한 더 작은 직경 스톱을 의미한다. 원형 스톱은 면적(A=πr2)을 갖기 때문에, 애퍼처 직경을 2 배로 하고, 따라서 f-수를 절반으로 하는 것은 4 배만큼의 광이 시스템에 들어가게 할 것이다. 반대로, 이미징 렌즈의 f-수를 증가시키는 것은 애퍼처 크기를 감소시킴으로써 카메라에 들어가는 광의 양을 감소시킨다. 예컨대, f-수를 2 배로 하는 것은 1/4 배만큼의 광이 시스템에 들어가게 할 것이다.
[0031] f-수를 2 배로 할 때 동일한 사진 노출(photographic exposure)을 유지하기 위해, 노출 시간은 4 배 길이가 될 필요가 있을 것이거나, 대안적으로, 조명은 오리지널 레벨의 4 배 높은 레벨로 증가될 필요가 있을 것이다. f-수를 증가시키는 것은, 피사계 심도(DoF)를 증가시키고, 이미지의 공간 해상도(예컨대, 변조 전달 함수 또는 MTF로 측정됨)를 증가시키는 이점을 가질 수 있다.
[0032] 도 1은 본 발명의 실시예에 따른 이미징 시스템(102) 및 조명 소스(104)를 포함하는 시스템(100)을 개략적으로 예시한다. 시스템(100)은, 도 1에 도시된 바와 같이, 가상 현실(VR) 또는 증강 현실(AR) 경험들을 위해 사용자가 착용할 수 있는 고글에 통합될 수 있다. 시스템(100)은 VR 및 AR 경험들을 생성하기 위한 다른 광학 및 전자 컴포넌트들을 포함할 수 있다.
[0033] 일 실시예에서, 이미징 시스템(102) 및 조명 소스(104)는 비행 시간(TOF) 깊이 감지를 위해 사용될 수 있다. 조명 소스(104)는 복수의 레이저 펄스들을 방출하도록 구성될 수 있다. 복수의 레이저 펄스들 각각의 일부는 사용자 앞의 객체로부터 반사될 수 있다. 하나 이상의 객체들로부터 반사되는 복수의 레이저 펄스들 각각의 일부는 이미징 시스템(102)에 의해 수신 및 이미징될 수 있다. 이미징 시스템(102)은 방출로부터 검출까지의 레이저 펄스들 각각에 대한 비행 시간을 결정하도록 구성되어, 이로써 사용자로부터의 객체의 거리를 결정할 수 있다. 조명 소스(104)는 VCSEL(vertical-cavity surface-emitting laser)와 같은 레이저 소스를 포함할 수 있다. 일부 실시예들에서, 레이저 소스는 NIR(near infrared) 파장 범위, 예컨대, 약 750nm 내지 약 1400nm의 파장 범위의 레이저 펄스들을 방출하도록 구성될 수 있다. 조명 소스(104)는 또한 복수의 레이저 펄스들을 시준하기 위한 시준 렌즈를 포함할 수 있다.
[0034] 일부 실시예들에서, 이미징 시스템(102)은 또한 컴퓨터 비전에 사용될 수 있다. 컴퓨터 비전에 사용될 때, 이미징 시스템(102)은, 가시광 파장 범위의 수동 주변 광에 의해 조명되는, 사용자 앞의 객체들을 이미징하도록 구성된다. TOF 깊이 감지 및 컴퓨터 비전 둘 모두에 대해 공유된 이미징 시스템을 사용함으로써, 더 낮은 비용 및 더 콤팩트한 시스템 설계가 실현될 수 있다. 이미징 시스템(102)이 AR 또는 VR 시스템의 부분으로서 위에 설명되지만, 이미징 시스템(102)은 다른 시스템들에서 사용될 수 있음이 이해되어야 한다. 다른 실시예들에서, 세계 카메라들(WC)(106 및 108)뿐만 아니라 픽처 카메라(110)는 또한 듀얼 기능들, 즉, 가시광 및 적외선 광 둘 모두의 이미징을 위해 구성될 수 있다.
[0035] 일부 실시예들에서, 시스템(100)은, 깊이 감지 및 컴퓨터 비전이 상이한 타임 슬롯들에서 교대로 수행되도록, 시간-공유 방식으로 이미징 시스템(102)을 동작시킬 수 있다. 일부 실시예들에서, 각각의 타임 슬롯의 지속기간은 약 1ms 내지 약 50ms의 범위일 수 있어서, 깊이 감지 또는 컴퓨터 비전에서 상당한 레이턴시가 없다. 다른 실시예들에서, 시스템(100)은, 아래에서 더 상세히 설명되는 바와 같이, 심도 감지 및 컴퓨터 비전을 동시에 수행하기 위해 이미징 시스템(102)을 동작시킬 수 있다.
[0036] 도 2는 본 발명의 일부 실시예들에 따른, 이중-파장 감지에 사용될 수 있는 이미징 시스템(200)을 개략적으로 예시한다. 예컨대, 이미징 시스템(200)은 NIR 파장 범위에서의 TOF 깊이 감지 및 가시광 파장 범위에서의 컴퓨터 비전 둘 모두에 사용될 수 있다. 이미징 시스템(200)은 이미징 렌즈(210), 및 이미징 렌즈(210)의 이미지 평면에 포지셔닝된 이미지 센서(220)를 포함한다. 이미징 렌즈(210)는 광학 축을 따라 배치된 하나 이상의 렌즈 엘리먼트들(216a-216e)을 포함할 수 있다. 이미징 렌즈는 입사 동공 크기를 규정할 수 있는 애퍼처 스톱(212)을 더 포함할 수 있다. 렌즈 시스템에서, 이미지에 도달하는 광의 양을 결정하는 제한 직경은 애퍼처 스톱이라 불린다. 일부 실시예들에서, 애퍼처 스톱은 합성 이미징 렌즈의 정면 근처에 포지셔닝될 수 있다. 일부 다른 실시예들에서, 애퍼처 스톱은 (예컨대, 도 2에 예시된 바와 같이) 합성 이미지 렌즈의 렌즈 엘리먼트들의 2개의 그룹들 사이에 포지셔닝될 수 있다. 이러한 경우들에서, 입사 동공 크기는, 애퍼처 스톱에 선행하는 렌즈 엘리먼트들에 의해 형성된 애퍼처 스톱의 이미지에 의해 결정된다. 다음에서, 입사 동공 크기가 애퍼처 스톱 크기와 동일하다고 가정된다.
[0037] 이미징 시스템(200)이 TOF 깊이 감지에 사용될 때, 상대적으로 낮은 전력 레이저 소스가 능동 조명에 사용될 수 있도록, 이미징 렌즈(210)를 고속 렌즈로서 구성하는 것이 유리할 수 있다. 저전력 조명은, 다른 이점들 중에서도, 더 낮은 비용, 더 작은 폼 팩터 및 더 낮은 전력 소비로 이어질 수 있다. 일부 경우들에서, 예컨대, 약 f/1 내지 약 f/1.4의 범위의 비교적 낮은 f/#이 TOF 깊이 감지에 바람직할 수 있다. 대조적으로, 이미징 시스템(200)이 컴퓨터 비전에 사용될 때, 더 높은 공간 해상도 및 더 큰 피사계 심도(DoF)가 달성될 수 있도록, 이미징 렌즈(210)를 저속 렌즈로서 구성하는 것이 유리할 수 있다. 일부 경우들에서, 예컨대, 약 f/2 내지 약 f/2.8의 범위의 비교적 높은 f/#이 컴퓨터 비전에 바람직할 수 있다. 이미징 시스템(200)은, 상이한 파장 범위들의 광을 감지하기 위해(예컨대, 적외선 감지 및 가시광 감지를 위해) 상이한 렌즈 속도들을 갖는 것이 바람직할 수 있는 다른 애플리케이션들에 적용될 수 있다.
[0038] 본 발명의 실시예에 따라, 이미징 렌즈(210)는, 파장-선택성 필터로서 기능할 수 있는 애퍼처 스톱(212)에 포지셔닝된 필터(214)를 포함한다. 도 3은 본 발명의 실시예에 따른 이미징 렌즈(210)에 사용될 수 있는 필터(214)의 개략적인 평면도를 도시한다. 필터(214)는 또한 2개의 구역들: 제1 직경(D1)을 갖는 중앙(예컨대, 원형) 구역(310) 및 중앙 구역(310)을 둘러싸는 외부(예컨대, 환형) 구역(320)을 포함할 수 있다. 외부 구역(320)은 자신의 외부 직경으로서 제2 직경(D2)을 특징으로 한다. 제2 직경(D2)은 애퍼처 스톱(212)의 직경과 실질적으로 동일할 수 있다. 중앙 구역(310)이 도 3에서 원형 형상을 갖는 것으로 도시되지만, 타원형, 정사각형, 직사각형 형상들과 같은 다른 형상들이 또한 사용될 수 있음이 이해되어야 한다. 유사하게, 외부 구역(320)이 도 3에서 환형 형상을 갖는 것으로 도시되지만, 다른 형상들이 또한 가능하다.
[0039] 도 4a는 본 발명의 일 실시예에 따른 필터(214)의 중앙 구역(310)에 대한 파장의 함수로써의 예시적인 투과율 곡선의 플롯이다. 도 4b는 본 발명의 일 실시예에 따른 필터(214)의 외부 구역(320)에 대한 파장의 함수로써의 예시적인 투과율 곡선의 플롯이다. 도 4a에 예시된 바와 같이, 필터(214)의 중앙 구역(310)은 NIR 파장 범위(예컨대, 약 800nm 내지 약 950nm)의 제1 투과 대역(430) 및 가시광(VIS) 파장 범위(예컨대, 약 400nm 내지 약 700nm)의 제2 투과 대역(440)을 갖도록 구성될 수 있다. 따라서, 중앙 구역(310)은 NIR 및 가시광 파장 범위들 둘 모두에서 높은 투과율 값들을 특징으로 할 수 있다. 도 4b에 예시된 바와 같이, 외부 구역(320)은 NIR 파장 범위(예컨대, 약 800nm 내지 약 950nm)에서 단지 하나의 투과 대역(450)을 갖도록 구성될 수 있어서, 외부 구역(320)은 NIR 파장 범위에서 높은 투과율 값들이지만 가시광 파장 범위에서 낮은 투과율 값들을 특징으로 한다.
[0040] 일부 실시예들에서, 필터(214)는 유리와 같은 투명 기판의 표면에 형성된 다중층 박막 스택을 포함할 수 있다. 다중층 박막은 상이한 굴절률들의 2개 이상의 재료들로 구성된 주기적 층 시스템을 포함할 수 있다. 이러한 주기적 시스템은, 하나 이상의 원하는 파장 범위들에서 표면의 투과율을 상당히 향상시키면서, 다른 파장 범위들에서 표면의 투과율을 억제하도록 엔지니어링될 수 있다. 최대 투과율은 스택의 층들의 수가 증가함에 따라 거의 100%까지 증가될 수 있다. 다중층 박막 스택을 구성하는 층들의 두께들은 일반적으로 1/4 파장(quarter-wave)이고, 투과된 빔들이 투과를 최대화하고 반사를 최소화하기 위해 보강 간섭하도록 설계된다. 일 실시예에서, 중앙 구역(310)의 다중층 박막 스택은 2개의 높은 투과율 대역들을 갖는데, 하나의 대역은 가시광 파장 범위에 있고, 다른 대역은 NIR 파장 범위에 있고, 다른 모든 파장들에 대해 낮은 투과율을 갖도록 엔지니어링될 수 있다. 환형 구역(320)의 다중층 박막 스택은 NIR 파장 범위에서 단지 하나의 높은 투과율 대역을 갖고, 모든 다른 파장에 대해 낮은 투과율 대역을 갖도록 엔지니어링될 수 있다. 다른 실시예들에서, 다른 타입들의 대역 통과 필터들, 이를테면, 메타표면 필터(metasurface filter)가 사용될 수 있다.
[0041] 도 5는 본 발명의 일부 실시예들에 따른 파장-선택성 필터(500)의 개략적인 단면도를 예시한다. 필터(500)는 유리 조각과 같은 투명 기판(502), 기판(502)의 전면에 배치된 제1 다중층 박막(510), 및 제1 다중층 박막(510) 상에 배치된 제2 다중층 박막(520)을 포함할 수 있다. 제1 다중층 박막(510)은 직경(D2)을 갖는 원형 형상을 가질 수 있다. 제2 다중층 박막(520)은 내부 직경(D1)과 외부 직경(D2)을 갖는 환형 형상을 가질 수 있다. 일부 실시예들에서, 필터(500)는 기판(502)의 후면 상에 반사-방지 코팅(530)을 더 포함할 수 있다.
[0042] 제1 다중층 박막(510)은, 도 4a에 예시된 바와 같이, NIR 파장 범위(예컨대, 약 800nm 내지 약 950nm)에서 제1 투과 대역(430) 및 가시광(VIS) 파장 범위(예컨대, 약 400nm 내지 약 700nm)에서 제2 투과 대역(440)을 나타내는 투과율 곡선을 갖도록 구성될 수 있다. 제2 다중층 박막(520)은, 도 4a의 파선 곡선(460)으로 예시된 바와 같이, NIR 파장 범위의 광을 투과시키고 가시광 파장 범위의 광을 차단하는 고역 통과 필터로 구성될 수 있다. 따라서, 제1 다중층 박막(510) 및 제2 다중층 박막(520)의 조합은, 필터(500)의 외부 구역에 대해 도 4b에 예시된 바와 같이, 유효 투과율 곡선(450)을 초래할 수 있다. 따라서, 필터(500)의 외부 구역은 NIR 파장 범위의 광만을 효과적으로 투과시킬 수 있는 반면에, 필터(500)의 중앙 구역은 가시광 및 NIR 파장 범위 둘 모두에서 광을 투과시킬 수 있다.
[0043] 필터(214 또는 500)가, 도 2에 예시된 바와 같이, 이미징 렌즈(210)의 애퍼처 스톱(212)에 포지셔닝될 때, 필터(214 또는 500)는 이미징되는 광의 파장 범위에 의존하여 이미징 렌즈(210)에 대해 2개의 상이한 애퍼처들을 효과적으로 발생시킬 수 있다. 도 3 및 4a-4b를 참조하면, 조명 레이저 소스(104)(도 1에 예시됨)가 NIR 파장 범위에서 동작하는 경우, NIR 광을 이미징하기 위해, 예컨대, TOF 깊이 감지를 위해 이미징 렌즈(210)가 사용될 때, NIR 광은 필터(214)의 중앙 구역(310) 및 외부 구역(320) 둘 모두를 통해 투과된다. 따라서, NIR 광에 대한 이미징 렌즈(210)의 유효 애퍼처는 제2 직경(D2)이다. 조명이 주변 가시광으로부터 오는 경우, 가시광을 이미징하기 위해, 예컨대, 컴퓨터 비전을 위해 이미징 렌즈(210)가 사용될 때, 가시광은 중앙 구역(310)만을 통해 투과된다. 따라서, 가시광에 대한 이미징 렌즈(210)의 유효 애퍼처는 제1 직경(D1)이다. 파장-선택성 필터(214)를 갖는 이미징 렌즈(210)는, 상이한 파장 범위들의 광을 감지하기 위해 상이한 렌즈 속도들을 갖는 것이 바람직할 수 있는 다른 애플리케이션들에 적용될 수 있다.
[0044] 이미징 렌즈(210)가 초점 길이(f)를 갖는다고 가정된다. 이미징 렌즈가 가시광을 이미징하는 데 사용될 때, 이미징 렌즈(210)는 다음과 같이 주어진 가시광에 대한 제1 f/#을 특징으로 할 수 있다.
Figure pat00002
이미징 렌즈가 NIR 광을 이미징하는 데 사용될 때, 이미징 렌즈(210)는 다음과 같이 주어진 NIR 광에 대한 제2 f/#을 특징으로 할 수 있다
Figure pat00003
[0045] 따라서, 이미징 렌즈(210)는 NIR 파장 범위에서 TOF 깊이 감지를 위해 상대적으로 낮은 f/#NIR, 및 가시광 파장 범위에서 컴퓨터 비전을 위해 상대적으로 높은 f/#VIS를 갖도록 구성될 수 있다. TOF 깊이 감지에 대해, 더 낮은 f/#는, 더 많은 능동 조명 NIR 광이 이미징 렌즈(210)를 통과할 수 있음을 의미한다. 따라서, 상대적으로 낮은 전력 레이저 소스가 조명에 사용될 수 있으며, 이는, 다른 이점들 중에서도 더 낮은 비용, 더 작은 폼 팩터, 및 더 낮은 전력 소비를 초래할 수 있다. 일부 실시예들에서, D2의 값은, f/#NIR이 약 f/1 내지 약 f/1.4의 범위에 있도록 선택될 수 있다.
[0046] 가시광 파장 범위의 컴퓨터 비전에 대해, 더 높은 f/#는, 다른 이점들 중에서도, 이미지 평면에서의 더 높은 공간 해상도((예컨대, MTF에 의해 측정됨) 및 더 큰 DoF를 제공할 수 있다. 실제로, 경우에 따라 가시광선을 이미징 할 때 f/# 가 낮아지는 것이 바람직하지 않을 수 있다. 아래에서 더 완전히 설명되는 바와 같이, 이미지 센서들은 전형적으로 NIR 파장 범위보다 가시광 파장 범위에서 더 높은 양자 효율들을 갖는다. 따라서, 이미지 센서는, 고속 렌즈가 가시광을 이미징하는 데 사용될 때 포화될 수 있다. 일부 실시예들에서, D1의 값은, f/#VIS가 약 f/2 내지 약 f/2.8의 범위에 있도록 선택될 수 있다. VIS 모드와 NIR 모드 간의 강도 비율은, 그에 따라서 비율 D1/D2를 설정함으로써 제어할 수 있다. 일부 실시예들에서, D1/D2의 비율은 약 0.4 내지 약 0.6의 범위로 선택될 수 있다. 일 실시예에서, D1/D2의 비율은 약 0.5가 되도록 선택될 수 있어서, f/#VIS의 값은 f/#NIR의 값의 약 2 배 크다.
[0047] 도 6은 일부 실시예들에 따른 개략적인 이미징 시스템을 예시한다. 이미징 시스템은 파장-선택성 필터(600), 광학 렌즈(610) 및 이미지 센서(620)를 포함할 수 있다. 예시의 간략화를 위해, 도 6의 광학 렌즈(610)에 대해 단일 렌즈 엘리먼트가 도시되지만, 광학 렌즈(610)는 몇몇의 렌즈 엘리먼트들을 포함할 수 있다. 필터(600)는 유리 조각과 같은 투명 기판(602), 제1 직경(D1)을 갖는 원형 형상을 갖는 제1 다중층 박막(604), 및 제1 다중층 박막(604)을 둘러싸고 D2의 외부 직경을 갖는 환형 형상을 갖는 제2 다중층 박막(606)을 포함할 수 있다. 위에 논의된 바와 같이, 제1 다중층 박막(604)은 가시광 및 NIR 파장 범위들 둘 모두에 대해 높은 투과율을 갖도록 구성될 수 있고, 제2 다중층 박막(606)은 NIR 파장 범위에 대해서만 높은 투과율을 갖도록 구성될 수 있다.
[0048] 도 6에 예시된 바와 같이, 가시광 파장 범위의 인입 광선은 제1 다중층 박막(604)에 의해 투과되고, 실선 화살표들로 표현된 광 경로로 예시된 바와 같이, 이미지 센서에서 이미지 스폿(622)을 형성할 수 있다. 인입 광 중 일부는 이미지 센서(620)에 의해 반사되고, 점선 화살표들로 표현된 광 경로로 예시된 바와 같이, 제2 다중층 박막(606)의 후면에 입사할 수 있다. 제2 다중층 박막(606)이 가시광 파장 범위에서 낮은 투과율 값들 및 높은 반사율 값들을 갖도록 구성되기 때문에, 가시광 파장 범위의 인입 광에 대해, 반사된 광은 제2 다중층 박막(606)에 의해 반사될 수 있다. 제2 다중층 박막(606)에 의해 반사된 광은 이미지 센서(620)에서 고스트 이미지(624)를 형성할 수 있다. 제2 다중층 박막(606)이 NIR 파장 범위에서 높은 투과율 값들을 갖도록 구성되기 때문에, NIR 파장 범위의 인입 광에 대해, 이미지 센서(620)에 의해 반사되고 제2 다중층 박막(606)의 후면에 입사하는 광 중 일부가 제2 다중층 박막(606)에 의해 대부분 투과될 것이라는 것이 주목된다. 따라서, 필터(600)는 NIR 파장 범위의 광에 대해 상당한 고스트 이미지 문제를 제공하지 않을 수 있다.
[0049] 도 7은 일부 실시예들에 따른, 필드 포인트(예컨대, 특정 입사 각도로 시준된 광선들)에 대한 예시적인 이미징 시스템의 광선 추적 도면을 도시한다. 이미징 시스템은 파장-선택성 필터(700), 광학 렌즈(710) 및 이미지 센서(720)를 포함할 수 있다. 도 8은, 광선 추적에 의해 시뮬레이팅된 바와 같이, 이미지 센서(720)에서의 강도 분포를 도시한다. 예시된 바와 같이, 강도 분포들은 고스트 이미지(820)뿐만 아니라 이미지 포인트(810)를 도시한다. 고스트 이미지가 실제 이미지를 가릴 수 있다. 따라서, 고스트 이미지의 형성을 방지하는 것이 바람직할 수 있다.
[0050] 도 9는 일부 실시예들에 따른, 이미징 시스템에 사용될 수 있고 고스트 이미지 형성을 방지할 수 있는 파장-선택성 필터(900)의 개략적인 단면도를 예시한다. 도 6에 예시된 파장-선택성 필터(600)와 유사하게, 필터(900)는 투명 기판(602), 제1 직경(D1)을 갖는 원형 형상을 갖는, 기판(602)의 전면 상에 형성된 제1 다중층 박막(604), 및 제1 다중층 박막(604)을 둘러싸고, D2의 외부 직경을 갖는 환형 형상을 갖는, 기판(602)의 전면 상에 형성된 제2 다중층 박막(606)을 포함한다. 위에 논의된 바와 같이, 제1 다중층 박막(604)은 가시광 및 NIR 파장 범위들 둘 모두에서 높은 투과율 값들을 갖도록 구성될 수 있고, 제2 다중층 박막(606)은 NIR 파장 범위에만 높은 투과율 값들을 갖도록 구성될 수 있다.
[0051] 필터(900)는 기판(602)의 후면 상에 형성된 제3 박막(910)을 더 포함할 수 있다. 제3 박막(910)은 외부 직경(D2)과 내부 직경(D3)을 갖는 환형 형상을 가질 수 있다. D3은, 파장-선택성 필터(600)의 중앙 구역(예컨대, 제1 다중층 박막(604))을 통해 이미징 시스템에 입사하는 인입 광선들을 차단하지 않도록, 제2 다중층 박막(606)의 내부 직경(D1)보다 약간 더 클 수 있다. 일부 실시예들에서, D3의 값은 기판(602)의 두께에 의존할 수 있다. 비교적 얇은 기판(602)에 대해, D3은 D1과 비교될 수 있다. 제3 박막(910)은 가시광 파장 범위에서 높은 흡수 계수들 및 NIR 파장 범위에서 높은 투과율 값들을 갖도록 구성될 수 있다. 따라서, 제3 박막(910)은 "블랙 코팅"으로 지칭될 수 있다. 이미지 센서(620)로부터 반사된 가시광이 제3 박막(910)에 입사될 때, 그의 상당한 부분은 제3 박막(910)에 의해 흡수될 수 있고, 그의 작은 부분만이, 도 9의 더 얇은 파선 화살표들로 표현된 광 경로로 예시된 바와 같이, 제3 박막(910)에 의해 투과되고, 제2 다중층 박막(606)의 후면에 입사된다. 따라서, 고스트 이미지(624)의 강도는, "블랙 코팅"이 없는 필터(600)가 도 6에 예시된 바와 같이 사용되는 경우와 비교하여 상당히 감소될 수 있다.
[0052] 도 10a는 일부 실시예들에 따른, 도 6에 예시된 파장-선택성 필터(600)를 사용한 광선 추적 시뮬레이션으로부터의 고스트 이미지의 강도 분포를 도시한다. 도 10b는 일부 실시예들에 따른, "블랙 코팅(910)"을 포함하는, 도 9에 예시된 파장-선택성 필터(900)를 사용하는 광선 추적 시뮬레이션으로부터의 고스트 이미지의 강도 분포를 도시한다. 예시된 바와 같이, 고스트 이미지의 강도는 파장-선택형 필터(900)에 "블랙 코팅(910)"을 포함시킴으로써 상당히 감소될 수 있다. 도 10c는, "블랙 코팅"을 포함하지 않는 파장-선택성 필터(600)를 사용하는 고스트 이미지 강도, 및 "블랙 코팅(910)"을 갖는 파장-선택성 필터(900)를 사용하는 고스트 이미지 강도의 비율을 도시한다. 예시된 바와 같이, 고스트 이미지 강도는, 파장-선택 필터(900)에 "블랙 코팅(910)"을 포함시킴으로써 20배만큼 감소될 수 있다.
[0053] 도 11은 일부 다른 실시예들에 따른 파장-선택성 필터(1100)의 개략적인 단면도를 예시한다. 필터(1100)는 투명 기판(1102), 기판(1102)의 전면 상에 형성된 제1 다중층 박막(1110)을 포함할 수 있다. 제1 다중층 박막(1110)은, 도 4a에 예시된 바와 같이, NIR 파장 범위에서 제1 투과 대역(430) 및 가시광 파장 범위에서 제2 투과 대역(440)을 갖도록 구성될 수 있다. 필터(1100)는 제1 다중층 박막(1110)의 외부 구역 상에 형성된 제2 다중층 박막(1120)을 더 포함할 수 있다. 제2 다중층 박막(1120)은 도 5에 예시된 파장-선택성 필터(500)와 유사한 고대역 통과 필터가 되도록 구성될 수 있다. 필터(1100)는 기판(1102)의 후면 상에 형성된 반사-방지 코팅(1130)을 더 포함할 수 있다. 반사-방지 코팅(1130)은 기판(1102)의 후면으로부터 반사되는 인입 광을 방지하거나 인입 광의 양을 감소시킬 수 있다. 필터(1100)는 반사-방지 코팅(1130)의 후면 상에 형성된 "블랙 코팅(1140)"을 더 포함할 수 있다. "블랙 코팅(1140)"은, 위에서 논의된 바와 같이, 가시광을 흡수하고 NIR 광을 투과시키도록 구성될 수 있다.
[0054] 도 12는 일부 실시예들에 따른, "블랙 코팅(1140)"의 투과율 곡선(1210) 및 반사율 곡선(1220)을 파장의 함수로써 도시한다. 제1 다중층 박막(1110)의 투과율 곡선(1230)이 또한 도시된다. 예시된 바와 같이, "블랙 코팅(1140)"은 약 400nm 내지 약 700nm의 가시광 파장 범위에 대해 낮은 투과율 값들 및 약 800nm 내지 약 950nm의 NIR 파장 범위에서 높은 투과율 값들을 갖도록 구성될 수 있다. "블랙 코팅(1140)"은 약 700nm 내지 약 800nm의 파장 범위에서 상대적으로 높은 반사율 값들을 가질 수 있지만, 제1 다중층 박막(1110)의 투과율 곡선(1230)에 의해 입증된 바와 같이, 이러한 파장 범위의 광이 제1 다중층 박막(1110)의 의해 대부분 차단되기 때문에, 이것은 파장-선택성 필터(1100)의 성능에 상당히 영향을 주지 않을 수 있다.
[0055] "블랙 코팅(1140)"이 가시광 파장 범위에서 낮은 반사율 값들 및 낮은 투과율 값들 둘 모두를 갖는다는 것이 주목된다. 따라서, "블랙 코팅(1140)"은 가시광을 실질적으로 흡수하고, 이로써 (도 9에 예시된 바와 같이) 이미지 센서(620)로부터 반사된 가시광이 투과되고 제2 다중층 박막(606)의 후면 상에 입사되어 이미지 센서(620) 상에 고스트 이미지(624)를 형성하는 것을 방지한다. 대조적으로, 반사-방지 코팅(1130)은 일반적으로 낮은 반사율 값들을 갖지만 높은 투과율 값들을 갖도록 구성된다. 따라서, 이미지 센서(620)로부터 반사된 가시광은 반사-방지 코팅(1130)에 의해 투과되고, "블랙 코팅(1140)"의 부재 시에 이미지 센서(620) 상에 고스트 이미지(624)를 형성하기 위해 제2 다중층 박막(1120)에 의해 반사될 수 있다.
[0056] 도 13은 일부 실시예들에 따른 파장의 함수로써 제2 다중층 박막(1120)의 반사율 곡선(1310)을 도시한다. 예시된 바와 같이, 제2 다중층 박막(1120)은 약 800nm 내지 약 950nm의 NIR 파장 범위에서만 낮은 반사율 값들(따라서 높은 투과율 값들)을 갖고, 모든 다른 파장들에 대해 상대적으로 높은 반사율 값들을 갖도록 구성될 수 있다. 도 13은 또한 "블랙 코팅(1140)"의 반사율 곡선(1220)뿐만 아니라 제1 다중층 박막(1110)의 투과율 곡선(1230)을 도시한다. 예시된 바와 같이, 가시광 파장 범위에서 "블랙 코팅(1140)"의 낮은 반사율 값들은 가시광 파장 범위에서의 광의 반사를 감소시키고, 이로써 고스트 이미지의 강도를 감소시킬 수 있다.
[0057] 도 14는 본 발명의 실시예에 따른, 도 2에 예시된 바와 같은 이미징 시스템(200)에서 사용될 수 있는 이미지 센서(220)의 파장의 함수로써 예시적인 양자 효율(Q.E.) 곡선(1410)을 도시한다. 예시된 바와 같이, 가시광(VIS) 파장 범위에서의 이미지 센서(220)의 양자 효율은 NIR 파장 범위에서의 양자 효율의 4 배가 될 수 있다. 따라서, 낮은 f/# 렌즈는 너무 많은 가시광이 이미징 렌즈(210)를 통해 이미지 센서(220)로 전달될 수 있게 할 수 있고, 이미지 센서(220)를 포화시킬 수 있다.
[0058] 일부 실시예들에서, 도 2에 예시된 이미징 시스템(200)의 이미지 센서(220)는, 광을 픽셀 셀들의 2차원 어레이의 전자들로 변환하는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 디바이스를 포함할 수 있다. 도 15는 본 발명의 실시예에 따른 이미지 센서(220)의 평면도를 개략적으로 예시한다. 이미지 센서(220)는 픽셀 셀들(222)의 2차원 어레이를 포함할 수 있다. 각각의 픽셀 셀(222)의 축적된 전하의 값은 이미지의 강도 분포를 획득하도록 판독될 수 있다. 이미징 시스템(200)이 가시광 파장 범위에서 컴퓨터 비전에 사용될 때, 이미지 센서(220)에서 가장 높은 가능한 공간 해상도를 가지는 것이 바람직할 수 있다. 반면에, 이미징 시스템(200)이 NIR 파장 범위에서 TOF 깊이 감지에 사용될 때, 더 양호한 SNR(signal to noise ratio)을 달성하기 위해 픽셀 해상도를 희생하고서 더 많은 광을 통합하는 것이 유리할 수 있다.
[0059] 본 발명의 일부 실시예들에 따라, 이미지 센서(220)는 가시광 파장 범위 및 NIR 파장 범위에 대해 상이한 해상도 모드들로 동작될 수 있다. 일 실시예에서, 이미지 센서(220)는 가시광 파장 범위에 대해 네이티브 해상도로, 즉, 이미지 센서의 물리적 픽셀 크기가 지원할 수 있는 최대 가능한 해상도로 동작될 수 있다. 따라서, 가시광 파장 범위에서 컴퓨터 비전에 대해, 이미지 센서(220)는 각각의 픽셀 셀(222)의 축적된 전하가 판독되도록 동작될 수 있다.
[0060] NIR 파장 범위에 대해, 이미지 센서(220)는 더 큰 광 통합을 위해 네이티브 해상도보다 더 낮은 해상도로 동작될 수 있다. 도 16은 본 발명의 실시예에 따른 이미지 센서(220)를 동작시키는 모드를 개략적으로 예시한다. 픽셀 셀들(222)의 2차원 어레이는 2×2 그룹들(224)로 비닝될 수 있다. 각각의 그룹(224)은 4개의 픽셀 셀들(222a-222d)을 포함한다. 이러한 동작 모드는 이미지 센서 픽셀 비닝으로 지칭될 수 있다. 다른 실시예들에서, 다른 비닝 구성들이 사용될 수 있다. 예컨대, 이미지 센서(220)의 픽셀 셀들(222)은 n×n 그룹들로 비닝될 수 있으며, 여기서 n은 1보다 더 큰 정수이다. 이미지 센서의 픽셀들은 또한 m×n 그룹들로 비닝될 수 있으며, 여기서 m 및 n은 정수들이고, m 및 n 중 적어도 하나는 1보다 더 크며, m은 n과 동일하거나 동일하지 않을 수 있다. 픽셀들을 비닝함으로써, 공간 해상도는 네이티브 해상도와 비교하여 감소될 수 있다. 이미지 센서(220)가 파장-선택성 필터(214, 500, 600, 900, 또는 1100)를 포함하는 이미징 시스템에 사용될 때, 더 큰 유효 애퍼처 크기로 인해, 이미징 시스템의 공간 해상도(예컨대, 변조 전달 함수 또는 MTF로 측정됨)가 NIR 파장 범위에서 더 낮을 수 있기 때문에, 이미지 센서에서의 공간 해상도 감소는 해롭지 않을 수 있다. 비닝에 의해 더 큰 광 통합이 제공되는 경우, 상대적으로 낮은 전력 레이저 소스가 능동 조명에 사용될 수 있다. 더 낮은 전력 조명은, 다른 이점들 중에서도, 더 낮은 비용, 더 작은 폼 팩터 및 더 낮은 전력 소비로 이어질 수 있다.
[0061] 일 실시예에서, 비닝은 아날로그 레벨에서 수행될 수 있으며, 여기서 각각의 그룹 내의 m×n 픽셀들에 대한 총 축적된 전하의 값이 판독된다. 이 경우들에서는, 판독 노이즈가 추가되지 않는다. 다른 실시예에서, 비닝은 디지털 레벨에서 수행될 수 있으며, 여기서 각각의 픽셀에 대한 축적된 전하의 값이 판독되고, 이어서 각각의 그룹 내의 m×n 픽셀들에 대해 판독된 값들이 합산된다. 이러한 경우들에서는, 판독 노이즈가 합산 프로세스에서 추가된다. 따라서, 추후 실시예는, 판독 노이즈가 상대적으로 낮은 경우에 더 적절할 수 있다.
[0062] 위에 설명된 바와 같이, 도 2에 예시된 이미징 시스템(200)은, 자신의 애퍼처 스톱에서 파장-선택성 필터(214)를 활용함으로써 NIR 광에 대해 더 낮은 f-수 및 가시광에 대해 더 높은 f-수를 특징으로 할 수 있는 이미징 렌즈(210), 및 픽셀 비닝을 사용하여 NIR 광에 대해 더 낮은 해상도 모드로 그리고 가시광에 대해 더 높은 해상도 모드로 동작될 수 있는 이미지 센서(220)를 포함할 수 있다. 이미징 시스템(200)은, 더 빠른 렌즈 및 더 많은 광 통합이 요구되는 NIR 파장 범위에서 능동 조명을 갖는 TOF 깊이 센서뿐만 아니라 더 높은 이미지 해상도 및 더 큰 피사계 심도가 요구되는 가시광 파장 범위에서 수동 조명을 갖는 컴퓨터 비전 센서로서 사용하기에 적합할 수 있다.
[0063] 도 17은 본 발명의 다른 실시예에 따른 이미징 시스템(1700)을 예시하는 개략도이다. 이미징 시스템(1700)은 복수의 렌즈 엘리먼트들(1702a-1702f), 및 애퍼처 스톱(212)에 포지셔닝된 필터(214)를 포함할 수 있다. 이미징 시스템(800)은 필터(214) 다음에 광학 경로 내에 포지셔닝된 이색성 빔 스플리터(dichroic beam splitter)(1710)를 더 포함할 수 있다. 이색성 빔 스플리터(1710)는 제1 광 경로를 따라 가시광을 투과시키고, 제2 광 경로를 따라 IR 광을 반사시키도록 구성될 수 있다. 이미징 시스템(1700)은 가시광에 대해 제1 이미지 센서(1720)(VIS 센서), 및 IR 광에 대해 제2 이미지 센서(1730)(IR 센서)를 더 포함할 수 있다. 제1 이미지 센서(1720)는 제1 광 경로를 따라 배치되고, 이색성 빔 스플리터(1710)에 의해 투과된 가시광을 수신하도록 구성된다. 제2 이미지 센서(1730)는 제2 광 경로를 따라 배치되고, 이색성 빔 스플리터(1710)에 의해 반사된 IR 광을 수신하도록 구성된다. 이러한 방식으로, 가시광 및 IR 광은 제1 이미지 센서(1720) 및 제2 이미지 센서(1730)에 의해 각각 동시에 이미징될 수 있다. 이러한 구성에서, 제1 이미지 센서(1720)에 대한 제1 광 경로 및 제2 이미지 센서(1730)에 대한 제2 광 경로는 서로 수직이다.
[0064] 도 18은 본 발명의 또 다른 실시예에 따른 이미징 시스템(1800)을 예시하는 개략도이다. 이미징 시스템(1800)은 또한 필터(214) 다음에 포지셔닝되고 제1 광학 경로를 따라 가시광을 투과시키고 제2 광학 경로를 따라 IR 광을 반사시키도록 구성된 이색성 빔 스플리터(1710)를 포함한다는 점에서 이미징 시스템(1700)과 유사하다. 이미징 시스템(1800)은 제2 광 경로를 따라 포지셔닝되고 IR 광을 제2 이미지 센서(1730)를 향해 반사시키도록 구성된 미러(1810)를 더 포함한다. 이 구성에서, 제1 이미지 센서(1720)에 대한 제1 광 경로와 제2 이미지 센서(1730)에 대한 제2 광 경로는 서로 평행하다. 이미징 시스템(1800)은, 제2 이미지 센서(1730)에서 IR 광의 초점을 다시 맞추기 위해 제2 광 경로를 따라 미러(1810) 다음에 포지셔닝된 렌즈 엘리먼트(1820)를 더 포함할 수 있다.
[0065] 도 19는 본 발명의 실시예에 따른 이미징 시스템을 동작시키는 방법(1900)을 예시하는 간략화된 흐름도이다. 방법(1900)은 이미징 시스템을 사용하여 3차원 감지를 수행하는 것을 포함한다. 일부 실시예들에서, 3차원 감지를 수행하는 것은 제1 타임 슬롯에서 수행된다. 이미징 시스템은 NIR(near infrared) 광원, 이미징 렌즈, 및 이미징 렌즈의 이미지 평면에 포지셔닝된 이미지 센서를 포함할 수 있다.
[0066] 실시예에서, NIR 광원을 사용하여, 복수의 NIR 광 펄스들을 하나 이상의 제1 객체들을 향해 방출함으로써, 3차원 감지가 수행될 수 있다(1910). 복수의 NIR 광 펄스들 각각의 일부는 하나 이상의 제1 객체들로부터 반사될 수 있다. 방법은 또한, 이미징 렌즈를 사용하여, 하나 이상의 제1 객체들로부터 반사된 복수의 NIR 광 펄스들 각각의 일부를 수신하여 이미지 센서에 초점을 맞추는 것을 포함한다(1912). 이미징 렌즈는 애퍼처 스톱 및 애퍼처 스톱에 포지셔닝된 파장-선택성 필터를 포함할 수 있다. 파장-선택성 필터는 제1 구역 및 제1 구역을 둘러싸는 제2 구역을 가질 수 있다. 일 실시예에서, 파장-선택성 필터는 NIR 광을 제1 구역 및 제2 구역 둘 모두를 통해 투과시키고, 가시광을 제1 구역만을 통해 투과시키도록 구성된다. 방법은, 이미지 센서를 사용하여, 방출로부터 검출까지의 복수의 NIR 광 펄스들 각각의 일부에 대한 비행 시간을 결정함으로써 하나 이상의 제1 객체들의 3차원 이미지를 검출하는 것을 더 포함한다(1914).
[0067] 방법(1900)은, 이미징 시스템을 사용하여 제2 타임 슬롯에서 컴퓨터 비전을 수행하는 것을 더 포함한다. 컴퓨터 비전을 수행하는 것은 제1 타임 슬롯 다음의 제2 타임 슬롯에서 수행될 수 있다. 실시예에서, 컴퓨터 비전은, 이미징 렌즈를 사용하여, 하나 이상의 제2 객체들로부터 반사된 또는 산란된, 주변 광원으로부터의 가시광을 수신하여 이미지 센서에 초점을 맞추고(1916), 이미지 센서를 사용하여, 하나 이상의 제2 객체들의 2차원 강도 이미지를 검출(1918)함으로써 수행될 수 있다. 일부 실시예들에서, 제2 객체들 중 일부는 위에 설명된 단계들(1910-1914)에서 이미징된 제1 객체들 중 일부와 동일할 수 있다.
[0068] 본 발명의 실시예에 따라, 이미지 센서는 픽셀들의 2차원 어레이를 포함한다. 일부 실시예들에서, 하나 이상의 제1 객체들의 3차원 이미지를 검출하는 것은, m×n 픽셀들의 각각의 그룹에 대한 총 전하량을 판독함으로써 수행되며, 여기서 m 및 n은 정수들이고, m 및 n 중 적어도 하나는 1보다 더 큰 정수이다. 일부 다른 실시예들에서, 하나 이상의 제1 객체들의 3차원 이미지를 검출하는 것은, 픽셀들의 2차원 어레이의 각각의 픽셀에 대한 전하량을 판독하고, 각각의 그룹 내의 m×n 픽셀들의 전하량을 합함으로써 m×n 픽셀들의 각각의 그룹에 대한 총 전하량을 계산함으로써, 수행되고, 여기서 m 및 n은 정수들이고, m 및 n 중 적어도 하나는 1보다 더 크다.
[0069] 일 실시예에서, 하나 이상의 제2 객체들의 2차원 강도 이미지를 검출하는 것은 픽셀들의 2차원 어레이의 각각의 픽셀에 대한 전하량을 판독함으로써 수행된다.
[0070] 일부 실시예들에서, 방법(1900)은 순차적인 타임 슬롯들에서 3차원 감지 및 컴퓨터 비전을 교대로 수행하는 것을 포함할 수 있고, 각각의 타임 슬롯의 지속기간은 약 1 ms 내지 약 50 ms의 범위일 수 있다.
[0071] 일부 다른 실시예들에서, 방법(1900)은 도 17 또는 도 18에 예시된 것과 같은 이미징 시스템을 사용하여 3차원 감지 및 컴퓨터 비전을 동시에 수행하는 것을 포함할 수 있다.
[0072] 도 19에 예시된 특정 단계들이 본 발명의 실시예에 따른 1900의 특정 방법을 제공한다는 것이 인식되어야 한다. 대안적인 실시예에 따라 다른 시퀀스들의 단계들이 또한 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 약술된 단계들을 상이한 순서로 수행할 수 있다. 또한, 도 19에 예시된 개개의 단계들은 개별 단계에 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 또한, 특정 애플리케이션들에 의존하여 부가적인 단계들이 부가 또는 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.
[0073] 또한, 본원에서 설명된 예들 및 실시예들은 단지 예시 목적들을 위한 것이고, 이에 대한 다양한 수정들 또는 변화들이 당업자에게 연상될 것이며 본 출원의 사상 및 범위 및 첨부된 청구항들의 범위 내에 포함될 것임이 이해된다.

Claims (18)

  1. 이미징 시스템으로서,
    NIR(near infrared) 파장 범위의 광 및 가시광 파장 범위의 광을 수신하고 투과(transmit)시키도록 구성된 제1 세트의 렌즈 엘리먼트들;
    애퍼처 스톱(aperture stop);
    상기 애퍼처 스톱에 포지셔닝된 필터 ― 상기 필터는:
    제1 선형 치수를 갖는 중앙 구역; 및
    상기 중앙 구역을 둘러싸고 상기 제1 선형 치수보다 큰 제2 선형 치수를 갖는 외부 구역을 포함하고,
    상기 중앙 구역은 상기 제1 세트의 렌즈 엘리먼트들을 통해 투과되는 상기 NIR 파장 범위의 광 및 상기 가시광 파장 범위의 광 둘 모두를 투과시키도록 구성되고, 그리고 상기 외부 구역은 상기 제1 세트의 렌즈 엘리먼트들을 통해 투과되는 상기 NIR 파장 범위의 광만을 투과시키도록 구성됨 ―;
    제1 광학 경로를 따라 상기 필터를 통해 투과되는 상기 NIR 파장 범위의 광을 지향시키고, 그리고 제2 광학 경로를 따라 상기 필터를 통해 투과되는 상기 가시광 파장 범위의 광을 지향시키도록 구성된 이색성 빔 스플리터(dichroic beam splitter) ― 상기 필터는 상기 제1 세트의 렌즈 엘리먼트들과 상기 이색성 빔 스플리터 사이에 배치됨 ―;
    상기 제1 광학 경로를 따라 포지셔닝된 제2 세트의 렌즈 엘리먼트들 ― 상기 제1 세트의 렌즈 엘리먼트들, 상기 애퍼처 스톱, 상기 필터, 및 상기 제2 세트의 렌즈 엘리먼트들은 제1 렌즈 시스템을 형성하고, 상기 제1 렌즈 시스템은 제1 초점 평면을 정의함 ―;
    상기 제1 광학 경로를 따라 그리고 상기 제1 렌즈 시스템의 상기 제1 초점 평면에 포지셔닝된 제1 이미지 센서 ― 상기 제1 이미지 센서는 상기 NIR 파장 범위의 광에 의해 형성된 제1 이미지를 검출하도록 구성됨 ―; 및
    상기 제2 광학 경로를 따라 포지셔닝되고 그리고 상기 가시광 파장 범위의 광에 의해 형성된 제2 이미지를 검출하도록 구성된 제2 이미지 센서를 포함하는, 이미징 시스템.
  2. 제1항에 있어서,
    상기 제1 이미지는 비행 시간(time-of-flight)에 기초하는 하나 이상의 객체들의 3-차원 이미지를 포함하는, 이미징 시스템.
  3. 제1항에 있어서,
    상기 제2 이미지는 하나 이상의 객체들의 2-차원 이미지를 포함하는, 이미징 시스템.
  4. 제1항에 있어서,
    상기 제1 렌즈 시스템은 상기 제2 선형 치수에 기초하는 상기 NIR 파장 범위의 광에 대한 f-수를 특징으로 하는, 이미징 시스템.
  5. 제4항에 있어서,
    상기 f-수는 1.0 내지 1.4의 범위를 갖는, 이미징 시스템.
  6. 제1항에 있어서,
    상기 이미징 시스템은, 상기 이색성 빔 스플리터와 상기 제2 이미지 센서 사이에 상기 제2 광학 경로를 따라 포지셔닝된 제3 세트의 렌즈 엘리먼트들을 더 포함하고,
    상기 제1 세트의 렌즈 엘리먼트들, 상기 애퍼처 스톱, 상기 필터, 상기 이색성 빔 스플리터, 및 상기 제3 세트의 렌즈 엘리먼트들은 제2 렌즈 시스템을 형성하고, 상기 제2 렌즈 시스템은 제2 초점 평면을 정의하고, 그리고 상기 제2 이미지 센서는 상기 제2 렌즈 시스템의 상기 제2 초점 평면에 포지셔닝되는, 이미징 시스템.
  7. 제6항에 있어서,
    상기 제2 렌즈 시스템은 상기 제1 선형 치수에 기초하는 상기 가시광 파장 범위의 광에 대한 f-수를 특징으로 하는, 이미징 시스템.
  8. 제7항에 있어서,
    상기 f-수는 2.0 내지 2.8의 범위를 갖는, 이미징 시스템.
  9. 제1항에 있어서,
    상기 필터의 상기 중앙 구역은 원형 형상을 갖고, 그리고 상기 필터의 상기 외부 구역은 환형 형상을 갖고, 그리고 상기 제1 선형 치수는 상기 중앙 구역의 직경이고, 그리고 상기 제2 선형 치수는 상기 외부 구역의 외부 직경인, 이미징 시스템.
  10. 제9항에 있어서,
    상기 제1 선형 치수와 상기 제2 선형 치수의 비율은 0.4 내지 0.6의 범위를 갖는, 이미징 시스템.
  11. 제1항에 있어서,
    상기 이색성 빔 스플리터와 상기 제1 이미지 센서 사이에 상기 제1 광학 경로를 따라 포지셔닝된 미러를 더 포함하는, 이미징 시스템.
  12. 제11항에 있어서,
    상기 이미징 시스템은, 제4 렌즈 엘리먼트를 더 포함하고, 상기 미러는 상기 제2 세트의 렌즈 엘리먼트들과 상기 제4 렌즈 엘리먼트 사이에 상기 제1 광학 경로를 따라 포지셔닝되는, 이미징 시스템.
  13. 제1항에 있어서,
    상기 이미징 시스템은, 상기 제1 세트의 렌즈 엘리먼트들 앞의 하나 이상의 객체들을 향해 복수의 NIR 광 펄스들을 방출하도록 구성된 NIR 광원을 더 포함하고,
    상기 복수의 NIR 광 펄스들 각각의 일부는 상기 하나 이상의 객체들로부터 반사되고, 그리고 상기 제1 이미지를 형성하는 상기 NIR 파장 범위의 광은, 상기 하나 이상의 객체들로부터 반사되는, 상기 복수의 NIR 광 펄스들 각각의 일부를 포함하는, 이미징 시스템.
  14. 이미징 시스템을 동작시키는 방법으로서,
    상기 이미징 시스템의 NIR(near infrared) 광원을 사용하여, 하나 이상의 제1 객체들을 향해 복수의 NIR 광 펄스들을 방출하는 단계 ― 상기 복수의 NIR 광 펄스들 각각의 일부는 상기 하나 이상의 제1 객체들로부터 반사됨 ―;
    상기 이미징 시스템의 제1 세트의 렌즈 엘리먼트들을 사용하여, 상기 하나 이상의 제1 객체들로부터 반사되는 상기 복수의 NIR 광 펄스들 각각의 일부, 및 하나 이상의 제2 객체들로부터 반사되거나 또는 산란되는 주변 광원으로부터의 가시광을 수신하고 투과시키는 단계;
    상기 이미징 시스템의 애퍼처 스톱에 포지셔닝된 파장-선택성 필터를 사용하여, 상기 제1 세트의 렌즈 엘리먼트들에 의해 투과되는, 상기 하나 이상의 제1 객체들로부터 반사되는 상기 복수의 NIR 광 펄스들 각각의 일부, 및 상기 하나 이상의 제2 객체들로부터 반사되거나 또는 산란되는 주변 광원으로부터의 가시광을 수신하는 단계 ― 상기 파장-선택성 필터는:
    제1 선형 치수를 갖는 중앙 구역; 및
    상기 중앙 구역을 둘러싸고 상기 제1 선형 치수보다 큰 제2 선형 치수를 갖는 외부 구역을 포함하고,
    상기 중앙 구역은 상기 제1 세트의 렌즈 엘리먼트들에 의해 투과되는, 상기 하나 이상의 제1 객체들로부터 반사되는 상기 복수의 NIR 광 펄스들 각각의 일부, 및 상기 하나 이상의 제2 객체들로부터 반사되거나 또는 산란되는 주변 광원으로부터의 가시광 둘 모두를 투과시키도록 구성되고, 그리고 상기 외부 구역은 상기 제1 세트의 렌즈 엘리먼트들을 통해 투과되는, 상기 하나 이상의 제1 객체들로부터 반사되는 상기 복수의 NIR 광 펄스들 각각의 일부만을 투과시키도록 구성됨 ―;
    상기 이미징 시스템의 이색성 빔 스플리터를 사용하여, 제1 광학 경로를 따라 상기 파장-선택성 필터를 통해 투과되는 상기 복수의 NIR 광 펄스들 각각의 일부를 지향시키는 단계;
    상기 제1 광학 경로를 따라 포지셔닝된 상기 이미징 시스템의 제2 세트의 렌즈 엘리먼트들을 사용하여, 상기 복수의 NIR 광 펄스들 각각의 일부를 수신하고 투과시키는 단계 ― 상기 제1 세트의 렌즈 엘리먼트들, 상기 애퍼처 스톱, 상기 파장-선택성 필터, 및 상기 제2 세트의 렌즈 엘리먼트들은 제1 렌즈 시스템을 형성하고, 상기 제1 렌즈 시스템은 제1 초점 평면을 정의함 ―;
    상기 제1 렌즈 시스템의 상기 제1 초점 평면에 상기 제1 광학 경로를 따라 배치되는 상기 이미징 시스템의 제1 이미지 센서를 사용하여, 상기 복수의 NIR 광 펄스들 각각의 일부를 검출하는 단계;
    상기 복수의 NIR 광 펄스들 각각의 일부에 대한 방출로부터 검출까지의 비행 시간을 결정함으로써 상기 하나 이상의 제1 객체들의 3-차원 이미지를 형성하는 단계;
    상기 이색성 빔 스플리터를 사용하여, 제2 광학 경로를 따라 상기 파장-선택성 필터를 통해 투과되는 상기 가시광을 지향시키는 단계; 및
    상기 제2 광학 경로를 따라 배치되는 상기 이미징 시스템의 제2 이미지 센서를 사용하여, 상기 하나 이상의 제2 객체들의 2-차원 강도 이미지를 검출하는 단계를 포함하는, 이미징 시스템을 동작시키는 방법.
  15. 제14항에 있어서,
    상기 파장-선택성 필터의 상기 중앙 구역은 제1 직경을 특징으로 하는 원형 형상을 갖고, 그리고 상기 파장-선택성 필터의 상기 외부 구역은 상기 제1 직경보다 큰 외부 제2 직경을 특징으로 하는 환형 형상을 갖는, 이미징 시스템을 동작시키는 방법.
  16. 제15항에 있어서,
    상기 제1 직경과 상기 외부 제2 직경의 비율은 0.4 내지 0.6의 범위를 갖는, 이미징 시스템을 동작시키는 방법.
  17. 제15항에 있어서,
    상기 이미징 시스템은, 상기 이색성 빔 스플리터와 상기 제2 이미지 센서 사이에 상기 제2 광학 경로를 따라 포지셔닝된 제3 세트의 렌즈 엘리먼트들을 더 포함하고, 그리고
    상기 제1 세트의 렌즈 엘리먼트들, 상기 애퍼처 스톱, 상기 파장-선택성 필터, 상기 이색성 빔 스플리터, 및 상기 제3 세트의 렌즈 엘리먼트들은 제2 렌즈 시스템을 형성하고, 상기 제2 렌즈 시스템은 제2 초점 평면을 정의하고, 그리고 상기 제2 이미지 센서는 상기 제2 렌즈 시스템의 상기 제2 초점 평면에 포지셔닝되는, 이미징 시스템을 동작시키는 방법.
  18. 제17항에 있어서,
    상기 제1 렌즈 시스템은 상기 외부 제2 직경에 기초하는 NIR 파장 범위의 광에 대한 제1 f-수를 특징으로 하고, 그리고 상기 제2 렌즈 시스템은 상기 제1 직경에 기초하는 가시광 파장 범위의 광에 대한 제2 f-수를 특징으로 하는, 이미징 시스템을 동작시키는 방법.
KR1020227008654A 2016-11-10 2017-11-03 다중 f-수 렌즈를 위한 방법 및 시스템 KR102507365B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662420249P 2016-11-10 2016-11-10
US62/420,249 2016-11-10
PCT/US2017/059951 WO2018089266A1 (en) 2016-11-10 2017-11-03 Method and system for multiple f-number lens
KR1020197014775A KR102377023B1 (ko) 2016-11-10 2017-11-03 다중 f-수 렌즈를 위한 방법 및 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197014775A Division KR102377023B1 (ko) 2016-11-10 2017-11-03 다중 f-수 렌즈를 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220038828A true KR20220038828A (ko) 2022-03-29
KR102507365B1 KR102507365B1 (ko) 2023-03-07

Family

ID=62064946

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197014775A KR102377023B1 (ko) 2016-11-10 2017-11-03 다중 f-수 렌즈를 위한 방법 및 시스템
KR1020227008654A KR102507365B1 (ko) 2016-11-10 2017-11-03 다중 f-수 렌즈를 위한 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197014775A KR102377023B1 (ko) 2016-11-10 2017-11-03 다중 f-수 렌즈를 위한 방법 및 시스템

Country Status (10)

Country Link
US (2) US10659701B2 (ko)
EP (2) EP3538840B1 (ko)
JP (2) JP7093773B2 (ko)
KR (2) KR102377023B1 (ko)
CN (2) CN114143435B (ko)
AU (1) AU2017356847B2 (ko)
CA (1) CA3041852C (ko)
IL (2) IL308136A (ko)
NZ (1) NZ752710A (ko)
WO (1) WO2018089266A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659701B2 (en) 2016-11-10 2020-05-19 Magic Leap, Inc. Method and system for multiple f-number lens
US11080874B1 (en) * 2018-01-05 2021-08-03 Facebook Technologies, Llc Apparatuses, systems, and methods for high-sensitivity active illumination imaging
US11334154B2 (en) 2019-01-25 2022-05-17 Magic Leap, Inc. Eye-tracking using images having different exposure times
TWI691742B (zh) 2019-02-01 2020-04-21 光芒光學股份有限公司 鏡頭
WO2020236827A1 (en) 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
TWI745745B (zh) 2019-09-10 2021-11-11 光芒光學股份有限公司 取像鏡頭與遮光元件的製作方法
FR3105453B1 (fr) * 2019-12-23 2023-08-25 Latelec Module optique pour l’éclairage et la transmission de données par la technologie Li-Fi
WO2021235778A1 (ko) * 2020-05-22 2021-11-25 주식회사 에스오에스랩 라이다 장치
US11998275B2 (en) 2020-07-15 2024-06-04 Magic Leap, Inc. Eye tracking using aspheric cornea model
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
AU2021377160A1 (en) * 2020-11-15 2023-06-22 Qioptiq Limited Retroreflection defeat filter
CN113031367A (zh) * 2021-03-12 2021-06-25 杭州海康威视数字技术股份有限公司 一种多光谱镜头和多光谱摄像机
CN115097604B (zh) * 2022-07-05 2023-10-24 杭州海康威视数字技术股份有限公司 一种多光谱镜头和一种多光谱摄像装置
WO2024013142A1 (en) * 2022-07-15 2024-01-18 Lightcode Photonics Oü Image capture device with wavelength separation device
CN115047433B (zh) * 2022-08-16 2022-11-01 杭州宇称电子技术有限公司 用于tof距离量测系统光学自动化调整方法及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light
EP2916142A1 (de) * 2014-03-06 2015-09-09 Skidata Ag Digitalkamera
US20160092731A1 (en) * 2014-08-08 2016-03-31 Fotonation Limited Optical system for an image acquisition device

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6593574B2 (en) * 1999-09-16 2003-07-15 Wayne State University Hand-held sound source gun for infrared imaging of sub-surface defects in materials
US6578987B1 (en) * 2000-05-03 2003-06-17 Vari-Lite, Inc. Intra-lens color and dimming apparatus
JP3905696B2 (ja) * 2000-11-07 2007-04-18 ペンタックス株式会社 ３次元画像入力装置
JP3726699B2 (ja) 2001-04-20 2005-12-14 日本ビクター株式会社 光学撮像装置、光学測距装置
JP2005004181A (ja) 2003-05-21 2005-01-06 Fujinon Corp 可視光・赤外光撮影用レンズシステム
US7297951B2 (en) * 2005-07-27 2007-11-20 Raytheon Company Two F-number, two-color sensor system
US7400458B2 (en) * 2005-08-12 2008-07-15 Philips Lumileds Lighting Company, Llc Imaging optics with wavelength dependent aperture stop
JP4508279B2 (ja) * 2008-07-17 2010-07-21 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
DE102008048379B4 (de) * 2008-09-22 2016-03-31 Schott Ag Verfahren zur Herstellung eines Linsen-Arrays
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
KR101925137B1 (ko) * 2010-10-29 2018-12-06 삼성전자주식회사 전기 신호를 이용하여 선택적으로 가시광선과 적외선을 투과하는 필터
US20170161557A9 (en) * 2011-07-13 2017-06-08 Sionyx, Inc. Biometric Imaging Devices and Associated Methods
US9063574B1 (en) * 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9036080B2 (en) * 2012-09-04 2015-05-19 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
KR101933994B1 (ko) * 2012-10-16 2018-12-31 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
KR20140055025A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 깊이 영상을 센싱하는 영상 센싱 장치
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
US9756263B2 (en) * 2014-05-01 2017-09-05 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US9825074B2 (en) * 2014-06-10 2017-11-21 Invisage Technologies, Inc. Layout and operation of pixels for image sensors
US9805454B2 (en) * 2014-07-15 2017-10-31 Microsoft Technology Licensing, Llc Wide field-of-view depth imaging
EP3001867B1 (en) * 2014-08-08 2017-06-21 FotoNation Limited Smartphone configured to perform biometric recognition of an iris pattern and corresponding facial features of a subject
EP3248370A4 (en) 2015-01-20 2018-09-12 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
US20160262602A1 (en) * 2015-03-09 2016-09-15 Steven Sounyoung Yu Laparoscopic Cholecystectomy With Fluorescence Cholangiography
US10043282B2 (en) * 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
KR101748260B1 (ko) * 2015-04-23 2017-06-16 엘지전자 주식회사 카메라 모듈
JP6442065B2 (ja) * 2015-09-16 2018-12-19 富士フイルム株式会社 フォーカス装置，撮像システムおよびフォーカス駆動信号出力方法
WO2017047140A1 (ja) * 2015-09-18 2017-03-23 オリンパス株式会社 内視鏡装置
US20170155873A1 (en) * 2015-11-30 2017-06-01 Sensors Unlimited, Inc. Sensor systems and methods
US10475171B2 (en) * 2016-01-22 2019-11-12 Hera Systems, Inc. Multi-camera imaging system for nanosatellites
CN105911559A (zh) * 2016-06-02 2016-08-31 中国科学院光电研究院 基于可见光-近红外-短波红外波段的激光雷达系统
US10659701B2 (en) 2016-11-10 2020-05-19 Magic Leap, Inc. Method and system for multiple f-number lens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light
EP2916142A1 (de) * 2014-03-06 2015-09-09 Skidata Ag Digitalkamera
US20160092731A1 (en) * 2014-08-08 2016-03-31 Fotonation Limited Optical system for an image acquisition device

Also Published As

Publication number Publication date
US20200244857A1 (en) 2020-07-30
AU2017356847B2 (en) 2022-11-17
US20180131853A1 (en) 2018-05-10
CA3041852A1 (en) 2018-05-17
JP7420849B2 (ja) 2024-01-23
IL308136A (en) 2023-12-01
EP3538840B1 (en) 2024-09-25
IL266393A (en) 2019-06-30
JP7093773B2 (ja) 2022-06-30
IL266393B2 (en) 2024-04-01
CA3041852C (en) 2023-07-18
JP2019537895A (ja) 2019-12-26
CN114143435B (zh) 2024-09-03
EP3538840A1 (en) 2019-09-18
JP2022066564A (ja) 2022-04-28
EP3538840A4 (en) 2019-12-04
CN114143435A (zh) 2022-03-04
EP4462799A2 (en) 2024-11-13
KR102377023B1 (ko) 2022-03-21
KR102507365B1 (ko) 2023-03-07
US11240422B2 (en) 2022-02-01
KR20190084993A (ko) 2019-07-17
WO2018089266A1 (en) 2018-05-17
AU2017356847A1 (en) 2019-05-02
CN109964097A (zh) 2019-07-02
NZ752710A (en) 2023-09-29
IL266393B1 (en) 2023-12-01
US10659701B2 (en) 2020-05-19
CN109964097B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
KR102377023B1 (ko) 다중 f-수 렌즈를 위한 방법 및 시스템
KR101680762B1 (ko) 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
JP2020526754A (ja) 電子走査型エミッタアレイ及び同期センサアレイを備えた測距デバイス
GB2601435A (en) Optical system for collecting distance information within a field
JP2019537895A5 (ko)
WO2017034712A1 (en) System and method to extend near infrared spectral response for imaging systems
CN105681687B (zh) 图像处理设备以及包括图像处理设备的移动相机
US20220210316A1 (en) Image pickup apparatus of measuring distance from subject to image pickup surface of image pickup device and method for controlling the same
US20150055116A1 (en) Range Finder and Prism Assembly Thereof
KR20220012319A (ko) 필드 각도에 따라 조명 파장을 변화시키기 위한 능동 조명 시스템들
US20230408727A1 (en) Folded optical paths incorporating metasurfaces
NZ794045A (en) Method and system for multiple f-number lens
CN112558038A (zh) 一种激光雷达的扫描方法
JP6127973B2 (ja) 撮像装置及び撮像装置用の撮像素子
RU2543688C2 (ru) Камера и оптическая система для получения 3d изображений (варианты)
JP2014174136A (ja) 受光装置、空間情報検出装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant