[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TW201625979A - 用於距離量測及／或多維成像之光電模組 - Google Patents

用於距離量測及／或多維成像之光電模組 Download PDF

Info

Publication number
TW201625979A
TW201625979A TW104137263A TW104137263A TW201625979A TW 201625979 A TW201625979 A TW 201625979A TW 104137263 A TW104137263 A TW 104137263A TW 104137263 A TW104137263 A TW 104137263A TW 201625979 A TW201625979 A TW 201625979A
Authority
TW
Taiwan
Prior art keywords
scene
pixels
light
modulated
distance
Prior art date
Application number
TW104137263A
Other languages
English (en)
Other versions
TWI706152B (zh
Inventor
柏恩哈德 布特根
莫奇 朵隆
Original Assignee
海特根微光學公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 海特根微光學公司 filed Critical 海特根微光學公司
Publication of TW201625979A publication Critical patent/TW201625979A/zh
Application granted granted Critical
Publication of TWI706152B publication Critical patent/TWI706152B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本發明描述光電模組，其在一些實施方案中解決對在近距離及遠距離之一範圍上組合場景之精確量測的需求。例如，一光電模組可包含可操作以將經調變經結構化光引導至一場景上的一光發射器。該模組包含用以接收來自該場景之經反射光信號的一成像器。該成像器包含可操作以基於該等經反射光信號而提供振幅及相位資訊之解調變像素。可使用各種技術來基於來自該等像素之該等信號而導出關於該場景之距離或三維資訊。

Description

用於距離量測及/或多維成像之光電模組 [相關申請案之交叉參考]
此申請案主張2014年11月12日申請之美國臨時專利申請案第60/078,716號之優先權權利。該較早申請案之揭示內容之全文以引用的方式併入本文中。
本發明係關於用於距離量測及/或多維成像之光電模組。
採用三角量測及/或發光技術之光電模組可用以量測至一場景之距離及/或再現一場景之一多維顯現(例如，一場景在三維中之再現或一移動場景在三維中依據時間之再現)。一三角量測技術可採用一成像器及一光發射器。一距離量測之精度及/或適用性很大程度上可依據該成像器與光發射器之間的基線距離。例如，大基線通常在距離量測中產生更小誤差；然而，更緊密接近該成像器之物件或場景可受阻(即，在該成像器或光發射器任一者之視域外)。因此，在一些情況下，較大基線更適用於較長距離之場景或物件，而在其他情況下，較小基線更適用於較短距離之場景或物件。然而，技術之微型化(例如，個人消費技術(諸如智慧型電話))阻止大基線在光電模組中用於接近量測及/或多維成像之實施。
其他技術可用於準確距離量測。使用飛行時間(TOF)技術之光電 模組適用於量測在長/遠距離處之場景之距離。TOF要求將經調變光引導至一物件/場景上之一經調變光發射器，及包含一光學總成及感測器之一成像器(TOF成像器)。該感測器包含解調變像素(TOF像素)，其等可自由一場景反射之經調變光之相位之改變導出距離資訊。該技術之精度/準確度/適用性並非強硬地取決於該TOF成像器與經調變光發射器之間的該基線距離。然而，該TOF技術可具有一些缺點；例如，自該TOF技術導出之資料可遭受多路徑距離誤差。
據此，需要一光電模組，其：1)可在短距離(例如，厘米以下)至長距離(例如，20米或甚至30米或更多)之一範圍上組合場景之精確/適當量測；2)佔據一小佔用面積；及3)減輕多路徑距離誤差。
本發明係關於光電模組，其在一些實施方案中解決對在具有一小佔用面積之一光電模組中之短/近距離至長/遠距離之一範圍上組合場景之精確、適當量測的需求且其進一步可減輕多路徑距離誤差。下文描述特定實施方案之細節。
在一態樣中，本發明描述包含一光發射器之一光電模組，該光發射器係可操作以將經調變經結構化光引導至一場景上。該模組包含用於接收來自該場景之經反射光信號之一成像器。該成像器包含解調變像素，其等係可操作以基於該等經反射光信號而提供振幅及相位資訊。
一些實施方案包含下列特徵之一或多者。例如，在一些例項中，將至少一些解調變像素一起集束化使得來自該等經集束化解調變像素之輸出信號共同地提供該振幅或相位資訊之至少一者。該模組可操作地用於動態集束化，其中一起經集束化之解調變像素之數目隨時間變化。
在一些情況下，該光發射器係可操作以不同調變頻率引導經調 變經結構化光。進一步言之，在一些實施方案中，該光發射器係可操作以在不同時間將不同經調變經結構化光圖案引導至該場景上。
在另一態樣中，本發明描述獲得一場景之距離或三維資料之一方法。該方法包含將經調變經結構化光引導至該場景上且由一成像器感測來自該場景之經反射光信號。自由該成像器之解調變像素產生之信號導出振幅及相位資訊。
一些實施方案包含下列特徵之一或多者。例如，在一些例項中，該方法包含將大量該等解調變像素一起集束化，使得由該等經集束化解調變像素產生之該等信號共同地提供該振幅或相位資訊之至少一者。在一些情況下，使該等解調變像素動態地集束化，使得該等一起經集束化之解調變像素之數目隨時間變化。該方法可包含在一第一時間週期期間將具有一第一調變頻率之經調變經結構化光引導至該場景上，及在一不同第二時間週期期間將具有一第二調變頻率之經調變經結構化光引導至該場景上。可自該振幅或相位資訊之至少一者導出該場景之距離或三維資料。
根據又另一態樣，一種方法包含在不同時間將一各自經調變經結構化光圖案引導至該場景上，其中在一特定時間被引導至該場景上之該光圖案不同於在其他時間被引導至該場景上之至少一些該等光圖案。該方法包含：在該等不同時框期間由一成像器感測來自該場景之經反射光信號；及基於來自該成像器之解調變像素之信號導出關於該場景之距離或三維資訊。一些實施方案包含使用下列之一或多者來導出該距離或三維資訊：(i)該成像器之經照明像素之間的失真；(ii)三角量測；或(iii)一飛行時間技術。
在一些實施方案中，經由相同混合感測器之飛行時間(TOF)技術及經結構化光(SL)技術之組合可提供各種優點。例如，當收集用於TOF技術及SL技術兩者之信號時可抑制背景光，此係因為用於兩技術 之該等信號使用TOF解調變像素收集之故。進一步言之，可同時收集用於TOF技術及SL技術兩者之資料。另外，可以不同調變頻率驅動經引導至一場景上之經調變經結構化光，且經調變經結構化光可經調諧用於不同距離及/或不同技術(例如，TOF及SL)。
自下文詳細描述、隨附圖式及申請專利範圍將易於明白其他態樣、特徵及優點。
100‧‧‧模組
101‧‧‧經結構化光發射器
102‧‧‧經結構化光成像器
103‧‧‧光發射器成像器基線
104‧‧‧經結構化光
105‧‧‧場景
106‧‧‧第一場景距離
107‧‧‧第二場景距離
108‧‧‧第一經結構化光照明/經反射光
109‧‧‧第二經結構化光照明/經反射光
200‧‧‧模組
201‧‧‧經調變光發射器
202‧‧‧TOF成像器
203‧‧‧發射器成像器基線
204‧‧‧經調變光
205‧‧‧場景
206‧‧‧第一場景距離
207‧‧‧第二場景距離
208‧‧‧第一經調變光反射
209‧‧‧第二經調變光反射
210‧‧‧多經反射光
300‧‧‧模組
301‧‧‧經調變經結構化光混合發射器
302‧‧‧混合TOF成像器
303‧‧‧發射器成像器基線
304‧‧‧經調變經結構化光
305‧‧‧場景
306‧‧‧第一場景距離
307‧‧‧第二場景距離
308‧‧‧第一經反射光
309‧‧‧第二經反射光
400‧‧‧混合TOF像素陣列
401‧‧‧離散像素
402‧‧‧經集束化像素
402A‧‧‧經集束化像素
402B‧‧‧經集束化像素
410‧‧‧晶片上讀出及處理電路
412‧‧‧晶片上TOF讀出及處理電路
500‧‧‧主機處理器
600‧‧‧混合TOF像素陣列
700‧‧‧像素陣列
702‧‧‧點
圖1A在一平面圖中描繪採用一經結構化光技術之一光電模組之一實例。
圖1B在另一視圖中描繪採用一經結構化光技術之光電模組。
圖2A在一平面圖中描繪採用一飛行時間技術之一光電模組之一實例。
圖2B在另一視圖中描繪採用一飛行時間技術之光電模組。
圖3A在一平面圖中描繪採用一混合技術之一光電模組之一實例。
圖3B在另一視圖中描繪採用一混合技術之光電模組。
圖4A描繪具有經集束化像素之一混合TOF像素陣列之一實例，該等經集束化像素各由25個離散像素組成。
圖4B描繪具有經集束化像素之一混合TOF像素陣列之另一實例，該等經集束化像素各由4個離散像素組成。
圖5描繪一混合TOF感測器及一主機處理器之一介面之一實例。
圖6描繪具有多尺寸經集束化像素之一混合TOF像素陣列之一實例。
圖7(其包含圖7A、圖7B及圖7C)描繪經疊加至一像素陣列上之一動態照明圖案之一實例。
在圖1A之一平面圖及圖1B之另一視圖中描繪採用一經結構化光技術之一光電模組。模組100包含由一光發射器成像器基線103分離之一經結構化光發射器101及一經結構化光成像器102。經結構化光發射器101將經結構化光104引導至一場景105(例如，一三維場景)上。經結構化光104可包含大量離散照明，例如，離散照明之一規則或不規則圖案(諸如，一規則或不規則陣列之斑點、條紋及/或點)。該場景之特徵相對於模組100以一第一場景距離106及一第二場景距離107定位。
以第一場景距離106入射於場景105上之經結構化光104導致一第一經結構化光照明108，且以第二場景距離107入射於場景105上之經結構化光104導致一第二經結構化光照明109。第一經結構化光照明108及第二經結構化光照明109分別自場景105反射且入射於經結構化光成像器102上。據此，自經反射光108、109導出場景105之距離及/或三維資料，且根據已知技術記錄及/或處理場景105之距離及/或三維資料。例如，在一些情況下，可自108與109之間的差而計算距離資料。在另外情況下，可自108及109之失真而計算距離資料。又在其他情況下，自場景105反射且入射於成像器102上之108、109可用以計算距離(例如，經由三角量測技術)。共同地，此等及類似技術在本文中稱為經結構化光(SL)技術。
在圖2A之一平面圖及圖2B之另一視圖中描繪採用一TOF技術之一光電模組。模組200包含由一發射器成像器基線203分離之一經調變光發射器201及一TOF成像器202。經調變光發射器201將經調變光204引導至一場景205(例如，一三維場景)上。經調變光204通常未經結構化，即，不採用大量離散照明；據此，該場景之特徵大部分經一致照明。該場景之特徵相對於模組200以一第一場景距離206及一第二場景距離207定位。
以第一場景距離206入射於場景205上之經調變光204導致一第一經調變光反射208，且以第二場景距離207入射於場景205上之經調變光204導致一第二經調變光反射209。第一經調變光反射208及第二經調變光反射209分別入射於TOF成像器202上。據此，可自在第一反射208中觀察之該經調變光中之一相移而導出場景205之距離及/或三維資料。類似地，可自在第二反射209中觀察之該經調變光之一相移而導出場景205之距離及/或三維資料。可如本技術中已知而記錄及/或處理場景205之該經導出距離及/或三維資料-在本文中此技術稱為一TOF技術。一般而言，經由一解調變像素(TOF像素)而觀察在反射208、209中所觀察之該等相移，該解調變像素明確言之經設計以自入射經調變光擷取相位資訊。場景205之該三維資料中之誤差可歸因於如圖2A中所描繪之多經反射光210。
圖3A及圖3B分別在一平面圖及另一視圖中描繪採用一混合技術之一光電模組。模組300包含由一發射器成像器基線303分離之一經調變經結構化光混合發射器301及一混合TOF成像器302。混合光發射器301將經調變經結構化光304引導至一場景305(例如，一三維場景)上。將經調變經結構化光304同時結構化及調變；即，其包含大量離散照明，且其以一特定頻率(例如，10兆赫茲)或若干頻率調變。因此，該場景之特徵並非一致/均勻地照明而是離散地照明。在一些情況下，經調變經結構化光304可為紅外光(例如，850奈米及/或900奈米)或其他可見光(例如，光譜之可見部分中之脈衝光)。第一經反射光308及第二經反射光309可用以在距離之一大範圍上判定第一場景距離306及第二場景距離307處之一場景之特徵的距離。
在一些例項中，當第一場景距離306及第二場景距離307相對於模組300係近/短(例如，1米或更少)時，該經調變經結構化光可用以經由如圖1A及圖1B中所描繪且結合圖1A及圖1B所討論之SL技術而計算 306、307。然而，在其他例項中，當第一場景距離306及第二場景距離307相對於模組300係遠/大(例如，10米或更多)時，該經調變經結構化光可用以經由如上文所揭示之圖2A及圖2B中所描繪且結合圖2A及圖2B所討論之經反射經調變經結構化光308、309之相移而計算306、307。又進一步言之，在中間距離(例如，1米)處，可採用TOF技術及SL技術兩者。
針對在各種距離處之場景之先前所提及技術之組合具有若干優點，(例如)自SL技術及TOF技術導出之資料可經組合以校正模組300，即，經TOF導出資料可用以校正經由SL導出之資料，其中經由SL導出之資料可能歸因於發射器與成像器之間的一未知/未經校正基線距離而係錯誤的。在另一例項中，該經組合資料可藉由交叉參考經由TOF技術及SL技術兩者獲得之距離資料而減小多路徑距離誤差。經調變經結構化光之使用可進一步減小多路徑距離誤差，此係因為該經引導經調變經結構化光包含離散照明之故；據此，產生多路徑反射之可能性減小。
在一些例項中，SL技術及TOF技術兩者之組合要求一混合TOF像素陣列。圖4A描繪一混合TOF像素陣列400之一實例。混合TOF像素陣列400包含離散TOF像素401。TOF像素401經設計以自經調變光擷取相位資訊及振幅資訊。在圖4A中所描繪之一第一實例中，像素陣列400可包含一經集束化像素402，其可包含大量離散像素401。可經由(例如)晶片上或晶片外集束化而獲得經集束化像素402。來自一經集束化像素402之一信號可包含自經集束化像素402內之離散像素401擷取之信號。此可在經結構化(非均勻)光被引導至該場景上的情況下特別有用，此係因為在此等情境下一些像素401僅可接收相對較低強度照明之故。
例如，在一些情況下，來自一單一離散像素401之一信號之量值 可能不足以提供相移資料；然而，來自一經集束化像素402之集體式信號可具有充分量值以在整個經集束化像素402上提供相移資料。進一步言之，來自一單一離散像素401之一信號之量值可足以提供針對上文所揭示之SL技術的資料。在一些情況下(例如，相對較低強度之光)，一經集束化TOF像素402可包含一大陣列之離散像素(例如，如圖4A中所描繪之25個離散像素)，而在其他情況下(例如，相對較高強度之光)，一經集束化TOF像素402可包含一較小陣列之離散像素(例如，如圖4B中所描繪之4個離散像素)。
在其他情況下，來自一單一離散像素401之一信號之量值可能不足以提供針對上文所揭示之SL技術的資料；然而，來自一經集束化像素402之集體式信號可具有充分量值以在整個經集束化像素402上提供針對該等SL技術之資料。進一步言之，來自一單一離散像素401之一信號之量值可充分提供相移資料(其中經由上文所揭示之TOF技術而導出距離資料)。
經由相同混合TOF感測器之TOF技術及SL技術之組合具有大量進一步優點。例如，當收集用於TOF技術及SL技術兩者之信號時可抑制背景光，此係因為用於兩技術之該等信號使用TOF解調變像素收集之故。進一步言之，可同時收集用於TOF技術及SL技術兩者之資料。另外，可以不同調變頻率來驅動經引導至一場景上之經調變經結構化光，且經調變經結構化光可經調諧用於不同距離及/或不同技術(例如，TOF及SL)。例如，在一些情況下，針對經結構化光使用高調變頻率可導致使用TOF技術而導出之更加精確/準確距離資料，而使用較低頻率經調變光可導致使用SL技術而導出之更加精確/準確距離資料。
圖5描繪一混合TOF感測器302及一主機處理器500之介面，諸如可經整合為一個人計算裝置(例如，一行動電話、一智慧型電話、一 平板電腦、一個人數位助理(PDA)或膝上型電腦)之部分。感測器302包含一混合像素陣列400且可包含用以讀出並處理來自離散像素之資料之晶片上讀出及處理電路410。處理電路410可產生一高解析度影像，其被提供至主機處理器500，主機處理器500使用(例如)三角量測導出一深度圖。感測器302亦可包含用以讀出並處理來自經集束化像素之資料之晶片上TOF讀出及處理電路412。電路412可(例如)使用已知TOF技術來產生一深度圖。可根據已知全深度重建技術而進一步由主機處理器500處理兩者深度圖(即，由三角量測或其他SL技術導出之深度圖及由該TOF技術導出之深度圖)以產生該場景之一三維影像或距離資料。
圖6描繪具有多尺寸經集束化像素之一混合TOF像素陣列600。在一些例項中(例如，當經由晶片外集束化而完成集束化時)，多個多尺寸經集束化像素可經採用以擷取準確/精確距離資料。陣列600包含多個經集束化像素(諸如經集束化像素402A)，其等各者具有4個離散像素401。各經集束化像素402A係像素401之一2x2陣列。陣列600亦包含多個經集束化像素(諸如經集束化像素402B)，其等各者具有25個離散像素401。各經集束化像素402B係像素401之一5x5陣列。在一些情況下，此方法可進一步用於改良該TOF技術及/或該SL技術之解析度。在其他實施方案中，經集束化像素402A、402B之尺寸可不同。
在一些例項中，可實施動態集束化用於解調變像素，使得該等一起經集束化之解調變像素之數目隨時間變化。
在其中自離散照明產生之信號之量值係量值過小而不能提供相移資料的一些例項中，可採用一負點圖案。即，經引導至場景105上之照明圖案包含一幾乎一致/均勻照明，但是具有離散孔(即，未被照明之區域)。在一些情況下，該等孔可用以提供SL資料而該幾乎一致/均勻照明可用以提供TOF資料。
圖7描繪經疊加至一像素陣列700上之一動態改變經調變經結構化光圖案之一實例。在此實例中，該混合發射器(例如，301)引導經調變經結構化照明，該經調變經結構化照明自一個時框至下一個時框係不同的。圖7繪示3個此等時框之實例，標記為(a)、(b)及(c)。針對各時框之照明圖案由點702指示。可基於下列之一或多者而獲得關於該場景之距離資料或三維資訊：(i)陣列700之經照明點之間的失真；(ii)三角量測；及/或(iii)TOF。
在一些實施方案中，動態改變該經調變經結構化照明圖案(如圖7中)可提供各種優點。例如，針對三角量測可獲得較佳解析度，且針對TOF技術可獲得良好空間解析度。多個圖案之使用可幫助減輕多路徑問題。上文所討論之該等經集束化技術亦可應用於圖7之實施方案。
可對前述實施方案做各種修改。可在相同實施方案中組合不同實施方案中之上文所所描述之特徵。因此，其他實施方案係在申請專利範圍之範疇內。
300‧‧‧模組
301‧‧‧經調變經結構化光混合發射器
302‧‧‧混合TOF成像器
303‧‧‧發射器成像器基線
304‧‧‧經調變經結構化光
305‧‧‧場景
306‧‧‧第一場景距離
307‧‧‧第二場景距離
308‧‧‧第一經反射光
309‧‧‧第二經反射光

Claims (12)

  1. 一種光電模組，其包括：一光發射器，其係可操作以將經調變經結構化光引導至一場景上；及一成像器，其接收來自該場景之經反射光信號，該成像器包括可操作以基於該等經反射光信號而提供振幅及相位資訊之複數個解調變像素。
  2. 如請求項1之光電模組，其中將至少一些解調變像素一起集束化，使得來自該等經集束化解調變像素之輸出信號共同地提供該振幅或相位資訊之至少一者。
  3. 如請求項2之光電模組，其可操作地用於動態集束化，其中該等一起經集束化之解調變像素之一數目隨時間變化。
  4. 如請求項1之光電模組，其中該光發射器係可操作以不同調變頻率來引導經調變經結構化光。
  5. 如請求項1之光電模組，其中該光發射器係可操作以在不同時間將不同經調變經結構化光圖案引導至該場景上。
  6. 一種獲得一場景之距離或三維資料之方法，該方法包括：將經調變經結構化光引導至該場景上；由一成像器感測來自該場景之經反射光信號，該成像器包含複數個解調變像素；及自由該等解調變像素產生之信號導出振幅及相位資訊。
  7. 如請求項6之方法，其包含將複數個該等解調變像素一起集束化，使得由該等經集束化解調變像素產生之該等信號共同地提供該振幅或相位資訊之至少一者。
  8. 如請求項7之方法，其包含將該等解調變像素動態地集束化，使 得該等一起經集束化之解調變像素之一數目隨時間變化。
  9. 如請求項6之方法，其包含：在一第一時間週期期間將具有一第一調變頻率之經調變經結構化光引導至該場景上；及在一不同第二時間週期期間將具有一第二調變頻率之經調變經結構化光引導至該場景上。
  10. 如請求項6至9中任一項之方法，其包含自該振幅或相位資訊之至少一者導出該場景之該距離或三維資料。
  11. 一種獲得一場景之距離或三維資料之方法，該方法包括：在不同時間將一各自經調變經結構化光圖案引導至該場景上，其中在一特定時間引導之該光圖案不同於在其他時間引導之至少一些該等光圖案；在不同時框期間由一成像器感測來自該場景之經反射光信號，該成像器包含複數個解調變像素；及基於來自該等解調變像素之信號導出關於該場景之距離或三維資訊。
  12. 如請求項11之方法，其包含使用下列之一或多者來導出該距離或三維資訊：(i)該成像器之經照明像素之間的失真；(ii)三角量測；或(iii)一飛行時間技術。
TW104137263A 2014-11-12 2015-11-11 用於距離量測及／或多維成像之光電模組，以及獲得距離或三維資料之方法 TWI706152B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462078716P 2014-11-12 2014-11-12
US62/078,716 2014-11-12

Publications (2)

Publication Number Publication Date
TW201625979A true TW201625979A (zh) 2016-07-16
TWI706152B TWI706152B (zh) 2020-10-01

Family

ID=55954737

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104137263A TWI706152B (zh) 2014-11-12 2015-11-11 用於距離量測及／或多維成像之光電模組，以及獲得距離或三維資料之方法

Country Status (3)

Country Link
US (1) US10677923B2 (zh)
TW (1) TWI706152B (zh)
WO (1) WO2016076796A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690719B (zh) * 2018-11-02 2020-04-11 大陸商光寶電子（廣州）有限公司 誤差校正系統及其方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160366395A1 (en) * 2015-06-12 2016-12-15 Microsoft Technology Licensing, Llc Led surface emitting structured light
US10942261B2 (en) * 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
EP3301477A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301479A1 (en) 2016-10-03 2018-04-04 Xenomatix NV Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
EP3301480A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
EP3301478A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3343246A1 (en) 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
JP2018146449A (ja) * 2017-03-07 2018-09-20 オムロン株式会社 ３次元形状計測装置及び３次元形状計測方法
JP6658625B2 (ja) 2017-03-08 2020-03-04 オムロン株式会社 ３次元形状計測装置及び３次元形状計測方法
CN110709722B (zh) * 2017-04-04 2023-11-24 Pmd技术股份公司 飞行时间摄像机
EP3392674A1 (en) 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
JP7253556B2 (ja) 2017-12-15 2023-04-06 ゼノマティクス・ナムローゼ・フエンノートシャップ 物体までの距離を測定するためのシステムおよび方法
JP2019163960A (ja) * 2018-03-19 2019-09-26 アズビル株式会社 検出装置
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
JP7319083B2 (ja) * 2019-04-26 2023-08-01 株式会社キーエンス 光学式変位計
US11561085B2 (en) * 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
US11580654B2 (en) 2019-12-30 2023-02-14 Qualcomm Incorporated Alternating light distributions for active depth sensing
US11563873B2 (en) 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1777811B1 (en) 2005-10-19 2018-10-03 Heptagon Micro Optics Pte. Ltd. Method and Device for the demodulation of modulated optical signals
GB0706301D0 (en) 2007-03-30 2007-05-09 E2V Tech Uk Ltd Reflective means
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US7586077B2 (en) * 2007-07-18 2009-09-08 Mesa Imaging Ag Reference pixel array with varying sensitivities for time of flight (TOF) sensor
EP2487504A1 (en) 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US8829408B2 (en) 2011-09-27 2014-09-09 Mesa Imaging Ag Sensor pixel array and separated array of storage and accumulation with parallel acquisition and readout wherein each pixel includes storage sites and readout nodes
US9329035B2 (en) * 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
JP6309459B2 (ja) 2012-02-15 2018-04-11 ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーＨｅｐｔａｇｏｎ Ｍｉｃｒｏ Ｏｐｔｉｃｓ Ｐｔｅ．Ｌｔｄ． ストライプ照明の飛行時間型カメラ
US9786252B2 (en) * 2012-09-10 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for suppressing background light in time of flight sensor
GB2506685A (en) 2012-10-08 2014-04-09 Melexis Technologies Nv Determining and/or Compensating Range Offset of a Range Sensor
EP3117238B1 (en) 2014-03-14 2022-03-02 Heptagon Micro Optics Pte. Ltd. Optical imaging modules and optical detection modules including a time-of-flight sensor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690719B (zh) * 2018-11-02 2020-04-11 大陸商光寶電子（廣州）有限公司 誤差校正系統及其方法

Also Published As

Publication number Publication date
TWI706152B (zh) 2020-10-01
WO2016076796A1 (en) 2016-05-19
US10677923B2 (en) 2020-06-09
US20170329012A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
TWI706152B (zh) 用於距離量測及／或多維成像之光電模組，以及獲得距離或三維資料之方法
Remondino et al. TOF range-imaging cameras
US11002856B2 (en) Doppler time-of-flight imaging
TWI647471B (zh) 可操作以辨認偽反射及補償由偽反射所造成之錯誤的光電模組
US20210405158A1 (en) Depth sensing using optical time-of-flight techniques through a transmissive cover
US10295657B2 (en) Time of flight-based systems operable for ambient light and distance or proximity measurements
US7737975B2 (en) Normal vector information generating device and normal vector information generating method
US10101453B2 (en) Time of flight apparatuses and an illumination source
US20190052821A1 (en) A Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly
EP3513552B1 (en) Systems and methods for improved depth sensing
US20160112696A1 (en) Imaging apparatuses and a time of flight imaging method
CN103998949A (zh) 对飞行时间信号处理的改进或与之相关的改进
WO2013052781A1 (en) Method and apparatus to determine depth information for a scene of interest
CN108370406A (zh) 摄像装置
US9258548B2 (en) Apparatus and method for generating depth image
CN113950820B (zh) 用于像素到像素信号扩散的校正
CN105717513B (zh) 一种基于普通摄像头芯片的低成本激光测距方法
KR20140143724A (ko) 높은 스루풋 및 저비용 높이 삼각측량 시스템 및 방법
CN112034485A (zh) 利用飞行时间相机的反射率感测
KR20210032669A (ko) 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법
US9785824B2 (en) Apparatus and a method for detecting a motion of an object in a target space
Shi et al. Depth sensing with coding-free pattern based on topological constraint
US9228829B2 (en) Method and system for measuring distance
CN112986961A (zh) 一种发射模组、电子设备及距离测量方法
WO2020074467A1 (en) Time of flight apparatus and method