[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI503618B - 深度影像擷取裝置、其校正方法與量測方法 - Google Patents

深度影像擷取裝置、其校正方法與量測方法 Download PDF

Info

Publication number
TWI503618B
TWI503618B TW101150634A TW101150634A TWI503618B TW I503618 B TWI503618 B TW I503618B TW 101150634 A TW101150634 A TW 101150634A TW 101150634 A TW101150634 A TW 101150634A TW I503618 B TWI503618 B TW I503618B
Authority
TW
Taiwan
Prior art keywords
image
image sensing
depth
focal length
sensing device
Prior art date
Application number
TW101150634A
Other languages
English (en)
Other versions
TW201426161A (zh
Inventor
Tung Fa Liou
Wen Shiou Luo
Chia Chen Chen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW101150634A priority Critical patent/TWI503618B/zh
Priority to CN201310078197.6A priority patent/CN103900532B/zh
Priority to US13/871,000 priority patent/US9319660B2/en
Publication of TW201426161A publication Critical patent/TW201426161A/zh
Application granted granted Critical
Publication of TWI503618B publication Critical patent/TWI503618B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

深度影像擷取裝置、其校正方法與量測方法
本發明是有關於一種深度影像擷取技術,且特別是有關於一種變焦式之深度影像擷取裝置、其校正方法及量測方法。
現今的影像感測技術越發成熟,許多影像感測器除了能夠取得二維影像以外,如何有效、即時且穩定的取得待測物之第三維(即深度)資訊,便是目前深度影像感測技術在發展上的課題。深度影像感測技術由於可以估計影像擷取裝置與待測物之間的距離,而能提供較為完整的三維空間訊息,因此可設計作為互動瀏覽裝置操作介面、體感遊戲之用,且也逐漸應用在安全影像監控、機器人視覺及醫療影像領域上。微軟公司所發表的體感遊戲裝置Kinect是採用深度影像感測技術作為主要核心元件,使人體動作得以作為遊戲的操控媒介,因而造成銷售熱潮,使得許多廠商更為重視深度影像感測技術及其應用。
目前採用深度影像感測技術的影像擷取裝置(如,深度攝影機)通常都是採用定焦鏡頭來實現,因為定焦式深度攝影機中的相關影像擷取參數可在事前輕易地校準妥當,但也使得定焦式深度攝影機在進行拍攝時的視角範圍(也稱為感測範圍)與影像解析度也都是固定的。因此,若是待測物的外型太大而超過視角範圍時,就需靠人力來調整定焦 式深度攝影機的位置;若是待測物的尺寸太小而使得擷取的影像過於模糊時(也就是,影像解析度過小),也就無法透過所擷取的影像來進行深度感測。然而,若是採用變焦鏡頭來實現深度攝影機時,如何設定及調整變焦鏡頭的焦距,使深度攝影機能夠針對特定待測距離或基準焦距進行校準,便是深度影像感測技術欲待解決的問題。
本案實施例提供一種深度影像擷取裝置,其利用變焦式影像感測裝置以及投光裝置來進行主動式投光的深度影像量測,並利用機構裝置來動態調整影像感測裝置之間的距離和/或匯聚角度,藉以自動調整變焦式影像感測裝置的位置和/或匯聚角度,使得本案的深度影像擷取裝置能夠自動調整其影像擷取範圍,並可調節被擷取影像的解析度。
本案實施例亦提出一種深度影像擷取裝置校正及量測方法,其簡化了對於變焦式影像感測裝置所需進行之繁雜的校正、量測程序,從而簡化深度影像擷取裝置在設計及操作時的難度。
本案實施例提出一種深度影像擷取裝置,其包括至少一投光裝置、第一與第二影像感測裝置、機構裝置以及處理單元。投光裝置投射出投影圖案至被測物上。第一與第二影像感測裝置接收焦距調整信號以調整其焦距,並分別感測投影到被測物上的投影圖案,以產生第一真實影像與第二真實影像。機構裝置耦接所述第一與所述第二影像感 測裝置,其接收鏡頭調整信號以調整第一與第二影像感測裝置的位置和/或匯聚角。處理單元耦接所述投光裝置、第一與第二影像感測裝置以及所述機構裝置。處理單元提供焦距調整信號以及鏡頭調整信號以調整第一與第二影像感測裝置的焦距、位置和/或匯聚角,且處理單元對第一與該第二真實影像進行深度運算以產生深度信息。其中,處理單元依據每個影像感測裝置所對應之基準焦距對應多個預設節點距離時之多筆影像設定參數組,以校正獲得第一與第二影像於基準焦距時之立體量測參數組並據而進行深度運算。
本案實施例另外提出一種深度影像擷取裝置,其包括至少一投光裝置、至少一影像感測裝置、機構裝置以及處理單元。投光裝置投射出投影圖案至被測物上。投光裝置做為虛擬影像感測裝置,且以投影圖案的本源影像做為虛擬影像。至少一影像感測裝置接收焦距調整信號以調整其焦距,並感測投影到被測物上的投影圖案,以產生至少一真實影像。機構裝置耦接至少一影像感測裝置,其接收鏡頭調整信號以調整至少一影像感測裝置的位置和/或匯聚角。處理單元耦接所述投光裝置、所述至少一影像感測裝置以及所述機構裝置。處理單元提供焦距調整信號以及鏡頭調整信號以調整至少一影像感測裝置的焦距、位置和/或匯聚角,且所述處理單元對至少一真實影像以及所述虛擬影像進行深度運算以產生深度信息。處理單元依據每個影像感測裝置所對應之基準焦距對應多個預設節點距離時 之多筆影像設定參數組,以校正獲得所述至少一影像感測裝置於基準焦距時之立體量測參數組,並據而進行深度運算。
本案實施例提出一種深度影像擷取裝置的校正方法。所述深度影像擷取裝置包括至少一投光裝置、至少一影像感測裝置以及機構裝置。投光裝置投射出投影圖案至被測物上。至少一影像感測裝置感測投影到被測物上的投影圖案,以產生至少一真實影像。機構裝置調整至少一影像感測裝置的位置和/或匯聚角。深度影像擷取裝置對至少一真實影像進行深度運算而產生深度信息。所述校正方法包括下列步驟:設定複數個節點距離,以作為對應之多個節點的位置;設定對應每個節點的影像設定參數組;將所述至少一影像裝置設定至各自的基準焦距,依據每個節點的影像設定參數組,設定所述至少一影像裝置的狀態;以及,針對每個節點個別進行校正,取得每個節點各自的立體(3D)量測參數組,用以進行立體量測計算。
本案實施例提出一種深度影像擷取裝置的量測方法。所述深度影像擷取裝置包括投光裝置、至少一影像感測裝置以及機構裝置。投光裝置該投光裝置投射出投影圖案至被測物上。至少一影像感測裝置感測投影到被測物上的投影圖案,以產生至少一真實影像。機構裝置調整至少一影像感測裝置的位置和/或匯聚角。深度影像擷取裝置對至少一真實影像進行深度運算而產生深度信息。所述量測方法包括下列步驟:接收指定焦距以及指定量測距離,其中至 少一影像擷取裝置分別設定有一基準焦距、多個節點之位置的複數個節點距離以及對應各個節點的影像設定參數組以及立體量測參數組。依據所述指定量測距離與其對應之所述節點距離進行比對,以計算所述影像感測裝置於指定焦距時之影像設定參數組與立體量測參數組。依據指定焦距之影像設定參數組以設定所述影像感測裝置,其中所述影像感測裝置分別感測投影到被測物上的投影圖案,以產生至少一真實影像。依照所述指定焦距及所述基準焦距以計算圖像轉換關係式。以及,依據所述圖像轉換關係式轉換所述真實影像,並依據指定焦距之所述立體量測參數組進行運算,以產生所述深度信息。
基於上述,本發明實施例所述的深度影像擷取裝置可利用變焦式影像感測裝置以及投光裝置來進行主動式投光的深度影像量測,並利用機構裝置來動態調整影像感測裝置之間的距離和/或匯聚角度,藉以自動調整變焦式影像感測裝置的位置和/或匯聚角度,使得本案的深度影像擷取裝置能夠自動調整其影像擷取範圍,並可調節被擷取影像的解析度。本發明實施例亦提出一種深度影像擷取裝置校正及量測方法,其針對每個影像感測裝置,在預設的基準焦距以及與此基準焦距有關的預設節點距離之下進行校正,從而決定變焦式影像感測裝置的影像設定參數組以及立體量測參數組,並將其作為後續深度影像感測時的參考,從而簡化了對於變焦式影像感設裝置的繁雜校正、量測程序,藉以簡化深度影像擷取裝置在設計及操作時的難度。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
現將詳細參考本發明之示範性實施例,在附圖中說明所述示範性實施例之實例。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件/構件/符號代表相同或類似部分。
本案實施例所述的深度影像擷取裝置可以在不需要改變硬體架構下,能夠使此變焦式深度影像擷取裝置得以進行較大視野範圍的深度影像量測,也可針對部分區域的待測物進行高解析度的細節量測;而在進行細節量測時,可以自由指定量測位置(standoff)的遠近,並可維持所擷取到之影像的精確度,藉以提高一般採用定焦式深度影像量測技術在細節量測時的精確度。
藉此,本案實施例透過變焦式影像感測設備來實現此深度影像擷取裝置,便可在短焦距(也稱為,焦長)時量測較大範圍的視角範圍,而在細節量測時,便利用長焦距來獲得高解析度的影像來進行深度量測。此深度影像擷取裝置也可動態地調整兩個影像感測設備之間或是影像感測裝置與投光裝置之間的基線距離和/或匯聚角度,藉以改變影像感測設備鏡頭光軸的匯聚點距離與鏡頭對焦距離,從而調整待測物距的遠近。匯聚角是指影像感測裝置之光軸與基線之間的夾角,基線是通過影像感測裝置之位置的假想 線,此基線的方向一般與投光裝置的投光光軸相互垂直。下述實施例中所指的「匯聚角」皆與此處的定義皆同。以下列舉可實現本案實施例的精神作為做佐證,應用本案實施例者應可依照下述實現方式而引申出相關作法,而不受限於下述揭露。
圖1是根據本發明一實施例說明深度影像擷取裝置100的示意圖。如圖1所示,深度影像擷取裝置100主要包括至少一台投光裝置110、至少一台影像感測裝置(如,第一影像感測裝置120及第二影像感測裝置130)、機構裝置140以及處理單元150。投光裝置110例如是光學投影裝置、數位投影裝置...等,其可投射出投影圖案115至被測物160上。本實施例是以單台投光裝置110作為舉例,然而應用本實施例者亦可利用多台投光裝置來實現主動式投光的深度影像感測,本案並不僅受限於此實施例。
於本實施例中,影像感測裝置120、130可以是變焦式攝影機或是相機,其接收由處理單元150所提供的焦距調整信號以調整其焦距,並分別感測投影到被測物160上的投影圖案115,以產生第一真實影像170與第二真實影像171。詳言之,第一與第二影像感測裝置120、130可以分別包括變焦鏡頭以及影像感測器。變焦鏡頭可接收處理單元150提供的變焦調整信號以調整其焦距。影像感測器則是透過變焦鏡頭以感測投影到被測物160上的投影圖案。此外,本案並不限制影像感測裝置120、130皆具備相同焦距區間以及匯聚角轉動區間,應用本實施例者也可依據其 需求而選擇具備不同焦距區間以及匯聚角轉動區間的影像感測裝置120、130來實現本案。
當投光裝置110的光源是屬於特定波長(例如,紅外光、紫外光、特定的可見光)光源時,第一與第二影像感測裝置120、130可以更分別包括光學濾光鏡。此光學濾光鏡設置於影像感測裝置120、130中各自變焦鏡頭的光路上。此光學濾光鏡用以匹配所述的特定波長,以使具備上述特定波長的光束可以通過而被鏡頭及影像感測器所感測,並濾除其他非該特定波長的光束。當多個投光裝置具有不同特定波長,則所述影像感測器之光學濾光鏡亦可匹配所述不同的特定波長,讓彼此之間有所區隔。
基於深度影像感測技術,處理單元150通常需要兩台影像感測裝置來感測待測物160的深度,然而,由於本案實施例採用主動式投光進行深度感測,且投光裝置110也可以作為虛擬影像感測裝置,也就是,投光裝置110可以將投射出去之投影圖案115的本源影像進行記錄並做為虛擬影像,且將此虛擬影像傳送到處理單元150中。處理單元150便可透過單台影像感測裝置所擷取的真實影像,配合上述虛擬影像感測裝置所提供的虛擬影像,從而進行深度影像感測。因此,本案實施例可以利用單台影像感測裝置配合單台投光裝置進行深度量測,也可利用兩台以上的影像感測裝置,並依據投光設備所投射的投影圖案,藉以進行深度量測。
繼續參照圖1,機構裝置140主要以機械方式耦接第一與第二感測裝置120~130,機構裝置140接收處理單元150提供的鏡頭調整信號,藉以透過其內的馬達或相關傳動組件來調整第一與第二影像感測裝置120、130的相對位置(如虛線箭頭121、131所示),和/或調整第一與第二影像感測裝置120、130中鏡頭指向待測物的匯聚角(convergence angle)(如虛線箭頭122、132所示)。機構裝置140可以僅調整第一與第二影像感測裝置120、130的相對位置而不調整其匯聚角以節省轉動機構的成本,也可以僅調整第一與第二影像感測裝置120、130的匯聚角而不調整其相對位置(基線位置)藉以縮小深度影像擷取裝置100的整體佔據體積,當然也可以同時調整上述兩者參數。機構裝置140內部的細節構造則於下述揭示。
處理單元150耦接至少一投光裝置110、至少一影像感測裝置(第一與第二影像感測裝置120、130)以及機構裝置140。處理單元150會依據下述的校正方法以及量測方法來提供焦距調整信號以及鏡頭調整信號,藉以分別調整第一與第二影像感測裝置120、130的焦距、位置及匯聚角。並且,處理單元150控制第一與第二影像感測裝置120、130以同時獲取實際影像,例如第一真實影像170及第二真實影像171,處理單元150並對第一與第二真實影像170、171進行深度運算以產生深度信息。若投光裝置110可作為虛擬影像感測裝置時,處理單元150便可對第 一與第二真實影像170、171、對應投影圖案115的虛擬影像進行深度運算。
深度信息可以是具有深度資訊的深度影像、數值化的三維影像座標或是影像的深度分布圖,應用本實施例者可依照其需求來調整深度信息的輸出格式以供後續的影像處理或是技術應用來使用。此外,處理單元150會藉由下述的校正方法,對於每個影像感測裝置(例如,影像感測裝置120、130)分別設定一個預設的基準焦距,並藉由此基準焦距在對應多個預設節點距離時建立多筆影像感測設定參數組,並透過這些影像設定參數組以校正第一與第二影像感測裝置120、130並獲得立體量測參數組,於指定焦距及指定量測距離下,可計算出相對應之影像設定參數組以設定影像感測裝置的量測狀態,從而進行深度影像量測。
於圖1中,深度影像擷取裝置100可以更包括設置於下方底座處的轉動裝置180,其受控於處理單元150以轉動整台深度影像擷取裝置100以調整其視角方向(虛線箭頭185)。轉動裝置180可將深度影像擷取裝置100進行水平轉動或是前後俯仰,或是兩軸兼具,以使深度影像擷取裝置100能夠自動調整其視角範圍。
以下分別就各個元件及校正方法與量測方法的致動方式進行詳細說明。
以下透過圖2A及圖2B說明投光裝置110,圖2A及圖2B為圖1之投光裝置110的功能方塊圖。請參照圖2A,投光裝置110包括光源210以及投影圖案產生元件220。 光源210用以發出投光光束,本實施例的光源210可以是雷射二極體(Laser diode;LD)光源、紅外(IR)光源、紫外光源、可見光源或是發光二極體(LED)光源。投影圖案產生元件220則配置於光源210所發出之投光光束經過的路徑(稱為,光路)上。投影圖案產生元件220經由光源210的投光光束照射而產生投影圖案。投影圖案產生元件220可以是已預設形狀的繞射光學元件,例如是電腦全像片、光柵與相位式繞射元件的其中之一。投影圖案產生元件2220也可以是以毛玻璃形成的元件,投光裝置110可將光源210打在毛玻璃上來形成隨機分布圖紋。投影圖案可以是預先設計出的圖樣、隨機產生的圖紋,或是隨機分布的散亂光點圖案。
請參照圖2B,投光裝置110除了包括光源210以及投影圖案產生元件220以外,還可以包括投光鏡頭230。投光鏡頭230配置於投影圖案產生元件220之後的光路上,其將光源210通過投影圖案產生元件220所產生的投影圖案投影至被測物160。本案實施例的投光鏡頭230可以是變焦鏡頭或是定焦鏡頭。若以定焦鏡頭來實現投光鏡頭230時,投光裝置110可以利用固定角度或是固定的視角範圍來投射投影圖案,此時的投影圖案中可能需要利用較為細密的光點,以使深度影像擷取裝置100在細節量測時仍可獲得較佳效果。本案實施例也可以將投光鏡頭230以變焦鏡頭實現,處理單元150便可提供焦距調整信號以同步且動態地調整投光鏡頭230以及影像感測裝置(第一及 第二影像感測裝置120~130)的焦距,從而利用主動式投光獲得更為準確的深度信息。投光裝置110以及上述虛擬影像感測裝置的設置及致動方式可額外參考相關前案,例如中華民國專利名稱為「深度影像擷取裝置、系統及其方法」、專利申請號為TW 100148939的技術文件。
圖3至圖7為圖1中機構裝置140的結構示意圖。本案實施例的機構裝置140可以利用許多機構組件來實現第一與第二影像感測裝置120、130之間的基線位置以及匯聚角的調整,藉以調整第一與第二影像感測裝置120、130之鏡頭的匯聚距離(又稱為,量測位置)。如圖3所示,機構裝置140包括第一與第二承載件310、312以及位移件(如,第一及第二螺桿320、322)。第一與第二承載件310、312分別承載第一與第二影像感測裝置120、130,並分別與第一及第二螺桿320、322相連結。位移件連接至第一與第二承載件310、312以調整第一與第二影像感測裝置120、130之間的基線(baseline)距離。詳言之,第一及第二螺桿320、322分別依據兩側的馬達組件330、332的轉動方向而帶動第一與第二承載件310、312,使其分別沿第一及第二螺桿320、322進行左右移動(如虛線箭頭340),藉此調整第一與第二影像感測裝置120、130之間的基線位置。於圖4中,圖4除了包括第一與第二承載件310、312以外,其位移件包括螺桿440,其分別包括具備第一方向以及第二方向之螺紋的第一區域442及第二區域444。螺桿440的第一區域442及第二區域444分別連接第一與第 二承載件310、312。藉此,在螺桿440受馬達330轉動而旋轉時,將會使第一與第二承載件310、312沿螺桿440同時進行靠近或遠離的相對移動(虛線箭頭340)。圖8是調整第一與第二影像感測裝置120、130之間之基線距離以調整深度影像擷取裝置之量測位置的示意圖。因此,深度影像擷取裝置100在採用圖3、4的機構裝置140後,便可如圖8所示地調整第一與第二影像感測裝置120、130之間的基線距離(如圖8中的BL1~BLN),在第一與第二影像感測裝置120、130的匯聚角A1皆為固定數值的情況下,機構裝置140便可接收處理單元提供的鏡頭調整信號以調整深度影像擷取裝置100所欲量測的量測位置(如圖8中的多個量測節點N1~NN)。
圖3與圖4的機構裝置140皆用以調整第一與第二影像感測裝置120、130之間的基線位置,而圖5、圖6則用以調整第一與第二影像感測裝置120、130之間的匯聚角度。於圖5中,機構裝置140除了第一與第二承載件310、312以外,更包括第一與第二轉動組件510、512,其可藉由馬達330、332的轉動而對第一與第二影像感測裝置120、130進行旋轉,藉以分別調整第一與第二影像感測裝置120、130的匯聚角(虛線箭頭550)。上述第一與第二轉動組件可以例如是蝸桿與蝸輪組件或是其他轉動傳動組件。於圖6中,第一與第二轉動組件510、512的轉動軸520為相同,分別具備第一方向以及第二方向之螺紋,使得帶動影像感測裝置轉動方向相反。因此第一與第二轉動 組件510、512可以透過單邊馬達330的轉動而同時調整第一與第二影像感測裝置120、130的匯聚角。圖9是調整第一與第二影像感測裝置120、130之匯聚角以調整深度影像擷取裝置100之量測位置的示意圖。因此,深度影像擷取裝置100在採用圖5、6的機構裝置140後,便可如圖9所示地調整第一與第二影像感測裝置120、130的匯聚角A1~AN,在第一與第二影像感測裝置120、130之間的基線距離BL1為固定數值的情況下,機構裝置140可接收處理單元提供的鏡頭調整信號以調整深度影像擷取裝置100所欲量測的量測位置(如圖9中的量測節點N1~NN)。
於圖7中,機構裝置140包括第一與第二承載件310、312、具備第一區域442及第二區域444的螺桿440、第一與第二轉動組件510、512以及馬達330。圖7的螺桿440之結構與致動方式與圖4相似,皆可同時調整第一與第二影像感測裝置120、130之間的基線距離,在此不予贅述。特別提出的是,第一轉動組件510的轉動軸710包括開口面向第二轉動組件512之轉動軸712的非圓截面長槽容置空間720。第二轉動組件512之轉動軸712則包括對應於非圓截面長槽容置空間720而突出的鬆配傳動件730,以使第一轉動組件510之轉動軸710在透過馬達帶動而轉動時,將會連帶地帶動第二轉動組件512之轉動軸412,以同時調整第一與第二影像感測裝置120、130的匯聚角(虛線箭頭550)。圖10是調整第一與第二影像感測裝置120、130之間的基線距離及匯聚角以調整深度影像擷取裝置 100之量測位置的示意圖。因此,深度影像擷取裝置100在採用圖7的機構裝置140後,圖1的處理單元150便可動態調整第一與第二影像感測裝置120、130之間的基線距離BL1~BLN及匯聚角A1~AN以調整及量測節點N1~NN。
請回到圖1,基於上述揭示的深度影像擷取裝置100,處理單元150內部應需具備眾多功能以自動校正深度影像擷取裝置100中各個元件的諸多參數。例如,圖1中的處理單元150包括鏡頭控制單元152、投光取像單元154以及深度影像處理單元156。鏡頭控制單元152包括基線距離控制模組190、匯聚角控制模組191、變焦控制模組192,投光取像單元154可包括投光控制模組193、取像控制模組194,而深度影像處理單元156則可包括影像處理模組195、深度運算模組196,但並不僅限於此。
基線距離控制模組190、匯聚角控制模組191以及變焦控制模組192分別用以控制及調整第一與第二影像感測裝置120、130之間的基線距離、匯聚角調整以及焦距調整。投光控制模組193用以控制投光裝置110的相應動作,取像控制模組194則是用以控制影像感測裝置120、130取像的相關參數調整以及進行取像時間同步。影像處理模組195以及深度運算模組196則是用來進行影像處理以獲得被測物160的深度信息。上述鏡頭控制單元152、投光取像單元154、深度影像處理單元156以及其中的模組190~196可以利用硬體晶片、韌體晶片以及軟體驅動程式配合具備運算功能的處理單元150來加以實現。
由於採用變焦式影像感測裝置120、130來實現深度影像擷取裝置100需要考量的變數又多又繁雜,尤其是在系統設計、系統校正與實際的量測操作上都很繁雜困難。因此,本案實施例提出符合上述深度影像擷取裝置100之硬體架構的校正、量測方法,其針對每個影像感測裝置(利如,圖1的影像感測裝置120、130)分別以預設的單個基準焦距為基準,配合與此基準焦距所對應的多個預設節點距離,將鏡頭焦長、鏡頭聚焦位置、與雙相機的相對位置/匯聚角...等變化量,以一套簡潔的方法整合起來,從而可大幅簡化深度影像擷取裝置100的設計與操作。
一般而言,採用變焦影像感測裝置的深度影像擷取裝置在進行實際量測時,必須先要進行一系列的設定操作,然後才能開始進行量測。首先,調整兩個變焦影像感測裝置相對的位置與匯聚角,使得量測距離符合使用者指定的量測範圍。然後,調整兩個變焦影像感測裝置的焦距以改變相機的視野大小,使得量測的精細度達到使用者的要求。最後,將兩個相機鏡頭的聚焦位置調整至所需的量測距離上,以得到最佳的量測效果。
這上述設定操作主要是對兩個變焦影像感測裝置分別調整四種參數:相機位置、相機角度、鏡頭焦長、聚焦位置,統稱為影像設定參數組。在以往的校正方法上,這些參數的變化都會影響深度影像擷取裝置100的其他參數,因此必須將這些影響都納入考慮,才能進行精確的量測。以往的量測方法在實現時必須統合複雜的參數運算與系統 校正才能進行深度量測與運算。後續所述的立體量測參數組當中的欄位也類似於影像設定參數組,並於下述揭示。
藉此,本案實施例在校正及量測方法上預先對每個變焦影像感測裝置分別選定好各自的基準焦距,然後選擇預設的多個預設節點距離,以作為參考基準。以記錄在上述基準焦距以及每個預設物距(預設節點距離)的情形下的一組影像設定參數組作為參考,並利用這些影像設定參數組進行深度影像擷取裝置100的校正及量測。如此一來,深度影像擷取裝置100便不需在進行校正或量測時一再地重複調校影像感測裝置120、130之間的基線距離、匯聚角以及焦距等參數,而是直接利用預設的基準焦距以及預設節點距離來取得參考資料。深度影像擷取裝置100在進行校正時,將影像裝置設定至各自的基準焦距,依據每個節點的影像設定參數組,設定所有相機的狀態。每個節點個別進行校正,取得每個節點各自的立體量測參數組,用以進行立體影像或深度量測計算。換句話說,在進行量測時,使用者指定一個量測距離,同時依據所需之量測解析度,指定影像感測裝置的量測焦距。比較使用者指定的量測距離與所有節點的距離,可以對節點的影像設定參數組與立體量測參數組進行查表或是內插運算,從而得出適用於影像感測裝置120、130,且位於所需量測距離上,新的影像設定參數組與立體量測參數組。使用影像座標轉換,將在量測焦距所得的影像座標,轉換至相對於基準焦距時的等 效座標。如此便可使用以基準焦距校正所得的立體量測參數組,進行深度量測計算。
在此說明相機焦距與變焦影像感測裝置之視角範圍之間的關係。改變變焦影像感測裝置的焦距,也就是改變了變焦影像感測裝置的視野大小,從數學上來說也就是改變了影像座標,所以焦距的變化相當於影像座標的轉換。假設選定之變焦影像感測裝置的基準焦距為f0,點(X0,Y0)是任一實際影像在圖像轉換前任意一點的影像座標,而當變焦影像感測裝置的焦距變換到指定焦距fi時,任一實際影像的點(X0,Y0)則會變換為位在另一影像座標上的點(Xi,Yi),也就是,點(Xi,Yi)為圖像轉換後對應點(X0,Y0)的影像座標。點(X0,Y0)與點(Xi,Yi)之間的圖像轉換關係式,可如方程式(1)所示:
假設影像感測裝置的變焦鏡頭是完美的,變焦時不會造成影像偏移及扭曲時,則其圖像轉換關係式可定義如方程式(2):
其中(Cx,Cy)是影像感測裝置的影像中心,此數值可以從習知的影像感測裝置的校正方法中求得。α i是影像縮小放大的比率因子,也稱作縮放常數,其可以從焦距變化的比率計算出來,也可以從實際影像中估算出來。假設變焦鏡頭不是完美的,會造成影像偏移、扭曲,則我們可以 依據實際的情況,設計方程式(1)所示的關係式。因此此處說明的是,當相機從基準焦距f0變換到任一焦距fi時,本案實施例能夠設計出一個正確或近似的轉換式,將任一影像位置的點(Xi,Yi)轉換回基準焦距f0時相對的影像位置(X0,Y0),並且每個影像感測裝置分別具有自身的轉換關係式。
因此,在校正變焦式深度影像擷取裝置100時,我們可以將影像感測裝置固定在特定一個被選定的基準焦距f0上,藉以校正出深度攝影機在對準每個預設節點距離時的參數。因此,當深度影像擷取裝置100需要以指定焦距fi進行量測時,便可利用以上述方法產生影像座標的轉換方程式,藉以將所需的影像位置轉換到相對於指定焦距f0的影像座標,再結合深度影像擷取裝置100的校正參數,即可量測深度信息。
如圖1所示,兩個影像感測裝置120、130相對的基線位置與匯聚角決定了量測距離。並且,在實際的量測應用中,使用者通常是直接指定所需的量測位置,而不是間接地指定兩個影像感測裝置120、130相對應的基線位置與匯聚角度。因此,本案實施例在設計深度影像擷取裝置100的校正、量測方法時,就以量測距離為基準,讓影像設定參數組與3D量測參數組等設定、校正、量測用參數都直接關聯到這個參數上。
圖11是根據本發明一實施例說明深度影像擷取裝置100的校正方法流程圖。請同時參考圖1、圖10以及圖11,於 步驟S1110中,處理單元150分別設定第一與第二影像感測裝置120、130的焦距為各自對應的基準焦距f0。處理單元150可以分別依據影像感測裝置120、130之焦距範圍、廠商預設設定...等條件來選擇不同的焦距,以分別作為影像感測裝置120、130的基準焦距。也就是說,影像感測裝置120、130可以選定不同長度的焦距以分別作為這兩個影像感測裝置120、130的預設基準焦距。此處對每個影像感測裝置僅選擇單一個基準焦距的理由是,若是對每個影像感測裝置選擇多個基準焦距的話,則會使上述對於基準焦距的圖像轉換關係式更為複雜。為使本案實施例的校正方法更為簡易,此處對每個影像感測裝置僅選擇單一個基準焦距。
於其他實施例中,兩個影像感測裝置120、130也可以分別選定不同的基準焦距,做為其中一組基準焦長。例如,當其中一個影像感測裝置是投光裝置所實現的虛擬影像感測裝置時,其變焦範圍可能與實際的影像感測裝置不同,甚至虛擬影像感測裝置的鏡頭是採用定焦鏡頭來實現。
於步驟S1110中,處理單元150將會預先設定好複數個節點距離S1~SN,以作為圖10中所對應之多個節點N1~NN的位置,並設定對應每個節點N1~NN的影像設定參數組。預設節點距離S1~SN可參考圖10,圖10中的量測節點N1~NN分別對應每個預設節點距離S1~SN。上述基準焦距以及預設節點距離的設定可由實驗來獲得較佳的參考數據,可以依據實際情況作出選擇,或是依照應用本 實施例者的需求決定,本案並不受限於此。例如,處理單元可以利用各個影像感測裝置120、130之變焦範圍的中間值作為影像感測裝置120、130的基準焦距f0。
處理單元150在已經將影像感測裝置120、130設定為基準焦距f0的情況下,以量測物距S1~SN為基準,藉由已選定的預設節點(也就是,N個節點N1~NN),記錄每一個節點的資料。這些資料例如是預設節點距離Si、和預設節點距離Si相對應之第一與第二影像感測裝置120、130之間的基線距離(BLi)、匯聚角(Ai)以及聚焦位置Ci,以作為此校正方法產生的參考資料,此參考資料在進行後續量測時亦需用到。本案實施例所述之影像設定參數組或是後續揭示的立體量測參數組便包括上述的基線距離BLi、匯聚角Ai和/或聚焦位置Ci。影像設定參數組或是後續揭示的立體量測參數組更可以包含相應的立體參數。
於步驟S1120中,處理單元150便將影像感測裝置120、130分別設定至各自的基準焦距,並依據每個節點N1~NN的影像設定參數組,設定各個影像感測裝置120、130的狀態。以及,於步驟S1130中,在對深度影像擷取裝置100進行校正時,處理單元150針對每個節點個別進行校正,取得每個節點各自的立體(3D)量測參數組,這些立體量測參數組便是用來進行立體量測計算之用。
深度影像擷取裝置100的校正方法並不被限定,本領域技術人員可以使用相關校正技術而取得上述立體量測參數組。在此校正方法中,本案實施例並不要求精確的機構 定位,只要在每個節點N1~NN使用上述步驟S1120中所記錄的影像設定參數組,設定深度影像擷取裝置100的狀態,並且具備夠高的重現性,就可得到精確的深度影像量測結果。
圖12是根據本發明一實施例說明深度影像擷取裝置100的量測方法流程圖。在經由圖11之校正方法後,本案實施例便可透過上述的量測距離、影像設定參數組以及立體量測參數組來協助量測方法,使其能夠迅速地獲得想要的影像感測裝置120、130設定參數以及立體影像轉換關係參數。於步驟S1200中,處理單元150從外界接收或是由使用者指定量測焦距f以及指定量測距離S。基於指定焦距f與基準焦長f0的比率,將會決定視角範圍之量測面積的比率。指定量測距離S則是直覺地指定量測距離的遠近。於本實施例中,由於深度量測的解析度將會跟指定焦距f有直接關係,因此處理單元150也可透過外界接收的解析度參數配合查表等做法,以將上述解析度參數轉換為對應的指定焦距f。
於步驟1210中,處理單元150依照指定焦距f及基準焦距f0以計算圖像轉換關係式,相關揭示已於上述說明,在此不再贅述。於步驟S1220中,處理單元150透過指定量測距離S與預設節點距離S1~SN進行比對,以計算第一與第二影像感測裝置120、130於指定量測距離S時的影像設定參數組與立體量測參數組。詳言之,步驟S1222判斷指定量測距離S是否與預設節點距離S1~SN其中之一相 同。若指定量測距離S與其中一個預設節點距離Si相同的話(1≦i≦N),則進入步驟S1224,取得預設節點距離Si(對應量測節點Ni)的影像設定參數組與立體量測參數組。換句話說,步驟S1222~S1224是利用量測距離S從多筆節點的比較中進行查表,藉以獲得影像感測裝置120、130相應的設定資料(影像設定參數組)與量測資料(立體量測參數組)。
若是指定量測距離S沒有與預設節點距離S1~SN其中之一相同的話,處理單元150則從預設節點距離S1~SN中找到接近於(或稱為,包夾住)指定量測距離S的連續兩個節點(例如是,指定量測距離S位於節點N1、N2之間)(步驟S1226)。於步驟S1228中,處理單元150將預設節點距離S1、S2所對應之影像設定參數組與3D量測參數組取出,並使用內插法來計算對應於量測距離S時的影像設定參數組與3D量測參數組,藉以設定影像感測裝置120、130的狀態,使得量測距離符合指定的量測距離S,並使用新得到的立體量測參數組進行立體影像或深度量測計算。
於步驟S1230中,處理單元150依據指定量測距離S時的影像設定參數組來設定第一與第二影像感測裝置120、130,其中第一與第二影像感測裝置120、130便會依照處理單元150的控制而分別感測投影到被測物160上的投影圖案,以產生第一與第二真實影像170、171。
於步驟S1240中,使用者利用深度影像擷取裝置100實際進行立體影像的深度量測,產生相關影像資料。實際 的量測方法,在本流程中並不受限制,只要最終產生可據以計算三維(3D)座標的影像資料即可。例如,兩個相機各取一張影像,將兩張影像重整(rectify),然後再找出影像對應點。依據影像對應點的影像座標即可計算其相對應的3D座標。下一步,於立體量測時得到的影像資料,利用圖像轉換關係式進行座標轉換,便可將此圖像的座標轉換至以基準焦距f0為準的影像座標。然後再利用立體參數,計算3D座標,藉以產生深度圖。深度圖只是立體資料的一種描述方式,我們也可以採用其他的描述方式,例如輸出立體三角網格。
於步驟S1250中,處理單元150利用第一與第二真實影像170、171,並使用對應於量測距離S時之立體量測參數組,以進行立體計算及量測,從而使深度影像擷取裝置100產生深度信息。在本實施例中,第二影像感測裝置130也可以是一個虛擬影像感測裝置(例如投光裝置),產生一個虛擬影像。
綜上所述,本發明實施例所述的深度影像擷取裝置可利用變焦式影像感測裝置以及投光裝置來進行主動式投光的深度影像量測,並利用機構裝置來動態調整影像感測裝置之間的距離和/或匯聚角度,藉以自動調整變焦式影像感測裝置的位置和/或匯聚角度,使得本案的深度影像擷取裝置能夠自動調整其影像擷取範圍,並可調節被擷取影像的解析度。並且,本發明實施例亦提出一種深度影像擷取裝置校正及量測方法,其利用預設的基準焦距以及預設節點 距離來決定變焦式影像感測裝置的影像設定參數組以及立體量測參數組,並將其作為後續深度影像感測時的參考,從而簡化了對於變焦式影像感測裝置的繁雜校正、量測程序,藉以簡化深度影像擷取裝置在設計及操作時的難度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧深度影像擷取裝置
110‧‧‧投光裝置
115‧‧‧投影圖案
120、130‧‧‧影像感測裝置
121、122、131、132、185、340、550‧‧‧虛線箭頭
140‧‧‧機構裝置
150‧‧‧處理單元
152‧‧‧鏡頭控制單元
154‧‧‧投光取像單元
156‧‧‧深度影像處理單元
160‧‧‧被測物
170、171‧‧‧真實影像
180‧‧‧轉動裝置
190‧‧‧基線距離控制模組
191‧‧‧匯聚角控制模組
192‧‧‧變焦控制模組
193‧‧‧投光控制模組
194‧‧‧取像控制模組
195‧‧‧影像處理模組
196‧‧‧深度運算模組
210‧‧‧光源
220‧‧‧投影圖案產生元件
230‧‧‧投光鏡頭
310、312‧‧‧第一與第二承載件
320、322‧‧‧第一及第二螺桿
330、332‧‧‧馬達
440‧‧‧螺桿
442、444‧‧‧第一區域及第二區域
510、512‧‧‧第一與第二轉動組件
520、710、712‧‧‧轉動軸
720‧‧‧非圓截面長槽容置空間
730‧‧‧鬆配傳動件
BL1~BLN‧‧‧基線距離
N1~NN‧‧‧量測節點
A1~AN‧‧‧匯聚角
S1~SN‧‧‧預設節點距離
S1100~S1130‧‧‧深度影像擷取裝置之校正方法的步驟
S1200~S1250‧‧‧深度影像擷取裝置之量測方法的步驟
圖1是根據本發明一實施例說明深度影像擷取裝置的示意圖。
圖2A及圖2B為圖1之投光裝置的功能方塊圖。
圖3至圖7為圖1中機構裝置的結構示意圖。
圖8是調整第一與第二影像感測裝置之間之基線距離以調整深度影像擷取裝置之量測位置的示意圖。
圖9是調整第一與第二影像感測裝置之匯聚角以調整深度影像擷取裝置之量測位置的示意圖。
圖10是調整第一與第二影像感測裝置之間的基線距離及匯聚角以調整深度影像擷取裝置之量測位置的示意圖。
圖11是根據本發明一實施例說明深度影像擷取裝置的校正方法流程圖。
圖12是根據本發明一實施例說明深度影像擷取裝置的量測方法流程圖。
110‧‧‧投光裝置
120、130‧‧‧影像感測裝置
BL1~BLN‧‧‧基線距離
N1~NN‧‧‧量測節點
A1~AN‧‧‧匯聚角
S1~SN‧‧‧預設節點距離

Claims (35)

  1. 一種深度影像擷取裝置,包括:至少一投光裝置,投射出投影圖案至被測物上;第一與第二影像感測裝置,接收焦距調整信號以調整其焦距,並分別感測投影到該被測物上的該投影圖案,以產生第一真實影像與第二真實影像;機構裝置,耦接該第一與該第二影像感測裝置,接收鏡頭調整信號以調整該第一與該第二影像感測裝置的位置和/或匯聚角;處理單元,耦接該至少一投光裝置、該第一與該第二影像感測裝置以及該機構裝置,提供該焦距調整信號以及該鏡頭調整信號以調整該第一與該第二影像感測裝置的焦距、位置和/或匯聚角,且該處理單元對該第一與該第二真實影像進行深度運算以產生深度信息,其中,該處理單元依據每個影像感測裝置所對應之一基準焦距對應多個預設節點距離時之多筆影像設定參數組,以校正獲得該第一與該第二影像感測裝置於基準焦距時之立體量測參數組,並據而進行深度運算。
  2. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該處理單元分別設定該第一與該第二影像感測裝置的焦距為所對應之該基準焦距,設定複數個節點距離,以作為對應之多個節點的位置,設定對應各該節點的影像設定參數組, 進行校正時,該處理單元將該第一與該第二影像感測裝置設定至各自的基準焦距,依據各該節點的影像設定參數組,設定該第一與該第二影像感測裝置的狀態,針對各該節點分別進行校正,取得各該節點各自的該些立體量測參數組,其中該些立體量測參數組用以進行立體量測計算。
  3. 如申請專利範圍第2項所述之深度影像擷取裝置,其中該些影像設定參數組或該些立體量測參數組包括該第一與該第二影像感測裝置之間的基線距離、匯聚角和/或聚焦位置。
  4. 如申請專利範圍第2項所述之深度影像擷取裝置,其中該處理單元分別依據該第一與該第二影像感測裝置選擇不同的焦距作為各該基準焦距。
  5. 如申請專利範圍第2項所述之深度影像擷取裝置,其中該處理單元選擇位在該第一與該第二影像感測裝置之變焦範圍中的焦距作為各該基準焦距。
  6. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該處理單元接收一指定焦距以及一指定量測距離,依據該指定量測距離與其對應之該些節點距離進行比對,以計算該第一與該第二影像感測裝置於該指定焦距時之該影像設定參數組與該立體量測參數組,依據該指定焦距之該影像設定參數組以設定該第一與該第二影像感測裝置,其中該第一與該第二影像感測裝置分別感測投影到該被測物上的該投影圖案,以產生該第一與該第二真實影像, 該處理單元依照該指定焦距以及該基準焦距以計算圖像轉換關係式,以及,依據該圖像轉換關係式轉換該第一與該第二真實影像並依據該指定焦距之該立體量測參數組進行運算,以產生該深度信息。
  7. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該深度信息是深度影像、三維影像座標或是深度影像分布圖。
  8. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該至少一投光裝置做為一虛擬影像感測裝置,且以該投影圖案的本源影像做為虛擬影像,其中該處理單元對該第一與該第二真實影像及該虛擬影像進行深度運算以產生該深度信息。
  9. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該至少一投光裝置包括:光源,用以發出投光光束;以及投影圖案產生元件,配置於該光源的光路上,經由該光源照射而產生該投影圖案。
  10. 如申請專利範圍第9項所述之深度影像擷取裝置,其中該光源是雷射光源、紅外光源、紫外光源、可見光源或是發光二極體光源。
  11. 如申請專利範圍第9項所述之深度影像擷取裝置,其中該投影圖案產生元件為繞射光學元件或毛玻璃元件。
  12. 如申請專利範圍第9項所述之深度影像擷取裝置,其中該至少一投光裝置更包括:投光鏡頭,配置於該投影圖案產生元件的光路上,將該光源通過該投影圖案產生元件所產生的該投影圖案投影至該被測物。
  13. 如申請專利範圍第12項所述之深度影像擷取裝置,其中該投光鏡頭是變焦鏡頭或定焦鏡頭。
  14. 如申請專利範圍第13項所述之深度影像擷取裝置,其中該投光鏡頭是該變焦鏡頭時,該處理單元提供該焦距調整信號以同步調整該投光鏡頭以及該第一與該第二影像感測裝置的焦距。
  15. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該投影圖案是預先設計或隨機產生的圖紋,或是隨機分布的散亂光點圖案。
  16. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該第一與第二影像感測裝置分別包括:變焦鏡頭,接收該變焦調整信號以調整其焦距;以及影像感測器,透過該變焦鏡頭以感測投影到該被測物上的該投影圖案。
  17. 如申請專利範圍第16項所述之深度影像擷取裝置,其中當該至少一投光裝置的光源是特定波長的光源時,該第一與第二影像感測裝置更分別包括: 光學濾光鏡,設置於該變焦鏡頭的光路上,該光學濾光鏡匹配該特定波長,以使具備該特定波長的光束通過而濾除其他光束。
  18. 如申請專利範圍第1項所述之深度影像擷取裝置,其中該機構裝置包括:第一與第二承載件,分別承載該第一與該第二影像感測裝置;第一與第二轉動組件,分別調整該第一與該第二影像感測裝置的匯聚角;以及位移件,連接至該第一與該第二承載件以調整該第一與該第二影像感測裝置之間的基線(baseline)距離。
  19. 如申請專利範圍第18項所述之深度影像擷取裝置,其中該位移件包括:螺桿,其分別包括具備第一方向以及第二方向之螺紋的第一區域及第二區域,該第一區域及該第二區域分別連接該第一與該第二承載件,以在該螺桿轉動時使該第一與該第二承載件沿該螺桿進行相對移動。
  20. 如申請專利範圍第18項所述之深度影像擷取裝置,其中該第一轉動組件之轉動軸包括開口面向該第二轉動組件之轉動軸的非圓截面長槽容置空間,且該第二轉動組件之轉動軸包括對應於該非圓截面長槽容置空間而突出的鬆配傳動件,以使該第一轉動組件之轉動軸在轉動時帶動該第二轉動組件之轉動軸,以同時調整該第一與該第二影像感測裝置的匯聚角。
  21. 如申請專利範圍第18項所述之深度影像擷取裝置,其中該位移件包括:第一及第二螺桿,分別連接該第一與該第二承載件,以使該第一與該第二承載件分別沿該第一及該第二螺桿進行移動。
  22. 一種深度影像擷取裝置,包括:至少一投光裝置,投射出投影圖案至被測物上,其中該至少一投光裝置做為一虛擬影像感測裝置,且以該投影圖案的本源影像做為虛擬影像;至少一影像感測裝置,接收焦距調整信號以調整其焦距,並感測投影到該被測物上的該投影圖案,以產生至少一真實影像;機構裝置,耦接該至少一影像感測裝置,接收鏡頭調整信號以調整該至少一影像感測裝置的位置和/或匯聚角;處理單元,耦接該至少一投光裝置、該至少一影像感測裝置以及該機構裝置,提供該焦距調整信號以及該鏡頭調整信號以調整該至少一影像感測裝置的焦距、位置和/或匯聚角,且該處理單元對該至少一真實影像以及該虛擬影像進行深度運算以產生深度信息,其中,該處理單元依據每個影像感測裝置所對應之一基準焦距對應多個預設節點距離時之多筆影像設定參數組,以校正獲得該至少一影像感測裝置於基準焦距時之立體量測參數組,並據而進行深度運算。
  23. 如申請專利範圍第22項所述之深度影像擷取裝置,其中該處理單元分別設定該至少一影像感測裝置的焦距為所對應之該基準焦距,設定複數個節點距離,以作為對應之多個節點的位置,設定對應各該節點的影像設定參數組,進行校正時,該處理單元將該至少一影像感測裝置設定至各自的基準焦距,依據各該節點的影像設定參數組,設定該至少一影像感測裝置的狀態,針對各該節點分別進行校正,取得各該節點各自的立體量測參數組,其中該些立體量測參數組用以進行立體量測計算。
  24. 如申請專利範圍第23項所述之深度影像擷取裝置,其中該影像設定參數組或該立體量測參數組包括該至少一影像感測裝置與該至少一投光裝置之間的基線距離、匯聚角和/或聚焦位置。
  25. 如申請專利範圍第23項所述之深度影像擷取裝置,其中該處理單元分別依據該至少一影像感測裝置選擇不同的焦距作為各該基準焦距。
  26. 如申請專利範圍第23項所述之深度影像擷取裝置,其中該處理單元選擇位在該第一與該第二影像感測裝置之變焦範圍中的焦距作為各該基準焦距。
  27. 如申請專利範圍第22項所述之深度影像擷取裝置,其中該處理單元接收指定焦距以及指定量測距離, 依據該指定量測距離與所對應之該些預設節點距離進行比對,以計算該至少一影像感測裝置於該指定焦距時之該影像設定參數組與該立體量測參數,依據該指定焦距時之影像設定參數組設定該至少一影像感測裝置,其中該至少一影像感測裝置分別感測投影到該被測物上的該投影圖案,以產生該至少一真實影像,該處理單元利用依照該指定焦距及該基準焦距以計算圖像轉換關係式,以及,依據該圖像轉換關係式轉換該至少一真實影像以及該虛擬影像並依據該指定焦距之該立體量測參數進行運算,以產生該深度信息。
  28. 一種深度影像擷取裝置的校正方法,該深度影像擷取裝置包括至少一投光裝置、至少一影像感測裝置以及機構裝置,該至少一投光裝置投射出投影圖案至被測物上,該至少一影像感測裝置感測投影到該被測物上的該投影圖案,以產生至少一真實影像,機構裝置調整該至少一影像感測裝置的位置和/或匯聚角,該深度影像擷取裝置對該至少一真實影像進行深度運算而產生深度信息,該校正方法包括:分別設定該至少一影像感測裝置為一基準焦距;設定複數個節點距離,以作為對應之多個節點的位置;設定對應各該節點的影像設定參數組;將該至少一影像感測裝置設定至各自的基準焦距; 依據各該節點的影像設定參數組,設定該第一與該第二影像感測裝置的狀態;以及針對各該節點分別進行校正,取得各該節點各自的立體量測參數組,其中該立體量測參數組用以進行立體量測計算。
  29. 如申請專利範圍第28項所述之校正方法,其中該影像設定參數組或該立體量測參數組包括該至少一影像感測裝置之間的基線距離、匯聚角和/或聚焦位置。
  30. 如申請專利範圍第28項所述之校正方法,其中各該基準焦距依據該至少一影像感測裝置的變焦範圍設定而不同。
  31. 如申請專利範圍第28項所述之校正方法,其中各該基準焦距是選擇位在依據該至少一影像感測裝置之變焦範圍中的焦距。
  32. 如申請專利範圍第28項所述之校正方法,進行立體量測計算包括下列步驟:接收指定焦距以及指定量測距離;依據該指定量測距離與其對應之該些預設節點距離進行比對,以計算該至少一影像感測裝置於該指定焦距時之該影像設定參數組與該立體量測參數組;依據該指定焦距時之影像設定參數組設定該至少一影像感測裝置的狀態,其中該至少一影像感測裝置分別感測投影到該被測物上的該投影圖案,以產生該至少一真實影像; 依照該指定焦距以及該基準焦距以計算圖像轉換關係式;依據該圖像轉換關係式轉換該至少一真實影像並依據該立體量測參數組進行運算,以產生該深度信息。
  33. 一種深度影像擷取裝置的量測方法,該深度影像擷取裝置包括至少一投光裝置、至少一影像感測裝置以及機構裝置,該至少一投光裝置投射出投影圖案至被測物上,該至少一影像感測裝置感測投影到該被測物上的該投影圖案,以產生至少一真實影像,機構裝置調整該至少一影像感測裝置的位置和/或匯聚角,該深度影像擷取裝置對該至少一真實影像進行深度運算而產生深度信息,該量測方法包括:接收指定焦距以及指定量測距離,其中該至少一影像擷取裝置分別設定有一基準焦距、多個節點之位置的複數個節點距離以及對應各該節點的影像設定參數組以及立體量測參數組;依據該指定量測距離與其對應之該些節點距離進行比對,以計算該至少一影像感測裝置於該指定焦距時之該影像設定參數組與該立體量測參數組;依據該指定焦距之該影像設定參數組以設定該至少一影像感測裝置的狀態,其中該至少一影像感測裝置分別感測投影到該被測物上的該投影圖案,以產生該至少一真實影像; 依照該指定焦距及該至少一基準焦距以計算圖像轉換關係式;以及依據該圖像轉換關係式轉換該至少一真實影像並依據該指定焦距之該立體量測參數組進行運算,以產生該深度信息。
  34. 如申請專利範圍第33項所述之量測方法,其中該圖像轉換關係式為: 其中,該基準焦距為f0,該指定焦距為fi,點(X0,Y0)為該至少一真實影像在圖像轉換前任意一點的影像座標,點(Xi,Yi)為該至少一真實影像在圖像轉換後對應點(X0,Y0)的影像座標。
  35. 如申請專利範圍第33項所述之量測方法,當至少一影像感測裝置不會造成影像偏移及扭曲時,該圖像轉換關係式為: 其中,點(X0,Y0)為該至少一真實影像在圖像轉換前任意一點的影像座標,點(Xi,Yi)為該至少一真實影像在圖像轉換後對應點(X0,Y0)的影像座標,α i為縮放常數,且(Cx,Cy)是該至少一影像感測裝置的影像中心。
TW101150634A 2012-12-27 2012-12-27 深度影像擷取裝置、其校正方法與量測方法 TWI503618B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101150634A TWI503618B (zh) 2012-12-27 2012-12-27 深度影像擷取裝置、其校正方法與量測方法
CN201310078197.6A CN103900532B (zh) 2012-12-27 2013-03-12 深度影像捕获设备、其校正方法与量测方法
US13/871,000 US9319660B2 (en) 2012-12-27 2013-04-26 Device for acquiring depth image, calibrating method and measuring method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101150634A TWI503618B (zh) 2012-12-27 2012-12-27 深度影像擷取裝置、其校正方法與量測方法

Publications (2)

Publication Number Publication Date
TW201426161A TW201426161A (zh) 2014-07-01
TWI503618B true TWI503618B (zh) 2015-10-11

Family

ID=50992001

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101150634A TWI503618B (zh) 2012-12-27 2012-12-27 深度影像擷取裝置、其校正方法與量測方法

Country Status (3)

Country Link
US (1) US9319660B2 (zh)
CN (1) CN103900532B (zh)
TW (1) TWI503618B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640744B (zh) * 2017-10-25 2018-11-11 合盈光電科技股份有限公司 Depth sensing photography system
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8372002B2 (en) * 2006-07-27 2013-02-12 Olympus Corporation Endoscope apparatus
US10307912B2 (en) * 2013-07-15 2019-06-04 Lg Electronics Inc. Robot cleaner and method for auto-correcting 3D sensor of the robot cleaner
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
TWI577172B (zh) * 2014-09-10 2017-04-01 鈺立微電子股份有限公司 影像校正系統和立體照相機的校正方法
JP6205069B2 (ja) * 2014-12-04 2017-09-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像化システム及び方法
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US20160349918A1 (en) * 2015-05-29 2016-12-01 Intel Corporation Calibration for touch detection on projected display surfaces
US10742961B2 (en) 2015-09-02 2020-08-11 Industrial Technology Research Institute Depth sensing apparatus with self-calibration and self-calibration method thereof
CN106488204B (zh) * 2015-09-02 2018-06-15 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
US20170127049A1 (en) * 2015-10-30 2017-05-04 Industrial Technology Research Institute Object scanning method
US9978147B2 (en) * 2015-12-23 2018-05-22 Intel Corporation System and method for calibration of a depth camera system
TWI621554B (zh) * 2015-12-28 2018-04-21 國防大學 基線可調式立體視覺裝置
CN106980143B (zh) * 2016-01-19 2018-11-20 台达电子工业股份有限公司 感测装置安装辅助装置及其辅助调整感测范围的方法
TWI573985B (zh) * 2016-01-19 2017-03-11 台達電子工業股份有限公司 感測裝置安裝輔助裝置及其輔助調整感測範圍之方法
JP6587000B2 (ja) * 2016-01-28 2019-10-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
TWI616102B (zh) * 2016-06-24 2018-02-21 和碩聯合科技股份有限公司 視訊影像生成系統及其視訊影像生成之方法
TWI612795B (zh) * 2016-09-13 2018-01-21 財團法人工業技術研究院 場景掃描方法及系統
TWI603135B (zh) * 2016-10-13 2017-10-21 財團法人工業技術研究院 三維顯示模組
CN106802138B (zh) * 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN107133925B (zh) * 2017-04-12 2020-09-08 新疆林业科学院现代林业研究所 一种自动提取控制点的光谱影像校正方法
TWI636427B (zh) * 2017-05-31 2018-09-21 鈺立微電子股份有限公司 對應影像擷取裝置的深度圖品質的驗證方法及其驗證系統
US10812693B2 (en) * 2017-10-20 2020-10-20 Lucasfilm Entertainment Company Ltd. Systems and methods for motion capture
TWI622960B (zh) * 2017-11-10 2018-05-01 財團法人工業技術研究院 深度影像擷取裝置的校正方法
JPWO2019111473A1 (ja) * 2017-12-06 2020-12-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および医療用観察システム
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit
CN108510538B (zh) * 2018-03-30 2020-01-17 百度在线网络技术(北京)有限公司 三维图像合成方法、装置及计算机可读存储介质
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
CN108957914B (zh) * 2018-07-25 2020-05-15 Oppo广东移动通信有限公司 激光投射模组、深度获取装置和电子设备
WO2020068407A1 (en) * 2018-09-27 2020-04-02 Snap Inc. Separable distortion disparity determination
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
CN112198669B (zh) * 2019-07-08 2022-07-26 三赢科技(深圳)有限公司 结构光投射模组、深度相机和电子装置
WO2021088540A1 (zh) * 2019-11-08 2021-05-14 彭波 一种立体眼镜
CN111161358B (zh) * 2019-12-31 2022-10-21 华中科技大学鄂州工业技术研究院 一种用于结构光深度测量的相机标定方法和装置
CN113100754B (zh) * 2020-01-21 2023-02-03 天目爱视(北京)科技有限公司 一种3d信息采集测量设备
CN111457886B (zh) * 2020-04-01 2022-06-21 北京迈格威科技有限公司 距离确定方法、装置及系统
CN111814659B (zh) * 2020-07-07 2024-03-29 杭州海康威视数字技术股份有限公司 一种活体检测方法、和系统
CN114076934A (zh) * 2020-08-12 2022-02-22 三赢科技(深圳)有限公司 校准设备及深度相机的校准方法
CN114322821A (zh) * 2020-09-29 2022-04-12 沈阳华慧高新技术有限公司 一种三维扫描装置及其标定方法和测量方法
US20230112666A1 (en) * 2021-10-12 2023-04-13 Zebra Technologies Corporation System and Method for Detecting Calibration of a 3D Sensor
US20230336874A1 (en) * 2021-11-02 2023-10-19 X-Biomedical, Inc. Method and system of electromechanical control to adjust the positioning and parallax of two cameras
CN115965912B (zh) * 2022-12-28 2024-06-25 众芯汉创(北京)科技有限公司 一种基于图像识别的配网设备状态监测系统和方法
TWI851474B (zh) * 2023-11-09 2024-08-01 承奕科技股份有限公司 公里級延焦距雷射光源及具該光源的影像擷取儀

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833229A (zh) * 2009-03-09 2010-09-15 联发科技股份有限公司 影像撷取装置与方法
TW201236439A (en) * 2011-02-22 2012-09-01 Sanjet Technology Corp 3D image sensor alignment detection method
CN102708570A (zh) * 2012-05-17 2012-10-03 北京数码视讯科技股份有限公司 获取深度图的方法及装置
TW201250628A (en) * 2011-06-09 2012-12-16 Univ Nat Taiwan System and method of revising depth of a 3D image pair

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8430980D0 (en) * 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
MY104410A (en) 1988-03-07 1994-03-31 Sharp Kk Interlocked zooming apparatus for use in stereoscopic cameras
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
JPH04108288A (ja) * 1990-08-29 1992-04-09 Hitachi Ltd 立体映像装置
EP0425985B1 (en) * 1989-10-25 1997-06-11 Hitachi, Ltd. Stereoscopic imaging system
JP3054002B2 (ja) * 1993-09-01 2000-06-19 キヤノン株式会社 複眼撮像装置
US6177952B1 (en) * 1993-09-17 2001-01-23 Olympic Optical Co., Ltd. Imaging apparatus, image display apparatus and image recording and/or reproducing apparatus
US5978015A (en) * 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
US6414709B1 (en) * 1994-11-03 2002-07-02 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
US5949477A (en) * 1995-04-06 1999-09-07 Hoglin; Irving M. Three dimensional stereoscopic television system
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US7068416B2 (en) 2004-04-12 2006-06-27 Angstrom Inc. Three-dimensional imaging device
DE102005034597A1 (de) 2005-07-25 2007-02-08 Robert Bosch Gmbh Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
TW200720809A (en) 2005-11-24 2007-06-01 Ind Tech Res Inst Focalizable three-dimension picture-taking apparatus
CN101581997A (zh) * 2008-05-12 2009-11-18 财团法人工业技术研究院 多点触控位置追踪装置及互动系统与互动影像处理方法
KR20100080704A (ko) * 2009-01-02 2010-07-12 삼성전자주식회사 영상 데이터 획득 방법 및 장치
TWI402479B (zh) 2009-12-15 2013-07-21 Ind Tech Res Inst 深度感測方法及應用其之系統
KR101377325B1 (ko) 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
JP4764959B1 (ja) * 2010-03-25 2011-09-07 富士フイルム株式会社 撮影装置及びその制御方法
US20110304706A1 (en) 2010-06-09 2011-12-15 Border John N Video camera providing videos with perceived depth
JP2012177747A (ja) * 2011-02-25 2012-09-13 Sony Corp 立体画像撮像装置
JP2012215720A (ja) * 2011-03-31 2012-11-08 Sony Corp 立体画像撮像装置及び立体画像撮像方法
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
TWI463244B (zh) 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833229A (zh) * 2009-03-09 2010-09-15 联发科技股份有限公司 影像撷取装置与方法
TW201236439A (en) * 2011-02-22 2012-09-01 Sanjet Technology Corp 3D image sensor alignment detection method
TW201250628A (en) * 2011-06-09 2012-12-16 Univ Nat Taiwan System and method of revising depth of a 3D image pair
CN102708570A (zh) * 2012-05-17 2012-10-03 北京数码视讯科技股份有限公司 获取深度图的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640744B (zh) * 2017-10-25 2018-11-11 合盈光電科技股份有限公司 Depth sensing photography system
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統

Also Published As

Publication number Publication date
CN103900532A (zh) 2014-07-02
CN103900532B (zh) 2016-05-25
US9319660B2 (en) 2016-04-19
TW201426161A (zh) 2014-07-01
US20140184751A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
TWI503618B (zh) 深度影像擷取裝置、其校正方法與量測方法
JP4111592B2 (ja) 3次元入力装置
EP2377464B1 (en) 3-D imaging using double telecentric optics and depth from focus measurements
US7812969B2 (en) Three-dimensional shape measuring apparatus
US6519359B1 (en) Range camera controller for acquiring 3D models
CN105358092B (zh) 用于牙齿表面成像设备的基于视频的自动获取
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
WO2018106671A9 (en) Distance sensor including adjustable focus imaging sensor
EP3488182A1 (en) Systems and methods for 3d surface measurements
EP1491936B1 (en) Focus detecting method of an image pickup device and focus detection mechanism
CN105578019A (zh) 一种可获得深度信息的影像提取系统与对焦方法
CN108700408A (zh) 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法
CN101292359A (zh) 用于测量图像的设备和方法
US8773538B2 (en) Calibration method and apparatus for optical imaging lens system with double optical paths
JP2021182011A (ja) 表面形状測定装置及びそのスティッチング測定方法
JP2021015089A (ja) 測距センサ
CN103727896B (zh) 一种三维扫描仪及其扫描方法
KR20150029897A (ko) 촬영 장치 및 그의 동작 방법
JP2005351871A (ja) 物体情報入力装置および物体生成装置
KR20110068954A (ko) 구강용 스캐너
CN113513997B (zh) 光源、光路系统、单目采集系统、传感器及应变检测系统
JP3554264B2 (ja) 3次元画像生成装置及び同方法
JP2012063220A (ja) 校正基準点取得システム及び校正基準点取得方法
KR102080506B1 (ko) 광학 3d 스캐너
US20230408253A1 (en) Three-dimensional scanner having sensors with overlapping fields of view