[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI672938B - 可校正遮蔽區的深度圖產生裝置 - Google Patents

可校正遮蔽區的深度圖產生裝置 Download PDF

Info

Publication number
TWI672938B
TWI672938B TW107100670A TW107100670A TWI672938B TW I672938 B TWI672938 B TW I672938B TW 107100670 A TW107100670 A TW 107100670A TW 107100670 A TW107100670 A TW 107100670A TW I672938 B TWI672938 B TW I672938B
Authority
TW
Taiwan
Prior art keywords
depth map
image capturing
depth
image
area
Prior art date
Application number
TW107100670A
Other languages
English (en)
Other versions
TW201843997A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201843997A publication Critical patent/TW201843997A/zh
Application granted granted Critical
Publication of TWI672938B publication Critical patent/TWI672938B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

可校正遮蔽區的深度圖產生裝置包含至少二影像擷取對和一深度圖產生器。該至少二影像擷取對是用以擷取複數個影像。該深度圖產生器耦接於該至少二影像擷取對，用以根據該複數個影像產生一第一深度圖以及一第二深度圖，其中當該第一深度圖包括一遮蔽區及一非遮蔽區時，該深度圖產生器根據該第二深度圖校正該遮蔽區。

Description

可校正遮蔽區的深度圖產生裝置
本發明是有關於一種深度圖產生裝置，尤指一種可校正遮蔽區的深度圖產生裝置。
當一立體照相機和一物件之間出現另一物件時，該物件上的一區域可能只會出現在該立體照相機中一左眼影像擷取器(一右眼影像擷取器)所擷取的影像中，也就是說該立體照相機中該右眼影像擷取器(該左眼影像擷取器)將會因為該另一物件的阻擋而無法感測該區域。因此，當耦接於該立體照相機的深度圖產生器利用現有技術所提供的三角定位演算法計算對應該物件的深度圖時，因為該右眼影像擷取器(該左眼影像擷取器)無法感測該區域，所以該深度圖產生器將會宣告該深度圖中的該區域為一無效區，且該無效區的問題會隨著該左眼影像擷取器和該右眼影像擷取器之間的基線的增加而越嚴重。因此，如何設計一個可校正遮蔽區的深度圖產生裝置將會是一項重要課題。
本發明的一實施例提供一種可校正遮蔽區的深度圖產生裝置。該可校正遮蔽區的深度圖產生裝置包含至少二影像擷取對和一深度圖產生器。該至 少二影像擷取對是用以擷取複數個影像。該深度圖產生器耦接於該至少二影像擷取對，用以根據該複數個影像產生一第一深度圖以及一第二深度圖，其中當該第一深度圖包括一遮蔽區及一非遮蔽區時，該深度圖產生器根據該第二深度圖校正該遮蔽區。
本發明的另一實施例提供一種可校正遮蔽區的深度圖產生裝置。該深度圖產生裝置包含一影像擷取模組和一深度圖產生器。該影像擷取模組包含至少二影像擷取對，且該至少二影像擷取對中的每一影像擷取對是由二影像擷取器所組成或由一影像擷取器及一光源所組成；該深度圖產生器耦接於該影像擷取模組，用以當該深度圖產生器所產生的對應該至少二影像擷取對的至少二深度圖中的一第一深度圖出現一遮蔽區及一非遮蔽區時，利用該至少二深度圖中的一第二深度圖校正該遮蔽區。
本發明的另一實施例提供一種可校正遮蔽區的深度圖產生裝置。該深度圖產生裝置包含至少二影像擷取對和一深度圖產生器。該至少二影像擷取對用以擷取複數個影像。該深度圖產生器耦接於該至少二影像擷取對，用以根據該複數個影像產生一第一深度圖以及一第二深度圖，其中該深度圖產生器另用以執行根據該第二深度圖校正該第一深度圖的一遮蔽區和融合該第一深度圖和該第二深度圖以產生一融合深度圖的至少其中之一。
本發明的另一實施例提供一種可校正遮蔽區的深度圖產生裝置。該深度圖產生裝置包含二組影像擷取對和一深度圖產生器。該二組影像擷取對分別用以擷取複數個第一影像與複數個第二影像；該深度圖產生器耦接於該二組影像擷取對，用以根據該複數個第一影像與該複數個第二影像產生複數個第一 深度圖以及複數個第二深度圖，並分別融合該複數個第一深度圖以及該複數個第二深度圖以產生一第一融合深度圖和一第二融合深度圖；當該第一深度圖包括一第一遮蔽區及一第一非遮蔽區時，該深度圖產生器另用以根據該第二融合深度圖校正該第一遮蔽區。
本發明提供一種可校正遮蔽區的深度圖產生裝置。當該深度圖產生裝置中的深度圖產生器所產生的對應該深度圖產生裝置中的至少二影像擷取對的至少二深度圖中的一第一深度圖出現至少一遮蔽區時，該深度圖產生器利用該至少二深度圖中的至少一第二深度圖內的一相對應有效區校正(或取代)該至少一遮蔽區。因此，相較於現有技術，因為本發明是利用該相對應有效區校正(或取代)該至少一遮蔽區，所以本發明可有效解決一深度圖出現遮蔽區的問題。
100、700、800、900、1000、1100‧‧‧深度圖產生裝置
101‧‧‧第一物件
103‧‧‧第二物件
102、104、105、106、107‧‧‧影像擷取器
108‧‧‧深度圖產生器
112‧‧‧印刷電路板
1032、1034、1036、1038、VDP‧‧‧區域
402、702‧‧‧光源
BL1‧‧‧第一基線
BL2‧‧‧第二基線
DP1、DP2‧‧‧深度圖
MDP2‧‧‧鏡像深度圖
MVDP‧‧‧鏡像有效區
ODP1‧‧‧遮蔽區
第1圖是本發明的第一實施例所公開的一種可校正遮蔽區的深度圖產生裝置的示意圖。
第2A圖是說明深度圖中有關物件的區域出現一遮蔽區的示意圖。
第2B圖是說明深度圖中對應另一深度圖的遮蔽區的區域的示意圖。
第3圖是說明第一基線和第二基線不互相平行的示意圖。
第4圖是本發明的另一實施例所公開的一種可校正遮蔽區的深度圖產生裝置的示意圖。
第5圖是說明該結構光為一編碼圖案的示意圖。
第6圖是說明深度圖產生器產生鏡像深度圖的示意圖。
第7圖是本發明的第二實施例所公開的一種可校正遮蔽區的深度圖產生裝置的示意圖。
第8圖是本發明的第三實施例所公開的一種可校正遮蔽區的深度圖產生裝置的示意圖。
第9圖是本發明的第四實施例所公開的一種可校正遮蔽區的深度圖產生裝置的示意圖。
第10圖是本發明的第五實施例所公開的一種可校正遮蔽區的深度圖產生裝置的示意圖。
第11圖是本發明的第六實施例所公開的一種可校正遮蔽區的深度圖產生裝置的示意圖。
請參照第1圖，第1圖是本發明的第一實施例所公開的一種可校正遮蔽區的深度圖產生裝置100的示意圖，其中深度圖產生裝置100包含三影像擷取器102、104、106和一深度圖產生器108，且深度圖產生器108耦接三影像擷取器102、104、106。但本發明並不受限於深度圖產生裝置100只包含三影像擷取器102、104、106，也就是說深度圖產生裝置100可包含三個以上的影像擷取器。如第1圖所示，影像擷取器102和影像擷取器104之間具有一第一基線BL1以及影像擷取器104和影像擷取器106之間具有一第二基線BL2，其中影像擷取器102、104、106和深度圖產生器108是設置在一印刷電路板112之上，但為了簡化第1圖，印刷電路板112上僅顯示影像擷取器102、104、106。另外，在本發明的一實施例中，第一基線BL1的長度和第二基線BL2的長度相等。
影像擷取器102、104、106用以形成二影像擷取對，其中影像擷取器 102、104為一第一影像擷取對，影像擷取器106、104為一第二影像擷取對，以及該第一影像擷取對和該第二影像擷取對都包括影像擷取器104。如第1圖所示，深度圖產生器108電連接影像擷取器102、104、106，用以根據該第一影像擷取對以及該第二影像擷取對中每一影像擷取對所擷取的影像對產生對應該每一影像擷取對的一深度圖。如第1圖所示，當一第一物件101介於深度圖產生裝置100和一第二物件103之間時，影像擷取器106相對於第二物件103的視野將會因為第一物件101的阻擋而無法感測第二物件103的區域1032，導致深度圖產生器108根據該第二影像擷取對所擷取的包含第二物件103的影像所產生的一深度圖DP1中有關第二物件103的區域1034右方出現一遮蔽區ODP1(如第2A圖所示)。以第1圖中影像擷取器104設置在影像擷取器106的左側且影像擷取器104設置在影像擷取器102的右側為例來說明，則深度圖產生器108在影像擷取器104、106所擷取的影像中的搜尋方向是以影像擷取器104的影像內容為基準在影像擷取器106所擷取的影像內容中向左方搜尋。深度圖DP1中的遮蔽區ODP1即為深度圖DP1中的無效區(invalid area)。另外，深度圖產生器108也可根據該第一影像擷取對所產生的包含第二物件103的影像，產生對應該第一影像擷取對的一深度圖DP2，其中深度圖DP2中具有有關第二物件103的區域1036，且深度圖產生器108在影像擷取器102、104所擷取的影像內容中的搜尋方向是以影像擷取器104影像內容為基準在影像擷取器102所擷取的影像內容中向右方搜尋。如第1圖所示，雖然第一物件101介於深度圖產生裝置100和第二物件103之間，但因為影像擷取器104、102相對於第二物件103的視野沒有受到第一物件101的阻擋，所以影像擷取器104、102都可以感測第二物件103的區域1032。因此，深度圖產生器108在該第一影像擷取對所擷取的包含第二物件103的影像內容中的搜尋方向是以影像擷取器104的影像內容為基準在影像擷取器102所擷取的影像內容中向右方搜尋以產生深度圖DP2，所以深度圖DP2中對應深度圖DP1的遮蔽區ODP1的區域 VDP(如第2B圖所示)是一有效區。因此，深度圖產生器108即可利用深度圖DP2中對應深度圖DP1的遮蔽區ODP1的區域VDP的深度資訊校正(例如取代)深度圖DP1的遮蔽區ODP1，然後輸出對應深度圖DP1的校正的深度圖。但在本發明的另一實施例中，深度圖DP1中的遮蔽區ODP1和深度圖DP1中鄰近遮蔽區ODP1的預定毗連區是由深度圖DP2的一相對應有效區取代以避免深度圖產生器108因為深度圖DP1中的遮蔽區ODP1的誤差而無法有效地校正深度圖DP1的遮蔽區ODP1，其中該預定毗連區的範圍可由一使用者調整。另外，因為第一基線BL1的長度和第二基線BL2的長度相等，所以深度圖產生器108可直接利用深度圖DP2的區域VDP的深度資訊取代深度圖DP1的遮蔽區ODP1，也就是說當深度圖產生器108利用深度圖DP2的區域VDP的深度資訊取代深度圖DP1的遮蔽區ODP1時，區域VDP的視差不需做任何正規化動作以匹配深度圖DP1的視差。
然而在本發明的另一實施例中，如果第一基線BL1的長度不等於第二基線BL2的長度，則當深度圖產生器108利用深度圖DP2的區域VDP的深度資訊取代深度圖DP1的遮蔽區ODP1時，區域VDP的視差必須被執行一正規化動作，也就是說區域VDP的視差必須乘上一正規化比例以匹配深度圖DP1的視差，其中該正規化比例是由式(1)所決定：NRA=BL2/BL1 (1)
其中NRA為該正規化比例、BL1為第一基線BL1的長度以及BL2為第二基線BL2的長度。因此，當深度圖產生器108利用深度圖DP2的區域VDP的深度資訊取代深度圖DP1的遮蔽區ODP1時，區域VDP的視差是一正規化後的視差。另外，在本發明的另一實施例中，當深度圖DP1和深度圖DP2是用任一物件 與深度圖產生裝置100之間的距離表示時，因為深度圖DP1和深度圖DP2的距離的單位相同(例如公尺)，所以深度圖DP2不需做任何正規化轉換以匹配深度圖DP1。
另外，當第一基線BL1和第二基線BL2不互相平行(如第3圖所示)時，深度圖產生器108另用以對深度圖DP1和深度圖DP2的其中至少一執行一幾何校正(例如一旋轉校正)，也就是說該旋轉校正是深度圖DP1利用第一旋轉矩陣進行幾何轉換和深度圖DP2利用第二旋轉矩陣進行幾何轉換，其中該第一旋轉矩陣和該第二旋轉矩陣是根據第一基線BL1和第二基線BL2的其中一基線或根據不同於第一基線BL1和第二基線BL2的一參考直線求出，以及該第一旋轉矩陣和該第二旋轉矩陣的目標是讓經過幾何轉換後第一基線BL1和第二基線BL2平行。
另外，在本發明的另一實施例中，深度圖產生裝置100可包含至少一光源(如第4圖所示的一光源402)，用以發出至少一結構光。如第4圖所示，光源402是一紅外線光源，用以發出一結構光(或一隨機圖案(random pattern))，且光源402的目的是使深度圖產生裝置100所產生的深度圖DP1、DP2的品質提高，其中如第5圖所示，該結構光為一編碼圖案(也就是和亂數有關的圖案)。但本發明並不受限於光源402是一紅外線光源，也就是說光源402可以是其他形式的光源(例如光源402可以是一可見光源)。或者在本發明的另一實施例中，深度圖產生裝置100也可包含至少一紅外線雷射光源。以深度圖產生裝置100為例，光源402可根據深度圖產生裝置100所處環境的亮度、深度圖DP1(或深度圖DP2)的品質對應光源402開啟與關閉時的差異的其中至少一項開啟。
當光源402是根據深度圖產生裝置100所處環境的亮度開啟時，一控 制器(未繪示於第4圖)可根據影像擷取器102(或影像擷取器104，或影像擷取器106)目前所設定的一快門時間、一曝光時間和一ISO感光度(增益)的其中至少一項，判斷深度圖產生裝置100所處環境的亮度。以該曝光時間為例，在本發明的一實施例中，當影像擷取器102的快門時間固定(或無快門)時，該控制器可根據式(2)所產生的值GEX，決定是否開啟光源402：GEX=gain * EXPT (2)
其中gain為對應影像擷取器102的增益以及EXPT為對應影像擷取器102的曝光時間。當值GEX大於一高臨界值時，意味著深度圖產生裝置100所處環境的亮度太暗，所以該控制器開啟光源402；當值GEX小於一低臨界值時，意味著深度圖產生裝置100所處環境的亮度夠亮，所以該控制器關閉光源402，其中該高臨界值大於該低臨界值。另外，當值GEX的一最大值(對應影像擷取器102的最大曝光時間與最大增益)都無法大於該高臨界值時，該控制器會根據深度圖產生裝置100所處環境的目前亮度，開啟光源402。
當光源402是根據深度圖DP1的品質開啟時，該控制器可根據對應深度圖DP1內具有無效值的像素數目和對應深度圖DP1的平滑度的其中至少一項，判斷深度圖DP1的品質。例如，在本發明的一實施例中，該控制器可根據式(3)所產生的成本值COST，決定是否開啟光源402：COST=a * mean(HPF(x))+b * invalid_cnt(x) (3)
其中HPF(x)為對應一高通濾波器的響應(因為深度圖DP1的平滑度是 有關深度圖DP1的高頻區域)，mean(HPF(x))為對應該高通濾波器的響應的平均值(但在本發明的另一實施例中，mean(HPF(x))可被對應該高通濾波器的響應的總和取代)，invalid_cnt(x)為深度圖DP1內具有無效值的像素數目，x為深度圖DP1，以及a、b為係數。當成本值COST大於一臨界值時，意味著深度圖產生裝置100所處環境的亮度太暗或是深度圖DP1中的被攝物件無紋理，所以該控制器開啟光源402。另外，在光源402開啟一預定時間後，該控制器可嘗試關閉光源402使影像擷取器102擷取至少一影像，然後該控制器可根據式(3)計算出對應該至少一影像的成本值。如果對應該至少一影像的成本值仍然大於該臨界值，則該控制器重新開啟光源402直到該預定時間後再次重複上述動作；如果對應該至少一影像的成本值小於該臨界值，則該控制器關閉光源402直到對應該至少一影像的成本值再次大於該臨界值。
另外，該控制器可開啟與關閉光源402，並根據深度圖DP1對應光源402開啟與關閉時的差異，判斷深度圖DP1的品質。如果深度圖DP1對應光源402開啟與關閉時的差異小於一參考值，意味著光源402的開啟與關閉並不會影響深度圖DP1的品質，所以該控制器可關閉光源402。
另外，當光源402開啟後，該控制器可根據對應影像擷取器102、104所擷取的複數個影像的亮度和一目標值選擇性地調整光源402的強度，其中該目標值是根據一人體皮膚對光源402所發射的結構光的反射係數而設定。例如該控制器可根據該複數個影像產生對應該複數個影像的亮度分布圖，以及根據該亮度分布圖中大於該目標值的至少一亮度值中的最大亮度值所在的面積佔深度圖DP1的百分比，選擇性地調整光源402的強度。另外，在本發明的另一實施例中，該控制器是根據該複數個影像產生對應該複數個影像的平均亮度，以及根據該 平均亮度和該目標值，選擇性地調整光源402的強度。另外，在本發明的另一實施例中，該控制器是根據該複數個影像產生對應於該複數個影像的複數個像素的亮度直方圖，以及根據該亮度直方圖的中位數和該目標值或該亮度直方圖的四分位數和該目標值，選擇性地調整光源402的強度。
另外，在本發明的另一實施例中，當光源402開啟後，該控制器可根據該複數個影像中的至少一預定物件與影像擷取器102(或影像擷取器104，或影像擷取器106)之間的距離和一第一查閱表，選擇性地動態調整光源402的強度，其中該第一查閱表儲存物件距離與光源402的強度之間的關係。另外，在本發明的另一實施例中，該控制器是根據該複數個圖像中的至少一預定物件與影像擷取器102(或影像擷取器104，或影像擷取器106)之間的距離和一第一相關公式，選擇性地動態調整光源402的強度。
另外，在本發明的另一實施例中，該控制器一直偵測在光源402關閉的情況下深度圖產生裝置100所處環境的亮度，當該環境的亮度越亮時，則根據一第二查閱表增加光源402開啟時的強度，其中該第二查閱表儲存光源402開啟時的強度與該環境的亮度之間的關係。另外，在本發明的另一實施例中，當該環境的亮度越亮時，該控制器是根據一第二相關公式增加光源402開啟時的強度。
另外，在本發明的另一實施例中，該控制器先關閉光源402後，偵測該環境的亮度。然後根據本發明領域具有熟知技藝者所熟知的自動曝光(AE)演算法，利用影像擷取器102(或影像擷取器104，或影像擷取器106)的曝光時間(或快門時間、曝光時間和ISO感光度(增益)的其中至少一項)將該環境的亮度降低至 不會干擾影像擷取器102(或影像擷取器104，或影像擷取器106)，並固定當下的影像擷取器102(或影像擷取器104，或影像擷取器106)的曝光時間。然後該控制器開啟光源402並偵測光源402的強度直到一目標值。
另外，在本發明的另一實施例中，深度圖也可以是藉由搜尋同一方向來產生。對於該第二影像擷取對而言，深度圖產生器108在影像擷取器104、106所擷取的影像內容中的搜尋方向仍是以影像擷取器104的影像內容為基準在影像擷取器106所擷取的影像內容中向左方搜尋以產生深度圖DP1(如第2A圖所示)；對於該第一影像擷取對而言，深度圖產生器108先鏡像影像擷取器102、104所擷取的影像，然後深度圖產生器108在對應影像擷取器102、104所擷取的影像的鏡像影像內容中的搜尋方向為以影像擷取器104的鏡像影像內容為基準在影像擷取器102的鏡像影像內容中向左方搜尋以產生一鏡像深度圖MDP2(如第6圖所示)，其中鏡像深度圖MDP2中也具有有關第二物件103的區域1038，且鏡像深度圖MDP2中也有對應深度圖DP1的遮蔽區ODP1的一鏡像有效區MVDP。在對遮蔽區ODP1進行校正之前，為了使第二物件103在鏡像深度圖MDP2和深度圖DP1中的座標能夠一致，深度圖產生器108必須先鏡像鏡像深度圖MDP2以產生深度圖DP2(如第2B圖所示)，然後即可利用深度圖DP2的區域VDP的深度資訊取代深度圖DP1的遮蔽區ODP1。
另外，深度圖產生器108可以是一具有上述深度圖產生器108的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)，或是一具有上述深度圖產生器108的功能的特殊應用積體電路(Application-specific integrated circuit,ASIC)或是一具有上述深度圖產生器108的功能的軟體模組。
另外，在本發明的另一實施例中，如果該第一影像擷取對(影像擷取器102、104所組成)的影像擷取器102相對於一物件的視野被一第一物件遮蔽，則對應該第一影像擷取對的第一深度圖中關於該物件的深度資訊將包括一第一遮蔽區及一第一非遮蔽區，且該第一遮蔽區的深度資訊為該第一深度圖的一無效區；如果該第二影像擷取對(影像擷取器104、106所組成)的影像擷取器106相對於該物件的視野被一第二物件遮蔽，則對應該第二影像擷取對的第二深度圖中關於該物件的深度資訊將包括一第二遮蔽區及一第二非遮蔽區，且該第二遮蔽區的深度資訊為該第二深度圖的一無效區。因此，當該第一非遮蔽區為該第一深度圖中對應該第二遮蔽區的有效區以及該第二非遮蔽區為該第二深度圖中對應該第一遮蔽區的有效區時，深度圖產生器108可根據該第一非遮蔽區以及該第二非遮蔽區分別校正(例如取代)該第二遮蔽區以及該第一遮蔽區。
另外，請參照第7圖，第7圖是本發明的第二實施例所公開的一種可校正遮蔽區的深度圖產生裝置700的示意圖，其中深度圖產生裝置700包含二影像擷取器102、106、一光源702和一深度圖產生器108。但本發明並不受限於深度圖產生裝置700只包含二影像擷取器102、106，也就是說深度圖產生裝置700也可包含三個以上的影像擷取器。另外，光源702分別和影像擷取器102、106形成二影像擷取對，其中光源702和影像擷取器102為一第一影像擷取對以及光源702和影像擷取器106為一第二影像擷取對。如第7圖所示，光源702和影像擷取器102之間具有第一基線BL1以及光源702和影像擷取器106之間具有第二基線BL2。深度圖產生器108電連接影像擷取器102、106，用以根據該第一影像擷取對以及該第二影像擷取對中每一影像擷取對所擷取的包含該結構光的影像產生對應該每一影像擷取對的一深度圖，也就是說深度圖產生器108將會產生對應該第一影像擷取對以及該第二影像擷取對的二深度圖。因此，當對應該第一影像 擷取對的第一深度圖出現一遮蔽區以及對應該第二影像擷取對的第二深度圖沒有任何遮蔽區時，或者是當對應第一影像擷取對的第一深度圖和對應該第二影像擷取對的第二深度圖分別在不同區域出現遮蔽區時，深度圖產生裝置700的深度圖產生器108即可參照上述深度圖產生裝置100的深度圖產生器108的操作原理來對遮蔽區進行校正，在此不再贅述。另外，光源702的操作原理也可參照光源402的操作原理，在此也不再贅述。
另外，請參照第8圖，第8圖是本發明的第三實施例所公開的一種可校正遮蔽區的深度圖產生裝置800的示意圖，其中深度圖產生裝置800包含二影像擷取器102、104、光源702和深度圖產生器108。但本發明並不受限於深度圖產生裝置800只包含二影像擷取器102、104，也就是說深度圖產生裝置800可包含三個以上的影像擷取器。另外，影像擷取器102、104形成一第一影像擷取對以及光源702和影像擷取器104形成一第二影像擷取對。如第8圖所示，影像擷取器102、104之間具有第一基線BL1以及光源702和影像擷取器104之間具有第二基線BL2。如第8圖所示，深度圖產生器108電連接影像擷取器102、104，用以根據該第一影像擷取對所擷取的影像以及該第二影像擷取對所擷取的包含該結構光的影像產生對應該第一影像擷取對以及該第二影像擷取對的二深度圖。因此，深度圖產生裝置800的深度圖產生器108即可參照上述深度圖產生裝置100的深度圖產生器108的操作原理，從而對深度圖中出現遮蔽區的狀況進行校正，在此不再贅述。
另外，請參照第9圖，第9圖是本發明的第四實施例所公開的一種可校正遮蔽區的深度圖產生裝置900的示意圖，其中深度圖產生裝置900包含影像擷取器102、104、105、106、107和深度圖產生器108。但本發明並不受限於深 度圖產生裝置900只包含影像擷取器102、104、105、106、107。如第9圖所示，影像擷取器104、106形成一第一影像擷取對、影像擷取器104、107形成一第二影像擷取對、影像擷取器104、102形成一第三影像擷取對以及影像擷取器104、105形成一第四影像擷取對，且在本發明的第四實施例中是以該第一影像擷取對為基準為例。因此，如果對應該第一影像擷取對的第一深度圖出現一遮蔽區以及對應該第二影像擷取對的第二深度圖沒有任何遮蔽區時，深度圖產生器108必須以該第一影像擷取對為基準先對對應該第二影像擷取對的第二深度圖執行該幾何校正，也就是說該第二影像擷取對會先被幾何轉換為深度圖產生器108能產生第二深度圖的狀態，在深度圖產生器108產生對應該第二影像擷取對的第二深度圖後，深度圖產生器108會再旋轉(例如旋轉90°)該第二深度圖，使對應該第二影像擷取對的基線平行對應該第一影像擷取對的基線。同理如果對應該第一影像擷取對的第一深度圖出現該遮蔽區以及對應該第三影像擷取對的第三深度圖沒有任何遮蔽區時，深度圖產生器108必須以該第一影像擷取對為基準先對對應該第三影像擷取對的第三深度圖執行該幾何校正，也就是說該第三影像擷取對會先幾何轉換為深度圖產生器108能產生第三深度圖的狀態，在深度圖產生器108產生對應該第三影像擷取對的第三深度圖後，深度圖產生器108會再旋轉(例如旋轉180°)該第三深度圖使對應該第三影像擷取對的基線至平行對應該第一影像擷取對的基線。但在本發明的另一實施例中，深度圖產生器108也可先鏡像對應該第三影像擷取對的第三深度圖來達到幾何校正的效果，其中鏡像影像的做法與第6圖所示的實施例類似，在此不再贅述。另外，該第四影像擷取對的操作原理可參照上述該第二影像擷取對的操作原理的操作原理，在此不再贅述。另外，深度圖產生裝置900的深度圖產生器108執行上述該幾何校正後，深度圖產生裝置900的深度圖產生器108的其餘操作原理可參照上述深度圖產生裝置100的深度圖產生器108的操作原理，在此不再贅述。
另外，請參照第10圖，第10圖是本發明的第五實施例所公開的一種可校正遮蔽區的深度圖產生裝置1000的示意圖，其中深度圖產生裝置1000包含影像擷取器102、104、106、107和深度圖產生器108。但本發明並不受限於深度圖產生裝置1000只包含影像擷取器102、104、106、107。如第10圖所示，影像擷取器104、102形成一第一影像擷取對、影像擷取器104、106形成一第二影像擷取對以及影像擷取器104、107形成一第三影像擷取對。因此，當對應該第一影像擷取對的深度圖出現一遮蔽區以及對應該第二影像擷取對的深度圖沒有任何遮蔽區時，深度圖產生裝置1000的深度圖產生器108可參照上述深度圖產生裝置100的深度圖產生器108的操作原理來對遮蔽區進行校正。另外，如第10圖所示，深度圖產生器108可另用以融合對應該第二影像擷取對的深度圖以及對應該第三影像擷取對的深度圖以產生一融合深度圖，其中對應該第二影像擷取對的深度圖以及對應該第三影像擷取對的深度圖具有不同特性。例如，因為第二影像擷取對的基線不等於第三影像擷取對的基線，所以對應該第二影像擷取對的深度圖的工作範圍也不等於對應該第三影像擷取對的深度圖的工作範圍。因此，深度圖產生器108可融合對應該第二影像擷取對的深度圖的工作範圍以及對應該第三影像擷取對的深度圖的工作範圍以產生該融合深度圖。
另外，請參照第11圖，第11圖是本發明的第六實施例所公開的一種可校正遮蔽區的深度圖產生裝置1100的示意圖，其中深度圖產生裝置1000包含影像擷取器102、104、105、106、107和深度圖產生器108。但本發明並不受限於深度圖產生裝置1100只包含影像擷取器102、104、105、106、107。如第11圖所示，影像擷取器104、102形成一第一影像擷取對、影像擷取器104、105形成一第二影像擷取對，影像擷取器104、106形成一第三影像擷取對，以及影像擷 取器104、107形成一第四影像擷取對，其中該第一影像擷取對和該第二影像擷取對隸屬於一第一組影像擷取對，以及該第三影像擷取對和該第四影像擷取對隸屬於一第二組影像擷取對。在本發明的第六實施例中，深度圖產生器108可先融合對應該第一組影像擷取對的深度圖以產生一第一融合深度圖以及融合對應該第二組影像擷取對的深度圖以產生一第二融合深度圖，其中該第一融合深度圖的品質較對應該第一影像擷取對的第一深度圖的品質和對應該第二影像擷取對的第二深度圖的品質佳，以及該第二融合深度圖的品質較對應該第三影像擷取對的第三深度圖的品質和對應該第四影像擷取對的第四深度圖的品質佳。如果該第一融合深度圖出現一第一遮蔽區及一第一非遮蔽區時，深度圖產生器108可根據上述深度圖產生裝置100的深度圖產生器108的操作原理，利用該第二融合深度圖中對應該第一遮蔽區的有效區的深度資訊校正該第一遮蔽區。
綜上所述，本發明所提供的可校正遮蔽區的深度圖產生裝置是當該深度圖產生器所產生的對應至少二影像擷取對的至少二深度圖中的一第一深度圖出現至少一遮蔽區時，利用該至少二深度圖中的第二深度圖內的一相對應有效區校正(或取代)該至少一遮蔽區。因此，相較於現有技術，因為本發明是利用第二影像擷取對中視野未被遮蔽的影像擷取器來取得物件的深度資訊，所以本發明可有效解決一深度圖出現遮蔽區的問題。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (15)

  1. 一種可校正遮蔽區的深度圖產生裝置，包含：至少二影像擷取對，用以擷取複數個影像；及一深度圖產生器，耦接於該至少二影像擷取對，用以根據該複數個影像產生一第一深度圖以及一第二深度圖，其中該第一深度圖以及該第二深度圖分別對應該至少二影像擷取對中不同的影像擷取對，以及當該第一深度圖包括一第一遮蔽區及一第一非遮蔽區時，該深度圖產生器根據該第二深度圖校正該第一遮蔽區。
  2. 如請求項1所述的深度圖產生裝置，其中該第一深度圖對應該至少二影像擷取對中的一第一影像擷取對，該第二深度圖對應該至少二影像擷取對中的一第二影像擷取對，且該第一影像擷取對和該第二影像擷取對都包括一第一影像擷取器。
  3. 如請求項2所述的深度圖產生裝置，其中該第一影像擷取對的一第一基線的長度等於該第二影像擷取對的一第二基線的長度。
  4. 如請求項2所述的深度圖產生裝置，其中當該第一影像擷取對的一第一基線的長度不等於該第二影像擷取對的一第二基線的長度時，該深度圖產生器更對該第二深度圖執行一正規化動作，以使該第一深度圖和該第二深度圖的視差互相匹配。
  5. 如請求項2所述的深度圖產生裝置，其中當該第一影像擷取對的一第一基線和該第二影像擷取對的一第二基線不互相平行時，該深度圖產生器 更對該第一深度圖和該第二深度圖的其中至少一執行幾何校正。
  6. 如請求項5所述的深度圖產生裝置，其中該幾何校正是一旋轉校正。
  7. 如請求項2所述的深度圖產生裝置，其中該第一影像擷取對的一第二影像擷取器相對於一物件的視野被一第一物件遮蔽，使該第一深度圖中關於該物件的深度資訊包含該第一遮蔽區及該第一非遮蔽區，且該第一遮蔽區的深度資訊為一無效區；而該第二影像擷取對中的一第三影像擷取器相對於該物件的視野沒有被該第一物件遮蔽，且該深度圖產生器據以根據該第二深度圖中該物件的深度資訊校正該第一遮蔽區。
  8. 如請求項2所述的深度圖產生裝置，其中該第一影像擷取對的一第二影像擷取器相對於一物件的視野被一第一物件遮蔽，使該第一深度圖中關於該物件的深度資訊包含該第一遮蔽區及該第一非遮蔽區，且該第一遮蔽區的深度資訊為一無效區；該第二影像擷取對中的一第三影像擷取器相對於該物件的視野被一第二物件遮蔽，使該第二深度圖中關於該物件之深度資訊包含一第二遮蔽區及一第二非遮蔽區，且該第二遮蔽區的深度資訊為一無效區；該深度圖產生器據以根據該第一非遮蔽區以及該第二非遮蔽區分別校正該第二遮蔽區以及該第一遮蔽區。
  9. 如請求項1所述的深度圖產生裝置，其中該至少二影像擷取對中的每一影像擷取對是由二影像擷取器所組成或由一影像擷取器及一光源所組成。
  10. 如請求項9所述的深度圖產生裝置，其中該光源用以發出結構光。
  11. 一種可校正遮蔽區的深度圖產生裝置，包含：一影像擷取模組，包含至少二影像擷取對，且該至少二影像擷取對中的每一影像擷取對是由二影像擷取器所組成或由一影像擷取器及一光源所組成；及一深度圖產生器，耦接於該影像擷取模組，用以當該深度圖產生器所產生的對應該至少二影像擷取對的至少二深度圖中的一第一深度圖出現一遮蔽區及一非遮蔽區時，利用該至少二深度圖中的一第二深度圖校正該遮蔽區，其中該第一深度圖以及該第二深度圖分別對應該至少二影像擷取對中不同的影像擷取對。
  12. 如請求項11所述的深度圖產生裝置，其中該光源用以發出一結構光，且當該至少二影像擷取對中的至少一影像擷取對是由該影像擷取器及該光源所組成時，該至少一影像擷取對是用以擷取包含該結構光的影像。
  13. 如請求項11所述的深度圖產生裝置，其中該遮蔽區是一物件被另一物件遮蔽而在該第一深度圖中形成的無效區。
  14. 一種可校正遮蔽區的深度圖產生裝置，包含：至少二影像擷取對，用以擷取複數個影像；及一深度圖產生器，耦接於該至少二影像擷取對，用以根據該複數個影像產生一第一深度圖以及一第二深度圖，其中該第一深度圖以及該第二深度圖分別對應該至少二影像擷取對中不同的影像擷取對，以及該深度 圖產生器另用以執行根據該第二深度圖校正該第一深度圖的一遮蔽區和融合該第一深度圖和該第二深度圖以產生一融合深度圖的至少其中之一。
  15. 一種可校正遮蔽區的深度圖產生裝置，包含：二組影像擷取對，分別用以擷取複數個第一影像與複數個第二影像；及一深度圖產生器，耦接於該二組影像擷取對，用以根據該複數個第一影像與該複數個第二影像產生複數個第一深度圖以及複數個第二深度圖，並分別融合該複數個第一深度圖以及該複數個第二深度圖以產生一第一融合深度圖和一第二融合深度圖；其中該複數個第一深度圖以及該複數個第二深度圖分別對應該二組影像擷取對中不同組影像擷取對，以及當該第一融合深度圖包括一第一遮蔽區及一第一非遮蔽區時，該深度圖產生器另用以根據該第二融合深度圖校正該第一遮蔽區。
TW107100670A 2017-03-31 2018-01-08 可校正遮蔽區的深度圖產生裝置 TWI672938B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762479331P 2017-03-31 2017-03-31
US62/479,331 2017-03-31
US201762549967P 2017-08-25 2017-08-25
US62/549,967 2017-08-25

Publications (2)

Publication Number Publication Date
TW201843997A TW201843997A (zh) 2018-12-16
TWI672938B true TWI672938B (zh) 2019-09-21

Family

ID=63790485

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100670A TWI672938B (zh) 2017-03-31 2018-01-08 可校正遮蔽區的深度圖產生裝置

Country Status (3)

Country Link
US (1) US11122247B2 (zh)
CN (1) CN108696739B (zh)
TW (1) TWI672938B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842791B (zh) * 2019-01-15 2020-09-25 浙江舜宇光学有限公司 一种图像处理方法及装置
CN112804515A (zh) * 2019-11-14 2021-05-14 南京深视光点科技有限公司 全向立体视觉的摄像机配置系统及摄像机配置方法
US11450018B1 (en) 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
TWI784482B (zh) * 2020-04-16 2022-11-21 鈺立微電子股份有限公司 多深度資訊之處理方法與處理系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077244A (zh) * 2008-06-24 2011-05-25 法国电信公司 用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置
TW201327474A (zh) * 2011-12-30 2013-07-01 Nat Univ Chung Cheng 視差估計深度產生方法
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009524849A (ja) * 2006-01-24 2009-07-02 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
CN101321299B (zh) * 2007-06-04 2011-06-01 华为技术有限公司 视差生成方法、生成单元以及三维视频生成方法及装置
IL191615A (en) * 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
CN103299619A (zh) * 2010-09-14 2013-09-11 汤姆逊许可公司 遮挡数据的压缩方法和装置
US8773427B2 (en) 2010-12-22 2014-07-08 Sony Corporation Method and apparatus for multiview image generation using depth map information
US9684953B2 (en) * 2012-02-27 2017-06-20 Eth Zurich Method and system for image processing in video conferencing
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
IN2013CH05313A (zh) * 2013-11-18 2015-05-29 Nokia Corp
US9430834B2 (en) * 2014-01-20 2016-08-30 Nokia Corporation Visual perception matching cost on binocular stereo images
US9519956B2 (en) * 2014-02-28 2016-12-13 Nokia Technologies Oy Processing stereo images
CN105007475B (zh) * 2014-04-17 2017-08-04 聚晶半导体股份有限公司 产生深度信息的方法与装置
TWI526992B (zh) 2015-01-21 2016-03-21 國立清華大學 擴充實境中基於深度攝影機之遮蔽效果優化方法
EP3286914B1 (en) * 2015-04-19 2019-12-25 FotoNation Limited Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
US9674504B1 (en) * 2015-12-22 2017-06-06 Aquifi, Inc. Depth perceptive trinocular camera system
WO2017107192A1 (en) * 2015-12-25 2017-06-29 Boe Technology Group Co., Ltd. Depth map generation apparatus, method and non-transitory computer-readable medium therefor
TWI595771B (zh) * 2016-10-20 2017-08-11 聚晶半導體股份有限公司 影像深度資訊的優化方法與影像處理裝置
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10482618B2 (en) * 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077244A (zh) * 2008-06-24 2011-05-25 法国电信公司 用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置
TW201327474A (zh) * 2011-12-30 2013-07-01 Nat Univ Chung Cheng 視差估計深度產生方法
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統

Also Published As

Publication number Publication date
CN108696739A (zh) 2018-10-23
CN108696739B (zh) 2023-04-07
TW201843997A (zh) 2018-12-16
US20180302606A1 (en) 2018-10-18
US11122247B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
TWI660327B (zh) 用以融合多深度圖的深度圖產生裝置
TWI672938B (zh) 可校正遮蔽區的深度圖產生裝置
JP6653369B2 (ja) 拡張現実感システム及びその色補償方法
TWI610571B (zh) 顯示方法及其系統與電腦可讀取記錄媒體
US11330200B2 (en) Parallax correction using cameras of different modalities
US9863767B2 (en) Motion sensor device having plurality of light sources
US11893701B2 (en) Method for simulating natural perception in virtual and augmented reality scenes
US20180376116A1 (en) Method and system for projector calibration
US9746319B2 (en) Generation of depth data based on spatial light pattern
US20240296531A1 (en) System and methods for depth-aware video processing and depth perception enhancement
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
TWI825982B (zh) 用於提供視覺內容的方法、主機以及電腦可讀儲存媒體
KR20180000580A (ko) 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
CN115248652B (zh) 图像的自适应方法、装置、设备及存储介质
US11562496B2 (en) Depth image processing method, depth image processing apparatus and electronic device
CN117255964A (zh) 具有降低的可检测性的外部照明
US11688040B2 (en) Imaging systems and methods for correcting visual artifacts caused by camera straylight
Tao Unified Multi-Cue Depth Estimation from Light-Field Images: Correspondence, Defocus, Shading, and Specularity
US20240013688A1 (en) Image processing apparatus, display apparatus, image processing method, and storage medium
US20240054619A1 (en) Differently correcting images for different eyes
KR101965045B1 (ko) 단초점 프로젝터를 이용한 화면 회전 효과 생성 방법
CN117478863A (zh) 图像处理装置、方法及记录介质、眼镜型信息显示装置
CN116916164A (zh) 图像频闪处理方法、装置、电子设备及存储介质
CN116452430A (zh) 图像处理方法、装置、电子设备和可读存储介质
JP2021005418A (ja) 画像処理装置およびその制御方法、プログラム