TWI610571B - 顯示方法及其系統與電腦可讀取記錄媒體 - Google Patents
顯示方法及其系統與電腦可讀取記錄媒體 Download PDFInfo
- Publication number
- TWI610571B TWI610571B TW105134489A TW105134489A TWI610571B TW I610571 B TWI610571 B TW I610571B TW 105134489 A TW105134489 A TW 105134489A TW 105134489 A TW105134489 A TW 105134489A TW I610571 B TWI610571 B TW I610571B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- background
- screen
- area
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
一種顯示方法及其系統與電腦可讀取記錄媒體,此方法適用於具有影像擷取裝置、深度感測器以及螢幕的顯示系統並且包括下列步驟。利用影像擷取裝置擷取螢幕前方使用者的影像,以產生使用者影像,再利用深度感測器,區分使用者影像中的前景區域以及背景區域。根據螢幕的顯示尺寸,於螢幕的顯示區域設定虛擬窗框,並且於前景區域中進行人臉偵測,以取得人臉位置的平面資訊,以及利用深度感測器取得人臉位置的深度資訊。根據虛擬窗框、人臉位置的平面資訊以及深度資訊,利用背景區域產生背景影像,再將前景區域疊合於背景影像,以產生輸出影像。
Description
本發明是有關於一種顯示技術,且特別是有關於一種可模擬鏡子的顯示方法及其系統與電腦可讀取記錄媒體。
隨著資訊科技與生活逐漸的密不可分,智慧型產品的開發已然成為趨勢主流。此智慧化生活除了針對既有的產品增添數位功能外,更導入人機互動的介面以優化使用者的生活體驗。以日常生活中不可或缺的鏡子為例,目前已發展出可同時具有鏡子與顯示功能的鏡面顯示器,其利用鏡面作為反射面並且利用顯示面呈現圖文資訊,而其應用已逐漸著眼於理髮店、眼鏡行、服飾店等商家市場。
一般而言,鏡面顯示器主要是在顯示器前方透明面板塗佈反射物質或是加設塗佈有反射物質的透明面板。然而穿透與反射兩者之間存在取捨關係。顯示功能的穿透光的亮度往往會受到前方反射物質影響而降低,其損耗往往超過30%。另一方面,鏡面功能的反射光也無法達到如同一般鏡面的效果,其反射率往往不超過50%。此外,穿透光與反射光之間會同時呈現以及互相干擾而造成使用者視覺效果上的混淆。
有鑑於此,本發明提供一種顯示方法及其系統與電腦可讀取記錄媒體,其結合影像擷取裝置以及深度感測器,計算並且模擬鏡面反射影像,以使螢幕所呈現出的影像達到宛如鏡面反射的效果。
在本發明的一實施例中,上述的顯示方法適用於具有影像擷取裝置、深度感測器以及螢幕的顯示系統,並且包括下列步驟。利用影像擷取裝置擷取螢幕前方使用者的影像,以產生使用者影像,再利用深度感測器,區分使用者影像中的前景區域以及背景區域。根據螢幕的顯示尺寸,於螢幕的顯示區域設定虛擬窗框,並且於前景區域中進行人臉偵測,以取得出使用者的人臉位置的平面資訊,以及利用深度感測器取得使用者的人臉位置的深度資訊。之後,根據虛擬窗框、人臉位置的平面資訊以及深度資訊,利用背景區域產生背景影像,再將前景區域疊合於背景影像,以產生輸出影像。
在本發明的一實施例中,上述的顯示系統包括影像擷取裝置、深度感測器、螢幕、記憶體以及處理器,其中處理器耦接於影像取裝置、深度感測器、螢幕以及記憶體,並且影像擷取裝置以及深度感測器設置於與螢幕同一側。影像擷取裝置用以擷取影像。深度感測器用以偵測深度資訊。螢幕用以顯示畫面。記憶體用以儲存資料。處理器將利用影像擷取裝置擷取螢幕前方使用者的影像,以產生使用者影像,再利用深度感測器,區分使用者影像中的前景區域以及背景區域。處理器將根據螢幕的顯示尺寸,於螢幕的顯示區域設定虛擬窗框,並且於前景區域中進行人臉偵測,以取得使用者的人臉位置的平面資訊,以及利用深度感測器取得使用者的人臉位置的深度資訊。之後,處理器將根據虛擬窗框、人臉位置的平面資訊以及深度資訊,利用背景區域產生背景影像,再將前景區域疊合於背景影像,以產生輸出影像,並且將輸出影像顯示於螢幕上。
在本發明的一實施例中,上述的電腦可讀取記錄媒體儲存電腦程式,其係用以執行上述顯示方法之各個步驟。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的方法、系統以及電腦可讀取記錄媒體的範例。
圖1是根據本發明一實施例所繪示的顯示系統的方塊圖,但此僅是為了方便說明,並不用以限制本發明。首先圖1先介紹顯示系統中的所有構件以及配置關係,詳細功能將配合圖2一併揭露。
請參照圖1,顯示系統100包括影像擷取裝置110、深度感測器120、螢幕130、記憶體140以及處理器150,其中處理器150耦接至影像擷取裝置110、深度感測器120、螢幕130以及記憶體140,而影像擷取裝置110、深度感測器120設置於與螢幕130同一側。在本實施例中,顯示系統100可以是將所有構件整合為單一裝置的顯示器。在另一實施例中,顯示系統100可以是具有螢幕130、記憶體140以及處理器150的電腦系統,而影像擷取裝置110以及深度感測器120則是外接於電腦系統。在其它的實施例中,顯示系統100亦可以例如是智慧型手機、平板電腦等具有影像擷取功能以及顯示功能的電子裝置,本發明不在此設限。
影像擷取裝置110用以擷取螢幕130前方的影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度,進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device,CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor,CMOS)元件或其他元件,本發明不在此設限。
深度感測器120用以偵測螢幕130前方的深度資訊,其可以分為主動式深度感測器以及被動式深度感測器。主動式深度感測器可藉由主動發出光源、超音波、雷射等作為訊號來計算螢幕130前方的深度資訊。另一方面,被動式深度感測器可以例如是另一個影像擷取裝置,並且與影像擷取裝置110以不同視角同時擷取螢幕130前方的兩張影像,以利用兩張影像的視差來計算螢幕130前方的深度資訊。
螢幕130用以顯示畫面而提供給使用者觀看。在本實施例中,螢幕130例如是液晶顯示器(liquid crystal display,LCD)、發光二極體(light-emitting diode,LED)顯示器、有機發光二極體(organic light-emitting diode,OLED)顯示器、場發射顯示器(field emission display,FED)或其他種類的顯示器。
記憶體140用以儲存影像、程式碼等資料,其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
處理器150用以控制顯示系統100的構件之間的作動,其可以例如是中央處理單元(central processing unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuits,ASIC)、可程式化邏輯裝置(programmable logic device,PLD)或其他類似裝置或這些裝置的組合。
以下即搭配圖1的顯示系統100的各元件列舉實施例,以說明顯示系統100執行其顯示方法的詳細步驟。
圖2為根據本發明之一實施例所繪示的顯示方法的流程圖。
請同時參照圖1以及圖2,首先顯示系統100的處理器150將利用影像擷取裝置110擷取螢幕130前方使用者的影像,以產生使用者影像(步驟S202)。詳細來說,為了使顯示系統100模擬出宛如鏡面所反射出的影像,影像擷取裝置110可例如是設置於螢幕130的顯示區域的中間正上方,以便擷取到位於螢幕130前方的使用者的影像。在本實施例中,基於使用者於鏡面所觀看到的鏡像將因觀看位置而有所差異,影像擷取裝置110所採用的鏡頭可以是廣角鏡頭,以擷取足夠的背景影像資訊。然而,為了使得稍後所呈現的輸出影像達到自然的效果,處理器150會先將影像擷取裝置110所擷取到的影像進行變形校正(lens distortion rectification)等影像前處理程序,以修正廣角鏡頭所造成的桶狀變形(barrel distortion)、枕狀變形(pincushion distortion)。在此的廣角變形校正可以是利用相機模型的內部參數(intrinsic parameters)以及外部參數(extrinsic parameters)來進行量測式(metric)的校正,或是利用例如是多項式曲線擬合演算法(multinomial curve fitting algorithm)來進行非量測式(non-metric)的校正,本發明不在此設限。以圖3根據本發明之一實施例所繪示影像擷取裝置110所擷取到的影像310以及變形校正後的影像320為例,位於影像310邊緣的物件將會被拉長且放大而形成扭曲,而影像310在經過變形校正後所產生的影像320可得到自然的廣角效果。
請再回到圖2,顯示系統100的處理器150將利用深度感測器120,區分使用者影像中的前景區域以及背景區域(步驟S204)。詳細來說,深度感測器120可偵測螢幕130前方的深度資訊,處理器150會將深度感測器120所偵測到螢幕130前方的深度資訊與影像擷取裝置110所擷取到螢幕130前方的影像的各個畫素相關聯,進而取得使用者影像中各個畫素所對應的深度資訊。接著,處理器150將對各個畫素所對應的深度資訊與儲存於記憶體140中的預設深度門檻值進行比較,以判定各個畫素屬於背景區域或是前景區域。舉例來說,圖4即為根據本發明之一實施例所繪示自使用者影像中所分離出的前景區域410A以及背景區域410B,其中前景區域410A具有拍攝主體。
在本實施例中,假設深度感測器120所偵測到的深度資訊為深度距離,則預設深度門檻值可以是1.5公尺。當任何畫素所對應的深度距離大於1.5公尺時,則處理器150將判定此畫素屬於背景區域,而當任何畫素所對應的深度距離不大於1.5公尺時,則則處理器150將判定此畫素屬於前景區域。在另一實施例中,假設深度感測器120所偵測到的深度資訊為量化成8位元的灰階值,則預設深度門檻值可以是85。當任何畫素所對應的深度灰階值大於85時,則處理器150會將此畫素判定為前景區域,而當任何畫素所對應的深度灰階值不大於85時,則處理器150將判定此畫素屬於背景區域。
請再回到圖2,基於影像擷取裝置110的視覺位於螢幕130上而不同於人眼實際的視覺位置,顯示系統100的處理器150將根據螢幕130的顯示尺寸,於螢幕130的顯示區域設定虛擬窗框(步驟S206),其中虛擬窗框將設定為後續螢幕130上所呈現出的畫面與一般鏡面所反射出的影像雷同大小,使得螢幕130得以自然地呈現如同鏡面般的效果。在本實施例中,虛擬窗框與螢幕130的顯示尺寸存在一個縮放比例關係,而由於螢幕130的顯示尺寸為恆定,虛擬窗框的設定可在顯示系統100出廠前儲存於記憶體140中。以下將說明虛擬窗框的設定方式。
圖5為根據本發明之一實施例所繪示的虛擬窗框的設定方法的示意圖。
請同時參照圖5,假設螢幕130前方與螢幕130之間距離大於1.5公尺的區域將視為背景BG,而螢幕130前方與螢幕130之間距離不大於1.5公尺的區域將視為前景FG。在此將背景BG的成像位置定義為螢幕130後方的1.5公尺處(即鏡像BG’),並且假設使用者Obs的最佳觀看位置為螢幕130前方的1公尺處。因此,依照虛擬窗框視覺計算,虛擬窗框AF的長寬各為螢幕130的顯示尺寸的0.4倍(即前述「縮放比例」,
)。換句話說,虛擬窗框AF的尺寸可藉由螢幕130的顯示尺寸以及根據最佳觀看位置與背景的成像位置所計算出的縮放比例而取得。
必須說明的是,在此所謂的最佳觀看位置可以為使用者一般使用與螢幕130的顯示尺寸大小相同的鏡子時具有最佳觀看效果的位置。以全身鏡為例,最佳觀看位置一般為全身鏡前方的1.5公尺處。以化妝鏡為例,最佳觀看位置一般為化妝鏡前方的30公分處。然而,在其它實施例中,顯示系統100亦可提供介面給使用者手動調整成其它觀看位置,以符合使用者的習慣。此外,顯示系統100亦可提供介面給使用者手動調整虛擬窗框的其它設定,以達到不同的呈現效果,本發明不在此設限。
請再回到圖2,由於使用者觀看鏡面所反射出的影像內容將因使用者本身於空間的所在位置而有所差異,顯示系統100的處理器150將於前景區域中進行人臉偵測,以取得出使用者的人臉位置的平面資訊,並且利用深度感測器120取得使用者的人臉位置的深度資訊(步驟S208)。在此處理器150可利用任何的人臉辨識演算方法(human face recognition algorithm)自前景區域中偵測出人臉的水平座標,再透過深度感測器120取得人臉的深度資訊,以掌握人臉於空間中的確切位置,於本實施例中,可以兩眼連線之中心點作為人臉的空間位置代表。
接著,顯示系統100的處理器150將根據虛擬窗框、人臉位置的平面資訊以及深度資訊,利用背景區域產生背景影像(步驟S210)。詳細來說,當使用者靠近鏡面時,其視角的鏡像中會產生範圍較廣的背景區域以及涵蓋面積較大的前景區域。基此,處理器150在取得人臉位置後,將根據虛擬窗框於螢幕130的位置,推估使用者視線所包含背景區域的鏡像大小以及位置(以下稱為「視覺背景計算」),以模擬出鏡面成像的效果,而有別於一般影像擷取裝置僅能呈現出固定的背景。在本實施例中,處理器150將根據虛擬窗框的尺寸、人臉位置的平面資訊以及深度資訊,於背景區域中選擇出背景鏡像區域,以產生背景影像。在此處理器150可以是計算人臉位置分別經由虛擬窗框的兩個水平端點投射至背景的鏡像的範圍來選擇出背景鏡像區域。之後,處理器150會將前景區域疊合於背景影像,以產生輸出影像(步驟S212),並且將其顯示於螢幕130。在此,處理器150會將疊合後的影像的尺寸調整至符合螢幕130的顯示尺寸,以有效地利用顯示區域。
舉例來說,圖6以及圖7分別為根據本發明之一實施例所繪示的顯示方法的示意圖。
請先參照圖6,當使用者Obs靠近螢幕130時,其視角將經由虛擬窗框AF投射至背景BG的鏡像BG’中的範圍R6。處理器150會以背景區域中對應到範圍R6的區域(即前述的背景鏡像區域)設定為背景影像,再將前景區域(例如使用者Obs的顯示影像Obs’)疊合至背景影像,而產生主體大且背景廣的顯示畫面610。
請再參照圖7,當使用者Obs到了螢幕130的右側觀看時,其視角將經由虛擬窗框AF投射至背景BG的鏡像BG’中的範圍R7。處理器150會以背景區域中對應到範圍R7的區域(即前述的背景鏡像區域)設定為背景影像,再將前景區域(例如使用者Obs的顯示影像Obs’)疊合至背景影像,而產生具有使用者Obs左邊的背景區域的顯示畫面710。
值得一提的是,在一實施例中,記憶體140可預先儲存多個虛擬背景,以替代前述的背景區域。處理器150將同樣地根據虛擬窗框、人臉位置的平面資訊以及深度資訊,利用虛擬背景進行視覺背景計算以產生背景影像,並且將前景區域疊合至此背景影像。具體來說,圖8為根據本發明之一實施例所繪示的顯示方法的示意圖。
請同時參照圖1以及圖8,處理器150將以虛擬背景807取代自使用者影像所分離出的背景區域805,以產生背景影像,並且將前景區域疊合至此背景影像,以於螢幕130上呈現出輸出畫面810,進而製造出虛擬魔鏡的效果。
此外,處理器150更可以在螢幕130上呈現例如是文字、圖片等更多的顯示資訊,以提供更多功能。正由於輸出影像為模擬出的反射影像,對於處理器150而言其為可知資訊,因此處理器150可隨時針對其亮度以及位置進行調整,以使所呈現出的主體(例如人臉)與顯示資訊不互相干擾。
上述的多個實施例可以圖9為根據本發明之一實施例所繪示的顯示方法的功能流程圖來做為整合。
請同時參照圖1以及圖9,首先顯示系統100可以利用廣角式影像擷取裝置所擷取到的影像進行變形校正903,以產生使用者影像。接著,顯示系統100再利用深度感測器905所偵測到的深度資訊來針對使用者影像進行前景背景分離907。顯示系統100可針對前景進行人臉位置辨識909,並且取得虛擬窗框911,再利用兩者的資訊針對背景進行視覺背景計算913,以自背景中選擇出背景鏡像區域,進而產生背景影像。此外,顯示系統100亦可選擇性地利用虛擬背景910來進行視覺背景計算913,進而產生不同的背景影像。之後,顯示系統100將進行前景與背景的疊合915,以將前景疊合至背景影像,從而產生並且顯示輸出影像917。901~917的詳細說明請參照前述相關的實施例,於此不再贅述。
附帶一提的是,在一實施例中,顯示系統100更可針對來自其它類似的顯示系統所傳輸的影像內容進行類似的視覺背景計算。舉例來說,當顯示系統100的使用者與另一顯示系統的對方使用者進行視訊時,顯示系統100將接收並且顯示來自另一顯示系統的影像擷取裝置所攝取的對方影像。之後,顯示系統100的處理器150可根據虛擬窗框以及使用者的人臉位置,針對對方影像進行如同前述實施例的視覺背景計算,以產生並且顯示另一對方影像於螢幕上130。因此,即使顯示系統100的使用者以不同位置或是視角與另一對方使用者進行視訊,螢幕上130將相應地且即時地顯示對方影像中不同的區域(例如背景),以模擬出真實生活中使用者與另一對方使用者面對面對話的環境。特別是當使用者移動其位置時(例如往前、往後、向左、向右),使用者將可在顯示系統100上看到對方環境中不同角度或背景的影像,而宛如身在對方環境之現場。
本發明另提供一種非暫態的電腦可讀取媒體,此電腦可讀取媒體可儲存多數個程式碼片段(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段),並且這些程式碼片段在載入例如是顯示系統100的處理器150中並執行之後,即可完成上述顯示方法步驟。
綜上所述,本發明所提出的顯示方法及其系統與電腦可讀取媒體,其結合影像擷取裝置以及深度感測器,計算並且模擬鏡面反射影像,以使螢幕所呈現出的影像達到鏡面顯示器的效果。基於此,本發明所顯示的影像亮度將不受到影像,而模擬出的反射影像為可知資訊,可隨時針對其亮度以及位置進行調整,使得所欲呈現的資訊與反射影像不互相干擾,此外亦可實現虛擬場景照鏡子的魔鏡效果,從而在現今的市場中大幅地提升使用者經驗。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧顯示系統
110‧‧‧影像擷取裝置
120‧‧‧深度感測器
130‧‧‧螢幕
140‧‧‧記憶體
150‧‧‧處理器
S202~S212、S901~S917‧‧‧顯示方法的流程
110‧‧‧影像擷取裝置
120‧‧‧深度感測器
130‧‧‧螢幕
140‧‧‧記憶體
150‧‧‧處理器
S202~S212、S901~S917‧‧‧顯示方法的流程
310、320、510、610、710、810‧‧‧影像
410A、805‧‧‧背景區域
410B‧‧‧前景區域
Obs‧‧‧使用者
Obs’‧‧‧使用者的顯示影像
FG‧‧‧前景
BG‧‧‧背景
BG’‧‧‧背景的鏡像
AF‧‧‧虛擬窗框
R6、R7‧‧‧背景鏡像範圍
807‧‧‧虛擬背景
圖1是根據本發明一實施例所繪示的顯示系統的方塊圖。 圖2為根據本發明之一實施例所繪示的顯示方法的流程圖。 圖3根據本發明之一實施例所繪示影像擷取裝置所擷取到的影像以及變形校正後的影像。 圖4為根據本發明之一實施例所繪示的前景區域以及背景區域的示意圖。 圖5為根據本發明之一實施例所繪示的虛擬窗框的設定方法的示意圖。 圖6為根據本發明之一實施例所繪示的顯示方法的示意圖。 圖7為根據本發明之一實施例所繪示的顯示方法的示意圖。 圖8為根據本發明之一實施例所繪示的顯示方法的示意圖。 圖9為根據本發明之一實施例所繪示的顯示方法的流程圖。
S202~S212‧‧‧顯示方法的流程
Claims (21)
- 一種顯示方法,適用於具有影像擷取裝置、深度感測器以及螢幕的顯示系統,包括下列步驟:利用該影像擷取裝置擷取該螢幕前方使用者的影像,以產生使用者影像;利用該深度感測器,區分該使用者影像中的前景區域以及背景區域;根據該螢幕的顯示尺寸,於該螢幕的顯示區域設定虛擬窗框;於該前景區域中進行人臉偵測,以取得出該使用者的人臉位置的平面資訊,並且利用該深度感測器取得該使用者的該人臉位置的深度資訊;根據該虛擬窗框的尺寸、該人臉位置的該平面資訊以及該深度資訊,利用該背景區域產生背景影像;以及疊合該前景區域於該背景影像,以產生輸出影像。
- 如申請專利範圍第1項所述的顯示方法,其中該影像擷取裝置具有廣角鏡頭,而利用該影像擷取裝置擷取該螢幕前方的該使用者的該影像,以產生該使用者影像的步驟包括:針對該使用者的該影像進行變形校正,以產生該使用者影像。
- 如申請專利範圍第1項所述的顯示方法,其中利用該深度感測器,區分該使用者影像中的該前景區域以及該背景區域的步驟包括: 利用該深度感測器,取得該使用者影像中各個畫素所對應的深度資訊;以及比較各所述畫素所對應的該深度資訊與預設深度門檻值,據以判定各所素畫素屬於該背景區域或是該前景區域。
- 如申請專利範圍第1項所述的顯示方法,其中根據該螢幕的該顯示尺寸,於該螢幕的該顯示區域設定該虛擬窗框的步驟包括:取得該使用者相對於該螢幕的最佳觀看位置;設定背景相對於該螢幕的成像位置;根據該最佳觀看位置以及該成像位置,取得縮放比例;以及根據該顯示尺寸以及該縮放比例,取得該虛擬窗框的該尺寸。
- 如申請專利範圍第1項所述的顯示方法,根據該虛擬窗框的該尺寸、該人臉位置的該平面資訊以及該深度資訊,利用該背景區域產生該背景影像的步驟包括:根據該虛擬窗框的該尺寸、該人臉位置的該平面資訊以及該深度資訊,於該背景區域中選擇背景鏡像區域,以產生該背景影像。
- 如申請專利範圍第5項所述的顯示方法,其中根據該虛擬窗框的該尺寸、該人臉位置的該平面資訊以及該深度資訊,於該背景區域中選擇該背景鏡像區域的步驟包括: 計算該人臉位置分別經由該虛擬窗框的兩個水平端點投射至該背景的鏡像的範圍,據以自該背景區域中選擇出該背景鏡像區域。
- 如申請專利範圍第1項所述的顯示方法,更包括:以虛擬背景取代該背景區域。
- 如申請專利範圍第1項所述的顯示方法,其中疊合該前景區域於該背景影像,以產生該輸出影像的步驟包括:疊合該前景區域於該背景影像,以產生疊合後的影像;以及調整該疊合後的影像至符合該螢幕的顯示區域的大小,以產生該輸出影像。
- 如申請專利範圍第1項所述的顯示方法,更包括:根據該前景區域於該輸出影像的位置,顯示其它資訊於該螢幕。
- 如申請專利範圍第1項所述的顯示方法,更包括:自另一顯示系統接收對方影像;以及根據該虛擬窗框、該人臉位置的該平面資訊以及該深度資訊,利用該對方影像產生另一對方影像。
- 一種顯示系統,包括:影像擷取裝置,用以擷取影像;深度感測器,用以偵測深度資訊;螢幕,用以顯示畫面,其中該影像擷取裝置以及該深度感測器設置於與該螢幕同一側; 記憶體,用以儲存資料;以及處理器,耦接於該影像擷取裝置、該深度感測器、該螢幕以及該記憶體,用以執行下列步驟:利用該影像擷取裝置擷取該螢幕前方使用者的影像,以產生使用者影像;利用該深度感測器,區分該使用者影像中的前景區域以及背景區域;根據該螢幕的顯示尺寸,於該螢幕的顯示區域設定虛擬窗框;於該前景區域中進行人臉偵測,以取得出該使用者的人臉位置的平面資訊,並且利用該深度感測器取得該使用者的該人臉位置的深度資訊;根據該虛擬窗框的尺寸、該人臉位置的該平面資訊以及該深度資訊,利用該背景區域產生背景影像;以及疊合該前景區域於該背景影像,以產生輸出影像,並且顯示該輸出影像於該螢幕。
- 如申請專利範圍第11項所述的顯示系統,其中該影像擷取裝置具有廣角鏡頭,而該處理器針對該影像擷取裝置所擷取到該使用者的該影像進行變形校正,以產生該使用者影像。
- 如申請專利範圍第11項所述的顯示系統,其中該處理器利用該深度感測器,取得該使用者影像中各個畫素所對應的深 度資訊,以及比較各所述畫素所對應的該深度資訊與預設深度門檻值,據以判定各所素畫素屬於該背景區域或是該前景區域。
- 如申請專利範圍第11項所述的顯示系統,其中該處理器取得該使用者相對於該螢幕的最佳觀看位置並且設定背景相對於該螢幕的成像位置,再根據該最佳觀看位置以及該成像位置,取得縮放比例,以及根據該顯示尺寸以及該縮放比例,取得該虛擬窗框的該尺寸。
- 如申請專利範圍第11項所述的顯示系統,其中該處理器根據該虛擬窗框的該尺寸、該人臉位置的該平面資訊以及該深度資訊,於該背景區域中選擇背景鏡像區域,以產生該背景影像。
- 如申請專利範圍第15項所述的顯示系統,其中該處理器計算該人臉位置分別經由該虛擬窗框的兩個水平端點投射至該背景的鏡像的範圍,據以自該背景區域中選擇出該背景鏡像區域。
- 如申請專利範圍第11項所述的顯示系統,其中該記憶體更儲存虛擬背景,而該處理器以虛擬背景取代該背景區域。
- 如申請專利範圍第11項所述的顯示系統,其中該處理器疊合該前景區域於該背景影像,以產生疊合後的影像,並且調整該疊合後的影像至符合該螢幕的顯示區域的大小,以產生該輸出影像。
- 如申請專利範圍第11項所述的顯示系統,其中該處理器更根據該前景區域於該輸出影像的位置,顯示其它資訊於該螢幕。
- 如申請專利範圍第11項所述的顯示系統,其中該處理器更自另一顯示系統接收對方影像,以及根據該虛擬窗框、該人臉位置的該平面資訊以及該深度資訊,利用該對方影像產生另一對方影像。
- 一種非暫態的電腦可讀取記錄媒體,儲存電腦程式,當顯示系統中的處理器載人並執行該電腦程式後,可完成如申請專利範圍第1項所述的顯示方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105134489A TWI610571B (zh) | 2016-10-26 | 2016-10-26 | 顯示方法及其系統與電腦可讀取記錄媒體 |
CN201611019373.9A CN107992187B (zh) | 2016-10-26 | 2016-11-18 | 显示方法及其系统 |
US15/414,625 US10805543B2 (en) | 2016-10-26 | 2017-01-25 | Display method, system and computer-readable recording medium thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105134489A TWI610571B (zh) | 2016-10-26 | 2016-10-26 | 顯示方法及其系統與電腦可讀取記錄媒體 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI610571B true TWI610571B (zh) | 2018-01-01 |
TW201817220A TW201817220A (zh) | 2018-05-01 |
Family
ID=61728273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105134489A TWI610571B (zh) | 2016-10-26 | 2016-10-26 | 顯示方法及其系統與電腦可讀取記錄媒體 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10805543B2 (zh) |
CN (1) | CN107992187B (zh) |
TW (1) | TWI610571B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI720480B (zh) * | 2019-05-14 | 2021-03-01 | 真美滿有限公司 | 模擬展示系統 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018163356A1 (ja) * | 2017-03-09 | 2018-09-13 | 株式会社 資生堂 | 情報処理装置、プログラム |
WO2019047985A1 (zh) * | 2017-09-11 | 2019-03-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
TWI697861B (zh) * | 2018-05-16 | 2020-07-01 | 緯創資通股份有限公司 | 服飾試穿方法及其顯示系統與電腦可讀取記錄媒體 |
CN111223105B (zh) * | 2018-11-23 | 2021-06-22 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
CN110060205B (zh) * | 2019-05-08 | 2023-08-08 | 北京迈格威科技有限公司 | 图像处理方法及装置、存储介质及电子设备 |
CN110049306A (zh) * | 2019-05-16 | 2019-07-23 | 京东方科技集团股份有限公司 | 一种立体显示装置以及使用方法 |
CN111210510B (zh) * | 2020-01-16 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
US11593947B2 (en) * | 2020-03-10 | 2023-02-28 | Cisco Technology, Inc. | Automatic adjusting background |
US11336840B2 (en) * | 2020-09-02 | 2022-05-17 | Cisco Technology, Inc. | Matching foreground and virtual background during a video communication session |
US11776184B2 (en) * | 2020-10-18 | 2023-10-03 | Adobe, Inc. | Sky replacement |
WO2023014576A1 (en) * | 2021-08-03 | 2023-02-09 | Leia Inc. | View synthesis system and method using depth map |
EP4404146A1 (en) * | 2021-11-22 | 2024-07-24 | Huawei Technologies Co., Ltd. | Image synthesis method and apparatus, electronic device and computer-readable storage medium |
CN113963425B (zh) * | 2021-12-22 | 2022-03-25 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005611A (en) * | 1994-05-27 | 1999-12-21 | Be Here Corporation | Wide-angle image dewarping method and apparatus |
US20040218095A1 (en) * | 2003-04-29 | 2004-11-04 | Tuan Nguyen | System, method, and apparatus for transmitting data with a graphics engine |
US6915011B2 (en) * | 2001-03-28 | 2005-07-05 | Eastman Kodak Company | Event clustering of images using foreground/background segmentation |
US6987535B1 (en) * | 1998-11-09 | 2006-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US7606417B2 (en) * | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US7868922B2 (en) * | 2006-02-14 | 2011-01-11 | Tessera Technologies Ireland Limited | Foreground/background segmentation in digital images |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8982109B2 (en) * | 2005-03-01 | 2015-03-17 | Eyesmatch Ltd | Devices, systems and methods of capturing and displaying appearances |
US8295546B2 (en) * | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US9098873B2 (en) * | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
CN103019507B (zh) * | 2012-11-16 | 2015-03-25 | 福州瑞芯微电子有限公司 | 一种基于人脸跟踪改变视点角度显示三维图形的方法 |
EP3404619A1 (en) * | 2012-12-18 | 2018-11-21 | Eyesmatch Ltd. | Devices, systems and methods of capturing and displaying appearances |
US20160280136A1 (en) * | 2014-03-05 | 2016-09-29 | Guy M. Besson | Active-tracking vehicular-based systems and methods for generating adaptive image |
CN105426828B (zh) * | 2015-11-10 | 2019-02-15 | 浙江宇视科技有限公司 | 人脸检测方法、装置及系统 |
-
2016
- 2016-10-26 TW TW105134489A patent/TWI610571B/zh active
- 2016-11-18 CN CN201611019373.9A patent/CN107992187B/zh active Active
-
2017
- 2017-01-25 US US15/414,625 patent/US10805543B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005611A (en) * | 1994-05-27 | 1999-12-21 | Be Here Corporation | Wide-angle image dewarping method and apparatus |
US6987535B1 (en) * | 1998-11-09 | 2006-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US6915011B2 (en) * | 2001-03-28 | 2005-07-05 | Eastman Kodak Company | Event clustering of images using foreground/background segmentation |
US20040218095A1 (en) * | 2003-04-29 | 2004-11-04 | Tuan Nguyen | System, method, and apparatus for transmitting data with a graphics engine |
US7606417B2 (en) * | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US7868922B2 (en) * | 2006-02-14 | 2011-01-11 | Tessera Technologies Ireland Limited | Foreground/background segmentation in digital images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI720480B (zh) * | 2019-05-14 | 2021-03-01 | 真美滿有限公司 | 模擬展示系統 |
Also Published As
Publication number | Publication date |
---|---|
TW201817220A (zh) | 2018-05-01 |
US10805543B2 (en) | 2020-10-13 |
CN107992187B (zh) | 2020-11-13 |
CN107992187A (zh) | 2018-05-04 |
US20180115717A1 (en) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI610571B (zh) | 顯示方法及其系統與電腦可讀取記錄媒體 | |
US9934573B2 (en) | Technologies for adjusting a perspective of a captured image for display | |
US10460521B2 (en) | Transition between binocular and monocular views | |
US11330200B2 (en) | Parallax correction using cameras of different modalities | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
US20170230621A1 (en) | Device for and method of corneal imaging | |
WO2019047985A1 (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
US20150304625A1 (en) | Image processing device, method, and recording medium | |
TWI637288B (zh) | 用於眼球視線校正的影像處理方法及其系統 | |
JP2022183177A (ja) | ヘッドマウントディスプレイ装置 | |
JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム | |
TWI613904B (zh) | 立體影像產生方法及使用此方法的電子裝置 | |
RU2768013C2 (ru) | Способ и устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание | |
US20170185824A1 (en) | Electronic device, computer readable storage medium and face image display method | |
US12001746B2 (en) | Electronic apparatus, and method for displaying image on display device | |
CN109427089B (zh) | 基于环境光照条件的混合现实对象呈现 | |
CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
TW202024721A (zh) | 環境地圖建立方法以及其系統 | |
KR20170044319A (ko) | 헤드 마운트 디스플레이의 시야 확장 방법 | |
KR101995985B1 (ko) | 영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치 | |
TWI559731B (zh) | 製作立體影像方法 | |
CN116489500A (zh) | 图像处理方法及其装置 |