TW201919390A - 顯示系統以及顯示方法 - Google Patents
顯示系統以及顯示方法 Download PDFInfo
- Publication number
- TW201919390A TW201919390A TW107121103A TW107121103A TW201919390A TW 201919390 A TW201919390 A TW 201919390A TW 107121103 A TW107121103 A TW 107121103A TW 107121103 A TW107121103 A TW 107121103A TW 201919390 A TW201919390 A TW 201919390A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- viewer
- eye
- field
- view
- Prior art date
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
一種顯示系統,包含一影像擷取模組、一顯示裝置以及一處理單元。處理單元耦接於影像擷取模組與顯示裝置。影像擷取模組擷取觀看者的一頭部影像。處理單元根據頭部影像,計算一頭部向量,其中頭部向量包含觀看者與顯示裝置之間的一距離的資訊。處理單元根據頭部向量計算一雙目立體視域。顯示裝置在雙目立體視域顯示一畫面。
Description
本發明關於一種顯示系統以及顯示方法,尤指一種利用三維效果在有限的顯示範圍中顯示更多內容的顯示系統以及方法。
人眼的視域(field of view, FOV)有一定的界線,因此必須透過不停的更換視線才可以增加看到的範圍。舉例來說,假設在真實世界中有一台汽車位於一觀看者的正前方,因為視域的限制,觀看者僅能看到的汽車的正面。但如果觀看者稍為往右邊移動,將視線由右側往左邊看,就會看到部分汽車正面以及部分側面的影像。藉由移動,在真實世界中視域可以無限地被延伸。然而如果畫面是透過顯示裝置呈現時,受限於顯示裝置尺寸的關係,影像僅能以符合顯示裝置的尺寸呈現,能顯示的資訊也有限。
此外,習知的平面畫面利用透視法使得物件(例如一台汽車)在顯示裝置的螢幕上呈現立體的視覺效果。但是,透視法是一種將三維實體影像壓縮至平面呈現的方法,這樣的平面立體物件是靜態的,在觀賞者轉變觀賞視線後,所看物件的角度及樣貌並不會因此而改變,這與我們在真實世界中所體驗到的現象不同,大大減損了顯示畫面呈現的真實感。
根據部分實施例,本發明揭露一種顯示系統。本發明的顯示系統包含:一顯示裝置;一影像擷取模組,用以擷取一觀看者的一頭部影像;以及一處理單元,與影像擷取模組以及顯示裝置連接。處理單元根據頭部影像計算一頭部向量,且根據觀看者的一臉部影像計算該觀看者的一左眼位置以及一右眼位置。處理單元根據頭部向量、左眼位置以及右眼位置分別計算一左眼視域以及一右眼視域,且處理單元根據左眼視域以及右眼視域的集合得到一雙目立體視域。顯示裝置在雙目立體視域顯示一畫面。
根據部分實施例,本發明揭露一種隨著一觀看者位置改變顯示方式以及內容的顯示系統。包含:一顯示裝置;一影像擷取模組,其中當觀看者位於一第一視線位置時,影像擷取模組擷取觀看者的一第一頭部影像,且當觀看者位於一第二視線位置時,影像擷取模組擷取觀看者的一第二頭部影像;以及一處理單元,與顯示裝置以及影像擷取模組連結。其中處理單元根據第一頭部影像計算觀看者位於第一視線位置的一第一頭部向量;取得觀看者的一第一臉部影像,並根據第一臉部影像計算觀看者的一第一左眼位置以及一第一右眼位置;根據第一頭部向量、第一左眼位置以及第一右眼位置分別得到一第一左眼視域、一第一右眼視域以及一第一雙目立體視域,其中第一雙目立體視域為第一左眼視域以及第二右眼視域的集合。此外,處理單元根據第二頭部影像計算觀看者位於第二視線位置的一第二頭部向量;取得觀看者的一第二臉部影像,並根據第二臉部影像計算觀看者的一第二左眼位置以及一第二右眼位置;根據第二頭部向量、第二左眼位置以及第二右眼位置分別得到一第二左眼視域、一第二右眼視域以及一第二雙目立體視域,其中第二雙目立體視域為第二左眼視域以及第二右眼視域的集合。其中,當觀看者位於第一視線位置時,顯示裝置於第一雙目立體視域顯示一第一畫面,而當觀看者位於第二視線位置時,顯示裝置於第二雙目立體視域顯示一第二畫面。
本發明另外的實施例揭露一種隨著一觀看者位置改變顯示一導航地圖圖資的顯示方法。顯示方法包含:儲存導航地圖圖資於一資料庫中;判斷觀看者位於一第一視線位置,且對應導航地圖圖資的一第一部分顯示一第一畫面給觀看者;以及判斷觀看者由第一視線位置移至一第二視線位置,且對應導航地圖圖資的一第二部分顯示一第二畫面給觀看者。
有關本發明之前述及其他技術內容、特點與功效,在以下配合參考圖式之實施例的詳細說明中,將可清楚的呈現。
以下實施例中所提到的方向用語,例如:上、下、左、右、前或後等,是參考附加圖式的方向。因此,使用的方向用語是用來說明並非用來限制本發明。
本發明揭露一顯示系統以及方法。本發明的顯示系統與方法可根據觀看者的視線改變顯示的方式,透過本發明的顯示系統,物件可以呈現在模擬真實世界中隨觀看者觀看視線變化而變化的效果,進一步使得物件的顯示更具真實性。此外,本發明亦可根據觀看者的位置變化改變顯示方式以及對應的內容,達到視域(field of view, FOV)延伸的效果。
第1圖是將本發明的顯示方法以及顯示系統實施於一種智慧汽車6000的示意圖。智慧汽車6000包括一底盤1、一車架2及一顯示系統3。車架2設置於底盤1上且具有一座艙20。須注意的是本發明的顯示系統以及方法並不限於僅能應用於智慧汽車上,任何配備有顯示系統的應用,例如手持裝置等等皆可採用本發明所揭露的方法與系統。
第2圖是依據本發明實施例的顯示系統功能方塊圖。如圖所示,顯示系統3包括一影像擷取模組31、一顯示裝置32及一處理單元33。影像擷取模組31及顯示裝置32可設置於座艙20內,處理單元33耦接於影像擷取模組31及顯示裝置32。實施上,影像擷取模組31可為一攝影機或任何具有擷取影像功能的裝置。顯示裝置32可以是但不限於一數位車用儀錶板(digital vehicle instrument cluster)、一中控面板(central console panel)或一抬頭顯示器 (head-up display)。處理單元33可以是但不限於一車用電子單元(Electronic Control Unit, ECU)。
如前所述,不論顯示圖像中的物件是立體或是平面的,一般顯示裝置僅能以平面地方式顯示這些圖像。不論怎麼由什麼方向觀看顯示裝置,這些圖像都不會有任何的變化,因此對觀看者來說,顯示裝置能夠呈現的視域範圍是固定不變的。本發明的相關申請案揭露一種隨觀看者視線角度改變顯示內容的顯示系統以及顯示方法。在該申請案中,根據觀看者視線的不同,顯示裝置可以顯示不同的內容。
延續該申請案的虛擬空間 (virtual box)概念,本發明揭露一種利用虛擬空間的延伸感顯示不同景深的內容。另外,也藉由這樣的虛擬空間效果,相同的顯示內容(例如一地圖圖資資料)可以根據觀看者視線的不同而以對應的方式以及內容顯示在虛擬空間的任何位置上。
舉例來說,假設顯示系統要顯示的內容為一導航資料。如上所述,因為尺寸大小的限制,顯示裝置在習知技術的應用下僅能顯示有限範圍的內容。如果觀看者想要得到更多的資料,可能必須藉由放大、縮小或移動顯示畫面的方式達到這樣的目的。以第13圖為例,假設導航系統已具備有完整的圖資資料,對應的範圍為如第13圖所示的顯示範圍A。因為顯示裝置的尺寸限制,且為了讓觀看者能清楚地看顯示資料,所以僅有部分的圖資資料(第13圖的實線部分)能夠顯示在顯示裝置上。如第13圖所示,假設顯示裝置的右邊界剛好切在第五大道上。如果觀看者想知道第五大道右邊的的建築物B是什麼,他必須要透過縮小顯示影像的方式或是將畫面往右方拉移到相對的位置上才能讓有限顯示範圍的顯示裝置能夠顯示相關的資料。反之,本發明利用判斷觀看者的視線位置改變顯示的方式並同時調整顯示內容,使得即使是顯示範圍有限的顯示裝置也可以藉由簡單的方式顯示更多的內容。以第12圖以及第13圖為例,第12圖為觀看者4由較為偏左的視角向右觀看時,地圖圖資會在顯示裝置32中呈現出的畫面。而第13圖則為同樣的地圖圖資但觀看者4由較為偏右邊的視角向左觀看時所呈現出的畫面。如第12圖所示,此時觀看者看到的路線規劃以及其他車輛等資訊會呈現在畫面的右手邊,且觀看者可以看到地圖圖資較為偏右邊的內容。反之,如第13圖所示,觀看者看到的路線規劃以及其他車輛的資訊則會呈現在畫面的左手邊,且觀看者也可以看到地圖圖資較為偏左邊的內容。連續上面的例子,如果觀看者想要知道第五大道的建築物B為何,在本發明的應用下,觀看者僅需要將視線稍微偏右邊,使得視線變成由右向左看,本發明的顯示系統3即可以在顯示裝置32上顯示出對應的建築物B資訊。在這樣的效果下,本發明顯示系統3能讓觀看者用更直覺的方式獲得額外的資訊,且進一步提供觀看者更貼近現實生活中人眼觀看實際物件時所呈現的視覺效果。應用在例如地圖圖資或導航的情況下,駕駛人可以更容易地辨識路線方向,且在有需要特別注意的情況發生時,更能直覺反應。
第3圖為本發明顯示系統3的實施例示意圖。如圖所示,本發明顯示系統3可顯示包含有一景深資訊的畫面 (如第12圖以及第13圖所示的地圖圖資畫面)。當觀看者透過顯示裝置32觀看畫面時,視覺上會覺得顯示裝置32後方有一虛擬空間 (圖中未顯示標號)。本發明利用這樣的視覺虛擬空間使得顯示物件 (例如第12圖以及第13圖所示的建築物、前方汽車、路線等)可以隨著觀看者的視線而顯示在虛擬空間的任何一個地方,同時使得顯示裝置32可以在有限的顯示範圍中顯示出更多的資訊。
第3圖為例解釋本發明的顯示系統如何運作。假設觀看者距離顯示裝置的距離為D1,因為顯示畫面M為具有景深資料的畫面,對觀看者而言,透過顯示裝置32觀看顯示畫面M時,會覺得顯示畫面M不是在呈現在顯示裝置32的表面,而是距離顯示裝置32表面後方D2位置的虛擬空間中。顯示畫面M與顯示裝置32的距離D2即為畫面M的景深。
由於影像擷取模組30係設置在顯示裝置32上(或附近),且觀看者係坐於座艙20內。對處理單元34來說,影像擷取模組30的位置以及座艙20的位置為已知,根據這些相關位置並利用一參考原點(例如影像擷取模組30),處理單元34便可建立一座標系統。在當影像擷取模組30對觀看者擷取頭部40的影像時,處理單元34根據座標系統得到頭部40相對於顯示裝置32的一頭部向量R。其中頭部向量R可以用來表示觀看者的頭部位置,且頭部像量R可包含頭部40與顯示裝置32之間的一距離D1的資訊。
在正確顯示畫面前,本發明顯示系統3亦會先針對觀看者的臉部特徵進行定義。第4圖為影像擷取模組31擷取觀看者的一頭部影像42。如第5圖所示,處理單元33根據臉部影像44定義臉部特徵資訊440。本發明的臉部影像44可由頭部影像42取得或者由影像擷取模組31直接擷取。臉部影像以及臉部特徵的建立方法可以透過一般習知影像辨識與影像處理的方法進行,本發明不再贅述。臉部特徵440可包括:可包含左眼瞳孔、右眼瞳孔、鼻頭、眉心、嘴角等。在本實施例中,臉部特徵資料440包含一左眼位置及一右眼位置。處理單元34會根據臉部特徵440在不同的臉部影像44上的變化分析並判斷觀看者的視角等。
第6圖為本發明實施例的顯示方法的流程圖;顯示方法包含下列步驟:
步驟100: 影像擷取模組30擷取觀看者的頭部影像42。
步驟101: 處理單元34根據頭部影像42,計算一頭部向量R。
步驟102: 處理單元34根據觀看者的臉部影像44以及臉部特徵資料440計算判斷觀看者的一左眼位置(left eye position)及一右眼位置(right eye position);其中臉部影像44可由頭部影像42取得,或者由影像擷取模組30直接擷取得到。
步驟103: 處理單元34根據頭部向量R、該左眼位置及該右眼位置,計算一左眼視域LFOV、一右眼視域RFOV以及一雙目立體視域BFOV。
步驟104: 處理單元34根據左眼視域LFOV產生一左眼渲染圖像LRI。
步驟105: 處理單元34根據右眼視域RFOV產生一右眼渲染圖像RRI。
步驟106: 處理單元34根據左眼渲染圖像LRI及右眼渲染圖像RRI,產生一畫面(plane of content)PC。
步驟107: 顯示裝置32在雙目立體視域BFOV顯示畫面PC。
以下針對本發明的顯示系統以及方法作進一步說明,請一併參閱第2至3圖、第7A圖以及第8圖。其中第7A圖為第3圖所示的顯示系統3的俯視示意圖;第8圖為第3圖所示的顯示系統3的側視示意圖。
首先,影像擷取模組30擷取觀看者頭部40的頭部影像42。根據頭部影像42,處理單元34利用已知的位置關係得到一頭部向量R。舉例來說,假設影像擷取模組30的位置固定不變,本發明的顯示系統3便可將其定義為座標系統的原點;根據觀看者與影像擷取模組30的相對位置,處理單元32便可計算出對應的頭部向量。
接著,處理單元34根據預錄的臉部特徵依據觀看者的臉部影像44判斷觀看者的左眼位置(left eye position)及右眼位置(right eye position)。其中臉部影像44可由頭部影像42取得,或者由影像擷取模組30直接擷取得到。接著,如第3圖以、第7A圖以及第8圖所示,處理單元34根據頭部向量R、左眼位置及右眼位置,估算一左眼視域LFOV(left eye field of view)、一右眼視域RFOV(right eye field of view)以及一雙目立體視域BFOV(binocular field of view)。其中,左眼視域LFOV與右眼視域RFOV係根據人類水平視角HAOV(horizontal angle of view)、垂直視角VAOV(vertical angle of view)、頭部40與顯示裝置32之間的距離D1以及顯示裝置32與要顯示畫面的景深D2所決定。舉例來說,如第7A圖所示,假設顯示畫面 M為一景深D2的畫面,則左眼視域LFOV可以視為由觀看者左眼位置延伸到顯示裝置32後方距離D2的位置所形成的區域,另外右眼視域RFOV則可以視為由觀看者右眼位置延伸到顯示裝置32後方距離D2的位置所形成的區域,而雙目立體視域BFOV則為左眼視域LFOV以及右眼視域RFOV所組成的區域。
接著,處理單元34根據左眼視域LFOV計算一左眼渲染圖像LRI(left eye rendering image),且根據右眼視域RFOV計算一右眼渲染圖像RRI(right eye rendering image)。接著,處理單元34根據左眼渲染圖像LRI及右眼渲染圖像RRI產生一畫面PC。在本發明中,渲染圖像的資料為已知且完整的資料。舉上述導航為例,本發明的顯示系統3可另包含有一資料庫,儲存所有完整的地圖圖資資料。此後,顯示系統3便可以根據觀看者的視線角度從資料庫中抓取對應的資料並以圖像的方式呈現在顯示裝置32上。另外,資料庫也可以僅儲存部分的地圖圖資資料,當需要顯示對應的內容時,處理單元34可以及時運算取得對應的內容。
如第7A圖所示,左眼視域LFOV與右眼視域RFOV在雙目立體視域BFOV內係具有一重疊區OA(overlapping area)。位在重疊區OA內的左眼渲染圖像LRI及右眼渲染圖像RRI需經過融合(fusion)處理,位在重疊區OA外的左眼渲染圖像LRI保留,且位在重疊區OA外的右眼渲染圖像RRI保留。藉此,處理單元34便可根據左眼渲染圖像LRI及右眼渲染圖像RRI產生所要呈現的內容 - 畫面PC。最後,顯示裝置32在雙目立體視域BFOV顯示畫面PC。
本發明顯示系統3會根據觀看者的視線而改變呈現畫面PC的顯示方式以及內容。在本發明中,觀看者的視線可根據觀看者的頭部40位置(頭部向量R)或者觀看者的臉部特徵的變化而判定。舉例來說,本發明的顯示系統3根據觀看者的頭部影像42以及臉部影像44經由影像處理的方式判斷觀看者頭部40、左眼401與右眼402的位置,再透過處理單元34計算後,在顯示裝置32上對應頭部40、左眼401與右眼402的位置的雙目立體視域BFOV顯示畫面PC。
由於影像擷取模組30係固設於顯示裝置32上,影像擷取模組30所能擷取的視角為固定不變的。在這樣的前提下,影像擷取模組30所擷取出的頭部影像42或臉部影像44便會隨著觀看者的位置而有不同。舉例來說,如第3圖所示,假設觀看者由位置P1移到位置P2時,臉部影像44便會由如第5圖實線所表示的樣子轉變為虛線所表示的樣子。在影像擷取模組30所拍攝到的畫面中,由於影像擷取模組30能夠感測觀看者頭部的動態偏移,因此相對於所有靜態的車內設備(如駕駛座的頭枕部)來說,臉部影像44的偏移過程(如5圖所示,由實線樣貌轉變為虛線樣貌的過程)是能夠被確實擷取的。接著處理單元34便可根據新位置所擷取到的臉部影像44計算現在觀看者位於位置P2時與顯示裝置32之間的距離。除了針對頭部40的位置外,處理單元34也可根據臉部影像44上的特徵440間彼此的變化,判斷觀看者的動作,例如擺頭、轉頭等。
第7A-7C圖為本發明隨著觀看者視線改變顯示方法的示意圖。第7A圖為當觀看者由顯示裝置32正前方觀看顯示畫面時的示意圖;第7B圖為當觀看者由左往右看時的示意圖;而第7C圖為當觀看者由右往左看時的示意圖。以第7A圖為例,如上所述,當觀看者位於顯示裝置正前方時,處理單元32可以計算出顯示裝置32到觀看者的距離D1。處理單元進一步得到一頭部向量R,並計算此時觀看者的左眼位置401以及右眼位置402。如上所述,根據這些資料,顯示裝置32 便可以在觀看這位於正前方的位置時在觀看者的雙目立體視域BFOV以及對應的景深D2處顯示對應的畫面M。
第7B圖為當觀看者從中間位置移往左邊,視線由左往右看時的示意圖。此時,處理單元32計算得知代表觀看者位置的頭部向量R由原本的 R變成R1。具體來說,觀看者頭部40的位置沿著X軸方向向左邊移動了X1的距離。須注意的是,本實施例是以影像擷取模組30當作座標系統的原點,而計算觀看者的相對移動距離以及方向。此外,本實施例只以X軸方向移動為例,但須知道的是觀看者也可能同時前後移動。在這樣的情況下,新的頭部向量亦包含Y軸方向移動的分量。
進一步地,當觀看者位在頭部向量R所指的位置時(例如:顯示裝置的正前方),影像擷取模組30在擷取觀看者的第一頭部影像。接著,處理單元34根據第一頭部影像,計算第一頭部向量R,其中第一頭部向量R包含觀看者與顯示裝置32之間的第一距離的資訊。接著,處理單元34得到一第一臉部影像。根據第一臉部影像,處理單元34可以計算觀看者的第一左眼位置及第一右眼位置。接著,處理單元34根據第一頭部向量R、第一左眼位置及第一右眼位置,得到第一左眼視域LFOV、第一右眼視域RFOV以及第一雙目立體視域BFOV。接著,處理單元34根據第一左眼視域產生第一左眼渲染圖像;且根據第一右眼視域產生第一右眼渲染圖像。接著,處理單元34根據第一左眼渲染圖像及第一右眼渲染圖像產生第一畫面並於顯示裝置32上顯示第一畫面,其中第一畫面具有一景深資料。
進一步地,當觀看者向左邊移動時,影像擷取模組30同樣擷取觀看者的第二頭部影像。接著,處理單元34根據第二頭部影像計算第二頭部向量R1,其中第二頭部向量R1包含觀看者與顯示裝置32之間的第二距離的資訊。接著,處理單元34得到一第二臉部影像。根據第二臉部影像,處理單元32計算觀看者此時的第二左眼位置401及第二右眼位置402。根據第二頭部向量R1、第二左眼位置及第二右眼位置,處理單元32可以得到第二左眼視域LFOV-1、第二右眼視域RFOV-1以及第二雙目立體視域BFOV-1。接著,處理單元34根據第二左眼視域產生第二左眼渲染圖像,且根據第二右眼視域產生第二右眼渲染圖像。接著,處理單元34根據第二左眼渲染圖像及第二右眼渲染圖像,產生第二畫面並於顯示裝置32上顯示第二畫面,其中第二畫面亦具有一景深資料。
假設觀看者在一第一時間點時位於一第一視線位置,而在第二時間點時位於一第二視線位置,利用本發明的顯示系統以及方法,顯示裝置32可以分別在第一雙目立體視域BFOV顯示第一畫面,以及在第二雙目立體視域BFOV-1顯示第二畫面。如第7A圖以及第7B圖所示,因為觀看者在第一時間點及第二時間點的位置有位移產生(即第二頭部向量R1與第一頭部向量R的向量差),這樣的位移會導致第一畫面與第二畫面間也有一搖曳位移(pan displacement)的效果。其中搖曳位移即第二雙目立體視域BFOV-1與第一雙目立體視域BFOV間的位移。
進一步地,請參閱第7A圖以及第7C圖。第7C圖為當觀看者從中間位置移往右邊,視線由右往左看時的示意圖。此時,處理單元32計算得知代表觀看者位置的頭部向量R由原本的 R變成R2。具體來說,觀看者頭部40的位置沿著X軸方向向右邊移動了X2的距離。須注意的是,本實施例是以影像擷取模組30當作座標系統的原點,而計算觀看者的相對移動距離以及方向。此外,本實施例只以X軸方向移動為例,但須知道的是觀看者也可能同時前後移動。在這樣的情況下,新的頭部向量亦包含Y軸方向移動的分量。如同上面所描述的,本發明的顯示系統3以及方法可以根據此時觀看者的位置而改變顯示方式。
本發明的顯示系統3在視覺上成產生一個虛擬空間49,當觀看者移動至左邊時,視線看出去會看到虛擬空間的右角;同樣地,當觀看者移到右邊時,視線看出去會看到虛擬空間的左角。利用這樣的視覺虛擬空間,顯示系統不僅可以在有限的顯示範圍中顯示更多的內容,也或者可以利用這樣的視覺虛擬空間改變顯示的方式。舉例來說,如上所述,本發明顯示系統以及方法可應用在呈現一導航系統畫面,亦即畫面M可以是一地圖資訊。請一併參閱第7B圖、第7C圖、第12圖以及第13圖。在這樣的應用例中,第12圖為對應第7B圖的情境示意圖,而第13圖則為第7C圖所對應的情境示意圖。具體來說,當觀看者向左邊移動使得視線變成由左向右看時,觀看者可以看到如第12圖所示的地圖資料畫面;視覺上,觀看者會覺得是由地圖的左側往螢幕裡看(即左側視角)。反之,當觀看者向右邊移動使得視線變成由右向左看時,觀看者可以看到如第13圖所示的地圖資料畫面;視覺上,觀看者會覺得是由地圖的右側往螢幕裡看(即右側視角)。
再者,套用本發明的顯示系統以及方法所產生的視覺虛擬空間,觀看者可以容易地放大或縮小顯示畫面。舉放大顯示畫面為例,第9圖以及第10圖分別為本發明顯示系統3處理畫面放大(zoom-in)的俯視以及側視示意圖。假設當觀看者由原本如第8圖的位置朝顯示裝置32靠近至如第10圖所示的位置時,觀看者與顯示裝置32的距離由原本的D1變成D1’。如第9圖以及第10圖所示,左眼視域LFOV’、右眼視域RFOV’及雙目立體視域BFOV的範圍會因此增加。亦即第9圖與第10圖所示的左眼視域LFOV’、右眼視域RFOV’及雙目立體視域BFOV的範圍係大於第7A圖與第8圖所示的左眼視域LFOV、右眼視域RFOV及雙目立體視域BFOV的範圍。亦即,當觀看者跟顯示裝置的距離變短時,同樣的畫面可以在更大範圍的雙目立體視域BFOV中被顯示。利用這樣的特性,僅要靠近或遠離顯示裝置32,觀看者便可以輕易地將顯示畫面放大或縮小。
換句話說,當第一頭部向量R沿顯示裝置32的一法線方向的分量小於第二頭部向量R'沿顯示裝置32的該法線方向的分量時,第一雙目立體視域會大於該第二雙目立體視域,造成畫面放大效果(zoom-in effect)。同理,畫面縮小效果(zoom-out effect)係可以此類推,為求簡潔,於此不再贅述。
第11A圖、第11B圖與第11C圖分別為本發明實施例顯示系統3根據觀看者的視線位置調整顯示方式的流程圖,總結來說,本發明的顯示方法包含下列步驟:
步驟200: 影像擷取模組30在觀看者位於一第一視線位置P1時擷取一第一頭部影像。
步驟201: 處理單元34根據第一頭部影像,計算一第一頭部向量R,其中第一頭部向量R包含觀看者頭部與顯示裝置32之間的一第一距離的資訊。
步驟202: 處理單元34根據第一頭部影像,計算一第一雙目立體視域BFOV1。
步驟203: 當觀看者位於第一視線位置P1時,顯示裝置32在第一雙目立體視域BFOV1顯示一第一畫面。
步驟204: 影像擷取模組30在觀看者位於一第二視線位置P2時擷取一第二頭部影像。
步驟205: 處理單元34根據該第二頭部影像,計算一第二頭部向量R2,其中第二頭部向量R2包含觀看者頭部與顯示裝置32之間的一第二距離的資訊。
步驟206: 處理單元34根據第二頭部影像,計算一第二雙目立體視域BFOV2。
步驟207: 當觀看者位於第二視線位置P2時,顯示裝置32在第二雙目立體視域BFOV2顯示一第二畫面。
如第11B圖所示,顯示系統3根據觀看者的視線調整顯示方式的流程圖另包含下列步驟:
步驟300: 處理單元34獲得一第一臉部影像,其中第一臉部影像可以由第一頭部影像獲得,或是直接由影像擷取模組30擷取。
步驟301: 處理單元34根據第一臉部影像,計算觀看者的一第一左眼位置LE1 及一第一右眼位置RE1 。
步驟302: 處理單元34根據第一頭部向量R1、第一左眼位置LE1及第一右眼位置RE1,計算一第一左眼視域LFOV1以及一第一右眼視域RFOV1,藉由第一左眼視域LFOV1以及第一右眼視域RFOV1的集合,處理單元34可以得到第一雙目立體視域BFOV1。
步驟303: 處理單元34獲得一第二臉部影像,其中第二臉部影像可以由第二頭部影像獲得,或是直接由影像擷取模組30擷取。
步驟304: 處理單元34根據第二臉部影像,計算觀看者的一第二左眼位置LE2及一第二右眼位置RE2。
步驟305: 處理單元34根據第二頭部向量R2、第二左眼位置LE2及第二右眼位置RE2,計算一第二左眼視域LFOV2以及一第二右眼視域RFOV2,藉由第二左眼視域LFOV2以及右眼第二視域RFOV2的集合,處理單元34可以得到第二雙目立體視域BFOV2。
如第11C圖所示,顯示系統3根據觀看者的視線改變顯示方式的流程另包含下列步驟:
步驟400: 處理單元34根據第一左眼視域LFOV1計算一第一左眼渲染圖像。
步驟401: 處理單元34根據第一右眼視域RFOV1計算一第一右眼渲染圖像。
步驟402: 處理單元34根據第一左眼渲染圖像及第一右眼渲染圖像得到第一畫面。
步驟403: 處理單元34根據第二左眼視域LFOV2計算一第二左眼渲染圖像。
步驟404: 處理單元34根據第二右眼視域RFOV2計算一第二右眼渲染圖像。
步驟405: 處理單元34根據第二左眼渲染圖像及第二右眼渲染圖像得到第二畫面。
如上所述,本發明利用左右眼視差達到增加視域範圍的同等效果。進一步來說,本發明的顯示系統3在視覺上成產生一個虛擬空間49,當觀看者移動至左邊時,視線看出去會看到虛擬空間的右角(如第14圖所示的視野範圍FOV_A);同樣地,當觀看者移到右邊時,視線看出去會看到虛擬空間的左角(如第14圖所示的視野範圍FOV_C)。以如此使得原本平面的顯示裝置能藉此這樣的空間延伸來顯示更多的內容。例如原本大小12.3吋的螢幕,通過視線移動能顯示出多於12.3吋顯示裝置所能顯示的內容。如此可以避免傳統顯示螢幕上可能需要放大、縮小、移動圖像等複雜的動作指令。
相較於先前技術,本發明的顯示系統可利用影像擷取模組擷取包含觀看者的頭部影像,根據頭部影像計算雙目立體視域,並控制顯示裝置在雙目立體視域顯示畫面,即本發明的顯示系統根據雙目立體視域顯示畫面,所呈現的畫面符合人類雙目視覺。再者,本發明的顯示系統另可在不同的位置以及時間點,渲染不同的畫面,且這些畫面對應觀看者以及顯示裝置間的相對位置。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
1000‧‧‧智慧汽車
1‧‧‧底盤
2‧‧‧車架
20‧‧‧座艙
3‧‧‧顯示系統
30‧‧‧影像擷取模組
32‧‧‧顯示裝置
34‧‧‧處理單元
4‧‧‧使用者
40‧‧‧頭部
401‧‧‧左眼
402‧‧‧右眼
42‧‧‧頭部影像
44‧‧‧臉部影像
440‧‧‧特徵
R、R'‧‧‧頭部向量
R‧‧‧第一頭部向量
R1、R2‧‧‧第二頭部向量
D1、D1'‧‧‧距離
D2‧‧‧景深
A‧‧‧顯示範圍
FOV_A、FOV_C‧‧‧視野範圍
B‧‧‧建築物
BFOV、BFOV'‧‧‧雙目立體視域
BFOV‧‧‧第一雙目立體視域
BFOV-1‧‧‧第二雙目立體視域
LFOV、LFOV'‧‧‧左眼視域
LFOV‧‧‧第一左眼視域
LFOV-1‧‧‧第二左眼視域
RFOV、RFOV'‧‧‧右眼視域
RFOV‧‧‧第一右眼視域
RFOV-1‧‧‧第二右眼視域
OA‧‧‧重疊區
HAOV‧‧‧水平視角
VAOV‧‧‧垂直視角
M、PC‧‧‧畫面
LRI‧‧‧左眼渲染圖像
RRI‧‧‧右眼渲染圖像
P1、P2、A1、A2‧‧‧位置
X‧‧‧第一轉軸
X1‧‧‧第一方向
X2‧‧‧第二方向
第1圖為本發明實施例智慧汽車的示意圖。 第2圖為本發明實施例顯示系統的功能方塊示意圖。 第3圖為本發明實施例顯示系統的示意圖。 第4圖為本發明實施例影像擷取模組所擷取包含觀看者的頭部影像的示意圖。 第5圖為本發明實施例處理單元提取觀看者臉部影像的示意圖。 第6圖為本發明實施例的顯示方法的流程圖。 第7A圖為第3圖所示的顯示系統的俯視示意圖。 第7B圖為本發明實施例顯示當觀看者由左往右看時的示意圖。 第7C圖為本發明實施例顯示當觀看者由右往左看時的示意圖。 第8圖為第3圖所示的顯示系統的側視示意圖。 第9圖為顯示系統處理畫面放大的俯視示意圖。 第10圖為顯示系統處理畫面放大的側視示意圖。 第11A圖、第11B圖與第11C圖分別為本發明實施例顯示系統根據觀看者相對顯示裝置移動時的顯示方法的流程圖。 第12圖為第7B圖所示顯示系統用以顯示該地圖資訊的情境示意圖。 第13圖為第7C圖所示顯示系統用以顯示該地圖資訊的情境示意圖。 第14圖為觀看者的視線位置改變顯示的方式並同時調整顯示內容示意圖。
Claims (20)
- 一種顯示系統,包含: 一顯示裝置; 一影像擷取模組,用以擷取一觀看者的一頭部影像;以及 一處理單元,與該影像擷取模組以及該顯示裝置連接,該處理單元根據該頭部影像計算一頭部向量並根據該觀看者的一臉部影像計算該觀看者的一左眼位置以及一右眼位置,該頭部向量包含該觀看者與該顯示裝置的一距離資訊,該處理單元根據該頭部向量、該左眼位置以及該右眼位置分別計算一左眼視域以及一右眼視域,該處理單元根據該左眼視域以及該右眼視域的一集合得到一雙目立體視域,該顯示裝置在該雙目立體視域顯示一畫面。
- 如請求項1所述的顯示系統,其中該處理單元根據該頭部影像建立該臉部影像,或該影像擷取模組直接取得該臉部影像。
- 如請求項1所述的顯示系統,該顯示系統另包含一資料庫,用以儲存一資料。
- 如請求項3所述的顯示系統,其中該處理單元根據該資料的一第一部分於該左眼視域產生一左眼渲染圖像,並於該右眼視域產生一右眼渲染圖像,該處理單元根據該左眼渲染圖像及該右眼渲染圖像產生該畫面,其中該第一左眼視域以及該第一右眼視域重疊的部分圖像須經過圖像融合處理,而非重疊的部分圖像則分別保留。
- 如請求項1所述的顯示系統,其中當該觀看者靠近該顯示裝置時,該雙目立體視域的一範圍增加,且當該觀看者遠離該顯示裝置時,該雙目立體視域的一範圍縮小。
- 一種隨著一觀看者位置改變顯示方式以及內容的顯示系統,包含: 一顯示裝置; 一影像擷取模組,當該觀看者位於一第一視線位置時,該影像擷取模組擷取該觀看者的一第一頭部影像,且當該觀看者位於一第二視線位置時,該影像擷取模組擷取該觀看者的一第二頭部影像;以及 一處理單元,與該顯示裝置以及該影像擷取模組連結,該處理單元用以執行以下步驟: 根據該第一頭部影像計算該觀看者位於該第一視線位置的一第一頭部向量; 取得該觀看者的一第一臉部影像,並根據該第一臉部影像計算該觀看者的一第一左眼位置以及一第一右眼位置; 根據該第一頭部向量、該第一左眼位置以及該第一右眼位置分別得到一第一左眼視域、一第一右眼視域以及一第一雙目立體視域,其中該第一雙目立體視域為該第一左眼視域以及該第二右眼視域的一集合; 根據該第二頭部影像計算該觀看者位於該第二視線位置的一第二頭部向量; 取得該觀看者的一第二臉部影像,並根據該第二臉部影像計算該觀看者的一第二左眼位置以及一第二右眼位置;以及 根據該第二頭部向量、該第二左眼位置以及該第二右眼位置分別得到一第二左眼視域、一第二右眼視域以及一第二雙目立體視域,其中該第二雙目立體視域為該第二左眼視域以及該第二右眼視域的一集合; 其中當該觀看者位於該第一視線位置時,該顯示裝置於該第一雙目立體視域顯示一第一畫面,而當該觀看者位於該第二視線位置時,該顯示裝置於該第二雙目立體視域顯示一第二畫面。
- 如請求項6所述的顯示系統,其中該處理單元根據該第一頭部影像以及該第二頭部影像分別建立該第一臉部影像以及該第二臉部影像,或該影像擷取模組直接取得該第一臉部影像以及該第二臉部影像。
- 如請求項6所述的顯示系統,其中該第一頭部向量包含該觀看者與該顯示裝置的一第一距離資訊,而該第二頭部向量包含該觀看者與該顯示裝置的一第二距離資訊。
- 如請求項6所述的顯示系統,其中該處理單元根據該第一左眼視域產生一第一左眼渲染圖像,且根據該第一右眼視域產生一第一右眼渲染圖像;其中該處理單元根據該第一左眼渲染圖像及該第一右眼渲染圖像產生該第一畫面,其中該第一左眼視域以及該第一右眼視域重疊的部分圖像須經過圖像融合處理,而非重疊的部分圖像則分別保留;其中該處理單元根據該第二左眼視域產生一第二左眼渲染圖像,且根據該第二右眼視域產生一第二右眼渲染圖像;其中該處理單元根據該第二左眼渲染圖像及該第二右眼渲染圖像產生該第二畫面,其中該第二左眼視域以及該第二右眼視域重疊的部分圖像須經過圖像融合處理,而非重疊的部分圖像則分別保留。
- 如請求項9所述的顯示系統,該顯示系統另包含一資料庫,用以儲存該第一左眼渲染圖像、該第一右眼渲染圖像、該第二左眼渲染圖像以及該第二右眼渲染圖像所對應的一資料。
- 如請求項6所述的顯示系統,其中該第一畫面與該第二畫面為一地圖圖資資料,且該第一畫面以及該第二畫面具有部分相同的內容。
- 如請求項6所述的顯示系統,其中若該觀看者的該第一視線位置較該第二視線位置遠離該顯示裝置時,則該第一雙目立體視域的範圍較該第二雙目立體視域的範圍小。
- 一種隨著一觀看者位置改變顯示一導航地圖圖資的方法,包含: 儲存該導航地圖圖資於一資料庫中; 判斷該觀看者位於一第一視線位置,且對應該導航地圖圖資的一第一部分在一顯示裝置上顯示一第一畫面給該觀看者;以及 判斷該觀看者由該第一視線位置移至一第二視線位置,且對應該導航地圖圖資的一第二部分在該顯示裝置上顯示一第二畫面給該觀看者。
- 如請求項13所述的顯示方法,其中更包含根據該觀看者的一頭部位置、一左眼位置以及一右眼位置判斷該觀察者位於該第一視線位置或該第二視線位置。
- 如請求項13所述的顯示方法,其中更包含取得該觀看者位於該第一視線位置時之一第一左眼視域、一第一右眼視域以及一第一雙目立體視域,其中該雙目立體視域為該第一左眼視域以及該第一右眼視域的集合;且其中更包含取得該觀看者位於該第二視線位置時之一第二左眼視域、一第二右眼視域以及一第二雙目立體視域,其中該第二雙目立體視域為該第二左眼視域以及該第二右眼視域的集合。
- 如請求項15所述的顯示方法,其中更包含根據該觀看者的該第一左眼視域以及對應的該導航地圖圖資渲染成一第一左眼渲染圖像,根據該觀看者的該第一右眼視域以及對應的該導航地圖圖資渲染成一第一右眼渲染圖像,且根據該第一左眼渲染圖像以及該第一右眼渲染圖像產生該第一畫面。
- 如請求項15所述的顯示方法,另包含根據該觀看者的該第二左眼視域以及對應的該導航地圖圖資渲染成一第二左眼渲染圖像,根據該觀看者的該第二右眼視域以及對應的該導航地圖圖資渲染成一第二右眼渲染圖像,以及根據該第二左眼渲染圖像以及該第二右眼渲染圖像產生該第二畫面,其中該第二左眼渲染圖像以及該第二右眼渲染圖像的一資料來源為該導航地圖圖資的該第二部分。
- 如請求項13所述的顯示方法,其中若該觀看者由較遠離該顯示裝置的該第一視線位置前移至較靠近該顯示裝置的該第二視線位置時,該第二畫面為該第一畫面的一放大畫面。
- 如請求項13所述的顯示方法,其中若該觀看者由面對該顯示裝置正中央的該第一視線位置向左移動至該第二視線位置,則該第二畫面相較於該第一畫面包含更多該導航地圖圖資的一右側資料。
- 如請求項13所述的顯示方法,其中若該觀看者由面對該顯示裝置正中央的該第一視線位置向右移動至該第二視線位置,則該第二畫面相較於該第一畫面包含更多該導航地圖圖資的一左側資料。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/184,970 US20190137770A1 (en) | 2017-11-09 | 2018-11-08 | Display system and method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762583524P | 2017-11-09 | 2017-11-09 | |
US62/583,524 | 2017-11-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201919390A true TW201919390A (zh) | 2019-05-16 |
Family
ID=66449061
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107121040A TW201919393A (zh) | 2017-11-09 | 2018-06-20 | 立體成像顯示系統及顯示立體影像的顯示方法 |
TW107121103A TW201919390A (zh) | 2017-11-09 | 2018-06-20 | 顯示系統以及顯示方法 |
TW107121038A TW201919391A (zh) | 2017-11-09 | 2018-06-20 | 顯示系統及顯示影像的顯示方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107121040A TW201919393A (zh) | 2017-11-09 | 2018-06-20 | 立體成像顯示系統及顯示立體影像的顯示方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107121038A TW201919391A (zh) | 2017-11-09 | 2018-06-20 | 顯示系統及顯示影像的顯示方法 |
Country Status (2)
Country | Link |
---|---|
CN (3) | CN109769113A (zh) |
TW (3) | TW201919393A (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112929642A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 人眼追踪装置、方法及3d显示设备、方法 |
TWI793390B (zh) * | 2019-12-25 | 2023-02-21 | 財團法人工業技術研究院 | 資訊顯示方法及其處理裝置與顯示系統 |
CN112040316B (zh) * | 2020-08-26 | 2022-05-20 | 深圳创维-Rgb电子有限公司 | 视频图像显示方法、装置、多媒体设备以及存储介质 |
CN113315964B (zh) * | 2021-06-21 | 2023-04-14 | 北京京东方光电科技有限公司 | 一种3d图像的显示方法、装置及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120200676A1 (en) * | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
WO2013021505A1 (ja) * | 2011-08-11 | 2013-02-14 | 富士通株式会社 | 立体画像表示装置 |
TW201320717A (zh) * | 2011-11-08 | 2013-05-16 | Unique Instr Co Ltd | 一種三次元影像顯示之方法 |
US9274597B1 (en) * | 2011-12-20 | 2016-03-01 | Amazon Technologies, Inc. | Tracking head position for rendering content |
CN103248905A (zh) * | 2013-03-22 | 2013-08-14 | 深圳市云立方信息科技有限公司 | 一种模仿全息3d场景的显示装置和视觉显示方法 |
CN104618706A (zh) * | 2015-01-12 | 2015-05-13 | 深圳市亿思达科技集团有限公司 | 一种分时实现多人多角度全息立体显示的移动终端及方法 |
-
2018
- 2018-06-20 TW TW107121040A patent/TW201919393A/zh unknown
- 2018-06-20 TW TW107121103A patent/TW201919390A/zh unknown
- 2018-06-20 TW TW107121038A patent/TW201919391A/zh unknown
- 2018-06-22 CN CN201810654285.9A patent/CN109769113A/zh active Pending
- 2018-06-22 CN CN201810654286.3A patent/CN109765693A/zh active Pending
- 2018-06-26 CN CN201810669179.8A patent/CN109764888A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN109764888A (zh) | 2019-05-17 |
TW201919393A (zh) | 2019-05-16 |
CN109765693A (zh) | 2019-05-17 |
CN109769113A (zh) | 2019-05-17 |
TW201919391A (zh) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3794851B1 (en) | Shared environment for vehicle occupant and remote user | |
EP2914002B1 (en) | Virtual see-through instrument cluster with live video | |
US20160307374A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
JPWO2016203792A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2005335410A (ja) | 画像表示装置 | |
TW201919390A (zh) | 顯示系統以及顯示方法 | |
US11050997B2 (en) | Dynamic display system capable of generating images corresponding to positions of users | |
JP2007052304A (ja) | 映像表示システム | |
CN110073660A (zh) | 信息处理设备、信息处理方法和程序 | |
US20240017669A1 (en) | Image processing apparatus, image processing method, and image processing system | |
US20190166357A1 (en) | Display device, electronic mirror and method for controlling display device | |
US10896017B2 (en) | Multi-panel display system and method for jointly displaying a scene | |
US11987182B2 (en) | Image processing apparatus, image processing method, and image processing system | |
US20190141314A1 (en) | Stereoscopic image display system and method for displaying stereoscopic images | |
US20190166358A1 (en) | Display device, electronic mirror and method for controlling display device | |
US20190137770A1 (en) | Display system and method thereof | |
US12088952B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2007264176A (ja) | 立体視車載表示装置 | |
JP2019083385A (ja) | ヘッドアップディスプレイ装置 | |
EP2624117A2 (en) | System and method providing a viewable three dimensional display cursor | |
KR20210008503A (ko) | 증강 현실 카메라를 사용한 후방 시야 방법 및 장치 | |
WO2022239297A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
US20190138789A1 (en) | Display system and method for displaying images | |
WO2022219877A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20240031552A1 (en) | Head-mounted display and image displaying method |