TWI530821B - 頭戴式顯示系統及其操作方法 - Google Patents
頭戴式顯示系統及其操作方法 Download PDFInfo
- Publication number
- TWI530821B TWI530821B TW103133227A TW103133227A TWI530821B TW I530821 B TWI530821 B TW I530821B TW 103133227 A TW103133227 A TW 103133227A TW 103133227 A TW103133227 A TW 103133227A TW I530821 B TWI530821 B TW I530821B
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- processor
- motion
- subject
- display system
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000004891 communication Methods 0.000 claims description 27
- 238000011017 operating method Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000011540 sensing material Substances 0.000 claims description 3
- 239000000463 material Substances 0.000 claims 1
- 238000012360 testing method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 12
- 230000009471 action Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本發明是有關於一種顯示系統,且特別是有關於一種頭戴式顯示系統及其操作方法。
現行市面上的運動輔助設施(例如高爾夫球揮桿練習器)大多是利用一台小尺寸的液晶顯示器(LCD)或是智慧手機來顯示運動指導訊息(例如自己的運動姿勢或是其他訊息)。使用者常常需要停下運動(例如停止揮桿動作)以便從口袋或是腰間拿出顯示器(或是智慧手機),才能觀看到自己的運動姿勢(例如揮桿動作)是否標準與正確,或是瞭解自己的運動姿勢有那裡需要改進的地方。頻繁地從口袋拿進拿出顯示器(或是智慧手機),給使用者帶來不便。
與頭戴式顯示系統相關的專利有發明專利中國大陸公開號CN 103064188、CN 103543843、CN 103713737,美國專利US 2013/0214998、US 2013/0174205與中華民國新型專利公告號TW
M480407。
本發明提供一種顯示系統及其操作方法。使用者可以經由頭戴式顯示裝置拍攝其視野內的被攝者,而頭戴式顯示裝置可以顯示使用者的運動軌跡或被攝者的運動軌跡。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述之一或部份或全部目的或是其他目的,本發明之一實施例提供一種顯示系統,包括第一動作感測器(motion sensor)以及頭戴式顯示裝置。第一動作感測器適於設置在使用者的手上或是該使用者所持的物件上。頭戴式顯示裝置適於佩戴在使用者的頭部。頭戴式顯示裝置包括攝影機、顯示器、通訊電路以及處理器。攝影機適於拍攝使用者視野內的被攝者,並產生視訊資料。顯示器適於顯示畫面供使用者觀看。通訊電路適於訊號連接該第一動作感測器。處理器耦接至顯示器、攝影機與通訊電路。處理器適於經由通訊電路接收並處理第一動作感測器所提供的第一感測資料而獲得使用者的運動軌跡。處理器適於接收攝影機所提供的視訊資料,對視訊資料進行影像辨識而獲得被攝者的運動軌跡。處理器適於控制顯示器在畫面上顯示使用者的運動軌跡或被攝者的運動軌跡。
在本發明之一實施例中,上述使用者的運動軌跡包括使
用者的手部的運動軌跡或是使用者所持物件的運動軌跡,且被攝者的運動軌跡包括被攝者的手部的運動軌跡或是被攝者所持的另一物件的運動軌跡。
在本發明之一實施例中,上述之第一動作感測器包括重力感測器(g-sensor)、陀螺儀(gyroscope)、加速度計(accelerometer)、電子羅盤(electronic compass)或測高儀(altitude meter)。
在本發明之一實施例中,上述使用者的運動軌跡以及被攝者的運動軌跡同時顯示於畫面上。
在本發明之一實施例中,上述之頭戴式顯示裝置更包括聲音感測器。聲音感測器耦接至該處理器。聲音感測器適於感測該使用者發出的聲音而產生聲音資料給處理器。處理器對聲音資料進行語音辨識而獲得聲控指令。
在本發明之一實施例中,上述之頭戴式顯示裝置更包括觸控感測器。觸控感測器耦接至處理器。觸控感測器適於感測使用者的觸碰行為而產生觸控資料給處理器。處理器依據觸控資料產生觸控指令。
在本發明之一實施例中,上述之頭戴式顯示裝置更包括第二動作感測器。第二動作感測器耦接至處理器。第二動作感測器適於感測使用者的頭部運動而產生第二感測資料給處理器。
在本發明之一實施例中,上述之第二動作感測器包括電子羅盤、陀螺儀、地磁感測器(geomagnetic sensor)、加速度計或
重力感測器。
在本發明之一實施例中,上述之處理器依據第二感測資料對應產生選單指令。
在本發明之一實施例中,上述之處理器依據視訊資料中被攝者的方向修正被攝者的運動軌跡。
為達上述之一或部份或全部目的或是其他目的,本發明之一實施例提供一種顯示系統的操作方法,包括:經由第一動作感測器,感測使用者的動作,以產生第一感測資料;經由頭戴式顯示裝置的處理器,分析第一動作感測器傳遞給處理器的第一感測資料,以獲得使用者的運動軌跡;經由頭戴式顯示裝置的攝影機,拍攝使用者的視野內的被攝者,以提供視訊資料並傳遞給處理器;經由處理器對視訊資料進行影像辨識,而獲得被攝者的運動軌跡;以及經由頭戴式顯示裝置的顯示器,將使用者的運動軌跡或被攝者的運動軌跡顯示於畫面上。
在本發明之一實施例中,上述之頭戴式顯示裝置適於佩戴在使用者的頭部,第一動作感測器適於設置在使用者的手上或是使用者所持的物件上,且使用者的運動軌跡包括使用者的手部的運動軌跡或使用者所持物件的運動軌跡。
在本發明之一實施例中,上述之被攝者的運動軌跡包括被攝者的手部的運動軌跡或是被攝者所持的另一物件的運動軌跡。
在本發明之一實施例中,上述之操作方法更包括:經由
頭戴式顯示裝置的聲音感測器,感測使用者發出的聲音而產生聲音資料給該處理器;以及經由處理器對該聲音資料進行語音辨識而獲得聲控指令。
在本發明之一實施例中,上述之操作方法更包括:經由頭戴式顯示裝置的觸控感測器,感測使用者的觸碰行為而產生觸控資料給處理器;以及經由處理器依據該觸控資料產生觸控指令。
在本發明之一實施例中,上述之操作方法更包括:經由頭戴式顯示裝置的第二動作感測器,感測使用者的頭部運動而產生第二感測資料給處理器。
在本發明之一實施例中,上述之操作方法更包括:處理器依據第二感測資料對應產生選單指令。
在本發明之一實施例中,上述之操作方法更包括:處理器依據在視訊資料中被攝者的方向修正被攝者的運動軌跡。
基於上述,在本發明的上述實施例中,使用者可以經由頭戴式顯示裝置拍攝其視野內的被攝者,而且可以觀看頭戴式顯示裝置所顯示的使用者運動軌跡或被攝者運動軌跡。使用者不需另外用手拿持顯示器,因此不會干擾使用者的運動。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
30‧‧‧被攝者
100‧‧‧顯示系統
110‧‧‧第一動作感測器
120‧‧‧頭戴式顯示裝置
121‧‧‧鏡腳
122‧‧‧鏡架
123‧‧‧透鏡
210‧‧‧眼睛
310‧‧‧攝影機
320‧‧‧處理器
330‧‧‧顯示器
340‧‧‧通訊電路
510‧‧‧使用者
520‧‧‧高爾夫球桿
530‧‧‧運動軌跡
620‧‧‧高爾夫球桿
630、630’‧‧‧運動軌跡
850‧‧‧聲音感測器
960‧‧‧觸控感測器
1070‧‧‧第二動作感測器
θ‧‧‧夾角
L1‧‧‧連線
L2‧‧‧水平參考線
S410~S450‧‧‧步驟
圖1是依照本發明實施例說明一種顯示系統的立體示意圖。
圖2是依照本發明實施例說明圖1所示頭戴式顯示裝置的俯視示意圖。
圖3是依照本發明一實施例說明圖1與圖2所示頭戴式顯示裝置的電路方塊示意圖。
圖4是依照本發明實施例說明頭戴式顯示裝置的操作方法流程示意圖。
圖5是依照本發明實施例說明處理器分析感測資料所獲得該使用者運動軌跡的示意圖。
圖6是依照本發明實施例說明處理器進行影像辨識所獲得被攝者運動軌跡的示意圖。
圖7是依照本發明實施例說明當被攝者沒有面向攝影機時,攝影機所拍攝到的畫面示意圖。
圖8是依照本發明另一實施例說明圖1與圖2所示頭戴式顯示裝置的電路方塊示意圖。
圖9是依照本發明又一實施例說明圖1與圖2所示頭戴式顯示裝置的電路方塊示意圖。
圖10是依照本發明再一實施例說明圖1與圖2所示頭戴式顯示裝置的電路方塊示意圖。
有關本發明之前述及其他技術內容、特點與功效,在以
下配合參考圖式之多個實施例的詳細說明中,將可清楚的呈現。以下實施例中所提到的方向用語,例如「上」、「下」、「前」、「後」、「左」、「右」等,僅是參考附加圖式的方向。因此,使用的方向用語是用來說明,而非用來限制本發明。
圖1是依照本發明實施例說明一種顯示系統100的立體示意圖。顯示系統100包括一個或多個第一動作感測器(motion sensor)110以及一個頭戴式顯示裝置120。第一動作感測器110適於設置在使用者的手上(或是手臂、肩膀、腰部、腳或是身體其他部位),或是設置在使用者所持的物件(例如高爾夫球桿、棒球棒、網球拍或其他物件)上。第一動作感測器110例如是6軸感測器(可進行方向及加速度的感測),可使用的感測器種類包括重力感測器(g-sensor)、陀螺儀(gyroscope)、加速度計(accelerometer)、電子羅盤(Electronic Compass)、測高儀(altitude meter)或是其他適合的動作感測器或上述感測器的組合搭配。圖1中所示第一動作感測器110與頭戴式顯示裝置120的外觀設計僅為諸多實施例的其中之一,在其他實施例中第一動作感測器110與頭戴式顯示裝置120的外觀設計可為不同於圖1所示的外觀設計。
圖2是依照本發明實施例說明圖1所示頭戴式顯示裝置120的俯視示意圖。請參照圖1與圖2,頭戴式顯示裝置120適於佩戴在使用者的頭部。頭戴式顯示裝置120包括鏡腳121、鏡架122以及顯示器330。鏡架122可以容置透鏡123。環境光可以從
頭戴式顯示裝置120的前方通過透鏡123透射到使用者的眼睛210。因此,使用者可以透過頭戴式顯示裝置120觀看前方景物。此外,顯示器330可以配置於頭戴式顯示裝置120的鏡架122或是其他位置,顯示器330位於使用者眼睛210的視野內。於圖2所示實施例中,顯示器330可以位於使用者的右眼視野內,然而本發明並不以此為限,在其他實施例中,顯示器330亦可配置於使用者的左眼視野內,或是被配置於使用者的雙眼視野內。因此,使用者可以觀看顯示器330所顯示之畫面。顯示器330可以是液晶顯示器(Liquid Crystal Display,LCD)、發光二極體顯示器(Light-Emitting Diode(LED)Display)、有機電激發光顯示器(Organic Light Emitting Display,OLED)、電泳動顯示器(Electro-Phoretic Display,EPD)、採用LED光源、雷射光源的微投影顯示器、微機電系統反射鏡顯示器或其他種類的顯示器,本發明並不以此為限。
鏡架122的鼻梁處配置了攝影機310,以便拍攝使用者視野內的被攝者。在其他實施例中,依照產品設計需求,攝影機310可能配置於頭戴式顯示裝置120的鏡腳121或是其他適當的位置。頭戴式顯示裝置120還配置了處理器320與通訊電路340,其中處理器320例如是具有單核心或多核心的中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application
Specific Integrated Circuit,ASIC)或其他類似元件或上述元件的組合搭配,本發明並不以此為限。通訊電路340可以藉由有線媒體(一般纜線、光纖或其他適當的有線連接方式)或是無線媒體(藍芽、Wi-Fi、紅外線、射頻通信或其他適當的無線連接方式)而與第一動作感測器110建立訊號連接,本發明並不限定訊號連接之方式。舉例來說,通訊電路340可以藉由無線感測器網路(wireless sensor network,WSN)介面、ZigBee網路介面、藍芽(Bluetooth)介面、ANT+網路通訊介面、無線區域網路(例如Wi-Fi網路等)介面、或是其他無線通訊方式而與第一動作感測器110建立訊號連接。因此,處理器320可以經由通訊電路340而訊號連接至第一動作感測器110。
圖3是依照本發明實施例說明圖1與圖2所示頭戴式顯示裝置120的電路方塊示意圖。圖4是依照本發明實施例說明頭戴式顯示裝置120的操作方法流程示意圖。請參照圖1、圖3與圖4,頭戴式顯示裝置120包括攝影機310、處理器320、顯示器330與通訊電路340。攝影機310適於拍攝使用者視野內的被攝者30,並產生視訊資料。顯示器330適於顯示畫面供使用者觀看。通訊電路340適於訊號連接一個或多個第一動作感測器110。
處理器320耦接至攝影機310、顯示器330與通訊電路340。於步驟S410中,第一動作感測器110可以感測使用者的動作,以便對應產生第一感測資料。處理器320可以經由通訊電路340而訊號連接至第一動作感測器110。因此,第一動作感測器110
所產生的第一感測資料可以被傳遞給處理器320。於步驟S420中,頭戴式顯示裝置120的處理器320可以分析由第一動作感測器110所產生的第一感測資料,以獲得使用者的運動軌跡。在其他的應用情境中,所述使用者的運動軌跡包括使用者所持物件的運動軌跡、使用者的手部的運動軌跡或是使用者的身體其他部位的運動軌跡。
於步驟S450中,處理器320可以控制頭戴式顯示裝置120的顯示器330,並經由顯示器330將使用者的運動軌跡顯示於畫面中。使用者可以藉由觀看畫面中的運動軌跡來確認/修正自己的動作或姿勢。由於使用者可以觀看頭戴式顯示裝置120所顯示的使用者運動軌跡,因此不會干擾使用者的運動(使用者不需另外拿持顯示器)。
圖5是依照本發明實施例說明頭戴式顯示裝置120的處理器320分析感測資料所獲得該使用者運動軌跡的示意圖。在此假設第一動作感測器110設置在使用者510的手上(或是設置在使用者510所持的高爾夫球桿520上)。在使用者510揮動高爾夫球桿520的過程中,通訊電路340可以將第一動作感測器110所產生的第一感測資料傳送給處理器320。處理器320可以分析第一動作感測器110所產生的第一感測資料,以獲得使用者510的運動軌跡530。於本實施例中,運動軌跡530可以是使用者510揮動高爾夫球桿520的軌跡。因此於步驟S450中,於顯示器330的畫面中可以顯示使用者510的運動軌跡530。
本發明利用第一動作感測器110感測使用者(例如高爾夫球練習者)的動作,頭戴式顯示裝置120可透過顯示器330呈現使用者的揮桿動作曲線。因此,使用者不必為了觀看自己的揮桿動作是否標準與正確,而停止運動從口袋或是腰間拿出顯示器或是手機,而可以直接從頭戴式顯示裝置120的顯示器330看到自己本身的運動軌跡530。
請參照圖1、圖3與圖4,於步驟S430中,頭戴式顯示裝置120的攝影機310可以經由拍攝使用者的視野內的被攝者30來提供視訊資料並傳遞給處理器320。因此,處理器320可以於步驟S430中接收攝影機310所提供的該視訊資料。於步驟S440中,處理器320可以對攝影機310所產生的視訊資料進行影像辨識,而獲得被攝者30的運動軌跡。在其他的應用情境中,被攝者30的運動軌跡包括被攝者30所持物件的運動軌跡、被攝者30的手部的運動軌跡或是被攝者30的身體其他部位的運動軌跡,但本發明並不以此為限。
於步驟S450中,處理器320可以控制顯示器330,以經由顯示器330將被攝者30的運動軌跡顯示於畫面中。使用者可以藉由觀看畫面中被攝者30的運動軌跡來修正自己的動作或姿勢。
圖6是依照本發明實施例說明處理器320進行影像辨識所獲得被攝者30運動軌跡的示意圖。在本實施例中,在被攝者30揮動高爾夫球桿620的過程中,攝影機310可以拍攝被攝者30並將視訊資料傳送給處理器320。處理器320可以對攝影機310所產
生的視訊資料進行影像辨識,以獲得被攝者30的運動軌跡630。於本實施例中,運動軌跡630可以是被攝者30揮動高爾夫球桿620的軌跡。因此於步驟S450中,於顯示器330的畫面中可以顯示被攝者30的運動軌跡630。
頭戴式顯示裝置120可以利用內建的攝影機310,將被攝者30動作(例如其他高爾夫球練習者的揮桿動作)錄影下來。處理器320可以對攝影機310所產生的視訊資料做影像辨識(例如揮桿動作分析)。舉例來說,處理器320可以對攝影機310所產生的視訊資料進行影像辨識,以獲得被攝者30的身體旋轉動作、膝蓋關節彎曲動作、手部彎曲動作等。
值得注意的是,顯示器330的畫面中可以顯示圖5所示使用者510的運動軌跡530或是圖6所示被攝者30的運動軌跡630。舉例來說,在一些實施例中,顯示器330的畫面中可以選擇性地切換顯示圖5所示使用者510的運動軌跡530或是圖6所示被攝者30的運動軌跡630。在另一實施例中,圖5所示使用者510的運動軌跡530以及圖6所示被攝者30的運動軌跡630可以同時顯示於顯示器330的畫面中,以供使用者比較自己的運動軌跡530與被攝者30的運動軌跡630。因此,使用者可以藉由觀看顯示器330的畫面來確認/修正自己的動作或姿勢。
圖7是依照本發明實施例說明當被攝者30沒有面向攝影機310時,攝影機310所拍射到的畫面示意圖。當被攝者30沒有面向攝影機310時,處理器320對攝影機310所產生的視訊資料
(例如圖7所示畫面)進行影像辨識,並獲得被攝者30的運動軌跡630’。很明顯地,運動軌跡630’因為攝影機310拍攝角度的關係而變形。若直接將此變形的運動軌跡630’顯示給使用者觀看,可能會造成困擾。本實施例中,處理器320可以依據視訊資料中被攝者30的方向,對應地修正被攝者30的運動軌跡630’。舉例來說,處理器320可以進行影像辨識,以獲得被攝者30的雙腳腳尖的連線L1與水平參考線L2的夾角θ,並將此夾角θ作為被攝者30的方向,因此處理器320可以依據此夾角θ及三角函數原理,將被攝者30的運動軌跡630’修正為如圖6所示運動軌跡630。
本發明頭戴式顯示裝置120的實現方式不限於圖3所述實施方式。圖8是依照本發明另一實施例說明圖1與圖2所示頭戴式顯示裝置120的電路方塊示意圖。本實施例中,頭戴式顯示裝置120包括攝影機310、處理器320、顯示器330、通訊電路340與聲音感測器850。圖8所示攝影機310、處理器320、顯示器330與通訊電路340可以參照圖3至圖7的相關說明而類推之,故不再贅述。
聲音感測器850,例如是麥克風(microphone)或其他具有聲音接收功能的電子元件。聲音感測器850耦接至處理器320,適於感測使用者發出的聲音,而產生聲音資料給處理器320。處理器320對該聲音資料進行語音辨識,而獲得聲控指令。在一些實施例中,聲音感測器850可以作為頭戴式顯示裝置120選單操作之輸入裝置。舉例來說,使用者可以發出語音指令(例如說出「上」、
「下」、「左」、「右」)對顯示於顯示器330上的功能選單進行選單操作。
圖9是依照本發明又一實施例說明圖1與圖2所示頭戴式顯示裝置120的電路方塊示意圖。頭戴式顯示裝置120包括攝影機310、處理器320、顯示器330、通訊電路340與觸控感測器960。圖9所示攝影機310、處理器320、顯示器330與通訊電路340可以參照圖3至圖7的相關說明而類推之,故不再贅述。
其中圖9所示的觸控感測器960例如是觸控面板(touch panel)或其他具有觸控感測功能的電子元件。觸控感測器960耦接至處理器320,適於感測使用者的觸碰行為,並產生觸控資料給處理器320。處理器320依據該觸控資料產生觸控指令。在一些實施例中,觸控感測器960可以作為頭戴式顯示裝置120選單操作之輸入裝置。舉例來說,使用者的手指可以在觸控感測器960上以上、下、左、右方向滑動,以對顯示於顯示器330上的功能選單進行選單操作。
圖10是依照本發明再一實施例說明圖1與圖2所示頭戴式顯示裝置120的電路方塊示意圖。頭戴式顯示裝置120包括攝影機310、處理器320、顯示器330、通訊電路340與第二動作感測器1070。圖9所示攝影機310、處理器320、顯示器330與通訊電路340可以參照圖3至圖7的相關說明而類推之,故不再贅述。
第二動作感測器1070耦接至處理器320。第二動作感測器1070適於感測使用者的頭部運動,而產生第二感測資料給處理
器320。在其他實施例中,第二動作感測器170可以包括電子羅盤、陀螺儀、地磁感測器(geomagnetic sensor)、加速度計、重力感測器、其他動作感測器或上述感測器的組合。處理器320依據第二動作感測器170所產生的第二感測資料對應產生選單指令。因此,第二動作感測器1070可以做為頭戴式顯示裝置120之選單操作之輸入裝置。戴上頭戴式顯示裝置120的使用者可以藉由頭部轉動(上下左右)對顯示於顯示器330上的功能選單進行選單操作。
舉例而言,當使用者配戴頭戴式顯示裝置120後,使用者可以執行起始動作(例如語音或觸碰等)即代表輸入「歸零指令」。頭戴式顯示裝置120可以利用聲音感測器(如圖8所示聲音感測器850的相關說明)及/或觸控感測器(如圖9所示觸控感測器960的相關說明)感測前述起始動作。完成歸零後,頭戴式顯示裝置120可以接收使用者的選單操作指令。當使用者轉動頭部(例如向上、向下、向左或向右轉動)達一定臨界角度(例如30度左右)並停止達一段臨界時間(例如2秒)時,處理器320即可以認定使用者輸入「方向指令」。例如,當使用者的頭向左擺動並停止達2秒,處理器320即可以判斷使用者下達「向左」指令。依此類推,使用者可以藉由頭部向上、向下、向左、向右轉動來對顯示於顯示器330上的功能選單進行選單操作。當使用者欲執行「確定」或「取消」等指令時,則使用者可以於頭戴式顯示裝置120上另外設定連續性的動作,例如連續性點頭或連續性搖頭
等。再舉例而言,處理器320可以透過顯示器330呈現/顯示環景式選單,頭戴式顯示裝置120可以利用第二動作感測器1070做為選單操作裝置,當使用者(例如高爾夫球練習者)轉頭時,就可以依頭戴式顯示裝置120的方向不同而顯示不同選單,供使用者選擇。
綜上所述,藉由將至少一第一動作感測器裝設於使用者身上、手上或所持物件上,頭戴式顯示裝置可以感測使用者的運動軌跡。當使用者執行一動作時,第一動作感測器感測使用者的動作並傳遞訊號至頭戴式顯示裝置的處理器。經由處理器運算後,顯示器可以呈現使用者的動作軌跡於畫面中以供使用者觀看。此外,攝影機可以經由拍攝使用者的視野內的被攝者。當使用者透過頭戴式顯示裝置觀看其他人(被攝者)的動作時,攝影機適於拍攝他人的動作並傳遞至處理器。經由處理器運算後,頭戴式顯示裝置可以呈現被攝者的運動軌跡以供使用者觀看。使用者不需用手拿持顯示器,因此不會干擾使用者的運動。
惟以上所述者,僅為本發明之較佳實施例而已,當不能以此限定本發明實施之範圍,即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。另外,本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外,摘要部分和標題僅是用來輔助專利文件搜尋之用,並非用來限制本發明之權利範圍。
30‧‧‧被攝者
110‧‧‧第一動作感測器
120‧‧‧頭戴式顯示裝置
310‧‧‧攝影機
320‧‧‧處理器
330‧‧‧顯示器
340‧‧‧通訊電路
Claims (21)
- 一種顯示系統,包括:一第一動作感測器,適於設置在一使用者的手上或是該使用者所持的一物件上;以及一頭戴式顯示裝置,適於佩戴在該使用者的頭部,其中該頭戴式顯示裝置包括:一攝影機,適於拍攝該使用者視野內的一被攝者,並產生一視訊資料;一顯示器,適於顯示一畫面供該使用者觀看;一通訊電路,適於訊號連接該第一動作感測器;以及一處理器,耦接至該顯示器、該攝影機與該通訊電路,其中該處理器適於經由該通訊電路接收並處理該第一動作感測器所提供的一第一感測資料而獲得該使用者的運動軌跡,且該處理器適於接收該攝影機所提供的該視訊資料,對該視訊資料進行影像辨識而獲得該被攝者的運動軌跡,並於該畫面顯示該使用者的運動軌跡或該被攝者的運動軌跡。
- 如申請專利範圍第1項所述的顯示系統,其中該使用者的運動軌跡包括該使用者的一手部的運動軌跡或是該使用者所持一物件的運動軌跡,且該被攝者的運動軌跡包括該被攝者的一手部的運動軌跡或是該被攝者所持的另一物件的運動軌跡。
- 如申請專利範圍第1項所述的顯示系統,其中該第一動作感測器包括一重力感測器、一陀螺儀、一加速度計、一電子羅盤 或一測高儀。
- 如申請專利範圍第1項所述的顯示系統,其中該使用者的運動軌跡以及該被攝者的運動軌跡同時顯示於該畫面。
- 如申請專利範圍第1項所述的顯示系統,其中該頭戴式顯示裝置更包括:一聲音感測器,耦接至該處理器,適於感測該使用者發出的一聲音而產生一聲音資料給該處理器;其中該處理器對該聲音資料進行語音辨識而獲得一聲控指令。
- 如申請專利範圍第1項所述的顯示系統,其中該頭戴式顯示裝置更包括:一觸控感測器,耦接至該處理器,適於感測該使用者的一觸碰行為而產生一觸控資料給該處理器,其中該處理器依據該觸控資料產生一觸控指令。
- 如申請專利範圍第1項所述的顯示系統,其中該頭戴式顯示裝置更包括:一第二動作感測器,耦接至該處理器,適於感測該使用者的頭部運動而產生一第二感測資料給該處理器。
- 如申請專利範圍第7項所述的顯示系統,其中該第二動作感測器包括一電子羅盤、一陀螺儀、一地磁感測器、一加速度計或一重力感測器。
- 如申請專利範圍第7項所述的顯示系統,其中該處理器依 據該第二感測資料對應產生一選單指令。
- 如申請專利範圍第1項所述的顯示系統,其中該處理器依據該視訊資料中該被攝者的方向修正該被攝者的運動軌跡。
- 一種顯示系統的操作方法,包括:經由一第一動作感測器,感測一使用者的動作,以產生一第一感測資料;經由一頭戴式顯示裝置的一處理器,分析該第一動作感測器傳遞給該處理器的該第一感測資料,以獲得該使用者的運動軌跡;經由該頭戴式顯示裝置的一攝影機,拍攝該使用者的視野內的一被攝者,以提供一視訊資料並傳遞給該處理器;經由該處理器對該視訊資料進行影像辨識,而獲得該被攝者的運動軌跡;以及經由該頭戴式顯示裝置的一顯示器,將該使用者的運動軌跡或該被攝者的運動軌跡顯示於一畫面。
- 如申請專利範圍第11項所述的顯示系統的操作方法,其中該頭戴式顯示裝置適於佩戴在該使用者的頭部,該第一動作感測器適於設置在該使用者的手上或是該使用者所持的一物件上,且該使用者的運動軌跡包括該使用者的一手部的運動軌跡或該使用者所持一物件的運動軌跡。
- 如申請專利範圍第11項所述的顯示系統的操作方法,其中該被攝者的運動軌跡包括該被攝者的一手部的運動軌跡或是該被攝者所持的另一物件的運動軌跡。
- 如申請專利範圍第11項所述的顯示系統的操作方法,其中該第一動作感測器包括一重力感測器、一陀螺儀、一加速度計、一電子羅盤或一測高儀。
- 如申請專利範圍第11項所述的顯示系統的操作方法,其中該使用者的運動軌跡以及該被攝者的運動軌跡同時顯示於該畫面。
- 如申請專利範圍第11項所述的顯示系統的操作方法,更包括:經由該頭戴式顯示裝置的一聲音感測器,感測該使用者發出的一聲音而產生一聲音資料給該處理器;以及經由該處理器對該聲音資料進行語音辨識而獲得一聲控指令。
- 如申請專利範圍第11項所述的顯示系統的操作方法,更包括:經由該頭戴式顯示裝置的一觸控感測器,感測該使用者的一觸碰行為而產生一觸控資料給該處理器;以及經由該處理器依據該觸控資料產生一觸控指令。
- 如申請專利範圍第11項所述的顯示系統的操作方法,更包括:經由該頭戴式顯示裝置的一第二動作感測器,感測該使用者的頭部運動而產生一第二感測資料給該處理器。
- 如申請專利範圍第18項所述的顯示系統的操作方法,其 中該第二動作感測器包括一電子羅盤、一陀螺儀、一地磁感測器、一加速度計或一重力感測器。
- 如申請專利範圍第18項所述的顯示系統的操作方法,更包括:經由該處理器依據該第二感測資料對應產生一選單指令。
- 如申請專利範圍第11項所述的顯示系統的操作方法,更包括:經由該處理器依據在該視訊資料中該被攝者的方向修正該被攝者的運動軌跡。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103133227A TWI530821B (zh) | 2014-09-25 | 2014-09-25 | 頭戴式顯示系統及其操作方法 |
US14/746,846 US20160091717A1 (en) | 2014-09-25 | 2015-06-23 | Head-mounted display system and operation method thereof |
JP2015141726A JP2016071330A (ja) | 2014-09-25 | 2015-07-16 | ヘッドマウントディスプレイシステム及びこの操作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103133227A TWI530821B (zh) | 2014-09-25 | 2014-09-25 | 頭戴式顯示系統及其操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201612692A TW201612692A (en) | 2016-04-01 |
TWI530821B true TWI530821B (zh) | 2016-04-21 |
Family
ID=55584198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103133227A TWI530821B (zh) | 2014-09-25 | 2014-09-25 | 頭戴式顯示系統及其操作方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160091717A1 (zh) |
JP (1) | JP2016071330A (zh) |
TW (1) | TWI530821B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI597093B (zh) * | 2016-09-10 | 2017-09-01 | 頭戴式高爾夫擴增實境裝置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
TWI715903B (zh) | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
CN110826422A (zh) * | 2019-10-18 | 2020-02-21 | 北京量健智能科技有限公司 | 一种用于获得运动参数信息的系统和方法 |
CN114882976A (zh) | 2021-02-05 | 2022-08-09 | 中强光电股份有限公司 | 医疗用影像辅助系统及医疗用影像辅助方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE539558T1 (de) * | 2002-04-25 | 2012-01-15 | Panasonic Corp | Objektdetektionseinrichtung, objektdetektionsserver und objektdetektionsverfahren |
JP2009021914A (ja) * | 2007-07-13 | 2009-01-29 | Sony Corp | 撮像表示システム、撮像表示装置、撮像表示装置の制御方法 |
US9366862B2 (en) * | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
JP5641222B2 (ja) * | 2010-12-06 | 2014-12-17 | セイコーエプソン株式会社 | 演算処理装置、運動解析装置、表示方法及びプログラム |
US8964008B2 (en) * | 2011-06-17 | 2015-02-24 | Microsoft Technology Licensing, Llc | Volumetric video presentation |
US8179604B1 (en) * | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
US9110502B2 (en) * | 2011-12-16 | 2015-08-18 | Ryan Fink | Motion sensing display apparatuses |
JP5874475B2 (ja) * | 2012-03-21 | 2016-03-02 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6155643B2 (ja) * | 2013-01-07 | 2017-07-05 | セイコーエプソン株式会社 | 表示装置、および、表示装置の制御方法 |
-
2014
- 2014-09-25 TW TW103133227A patent/TWI530821B/zh active
-
2015
- 2015-06-23 US US14/746,846 patent/US20160091717A1/en not_active Abandoned
- 2015-07-16 JP JP2015141726A patent/JP2016071330A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI597093B (zh) * | 2016-09-10 | 2017-09-01 | 頭戴式高爾夫擴增實境裝置 |
Also Published As
Publication number | Publication date |
---|---|
JP2016071330A (ja) | 2016-05-09 |
TW201612692A (en) | 2016-04-01 |
US20160091717A1 (en) | 2016-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102458665B1 (ko) | 디바이스를 이용한 화면 처리 방법 및 장치 | |
US10686972B2 (en) | Gaze assisted field of view control | |
CN105319718B (zh) | 可穿戴眼镜和经由可穿戴眼镜显示图像的方法 | |
TWI530821B (zh) | 頭戴式顯示系統及其操作方法 | |
US9311883B2 (en) | Recalibration of a flexible mixed reality device | |
US20200059596A1 (en) | Electronic device and control method thereof | |
US9110502B2 (en) | Motion sensing display apparatuses | |
US9412190B2 (en) | Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program | |
RU2011122381A (ru) | Выбор ориентации изображения в портативном устройстве путем анализа изображений | |
CN107646098A (zh) | 用于在虚拟现实中跟踪手持式设备的系统 | |
JP7546116B2 (ja) | 拡張現実のためのシステムおよび方法 | |
TWI671552B (zh) | 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體 | |
JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
US20170203187A1 (en) | Presentation method, swing analysis apparatus, swing analysis system, swing analysis program, and recording medium | |
TW201804286A (zh) | 自動配置感測器的方法、電子設備及記錄媒體 | |
WO2017130514A1 (ja) | 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US20220000448A1 (en) | Instrumented Ultrasound Probes For Machine-Learning Generated Real-Time Sonographer Feedback | |
KR20230025697A (ko) | 기하학적 위험 검출을 갖는 시각 장애인 지원 아이웨어 | |
JP2017124074A (ja) | 電子機器、システム、判定方法、判定プログラム、及び記録媒体 | |
US10286285B2 (en) | Display method, display apparatus, motion analysis system, motion analysis program, and recording medium | |
KR20230066454A (ko) | 동기화되지 않은 롤링 셔터 카메라들을 갖는 아이웨어 | |
US11137600B2 (en) | Display device, display control method, and display system | |
US20210068674A1 (en) | Track user movements and biological responses in generating inputs for computer systems | |
KR20130124836A (ko) | 손목, 머리 및 허리 등 신체의 움직임을 분석하여 골프 스윙 자세를 교정할 수 있는 골프 자세 교정 시스템 및 교정방법 | |
US20230256297A1 (en) | Virtual evaluation tools for augmented reality exercise experiences |